CN115668269A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[问题]为了提供一种能够准确地区分捕获图像中反映的人员的信息处理装置、信息处理方法和程序。[解决方案]一种信息处理装置，设置有控制单元，该控制单元执行以下控制：基于在从由信息处理终端检测到的信息获取的移动信息与从携带所述信息处理终端的用户的捕获图像中获取的一个或多个人员的移动信息之间的比较、以及在从信息处理终端获取的用户的状态信息与在从捕获图像获取的一个或多个人员的状态信息之间的比较，来将捕获图像中的人员与用户相关联。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，在市场研究和消费者体验的个性化中要求使用室内定位技术。例如，存在用于使用惯性传感器(诸如加速度传感器、角速度传感器和地磁传感器)获得室内或室外的相对移动信息的技术。例如，下面的专利文献1公开了使用设置在室内的可移动相机和具有行人航位推算(PDR)功能的行人拥有的移动终端两者来计算位置信息的室内定位方法。

现有技术文献

专利文献：

专利文献1：JP 6340862 B

发明内容

[发明要解决的技术问题]

然而，在专利文献1中，为了覆盖宽范围，沿从行人的移动终端获得的位置信息的方向旋转可移动相机以捕获其图像，但是当位置信息包含误差时，校正控制是困难的。而且，不考虑视角中的人与用户之间的关联。

因此，本公开提出了能够准确地识别在捕获图像中成像的人的信息处理装置、信息处理方法以及程序。

[问题的解决方案]

本公开提出了一种信息处理装置，该信息处理装置包括控制单元，该控制单元被配置为执行控制，以基于从由用户携带的信息处理终端检测到的信息获取的移动信息和从捕获图像获取的一个或多个人的移动信息之间的检查、以及从信息处理终端获取的用户的状态信息和从捕获图像获取的一个或多个人的状态信息之间的检查，来将捕获图像中成像的人与信息处理终端的用户相关联。

本公开提出了一种信息处理方法，该信息处理方法包括：处理器，该处理器执行控制，以基于在从由用户携带的信息处理终端检测到的信息获取的移动信息与从捕获图像获取的一个或多个人员的移动信息之间的检查、以及在从信息处理终端获取的用户的状态信息与从捕获图像获取的一个或多个人员的状态信息之间的检查，来将捕获图像中成像的人员与信息处理终端的用户相关联。

本公开提出了一种程序，该程序用于使计算机用作控制单元，该控制单元被配置为执行用于基于在从由用户携带的信息处理终端检测到的信息获取的移动信息与从捕获图像获取的一个或多个人员的移动信息之间的检查、以及在从信息处理终端获取的用户的状态信息与从捕获图像获取的一个或多个人员的状态信息之间的检查来将捕获图像中成像的人员与信息处理终端的用户相关的控制。

附图说明

图1是示出根据本公开的实施方式的信息处理系统的概要的图。

图2是示出根据本实施方式的移动矢量检查的图。

图3是示出仅通过移动矢量检查无法进行确定的情况的图。

图4是示出根据本实施方式的信息处理系统的配置的示例的图。

图5是示出根据本实施方式的环境相机的配置示例的框图。

图6是示出根据本实施方式的用户终端的配置示例的框图。

图7是示出根据本实施方式的服务器的配置的示例的框图。

图8是示出根据本实施方式的信息处理系统的操作处理流程的示例的序列图。

图9是示出根据本实施方式的环境相机的操作处理的流程的示例的流程图。

图10是示出根据本实施方式的服务器的操作处理的流程的示例的流程图。

图11是示出根据本实施方式的用于通知用户认证信息注册的屏幕的示例的图。

图12是示出根据本实施方式的用于删除用户认证信息的屏幕的示例的图。

图13是示出根据本实施方式的用于用户定位和认证信息的自动注册的设置屏幕的示例的图。

图14是示出根据本实施方式的检查处理的流程的示例的流程图。

图15是示出根据本实施方式的从环境相机的捕获图像获得的用户的行走脚步的定时和从用户终端的感测数据获得的用户的行走脚步的定时的图。

图16是示出根据本实施方式的用户终端的行走脚步提取处理的流程的示例的流程图。

图17是示出根据本实施方式的环境相机的行走脚步提取过程的流程的示例的流程图。

图18是示出根据本实施方式的服务器的行走脚步检查处理的流程的示例的流程图。

图19是示出根据本实施方式的相互位置关系检查的图。

图20是示出根据本实施方式的相互位置关系检查的另一示例的图。

图21是示出根据本实施方式的相互位置关系检查的另一示例的图。

图22是示出根据本实施方式的活动信息检查的图。

图23是示出根据本实施方式的移动模式检查的图。

图24是示出根据本实施方式的应用示例的提供给用户的所识别的活动和服务的图。

图25是示出根据本实施方式的应用示例的使用认证信息的支付处理的图。

图26是示出根据本实施方式的应用示例的使用认证信息的支付处理的流程的示例的序列图。

图27是示出根据本实施方式的应用示例的使用位置信息和支付个人识别号的支付处理的图。

图28是示出根据本实施方式的应用示例的位置信息共享屏幕的示例的图。

图29是示出根据本实施方式的应用示例的用于从设施中的视频中选择任意用户并通知信息的操作屏幕的示例的图。

具体实施方式

下面将参考附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本相同的功能配置的部件由相同的附图标记表示，因此将省略冗余的描述。

将按照以下顺序给出描述。

1.根据本公开的实施方式的信息处理系统的概述

2.示例性配置

3.示例性操作处理

3-1.信息处理系统的操作处理

3-2.环境相机20的操作处理

3-3.服务器10的操作处理

4.检查处理和检查置信度得分计算

4-1.检查处理流程

4-2.移动矢量检查和检查置信度得分计算

4-3.脚步检查和检查置信得分计算

4-4.位置关系检查和检查置信度得分计算

4-5.活动信息检查和检查置信度得分计算

4-6.移动模式检查和检查置信得分计算

4-7.检查置信度得分的总和

5.应用示例

6.总结

<<1.根据本公开的实施方式的信息处理系统的概述>>

图1是示出根据本公开的实施方式的信息处理系统的概要的图。在本实施方式中，通过使用来自设置在由用户携带的信息处理终端中的传感器的数据和来自设置在诸如购物中心的设施中的一个或多个环境相机的视频，可以高准确度地检测已经访问过该设施的用户在该设施中的移动轨迹。也可以通过移动轨迹检查在该设施中识别用户，在保持用户的匿名性的同时检测参观了该设施的用户在该设施中的移动轨迹。移动轨迹是移动路线，更具体地，包括位置信息(例如，全局坐标)和时间信息。

例如，在图1所示的示例中，用户A拥有的用户终端30A(信息处理终端的示例)基于感测数据(例如，使用行人航位推算(PDR)(其是室内定位的示例))计算用户A的移动矢量，作为移动轨迹。虽然在参考标号30之后添加字母A以指示用户A拥有用户终端30，但是用户终端30A的配置与将在后面描述的用户终端30的配置相同。

另一方面，设置在设施内的每个环境相机20例如通过根据所捕获的图像执行面部检测和身体检测来计算在其视角内的用户的移动矢量。在本实施方式中，例如，可以假设用户在由环境相机20捕获的视频中偶然成像，而不是环境相机20有意拍摄目标用户。可替换地，假设环境相机20有意拍摄用户，并且因此，例如，环境相机20跟踪并拍摄特定面部，或者自推进机器人的相机等跟踪并拍摄特定人员。在本实施方式中，布置在设施中的相机被称为“环境相机”，因为它们连续捕获其周围环境的图像。每个环境相机也被称为监控相机。环境相机不限于固定相机，并且可以是安装在移动对象(诸如自推进机器人或无人机)上的相机。广角镜头也可以用于相机。

然后，通过检查由用户终端30A和环境相机20获取的移动矢量，在所捕获图像中成像的人员可以与该人员拥有的用户终端30A相关联。因此，例如，从用户终端30A获取的用户ID(用于识别用户的识别字符串的示例，例如，是数值)与认证信息(诸如从捕获图像检测的面部图像400(可以从人员的外貌识别的信息))相关联。然后，可以使用认证信息来提供诸如执行支付处理的各种服务。用户A节省注册他或她自己的时间和精力，因为他或她仅通过在设施中行走来自动注册他或她自己的认证信息。用户A的隐私性可以通过在他或她离开设施时删除自动注册的认证信息来保护。

由于PDR的相对移动矢量的计算特性，用作室内定位装置的PDR可能随着时间的推移累积误差。在本实施方式中，PDR与分析来自环境相机的视频的结果相结合，使得可以高准确度地检测用户终端(即，用户)在室内的绝对位置。

除了购物中心之外，这里假设的设施还包括不同地点，例如，超市、便利店、书店、餐馆、服装店、零售商店、温泉(热浴设施)、图书馆、公共厅、学校、站、旅馆、医院、室内/室外活动场所、电影院、度假设施、移动设施、游乐园、主题公园、停车场、公园或神殿/寺庙。

(移动矢量检查)

这里，将描述移动矢量检查。首先，用户终端30基于由动作传感器(诸如加速度传感器、角速度传感器和磁传感器)检测的感测数据来计算用户(携带用户终端30)的移动信息(具体地，移动轨迹)。动作传感器可包括检测三个轴的加速度和角速度的惯性测量单元(IMU)。更具体地，用户终端30例如通过PDR计算移动矢量。PDR是能够基于加速度、角速度和磁性获得室内或室外的相对移动信息的定位装置。另一方面，环境相机20根据所捕获的视频对每个帧执行面部检测、身体检测、特征点检测、姿势检测等(即，移动对象的检测)，并且根据在每个帧中成像的同一人员(同一移动对象)的位置(即，移动)的变化计算相对移动轨迹。当多个人员被成像在捕获图像中时，环境相机20计算每个人员的移动轨迹。

然后，检查每个移动轨迹导致在以视角成像的一个或多个人员当中将在每个帧中成像的同一人员与该人员拥有的用户终端30相关联成功。图2是示出根据本实施方式的移动矢量检查的图。例如，如图2所示，当存在用户终端30使用PDR计算的移动矢量和环境相机20从捕获图像计算的移动矢量A、B和C时，移动矢量检查确定与从PDR获得的移动矢量最相似的移动矢量。例如，余弦相似性可以用于确定相似性。不限于余弦相似性，已知的技术可应用于检查。

然而，当在如图3中所示的环境相机20的视角内多个人员同时在相同方向上移动时，所计算的移动矢量A和B几乎相同，并且可能难以通过单独的检查确定正确的移动矢量。

因此，本公开除了执行移动矢量检查之外，还执行用户的状态信息的检查，以实现准确的确定。状态信息的检查例如是脚步检查、活动信息检查、相互位置关系检查等。稍后将描述细节。

根据本公开的系统实现了定位功能，即使当在相同视角内存在多个用户时，该定位功能也能够将个人(个人用户终端)正确地与用户相关联。使用本系统，认证信息(例如，面部信息、骨架信息(诸如与身体结构相关的身高和其他特征)或衣服信息)可被自动注册，并且不同服务可被提供给用户。

上面已经描述了根据本公开的实施方式的信息处理系统。随后，将参考附图描述根据本实施方式的信息处理系统以及包括在信息处理系统中的每个设备的配置。

<<2.示例性配置>>

<2-1.系统的示例性配置>

图4是示出根据本实施方式的信息处理系统的配置的示例的图。如图4所示，根据本实施方式的信息处理系统包括环境相机20、用户终端30和服务器10。例如，多个环境相机20安装在设施中并且它们的安装位置对于服务器10是已知的。每个环境相机20具有相机ID(用于识别相机的识别字符串的示例)。用户终端30是由访问设施的用户携带的信息处理终端。用户终端30可以是例如智能电话、移动电话终端、平板终端或穿戴在用户身体上的可穿戴装置。用户可以使用用户终端30预先在本系统中执行注册，因此服务器10可以知道用户ID。本系统中的注册可以通过在用户终端30上安装预定应用来执行或者可以在预定网站上执行。

服务器10经由网络40(例如，设施中的专用线路)从环境相机20接收相机ID和捕获图像的分析结果(诸如，视角中的每个人员的移动矢量或者状态信息)。服务器10还经由网络41(例如，Wi-Fi(注册商标)、蓝牙(注册商标)或互联网线路)从用户终端30接收用户ID和感测数据的分析结果(诸如，基于PDR的移动矢量或状态信息)。服务器10执行移动矢量检查和状态信息检查，并高准确度地获取设施内的用户的移动路线。由此，服务器10可以通过根据用户的位置和活动向用户终端30通知适当的信息或者通过给予优惠券来执行促销。还可以基于用户在设施中的移动路线和活动来测量营销效果。服务器10还可以自动注册认证信息，诸如从用户ID关联的捕获图像提取的面部图像。结果，服务器10可以通过设施中的面部认证等提供各种服务。例如，当用户的信用卡信息已经被预先注册时，可以在设施中通过面部认证(不使用用户终端30)执行支付。

图4中所示的系统配置是示例，并且本实施方式不限于此。例如，服务器10可以由多个装置组成。网络40和网络41也可以是相同的。

随后，将具体描述包括在根据上述本实施方式的信息处理系统中的每个设备的配置。

<2-2.环境相机20的示例性配置>

图5是示出根据本实施方式的环境相机20的配置示例的框图。如图5所示，环境相机20包括控制单元200、信标发送单元210、成像单元220、测距单元230、通信单元240以及存储单元250。

(控制单元200)

控制单元200用作运算处理装置和控制装置，并且根据各种程序控制环境相机20中的整体操作。控制单元200由诸如中央处理单元(CPU)或微处理器的电子电路实现。控制单元200可以包括用于存储要使用的程序、计算参数等的只读存储器(ROM)和用于临时存储适当改变的参数等的随机存取存储器(RAM)。

根据本实施方式的控制单元200还用作人体区域提取单元201、移动对象提取单元202、移动矢量计算单元203、行走脚步提取单元204、位置关系提取单元205、活动信息提取单元206和认证信息提取单元207。

人体区域提取单元201从由成像单元220获取的每个捕获图像(移动图像的每个帧)中提取人体成像的区域。接着，移动对象提取单元202针对多个帧进行比较，根据人体区域数据提取移动对象，对移动对象赋予移动对象编号。例如，移动对象提取单元202基于从人体区域检测的面部特征点和身体特征点比较按时间序列排列的帧，提取移动人员(移动对象)，并且将移动对象编号分配给提取的移动人员。可对t秒的每个视频执行这种移动对象提取。t秒可以是例如基于从信标发送单元210周期性地发送的信标的发送间隔的持续时间。更具体地，t秒可以是例如与传输间隔相同的持续时间、是传输间隔的一半的持续时间、或包括多个传输间隔的持续时间。

移动矢量计算单元203基于捕获图像计算每个移动对象的移动矢量。例如，移动矢量计算单元203提取t秒的视频中的每个移动对象的位置的变化，将连接该变化后的位置的轨迹变换为全局坐标，将该轨迹作为移动矢量进行计算。移动矢量计算单元203按照每个移动对象编号输出移动矢量信息。

行走脚步提取单元204分析t秒的视频中的每个移动对象的行走脚步的定时(例如，脚的地面接触定时)。行走脚步提取单元204输出每个移动对象编号的行走脚步信息。

位置关系提取单元205分析在捕获图像中成像的多个移动对象的位置关系(相互位置关系)。位置关系提取单元205可以通过分析捕获图像来分析多个移动对象的位置关系，或者可以参考由测距单元230获取的指示移动对象与环境相机20之间的距离的距离信息来分析多个移动对象的位置关系。位置关系提取单元205还可以分析t秒的视频中的位置关系的变化。位置关系提取单元205针对每个移动对象编号输出相互位置关系信息(相对于附近的移动对象)。

活动信息提取单元206提取在捕获图像中成像的多个移动对象的活动信息(也被称为活动识别)。活动信息提取单元206分析捕获的图像以提取诸如静止、步行、奔跑、使用楼梯、使用电梯和使用自动扶梯的活动。已知的技术可应用于活动信息的提取。活动信息提取单元206输出每个移动对象编号的活动信息。

认证信息提取单元207从捕获图像中提取能够用于用户认证的信息(能够从外貌识别用户的信息，其在本说明书中被称为认证信息)。例如，可以提取诸如面部、身体、骨骼、衣服或步行步态的信息作为认证信息。认证信息可以被特征化。认证信息提取单元207输出各移动对象编号的认证信息。

控制单元200执行控制，以用于通过通信单元240将上述每个移动对象编号的移动矢量信息、行走脚步信息、相互位置关系信息和活动信息与相机ID和成像时间一起发送至服务器10。传输的定时没有特别限制。控制单元200还可将捕获图像发送到服务器10。

(信标发送单元210)

信标发送单元210具有发送信标的功能，信标是用于触发用户终端30的信号的示例。这里，作为示例，信标发送单元210发送蓝牙低功耗(BLE)信标。例如，信标发送单元210以预定间隔连续地发送信标，尽管信标的发送定时没有特别限制。期望信标至少到达位于环境相机20的视角内的用户终端30。

(成像单元220)

成像单元220包括包含成像透镜、光圈、变焦透镜、聚焦透镜等的透镜系统、使透镜系统执行聚焦操作和变焦操作的驱动系统、光电转换通过透镜系统获得的成像光以生成成像信号的固态图像传感器阵列等。固态图像传感器阵列例如可通过电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。

(测距单元230)

测距单元230具有获取表示与用户终端30的距离的距离信息的功能。虽然测距方法没有特别限制，但是测距方法可以是例如使用蓝牙RSSI的测距或使用超宽带(UWB)的测距。测距单元230可以计算距离或者可以接收由用户终端30计算的距离信息。测距单元230还可以是能够获取与移动对象(用户)的距离的深度传感器等。

(通信单元240)

通信单元240是用于向和从其他装置发送和接收数据的通信模块。例如，通信单元240经由网络40连接至服务器10以发送和接收数据。

(存储单元250)

存储单元250存储用于使控制单元200执行各种处理的程序等。存储单元250包括包含存储介质的存储装置、用于将数据记录在存储介质上的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储单元250可以通过存储用于控制单元200的处理的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数的随机存取存储器(RAM)来实现。

以上具体描述了根据本实施方式的环境相机20的配置。根据本实施方式的环境相机20的配置不限于图5中示出的示例。例如，环境相机20可不包括测距单元230。环境相机20还可被配置为包括行走脚步提取单元204、位置关系提取单元205和活动信息提取单元206中的至少一个。

由环境相机20的控制单元200执行的各种处理中的至少一种可由服务器10执行。例如，控制单元200可执行针对移动对象提取单元202的处理，并且将处理结果和捕获图像发送至服务器10，并且服务器10可执行移动矢量计算单元203、行走脚步提取单元204、位置关系提取单元205、活动信息提取单元206以及认证信息提取单元207的处理。

<2-3.用户终端30的示例性配置>

图6是示出根据本实施方式的用户终端30的配置示例的框图。如图6所示，用户终端30包括控制单元300、卫星定位单元310、信标接收单元320、测距单元330、动作传感器单元340、通信单元350、显示单元360、操作输入单元370、以及存储单元380。

(控制单元300)

控制单元300用作运算处理装置和控制装置，并且根据各种程序控制用户终端30中的整体操作。控制单元300由诸如中央处理单元(CPU)或微处理器的电子电路来实现。控制单元300可以包括用于存储要使用的程序、计算参数等的只读存储器(ROM)和用于临时存储适当改变的参数等的随机存取存储器(RAM)。

根据本实施方式的控制单元300还用作移动矢量计算单元301、行走脚步提取单元302和活动信息提取单元303。

移动矢量计算单元301基于动作传感器单元340的感测数据计算用户(携带用户终端30的人员)的移动矢量。更具体地，移动矢量计算单元301可通过PDR(室内定位的示例)计算移动矢量，PDR基于由动作传感器单元340获得的加速度、角速度和磁力数据，根据步数、步幅长度和行进方向估计移动轨迹。

行走脚步提取单元302基于动作传感器单元340的感测数据提取用户(携带用户终端30的人员)的行走脚步的定时。行走脚步的定时是脚接触地面的时间，并且例如，行走周期可以从由动作传感器单元340获得的三个轴的加速度获取，并且每个行走周期中加速度的最大值可以被检测为地面接触定时。稍后将描述细节。

活动信息提取单元303基于动作传感器单元340的感测数据来提取用户的活动(携带用户终端30的人员)，诸如静止、步行、奔跑、使用楼梯、使用电梯和使用自动扶梯。例如，活动信息提取单元303可以基于由动作传感器单元340获得的加速度、角速度、磁力、大气压等来识别用户的活动。已知的技术可应用于活动识别算法。

控制单元300执行控制，以在根据从卫星定位单元310获取的位置信息确定用户已经进入目标设施时，连续执行上述移动矢量计算、行走脚步提取和活动信息提取，并将计算和提取的数据发送到服务器10。这样的控制可以通过预先安装在用户终端30中以便使用本系统的应用来执行。目标设施的位置信息、要传送的数据的内容等可以被存储在存储单元380中。

(卫星定位单元310)

卫星定位单元310接收全球定位系统(GPS)和其他全球导航卫星系统(GNSS)信号并且基于接收的信号检测用户终端30存在的位置。卫星定位单元310是室外定位单元的示例。例如，可以使用除了GNSS之外的Wi-Fi、蓝牙等检测位置。卫星定位单元310将检测的位置信息输出至控制单元300。控制单元300可以基于这样的位置信息确定用户已经输入了目标设施。

(信标接收单元320)

信标接收单元320具有接收从用户终端30发送的信标的功能。这种信标是触发控制单元300开始预定控制的信号的示例。通过接收这种信标来指定要由稍后将描述的服务器10执行检查的时间间隔。信标可以包括发送信标的环境相机20的相机ID(例如，MAC地址)。例如，控制单元300可以执行控制，以响应于接收信标，通过测距单元330获取关于到环境相机20的距离和到存在于附近的其他用户终端的距离的数据，并且将获取的数据与包括在接收到的信标中的相机ID、信标的接收时间和用户ID一起发送到服务器10。控制单元300还可以执行以下控制：当信标的接收丢失时，将在信标的接收期间(连续)获取的距离信息与信标的接收开始和结束时间、相机ID和用户ID一起发送到服务器10。在响应于接收信标而执行用于获取和发送距离信息的控制中，控制单元300还连续地执行设施中的移动矢量计算、行走脚步提取和活动信息提取，并且将计算和提取的信息与时间信息和用户ID一起发送到服务器10。

(测距单元330)

测距单元330测量环境相机20与用户终端30之间的距离以及用户终端30与位于用户终端30附近的其他用户终端之间的距离。虽然测距方法没有特别限制，但是测距方法可以是例如使用蓝牙RSSI的测距或使用超宽带(UWB)的测距。测距单元330可以计算环境相机20与用户终端30之间的距离，或者可以接收由环境相机20计算的距离信息。基于环境相机20与其他用户终端之间的这种距离信息，服务器10可以确定用户与环境相机20之间或用户与其他用户之间的相互位置关系。

(动作传感器单元340)

动作传感器单元340是用于捕获人员的移动的传感器。例如，动作传感器单元340包括加速度传感器、角速度传感器、地磁传感器、气压传感器等。动作传感器单元340还可以包括能够检测总共9个轴的传感器，由3轴陀螺仪传感器、3轴加速度传感器和3轴地磁传感器组成。动作传感器单元340将由每个传感器检测的数据(感测数据)输出至控制单元300。

(通信单元350)

通信单元350是用于向其他装置发送数据和从其他装置接收数据的无线通信模块。例如，通信单元350无线地连接至网络41并且经由网络41将数据发送至服务器10并且从服务器10接收数据。虽然无线通信方法没有特别限制，但是无线通信方法可以任意使用诸如例如无线局域网(LAN)、蓝牙(注册商标)、Wi-Fi(注册商标)、长期演进(LTE)、第三代移动通信方法(3G)、第四代移动通信方法(4G)和第五代移动通信方法(5G)的通信方案。

(显示单元360)

显示单元360具有显示各种操作画面、通知画面等的功能。显示单元360由诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置来实现。当用户终端30是头戴式显示器(HMD)时，显示单元360可以是透射式显示器。显示单元360可以是激光扫描型显示器，诸如直接视网膜扫描显示器。显示单元360可包括成像光学系统，该成像光学系统放大并投影显示屏幕以在用户的瞳孔中形成具有预定视角的放大的虚拟图像。

显示单元360可显示用户终端30已从服务器10接收的通知(诸如认证信息注册或删除通知)、优惠券信息、产品信息、广告等的内容。服务器10能够执行用户输入的来自设施的信息提供。

(操作输入单元370)

操作输入单元370接收来自用户的操作指令并且将操作的内容输出至控制单元300。操作输入单元370可为例如按钮、开关或触摸传感器。操作输入单元370还可检测用户的语音、移动、手势等以接收操作指令。

(存储单元380)

存储单元380存储用于使控制单元300执行各种处理的程序等。存储单元380包括包含存储介质的存储装置、用于将数据记录在存储介质上的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储单元380可以通过存储用于控制单元300的处理的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数的随机存取存储器(RAM)来实现。

以上具体描述了根据本实施方式的用户终端30的配置。根据本实施方式的用户终端30的配置不限于图5中示出的示例。例如，用户终端30可被配置为包括行走脚步提取单元302和活动信息提取单元303中的至少一个。

由用户终端30的控制单元300执行的各种处理中的至少一种可由服务器10执行。例如，控制单元300可以将由动作传感器单元340检测的数据(感测数据)与检测时间一起发送到服务器10，并且服务器10可以执行移动矢量计算单元301、行走脚步提取单元302和活动信息提取单元303的处理。

用户终端30可以进一步包括传感器，诸如相机、红外传感器、生物传感器(包括脉搏、心跳、出汗、血压、体温、呼吸、肌电流值或脑电波)、以及麦克风。例如，活动信息提取单元303也可以使用来自这些传感器的感测数据来提取活动信息(识别活动)。

用户终端30可以通过多个装置来实现。例如，用户终端30可被配置为包括由HMD等实现的显示装置(至少对应于显示单元360)和由智能电话、平板终端、可穿戴装置等实现的信息处理终端(至少对应于控制单元300)。

虽然已经将显示单元360描述为信息呈现单元的示例，但是本实施方式不限于此，并且可以通过来自音频输出单元(未示出)的音频输出向用户提供各种通知(诸如认证信息注册和删除通知、诸如在设施处可以使用的优惠券的有利信息的通知、或者设施的广告)。音频输出单元可以设置在用户终端30中或者可以与用户终端30分开配置。音频还可以从设置在设施中的扬声器输出。设施中提供的扬声器可以是定向扬声器。当扬声器是定向扬声器时，它可以向用户的位置输出音频以通知用户预定信息。也可以通过组合显示输出和音频输出来执行信息呈现。诸如是否已经注册认证信息的通知和删除认证信息的通知的通知可以由设置在用户终端30中的发光单元或振动单元来提供。也可以使用发光单元的发光颜色或发光图案(诸如闪烁)、振动图案等来提供各种通知。

<2-4.服务器10的示例性配置>

图7是示出根据本实施方式的服务器10的配置的示例的框图。如图7所示，服务器10包括控制单元100、通信单元110以及存储单元120。

控制单元100用作运算处理装置和控制装置，并且根据各种程序控制服务器10中的整体操作。控制单元100由诸如中央处理单元(CPU)或微处理器的电子电路实现。控制单元100可以包括用于存储要使用的程序、计算参数等的只读存储器(ROM)和用于临时存储适当地改变的参数等的随机存取存储器(RAM)。

控制单元100将通过通信单元110从环境相机20和用户终端30接收的数据片段存储在存储单元120中。具体地，控制单元100执行控制以在捕获图像数据库(DB)121中存储从环境相机20接收的信息(相机ID、时间信息、捕获图像(视频)以及通过分析捕获图像获得的各种信息(诸如，移动矢量、行走脚步、活动信息、相互位置关系以及在图像中成像的每个移动对象的认证信息))。控制单元100还执行用于将从用户终端30接收的信息(诸如，用户ID、时间信息、移动矢量信息(例如，PDR位置信息)、行走脚步信息以及活动信息)存储在路线历史数据库122中的控制。

控制单元100还用作移动矢量检查单元101、行走脚步检查单元102、位置关系检查单元103、活动信息检查单元104、移动模式检查单元105、关联单元106、信息注册单元107和路线更新单元108。

移动矢量检查单元101利用从环境相机20获得的移动对象的移动矢量检查从用户终端30获得的移动矢量。具体地，移动矢量检查单元101利用用户终端30从环境相机20接收信标的时间(例如，从接收的开始到结束的t秒)获取的每个移动对象的移动矢量来检查用户终端30的移动矢量。在移动矢量检查中，如参照图2所描述的，移动矢量检查单元101可以计算移动对象的移动矢量与用户终端30的移动矢量的相似度，以确定最相似的移动矢量。可以说，示出最相似移动矢量的移动对象是携带用户终端30的用户。

行走脚步检查单元102检查从用户终端30获得的行走脚步与从环境相机20获得的移动对象的行走脚步。具体地，行走脚步检查单元102检查用户终端30在用户终端30从环境相机20接收信标的时间(例如，从接收的开始到结束的t秒)内的行走脚步以及从由已经发送信标的环境相机20在该时间捕获图像获取的每个移动对象的行走脚步。后面将描述行走脚步检查处理的细节。在本实施方式中，行走脚步是“状态信息”的示例。如参考图3所描述的，当多个移动对象(人员)在同一时间在同一视角内移动时，难以仅通过移动矢量检查识别用户。因此，在本实施方式中，不仅考虑移动矢量检查而且考虑状态信息的检查(例如，行走脚步)来识别用户，从而提高了识别的准确度。

位置关系检查单元103检查从用户终端30获得的位置关系(相对于环境相机20或其他附近的用户终端的相互位置关系)与从环境相机20获得的移动对象的位置关系(到移动对象的距离或每个移动对象与其附近的移动对象之间的相互位置关系)。相互位置关系可以包括位置信息(例如，全局坐标)或距离信息。更具体地，位置关系检查单元103检查用户终端30从环境相机20接收信标的时间(例如，从接收的开始到结束的t秒)内的用户终端30的位置关系与从此时由发送信标的环境相机20捕获图像获取的各个移动对象的位置关系。位置关系确认处理的详情在后面叙述。位置关系是本实施方式中的“状态信息”的示例。如参考图3所描述的，当多个移动对象(人员)在同一时间在同一视角内移动时，难以仅通过移动矢量检查识别用户。因此，在本实施方式中，不仅考虑移动矢量检查而且考虑状态信息(例如，位置关系)的检查来识别用户，从而提高了识别的准确度。

活动信息检查单元104检查从用户终端30获得的活动信息与从环境相机20获得的移动对象的活动信息。具体地，行走脚步检查单元102利用用户终端30从环境相机20接收信标的时间(例如，从接收的开始至结束的t秒)获取的每个移动对象的活动信息检查用户终端30的活动信息，其中，每个移动对象的活动信息从由发送信标的环境相机20在该时间捕获的图像中获取。活动信息检查处理的细节将在后面描述。活动信息是本实施方式中的“状态信息”的示例。如参考图3所描述的，当多个移动对象(人员)在同一时间在同一视角内移动时，难以仅通过移动矢量检查识别用户。因此，在本实施方式中，不仅考虑移动矢量检查而且考虑状态信息(例如，活动信息)的检查来识别用户，因此提高了识别的准确度。

移动模式检查单元105检查基于从用户终端30获得的信息的用户的移动模式与基于从多个环境相机20获得的信息(组合信息)的移动对象的移动模式。移动模式例如是与预先设定的规则(例如，利用设施内的地图信息设定的路线等)一致的移动模式。

移动模式检查单元105将用户终端30从第一环境相机接收信标的时间(例如，从接收的开始到结束的t秒)的移动矢量与用户终端30从邻近(或接近)第一环境相机的第二环境相机接收信标的时间(例如，从接收的开始到结束的t秒)的移动矢量组合以提取移动模式。移动模式检查单元105还组合从由第一和第二相邻环境相机捕获图像获取的每个移动对象的移动矢量以提取每个移动对象的移动模式。例如，每个移动对象的诸如面部信息、骨架信息、衣服信息或步行步态信息之类的外貌特征被用来标识要从由第一和第二相邻环境相机捕获图像中提取其移动模式的每个移动对象(搜索同一人员)。

稍后将描述移动模式检查处理的细节。移动模式是本实施方式中的“状态信息”的示例。如参考图3所描述的，当多个移动对象(人员)在同一时间在同一视角内移动时，难以仅通过移动矢量检查识别用户。因此，在本实施方式中，不仅考虑移动矢量检查而且考虑状态信息(例如，移动模式)的检查来识别用户，从而提高了识别的准确度。

基于上述检查结果，关联单元106将拥有用户终端30的用户与在由环境相机20获取的捕获图像中成像的人员(移动对象)相关联。例如，关联单元106可以计算指示每个检查的可靠性的检查置信度得分，并且参考所计算的检查置信度得分来关联用户。具体地，关联单元106对每个移动对象的检查置信度得分求和，确定具有最大总和的移动对象是用户，并将该移动对象与该用户相关联。

关联单元106可以基于至少一个检查结果来关联用户或者可以基于至少两个或更多个检查结果来针对用户进行。例如，关联单元106可基于移动矢量检查和状态信息的检查(例如，行走脚步、位置关系、活动信息和移动模式中的至少一个)来关联用户。状态信息包括可以从外部识别的信息(即，可以从外部观察的信息，诸如，例如，移动和位置)。可以从用户终端20的各种感测数据中提取状态信息。状态信息也可以通过图像分析从环境相机20的捕获图像提取。在本实施方式中，行走脚步、位置关系(诸如，坐标位置或距离信息)、活动信息以及移动模式被用作状态信息的示例，但是根据本公开的状态信息不限于此。当不能仅通过移动矢量检查识别用户(不能识别目标移动对象)时，关联单元106可基于至少一条状态信息的检查来关联用户。关联单元106还可组合检查结果并将检查中最匹配(检查中最成功)的移动对象识别为用户。

信息注册单元107将与用户相关联的人员(移动对象)的认证信息(诸如面部信息)注册在认证信息数据库123中作为用户的认证信息。具体地，信息注册单元107注册用户ID和认证信息。假设注册的认证信息是通过检查成功的环境相机20获取的认证信息。当由于遮挡等而检查成功的环境相机20不能获取认证信息时，信息注册单元107可以从路线历史数据库122中的关于用户ID的数据估计用户过去经过的环境相机20，并且注册由环境相机20获取的认证信息。类似地，对于在特定时间检查成功的用户，信息注册单元107可以注册从用户在该时间之后经过的环境相机20的视频获取的认证信息。信息注册单元107可以通知用户终端30认证信息已经被注册。

专用于获取认证信息的相机和用于检查移动矢量等的环境相机可以彼此分离。专用于获取认证信息的相机可安装在与用于检查的环境相机相同的地方，或者可安装在可拍摄到访客的更多面部的至少地方(例如，设施的入口)。例如，当进入大厅时可以获取认证信息，并且此后，当使用移动矢量等的检查完成时，可以将在进入时获取的认证信息与用户ID关联地注册。用于获取认证信息的相机可以在性能规范方面与用于移动矢量检查的环境相机不同，并且例如是具有窄视角的相机或高放大率、高分辨率相机。例如，可以从检查成功的用户ID的路线历史中识别用户已经在专用于获取认证信息的相机附近经过的时间段，或者基于已经从专用于获取认证信息的相机接收到信标的时间段来识别用户已经经过的时间段，并且可以在认证信息数据库123中注册在该时间段期间从专用于获取认证信息的相机获取的认证信息(更准确的认证信息)。当在用户已经过去的时间段期间从专用于获取认证信息的相机已经获取多条认证信息时，可以对其进行检查以与从用于检查的相机获取的用户的认证信息匹配，以获得正确的认证信息。

专用于获取认证信息的相机也可被提供在可使用UWB等来准确地测量位置的无人机中。无人机在大厅里飞来拍摄游客。

另一方面，当检查不是如此成功时，信息注册单元107在未决信息数据库124中注册检查不是如此成功(即，不能进行关联)的用户ID和相机ID。

信息注册单元107可以基于最新数据来更新存储在认证信息数据库123中的认证信息。信息注册单元107还可以基于最新数据增加存储在认证信息数据库123中的认证信息。

路线更新单元108通过组合存储在路线历史数据库122中的用户的过去的移动路线和新获取的移动路线的处理以及在用户已经关联之后的位置校正处理来更新数据。如上所述，PDR位置信息(即，移动矢量)从已经进入设施的用户的用户终端30连续地发送到服务器10。路线更新单元108组合所获取的多条PDR位置信息以生成用户在设施中的移动路线。由于PDR如上所述计算相对移动矢量的特性，PDR可能随着时间的推移累积误差。因此，在本实施方式中，当关联单元106已经识别(关联)了用户时，路线更新单元108基于从环境相机20获得的移动矢量(已经与用户相关联的移动对象的移动矢量)来校正存储在路线历史数据库122中的移动路线。这使得可以产生更精确的移动路线。

在自动注册用户认证信息(诸如面部信息)之后，路线更新单元108可基于认证信息来从从环境相机20获得的捕获到的图像中标识用户，然后校正用户的移动路线。

根据本实施方式的控制单元100可进一步进行用于将来自设施的各种信息通知给用户的控制。例如，控制单元100可根据用户的移动路线或活动执行通过通信单元110将适当信息发送到用户终端30的控制。信息可以被发送到预先注册的终端地址。

(通信单元110)

通信单元110是用于向其他装置发送数据和从其他装置接收数据的通信模块。例如，通信单元110经由网络40连接至一个或多个环境相机20(安装在设施中的地方的相机)以发送和接收数据。通信单元110还经由网络41连接至一个或多个用户终端30(由在设施中移动的用户携带的用户终端)以发送和接收数据。

(存储单元120)

存储单元120存储用于使控制单元100执行各种处理的程序等。存储单元120包括包含存储介质的存储装置、用于将数据记录在存储介质上的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储单元120可通过存储用于控制单元100的处理的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数的随机存取存储器(RAM)来实现。

根据本实施方式的存储单元120存储捕获图像数据库121、路线历史数据库122、认证信息数据库123、未决信息数据库124和设施内地图信息数据库125。捕获图像数据库121存储从每个环境相机20获得的数据(诸如相机ID、时间信息、捕获图像、移动矢量信息、行走脚步信息、活动信息或认证信息)。路线历史数据库122存储从用户终端30获得的数据(诸如用户ID、时间信息、移动矢量信息、行走脚步信息、活动信息、距离信息或接收的相机ID)。认证信息数据库123将用户ID和认证信息彼此相关联地存储。未决信息数据库124存储检查不成功的用户ID和相机ID。设施内地图信息数据库125存储设施内地图信息。地图信息可以包括每个环境相机20的安装位置信息。

以上具体描述了根据本实施方式的服务器10的配置。根据本实施方式的服务器10的配置不限于图7所示的示例。例如，服务器10可以由多个设备实现。

服务器10还可以具有环境相机20的控制单元200的功能和用户终端30的控制单元300的功能。

<<3.操作处理>>

随后，将具体描述根据本实施方式的操作处理。

<3-1.信息处理系统的操作处理>

图8是示出根据本实施方式的信息处理系统的操作处理流程的示例的序列图。

如图8所示，首先，用户终端30从卫星定位单元310基于卫星定位获取位置信息(步骤S103)。

接下来，在基于位置信息确定用户已经进入目标设施时(步骤S106中的“是”)，控制单元300激活动作传感器单元340(步骤S109)。目标设施的位置信息可以被预先存储在存储单元380中。动作传感器单元340的这种激活触发是示例，并且还可以假设动作传感器单元340已经被激活。控制单元300可以响应于从安装在目标设施的入口处的装置等接收的信号(诸如BLE信标)来激活动作传感器单元340。

接下来，控制单元300基于从动作传感器单元340获得的感测数据执行移动矢量的计算和行走脚步和活动信息的提取(步骤S112)。移动矢量的计算和行走脚步和活动信息的提取可在设施中移动时连续执行。

接下来，控制单元300执行控制以将移动矢量(PDR位置信息)、行走脚步和活动信息与获取时间和用户ID一起发送至服务器10(步骤S115)。向服务器10发送的定时例如可以每隔一定时间间隔，尽管不特别限制向服务器10发送的定时。

接下来，服务器10将从用户终端30接收的信息存储在路线历史数据库122中(步骤S118)。

另一方面，设置在设施中的一个或多个环境相机20中的每一个执行控制以连续拍摄周围环境的图像并且周期性地发送预定信标(步骤S121)。

接下来，环境相机20将从捕获图像获取的信息发送至服务器10(步骤S124)。具体地，环境相机20执行控制，用于将从捕获图像获取的每个移动对象的移动矢量、脚步、位置关系、活动信息等和认证信息连同捕获图像、时间信息、相机ID等一起发送到服务器10。

接下来，服务器10将从环境相机接收的信息存储在捕获图像数据库121中(步骤S126)。

随后，响应于从环境相机20接收信标，用户终端30执行控制，以向服务器10发送指示已经接收到信标的时间段的时间信息(例如，信标的接收开始和结束时间，其中，在自用户移动之后离开环境相机20时可能丢失信标)、在信标中包括的用户ID、测距信息和相机ID(步骤S127)。测距信息是用户终端30通过从环境相机20接收信标而触发的测距单元330获取的信息。测距信息是例如用户终端30与环境相机20之间的距离信息以及用户终端30与位于附近的其他用户终端之间的距离信息。

接下来，服务器10的控制单元100基于从环境相机20接收的信息和从用户终端30接收的信息执行各种检查，并且识别(关联)用户并且在认证信息数据库123中注册(关联用户的)认证信息(步骤S130)。服务器10可以使用认证信息在设施中执行用户认证。服务器10还可以通过用户认证提供诸如支付处理等各种服务。执行这样的服务提供和用户认证的设备可以是与服务器10不同的信息处理装置或系统。

接下来，信息注册单元107基于从环境相机20的捕获图像获取的用户的移动矢量校正和更新存储在用户的路线历史数据库122中的路线历史(移动路线历史)(步骤S133)。这校正了基于PDR的移动路线的误差并且提高了移动路线的准确度。服务器10可以基于用户位置、移动路线、设施中的预定位置处的预定活动等向用户提供适当的信息。

然后，当检测到用户已经离开目标设施时(步骤S136中的“是”)，用户终端30请求服务器10删除与用户的用户ID相关联的数据(步骤S139)。例如，基于从设置在设施的出口处的装置接收的信号(诸如BLE信标)或者基于由卫星定位单元310获取的位置信息，可以确定用户已经离开目标设施。

在接收到该请求时，服务器10从捕获图像数据库121、路线历史数据库122、认证信息数据库123和未决信息数据库124中删除与用户ID相关的所有信息(步骤S142)。例如，当由用户批准时，服务器10可以从路线历史数据库122中删除与用户ID的关联，并且将移动路线信息作为历史留下，并且将其用于测量营销效果等，同时保持匿名性。

这里，在用户离开目标设施时自动请求与用户ID相关联的数据被删除的用户终端30中的处理已被描述为示例，但是本实施方式不限于此。例如，用户可以使用用户终端30手动做出删除请求。

上面已经描述根据本实施方式的信息处理系统的整体处理的示例。随后，将按顺序具体描述根据本实施方式的信息处理系统的每个操作处理。

<3-2.环境相机20的操作处理>

图9是示出根据本实施方式的环境相机20的操作处理的流程的示例的流程图。如图9所示，首先，环境相机20的控制单元200获取由成像单元220捕获的t秒的图像(视频)(步骤S203)。捕获的视频可以存储在存储单元250中，并且由控制单元200适当地提取。

接着，人体区域提取单元201从每帧(t秒的视频所包含的各静止图像)中提取人员(人体区域)(步骤S206)。

接着，移动对象提取单元202基于帧的比较提取移动对象(步骤S209)。具体地，移动对象提取单元202比较按时间序列布置的帧，识别所提取的人员的移动，并且将该人员提取作为移动对象。

接着，移动对象提取单元202对提取出的移动对象赋予移动对象编号(步骤S212)。

接着，移动矢量计算单元203基于捕获图像计算每个移动对象的移动矢量(步骤S215)。

接下来，行走脚步提取单元204基于捕获图像提取每个移动对象的行走脚步(步骤S218)。

接下来，位置关系提取单元205基于捕获图像提取每个移动对象的相互位置关系(步骤S218)。例如，位置关系提取单元205可以根据在捕获图像中成像的每个移动对象的尺寸等确定透视关系，并且提取移动对象之间的相互位置关系或者每个移动对象与环境相机20之间的相互位置关系。位置关系提取单元205也可以通过基于每个移动对象与环境相机20之间的距离执行真实范围多点定位来提取移动对象之间的位置关系。

接着，认证信息提取单元207从拍摄图像中提取各移动对象的认证信息(步骤S224)。

然后，服务器10将分配有移动对象编号的每个移动对象的移动矢量、行走脚步、相互位置关系和认证信息与相机ID和时间信息一起发送到服务器10(步骤S227)。这些信息存储在服务器10的摄像图像数据库121中。服务器10执行以下处理：将新存储的信息与从已存储在捕获图像数据库121中的相机ID的环境相机20获取的先前时间间隔的视频中的每个移动对象的相互位置关系相比较，并且将被视为同一移动对象的移动对象编号相关联。

上面已经描述了环境相机20的操作处理的示例。环境相机20的操作处理不必按照图9所示的顺序进行。例如，能够以不同的顺序或并行地执行步骤S215至S224所示的处理。

<3-3.服务器10的操作处理>

接下来，将描述根据本实施方式的服务器10的操作处理。图10是示出根据本实施方式的服务器10的操作处理流程的示例的流程图。

如图10所示，首先，服务器10接收用户终端30通过接收从环境相机20发送的信标而获取并且发送至服务器10的信息(步骤S303)。如在图8的步骤S127中所示，当从环境相机20检测到信标时，用户终端30存储其开始检测信标时的时间和相机ID(包括在信标中的MAC地址)。接下来，用户终端30通过动作传感器单元340获取用户终端30与环境相机20之间的距离以及到存在于附近的其他用户终端的距离。然后，用户终端30将丢失信标的时间设置为信标的检测结束时间，并且将信标的检测开始和结束时间、测距数据、相机ID、以及用户ID发送至服务器10。

接下来，服务器10的控制单元100执行检查处理，以检查从环境相机20获得的信息和从用户终端30获得的信息(步骤S306)。检查使得用户可以与捕获图像中显示的移动对象相关联(即，识别用户)。从用户终端30获得的信息是如图8的步骤S118中所示的在步骤S303中接收的信息和从用户终端30接收并存储在路线历史数据库122中的信息。如在图8的步骤S126中所示，从环境相机20获得的信息是从环境相机20接收并且存储在捕获图像数据库121中的信息。当用户已经穿过环境相机20的视角内的区域时，可以检查从用户拥有的用户终端30获得的信息和从捕获图像获得的信息，并且还可以校正用户在设施中的移动路线并且注册认证信息。

执行检查处理的定时不受特别限制。在检查处理中，控制单元100可针对每个检查计算指示检查的可靠性(作为用户的可能性)的检查置信度得分，并且针对每个移动对象计算对这些得分进行求和的检查置信度得分(在本说明书中称为总检查置信度得分)。求和可以是例如对检查置信度得分进行加权和平均的方法。稍后将描述检查处理和检查置信度得分计算的细节。

接下来，关联单元106确定总检查置信度得分是否超过阈值(步骤S309)。

接下来，当总检查置信度得分超过阈值时(步骤S309中的“是”)，关联单元106将示出最大总检查置信度得分的移动对象识别为目标移动对象(即，将其识别为用户)(步骤S312)。由此，在捕获图像中显示的移动对象可以与用户(具体地，从用户终端30获得的用户ID)相关联。

接下来，路线更新单元108从路线历史数据库122中提取与移动对象相关联的用户ID的数据(移动路线历史)(步骤S315)。

接下来，路线更新单元108根据从环境相机20获取的移动矢量来校正用户的路线历史(步骤S318)。具体地，路线更新单元108根据从环境相机20获取的(从视频导出的)移动矢量校正在环境相机20的视角内移动的用户的移动路线，使得可以校正从用户终端30获取的(从PDR导出的)移动矢量的误差。

信息注册单元107将与移动对象相关联的用户ID与从捕获图像获取的移动对象的认证信息相关联，并且在认证信息数据库123中注册相关联的认证信息(步骤S321)。这使得可以自动注册诸如用户的面部图像(面部特征)的认证信息。

然后，信息注册单元107向用户终端30通知已经注册了认证信息(步骤S324)。这里，图11是示出根据本实施方式的用于通知用户的认证信息注册的屏幕的示例的图。如图11所示，通知屏幕361被显示在用户终端30的显示单元360上。通知屏幕361示出设施的名称(例如，“S-商场”)并且显示关于已经在系统中注册的用户的信息。例如，当点击通知屏幕361上的“好的(OK)”按钮时，可获得用户的批准。如果不能获得用户的批准，则服务器10可删除认证信息。

利用应用的功能，可以允许用户任意地删除认证信息。图12是示出用于删除认证信息的屏幕的示例的图。如图12所示，在删除屏幕362上显示注册的认证信息。当点击删除屏幕362上的删除按钮时，用户终端30向服务器10发送删除请求，并且服务器10删除认证信息。还可以根据应用提供禁用定位和认证信息在设施中的自动注册的功能。利用选择加入类型功能，只有已经认证同意在使用应用时打开设置的用户可以经受定位和认证信息的自动注册。图13是示出用于定位和认证信息的自动注册的设置屏幕的示例的图。如图13所示，设置按钮可被显示在设置屏幕363上，使得设置可被打开/关闭。

另一方面，当总检查置信度得分未超过阈值时(步骤S309中的“否”)，假设用户不能被区分(识别)(不能被关联)，并且用户ID和相机ID被存储在未决信息数据库124中(步骤S327)。当稍后可以进行关联时，可以从未决信息数据库124中删除可以关联的用户ID和相机ID(大量的环境相机20被安装在设施中并且可以基于从其他环境相机20获得的信息执行检查)。

上面已经描述了根据本实施方式的服务器10的操作处理的示例。服务器10的操作处理不必按照图10中所示的顺序进行。例如，步骤S315和S318所示的处理和步骤S321和S324所示的处理可以各自以不同的顺序或并行地执行。

<<4.检查处理和检查置信度得分计算>>

随后，将描述在图10的步骤S306中执行的检查处理和检查置信度得分的计算。

<3-4-1.检查处理流程>

图14是示出根据本实施方式的检查处理的流程的示例的流程图。如图14所示，首先，控制单元100从路线历史数据库122提取对应时间段中的数据(诸如，从用户终端30接收的用户ID、移动矢量以及行走脚步)(步骤S403)。对应的时间段是包括在图10的步骤S303中从用户终端30接收的信息中的用户终端30的信标检测开始至结束时间。

接下来，控制单元100从捕获图像数据库121提取相应相机ID的相应时间段内的数据(诸如从环境相机20获取的捕获图像、移动矢量和行走脚步)(步骤S406)。对应的相机ID是包括在由用户终端30检测的信标中的相机ID，该相机ID包括在图10的步骤S303中从用户终端30接收的信息中。

接下来，控制单元100基于所提取的数据执行移动矢量检查(步骤S409)、行走脚步检查(步骤S412)、活动信息检查(步骤S415)、位置关系检查(步骤S418)以及移动模式检查(步骤S421)。在每个检查处理中，针对每个移动对象计算检查置信度得分。

然后，关联单元106针对每个移动对象对在检查处理中计算出的检查置信得分进行求和(步骤S424)。求和方法没有特别限制，并且可以是例如对检查置信度得分进行加权和平均的方法。

上面已经描述了检查处理的流程的示例。检查处理不必按照图14所示的顺序进行。例如，能够以不同的顺序或并行地执行步骤S409至S421中所示的检查。此外，可以执行步骤S409至S421中所示的所有检查，或者可以执行这些检查中的至少一个。如果当顺序地执行检查处理时检查成功(即，如果可以识别与用户对应的移动对象)，则控制单元100可跳过在成功检查之后的其他检查处理。

控制单元100还可执行包括“移动矢量检查”和“行走脚步检查、活动信息检查、位置关系检查和移动模式检查中的至少一个”的至少两个检查。当用户不能仅通过移动矢量检查来区分(识别)时，控制单元100可进一步执行行走脚步检查、活动信息检查、位置关系检查和移动模式检查中的至少一个。关联单元106可组合检查结果并将在检查中最匹配(在检查中最成功)的移动对象识别为用户。

接下来，将描述每个检查处理。

<4-2.移动矢量检查和检查置信度得分计算>

在移动矢量检查中，例如，如参照图2所描述的计算余弦相似性。在这种情况下，如以下表达式1所示，移动矢量检查单元101可以使用从环境相机20获得的移动矢量(mv_can)与从用户终端30获得的移动矢量(mv_acc)之间的余弦相似性作为移动矢量的检查置信度得分(Pmv)。

[数学式.1]

<4-3.脚步检查和检查置信度得分计算>

在行走脚步检查中，例如，计算从由环境相机20捕获图像获得的行走脚步(脚-地面接触)的定时与从用户终端30的感测数据获得的行走脚步(脚-地面接触)的定时之间的定时匹配度。

这里，将参照图15至图18描述行走脚步的定时匹配度的计算。

图15是示出从环境相机20的捕获图像获得的用户A的行走脚步的定时和从用户终端30A的感测数据获得的用户A的行走脚步的定时的图。例如，用户终端30A分析由动作传感器单元340检测的三个轴的加速度以检测脚-地面接触定时(t_acc0，t_acc1，t_acc2)。这里，例如，假设用户终端30A位于用户A的裤子的左口袋或右口袋中并且从加速度的波形的峰值检测一英尺的地面接触定时。图15中所示的三个轴的加速度的波形是示例，并且本实施方式不限于此。另一方面，例如，环境相机20从所获取的图像中检测用户A的脚(鞋)区域和头部区域，并且从区域的位置(移动)中检测脚-地面接触定时(t_cam0，t_cam1，t_cam2)。环境相机20可从捕获图像执行骨检测(骨架识别)等以从用户A的腰部位置检测脚-地面接触定时。环境相机20可以分别检测右脚的地面接触定时和左脚的地面接触定时，或者可以检测两个脚的地面接触定时并且将它们划分以计算一个脚的地面接触定时。然后，行走脚步检查单元102计算每个地面接触定时(一英尺的地面接触定时)的定时匹配程度(时间差)以执行行走脚步检查。在本实施方式中，作为一示例，检查单脚的地面接触定时，但是本公开不限于此，并且行走脚步检查单元102可检查两只脚的地面接触定时。例如，当用户终端30在用户的背包或手提包中时，两只脚的地面接触定时有时会表现为加速度的峰值。用户终端30还可通过动作传感器单元340的机器学习来确定其保持位置(其是处于发生左右差异的保持位置还是没有发生左右差异的保持位置)。

图16是示出用户终端30的行走脚步提取处理的流程的示例的流程图。如图16所示，首先，行走脚步提取单元302从动作传感器单元340获取三个轴的加速度(步骤S503)。

接下来，行走脚步提取单元302根据三个轴的加速度计算范数(步骤S506)，并且对计算结果执行快速傅立叶变换(FFT)(步骤S509)。

接下来，行走脚步提取单元302从FFT处理结果获取最大功率频率作为行走周期(步骤S512)。

接下来，行走脚步提取单元302去除超过最大功率频带的分量(步骤S515)。

接下来，行走脚步提取单元302对去除了最大功率频带以外的分量的数据执行快速傅里叶逆变换(IFFT)(步骤S518)。

然后，行走脚步提取单元302从通过执行IFFT以提取一英尺的地面接触定时而获得的数据中检测根据行走周期的峰值(步骤S521)。

以上已经解释了基于加速度数据的行走脚步的提取。参考图16描述的行走脚步的提取是示例，并且根据本实施方式的提取行走脚步的方法不限于此。

图17是示出环境相机20的行走脚步提取过程的流程的示例的流程图。如图17所示，首先，环境相机20利用成像单元220捕获图像(步骤S533)。

接下来，行走脚步提取单元204从捕获图像检测脚(或鞋)区域(步骤S536)。

接下来，当可以检测到脚(鞋)区域时(步骤S536中的是)，行走脚步提取单元204从脚(鞋)的状态检测右脚的地面接触定时和左脚的地面接触定时(步骤S542和S545)。通常，当人类行走时，他或她降落在脚后跟上并且踩在脚趾上，并且因此行走脚步提取单元204可检测脚后跟的地面接触。根据成像条件，例如，在步行的每个周期中后跟的移动矢量的绝对值首先变为零的帧可被设置为地面接触定时。另外，也可以将从脚后跟到脚尖的矢量从朝向天空的状态起首先与地面平行的帧设定为地面接触定时。这里，因为在本实施方式中作为示例检查了单脚的地面接触定时，所以行走脚步提取单元204单独检测右脚和左脚的地面接触定时。

另一方面，当不能检测到脚(鞋)区域时(步骤S536中的“否”)，行走脚步提取单元204检测头部区域(步骤S548)。

在可以检测到头部区域的情况下(步骤S551：是)，行走脚步提取单元204根据头部位置检测两只脚的地面接触定时(步骤S554)，以1只脚的地面接触定时分割地面接触定时序列(步骤S557)。通常，身体在行走期间上下移动并且在接触地面时大部分下沉，并且因此行走脚步提取单元204确定在每个行走周期中头部位置(例如，表冠的位置)在底部的帧是地面接触定时。然而，为了获得一英尺的串行数据，行走脚步提取单元204需要按照时间顺序通过交替分配划分地面接触定时，因为不知道左脚和右脚中的哪一个与地面接触。

利用以下事实：当人类行走时，他或她进行被称为“头部的补偿旋转”的移动，其中，当他或她下沉时头部向上和向下倾斜，使得除上述头部位置之外，他或她的视点不偏离，行走脚步提取单元204还可以并行地执行选择具有头部的最大俯仰角的帧的处理，以提高精确度。

另一方面，如果不能检测到头部区域(步骤S551中的“否”)，则行走脚步提取单元204输出错误。

这里，作为示例，通过脚部检测或头部检测来检测地面接触定时，但是本实施方式不限于此。例如，当从捕获图像可识别骨架时，行走脚步提取单元204可检测下肢的角度最大化的定时和左脚和右脚的垂直移动矢量的方向被切换作为地面接触定时。行走脚步提取单元204还可以基于腰部位置检测地面接触定时。在步行周期中，腰部位置在地面接触时最多下沉。当从捕获图像可识别面部时，行走脚步提取单元204可检测面部部分的垂直移动矢量的循环的下限作为地面接触定时。

上面已经解释了基于捕获图像的行走脚步的提取。参考图17描述的行走脚步的提取是示例，并且根据本实施方式的提取行走脚步的方法不限于此。

图18是示出服务器10的行走脚步检查处理的流程的示例的流程图。如图18所示，首先，行走脚步检查单元102执行由用户终端30提取的一英尺的地面接触定时与由环境相机20提取的左右脚的数据(参见上面的步骤S542和S545)或每个划得分据(参见上面的步骤S557)之间的脚步定时检查(步骤S573)。如图15所示，当从环境相机20获得的单脚的地面接触定时(t_cam0＝Tx，t_cam1＝Ty，t_cam2＝Tz)与从用户终端30A获得的单脚的地面接触定时(t_acc0＝Tx+0.02，t_acc1＝Ty，t_acc2＝Tz-0.1)之间的时间差等于或小于阈值时，行走脚步检查单元102可确定行走脚步的定时匹配。当已经从环境相机20获得关于右脚的地面接触定时和左脚的地面接触定时的数据时，行走脚步检查单元102计算与右脚的地面接触定时和左脚的地面接触定时的时间差，并且采用总时间差较小的那些时间差。

更具体地，例如，当满足以下表达式2时，行走脚步检查单元102在检查中可以是成功的。在本实施方式中，具有满足以下表达式2的移动矢量的移动对象可以被区分(识别)为用户。

[数学式.2]

接下来，行走脚步检查单元102计算行走脚步的检查置信度得分(P_ws)(步骤S576)。例如，如以下表达式3所示，行走脚步检查单元102可计算从环境相机20获得的行走脚步(地面接触定时t_cam)与从用户终端30获得的行走脚步(地面接触定时t_acc)之间的时间差(T_diffws)，并且如以下表达式4所示，基于时间差在可允许范围(阈值_ws)内多接近0来计算行走脚步的检查置信度得分(P_ws)。

[数学式.3]

[数学式.4]

虽然上面已经描述了检查行走脚步和计算检查置信度得分的方法，但是上述方法是示例，并且根据本实施方式的检查行走脚步和计算检查置信度得分的方法不限于此。虽然在这里使用指示脚接触地面的定时的行走脚步作为示例，但是本实施方式不限于此，并且与步行有关的任何特征(诸如步行步态、步行节奏或步行姿势)可以用作状态信息以进行检查。

<4-4.位置关系检查和检查置信度得分计算>

在位置关系检查中，将在环境相机20的视角内的每个移动对象的相互位置关系与基于由用户终端30获取的距离信息而计算的用户终端30的相互位置关系进行比较的位置关系检查单元103基于相互位置关系的比较将用户与在捕获图像中成像的一个或多个移动对象区分开(识别)。

这里，相互位置关系是用户终端30与其他用户终端之间的位置关系、用户终端30与环境相机20之间的位置关系、或者用户终端30、其他用户终端和环境相机20之间的位置关系。相互位置关系可以是距离，或者可以是其已被转换成的全局坐标的距离。

位置关系检查单元103可基于用户终端30通过测距单元330已经获取的距离信息(关于与其他用户终端的距离的信息以及关于与环境相机20的距离的信息)来计算第三方的相互位置关系。例如，如图19所示，位置关系检查单元103基于用户A与环境相机20之间的距离(d_A-cam)和用户A与用户B之间的距离(d_A-B)来计算相互的位置关系。可以从用户终端30B获得用户B与环境相机20之间的距离(d_B-cam)。可替换地，位置关系检查单元103可以使用环境相机20已经通过与用户终端30A和用户终端30B中的每一个执行UWB通信等获取的距离信息(其可以由测距单元230获取)。

另一方面，位置关系检查单元103基于从环境相机20获得的捕获图像来计算每个移动对象的位置关系。例如，位置关系检查单元103分析捕获图像222，以估计在捕获图像222中成像的移动对象(移动对象M1和移动对象M2)的透视关系(位置关系)，如图19所示。此时，位置关系检查单元103可参考来自设置在环境相机20中的深度传感器等的数据。

然后，位置关系检查单元103检查通过测距单元330从用户终端30获得的位置关系和通过视频从环境相机20获得的位置关系，并且将用户A(拥有用户终端30A的人员)与移动对象相关联。例如，位置关系检查单元103可基于相互位置关系之间的匹配程度来计算每个移动对象的检查置信度得分。例如，位置关系检查单元103可基于相互位置关系差在允许范围内多么接近0来计算检查置信度得分。

虽然上面已经描述了考虑用户之间的位置关系的检查，但是本实施方式不限于此。例如，服务器10保持由用户终端30获得的用户终端30与环境相机20之间的距离信息(d_rf)以及从环境相机20的视频估计的移动对象与环境相机20之间的距离信息(d_cam)。对于环境相机20的视频中的每一帧，服务器10的位置关系检查单元103对这些距离(距离d_rf和每个距离d_cam)进行比较，并且根据差异在允许范围内(容差_rel)的移动对象的数量来计算检查置信度得分。接下来，位置关系检查单元103确定帧的检查置信度得分的平均值是作为相互位置关系的最终检查结果的检查置信度得分。针对每个移动对象计算检查置信度得分。可以说，在视频中示出的移动对象中，具有最大检查置信度得分的移动对象是要搜索的移动对象(即，用户)。在下文中，将参照图20给出具体描述。

图20是示出根据本实施方式的相互位置关系检查的另一示例的图。图20为示出在特定时间(帧k＝i)的环境相机20和移动对象M的配置的图。对于待分析的时间间隔中的每个帧(k)，位置关系检查单元103基于从环境相机20的视频估计的距离(d_{cam k:ID})处于用户终端30与从用户终端30获得的环境相机20之间的距离(d_rfk)处或者在容许误差(容差_rel)的范围内的移动对象的数量(Nk)(移动对象数量：ID)来计算相互位置关系(关系)的检查置信度得分(P_rel)。在图20所示的示例中，移动对象M10、M11及M12位于从用户终端30获得的距离(d_rfk)处或者在容许误差(容差_rel)范围内，并且移动对象的数量为“3”(其中，拥有用户终端30的目标是M12)。

例如，如以下表达式5和表达式6所示，位置关系检查单元103对允许范围内的移动对象的数量进行计数。在下述表达式6中，下标“k：ID”表示移动对象编号ID的第k个帧的数据。

[数学式.5]

[数学式.6]

当在容许误差(容差_rel)范围内存在许多移动对象时，检查置信度得分(P_{rel k})较低，因为存在目标移动对象识别(用户标识)将不正确的高概率。相反，当在容许误差(容差_rel)范围内仅存在一个移动对象时，该帧中的置信度得分为1.0。例如，如以下表达式7所示，位置关系检查单元103计算每帧中的检查置信度得分(P_{rel k})。

[数学式.7]

在图20中所示的示例中(在某个定时(帧k＝i))，例如，当阈值_rel＝10时，存在于阈值_rel内的移动对象的数量是3(Ni＝3)，并且针对帧中的每个移动对象(M10、M11、M12)的检查置信得分被计算为P_{rel i}＝1-log₁₀(3)≈0.52。

然后，将在帧上计算的每个移动对象的检查置信度得分的平均值确定为每个移动对象的最终检查置信度得分(P_rel)。例如，如以下表达式8所示，位置关系检查单元103计算最终检查置信度得分(P_rel)。

[数学式.8]

注意，帧长度(帧之间的时间间隔)例如可以被设置为1秒，因为当调整到环境相机20的帧速率时间隔短。

也可以通过使用多个帧上的三个人员之间的距离信息找到最佳解来执行位置关系检查。下面将参照图21对此进行描述。

图21是示出根据本实施方式的相互位置关系检查的另一示例的图。该示例使用用户终端30与由用户终端30测量的其他用户终端之间的距离信息。如图21所示，用户终端30A在处于环境相机20的视角内时(当接收信标时)，周期性地获取其附近的其他用户终端30B和30C之间的距离信息(测距数据：d_At0-Bt0，d_At0-Ct0，d_At1-Bt1，d_At1-Ct1)。接下来，用户终端30A在其超出视角(信标丢失)时向服务器10发送测量的测距数据。

服务器10的位置关系检查单元103从每个帧的视频中估计存在于从环境相机20获得的视频中的移动对象之间的距离(移动对象M1、M2和M3之间的距离)，并且执行全搜索以找到最小化关于由用户终端30A测量的距离信息的误差的组合。

当从视频估计的距离和由用户终端30A测量的距离之间的累积误差最小并且等于或小于阈值时，位置关系检查单元103确定对应的移动对象是搜索目标(对应于用户的移动对象)。

可以基于累积误差与阈值之间的差来计算检查置信度得分。例如，可设置P_rel＝1-diff/阈值，并且当超过阈值时可设置P_rel＝0。当作为全搜索的结果已经找到N(N≥2)个最优解时，将通过P_rel除以N获得的值作为检查置信度得分输出。

虽然上面已经描述了检查位置关系和计算检查置信度得分的方法，但是上述方法是示例，并且根据本实施方式的检查位置关系和计算检查置信度得分的方法不限于此。

<4-5.活动信息检查和检查置信度得分计算>

在活动信息检查中，比较由用户终端30检测的步行路段之前或之后(例如，使用电梯、使用自动扶梯、使用楼梯)步行与具体活动之间的切换时间和由环境相机20捕获的移动对象的步行与具体活动之间的切换时间。

例如，位于自动扶梯上的用户A和仅静止在现场上的用户B是相同的，并且当用从PDR单独获得的移动矢量观看时，不能彼此区分，这是因为用户A在乘坐自动扶梯时不会步行移动，如图22所示。因此，本实施方式在行走路段之前和之后检测到特定活动时，比较活动和行走之间的切换时间，使得可以识别用户。特定活动可以从捕获图像和内部地图信息中识别。例如，当自动扶梯包含在图22中所示的环境相机20的视角中时，可从所捕获的图像检测已离开自动扶梯且开始行走的用户A。从图22中所示的捕获图像中还可以检测到已经停止了一会儿然后开始行走的用户B。活动信息检查单元104不仅可从所捕获图像而且可从内部地图信息确定自动扶梯、电梯、楼梯等的位置，并因此可从内部地图信息和由用户终端30检测到的移动轨迹来检测特定活动。

例如，活动信息检查单元104可在活动与行走之间的切换时间之间的时间差(T_{diff ws})在允许范围内(容差_act)时将活动的检查置信度得分(P_活动)设置为1.0，并可另外将其设置为0.0，如以下表达式9所示。

[数学式.9]

虽然上面已经描述了检查活动信息和计算检查置信度得分的方法，但是上面的方法是示例，并且根据本实施方式的检查活动信息和计算检查置信度得分的方法不限于此。

<4-6.移动模式检查和检查置信度得分计算>

在移动模式检查中，基于由用户终端30获取的移动矢量(PDR位置信息)和来自多个环境相机20(多个相机的链)的信息的集成，确定移动模式是否符合从设施的地图信息和环境相机20的布置中预设的规则(移动模式)。

当移动模式与符合规则的移动模式相匹配时，移动模式检查单元105将检查置信度得分(P_ch)设置为1.0，否则，将检查置信度得分设置为0.0。在下文中，将参考图23给出具体描述。

图23是示出根据本实施方式的移动模式检查的图。在图23中，布置环境相机20R、20L和20C。服务器10保持环境相机20和地图信息的这种布置。

(规则1：路线A)

例如，在通过PDR由用户终端30检测到在图23中所示的交叉区域中已经转过90°±45°之后，已经进入环境相机20C的视角的移动对象很可能已经过路线A。移动模式检查单元105确定由环境相机20C成像的要匹配的移动对象是否也被环境相机20L成像(其中，可基于每个移动对象的外貌特征(诸如面部、衣服、行走步态、和骨骼)来找到移动对象是否匹配(是同一人员))。然后，当环境相机20C拍摄的要匹配的移动对象也被环境相机20L拍摄时，移动模式检查单元105确定该移动对象是搜索目标(对应于用户)并且将检查置信度得分设定为1.0。另一方面，当在环境相机20L的视频中未发现由环境相机20C成像的移动对象时，移动模式检查单元105将检查置信得分设置为0.0。

(规则2：路线B)

在通过用户终端30的PDR检测到移动对象在交叉区域中直线移动而不转弯之后，已经进入环境相机20C的视角中的移动对象很可能已经经过路线B。移动模式检查单元105在环境相机20L或环境相机20R的视频中也拍摄到由环境相机20C拍摄的要匹配的移动对象时，将检查置信得分设置为0.0，而在任何相机都不拍摄时，将检查置信得分设置为1.0。

(规则3：路线C)

在用户终端30通过PDR检测到其在交叉区域中右转90°±45°之后，已经进入环境相机20C的视角的移动对象很可能已经经过路线C。当通过环境相机20C成像的待匹配的移动对象也通过环境相机20R成像时，移动模式检查单元105确定移动对象是搜索目标并且将检查置信得分设置为1.0。另一方面，当在环境相机20R的视频中没有发现由环境相机20C成像的移动对象时，移动模式检查单元105将检查置信得分设置为0.0。

尽管上面已经描述了执行移动模式检查(基于来自多个相机的信息的整合的检查)并计算检查置信度得分的方法，但是上述方法是示例，并且根据本实施方式的检查移动模式和计算检查置信度得分的方法不限于此。

<4-7.检查置信度得分的总和>

关联单元106对从每个移动对象的检查单元输出的检查置信度得分求和，并最终基于检查置信度得分的每个总和来识别用户(将用户与移动对象相关联)。例如，如下面的表达式10中所示，可以通过对得分进行加权和平均来计算检查置信度得分的总和。

[数学式.10]

在此，后缀w是用于由检查单元计算的检查置信得分的加权系数，并且这些权重可以例如根据基于目标设施的地板形状的特性和基于环境相机的安排的特性启发式地设置为固定值，或者可以在目标设施处收集学习数据，并且可以通过机器学习来调整权重。

<<5.应用示例>>

接下来，将描述各种应用示例，诸如利用根据本实施方式注册的认证信息和根据识别的用户的移动路线和活动的信息通知服务。虽然在此将提供各种服务的服务器10描述为示例，但是本公开不限于此，并且可由与服务器10分离的服务器等提供各种服务。

<5-1.第一应用示例>

一旦从由环境相机20获得的视频检测到在预先设置的预定地点执行预定活动的人员，服务器10将预定信息通知该人员。例如，在从视频中检测到人员区域然后检测到预定活动时，环境相机20将视频中的人员的坐标转换成全局坐标，并且向服务器10通知全局坐标和检测时间。环境相机20还可以向服务器10发送检测到的活动的内容(例如，当定义多个预定活动时，环境相机20还向服务器10通知已经检测到哪个活动)。

服务器10基于从环境相机20接收的时间信息和坐标信息从路线历史数据库122中提取当时在坐标处的人员的用户ID。如上所述，路线历史数据库122根据需要存储每个用户的移动路线(位置信息)历史。

然后，服务器10执行用于将预定信息发送到与用户ID相关联的用户终端30的控制。例如，可以进行用户ID与用户终端30之间的关联，使得当用户创建账户以使用本系统时，预先与用户ID关联地注册用户终端30的地址等。

当实时执行用户的关联和移动路线积累时，服务器10还可以立即通知用户终端30适当的信息。这里，图24示出根据本实施方式的应用示例提供给用户的识别活动和服务。如图24所示，例如，当检测到观看商店中的货架上显示的产品、拾取产品或将产品交给收银机(其是支付地点的示例)前面的工作人员的活动时，服务器10将产品的优惠券或诸如材料和生产区域的产品信息发送到用户终端30。还可以根据各种其他活动提供适当的服务。

服务器10可向每天在同一商店挑选同一产品的用户发送特殊优惠券。服务器10可准备用于搜索可获得优惠券的产品作为游戏化的考古元素。服务器10可以利用由用户拾取的产品的组合来推荐用于晚餐的食谱，并且可以发送针对不足的产品的广告。

服务器10还可以向已经在餐馆(诸如咖啡馆)停留了很长一段时间以引起附加订单的用户递送优惠券。

如果存在多个顾客，则BLE信标的邻近度确定可能导致传递到错误的用户终端，但是在本实施方式中，可以使用PDR(即，基于动作传感器数据的定位)精确地检测用户。此外，因为PDR和相机被组合，所以不总是需要覆盖整个地板的过多的环境相机，在商店中的设置是容易的，并且可以降低维护成本。

<5-2.第二应用示例>

将用于诱惑用户的优惠券传输到实体商店，服务器10可以使用关于实际访问商店的用户、吸引兴趣的产品和购买的产品的活动的数据来测量营销效果。还可以精确地收集数据，诸如即使用户已经在实体商店中到达他们也没有购买的产品、用户已经经过的产品、以及已经被拾取和比较的其他产品。

当单独使用相机视频时，用户不能与网站或应用上的账户相关联，除非在通过特定认证方法识别他或她之后收集他或她在现实世界中的活动数据，但是在本实施方式中，用户能够容易地与数据相关联，因为可以使用用户终端的PDR来检测位置。

<5-3.第三应用示例>

随后，将参考图25和图26描述认证信息用于支付处理的情况。

图25是示出根据本实施方式的应用示例的使用认证信息的支付处理的图。如图25所示，用户预先在服务器10中注册信用卡信息。服务器10将用户ID和信用卡信息彼此相关联地存储。这里，信用卡信息被用作示例，但是这样的信息不受特别限制，只要该信息是能够执行支付的信息即可。这样的信息可以是，例如，可以用来执行支付的信息，诸如电子货币信息、账户信息或移动电话号码。

之后，如以上实施方式中所描述的，通过将用户终端30的室内定位(获取从PDR获得的移动矢量)等与从环境相机20的拍摄图像等获得的移动矢量相结合的高准确度位置估计(移动路线获取)，在由用户访问的设施中跟踪用户的当前位置。

接着，系统(服务器10)从位置信息确定谁是已经到达执行支付的预定地点(诸如收银机前面的区域)的客户并且识别用户。然后，通过放置在收银机前面的相机(平板终端50)拍摄用户的面部以执行面部认证，并且如果认证成功，则可以利用预先注册的信用卡信息执行支付。此时，用户可以在不拿出用户终端30的情况下空手执行支付。

下面将参照图26具体描述使用这种认证信息的支付处理。图26是示出根据本实施方式的应用示例的支付处理的流程的示例的序列图。

如图26所示，首先，服务器10将用户ID和认证信息注册在认证信息数据库123中(步骤S603)，并通知用户终端30认证信息已被注册(步骤S606)。认证信息的注册过程和向用户的通知如上所述。

接下来，安装在商店中的产品监控相机分析捕获图像，检测客户已经获取产品，并通知服务器10(步骤S609)。可以使用上述环境相机20代替产品监控相机。还可使用(或可组合使用)相机之外的传感器装置。

接下来，服务器10识别出已经注册了认证信息的用户已经获取产品(步骤S612)。“获取产品”指示例如将产品放入诸如购物车的手推车中的情况。服务器10与用户ID相关联地存储关于所获取的产品的信息。

接着，服务器10识别出注册了认证信息的用户正站在收银机的前方(步骤S615)。例如，服务器10基于实时获取的用户的移动路线来估计收银机前面的人员。

接下来，服务器10检查站在收银机前面的用户的认证信息(步骤S618中的“是”)。具体地，服务器10用站在收银机前面的人员的面部图像来检查已经在认证信息数据库123中自动注册的用户的面部图像等。用于面部认证的相机安装在现金出纳机的前方，并且拍摄位于现金出纳机前方的人员的面部。认证信息的检查(个人认证)可以由收银机终端执行或者可以由服务器10执行。

接着，当认证信息(诸如面部认证)的检查成功时(步骤S618中的是)，收银机终端在朝向用户安装的触摸屏显示器等上显示用于支付批准的通知给用户(步骤S621)。例如，收银机终端显示诸如“您想要支付吗？是/否。”为了执行支付，用户轻击“是”按钮。

接下来，当支付被批准时(步骤S624中的是)，收银机终端从服务器10获取与用户相关的信用卡信息并且执行支付处理(步骤S627)。例如，当用户创建账户以使用本系统时，用户的信用卡信息可以预先与用户ID相关联地注册。因此，用户可以使用已经在设施中自动注册并且与他或她的用户ID相关联的认证信息来执行支付处理，而无需拿出用户终端30或现金注册处的信用卡。使用信用卡信息的支付处理也可以由服务器10执行。

另一方面，当认证信息检查失败时(步骤S618中为“否”)，收银机终端显示提示用户利用备选手段执行认证的通知(步骤S631)。例如，收银机终端显示例如“为了支付，请通过您的智能电话执行认证”。用户可启动本系统的应用并在用户终端30上输入生物特征认证(诸如指纹认证)、密码等以执行认证。

接下来，当使用备选手段进行认证时(步骤S634中的是)，收银机终端从服务器10获取与用户相关联的信用卡信息并且执行支付处理(步骤S627)。

另一方面，当认证没有利用备选手段完成时(步骤S634中的否)或当支付没有被批准时(步骤S624中的否)，现金出纳终端显示本系统的认证具有错误(步骤S637)。在这种情况下，用户可以使用现金、手边的信用卡、电子货币等执行支付。

在上述应用示例中，已经描述了使用认证信息的空手支付处理，但是本实施方式不限于此。例如，可以使用位置信息和支付个人标识号来执行空手支付处理。下面将参照图27对此进行描述。

图27是示出使用位置信息和支付个人识别号的支付处理的图。如图27所示，用户预先在服务器10中注册信用卡信息和支付个人识别号(例如，4位数)。服务器10将用户ID、信用卡信息和支付个人识别号彼此相关联地存储。这里，信用卡信息被用作示例，但是这样的信息不受特别限制，只要该信息是能够执行支付的信息即可。这样的信息可以是，例如，可以用来执行支付的信息，诸如电子货币信息、账户信息或移动电话编号。

之后，如以上实施方式中所描述的，通过将用户终端30的室内定位(获取从PDR获得的移动矢量)等与从环境相机20的拍摄图像等获得的移动矢量相结合的高准确度位置估计(移动路线获取)，在由用户访问的设施中跟踪用户的当前位置。

接下来，系统(服务器10)从位置信息确定谁是已经到达会计地点(收银机前面的区域)的客户，并且识别用户。然后，用于输入支付个人识别号的屏幕被显示在放置在收银机前面的平板终端50上。当通过平板终端50输入的支付个人识别号与和(从服务器10获取的)所识别的用户ID相关联的支付个人识别号相匹配时(即，当认证成功时)，收银机终端可以利用预先注册在服务器10中的信用卡信息执行支付。此时，用户可以在不拿出用户终端30的情况下空手执行支付。

认证处理和使用信用卡信息的支付处理也可以由服务器10执行。

还可以提供当用户已经接近收银机并且用他的手指在他或她的口袋等中轻敲智能电话(用户终端30)若干次时向商店发送位置信息的系统，以便考虑位置信息的隐私性。用户终端30在通过传感器检测到PDR位置信息等被轻敲几次时执行用于向服务器10发送PDR位置信息等的控制。

服务器10可执行步态认证，该步态认证根据用户行走的方式估计用户的身份，以便减轻当用户丢失用户终端30时的焦虑。

<5-4.第四应用示例>

当用户已经从产品货架取得产品时执行支付处理的系统可以实现为上述空手支付处理的另一示例。服务器10使用用户终端30(用户ID)与基于从用户终端30获得的信息和从环境相机20获得的信息获取的位置信息(移动路线)之间的关联使用已经与拿着产品的用户的用户ID相关联的信用卡信息等执行支付处理。

例如，可以通过设置在货架上的重量传感器或设置在货架周围的环境相机20检测已经从货架上取得的产品。环境相机20和PDR已经拍摄了架子前面的人员。当通过重量传感器确认已经做出对应于仅一个产品的改变时，服务器10通过与货架前面的人员的用户ID相关联的信用卡信息等执行支付处理。然后，服务器10将支付结果通知给用户终端30。

<5-5.第五应用示例>

在本实施方式的另一应用示例中，可以自动确定每个商店店员的产品挑选状态(关于谁挑选了哪些和多少产品)。这使得更容易管理商店中的产品并记录产品挑选。还可根据被挑选的产品向商店店员使用的可穿戴装置通知建议(诸如布置方法)。

<5-6.第六应用示例>

在本实施方式的另一个应用示例中，旅馆注册可以是无人的。用户进行酒店预订，并预先注册安装在用户终端30(或网站)中的本系统的应用的身份信息。

服务器10基于从用户终端30获得的信息和从环境相机获得的信息识别(关联)用户，直到他或她从他或她进入包含旅馆的建筑物时到达前台，并且自动注册从由环境相机20捕获图像获得的认证信息(例如，面部图像)。

接下来，服务器10通过室内定位来识别已经访问前台的用户并且在用户已经接近的数字标牌上显示用户的房间号码。例如，诸如“欢迎光临XX先生”的屏幕。请直接去房间。房间号码是“4122”。当用户(客人)已经检查房间号并且直接去房间时，服务器10利用在房间的门上提供的相机执行面部认证。具体地，服务器10将由设置在房间门上的相机拍摄的面部图像与已经自动注册以执行身份认证(面部认证)的认证信息的面部图像进行比较。如果认证成功，则服务器10使用预先注册的用户的信息作为来宾信息进行注册并且执行注册处理。然后，当注册处理完成时，服务器10解锁房间的门。

之后，服务器10可以基于位置信息和认证信息来自动呼叫大厅中的电梯并解锁/打开门。服务器10还可通过使用位置信息和认证信息的身份认证来处理餐馆或健身服务(诸如建筑物中的池)的自动支付。

<5-7.第七应用示例>

本实施方式也可以应用于大厅的会议导航。具体地，大厅中的位置信息可以在多个用户ID之间共享并用于会议。

用户预先在应用上注册另一用户ID，以便使用大厅中的位置信息用于会议。例如，用户使指示朋友的用户ID的QR码(注册商标)显示在安装在朋友的用户终端上的应用上，并且然后用他或她自己的用户终端30读取QR码以注册朋友的用户ID(在进入大厅之前)。服务器10将朋友的注册用户ID注册为与其分享用户的位置信息的伙伴。用户和朋友两者都可以准许公开关于他们的应用的位置信息。

接下来，当在与他或她进行另一活动之后希望再次与朋友见面时，用户在用户终端30上打开应用并且选择伙伴的注册用户ID。所选择的用户ID的当前位置信息显示在用户终端30上。这里，图28示出根据本实施方式的应用示例的位置信息共享屏幕的示例。例如，如图28所示，在位置信息共享屏幕365上的平面地图上显示表示伙伴的位置的表示P和表示该位置处的时间的信息。

当用户和朋友已经离开设施时，服务器10可以删除他们的公开许可(删除注册为与其共享位置信息的伙伴的用户ID)。

<5-8.第八应用示例>

本实施方式也可以应用于大厅的光点业务。具体地，这是由安装在设施中的照片点中的相机拍摄的照片被发送至对象的智能电话等(用户终端30)的服务。

已访问设施的人员已由安装在设施中的环境相机20和用户终端30上的PDR(室内定位的示例)捕获。然后，如果用户输入照片点并姿势，则安装在照片点中的相机自动开始拍摄。接下来，捕获的照片被自动上传到服务器10，并且服务器10生成对于每个用户在特定时间段内有效的下载URL。然后，当用户在拍摄照片之后离开照片点时，服务器10将下载URL通知给用户的智能电话等(用户终端30)。

<5-9.第九应用示例>

本实施方式还可以应用于如下系统，在该系统中，设施的负责人、商业营销者等基于所捕获的设施中的访问者的视频向任意用户通知信息。

具体地，该设施的负责人等从所捕获的该设施中的访问者的视频中选择任意用户。这里，图29示出用于从设施中的视频中选择任意用户并向选择的用户通知信息的操作屏幕的示例。如图29中所示，负责人70执行在由在管理人员平板终端60的显示单元610上显示的环境摄影机20捕获的视频中轻敲任意用户612的操作。当可与选择的用户612(移动对象)进行关联时，在显示单元610上显示获取的信息614(诸如，例如，用户ID、获取面部图像的成功或失败、以及获取骨骼信息的成功或失败)。接下来，负责人70从通知内容选择项616中选择要提供给所选择的用户612的通知信息。通知内容选择项目616的示例包括消息通知、事件指南、优惠券的通知等、地图指南通知、警告等。然后，服务器10将预定信息(由设施的负责人等选择)发送到所选择的用户的用户终端30。

以此方式，设施的负责人或商业营销者可以直接从环境相机20的视频中选择使用者并且向所选择的使用者通知任意信息(诸如消息、事件信息、优惠券、地图指南或警告)。由于负责人可以查看访问者的状态，并单独地通知他们适当的信息，因此可以提高客户满意度并且可以预期营销效果。例如，可将优惠券信息分发给在商店前方行走的商店的目标组中的人员，因此鼓励他们进入商店。也可以通过将楼层指南信息通知给在楼层丢失的客户来立即帮助他们。此外，可以直接地、不明显地警告违反了禁止的行为或礼仪规则的访客。

<5-10.第十应用示例>

本实施方式也可以应用于使用现实世界的游戏。

例如，在设施中执行的替代现实游戏中，现实世界中的活动可用作游戏中的事件的触发。替代现实游戏是将日常世界合并为游戏的一部分并替代现实和想象力的手持游戏。

具体地，例如，如果在设施中的预定位置执行预定活动，他或她将接收游戏中的物品或礼物将被邮寄到他或她的家。不仅可包括位置信息，而且可包括用户的活动，并且该用户的活动可用作触发，因为已访问设施的人员已由安装在设施中的环境相机20和用户终端30的PDR(室内定位的示例)捕获，并且用户的活动信息也可由用户终端30或环境相机20获取。这使得可以提供更多面向现实世界的内容。

不仅可在室内而且在室外玩可替换的现实游戏。例如，如果在出现在动画中的特定室外地点(例如，公园或公园)再现由人员做出的特定姿势，则安装在该地点的相机自动捕获相应的图像并将所捕获图像发送到用户终端30。

<5-11.第十一应用示例>

本实施方式还适用于户外活动、户外景点等。

已访问特定室外位置的人员已由安装在室外位置处的环境相机20捕获，并且用户终端30的PDR(或卫星定位)和用户的活动信息也可由用户终端30或环境相机20获取。

服务器10可以使用环境相机20和用户终端30自动确定队列的形状和排队的人员的情况，并且根据行的情况等向每个用户单独地提供适当的信息。

例如，如果队列不是任意形状，则服务器10向雇员通知不是任意形状的部分，或者向用户终端30通知不是以任意形状排列的人员，以促使他们校正他们的队列。

服务器10还可以根据排队的位置通知排队的人们的等待时间等。服务器10还可以确定队列的形状以及在排队的人员的状况，并且将该状况通知给商店。

另外，服务器10可以进行如下处理：将菜单信息按行发送到人员，并且预先创建由他们选择的项目(或按行匹配用户的品味的项目)，并且通过自推进机器人等将项目携带到订购者的地点，并且当订购者已经获取项目时，在现场完成支付处理。

<5-12.第十二应用示例>

本实施方式也可以应用于医院内的手术。

例如，服务器10可通过使用由医院中的工作人员和环境相机20所携带的用户终端30来管理关于医院中的工作人员的活动(位置信息和工作信息)的信息以及它们进入医院或医院中的房间。当由于面具而不能获取工作人员的面部信息时，服务器10可主要基于他们的位置信息允许他们进入医院或房间。服务器10还可管理工作人员是否正前往急需护理的患者。

服务器10还可以通过使用患者携带的用户终端30和医院中的环境相机20来管理医院中的患者的状况。例如，服务器10可以确定痴呆患者在医院中的位置。即使在没有设置相机的地方，服务器10也可以基于位置信息来确定患者的位置。服务器10还可以通过面部认证来确定患者的检查信息。

用户终端30的装置类型可以是例如腕带或夹子类型(可穿戴装置)，因为可以假设存在智能电话、移动电话终端等没有在医院中携带的情况。此外，当使用可穿戴装置时，如果用户终端30具有接触皮肤的形状，则用户终端30可以获取诸如心跳、静脉、出汗量、肌电流值和脑波的各种生物信息。

<<6.总结>>

在根据本公开的实施方式的信息处理系统中，能够准确地识别在捕获图像中成像的人员，即，如上所述，在室内或室外，使在捕获图像中成像的人员与用户相关联。

虽然已经参照附图详细描述了本公开的优选实施方式，但是本技术不限于这种示例。显然，在不背离权利要求中所阐述的技术构思的范围的情况下，本技术领域中的普通技术人员可做出各种变形或者改变，当然，这些变形或者改变要理解为落在本公开的技术范围内。

例如，还可以创建用于使得上述服务器10、环境相机20或用户终端30中提供的诸如CPU、ROM和RAM的硬件实现服务器10、环境相机20或用户终端30的功能的计算机程序。还提供了一种存储计算机程序的计算机可读存储介质。

本说明书中描述的优点仅仅是说明性的或者示例性的并且不受限制。即，除了上述优点之外或者代替上述优点，根据本公开的技术可以具有本文描述中对于本领域技术人员显而易见的其他优点。

本技术还可提供以下配置。

(1)一种信息处理装置，包括控制单元，该控制单元被配置为执行控制，以基于在从由用户携带的信息处理终端检测到的信息获得的移动信息与从捕获图像获得的一个或多个人员的移动信息之间的检查、以及在从信息处理终端获得的用户的状态信息与从捕获图像获得的一个或多个人员的状态信息之间的检查，来将在捕获图像中成像的人员与信息处理终端的用户相关联。

(2)根据(1)的信息处理装置，其中状态信息包括能够从外部识别的信息。

(3)根据(1)或(2)的信息处理装置，其中从由设置在信息处理终端中的传感器获取的感测数据中提取用户的状态信息。

(4)根据(1)至(3)中任一项的信息处理装置，其中通过图像分析从捕获图像中提取人的状态信息。

(5)根据(1)至(4)中任一项的信息处理装置，其中状态信息是与行走相关的特征信息。

(6)根据(1)至(5)中任一项的信息处理装置，其中状态信息是与位置相关的信息。

(7)根据(1)至(6)中任一项的信息处理装置，其中状态信息是与距离相关的信息。

(8)根据(1)至(7)中任一项的信息处理装置，其中状态信息包括用户与存在于用户附近的另一用户之间的位置关系、以及用户与被配置为获取捕获图像的相机之间的位置关系。

(9)根据(1)至(8)中任一项的信息处理装置，其中状态信息是活动信息。

(10)根据(1)至(9)中任一项的信息处理装置，其中状态信息是根据预设规则而估计出的移动模式。

(11)根据(10)的信息处理装置，其中控制单元被配置为基于信息处理终端的移动信息、以及从多个相机获得的捕获图像中获得的每个人员的外貌特征，来执行针对移动模式的检查。

(12)根据(1)至(11)中任一项的信息处理装置，其中控制单元执行控制以将用于识别已预先注册的用户的字符串、以及根据关联性而从相关联人员的捕获图像提取的相关联人员的认证信息根据存储在存储单元中。

(13)根据(12)的信息处理装置，其中控制单元被配置为执行控制以相信息处理终端通知认证信息已被存储。

(14)根据(1)至(13)中任一项的信息处理装置，其中，针对在所捕获图像中成像的每个人员，计算控制单元被配置为在针对移动信息的检查和针对状态信息的检查中的检查置信度得分，并且将针对每个人获得的检查置信度得分的总和最大的人与用户相关联。

(15)根据(1)至(14)中任一项的信息处理装置，其中信息处理终端的移动信息包括室内定位信息。

(16)根据(1)至(15)中任一项的信息处理装置，其中控制单元被配置为执行控制，以将作为信息处理终端的移动信息的移动轨迹信息存储在存储单元中作为用户的路线历史，并且当人员已经与用户相关联时，基于从相关联人员的捕获图像中获取的移动轨迹信息来更新用户的路线历史。

(17)根据(1)至(16)中任一项的信息处理装置，其中控制单元被配置为执行控制，以根据与人员相关联的用户的活动，向信息处理终端通知合适的信息。

(18)根据(1)至(17)中任一项的信息处理装置，其中控制单元被配置为基于存储在存储单元中的每个用户的路线历史识别处于执行支付的预定地点的人员，并且通过使用所识别的用户的认证信息来执行针对从处于执行支付的预定地点的人员的捕获图像中获取的认证信息的检查，以执行用于支付批准的个人认证。

(19)一种信息处理方法，包括：处理器，执行控制以基于在从由用户携带的信息处理终端检测到的信息获得的移动信息与从捕获图像获得的一个或多个人员的移动信息之间的检查、以及在从信息处理终端获得的用户的状态信息与从捕获图像获得的一个或多个人员的状态信息之间的检查，来将捕获图像中成像的人员与信息处理终端的用户相关的控制。

(20)一种用于使计算机用作控制单元的程序，该控制单元被配置为执行控制，以基于在从由用户携带的信息处理终端检测到的信息获取的移动信息与从捕获图像获取的一个或多个人员的移动信息之间的检查、以及在从信息处理终端获取的用户的状态信息与从捕获图像获取的一个或多个人员的状态信息之间的检查，来将在捕获图像中成像的人与信息处理终端的用户相关联。

[参考标号列表]

10 服务器

100 控制单元

101 移动矢量检查单元

102 行走脚步检查单元

103 位置关系检查单元

104 活动信息检查单元

105 移动模式检查单元

106 关联单元

107 信息注册单元

108 路线更新单元

110 通信单元

120 存储单元

121 捕获图像数据库

122 路线历史数据库

123 认证信息数据库

124 未决信息数据库

125 地图信息数据库

20 环境相机30用户终端。

Claims (20)

1.一种信息处理装置，包括控制单元，所述控制单元被配置为基于以下项来执行控制以将在捕获图像中成像的人员与用户相关联：

在从由所述用户携带的所述信息处理终端检测到的信息中获取的移动信息与从所述捕获图像中获取的一个或多个所述人员的移动信息之间的检查，以及

在从所述信息处理终端获取的所述用户的状态信息与从所述捕获图像获取的一个或多个所述人员的状态信息之间的检查。

2.根据权利要求1所述的信息处理装置，其中，

所述状态信息包括能够从外部识别的信息。

3.根据权利要求1所述的信息处理装置，其中，

从由设置在所述信息处理终端中的传感器获取的感测数据中提取所述用户的所述状态信息。

4.根据权利要求1所述的信息处理装置，其中，

通过图像分析来从所述捕获图像中提取所述人员的所述状态信息。

5.根据权利要求1所述的信息处理装置，其中，

所述状态信息是与行走相关的特征信息。

6.根据权利要求1所述的信息处理装置，其中，

所述状态信息是与位置相关的信息。

7.根据权利要求1所述的信息处理装置，其中，

所述状态信息是与距离相关的信息。

8.根据权利要求1所述的信息处理装置，其中，

所述状态信息包括：

所述用户与存在于所述用户附近的另一用户之间的位置关系，以及

所述用户与被配置为获取所述捕获图像的相机之间的位置关系。

9.根据权利要求1所述的信息处理装置，其中，

所述状态信息是活动信息。

10.根据权利要求1所述的信息处理装置，其中，

所述状态信息是根据预设规则而估计出的移动模式。

11.根据权利要求10所述的信息处理装置，其中，

所述控制单元被配置为：

基于所述信息处理终端的所述移动信息、以及在从多个相机获得的所述捕获图像中获得的每个所述人员的外貌特征，来执行针对所述移动模式的检查。

12.根据权利要求1所述的信息处理装置，其中，

所述控制单元被配置为：

执行控制以用于存储：

用于识别已预先注册的所述用户的字符串；以及

根据关联性而从存储单元中的相关联人员的捕获图像中提取的所述相关联人员的认证信息。

13.根据权利要求12所述的信息处理装置，其中，

所述控制单元被配置为：

执行控制以向所述信息处理终端通知所述认证信息已被存储。

14.根据权利要求1所述的信息处理装置，其中，

所述控制单元被配置为：

针对在所述捕获图像中成像的每个所述人员，计算在针对所述移动信息的所述检查和针对所述状态信息的所述检查中的检查置信度得分，并且

将针对每个所述人员获得的所述检查置信度得分的总和为最大的人员与所述用户相关联。

15.根据权利要求1所述的信息处理装置，其中，

所述信息处理终端的所述移动信息包括室内定位信息。

16.根据权利要求1所述的信息处理装置，其中，

所述控制单元被配置为执行控制以：

将作为所述信息处理终端的所述移动信息的移动轨迹信息存储在存储单元中，作为所述用户的路线历史，并且

当所述人员已经与所述用户相关联时，基于从相关联人员的所述捕获图像中获取的所述移动轨迹信息，来更新所述用户的所述路线历史。

17.根据权利要求1所述的信息处理装置，其中，

所述控制单元被配置为执行控制以：

根据与所述人员相关联的所述用户的活动，向所述信息处理终端通知合适的信息。

18.根据权利要求1所述的信息处理装置，其中，

所述控制单元被配置为：

基于存储在存储单元中的每个所述用户的路线历史，识别处于执行支付的预定地点的人员，并且

通过使用识别出的所述用户的认证信息，执行针对认证信息的检查，所述认证信息从处于执行支付的所述预定地点的所述人员的所述捕获图像中获取；

以便于执行用于支付核准的个人认证。

19.一种信息处理方法，包括：

处理器，基于以下项来执行控制，以将在捕获图像中成像的人员与用户相关联：

在从由所述用户携带的所述信息处理终端检测到的信息中获取的移动信息与从所述捕获图像中获取的一个或多个所述人员的移动信息之间的检查，以及

在从所述信息处理终端获取的所述用户的状态信息与从所述捕获图像获取的一个或多个所述人员的状态信息之间的检查。

20.一种程序，用于使计算机用作控制单元，所述控制单元被配置为基于以下来执行控制，以将在捕获图像中成像的人员与用户相关联：

在从由所述用户携带的所述信息处理终端检测到的信息中获取的移动信息与从所述捕获图像中获取的一个或多个所述人员的移动信息之间的检查，以及

在从所述信息处理终端获取的所述用户的状态信息与从所述捕获图像获取的一个或多个所述人员的状态信息之间的检查。

Images