CN103455789A

CN103455789A - 信息处理设备，信息处理方法和程序

Info

Publication number: CN103455789A
Application number: CN2013101991219A
Authority: CN
Inventors: 高冈吕尚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-06-01
Filing date: 2013-05-24
Publication date: 2013-12-18
Also published as: JP5994397B2; US20130325887A1; JP2013251800A

Abstract

提供了一种信息处理设备，信息处理方法和程序，所述设备包括获得第一行为信息的第一获取器，第一行为信息是通过分析与对象相关的图像检测到的，并指示对象的行为，获得第二行为信息的第二获取器，第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并指示对象的行为，和匹配单元，所述匹配单元通过比较第一行为信息和第二行为信息指定对象和终端设备之间的关系。

Description

信息处理设备,信息处理方法和程序

技术领域

本公开涉及信息处理设备，信息处理方法和程序。

背景技术

现在，摄像机无处不在。例如，在人聚集的场所，比如交通设施和购物中心，安装用于诸如安保之类用途的许多监视摄像机。另外，摄像机被内置到诸如移动电话机之类终端设备中也日益常见。因此，可利用摄像机拍摄图像的情形大大增多。

在这些情况下，利用摄像机拍摄的图像的技术也不断发展。例如，JP2012-083938A描述一种与识别出现在图像中的面部的学习方法相关的技术。这样，正在提出自动识别图像中的被摄物体，并利用识别结果的许多技术。

发明内容

如同在上述JP2012-083938A中说明的技术一样，利用图像分析识别图像中的被摄物体包括诸如预先登记被摄物体的样本图像，或者通过学习，弄清被摄物体的图像的特征之类的过程。换句话说，为了识别出现在图像中的用户，例如，必须预先提供关于其中出现所述用户的图像的数据。

但是，用户的面部图像是最根本的个人信息，许多用户抗拒登记这样的数据。此外，用户未必面对摄像机地出现在拍摄的图像中，在这种情况下，难以利用面部图像识别用户。

从而，本公开提出一种能够获得识别出现在图像中的用户的信息，而不预先登记诸如用户的图像之类信息的新的改进的信息处理设备、信息处理方法和程序。

按照本公开的实施例，提供一种信息处理设备，包括获得第一行为信息的第一获取器，第一行为信息是通过分析与对象相关的图像检测到的，并指示对象的行为，获得第二行为信息的第二获取器，第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并指示对象的行为，和匹配单元，所述匹配单元通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系。

此外，按照本公开的实施例，提供一种信息处理方法，包括获得第一行为信息，第一行为信息是通过分析与对象相关的图像检测到的，并指示对象的行为，获得第二行为信息，第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并指示对象的行为，和通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系。

此外，按照本公开的实施例，提供一种程序，所述程序使计算机实现：获得第一行为信息的功能，第一行为信息是通过分析与对象相关的图像检测到的，并指示对象的行为，获得第二行为信息的功能，第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并指示对象的行为，和通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系的功能。

在本公开的实施例中，利用运动信息指定与图像相关的对象。从图像中检测第一运动信息并不特别要求各个对象的图像的登记。相反，对象的指定是通过对第一运动信息和利用对象携带的或者附着于所述对象的终端设备中的传感器获得的第二运动信息进行匹配实现的。虽然以上所述涉及至少临时使终端设备与对象关联的信息，不过可在不预先登记任何其它信息的情况下，识别出现在图像中的用户。

按照如上所述的本公开的实施例，能够获得识别出现在图像中的用户的信息而不预先登记诸如用户的图像之类的信息。

附图说明

图1是概略地图解说明按照本公开的第一实施例的运动信息匹配处理的示图；

图2是图解说明按照本公开的第一实施例，利用加速度的运动信息获取的示图；

图3是图解说明按照本公开的第一实施例，可使用的加速度信息的例子的示图；

图4是图解说明按照本公开的第一实施例，可使用的加速度信息的例子的示图；

图5是图解说明按照本公开的第一实施例，提供广告投放服务的概略系统结构的示图；

图6是图解说明按照本公开的第一实施例，提供广告投放服务的概略系统结构的变形例的示图；

图7是图解说明按照本公开的第一实施例的终端设备的示意功能结构的方框图；

图8是图解说明按照本公开的第一实施例的匹配服务器的示意功能结构的方框图；

图9是图解说明按照本公开的第一实施例的监控服务器的示意功能结构的方框图；

图10是图解说明按照本公开的第一实施例的广告投放服务器的示意功能结构的方框图；

图11是图解说明按照本公开的第二实施例，提供定位服务的概略系统结构的示图；

图12是图解说明按照本公开的第二实施例的位置传送服务器的示意功能结构的方框图；

图13是图解说明按照本公开的第三实施例的概略系统结构的示图；

图14是概略地图解说明本公开的第四实施例的示图；

图15是图解说明按照本公开的第五实施例的概略系统结构的示图；

图16是图解说明按照本公开的第五实施例的概略系统结构的变形例的示图；

图17是说明信息处理设备的硬件结构的方框图。

具体实施方式

下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，省略这些构成元件的重复说明。

下面将按照以下顺序进行说明。

1.第一实施例

1-1.处理的概述

1-2.从传感器获取运动信息

1-3.匹配的具体例子

1-4.提供服务的系统结构

1-5.每个设备的功能结构

2.第二实施例

2-1.提供服务的系统结构

2-2.设备的功能结构

2-3.图像处理的其它利用

3.第三实施例

4.第四实施例

5.第五实施例

6.硬件结构

7.补充备注

(1.第一实施例)

首先，参考图1-4，说明本公开的第一实施例。本实施例指定由在图像中指定的目标用户携带的终端设备，所述图像来自于安装在例如，诸如大型购物中心之类场所中的监视摄像机或其它摄像机，并把广告信息推送给所述终端设备。从而，能够通过终端设备，把广告信息提供给从图像中识别出的期望的广告信息目标接受者。

(1-1.处理的概述)

图1是概略地图解说明按照本公开的第一实施例的运动信息匹配处理的示图。如图1中图解所示，在按照本实施例的匹配处理中，利用各个用户携带的终端设备中的加速度传感器测量的步行间距和相位，作为一组输入被上传到匹配服务器(S1)。另外，在其中出现多个用户的监视摄像机图像中选择目标用户(S2)，并通过图像分析，获得目标用户的步行间距和相位作为另一组输入(S3)。匹配服务器匹配来自终端设备的上述输入和来自监视摄像机的输入，从而指定目标用户的特定终端设备(S4)。随后，以推送通知的形式，把与从图像中确定的用户的属性对应的广告信息，或者和用户的位置有关的信息发送给目标用户的终端设备(S5)。

(1-2.从传感器获取运动信息)

下面，说明按照本实施例的从传感器获取运动信息。如上所述，本实施例从终端设备中的加速度传感器获得用户的运动信息。从而，将利用下面所示的例子，详细说明利用加速度的运动信息的获取。

注意诸如陀螺仪传感器或者气压传感器之类的各种传感器可以用作用于在终端设备中获得运动信息的传感器。此外，也可结合加速度传感器，使用这些传感器。注意，气压传感器是能够通过测量气压，获得与终端设备的海拔高度有关的信息的传感器。

图2是图解说明按照本公开的第一实施例，利用加速度的运动信息获取的示图。如图2中图解所示，本实施例从加速度传感器的输出中，检测用户的步行行为。

这里，注意力将集中于在步行期间，用户的身体在上下运动（上下摆动）和行进方向的加速度。就上下摆动来说，双腿在一起，并且头部完全升高的时刻(或者一条腿向前迈步，并且头部完全降低的时刻)被指定为垂直方向的加速度达到最小值的时刻。从而，在来自终端设备中的加速度传感器的测量结果指示用户的步行行为的情况下，通过在时间轴上，把垂直方向的加速度达到最小值的时刻(利用传感器检测到的步行行为特征点)与通过分析在摄像机图像中表现出步行行为的用户的图像而检测到的用户的双腿在一起并且头部完全升高的时刻(从图像中检测到的步行行为特征点)进行匹配，能够把出现在图像中的用户和携带终端设备的用户联系起来。

另一方面，由于分别根据加速度传感器测量结果和图像分析结果指定步行行为中的一步的时间间隔，因此可以匹配这些时间间隔以把出现在图像中的用户和携带终端设备的用户联系起来。

同时，就行进方向的加速度来说，如果用户向前迈出他或她的腿，那么由于用户的身体前倾，加速度增大，而当向前迈出的腿触地时，加速度转而减小。就行进方向的这种加速度来说，与垂直方向的上述加速度的情况类似，同样能够在时间轴上匹配步行行为特征点。例如，通过在时间轴上，把行进方向的加速度达到最大值的时刻(加速度转而减小的点)和用户向前迈出的腿触地的时刻进行匹配，可把出现在图像中的用户和携带终端设备的用户联系起来。或者说，可根据行进方向的加速度指定步行行为中的一步的时间间隔，可以进行利用时间间隔的匹配。

图3和4是图解说明按照本公开的第一实施例，可使用的加速度信息的例子的示图。

图3图解说明在用户把终端设备放入胸袋中的情况下，垂直方向的加速度的例子。在终端设备携带在上身，比如携带在胸袋中的情况下，就在步行时，以右腿向前迈出的情况和以左腿向前迈出的情况来说，加速度波形几乎相同。

同时，图4是用户把终端设备放入后裤包的情况的加速度的例子。在终端设备携带在下身，比如携带在后裤包中的情况下，在步行时，以右腿向前迈出的情况和以左腿向前迈出的情况之间，加速度波形不同。

不过，由于在图3和4中图解说明的两种情况中，都清楚地出现加速度达到最小值的特征点，因此能够提取一步的时间间隔(周期)，和垂直方向的加速度达到最小值的相位，而不管是右腿向前迈出还是左腿向前迈出。

另外，如上所述，在把终端设备携带在上身的情况和把终端设备携带在下身的情况之间，波形趋势存在差异。此外，如果将利用关于终端设备的显示单元(例如LCD)是否被启动的信息，那么可想到的是能够判定用户是否一边步行，一边观看终端设备上的显示。利用这些差异，根据比如他或她的终端设备的携带位置之类的信息，信息可被传送给估计很可能注意到传送的广告或者其它信息并立即查看所述信息的用户。此外，行为特征点的提取并不局限于诸如上面所述之类的周期性行为的情况。例如，诸如停在原地，或者拿出终端设备之类的瞬时行为也可被提取为特征点。

(1-3.匹配的具体例子)

下面，进一步说明如上所述，对从传感器获得的行为信息和通过分析图像而获得的行为信息进行匹配的处理的具体例子。注意，由于可把既定的图像分析技术用于通过分析图像获得行为信息的处理，因此将减少或者省略其详细说明。

例如，可如下所述，从关于从每个终端设备中的加速度传感器获得的垂直方向的加速度的分析结果中，获得各个终端设备(终端A、终端B和终端C)中，垂直加速度达到最小值的时刻的数据。

终端A

TA_n…hh:mm:ss:mmm

TA_n+1…hh:mm:ss:mmm

TA_n+2…hh:mm:ss:mmm

终端B

TB_n…hh:mm:ss:mmm

TB_n+1…hh:mm:ss:mmm

TB_n+2…hh:mm:ss:mmm

终端C

TC_n…hh:mm:ss:mmm

TC_n+1…hh:mm:ss:mmm

TC_n+2…hh:mm:ss:mmm

同时，可如下所述，从目标用户的图像分析中，获得用户的头部完全升高或者用户的双腿在一起的时刻的数据。

图像中的目标用户

T_n…hh:mm:ss:mmm

T_n+1…hh:mm:ss:mmm

T_n+2…hh:mm:ss:mmm

在匹配处理中，从自各个终端设备获得的时间数据之中，指定与从图像获得的时间数据的差异最小的时间数据，提供所述差异最小的时间数据的终端设备被指定为目标用户携带的终端设备。具体地说，例如，匹配处理可如下计算差分误差值ErrA至ErrC，并搜索具有最小的差分误差值的终端设备。

ErrA = \underset{t}{Σ} {(T_{t} - T A_{t})}^{2}

ErrB = \underset{t}{Σ} {(T_{t} - T B_{t})}^{2}

ErrC = \underset{t}{Σ} {(T_{t} - T C_{t})}^{2}

不过，由于在一些情况下，会发生携带提供信息的终端设备的用户并不出现在图像中的情形，因此当差分误差值大于预定阈值时，也可作出“未找到”的判定。

上面的时间数据最好利用诸如协调世界时(UTC)之类的公共标准，以避免偶然误差，不过在一些情况下，每个设备中的诸如非同步时钟之类的因素可能产生时刻方面的偶然误差。在这种情况下，也可如下通过增加偶然误差值δ，计算上述差分误差值。

ErrA = \underset{t}{Σ} {(T_{t} - T A_{t} + δ_{A})}^{2}

ErrB = \underset{t}{Σ} {(T_{t} - T B_{t} + δ_{B})}^{2}

ErrC = \underset{t}{Σ} {(T_{t} - T C_{t} + δ_{C})}^{2}

对每个终端A-C，设定偶然误差δ。首先，使偶然误差δ_A、δ_B和δ_C在存在于从各个终端设备传送的信息的时间戳中的偶然误差的范围内变化，并设定偶然误差δ_A、δ_B和δ_C，以便分别使差分误差ErrA、ErrB和ErrC降至最小。不过，由于也存在错误地使每个终端设备与错误用户匹配的可能性，因此可能的话，最好附加来自终端设备的传感器检测结果和获得的图像数据所共有的时间戳。

注意，尽管上面的图2-4中的例子介绍了其中用户的步行行为稳定的例子，不过，这样的行为不一定是匹配的目标。例如，诸如用户停在原地，改变方向和重新开始步行之类的不稳定行为也可以是匹配的目标。不过，在一些情况下，这样的行为实际上更易于匹配，因为易于提取诸如起始点和终止点之类的特征点。

上述匹配的例子仅仅是一个例子，在本公开的其它实施例中，可以执行不同的匹配处理。按照其它实施例的匹配处理可包括各种既定的匹配处理，比如计算相关系数的处理。

(1-4.提供服务的系统结构)

图5是图解说明按照本公开的第一实施例，提供广告投放服务的概略系统结构的示图。所述系统包括终端设备100、匹配服务器200、监控服务器300、摄像机400和广告投放服务器500。下面将相继说明系统的每个组件的操作。

注意，终端设备100可以是诸如用户携带的移动电话机(包括智能电话机)或平板个人计算机(PC)之类的设备，可以利用后面说明的信息处理设备的硬件结构实现。匹配服务器200、监控服务器300和广告投放服务器500可用网络上的一个或多个服务器设备实现。例如，单个服务器设备可集中地实现各个服务器的功能，或者各个服务器的功能可通过进一步分散在多个服务器设备之间来实现。各个服务器设备可以利用后面说明的信息处理设备的硬件结构实现。另外，在多个服务器设备的情况下，每个服务器设备有线或者无线地连接到各个网络(这类似地适用于下面说明的本公开的其它实施例中的其它服务器)。

首先，在终端设备100和广告投放服务器500之间执行服务登录(S101)和账户分发(S102)。这涉及终端设备100的用户借以利用以如前所述的匹配为基础的广告投放服务的登录。依据所述登录，终端设备100把账户信息和传感器信息(或者从传感器信息中提取的行为信息)，连同时间信息(时间戳)一起提供给匹配服务器(S103)。

注意，S101中的服务登录不是为了利用账户信息识别用户。从而，就所述登录来说，可不登记诸如用户的面部图像之类的个人信息。就用户提供给广告投放服务器500的信息来说，至少包括后面讨论的广告投放的目的地(比如，电子邮件地址、设备ID或者推送通知令牌)就够了。

另外，在S103，除了来自终端设备100的账户信息和时间信息之外，传感器信息还可向匹配服务器200提供概略的位置信息。这样的信息可以是指示终端设备的大概位置，比如“在大型购物中心中”的信息，可以通过利用例如全球定位系统(GPS)、无线保真(Wi-Fi)接入点或者移动电话基站进行定位而获得。在这种情况下，匹配服务器200能够在一定程度上，限定可能存在于利用摄像机400获得图像的范围内的用户(例如，在摄像机400被安装在大型购物中心中的情况下，不在大型购物中心中的用户的终端设备可被排除在匹配之外)，从而可能减轻匹配的处理负荷。

同时，摄像机400向监控服务器300提供图像。在监控服务器300中，诸如作为广告主体的商店之类的用户通过查看图像，并选择被认为是所投放广告的理想接受者的用户，指定目标用户(S104)。另一方面，通过按照作为广告主体的用户预先设定的参数，过滤通过分析图像而获得的用户位置(比如靠近商店)，或者用户属性(比如性别和年龄)，可自动选择目标用户。

当目标用户被指定时，监控服务器300向匹配服务器200提供由摄像机400提供的图像(运动图像)，指定的目标用户的图像中坐标和获得所述图像时的时间信息(S105)。此时，监控服务器300另外向匹配服务器200提供摄像机400的位置信息。例如，在安装多部摄像机400的情况下，向匹配服务器200提供指示特定摄像机被安装在何处的位置信息使得能够结合由终端设备100提供的上述概略位置信息来限定匹配的目标，从而可能减轻处理负荷。注意在另一个实施例中，监控服务器300可执行图像分析，并把提取的行为信息提供给匹配服务器200。

匹配服务器200根据在S103中提供的来自终端设备100的传感器信息和在S105中提供的图像信息，进行匹配(S106)。作为所述匹配的结果，提取与在图像中指定的目标用户对应的终端设备100的账户信息。匹配服务器200把目标用户的账户信息提供给监控服务器300(S107)。

监控服务器300把目标用户的账户信息提供给广告投放服务器500，并请求广告的投放(S108)。此时，在例如按照用户位置和属性，自动选择目标用户的情况下，可另外提供关于目标用户的位置和属性的信息。广告投放服务器500按照监控服务器300提供的信息，向用户投放广告(S109)。广告可包括优惠券。

(变形例)

图6是图解说明按照本公开的第一实施例，提供广告投放服务的概略系统结构的变形例的示图。尽管在图5中的上述例子中，匹配服务器200、监控服务器300、摄像机400和广告投放服务器500被包含在专用广告投放系统中，不过在图6的例子中，包括匹配服务器200和摄像机400的系统作为并不局限于广告投放的通用匹配服务而存在，并且该系统由广告投放服务器500利用。下面将相继说明该系统的各个组件的操作。

首先，在终端设备100和广告投放服务器500之间进行服务登录(S201)和账户分发(S202)。这是为了终端设备100的用户获得以匹配为基础的广告投放服务的信息。同时，广告投放服务器500预先向匹配服务器200提供指定广告投放的目标用户的位置和属性的信息(S203)。例如，此时提供的指示位置和属性的信息可以是指示何处和哪种类型的用户应接收广告的信息，比如“男性，二十几岁，在大型购物中心A中的商店B前面”。

终端设备100把与广告投放服务器500对应的服务名称、账户信息和传感器信息(或者从传感器信息中提取的行为信息)，连同时间信息(时间戳)一起，提供给匹配服务器200(S204)。此时，连同账户信息一起提供服务名称信息，因为匹配服务是作为通用服务提供的，所述通用服务可用于除广告投放服务器500提供的服务外的服务。依据该服务名称信息，例如，匹配服务器200把从终端设备100传送的传感器信息和广告投放服务器500提供的目标用户信息联系起来。注意类似于图5中的上述例子，此时，终端设备100可类似地向匹配服务器200提供概略位置信息。

匹配服务器200还可按照在S203中广告投放服务器提供的指定目标用户的位置的信息，从多个摄像机400之中缩小到匹配用摄像机(S205)。另外，匹配服务器可分析出现在来自摄像机400中的用户的属性(S206)，并比较所述属性和广告投放服务器提供的关于目标用户的属性的信息。在这种情况下，例如，匹配服务器200从出现在来自摄像机400的图像中的用户之中提取目标用户(S207)。

匹配服务器200根据在S204中提供的来自终端设备100的传感器信息和利用一直到S207的处理获得的关于图像的信息，匹配提取的目标用户(S208)。作为所述匹配的结果，提取与目标用户对应的终端设备100的账户信息。匹配服务器200把目标用户的账户信息提供给广告投放服务器500(S209)。此时，在例如在S203中提供关于多个位置及属性的信息的情况下，可另外提供关于目标用户的位置和属性的信息。广告投放服务器500按照匹配服务器200提供的信息向用户投放广告(S210)。广告可包括优惠券。

(1-5.各个设备的功能结构)

下面，说明上述图5或6的系统中的各个设备的功能结构。如上所述，下面说明的各个设备的功能结构可用配置成系统的信息处理设备实现。

(终端设备)

图7是图解说明按照本公开的第一实施例的终端设备的示意功能结构的方框图。如图7中图解所示，终端设备100包括传感器信息获取器110、控制器120、通信单元130和显示单元140。终端设备100另外包括位置获取器150。

传感器信息获取器110包括指示用户行为的各种传感器。例如，传感器可以是加速度传感器、陀螺仪传感器、气压传感器、地磁传感器和摄像机。在这些传感器中，加速度传感器和陀螺仪传感器检测由用户行为引起的终端设备100的加速度和角速度的变化。另外，气压传感器按照气压的变化，检测由用户行为引起的终端设备100的高度的变化。例如，在诸如终端设备100是头戴式终端设备之类的情况下，地磁传感器和摄像机获得诸如用户头部的朝向和用户的视野的图像之类的信息。

控制器120是利用例如中央处理器(CPU)借助软件实现的，控制器120控制图7中图解所示的终端设备100的功能结构。控制器120例如可以是为了利用广告投放服务而安装在终端设备100上的应用程序。在另一个实施例中，控制器120还可分析传感器信息获取器110获得的传感器信息，并提取用户行为信息。

通信单元130是由例如通信装置实现，并通过各种网络有线或者无线地与匹配服务器200或广告投放服务器500通信。例如，通信单元130可传送和接收为与广告投放服务器500的服务登录而申请和分发的账户信息。通信单元130还可把传感器信息获取器110获得的传感器信息传送给匹配服务器200(在另一个实施例中，还可传送通过分析传感器信息而获得的用户行为信息)。另外，通信单元130接收按照匹配结果从广告投放服务器500传送的广告投放信息。

显示单元140是利用例如各种显示器实现的，并向用户呈现各种信息。例如，显示单元140可显示借助通信单元130从广告投放服务器500接收的广告信息。在另一个实施例中，可以和显示单元140一起或者代替显示单元140，提供音频输出单元，音频输出单元140借助声响向用户输出广告信息。

在如前所述的终端设备100向匹配服务器提供概略位置信息的情况下，设置位置获取器150。可借助利用例如GPS、Wi-Fi接入点或者移动电话基站的定位获得位置信息。另一方面，借助利用射频标识(RFID)、室内消息接发系统(IMES)或蓝牙(注册商标)接入点的定位，可获得位置信息。此外，通过不仅传送定位结果，而且传送定位精度指标和关于定位方法的信息，匹配服务器200能够进行考虑到来自终端设备100的位置信息的精度的匹配处理。在这种情况下，例如，对于位置信息不精确的终端设备100，可为对应于位置信息的摄像机400设定更宽的范围。

注意，从终端设备100到匹配服务器200的位置信息的传送不是严格必需的。在广大的区域内提供服务的情况下，可能存在成为匹配对象的多个摄像机400和终端设备100，从而使终端设备100传送位置信息是有效的。不过，在另一个实施例中，在区域有限或者目标用户的数目有限的情况下，也可不从终端设备100向匹配服务器200传送位置信息。

(匹配服务器)

图8是图解说明按照本公开的第一实施例的匹配服务器的示意功能结构的方框图。如图8中图解所示，匹配服务器200包括图像获取器210、行为分析器220、传感器信息获取器230、传感器信息存储单元240、匹配单元250和通知器260。注意除传感器信息存储单元240外的各个单元可以利用例如CPU用软件实现。

图像获取器210从监控服务器300(或者摄像机400)，获得图像(运动图像)。如前所述，在终端设备100传送位置信息，并且按照所述位置信息，选择用于匹配的摄像机400的情况下，图像获取器210获得的图像可以是来自所选摄像机400的图像。另外，图像获取器210连同图像一起，获得指定图像中的目标用户的信息。例如，目标用户可用图像中坐标指定。

行为分析器220分析利用图像获取器210获得的图像，以分析目标用户的行为。如前所述，可以应用各种既定的技术，作为这里使用的图像分析技术。例如，在上面的步行行为的情况下，行为分析器220利用分析来提取信息，比如目标用户的头部完成升高的时刻，或者目标用户的双腿在一起的时刻。这样，由于利用行为分析器220获得的行为信息与基于由在后面探讨的传感器信息获取器230获得的传感器输出的行为信息匹配，行为分析器220获得的行为信息可以是指示也可从传感器输出中检测的行为的特征点的信息。行为分析器220获得的信息可被称为第一行为信息，第一行为信息指示通过分析用户出现于其中的图像而检测到的用户行为。

传感器信息获取器230从终端设备100获得传感器信息。如同关于终端设备100所述那样，传感器信息是利用诸如加速度传感器、陀螺仪传感器、气压传感器、地磁传感器和摄像机之类的传感器获得的。和前面的步行行为的例子一样，传感器信息获取器230可不断获得来自这些传感器的输出，也可以特征点的时间戳阵列的形式离散地获得输出。传感器信息获取器230获得的信息可被称为第二行为信息，第二行为信息指示从用户携带的终端设备中的传感器的输出中检测到的用户行为。

传感器信息存储单元240保存利用传感器信息获取器230获得的传感器信息。在本实施例中，由于图像中的目标用户被指定，因此可以说利用行为分析器220检测的第一行为信息被认为是正确的。相反，传感器信息获取器230从多个用户的终端设备100获得传感器信息作为与第一行为信息相配的第二行为信息。从而，来自多个用户的终端设备的传感器信息至少可被暂时累积。注意临时保存信息，比如图像获取器210获得的图像的信息，和在行为分析器220或匹配单元250的处理中生成的信息的存储器是独立于传感器信息存储单元240设置的。

匹配单元250对利用行为分析器220获得的第一行为信息和利用传感器信息获取器230获得并保存在传感器信息存储单元240中的第二行为信息进行匹配，识别用户和终端设备100之间的关系。例如，和在前面的步行行为的例子中一样，匹配单元250可在时间轴上对分别利用第一行为信息和第二行为信息指示的特征点进行匹配。另外，取决于传感器信息的种类，除上述之外的其它例子也是可能的。下面将说明几个这样的例子。

例如，在传感器信息包括来自气压传感器的输出的情况下，行为分析器220利用图像分析，估计目标用户的高度，向匹配单元250提供关于估计的高度的信息作为第一行为信息的一部分。匹配单元250可匹配从图像中估计的目标用户的高度和利用终端设备100的气压传感器检测的高度。例如，在利用图像获取器210获得的图像拍摄具有高度差的场所，比如楼梯、自动扶梯或天井的情况下，这种匹配特别有效。

再例如，在传感器信息包括来自地磁传感器的输出的情况下，行为分析器220利用图像分析指定目标用户的头部的朝向，并把该信息作为第一行为信息的一部分提供给匹配单元250。匹配单元250匹配从图像中指定的目标用户的头部的朝向和利用终端设备100(例如，头戴式设备)的地磁传感器检测的用户头部的朝向。

再例如，在传感器信息包括利用摄像机获得的用户的视野的图像的情况下，行为分析器220利用图像分析估计用户注视的方向，并把估计的信息作为第一行为信息的一部分提供给匹配单元250。指示当在图像中注视特定方向时可看见什么的信息可被预先提供给匹配单元250，以便进行所述分析。另一方面，匹配单元250可从行为分析器220获得把诸如图像中的另一个用户之类的特征识别为物体的结果，并匹配所述物体和包含在用户的视野中的图像。

通知器260根据匹配单元250中的匹配的结果，把目标用户的账户信息发给监控服务器300或广告投放服务器500。如前所述，发出的信息还可包含关于目标用户的位置和属性的信息。

(监控服务器)

图9是图解说明按照本公开的第一实施例的监控服务器的示意功能结构的方框图。如图10中图解所示，监控服务器300包括图像获取器310、目标指定器320和通信单元330。监控服务器300另外可包括显示单元340。注意图像获取器310和目标指定器320可例如用利用CPU的软件实现。

图像获取器310从摄像机400获得图像(运动图像)。在多个摄像机400的情况下，可借助后面说明的显示单元340，选择从其获得图像的特定摄像机400。

目标指定器320从出现在利用图像获取器310获得的图像中的用户之中指定目标用户。在一些情况下，可以自动指定目标用户，而在其它情况下，可以利用用户操作指定目标用户。在自动指定目标用户的情况下，目标指定器320可分析利用图像获取器310获得的图像并获得出现在图像中的用户的位置(比如在商店附近)和属性(比如性别和年龄)。目标指定器320随后可按照作为广告主体的用户预先设定的参数，根据这些位置和属性过滤图像中的用户从而指定目标用户。另一方面，目标指定器320可检测出现在图像中的用户，并把所有检测到的用户设定为目标用户。

同时，在利用用户操作指定目标用户的情况下，目标指定器320向显示单元340提供利用图像获取器310获得的图像，并按照借助显示单元340获得的用户操作指定目标用户。在任意上述情况下，关于指定的目标用户的信息可作为图像中的坐标信息，通过通信单元330被提供给匹配服务器200。

通信单元330由例如通信装置实现，通过各种网络有线或者无线地与匹配服务器200和广告投放服务器500通信。例如，通信单元330可把图像获取器310获得的图像和指示由目标指定器320指定的目标用户的信息传送给匹配服务器200。另外，通信单元330从匹配服务器220接收由作为匹配的结果指定的目标用户携带的终端设备100的账户信息。另外，通信单元330把目标用户的账户信息作为广告投放请求传送给广告投放服务器500。此时，通信单元330可传送关于目标用户的位置和属性的附加信息。

在例如利用作为广告主体的用户的操作指定图像中的目标用户的情况下，设置显示单元340。显示单元340可由各种显示器实现，向用户呈现各种信息。例如，显示单元340可显示利用图像获取器310获得的图像。诸如触摸面板之类的输入单元可附加到显示单元340上，该输入单元可用于进行从出现在图像中的用户之中指定目标用户的输入操作。显示单元340还可显示图形用户界面(GUI)，GUI用于进行如上所述的指定目标用户的操作。

(广告投放服务器)

图10是图解说明按照本公开的第一实施例的广告投放服务器的示意功能结构的方框图。如图10中图解所示，广告投放服务器500包括登录信息获取器510、账户存储单元520、目标信息获取器530、广告选择器540和投放单元550。注意，除账户存储单元520外的各个单元可用利用CPU的软件实现。

登录信息获取器510利用与终端设备100的通信接受登录，以便终端设备100的用户利用广告投放服务。接受的登录信息被记录到账户存储单元520，并且当通过匹配，把终端设备100的用户指定为目标用户时，由广告选择器540参考。登录信息可包括关于广告投放的目的地(比如电子邮件地址、设备ID或推送通知令牌)的信息。

目标信息获取器530可从监控服务器300(或者匹配服务器200)获得作为匹配的结果而被指定目标用户的终端设备100的账户信息。此时，目标信息获取器530还可接收关于目标用户的位置和属性的附加信息。

广告选择器540按照目标信息获取器530获得的信息选择要投放的广告。要投放的广告可以是预设广告，不过也可按照目标信息获取器530获得的关于目标用户的位置和属性的信息选择要投放的广告。广告选择器540可参考账户存储单元520，获得关于目的地的信息，以便把广告信息推送给终端设备100(比如电子邮件地址、设备ID或推送通知令牌)。

投放单元550通过把信息推送给目标用户的终端设备，投放广告选择器540选择的广告。如上所述，除了广告之外，待投放的信息还可包含诸如优惠券之类的信息。

上面说明了本公开的第一实施例。注意，在第一实施例中和在下面说明的其它实施例中，可以按照诸如每个设备的能力之类的因素恰当地设计结构，以使得图像和传感器输出作为数据被直接提供给匹配服务器200，或者作为利用在监控服务器、摄像机或终端设备中执行的分析获得的行为信息，被提供给匹配服务器200。从而，在匹配服务器200获得的行为信息并不严格局限于匹配服务器200通过分析图像和传感器输出，自己提取的信息。

(2.第二实施例)

下面，参考图11和12说明本公开的第二实施例。在本实施例中，从出现在来自监视摄像机或者其它摄像机的图像中的用户之中指定从携带的终端设备请求位置信息通知的目标用户，从图像中识别出的位置信息被传送给终端设备。这样一来，即使在利用其它方法难以获得精确的位置信息的地方(比如屋内)，也能够向用户提供精确的位置信息。

注意本实施例与上述第一实施例具有一些共同点，比如用户行为信息的获取和行为信息的匹配。从而，将减少或者省略这些共同点的详细说明。

(2-1.提供服务的系统结构)

图11是图解说明按照本公开的第二实施例，提供定位服务的概略系统结构的示图。该系统包括终端设备100、匹配服务器200、监控服务器300、摄像机400和位置传送服务器600。下面，将相续说明系统的每个组件的操作。

首先，在终端设备100和位置传送服务器600之间进行服务登录(S301)和账户分发(S302)。这涉及如前所述那样，终端设备100的用户进行登录以便利用以匹配为基础的定位服务。依据所述登录，终端设备100把账户信息和传感器信息(或者从传感器信息中提取的行为信息)，连同时间信息(时间戳)一起提供给匹配服务器200(S303)。

注意，类似于第一实施例，S301中的服务登录不是为了利用账户信息来识别用户。从而，就所述登录来说，可不登记诸如用户面部的图像之类的个人信息。就用户提供给位置传送服务器600的信息来说，至少包括后面讨论的位置传送的目的地(比如，电子邮件地址、设备ID或者推送通知令牌)就够了。

另外，在S103中，除了来自终端设备100的账户信息和时间信息之外，传感器信息还可向匹配服务器200提供概略位置信息。这样的信息可以是指示终端设备的大概位置，比如“在大型购物中心中”的信息，可以通过利用例如GPS、Wi-Fi接入点或者移动电话基站的定位而获得。类似于第一实施例，这样做有可能减轻匹配的处理负荷。注意稍后从位置传送服务器600传送给终端设备100的位置信息是比此时传送的概略位置信息详细得多的位置信息。

同时，监控服务器300从摄像机400获得图像(S304)。和第一实施例的情况不同，此时，出现在图像中的哪个用户在请求位置信息的问题还未被解决。从而，监控服务器300不必指定目标。监控服务器300把摄像机400提供的图像(运动图像)，和关于获得所述图像时的时间的信息提供给匹配服务器200(S305)。此时，监控服务器300另外把摄像机400的位置信息提供给匹配服务器200。类似于第一实施例，这样做有可能减轻匹配的处理负荷。同样地，在另一个实施例中，监控服务器300可进行图像分析，并把提取的行为信息提供给匹配服务器200。

匹配服务器200根据在S303中提供的来自终端设备100的传感器信息和在S305中提供的图像信息进行匹配(S306)。作为所述匹配的结果，提取图像中与传送传感器信息的终端设备100对应的用户(目标用户)。匹配服务器200把指定图像中的目标用户的信息，比如关于目标用户的图像中坐标的信息，连同与目标用户的终端设备100对应的账户信息一起提供给监控服务器300(S307)。

监控服务器300根据图像中的目标用户的位置，估计目标用户的实际位置(S308)，并把关于估计位置的信息，连同目标用户的账户信息一起提供给位置传送服务器600(S309)。位置传送服务器600按照监控服务器300提供的信息，向用户发送位置信息(S310)。注意目标用户的实际位置的估计不一定由监控服务器300执行，相反也可由例如位置传送服务器600或匹配服务器200执行。

(变形例)

注意在本实施例中，与上述第一实施例的系统结构类似的系统结构的变形也是可能的。尽管在图11的上述例子中，匹配服务器、监控服务器300、摄像机400和位置传送服务器600被包含在专用位置传送系统中，不过在变形例中，包括匹配服务器200和摄像机400的系统作为并不局限于位置传送的通用匹配服务而存在，并且该系统由位置传送服务器600使用。在这种情况下，通过例如利用共用的匹配服务器200，能够提供按照上述第一实施例的广告投放服务和按照本实施例的位置传送服务。

(2-2.设备的功能结构)

下面，说明上述图11中的系统及其变形例中的设备的功能结构。如上所述，下面说明的每个设备的功能结构可用配置成系统的信息处理设备实现。注意，可类似于上述第一实施例，设计除位置传送服务器600外的每个设备的功能结构，因此将代替详细说明使用上述系统结构的说明。

(位置传送服务器)

图12是图解说明按照本公开的第二实施例的位置传送服务器的示意功能结构的方框图。如图12中图解所示，位置传送服务器600包括登录信息获取器610、账户存储单元620、目标信息获取器630和位置传送单元640。注意，除账户存储单元620外的各个单元都可用利用CPU的软件实现。

登录信息获取器610利用与终端设备100的通信接受登录，以便终端设备100的用户利用定位服务。接受的登录信息被记录到账户存储单元620，并且当通过匹配把终端设备100的用户指定为目标用户时，由位置传送单元640参考。登录信息可包括例如关于位置传送的目的地(比如电子邮件地址、设备ID或推送通知令牌)的信息。

目标信息获取器630从监控服务器300(或者匹配服务器200)，获得作为匹配的结果而被指定的目标用户的位置(详细位置)和目标用户的终端设备100的账户信息。

位置传送单元640按照目标信息获取器630获得的信息，把位置信息传送给用户的终端设备100。传送的位置信息并不局限于诸如地图上的坐标之类的信息，还可包括例如指示建筑物中的特定楼层、建筑物的分区或区域和附近的地标的信息。

(2-3.图像处理的另外利用)

在本公开的实施例中，一旦指定了特定的目标用户，那么利用图像跟踪，还能够跟踪图像中的目标用户。例如，在上述第一实施例的情况下，首先在图像中指定目标用户，随后利用图像跟踪来跟踪目标用户，以使得当用户接近特定商店时，向利用第一匹配指定的目标用户的终端设备投放广告信息。再例如，在上述第二实施例的情况下，可以首先指定图像中的用户和目标设备之间的关系，随后利用图像跟踪进行跟踪以便不断向所述用户提供位置信息。

另外，在本公开的实施例中，在曾经指定过的目标用户离开特定摄像机的图像，并进入另一部摄像机的图像中的情况下，或者在所述目标用户返回第一部摄像机的图像中的情况下，可以对照最初指定的目标用户的图像，利用图像匹配指定该用户。按照这种方式，结合本公开的实施例和应用既定的图像处理技术的图像跟踪和图像匹配，使得能够在不频繁进行匹配的情况下指定用户和终端设备之间的关系，从而可以减轻归因于匹配的处理负荷。

(3.第三实施例)

下面，参考图13，说明本公开的第三实施例。在本实施例中，关于累积的过去信息，进行从图像中检测的行为信息和从传感器输出中检测的行为信息之间的匹配。这样做使得即使在例如以后查看摄像机图像的情况下，也能够指定出现在图像中的用户和终端设备之间的关系。本实施例可以和如上所述的第一实施例和第二实施例中的广告投放服务或位置传送服务一起使用，不过也可用在诸如犯罪调查之类的应用中。

图13是图解说明按照本公开的第三实施例的概略系统结构的示图。该系统包括终端设备100、匹配服务器200、监控服务器300、摄像机400、传感器信息数据库(DB)700和监视摄像机图像数据库800。下面，将相续说明系统的每个组件的操作。

终端设备100定期上传信息，包括诸如设备ID、传感器信息、大概位置和时间戳之类的信息(S401)。上传的信息被保存在传感器信息数据库700中。注意，尽管为了上传信息，终端设备100登录到系统，不过图13中省略了登录过程。

同时，摄像机400上传记录的运动图像数据，以及关于记录的位置和时间的信息(S402)。上传的图像信息被保存在监视摄像机图像数据库800中。

在指定出现在图像中的用户和终端设备之间的关系的情况下，监控服务器300把关于目标位置和时间的信息，连同运动图像请求一起传送给监视摄像机图像数据库800(S403)。响应所述请求，监视摄像机图像数据库800把在指定的位置和时间，利用摄像机400记录的运动图像数据提供给监控服务器300(S404)。

此时，在监控服务器300处利用例如用户操作指定摄像机图像中的目标用户(S405)。指定的目标用户的图像中坐标，连同运动图像数据一起被传送给匹配服务器200(S406)。此时，类似于上述实施例，另外传送关于记录该摄像机图像的位置和时间的信息，以便减轻匹配处理的处理负荷。

在收到来自监控服务器300的运动图像数据之后，匹配服务器200向传感器信息数据库700发送对在与运动图像数据对应的位置和时间的传感器信息(包括设备ID)的请求(S407)。响应所述请求，传感器信息数据库700把在指定的位置和时间，从终端设备100上传的传感器信息，提供给匹配服务器200(S408)。

在获得传感器信息之后，匹配服务器200利用运动图像数据和传感器信息进行匹配，并指定由在摄像机图像中指定的目标用户携带的终端设备100的设备ID(S409)。匹配服务器200把与指定的目标用户的设备ID有关的信息提供给监控服务器300(S410)。

通过例如建立分别连同时间信息一起，保存传感器信息和摄像机图像的数据库，类似于按照上述实施例的实时匹配，即使对于过去的数据，也能够指定出现在图像中的用户和用户携带的终端设备之间的关系。

注意，例如当如上所述，能够进行关于过去数据的匹配时，提供传感器信息的终端设备100的用户会认为在一些情况下，确定他或她的过去位置是不合意的。在这样的情况下，当从终端设备100上传传感器信息时附加的账户信息(或者设备ID)可以是一旦过去预定的时间就无效的临时ID，比如，在用户登录以使用服务之后，仅仅持续预定时间有效的一次性密码(OTP)。如果不存在上述问题，那么附加到传感器信息的账户信息(或者设备ID)可以是只有终端设备100才有的ID。所述ID也可以是诸如同意给予用户的服务的账户之类的信息，以使得例如即使在变更使用的终端设备的情况下，用户仍然能够获得所述服务。

(4.第四实施例)

下面参考图14，说明本公开的第四实施例。在本实施例中，类似于上述实施例的监视摄像机，使用用户携带的终端设备上的摄像机。

图14是概略地图解说明本公开的第四实施例的示图。如图14中图解所示，在本实施例中，系统包括匹配服务器200和公开信息服务器1000。下面，将相续说明系统的处理。

首先，从信息发布者的终端设备，把访问ID和传感器信息传送给匹配服务器200(S501-1)。同时，从信息发布者的终端设备，把待公开的预定信息传送给公开信息服务器1000(S501-2)。注意，访问ID是稍后由信息获取者用于访问信息发布者公开的信息的ID。注意，此时传送的访问ID不是终端设备或者信息发布者的ID，而是用于访问公开信息的临时密钥信息。这是因为在图14中图解所示的例子中，信息发布者和信息获取者之间的关系是借以获得公开信息的临时关系。由于在使信息公开之后，所述访问ID没有任何用处，因此，信息发布者不会被信息获取者认出。

同时，信息获取者把出现在图像中的信息发布者指定为目标用户(S502)，所述图像来自内置于终端设备中的摄像机。在这种情况下，信息获取者的终端设备向匹配服务器200传送关于目标用户的查询(S503)。所述查询指定由信息获取者从图像中指定的目标用户，并且可以是请求访问对应用户已使之公开的信息的查询。查询可包含由信息获取者的终端设备记录的运动图像数据，目标用户的图像中坐标信息，和关于记录运动图像的时间和位置的信息。

匹配服务器200从包含在于S503接收的查询之中的运动图像中，提取目标用户的行为信息，并匹配所述行为信息和从在S501-1接收的传感器信息中检测到的行为信息。在作为结果指定了目标用户的传感器信息的情况下，匹配服务器200把对应的传感器信息，连同传送的访问ID一起发给信息获取者的终端设备(S504)。

在被告知目标用户的访问ID之后，信息获取者的终端设备把访问ID传送给公开信息服务器1000，并请求目标用户的公开信息(S505)。作为响应，公开信息服务器1000发出目标用户(即，信息发布者的)公开信息(S506)。结果，来自信息发布者的公开信息(在图14中图解所示的例子中，关于他或她的服装的广告)被显示在信息获取者的终端设备的显示单元上(S507)。

信息获取者能够对公开信息进行某种操作(S508)。在图14中图解所示的例子中，指示赞同或评价的按钮被显示成公开信息，通过按下这些按钮，信息获取者能够进行表明他或她对信息发布者的服装的赞许的操作。关于所述操作的信息被发给公开信息服务器1000(S509)，另外还被发给信息发布者他或她自己的终端设备(S510)。

这样，按照本公开的实施例的匹配处理不仅能够用于利用监视摄像机获得的图像，而且能够用于利用用户拥有的终端设备上的摄像机获得的图像。

(变形例)

作为本实施例的变形例，用户可从包含在电视图像中的多个人之中指定目标，可通过匹配行为信息识别所述目标。例如，某个电视节目中的多个表演者分别携带有终端设备，从而在利用电视摄像机记录表演者的图像时，来自每个表演者的终端设备的传感器信息也被更新。这种情况下，如果电视节目的观众喜欢出现在图像中的各个表演者之中的特定表演者，那么观众可例如把该表演者指定为目标用户。

这种情况下，匹配服务器匹配在图像中指定的目标用户的行为，和以来自每个表演者的传感器信息为基础的行为信息，并识别被观众指定为目标用户的特定表演者。例如，能够利用所述匹配作为使观众表示对表演者的支持的操作。表演者也可以是体育转播节目中的竞技者。例如，把特定竞技者指定为目标用户的观众可产生针对该竞技者的喝彩，或者少量的捐款。

(5.第五实施例)

下面将参考图15和16，说明本公开的第五实施例。在本实施例中，匹配处理被用于识别出现在用户记录的图像中的另一个用户。

图15是图解说明按照本公开的第五实施例的概略系统结构的示图。该系统包括终端设备100、匹配服务器200、摄像机400和SNS服务器1100。下面，将相续说明系统的每个组件的操作。

首先，在终端设备100和SNS服务器1100之间进行服务登录(S601)和账户分发(S602)。这是终端设备100的用户借以通过匹配利用在图像中指定的服务的登录。依据所述登录，终端设备100把账户信息和传感器信息(或者从传感器信息提取的行为信息)，连同时间信息(时间戳)一起提供给匹配服务器200(S603)。

类似于上述实施例，S601中的服务登录不是用于利用账户信息来识别用户。用户提供给SNS服务器1100的信息被用作使SNS服务器1100提供的SNS账户与终端设备100的用户相关联的信息。另外，在S603中，除了来自终端设备100的账户信息和时间信息之外，传感器信息可向匹配服务器200提供概略位置信息。

同时，另一个用户拥有的摄像机400记录描述终端设备100的用户的图像。所述摄像机400的用户把将在记录的图像中识别的人指定为目标用户(S604)。注意，出现在记录的图像中的所有人(或者按一定大小出现的人)也可被自动检测为目标用户。摄像机400把运动图像数据，连同指定的目标用户的图像中坐标和获得所述图像时的时间信息一起提供给匹配服务器200(S605)。此时，摄像机400另外把摄像机400本身的位置信息提供给匹配服务器200。注意，在另一个实施例中，摄像机400可进行图像分析，并把提取的行为信息提供给匹配服务器200。

匹配服务器200根据在S603中提供的来自终端设备100的传感器信息，和在S605中提供的图像信息进行匹配(S606)。作为所述匹配的结果，提取与在图像中指定的目标用户对应的终端设备100的账户信息。匹配服务器200把目标用户的账户信息提供给摄像机400(S607)。

摄像机400利用目标用户的账户信息，向出现在运动图像中的目标用户附加标记(S608)。此时附加的标记可以是目标用户在SNS服务器1100提供的SNS上的用户名的标记。为此，摄像机400也可预先从SNS服务器1100获得使SNS用户名与当终端设备100的用户传送传感器信息时的账户信息相关联的信息。另一方面，摄像机400可把匹配服务器200提供的目标用户的账户信息提供给SNS服务器1100，并要求SNS服务器1100识别SNS上的对应用户。

另外，摄像机400可把标记的运动图像上传给SNS服务器1100(S609)。在上传运动图像的情况下，SNS服务器1100还可向终端设备100发出通知，指示终端设备100的用户被标记(S610)。

按照如上所述的结构，能够自动识别谁出现在利用用户拥有的摄像机记录的运动图像中，并向运动图像附加标记。在这种情况下，可以预先假定每个用户的终端设备与每个用户(例如，SNS上的账户)相关联。

此时，就未出现在运动图像中，但是在拍摄运动图像时在运动图像的记录位置附近，并且与记录运动图像的人物具有在SNS上的朋友关系的人物来说，该人可在运动图像中被标记为“拍摄时在附近的人”。另外，也可例如通过根据运动图像中的抖动检测拿着摄像机400的人的行为，并匹配所述行为和来自终端设备100的传感器信息，识别并标记摄影者他或她自己。

注意，在例如使用头戴式终端设备，并且提供指示用户的视野的图像，作为传感器信息的情况下，根据运动图像中的抖动，检测摄影者的行为也适用于上述实施例。

(变形例)

图16是图解说明按照本公开的第五实施例的概略系统结构的变形例的示图。尽管在上面的图15的例子中，利用匹配服务器执行匹配，不过在本变形例中，摄像机400通过利用与终端设备100的机对机通信执行匹配。注意诸如蓝牙(注册商标)和Wi-Fi之类的各种通信协议可用于机对机通信。另外，就机对机通信来说，各个设备不必被直接连接，也可具有借助诸如因特网之类网络的对等(P2P)连接。

终端设备100预先从SNS服务器1100获得并高速缓存关于朋友关系的信息(S701)。在记录运动图像的情况下，摄像机400利用机对机通信，把朋友关系查询传送给位于附近的终端设备100(S702)。终端设备100参考高速缓存的朋友关系信息，如果摄像机400的用户是朋友，那么传送确认朋友关系的响应(S703)。

另外，在摄像机400的用户是朋友的情况下，终端设备100向摄像机400提供传感器信息(S704)。此时提供的传感器信息可包括终端设备100的用户在SNS上的姓名信息以及时间信息。

在从终端设备100获得传感器信息之后，摄像机400从记录的图像中，指定目标用户(S705)，并利用传感器信息和目标用户的图像，进行匹配(S706)。注意类似于前面的例子，目标用户可由摄像机400的用户指定，也可被自动检测。

作为所述匹配的结果，确定与从特定终端设备100传送的传感器信息对应的目标用户。从而，摄像机400利用来自终端设备100的传感器信息，以及传送的姓名信息，向出现在运动图像中的目标用户附加标记(S707)。另外，就在S704中，其终端设备100传送传感器信息但是未被匹配识别的用户来说，摄像机400可把该用户标记为未出现在记录的图像之中但是在附近的人(S708)。

另外，摄像机400可把标记的运动图像上传给SNS服务器1100(S709)。在上传运动图像的情况下，SNS服务器1100还可向终端设备100发出通知，指示终端设备100的用户被标记(S710)。

(6.硬件结构)

下面，参考图17，说明按照本公开的实施例的图像处理设备的硬件结构。图17是描述信息处理设备的硬件结构的方框图。图17中图解说明的图像处理设备900可实现例如上述实施例中的终端设备100、匹配服务器200、监控服务器300、摄像机400、广告投放服务器500、位置传送服务器600、传感器信息数据库700、监视摄像机图像数据库800、公开信息服务器1000和SNS服务器1100。

信息处理设备900包括中央处理器(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。信息处理设备900还包括主总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。另外，信息处理设备900还可酌情包括成像装置933和传感器935。信息处理设备900还可包括代替CPU901，或者和CPU901一起的处理电路，比如数字信号处理器(DSP)。

CPU901起计算处理装置和控制装置的作用，通过遵从记录在ROM903、RAM905、存储装置919或者可拆卸记录介质927中的各种程序，控制信息处理设备900中的所有或者部分操作。ROM903保存诸如CPU901使用的程序和计算参数之类的信息。RAM905临时保存诸如在CPU901的执行期间使用的程序之类的信息和在所述执行中酌情改变的参数。CPU901、ROM903和RAM905由主总线907互连，主总线907由诸如CPU总线之类的内部总线实现。另外，主总线907经桥接器909，连接到诸如外围组件互连/接口(PCI)总线之类的外部总线911。

输入装置915是由用户操作的装置，比如鼠标、键盘、触摸面板、或者一个或多个按钮、开关和控制杆。输入装置915也可是利用红外或者某种其它电磁波的遥控装置，还可以是外接设备929，比如与信息处理设备900的操作相关的移动电话机。输入装置915包括根据用户输入的信息，生成输入信号，并把生成的输入信号输出给CPU901的输入控制电路。例如通过操作输入装置915，用户输入各种数据来指令信息处理设备900进行处理操作。

输出装置917由能够视觉地或者听觉地把获得的信息报告给用户的装置实现。输出装置917可以是例如显示装置，比如液晶显示器(LCD)、等离子体显示面板(PDP)、或者有机电致发光(EL)显示器，音频输出装置，比如一个或多个扬声器和头戴式耳机，或者诸如打印机之类的另一个装置。输出装置917可以诸如文本或图像之类的可视信息的形式，或者以诸如语音或声音之类的音频的形式，输出利用信息处理设备900的处理获得的结果。

存储装置919是用于数据存储的装置，实现为信息处理设备900中的存储器的一个例子。存储装置919例如可以是诸如硬盘驱动器(HDD)之类的磁存储装置、半导体存储装置、光存储装置或者磁光存储装置。存储装置919保存诸如CPU901执行的程序、各种数据和各种从外部获得的数据之类的信息。

驱动器921是诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸记录介质927的读/写器，内置于信息处理设备900中或者外接于信息处理设备900。驱动器921取回记录在插入的可拆卸记录介质927中的信息，把取回的信息输出给RAM905。另外，驱动器921把信息写入插入的可拆卸记录介质927中。

连接端口923是用于把设备直接连接到信息处理设备900的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE1394端口或者小型计算机系统接口(SCSI)端口。连接端口923也可以是RS-232C端口、音频接口或者高清多媒体接口(HDMI)端口。通过把外接设备929连接到连接端口923，可在信息处理设备900和外接设备929之间交换各种数据。

通信装置925是例如利用连接到通信网络931的通信装置实现的通信接口。通信装置925可以是例如有线或无线局域网(LAN)，或者蓝牙(注册商标)或无线USB(WUSB)通信卡。通信装置925还可以是光通信路由器，非对称数字用户线路(ADSL)路由器，或者用于任意各种通信的调制解调器。通信装置925利用预定的协议，比如TCP/IP，向因特网或者另一个通信装置传送/从因特网或另一个通信装置接收信号或其它信息。另外，连接到通信装置925的通信网络931是有线或无线连接的网络，例如可以是因特网、家庭LAN、红外通信、无线电波通信或者卫星通信。

成像装置933是例如通过利用诸如电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)传感器之类的图像传感器，以及诸如控制在图像传感器上形成被摄物体图像的一个或多个透镜之类的各种部件来对真实空间成像，从而生成图像的装置。成像装置933可以是拍摄静止图像的装置，或者拍摄运动图像的装置。

传感器935是各种传感器，比如加速度传感器、陀螺仪传感器、地磁传感器、气压传感器、光学传感器和声传感器。传感器935获得关于信息处理设备900本身的状态的信息，比如信息处理设备900的外壳的取向，以及关于信息处理设备900的周围环境的信息，比如信息处理设备900周围的亮度或噪声。传感器935还可包括接收GPS信号，并测量设备的纬度、经度和海拔高度的全球定位系统(GPS)传感器。

上面举例说明了信息处理设备900的例证硬件结构。上述组件都可利用通用部件实现，不过也可利用专用于每个组件的功能的硬件实现。也可按照实施时的技术水平，酌情修改这样的结构。

(7.补充备注)

(服务例子的结论)

下面总结可利用本公开的实施例提供的服务的例子。

例如，本公开的实施例适合于优惠券和广告分发服务。这种情况下，例如从图像中识别接近商店的用户，并传送与所述用户的属性相应的优惠券信息。从而，能够预期与分发手巾纸(分发者分发具有与行人的属性相应的广告植入物的一包包手巾纸)，比如向女性消费者呈现化妆品广告类似的广告效果。

再例如，本公开的实施例也适合于作为定位解决方案。如前所述，在屋内利用GPS较为困难，而利用Wi-Fi或其它接入点的定位不够精确。按照本公开的实施例，即使在屋内，也能够高度精确地告诉用户“你在这”。

再例如，本公开的实施例也可用于确定消费者进入了商店。迄今为止，为了向系统通报他或她的来到，用户应进行某种签到操作(比如获得与商店对应的位置信息)。不过，按照本公开的实施例，能够识别进入商店中的用户的终端设备，从而使得即使在不进行签到操作的情况下，也能够报告消费者的来到。另外，如果在商店中，在入口或收银台安装摄像机，并且如果出现在各个图像中的用户被识别，那么能够区分在商店中实际购物的用户和只是四处看看的用户。此外，如果终端设备ID是持续使用的唯一信息，那么还能够记录进入店中的频度以及用户属性。由于识别的目标是终端设备，因此即使用户的服装和发型改变，识别也不受影响。

再例如，本公开的实施例也可用于犯罪调查。例如，能够累积来自安保摄像机的图像，当发生某种事件时，通过识别从其获得与出现在摄像机上的罪犯的行为信息匹配的行为信息的终端设备来推断罪犯的身份。

再例如，本公开的实施例也可用于在诸如美术馆和博物馆之类的设施使用的专用导游设备。例如，通过把传感器安装在专用设备上，并匹配从来自每个专用设备的传感器信息中检测到的行为信息，和出现在所述设施中的摄像机上的用户的行为信息，能够提供与在所述设施内的用户的位置相关的详细信息，并按照用户的位置来传送与展品相关的导游信息。

(其它备注)

尽管上述实施例的说明介绍了用户(人)携带获得传感器信息的终端设备的例子，不过本公开的实施例并不局限于这样的例子。例如，终端设备也可附着到诸如家畜之类的动物身上。在这种情况下，当从图像中识别出离开畜群的个体时，该个体被指定为目标。如果通过匹配，识别出附着于所述个体的终端设备，那么能够通过该终端设备，发出促使所述个体回到畜群的指令或其它刺激。另外，由于在观察图像时，能够识别出个体，因此还能够从远程位置执行诸如个体选择之类的操作。

获得传感器信息的终端设备也可被附着到包裹上。在这种情况下，例如类似于家畜，可从远程位置选择包裹。另外，这样的实施例也可用在诸如借助图像，目视检查传送到工人不能进入的场所的包裹，并酌情为终端设备设定标记信息之类的情况中。

本公开的实施例例如包含如上所述的信息处理设备(终端设备或服务器)和系统，由信息处理设备或系统执行的信息处理方法，使信息处理设备起作用的程序和保存这样的程序的记录介质。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

另外，还可以如下构成本技术。

(1)一种信息处理设备，包括：

第一获取器，其获得第一行为信息，所述第一行为信息是通过分析与对象相关的图像而检测到的，并所述第一行为信息指示对象的行为；

第二获取器，获得第二行为信息，所述第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示对象的行为；和

匹配单元，所述匹配单元通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系。

(2)按照(1)所述的信息处理设备，其中

匹配单元在时间轴上，匹配对象的行为中的特征点，所述特征点由第一行为信息和第二行为信息指示。

(3)按照(2)所述的信息处理设备，其中

第二获取器获得从终端设备中的加速度传感器的输出中检测的第二行为信息。

(4)按照(2)或(3)所述的信息处理设备，其中

所述对象是人，

匹配单元在时间轴上匹配人的步行行为中的特征点，所述特征点由第一行为信息和第二行为信息指示。

(5)按照(1)-(4)任意之一所述的信息处理设备，其中

第一获取器获得关于从多个对象中指定的目标的第一行为信息，和

匹配单元通过匹配第一行为信息和第二行为信息，指定所述目标携带或者附着于所述目标的终端设备。

(6)按照(5)所述的信息处理设备，其中

目标被指定为具有预定属性的对象，和

匹配单元输出关于指定的终端设备的信息作为用于向所述目标传送信息的信息。

(7)按照(5)所述的信息处理设备，其中

所述目标被指定为未识别的对象，和

匹配单元输出关于指定的终端设备的信息作为识别所述目标的信息。

(8)按照(7)所述的信息处理设备，其中

识别目标的信息是用于所述目标访问已被公开的信息的临时密钥信息。

(9)按照(1)-(4)任意之一所述的信息处理设备，其中

第二获取器获得关于从多个终端设备中指定的目标终端设备的第二行为信息，和

匹配单元通过匹配第一行为信息和第二行为信息，指定携带或者附着目标终端设备的对象。

(10)按照(9)所述的信息处理设备，其中

目标终端设备是请求位置信息的终端设备，和

匹配单元按照向目标终端设备报告根据图像指定的对象的位置的方式，输出和与指定的对象有关的信息。

(11)按照(1)-(10)任意之一所述的信息处理设备，其中

所述对象是人，

第二获取器获得与识别所述人的ID信息相关的第二行为信息，和

匹配单元利用所述ID信息，指定所述人。

(12)按照(11)所述的信息处理设备，其中

一旦经过预定的时间段，所述ID信息就无效。

(13)按照(11)或(12)所述的信息处理设备，其中

匹配单元按照把用于指示对象的标记信息附加到图像上的方式，输出与对象相关的ID信息。

(14)按照(1)-(13)任意之一所述的信息处理设备，其中

第一获取器获得通过分析从不同位置拍摄的多个图像而检测到的第一行为信息，

第二获取器获得与用于指示终端设备的大概位置的信息相关的第二行为信息，和

匹配单元利用用于指示大概位置的信息选择用于匹配的第一行为信息。

(15)按照(1)-(14)任意之一所述的信息处理设备，其中

在通过匹配指定了其关系的对象和终端设备出现在稍后的图像中的情况下，匹配单元通过利用图像中的所述对象的特征识别所述对象而省略对于所述稍后图像的匹配。

(16)按照(1)-(15)任意之一所述的信息处理设备，其中

第二获取器获得第二行为信息，第二行为信息包括与对象的取向相关的信息，该信息是从终端设备中的地磁传感器的输出中检测到的。

(17)按照(1)-(16)任意之一所述的信息处理设备，其中

所述对象是人或动物，和

第二获取器获得第二行为信息，第二行为信息包括与对象的视野图像相关的信息，该信息是从终端设备中的成像单元的输出中检测到的。

(18)按照(1)-(17)任意之一所述的信息处理设备，其中

第二获取器获得第二行为信息，第二行为信息包括对象的高度信息，该信息是从终端设备中的气压传感器的输出中检测的。

(19)一种信息处理方法，包括：

获得第一行为信息，所述第一行为信息是通过分析与对象相关的图像检测到的，并且所述第一行为信息指示对象的行为；

获得第二行为信息，所述第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示对象的行为；和

通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系。

(20)一种程序，所述程序使计算机实现：

获得第一行为信息的功能，所述第一行为信息是通过分析与对象相关的图像检测到的，并且所述第一行为信息指示对象的行为；

获得第二行为信息的功能，所述第二行为信息是从对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示对象的行为；和

通过比较第一行为信息和第二行为信息，指定对象和终端设备之间的关系的功能。

本公开包含与在2012年6月1日向日本专利局提交的日本优先权专利申请JP2012-125940中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims

1.一种信息处理设备，包括：

第一获取器，其获得第一行为信息，所述第一行为信息是通过分析与对象相关的图像而检测到的，并且所述第一行为信息指示所述对象的行为；

第二获取器，其获得第二行为信息，所述第二行为信息是从所述对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示所述对象的行为；和

匹配单元，所述匹配单元通过比较所述第一行为信息和所述第二行为信息，指定所述对象和所述终端设备之间的关系。

2.按照权利要求1所述的信息处理设备，其中

所述匹配单元在时间轴上，匹配所述对象的行为中的特征点，所述特征点由所述第一行为信息和所述第二行为信息指示。

3.按照权利要求2所述的信息处理设备，其中

所述第二获取器获得从所述终端设备中的加速度传感器的输出中检测的所述第二行为信息。

4.按照权利要求2所述的信息处理设备，其中

所述对象是人，

所述匹配单元在时间轴上匹配人的步行行为中的特征点，所述特征点由所述第一行为信息和所述第二行为信息指示。

5.按照权利要求1所述的信息处理设备，其中

所述第一获取器获得关于从多个对象中指定的目标的所述第一行为信息，和

所述匹配单元通过匹配所述第一行为信息和所述第二行为信息，指定所述目标携带或者附着于所述目标的终端设备。

6.按照权利要求5所述的信息处理设备，其中

所述目标被指定为具有预定属性的对象，和

所述匹配单元输出关于指定的终端设备的信息作为用于向所述目标传送信息的信息。

7.按照权利要求5所述的信息处理设备，其中

所述目标被指定为未识别的对象，和

所述匹配单元输出关于指定的终端设备的信息作为识别所述目标的信息。

8.按照权利要求7所述的信息处理设备，其中

识别所述目标的信息是用于所述目标访问已被公开的信息的临时密钥信息。

9.按照权利要求1所述的信息处理设备，其中

所述第二获取器获得关于从多个终端设备中指定的目标终端设备的所述第二行为信息，和

所述匹配单元通过匹配所述第一行为信息和所述第二行为信息，指定携带或者附着所述目标终端设备的对象。

10.按照权利要求9所述的信息处理设备，其中

所述目标终端设备是请求位置信息的终端设备，和

所述匹配单元按照向所述目标终端设备报告根据所述图像指定的对象的位置的方式，输出与指定的对象有关的信息。

11.按照权利要求1所述的信息处理设备，其中

所述对象是人，

所述第二获取器获得与识别所述人的ID信息相关的所述第二行为信息，和

所述匹配单元利用所述ID信息指定所述人。

12.按照权利要求11所述的信息处理设备，其中

一旦经过预定的时间段，所述ID信息就无效。

13.按照权利要求11所述的信息处理设备，其中

所述匹配单元按照把用于指示所述对象的标记信息附加到所述图像上的方式，输出与所述对象相关的所述ID信息。

14.按照权利要求1所述的信息处理设备，其中

所述第一获取器获得通过分析从不同位置拍摄的多个图像而检测到的所述第一行为信息，

所述第二获取器获得与用于指示所述终端设备的大概位置的信息相关的所述第二行为信息，和

所述匹配单元利用用于指示所述大概位置的信息选择用于匹配的所述第一行为信息。

15.按照权利要求1所述的信息处理设备，其中

在通过匹配指定了其关系的所述对象和所述终端设备出现在稍后的图像中的情况下，所述匹配单元通过利用所述图像中的所述对象的特征识别所述对象而省略对于所述稍后图像的匹配。

16.按照权利要求1所述的信息处理设备，其中

所述第二获取器获得所述第二行为信息，所述第二行为信息包括与所述对象的取向相关的信息，该信息是从所述终端设备中的地磁传感器的输出中检测到的。

17.按照权利要求1所述的信息处理设备，其中

所述对象是人或动物，和

所述第二获取器获得所述第二行为信息，所述第二行为信息包括与所述对象的视野图像相关的信息，该信息是从所述终端设备中的成像单元的输出中检测到的。

18.按照权利要求1所述的信息处理设备，其中

所述第二获取器获得所述第二行为信息，所述第二行为信息包括所述对象的高度信息，该信息是从所述终端设备中的气压传感器的输出中检测的。

19.一种信息处理方法，包括：

获得第一行为信息，所述第一行为信息是通过分析与对象相关的图像而检测到的，并且所述第一行为信息指示所述对象的行为；

获得第二行为信息，所述第二行为信息是从所述对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示所述对象的行为；和

通过比较所述第一行为信息和所述第二行为信息，指定所述对象和所述终端设备之间的关系。

20.一种程序，所述程序使计算机实现：

获得第一行为信息的功能，所述第一行为信息是通过分析与对象相关的图像而检测到的，并且所述第一行为信息指示所述对象的行为；

获得第二行为信息的功能，所述第二行为信息是从所述对象携带的或者附着于所述对象的终端设备中的传感器的输出中检测到的，并且所述第二行为信息指示所述对象的行为；和

通过比较所述第一行为信息和所述第二行为信息，指定所述对象和所述终端设备之间的关系的功能。