CN103189817A

CN103189817A - 信息处理系统和信息处理方法

Info

Publication number: CN103189817A
Application number: CN2011800528591A
Authority: CN
Inventors: 北谷谦一; 石田伸二郎
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Corp
Priority date: 2010-11-02
Filing date: 2011-09-07
Publication date: 2013-07-03
Anticipated expiration: 2031-09-07
Also published as: JPWO2012060039A1; EP2637078A4; CN103189817B; JP5870929B2; WO2012060039A1; EP2637078A1; US20130217441A1; EP2637078B1; US9014754B2

Abstract

一种信息处理系统，包括移动设备(10)和信息处理设备(20)。移动设备(10)包括：传感器(11)，用于获取生物信息；摄像机(12)，用于获取与用户的视野相对应的图像；以及，第一通信装置(13)。信息处理设备(20)包括第二通信装置(21)和计算装置(22)。计算装置(22)基于由传感器(11)获取的生物信息，确定是否启动摄像机(12)。此外，计算装置(22)从由所述摄像机(12)获取的所述图像中提取特征，并使用第二通信装置(21)向公共网络发送与所提取的特征有关的信息，以获得与所提取的特征有关的搜索结果。

Description

信息处理系统和信息处理方法

技术领域

本发明涉及信息处理系统和信息处理方法，更具体地，涉及用于搜索与用户看到的对象等有关的信息的信息处理系统和信息处理方法。

背景技术

近年来，根据通信系统等的发展，在任何地方立即搜索用户想知道的信息成为可能。

专利文献1公开了涉及一种通信系统的技术，该通信系统能够以可容易看到的方式向用户呈现符合每个用户的喜好、每个用户的情形等的信息。图20示出了专利文献1中公开的通信系统的方框图。

如图20所示，专利文献1中公开的通信系统包括：移动终端100和信息记录/分发装置300。移动终端100包括合成显示单元101、拍摄单元103、信息处理单元105、通信单元107、位置信息获取单元109、用户行为信息获取单元111以及呈现信息选择单元113。呈现信息选择单元113包括优先级分析单元115、显示评估单元117、以及呈现信息辨别/提取单元119。另一方面，信息记录/分发装置300包括通信单元321、信息记录单元323、以及分发信息辨别/提取单元325。

移动终端100的合成显示单元101将已经由信息处理单元105对其执行预定处理的信息与拍摄单元103实时依次成像的图像信息(景观)合成，以显示合成的图像作为可视图像，从而向用户呈现信息。合成显示单元101包括合成单元和显示单元。

合成单元接收来自信息处理单元105的信息和来自拍摄单元103的信息(即，与移动终端100周围的景观有关、并由拍摄单元3实时地依次成像的图像信息)，对合成接收到的信息，并向显示单元输出合成的信息。显示单元从合成单元接收合成的信息，并显示该信息作为可视图像。根据这些过程，在合成显示单元101实时地依次显示合成有景观和预订信息(即，文本信息)的图像，并且由用户观看这些图像。

此外，专利文献2公开了一种涉及操作支持系统的技术，该操作支持系统便于获取与目标有关的详细信息，并便于直观地识别目标。专利文献3公开了一种涉及便携式信息搜索装置的技术，该便携式信息搜索装置用于登记需要当场存储的信息，并当场输入评估分数。

专利文献4公开了一种在头戴显示设备上显示与驾驶员的观察方向相对应的信息的技术。专利文献5公开了一种涉及电子视觉装置和方法的技术，特别是，涉及与导航、位置和姿势设备组合的图像增大的技术。

引用列表

专利文献

专利文献1：日本未审专利申请公开No.2004-343288

专利文献2：日本未审专利申请公开No.2001-34615

专利文献3：日本未审专利申请公开No.2000-331006

专利文献4：日本未审专利申请公开No.2004-219664

专利文献5：日本专利No.3700021

发明内容

技术问题

如上所述，根据专利文献1所公开的技术，实时地依次显示将由拍摄单元103实时地依次拍摄成像的移动终端100周围的图像信息(场景)和预订信息(文字信息)合成的图像，并且由用户观看该合成的图像。

然而，根据专利文献1公开的技术，实时地依次显示信息，会导致给通信系统中的处理增加负担的问题。

本发明的示例性的目的是提供一种能够在适当时间获取用户所需信息的信息处理系统和信息处理方法。

问题的解决方案

根据本发明的信息处理系统是包括移动设备和信息处理装置的信息处理系统，其中，所述移动设备包括：传感器，用于获取生物信息；摄像机，用于获取与用户的视野相对应的图像；以及，第一通信装置，用于与信息处理装置进行无线电通信，所述信息处理装置包括：第二通信装置，用于与所述移动设备和公共网络进行无线通信；以及，计算装置，所述第一通信装置向所述信息处理装置无线发送由所述传感器获取的生物信息，所述计算装置基于所获取的生物信息来确定是否要启动所述摄像机，并且在确定要启动所述摄像机时，所述计算装置使用所述第二通信装置向所述移动设备发送启动所述摄像机的指令，在启动所述摄像机之后，所述第一通信装置向所述信息处理装置无线发送由所述摄像机获取的图像，以及，所述计算装置从所获取的图像提取特征，并使用所述第二通信装置向所述公共网络发与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

根据本发明的信息处理系统，包括：传感器，用于获取生物信息；摄像机，用于获取与用户的视野相对应的图像；通信装置，用于与公共网络进行无线电通信；以及，计算装置，其中，所述计算装置基于所获取的生物信息来确定是否要启动所述摄像机，在确定要启动所述摄像机时，所述计算装置启动所述摄像机以从由所述摄像机获取的图像中提取特征，以及，所述计算装置使用所述通信装置向所述公共网络发送与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

信息处理系统中的信息处理方法，包括：传感器，用于获取生物信息；摄像机，用于获取与用户的视野相对应的图像；以及，通信装置，用于与公共网络进行无线电通信，根据本发明，所述方法包括：基于所获取的生物信息来确定是否要启动所述摄像机；在确定要启动所述摄像机时，启动所述摄像机以从由所述摄像机获取的图像中提取特征；使用所述通信装置向所述公共网络发送与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

发明的有益效果

根据本发明，能够提供在恰当时间能获取用户所需信息的信息处理系统和信息处理方法。

附图说明

图1是根据第一示例性实施例的信息处理系统的方框图；

图2是根据第一示例性实施例的信息处理系统的另一方面的方框图；

图3是用于描述根据第一示例性实施例的信息处理系统中的处理的流程图；

图4A是用于描述根据第一示例性实施例的信息处理系统中的处理的具体示例的示意图；

图4B是用于描述根据第一示例性实施例的信息处理系统中的处理的具体示例的示意图；

图5是用于描述根据第二示例性实施例的信息处理系统中的处理的流程图；

图6是根据第三示例性实施例的信息处理系统的方框图；

图7A是示出根据第三示例性实施例的信息处理系统中包括的移动设备的具体示例的俯视图；

图7B是示出根据第三示例性实施例的信息处理系统中包括的移动设备的具体示例的侧视图；

图8A是示出根据第三示例性实施例的信息处理系统中包括的移动设备的另一具体示例的俯视图；

图8B是示出根据第三示例性实施例的信息处理系统中包括的移动设备的另一具体示例的侧视图；

图9是用于描述根据第三示例性实施例的信息处理系统中的处理的流程图；

图10A是用于描述根据第三示例性实施例的信息处理系统中的处理的具体示例的示意图；

图10B是用于描述根据第三示例性实施例的信息处理系统中的处理的具体示例的示意图；

图11是根据第四示例性实施例的信息处理系统的方框图；

图12是用于描述根据第四示例性实施例的信息处理系统中的处理的具体示例的示意图；

图13是用于描述根据第五示例性实施例的信息处理系统中的处理的流程图；

图14是用于描述根据第五示例性实施例的信息处理系统中的处理的流程图；

图15A是用于描述根据第五示例性实施例的信息处理系统中的处理的具体示例的示意图；

图15B是用于描述根据第五示例性实施例的信息处理系统中的处理的具体示例的示意图；

图16是用于描述根据第五示例性实施例的信息处理系统中的处理的具体示例的示意图；

图17是用于描述根据第五示例性实施例的信息处理系统中的处理的具体示例的示意图；

图18是根据第六示例性实施例的信息处理系统的方框图；

图19是用于描述根据第六示例性实施例的信息处理系统中的处理的流程图；以及

图20是用于描述专利文献1中公开的技术的示意图。

具体实施方式

第一示例性实施例

在下文中，将参考附图描述本发明的示例性实施例。

图1是根据本发明的第一示例性实施例的信息处理系统的方框图。根据图1中所示本示例性实施例的信息处理系统包括移动设备10和信息处理装置20。

移动设备10包括：传感器11，用户获取生物信息；摄像机12，用于获取与用户的视野相对应的图像(在本说明书中，该图像包括运动图像和静止图像)；以及，通信装置(第一通信装置)13，用于与信息处理装置20进行无线电通信。信息处理装置20包括：通信装置(第二通信装置)21，用于与移动设备10和公共网络(未示出)进行无线电通信；以及，计算装置22。

移动设备10中包括的传感器11是用于获取用户的生物信息的传感器，并且是能够检测例如脑电波、体温、血压、心率、出汗、瞳孔大小、以及眼球运动等的传感器。

用于检测脑电波的传感器是例如通过将用于检测脑电波的一个或多个电极放置在用户头部来构成的。用于检测体温的传感器是例如使用热敏电阻构成的。用于检测血压或心率的传感器可以使用例如静电电容类型的压力传感器或压电元件构成。用于检测出汗的传感器可以使用例如湿度传感器来构成。用于检测瞳孔张开大小或眼球运动的传感器可以使用例如成像元件(例如，电荷耦合器件(CCD)成像传感器)或互补金属氧化物半导体(CMOS)成像传感器来构成。

移动设备10中的摄像机12获取与用户的视野相对应的图像。因此，可以获取用户实际看到的对象等的图像。CCD图像传感器或CMOS图像传感器可以用作摄像机12。

移动设备10中包括的通信装置13与信息处理装置20(即，信息处理装置20的通信装置21)进行无线通信。在根据本示例性实施例的信息处理系统中，用户承载并使用移动设备10和信息处理装置20。因此，移动设备10和信息处理装置20可以在相对短距离内相互无线通信。例如，移动设备10的通信装置13以及信息处理装置20的通信装置21可以使用遵从诸如蓝牙(注册商标)或Wi-Fi(注册商标)之类通信标准的无线技术。

信息处理装置20中包括的通信装置21与移动设备10(即，移动设备10的通信装置13)和公共网络进行无线电通信。当通信装置21与移动设备10的通信装置13进行无线电通信时，如上所述，可以使用遵从通信标准的无线电技术。同时，当通信装置21与公共网络进行无线电通信时，除包括诸如蓝牙(注册商标)或Wi-Fi(注册商标)之类通信标准之外，也可以使用长期演进(LTE)。

信息处理装置20中包括的计算装置22执行下文描述的处理。稍后将描述具体描述。

在根据本示例性实施例的信息处理系统中，可以使用例如能够安装在用户头上的头戴显示器作为移动设备10。此外，例如，可以使用移动电话、PDA等作为信息处理装置20。

如图2所示，根据本示例性实施例的信息处理系统中的信息处理装置20还可以包括：存储装置23、显示装置24以及输入装置25。存储装置23能够存储计算装置22中的计算结果、事先设置的各种参数等。当在信息处理装置20中设置各种参数时，显示装置24能够显示设置屏幕。

此外，当信息处理装置20是移动电话或PDA时，可以显示电话号码、日程、电子邮件和各种应用的屏幕。输入装置25用于各种参数、电话号码、日程的输入，创建电子邮件所需的输入，以及各种应用的输入。

接下来，描述根据本示例性实施例的信息处理系统的操作。图3是用于描述根据本示例性实施例的信息处理系统中的处理的流程图。

首先，移动设备10中包括的传感器11获取用户的生物信息(步骤S1)。这里的生物信息是以下至少一项：脑电波、体温、血压、心率、出汗、瞳孔张开大小、以及眼球运动。然后，移动设备10中包括的通信装置13向信息处理装置20无线发送传感器11获取的生物信息(步骤S2)。

信息处理装置20中包括的通信装置21接收从移动设备10发送的生物信息，并向计算装置22输出该生物信息。计算装置22基于获取的生物信息来确定是否启动摄像机12(步骤S3)。例如，当生物信息指示了用户注意力增加的状态、用户正在对目标对象作出反应的状态、用户被刺激的状态、以及用户吃惊的状态中的至少一个时，计算装置22确定要启动摄像机12。

具体地，当生物信息是脑电波时，在指示注意力的脑电波(例如，α波)比平时更活跃时，可以确定用户的注意力增加。此外，通过监测指示用户反应、用户被刺激的状态、用户惊奇的状态等的脑电波，可以规定用户正在对某事作出反应、用户被刺激、或用户惊奇。

此外，当生物信息是体温时，在例如用户体温增加时，可以确定用户的注意力或反应增加。此外，当生物信息是血压时，在例如用户血压升高时，可以确定用户被刺激或用户惊奇。此外，当生物信息是心率时，在例如用户心率增加时，可以确定用户被刺激或用户惊奇。

此外，当生物信息是出汗的状态时，在用户出汗量增加时，可以确定用户被刺激或用户惊奇。此外，当生物信息是瞳孔张开大小时，在用户瞳孔扩张时，可以确定用户注意力增加、用户被刺激或用户惊奇。此外，当生物信息是眼球运动时，在例如用户眼球运动降低时，可以确定用户的注意力增加。

此外，因为当用户显示出上述反应时，脑电波、体温、血压、心率、出汗、瞳孔张开大小以及眼球运动的参数对于每个人来说是不同的，所以当用户显示出上述反应时的参数被针对每个人登记到信息处理装置20中包括的存储装置23中。为了指定用户，可以使用例如信息处理装置20中包括的输入装置25来设置用户。

当传感器11是脑电波传感器时，计算装置22可以基于由脑电波传感器获取的脑电波以及个人和个人的脑电波相互关联的信息(事先登记的)，来识别使用移动设备的个人。

当在信息处理装置20中包括的计算装置22中确定不启动摄像机12时(当在步骤S3中确定为否时)，处理从步骤S1开始重复。另一方面，当在计算装置22中确定要启动摄像机12时(当在步骤S3中确定为是时)，计算装置22使用通信装置21向移动设备10发送用于启动摄像机12的指令(步骤S4)。

当移动设备10的通信装置13接收到用于启动摄像机12的指令时，启动摄像机12(步骤S5)。在启动摄像机12之后，通信装置13向信息处理装置20无线发送摄像机12获取的图像(步骤S6)。

信息处理装置20中包括的计算装置22从获取的图像中提取特征(步骤S7)。这里，特征是指用户看到的事物、人或背景。图4A和4B是用于描述根据本示例性实施例的信息处理系统中的处理的具体示例的示意图。

当从获取的图像中提取特征时(步骤S7)，提取例如用户关注的对象作为特征。在图4A所示的示例中，例如，当用户关注汽车37时，计算装置22提取汽车37作为特征的候选。可以通过检测例如用户脸部的方向或眼睛的方向来指定用户关注的对象。为了检测用户脸部的方向，例如在移动设备10中提供了陀螺仪传感器。此外，为了检测用户眼睛的方向，例如在移动设备10中提供了诸如CCD成像传感器或CMOS成像传感器之类的成像元件。

此后，基于传感器11获取的生物信息来检测用户如何感觉作为特征候选的汽车37。例如，当传感器11是脑电波传感器并且脑电波传感器获取的脑电波指示肯定感觉时，可以确定用户对作为特征候选的汽车37具有好的感觉。在此情况下，计算装置22能够提取作为特征候选的汽车37作为合适的特征。相反，当脑电波传感器获取的脑电波未指示肯定感觉时(即，当脑电波指示和通常一样相同的脑电波，或脑电波指示否定感觉时)，可以确定用户对作为特征候选的汽车37不感兴趣。在这种情况下，计算装置22将汽车37排除在特征候选之外。例如，在日本未审专利申请公开No.2009-56231和日本未审专利申请公开No.2006-95266中公开了使用脑电波检测感觉的方法。

此外，当从获取的图像中提取特征(步骤S7)时，可以执行以下处理。当图4A中示出的图像81是所获取的图像时，计算装置22提取如图4B中所示的例如山35、花36和汽车37分别作为特征41、42和43。计算装置22能够基于传感器11所获取的生物信息，来改变要从获取的图像中提取的特征。例如，当传感器11是脑电波传感器时，在脑电波传感器获取的脑电波指示肯定感觉的情况与脑电波指示否定感觉的情况之间，计算装置22能够改变要从获取的图像所提取的特征。

例如，当脑电波指示肯定感觉时，可以在图4B中示出的山35、花36和汽车37中提取作为更加人工的对象的汽车37作为特征。同时，当脑电波指示否定感觉时，可以在图4B中示出的山35、花36和汽车37中提取接近自然的山35和花36作为特征。

此时，计算装置22可以使用事先注册的被分类为肯定特征和否定特征的信息，来从获取的图像中提取特征。具体地讲，在图4A和4B所示示例的情况下，在信息处理装置20中包括的存储装置23中事先将汽车37登记为肯定特征，将山35和花36登记为否定特征。然后，计算装置22可以使用事先在存储装置23中登记的这些信息，从获取的图像中提取汽车37作为肯定特征，并从获取的图像中提取山35和花36作为否定特征。

可以使用信息处理装置20中包括的通信装置21向公共网络发送与在步骤S7中提取的特征有关的信息(步骤S8)。在此，公共网络包括例如因特网或LTE网络。

此外，与提取的特征有关的信息包括例如提取的特征的图像(图像信息)、提取的特征的名称(文本信息)。可以通过例如使用信息处理装置20中包括的数据库检查提取的特征来获得所提取的特征的名称。更具体地，在图4B所示的特征42的情况下，可以通过使用信息处理装置20中包括的数据库检查特征42的图像来获得作为特征42的通称的信息“花”。在此情况下，与提取的特征有关的信息是“花”的文本信息。

要注意的是，除了作为特征42的通称的“花”的信息之外，可以通过使用信息处理装置20中包括的数据库检查文本信息来获取作为花的特定名称的文本信息“αβγ”。在此情况下，与提取的特征有关的信息是作为花的特定名称的的文本信息(αβγ)。

同时，当所提取特征的图像是与所提取特征有关的信息时，向公共网络发送所提取特征的图像(在图4B所示特征42的情况下是花36的图像)。可以针对每个特征包括与所提取特征有关的多种信息。具体地讲，可以发送作为所提取特征的“花”的文本信息和花36的图像信息作为与图4B所示的特征42有关的信息。可以适当地设置与发送到公共网络的所提取特征有关的信息的数目和类型。

例如，在公共网络中的信息搜索服务站点搜索与所提取特征有关的信息。信息搜索服务站点是例如云服务。此后，信息处理装置20通过通信装置21获取与所提取特征有关的搜索结果(步骤S9)。

在背景技术部分描述的专利文献1公开的技术中，依次实时显示信息会导致对通信系统中的处理增加负担的问题。相反，在根据本示例性实施例的信息处理系统中，由移动设备10中包括的传感器11获取用户的生物信息，并且在信息处理装置20中包括的计算装置22中基于所获取的生物信息确定是否要启动摄像机12。因此，在根据本示例性实施例的信息处理系统中，仅当例如用户的注意力增加时，可以启动摄像机12，从而能够减少对信息处理系统中信息处理所施加的负担。

因此，根据本示例性实施例中描述的本发明，能够提供能够在恰当时间获取用户所需信息的信息处理系统和信息处理方法。

第二示例性实施例

接下来，描述本发明的第二示例性实施例。图5是用于描述根据本示例性实施例的信息处理系统中的处理的流程图。如图5所示，在根据本示例性实施例的本发明中，将步骤S10添加到根据图3所示的第一示例性实施例的处理中。其他发面与根据第一示例性实施例的本发明中的那些类似。因此，由相同附图标记代表相同组件，并将省略重复的描述。

如图5所示，在根据本示例性实施例的信息处理系统中，在步骤S9中信息处理装置20获取与所提取特征有关的搜索结果之后，在信息处理装置20中登记所获取的搜索结果作为关键字(步骤S10)。总之，信息处理装置20的计算装置22与包括该特征的图像相关联地登记与所提取特征有关的搜索结果。步骤S1至步骤S9与第一示例性实施例中的处理类似。此时，所获取的搜索结果被存储在例如信息处理装置20中包括的存储装置23中。

在根据本示例性实施例的信息处理系统中，由移动设备10中包括的摄像机12获取的图像数据被存储在信息处理装置20中，从而能够累积用户行为的日志(即，生活日志)。然后，在步骤S10中，与图像相关联地登记作为搜索结果的关键字，从而当用户稍后查看生活日志的时候，能够基于登记的关键字调用图像。

更具体地讲，例如，在图4A和4B所示的图像81中，提取山35作为特征41，并使用作为针对山35的搜索结果的山的名称“DEF山”作为关键字，与图像81相关联地登记山35。因此，当用户稍后查看生活日志的时候，可以使用“DEF山”作为关键字进行搜索，从而能够显示包括山35的图像81。

因此，根据本示例形式示例中的信息处理系统，可以提供能够实现与第一示例性实施例中类似效果并能够容易地搜索累积的生活日志的信息处理系统。此外，在根据本示例性实施例的信息处理系统中，仅当需要累积生活日志时记录信息，从而能够有效地累积信息。

第三示例性实施例

接下来，描述本发明的第三示例性实施例。图6是根据本示例性实施例的信息处理系统的方框图。此外，图9是用于描述根据本示例性实施例的信息处理系统中的处理的流程图。如图6所示，在根据本示例性实施例的本发明中，显示装置14被添加到根据第一示例性实施例的信息处理系统中包括的移动设备10中。此外，如图9所示，在根据本示例性实施例的本发明中，步骤S11和步骤S12被添加到根据图3所示的第一示例性实施例的处理中。其他方面与根据第一示例性实施例的本发明中的那些类似。因此，由相同附图标记代表相同组件，并将省略重复的描述。

图6中示出的移动设备10中包括的显示装置14与用户看到的真实图像相关联地显示从信息处理装置20中包括的通信装置21发送的搜索结果(即，在步骤S9中获取的搜索结果)。

图7A和7B示出了根据本示例性实施例的信息处理系统中包括的移动设备的一个示例的示意图。图7A是移动设备10的俯视图，而图7B是移动设备10的侧视图。例如，可以使用头戴显示器形成根据本示例性实施例的信息处理系统中包括的移动设备10。如图7A和7B所示，移动设备10包括传感器11、摄像机12、通信装置13和显示装置14。

传感器11是脑电波传感器，布置在可以接触用户前额的位置。例如，为了获取与用户的视野相对应的图像，可以将摄像机12安置在移动设备10的中央部位。要注意的是，摄像机12的位置不限于此位置，但可以是只要其可以获取与用户的视野相对应的图像的任意位置。通信装置13可以提供在例如头戴显示器的太阳穴部位(侧部)。

显示装置14可以放置在与用户的左眼和右眼相对应的每个位置上。为了使用户可以看到真实图像，显示装置14由透明材料制成。此外，形成显示装置14，以便于能够与用户看到的真实图像相关联地显示在步骤S9中获取的搜索结果。可以使用例如透光的头戴显示器或视网膜投影头戴显示器作为显示装置14。尽管在图7A和7B中示出的是提供两个显示装置14的示例，也可以在左眼和右眼之一提供一个显示装置14。

此外，图8A和8B示出了根据本示例性实施例的信息处理系统中包括的移动设备的另一示例的示意图。图8A是移动设备10的俯视图，而图8B是移动设备10的侧视图。与图7A和7B中示出的移动设备10不同之处在于，在图8A和8B示出的移动设备10中提供了多个脑电波传感器11。具体地讲，在图8A和8B所示的移动设备10中的头戴显示器的太阳穴部位(侧部)也提供脑电波传感器11。这样，通过提供多个脑电波传感器11，可以更详细地分析用户的感觉状态等。要注意注意的是，可以根据要获得的脑电波的类型适当地改变放置脑电波传感器11的位置。

接下来，将描述根据本示例性实施例的信息处理系统的操作。

因为步骤S1至步骤S9与第一示例性实施例中的操作类似，所以将省略重复的描述。在根据本实施例的信息处理系统中，信息处理装置20在步骤S9中获取与所提取特征有关的搜索结果，然后使用通信装置21向移动设备10发送所获取的搜索结果(步骤S11)。然后，信息处理装置20使用移动设备10中包括的显示装置14，与用户看见的真实图像相关联地显示所获取的搜索结果(步骤S12)。

图10A和10B是用于描述根据本示例性实施例的信息处理系统中的处理的具体示例的示意图。当在步骤S7中提取图4A中所示的图像81中的山35和花36作为特征41和42时，显示装置14能够与用户看到的真实图像82的山35和花36相关联地显示搜索结果51和52，如图10A所示。类似地，当在步骤S7中提取图4A中所示的图像81中的汽车37作为特征43时，显示装置14能够与用户看到的真实图像82的汽车37相关联地显示搜索结果53，如图10B所示。

同样是在本示例性实施例中，与第一示例性实施例中的情况类似，计算装置22能够基于传感器11所获取的生物信息来改变要从所获取的图像中提取的特征。例如，当传感器11是脑电波传感器时，计算装置22能够在脑电波传感器获取的脑电波指示肯定感觉的情况和脑电波指示否定感觉的情况之间改变要从所获取的图像所提取的特征。

在本示例性实施例中，当脑电波指示肯定感觉时，显示装置14能够与用户看到的真实图像82的汽车37相关联地显示搜索结果53，如图10B所示。同时，当脑电波指示否定感觉时，显示装置14能够与用户看到的真实图像82的山35、花36相关联地显示搜索结果51和52，如图10A所示。

此外，在本示例性实施例中，计算装置22可以基于由传感器11获取的生物信息，改变使用显示装置14与真实图像相关联地显示的搜索结果。例如，当使用脑电波传感器时，计算装置22能够在脑电波传感器获取的脑电波指示肯定感觉的情况和脑电波指示否定感觉的情况之间，改变使用显示装置14与真实图像相关联地显示的搜索结果。

例如，假定在否定感觉的情况和在肯定感觉的情况下都提取了花36。在这种情况下，当脑电波指示肯定感觉时，可以在显示装置14上仅显示花的名称。同时，当脑电波指示否定感觉时，可以在显示装置14上显示花的名称和花的语言。

此外，假定用户对汽车36示出了肯定感觉。在这种情况下，因为用户对汽车感兴趣，可以在显示装置14上显示汽车的详细信息，包括汽车的类型、型号代码、价格等。

根据背景技术描述的专利文献1公开的技术，依次实时显示信息会导致增加施加在通信系统中的处理负担的问题。此外，由于依次实时地显示信息，即使用户不需要的信息也总是被显示在显示屏上，这会造成阻碍用户观察的问题。

相反，在根据本示例性实施例的信息处理系统中，由移动设备10中包括的传感器11获取用户的生物信息，并且信息处理装置20中包括的计算装置22基于所获取的生物信息来确定是否要启动摄像机12。因此，在根据本示例性实施例的信息处理系统中，可以仅当例如用户的注意力增加时启动摄像机12，这能够减少施加给信息处理系统中信息处理的负担。

此外，信息处理装置20中包括的计算装置22能够基于传感器11所获取的生物信息来改变要从所获取的图像中提取的特征。例如，当传感器11是脑电波传感器时，计算装置22能够在脑电波传感器获取的脑电波指示肯定感觉的情况和脑电波指示否定感觉的情况之间，改变要从所获取的图像提取的特征。

此外，在本示例性实施例中，计算装置22能够基于由传感器11获取的生物信息，改变使用显示装置14与真实图像相关联地显示的搜索结果。例如，当使用脑电波传感器时，计算装置22能够在脑电波传感器获取的脑电波指示肯定感觉的情况和脑电波指示否定感觉的情况之间，改变使用显示装置14与真实图像相关联地显示的搜索结果。

因此，在显示装置上仅显示应当向用户呈现的信息，这能够抑制不必要信息阻碍用户的观察。

根据本示例性实施例中的本发明，能够提供能够在恰当的时间获取用户所需信息的信息处理系统和信息处理方法。

第四示例性实施例

接下来，描述本发明的第四实施例。图11是根据本示例性实施例的信息处理系统的方框图。如图11所示，在根据本示例性实施例的本发明中，语音输入装置15被添加到根据第三示例性实施例的信息处理系统中包括的移动设备10中。另一组件与根据第一至第三示例性实施例的本发明类似。因此，用相同附图标记代表相同组件，并将省略重复的描述。

图11所示的移动设备10中包括的语音输入装置15向通信装置13输出用户说出的词语(从语音输入装置15输入的信息)。通信装置13向信息处理装置20发送从语音输入装置15输入的信息。在图9所示的步骤S8中，信息处理装置20把从语音输入装置15输入的信息与和提取的特征有关的信息一起发送到公共网络。在本示例形式示例中，从语音输入装置15输入的信息可以用于搜索与提取的特征有关的信息。因此，可以搜索仅与用户需要的信息的特征有关的信息。

接下来，将描述根据本示例性实施例的信息处理系统的处理的具体示例。假定，在图9中示出的步骤S8中，与所提取的特征有关的信息一起向公共网络发送“山的高度”的信息，作为从语音输入装置15输入的信息。然后，当搜索作为特征的山35的信息时，可以与山的名称“DEF山”一起获取山的高度的信息“2356m”。结果是，在图9所示的步骤S12中，显示装置14能够将山的高度信息“2356m”与山的名称“DEF山”一起显示作为针对山35的搜索结果54，如图12所示。

如上所述，把从语音输入装置15输入的信息连同与提取的特征有关的信息一起发送到公共网络，能够搜索仅与用户需要的信息的特征有关的信息。因此，当搜索信息时，能够提高命中率。

第五示例性实施例

接下来，描述本发明的第五示例性实施例。在本示例性实施例中，在上述第一至第四示例性实施例中的步骤S7(例如，见图9)之后的处理(即，在从获取的图像中提取特征之后的处理)与其他示例性实施例中的不同。其他方面与根据第一至第四示例性实施例的本发明类似。因此，由相同附图标记代表相同组件，并将省略重复的描述。

在本示例性实施例中，在从获取的图像中提取特征之后(即，在图9中示出的步骤S7之后)，使用信息处理装置20的计算装置22从提取的特征中进一步获取附加信息。附加信息包括：例如，特性信息、特征的细节特征、特征的大小以及关于该特征是否是面部的信息。特性信息是贴在所提取特征上的标识等。此外，细节特征包括所提取特征的细节中的形态或颜色。

首先，参考图13，描述从所提取特征中获取特性信息的处理。例如，在图9所示流程图中的步骤S7之后(即，在从获取的图像中提取特征之后，如图13所示)，信息处理装置20的计算装置22确定所提取的特征中是否存在特性信息(步骤S21)。当所提取的特征中存在特性信息时(当在步骤S21中确定为是时)，获取此特性信息作为提取特征的附加信息(步骤S22)。然后，信息处理装置20的通信装置21向公共网络发送在步骤S22中获取的特性信息以及与所提取特征有关的信息。然后，使用所获取的特性信息以及与所提取特征有关的信息来搜索信息(步骤S23)。步骤S9以及之后的处理与图9所示的处理类似。另一方面，当所提取特征中不存在特性信息时(当在步骤S21中确定为否时)，处理进行到图9所示的步骤S8的处理。

接下来，参考图14描述从所提取特征中获取详细特征时的处理。例如，在图9所示流程图的步骤S7之后(即，从所获取的图像提取特征之后，如图14所示)，信息处理装置20的计算装置22确定在所提取的特征中是否存在详细特征(步骤S31)。当在提取的特征中存在细节特征时(在步骤S31中确定为是时)，获取此细节特征作为所提取特征的附加信息(步骤S32)。此后，信息处理装置20的通信装置21向公共网络发送与在步骤S32中获取的细节特征有关的信息以及与所提取的特征有关的信息。然后，使用与所提取特征有关的信息以及所获取的细节特征来搜索信息(步骤S33)。步骤S9以及之后处理与图9所示的处理类似。另一方面，当所提取特征中不存在细节特征时(当步骤S31中确定为否时)，处理进行到图9所示的步骤S8的处理。

在本示例性实施例中，可以获取多个附加信息，包括：特性信息、特征的细节特征、特征的大小、关于该特征是否是脸部的信息，或者可以仅获取其中之一。可以任意设置要获取的附加信息的数目和其组合。

接下来，描述根据本示例性实施例的信息处理系统的处理的具体示例。当假定图15A所示的图像85是所获取的图像时，信息处理装置20的计算装置22在图9所示的步骤S7中提取图15B所示的山35和汽车37作为特征41和43。

为了获取特性信息作为附加信息，如图13所示，信息处理装置20的计算装置22确定所提取的特征41和43中是否存在特性信息(步骤S21)。此时，因为作为标识38的“XYZ”贴在汽车37上，计算装置22获取作为特性信息的“XYZ”作为附加信息(步骤S22)。此后，信息处理装置20的通信装置21向公共网络发送与所提取特征43有关的信息(汽车37)以及作为特性信息的“XYZ”(步骤S23)。

此后，在图9所示的步骤S9中，搜索所提取特征43(汽车37)的信息。在本示例性实施例中，可以使用作为特性信息的“XYZ”进行搜索。更具体地讲，为了搜索作为所提取特征43的汽车37的信息，制造公司的信息可以限于“XYZ公司”，借此，当搜索该信息时，能够提高命中率。

另一方面，为了获取细节特征作为附加信息，如图14所示，信息处理装置20的计算装置22确定在所提取特征41和43中是否存在细节特征(步骤S31)。此时，由于山35包括如图17所示的特性部分61，计算装置22获取特性部分61作为细节特征(步骤S32)。此后，信息处理装置20的通信装置21向公共网络发送与所提取特征35有关的信息以及与在步骤S32获取的细节特征61有关的信息(步骤S33)。

此后，在图9所示的步骤S9中，搜索所提取特征41(山35)的信息。在本示例性实施例中，可以使用细节特征61搜索信息。总之，因为能够使用细节特征61搜索作为特性特征41的山35的信息，所以在搜索信息时能够提高命中率。

图16示出了与用户看到的真实图像相关联地显示以此方式获取的搜索结果51和53的具体示例的示意图(图9中的步骤S12)。如图16所示，山的名称“DEF山”显示在作为提取特征的山35中。此外，与汽车型号有关的信息“ABC”以及与制造公司有关的信息“由XYZ制造”显示在作为提取特征的汽车37中。

尽管搜索结果51和53显示在作为上述示例中的提取特征的两个项目山35和汽车37中，可以根据例如用户的喜好来选择要显示的信息。具体地讲，当使用信息处理系统的用户对汽车，而不是山感兴趣时，仅在汽车37中显示搜索结果53。可以基于如上所述由脑电波传感器获取的脑电波来确定用户的喜好。具体地讲，当脑电波指示肯定感觉时，可以确定用户感兴趣。相反，当脑电波和平常一样或指示否定感觉时，可以确定用户不感兴趣。

此外，在图15和16所示的示例中，倾斜地显示汽车37的图像。因此，当获取特性信息时，可能发生错误。这种情况下，在执行用于将倾斜特征补偿为从正面看到的图像的处理之后，计算装置22可以识别该特性。这样，能够通过将特征补偿为从正面看到的图像来提高特性识别的精度。

此外，为了使用特征的大小作为附加信息，例如，获取作为特征的汽车37的尺寸。然后，向公共网络发送作为所提取特征的汽车的信息和此汽车大小的信息。在此情况下，当搜索作为所提取特征的汽车的信息时，可以使用汽车大小的信息作为附加信息，从而当搜索信息时，能够提高命中率。

如上所述，在根据本示例性实施例的信息处理系统中，使用信息处理装置20的计算装置22获取所提取特征的附加信息，并且在搜索与所提取特征有关的信息时，使用此附加信息。因此，当获取与所提取特征有关的信息时，能够提高信息搜索的命中率。

第六示例性实施例

接下来，描述本发明的第六示例性实施例。第一至第五示例性实施例中描述的信息处理系统各包括移动设备10和信息处理装置20。然而，可以将移动设备10和信息处理装置20形成为一个装置。例如，信息处理装置20的功能可以包括在移动设备10中。在本示例形式示例中，将描述第一至第五示例性实施例中的每一个中描述的信息处理系统被形成为一个装置的情况。

除了信息处理系统被形成为一个装置之外，第六示例性实施例与根据第一至第五示例性实施例的发明类似，。因此，将省略重复的描述。此外，尽管下文描述了在第三示例性实施例中描述的信息处理系统被形成为一个装置作为代表性示例的情况，也可以在根据其他示例性实施例的信息处理系统中使用类似配置。

在下文中，将参考附图描述本发明的示例性实施例。

图18是根据本示例性实施例的信息处理系统70的方框图。在本示例性实施例中，信息处理系统70对应于包括第一至第五示例性实施例中描述的移动设备10和信息处理装置20的信息处理系统。根据图18所示的该本示例性实施例的信息处理系统70包括：传感器71，用于获取生物信息；摄像机72，用于获取与用户的视野相对应的图像；计算装置73；显示装置74，用于与用户看到的真实图像相关联地显示与所提取特征有关的搜索结果；以及，通信装置75，与公共网络进行无线电通信。

传感器71、摄像机72和显示装置74的配置和操作与第一至第五示例性实施例中描述的信息处理系统中的移动设备10中包括的传感器11、摄像机12和显示装置14的配置和操作类似。因此，将省略重复的描述。

通信装置75与公共网络进行无线电通信。当通信装置75与公共网络进行无线电通信时，可以使用诸如长期演进(LTE)、蓝牙(注册商标)、Wi-Fi(注册商标)之类的通信标准。

计算装置73执行下文描述的处理。稍后将作出具体描述。

接下来，将描述根据本示例性实施例的信息处理系统70的操作。图19是用于描述根据本示例性实施例的信息处理系统中的处理的流程图。

首先，传感器71获取用户的生物信息(步骤S41)。生物信息是以下至少一项：例如，脑电波、体温、血压、心率、出汗、瞳孔张开大小以及眼球运动。计算装置73基于所获取的生物信息，确定是否启动摄像机72(步骤S42)。例如，当生物信息指示用户注意力增加的状态时，计算装置73确定要启动摄像机72。与是否启动摄像机72有关的确定与第一至第五示例性实施例中描述的类似。因此，将省略对其描述。

当计算装置73确定不启动摄像机72(在步骤S42中确定为否)时，处理从步骤S41开始重复。同时，当计算装置73确定要启动摄像机72(在步骤S42中确定为是)时，启动摄像机72(步骤S43)。

计算装置73从摄像机72获取的图像中提取特征(步骤S44)。这里，特征是指用户看到的事物、人或背景。由于从获取的图像中提取特征的方法与第一至第五示例性实施例中描述的类似，所以将省略对其描述。

可以使用通信装置75向公共网络发送与在步骤S44中提取的特征有关的信息(步骤S45)。公共网络包括例如因特网和LTE网络。

例如，在公共网络中的信息搜索服务站点搜索与提取的特征有关的信息。信息搜索服务站点包括例如云服务。然后，信息处理系统70获取与提取的特征有关的搜索结果(步骤S46)。然后，信息处理系统70使用显示装置74，与用户看到的真实图像相关联地显示所获取的搜索结果(步骤S47)。

如上文所述，根据本示例性实施例的信息处理系统70通过一个装置实现第一至第五示例性实施例中的每一个描述的信息处理系统。因此，可以简化装置的配置。其他效果与第一至第五示例性实施例中描述的效果类似。

尽管在上文中已经参考上述示例性实施例描述了本发明，本发明不限于上述示例性实施例的配置，而是理所当然地包括本领域技术人员在本申请的权利要求所述本发明的范围中可以实现的各种修改、改变、和其组合。

本申请是基于2010年11月2日提交的日本专利申请No.2010-246134的优先权，并要求其权益，其公开的全文以引用方式并入本文。

附图标记列表

10移动设备

11传感器

12摄像机

13通信装置

14显示装置

20信息处理装置

21通信装置

22计算装置

23存储装置

24显示装置

25输入装置

41、42、43特征

70信息处理系统

71传感器

72摄像机

73计算装置

74显示装置

75通信装置

81、85获取的图像

82、83、84真实图像和搜索结果重叠的图像

Claims

1.一种包括移动设备和信息处理装置的信息处理系统，其中所述移动设备包括：

传感器，所述传感器用于获取生物信息；

摄像机，所述摄像机用于获取与用户的视野相对应的图像；以及

第一通信装置，所述第一通信装置用于与所述信息处理装置进行无线电通信，

所述信息处理装置包括：

第二通信装置，所述第二通信装置用于与所述移动设备和公共网络进行无线电通信；以及

计算装置，

所述第一通信装置向所述信息处理装置无线发送由所述传感器获取的所述生物信息，

所述计算装置基于所获取的所述生物信息，确定是否要启动所述摄像机，并且在确定要启动所述摄像机时，所述计算装置利用所述第二通信装置向所述移动设备发送启动所述摄像机的指令，

启动所述摄像机之后，所述第一通信装置向所述信息处理装置无线发送由所述摄像机获取的所述图像，以及

所述计算装置从所获取的图像中提取特征，并使用所述第二通信装置向所述公共网络发送与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

2.根据权利要求1所述的信息处理系统，其中，所述计算装置与包括所述特征的图像相关联地登记与所提取的特征有关的所述搜索结果。

3.根据权利要求1所述的信息处理系统，其中

所述移动设备还包括显示装置；以及

所述显示装置与由所述用户看到的真实图像相关联地显示从所述第二通信装置发送的与所提取的特征有关的所述搜索结果。

4.根据权利要求1至3中任意一项所述的信息处理系统，其中，当所述生物信息指示用户注意力增加的状态、用户正在对目标对象作出反应的状态、用户被刺激的状态、以及使用户惊奇的状态中的至少一种时，所述计算装置确定要启动所述摄像机。

5.根据权利要求1至4中任意一项所述的信息处理系统，其中，所述传感器能够检测以下至少一项：脑电波、体温、血压、心率、出汗、瞳孔张开大小、以及眼球运动。

6.根据权利要求1至5中任意一项所述的信息处理系统，其中，所述计算装置基于由所述传感器获取的所述生物信息，改变要从由所述摄像机获取的所述图像中提取的所述特征。

7.根据权利要求6所述的信息处理系统，其中，所述传感器是脑电波传感器，并且所述计算装置在由所述脑电波传感器获取的所述脑电波指示肯定感觉的情况和所述脑电波指示否定感觉的情况之间，改变要从由所述摄像机获取的所述图像提取的所述特征。

8.根据权利要求7所述的信息处理系统，其中，所述计算装置使用事先登记的、被分类为肯定特征和否定特征的信息，从由所述摄像机获取的所述图像中提取所述特征。

9.根据权利要求6所述的信息处理系统，其中，所述计算装置提取所述用户感兴趣的对象作为特征的候选，并且基于由所述传感器获取的所述生物信息，将所述特征的所述候选提取为所述特征。

10.根据权利要求9所述的信息处理系统，其中，基于所述用户脸部的方向和眼睛的方向中的至少一个来确定所述用户感兴趣的对象。

11.根据权利要求9或10所述的信息处理系统，其中，当所述传感器是脑电波传感器时，当由所述脑电波传感器获取的所述脑电波指示肯定感觉时，将所述特征的所述候选提取为所述特征。

12.根据权利要求3至5中任意一项所述的信息处理系统，其中，所述计算装置基于由所述传感器获取的所述生物信息，改变使用所述显示装置与所述真实图像相关联地显示的所述搜索结果。

13.根据权利要求12所述的信息处理系统，其中，所述传感器是脑电波传感器，并且所述计算装置在由所述脑电波传感器获取的所述脑电波指示肯定感觉的情况和所述脑电波指示否定感觉的情况之间，改变使用所述显示装置与所述真实图像相关联地显示的所述搜索结果。

14.根据权利要求1至13中任意一项所述的信息处理系统，其中，所述传感器是脑电波传感器，并且，所述计算装置基于由所述脑电波传感器获取的所述脑电波、以及事先登记的、个人和所述个人的脑电波相互关联的信息，来识别使用所述移动设备的个人。

15.根据权利要求1至14中任意一项所述的信息处理系统，其中，

所述移动设备还包括语音输入装置，以及

所述计算装置使用所述第二通信装置向所述公共网络发送与所提取的特征有关的信息以及从所述语音输入装置输入的信息，并且使用与所提取的特征有关的信息以及从所述语音输入装置输入的信息进行搜索，以获取与所提取的特征有关的所述搜索结果。

16.根据权利要求1至15中任意一项所述的信息处理系统，其中，所述计算装置从所提取的特征中获取附加信息，使用所述第二通信装置向所述公共网络发送与所提取的特征有关的信息以及所述附加信息，并且使用与所提取的特征有关的信息以及所述附加信息进行搜索，以获取与所提取的特征有关的所述搜索结果。

17.根据权利要求16所述的信息处理系统，其中，由所述计算装置从所述特征中获取的所述附加信息是以下至少一项：所述特征中显示的特性信息、所述特征的大小、指示所述特征是否是脸部的信息、以及所述特征的细节特征。

18.根据权利要求1至17中任意一项所述的信息处理系统，其中，在提取所述特征和所述附加信息至少之一之前，所述计算装置将由所述摄像机获取的所述图像校正为从正面看到的图像。

19.一种信息处理系统，包括：

传感器，所述传感器用于获取生物信息；

摄像机，所述摄像机用于获取与用户的视野相对应的图像；

通信装置，所述通信装置用于与公共网络进行无线电通信，以及

计算装置，其中：

所述计算装置基于所获取的所述生物信息，确定是否要启动所述摄像机，

在确定要启动所述摄像机时，所述计算装置启动所述摄像机以从由所述摄像机获取的图像中提取特征，以及

所述计算装置使用所述通信装置向所述公共网络发送与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

20.根据权利要求19所述的信息处理系统，其中，所述计算装置与包括所述特征的图像相关联地登记与所提取的特征有关的所述搜索结果。

21.根据权利要求19所述的信息处理系统，其中

所述信息处理系统还包括显示装置，以及

所述显示装置与由所述用户看到的真实图像相关联地显示与所提取的特征有关的所述搜索结果。

22.一种信息处理系统中的信息处理方法，所述信息处理系统包括：

传感器，所述传感器用于获取生物信息；

通信装置，所述通信装置用于与公共网络进行无线电通信，所述方法包括：

基于所获取的所述生物信息，确定是否要启动所述摄像机；

在确定要启动所述摄像机时，启动所述摄像机以从由所述摄像机获取的图像中提取特征；

使用所述通信装置向所述公共网络发送与所提取的特征有关的信息，并使用与所提取的特征有关的信息进行搜索，以获取与所提取的特征有关的搜索结果。

23.根据权利要求22所述的信息处理方法，还包括：与包括所述特征的图像相关联地登记与所提取的特征有关的所述搜索结果。

24.根据权利要求22所述的信息处理方法，还包括：与由所述用户看到的真实图像相关联地显示与所提取的特征有关的所述搜索结果。