CN107407968A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN107407968A
CN107407968A CN201680017783.1A CN201680017783A CN107407968A CN 107407968 A CN107407968 A CN 107407968A CN 201680017783 A CN201680017783 A CN 201680017783A CN 107407968 A CN107407968 A CN 107407968A
Authority
CN
China
Prior art keywords
sensor
information
processing
information processor
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680017783.1A
Other languages
English (en)
Other versions
CN107407968B (zh
Inventor
吉川清士
大久保厚志
宫下健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015074157A external-priority patent/JP2016194798A/ja
Priority claimed from JP2015070674A external-priority patent/JP2016192014A/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107407968A publication Critical patent/CN107407968A/zh
Application granted granted Critical
Publication of CN107407968B publication Critical patent/CN107407968B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理装置,其装备有:处理单元,其执行处理以基于通过用于感测预定范围的真实空间的传感器获得的关于第一对象的第一输出信息并且基于通过由用户携带的装置获得的关于第二对象的第二输出信息来生成准备信息,其中,准备信息用于基于通过传感器获得的第三输出信息来生成操作信息。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
已经开发了用于校准相机之间的位置关系的技术。例如,以下专利文献1中公开的技术可以被举例说明为用于通过使用发光球作为校准夹具计算基本(F)矩阵来校准相机之间的位置关系的技术。此外,已经开发了用于获得多个图像传感器的相对位置的技术。例如,以下专利文献2中公开的技术可以被举例说明为用于基于从多个图像传感器获得的图像来获得图像传感器的相对位置的技术。
引用列表
专利文献
专利文献1:JP 2009-071844A
专利文献2:JP 2012-253758A
发明内容
技术问题
例如,在可以基于对象诸如用户的运动的识别结果来执行操作诸如应用的执行的系统中,重要的是校准感测预定范围的实际空间的传感器,即传感器(识别装置)能够更准确地识别对象的运动,以便改善操作感受。
传感器的校准可以例如通过使用专利文献1中公开的专用校准夹具诸如校准板或发光球来实现。在此,当环境变化时,例如当新的传感器被添加或经校准的传感器被移动时,期望再次校准传感器。然而,如上所述,当不存在诸如校准板的专用校准夹具时,可能不校准传感器。在这种情况下,存在传感器不容易再次校准的担忧。
本公开提供了一种当使用预定范围的感测空间的传感器时能够改善用户便利性的、新颖且改进的信息处理装置、新颖且改进的信息处理方法、以及新颖且改进的程序。
问题的解决方案
根据本公开,提供了一种信息处理装置,包括:处理单元,其被配置成执行基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息的处理。准备信息用于基于从传感器获取的第三输出信息来生成操作信息。
此外,根据本公开,提供了一种由信息处理装置执行的信息处理方法,该方法包括执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息。准备信息用于基于从传感器获取的第三输出信息来生成操作信息。
此外,根据本公开,提供了一种程序,所述程序使计算机执行执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息。准备信息用于基于从传感器获取的第三输出信息来生成操作信息。
此外,根据本公开,提供了一种信息处理装置,包括:处理单元,其被配置成执行基于从第一传感器获取的第一输出信息和从第二传感器获取的第二输出信息将第二传感器与预定坐标系相关联的关联处理,所述第一传感器与预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与第一传感器不同并且是感测来自用户的操作指令的传感器。
此外,根据本公开,提供了一种由信息处理装置执行的信息处理方法,该方法包括执行如下关联处理的步骤:基于从第一传感器获取的第一输出信息和和从第二传感器获取的第二输出信息将第二传感器与预定坐标系相关联,所述第一传感器与预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与第一传感器不同并且是感测来自用户的操作指令的传感器。
此外,根据本公开,提供了一种程序,所述程序使计算机执行执行如下关联处理的步骤:基于从第一传感器获取的第一输出信息和从第二传感器获取的第二输出信息将第二传感器与预定坐标系相关联,所述第一传感器与预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与第一传感器不同并且是感测来自用户的操作指令的传感器。发明的有益效果
根据本公开,当使用感测预定范围的空间的传感器时,可以改善用户的便利性。
注意,上述效果不一定是限制性的。具有上述效果或取代上述效果,可以实现本说明书中描述的任意一种效果,或者可以从本说明书中掌握其他效果。
附图说明
[图1]图1是示出了根据实施例的第一信息处理方法的概述的解释性图。
[图2]图2是示出了根据实施例的第一信息处理方法的概述的解释性图。
[图3]图3是示出了与根据实施例的第一信息处理方法相关的处理的示例的解释性图。
[图4]图4是示出了根据实施例的指示目标世界模型的数据的示例的解释性图。
[图5]图5是示出了根据实施例的指示目标世界模型的数据的示例的解释性图。
[图6]图6是示出了根据实施例的与第一信息处理方法相关的处理的示例的解释性图。
[图7]图7是示出了根据实施例的与第一信息处理方法相关的处理的示例的解释性图。
[图8]图8是示出了根据实施例的指示目标世界模型的数据的示例的解释性图。
[图9]图9是示出了根据实施例的与第一信息处理方法相关的处理的示例的流程图。
[图10]图10是示出了可以应用根据实施例的第一信息处理方法的使用情形的示例的解释性图。
[图11]图11是示出了可以应用根据实施例的第一信息处理方法的使用情形的另一示例的解释性图。
[图12]图12是示出了能够执行与根据实施例的第一信息处理方法相关的处理的根据实施例的信息处理装置的配置的示例的框图。
[图13]图13是示出了能够执行与根据实施例的第一信息处理方法相关的处理的根据实施例的信息处理装置的硬件配置的示例的解释性图。
[图14]图14是示出了根据实施例的第二信息处理方法的概要的解释性图。
[图15]图15是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。
[图16]图16是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。
[图17]图17是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。
[图18]图18是示出了例示根据实施例的目标世界模型的数据的示例的解释性图。
[图19]图19是示出了例示根据实施例的目标世界模型的数据的示例的解释性图。
[图20]图20是示出了与根据实施例的第二信息处理方法相关的处理的示例的流程图。
[图21]图21是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图22]图22是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图23]图23是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图24]图24是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图25]图25是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图26]图26是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图27]图27是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
[图28]图28是示出了能够执行与根据实施例的第二信息处理方法相关的处理的根据实施例的信息处理装置的配置的示例的框图。
[图29]图29是示出了能够执行与根据实施例的第二信息处理方法相关的处理的根据实施例的信息处理装置的硬件配置的示例的解释性图。
具体实施方式
在下文中,将参照附图详细描述本公开的优选实施例。在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
此外,在下文中,按照以下顺序进行说明。
1.根据实施例的第一信息处理方法
2.根据实施例的第一信息处理装置
3.根据实施例的第一程序
4.根据实施例的第二信息处理方法
5.根据实施例的第二信息处理装置
6.根据实施例的第二程序
(根据实施例的第一信息处理方法)
在描述根据实施例的信息处理装置的配置之前,将首先描述根据实施例的第一信息处理方法。在下文中,将描述根据实施例的第一信息处理方法,举例说明以下案例:根据实施例的信息处理装置执行与根据实施例的第一信息处理方法相关的处理。
[1]根据实施例的第一信息处理方法的概述
在可以基于用户的手、臂等的运动的识别结果执行操作诸如应用的执行的系统中,感测预定范围的实际空间的传感器被放置在空间中以改善用户体验(UX)。
在此,作为使用上述系统来改善用户的UX的一种方法,可以例示进一步提高传感器的检测精度的方法。此外,作为进一步提高传感器的检测精度的一种方法,例如,可以例示当新安装了传感器或安装传感器的位置移动时校准传感器的方法。
传感器的校准可以例如通过使用专利文献1所公开的专用校准夹具诸如校准板或发光球来实现。
然而,例如,每当出现期望校准传感器的情况,例如,每当新安装了传感器或安装传感器的位置移动时,都存在当使用上述专用校准夹具校准传感器时对用户施加过度负担的担忧。此外,每当出现期望校准传感器的情况,如果在使用专用校准夹具执行传感器的校准的情况下没有上述专用校准夹具,则可能不校准传感器。因此,存在传感器不容易再次校准的担忧。
因此,根据实施例的信息处理装置使用从感测预定范围的实际空间的传感器获取的输出信息和从由用户携带的装置(以下在某些情况下被称为“被携带装置”)获取的输出信息来校准传感器。
更具体地,根据实施例的信息处理装置使用从传感器获取的关于第一目标的输出信息和从被携带装置获取的关于第二目标的输出信息来校准传感器。
在此,第一目标是基于从传感器获取的输出信息而检测到的目标。作为根据实施例的第一目标,例如可以例示根据实施例的可以由传感器能检测到的任何目标,诸如被携带装置的用户的手、臂等。
第二目标是基于从被携带装置获取的输出信息而检测到的目标。下面将描述第二目标的示例。
当第一目标和第二目标是相关目标时,例如,当第二目标以与第一目标的移动对应的方式移动时,根据实施例的信息处理装置使用从传感器获取的关于第一目标的输出信息和从被携带装置获取的关于第二目标的输出信息来校准传感器。下面将描述在根据实施例的信息处理装置中确定第一目标和第二目标是否是相关目标的过程的示例。
在下文中,将从传感器获取的关于第一目标的输出信息称为“第一输出信息”,并且将从被携带装置获取的关于第二目标的输出信息称为“第二输出信息”。
作为根据实施例的传感器,例如可以例示配置任意方案诸如飞行时间(TOF)方案的立体图像传感器或深度传感器的图像传感器。此外,根据实施例的传感器可以是例如能够将空间设置为感测范围并输出可以用于识别空间中的手势的输出信息的任意传感器。也就是说,根据实施例的传感器是例如感测来自用户的操作指令的传感器。在下面将要描述的使用情形中,将举例说明根据实施例的传感器是配置立体图像传感器的图像传感器的情况。
作为从根据实施例的传感器获取的输出信息(例如,下面将要描述的第一输出信息或第三输出信息),例如,可以例示可以用其得到关于感测范围内的目标的位置信息的数据,诸如捕获的图像数据或指示深度值的数据。
作为根据实施例的被携带装置,例如,可以例示直接或间接地穿戴在用户身体上的任意装置,诸如穿戴在用户的身体上以便使用的可穿戴装置、由用户的手使用的装置、或保存在用户携带或穿戴的袋子或衣服中的装置。作为根据实施例的可穿戴装置,例如可以例示穿戴在手或臂上的装置,诸如“手表式装置”或“诸如戒指型、手链型、指甲型装置的附件型装置”、“眼镜型装置”或者“衣服型、鞋型或帽子型装置”。
作为从根据实施例的被携带装置获取的第二输出信息,例如可以例示如下数据,可以用所述数据得到下述(a)至(c)所描述的目标的检测结果。
(a)关于被携带装置的移动量的检测结果(与先前运动和当前运动对应的检测结果)
作为关于被携带装置的移动量的检测结果,例如可以例示移动量矢量。
作为与上文(a)相关的从被携带装置获取的第二输出信息,例如,可以例示可以用其计算被携带装置的移动量矢量的任意数据,诸如指示任意运动传感器(例如,加速度传感器或陀螺仪传感器)的检测值的数据或指示连接至被携带装置的外部传感器的检测值的数据,所述任意运动传感器被包括在根据实施例的被携带装置中并且能够检测被携带装置的运动。此外,与上文(a)相关的从被携带装置获取的第二输出信息可以是指示被携带装置的移动量矢量的数据。
作为与上文(a)相关的第二目标,例如可以例示可以由运动传感器检测到的任意目标,诸如被携带装置的用户的手或臂。
(b)可以用其预测持有被携带装置的用户的行为的检测结果(与未来运动对应的检测结果)
作为可以用其预测持有被携带装置的用户(以下在某些情况下简称为“用户”)的行为的检测结果,例如,可以例示用户感兴趣的空间坐标。当用户执行任意动作诸如指向动作时,用户在许多情况下查看操作目标。因此,通过检测用户感兴趣的空间坐标,能够预测持有被携带装置的用户的行为。
作为与上文(b)相关的从被携带装置获取的第二输出信息,例如,可以例示指示任意传感器的检测值的数据(例如,指示用户感兴趣的坐标的数据),所述任意传感器诸如能够指定或估计用户的视线的图像传感器。与上文(b)相关的从被携带装置获取的第二输出信息可以包括例如指示用其进一步改善用户的视线的估计精度的值的数据,所述值诸如检测用户的脸部运动的陀螺仪传感器的检测值。
作为与上文(b)相关的第二目标,例如可以例示用户感兴趣的空间坐标。
(c)关于被携带装置的移动量的检测结果和用户的行为可以用其预测的检测结果
基于从根据实施例的被携带装置获取的第二输出信息的第二目标的检测结果可以是关于上文(a)中描述的被携带装置的移动量的检测结果和上文(b)中描述的用户的行为可以用其预测的检测结果。
图1和图2是示出了根据实施例的第一信息处理方法的概述的解释性图。图1示出了根据实施例的信息处理系统的示例,所述信息处理系统包括执行与根据实施例的第一信息处理方法相关的处理的信息处理装置100。图2示出了应用根据实施例的信息处理系统的使用情形的示例。具体地,图2示出了用户使用他或她的身体执行操作的使用情形,所述操作诸如在其上显示用户界面(UI)的屏幕S上的指向动作以操作UI。
根据实施例的信息处理系统包括例如信息处理装置100、传感器200和被携带装置300。
在图1中,示出了一个传感器和一个被携带装置。然而,在根据实施例的信息处理系统中,可以包括多个传感器和多个被携带装置中的一个或两者。在下文中,包括在根据实施例的信息处理系统中的多个传感器被统称为“传感器200”,或者根据实施例的信息处理系统中包括的一个传感器被称为“传感器200”。在下文中,包括在根据实施例的信息处理系统中的多个被携带装置被统称为“被携带装置300”,或者包括在根据实施例的信息处理系统中的一个被携带装置被称为“被携带装置300”。
在根据实施例的信息处理系统中,例如,信息处理装置100和传感器200可以是集成装置。在下文中,如图1所示,将举例说明信息处理装置100和传感器200是不同装置的情况。
信息处理装置100执行基于从传感器200获取的第一输出信息和从被携带装置300获取的第二输出信息来生成准备信息的处理。
根据实施例的准备信息是例如用于控制传感器与预定坐标系的关联的信息(数据)。具体地,根据实施例的准备信息是用于将基于传感器的输出信息而获得的目标位置信息转换为预定坐标系中的坐标值的处理的信息。
在此,例如,使用通过转换上述位置信息而获得的预定坐标系中的坐标值来检测使用身体执行的操作,诸如指向显示UI的屏幕S的动作。也就是说,根据实施例的准备信息可以被说成是例如用于基于从传感器获取的输出信息来生成操作信息的信息。在下文中,在从传感器获取的输出信息中,例如,用于获得上述目标位置信息(用于获得操作信息的输出信息)的输出信息被与用于生成准备信息的处理的第一输出信息区别开来,并且被称为“第三输出信息”。
此外,在下文中,将分别描述第一输出信息和第三输出信息以便于描述。然而,根据实施例的第三输出信息可以用作根据实施例的第一输出信息。此外,根据实施例的第一输出信息可以用作根据实施例的第三输出信息。
作为根据实施例的预定坐标系,可以例示使图2所示的屏幕S的任意位置作为原点的空间坐标系(在一些情况下被称为“屏幕坐标系”)。在此,图2所示的屏幕S是显示基于传感器200A和200B(传感器200的示例)的第三输出信息而操作的操作目标(例如,与UI相关的图标)的显示屏幕。也就是说,屏幕坐标系可以说是与显示屏幕相关的坐标系,在所述显示屏上显示基于传感器200的第一输出信息而操作的操作目标。
此外,根据实施例的预定坐标系不限于上述屏幕坐标系。可以例示使可以表示空间中的位置的任意位置作为原点的空间坐标系。也就是说,空间中的位置可以由指示预定坐标系的原点作为基准的绝对位置的坐标来表示。在下文中,在某些情况下,根据实施例的预定坐标系所表示的坐标被称为“绝对空间坐标”。
作为基于传感器200的第三输出信息的位置信息,例如可以例示位置由到传感器200的相对空间坐标系的坐标值来表示的坐标数据。到传感器200的相对空间坐标系是例如使传感器200的任意位置作为原点的空间坐标系。在下文中,到传感器200的相对空间坐标系中的坐标在一些情况下被称为“相对空间坐标”。
例如,当第三输出信息是捕获图像数据或指示深度值的数据时,在例如信息处理装置100或信息处理装置100的外部装置诸如服务器中,执行基于第三输出信息获得位置信息的处理。信息处理装置100或外部装置通过例如与能够从捕获的图像数据或作为第三输出信息的指示深度值的数据获得位置信息的任意方法相关的处理来获得位置信息。
例如,通过获得用于使用专利文献1中公开的专用校准夹具诸如发光球将相对空间坐标转换为绝对空间坐标的参数来获得根据实施例的准备信息。也通过根据实施例的生成准备信息的处理来获得根据实施例的准备信息。
根据实施例的生成准备信息的处理是例如如下处理:基于上述第三输出信息来校正作为用于计算预定坐标系中的预定坐标值的信息的准备信息。通过执行根据实施例的生成准备信息的处理,可以新生成经校正的准备信息,或者可以重写校正目标准备信息的内容以进行更新。下面将描述根据实施例的生成准备信息的处理的具体示例。
传感器200被安装在例如指示了图2中的传感器200A和200B的空间中。传感器200感测预定范围的实际空间,并且将第一输出信息发送至信息处理装置100。在图2所示的使用情形中,传感器200A和200B检测用户的身体部位(例如,臂或手指)或由用户持有作为目标的被携带装置300。
在此,例如,传感器200经由网络(或直接)与信息处理装置100执行无线或有线通信。作为根据实施例的网络,例如可以例示有线网络诸如局域网(LAN)或广域网(WAN)、无线网络诸如无线局域网(WLAN),或者使用通信协议诸如传输控制协议/互联网协议(TCP/IP)的因特网。
被携带装置300被用于被携带装置300被穿戴在用户身体的臂等上的状态下,如在例如图2中指示的被携带装置300A、300B、300C。在图2所示的使用情形中,基于从被携带装置300A和300B获取的第二输出信息的移动量矢量等同于关于上文(a)中描述的被携带装置的移动量的检测结果。在图2所示的使用情形中,基于从被携带装置300C获取的第二输出信息指定的空间坐标等同于上文(b)中描述的用户的行为可预测的检测结果。
在被携带装置300中,包括的传感器或连接的外部传感器执行检测,并且根据检测结果的第二输出信息被发送至信息处理装置100。例如,被携带装置300经由网络(或直接)执行与信息处理装置100的无线或有线通信。
在此,例如,在确定被携带装置300处于安装有传感器200的空间中时,被携带装置300可以将第二输出信息发送至信息处理装置100。例如,当自身装置(被携带装置300)的位置被包括在设置区域中,或者当与传感器200的通信被建立时,被携带装置300确定被携带装置300处于安装有传感器200的空间中。
如上所述,在确定被携带装置300处于安装有传感器200的空间中时,通过向信息处理装置100发送第二输出信息,存在信息处理装置100基于从存在于同一空间的传感器200获取的第一输出信息和从被携带装置300获取的第二输出信息来校正准备信息的高可能性。因此,信息处理装置100可以获得准备信息,用所述准备信息可以更准确地计算预定坐标系中的坐标值。
例如,如图1所示,信息处理装置100基于从传感器200获取的第一输出信息和从被携带装置300获取的第二输出信息来校正准备信息以生成准备信息。准备信息通过生成准备信息的处理而生成,从而控制传感器200与预定坐标系的关联。
在此,在当对传感器200与预定坐标系的关联进行控制时使用已知技术的情况下所需的专用校准夹具,在执行与根据实施例的第一信息处理方法相关的处理时,不是必需的。
在执行与根据实施例的第一信息处理方法相关的处理时,即使在环境改变,例如添加了新的传感器或经校准的传感器被移动时,也可以通过适当地校正准备信息来校准传感器200。因此,当执行与根据实施例的第一信息处理方法相关的处理时,可以容易地再次校准传感器200。
因此,通过执行与根据实施例的第一信息处理方法相关的处理,在使用感测预定范围的空间的传感器时,可以实现用户的便利性。
[2]与根据实施例的第一信息处理方法相关的处理
接下来,将更具体地描述与根据实施例的第一信息处理方法相关的处理。在下文中,将举例解释图1所示的信息处理装置100执行与根据实施例的第一信息处理方法相关的处理的情况。
信息处理装置100执行基于从感测预定范围的实际空间的传感器200获取的关于第一目标的第一输出信息和从由用户携带的被携带装置300获取的关于第二目标的第二输出信息来生成准备信息的处理。
图3是示出了与根据实施例的第一信息处理方法相关的处理的示例的解释性图。
例如,信息处理装置100通过使用每个传感器200的目标世界模型M1和每个被携带装置300的目标世界模型M2来校正每个传感器200的准备信息(图3所示的传感器200A准备信息P)。
图4和图5是示出了指示根据实施例的目标世界模型的数据的示例的解释性图。图4示出了指示每个传感器200的目标世界模型M1的数据的示例。图5示出了指示每个被携带装置300的目标世界模型M2的数据的示例。
目标世界模型M1是例如如下数据模型,其中,基于空间中的传感器200的第一输出信息检测到的目标(在下文中被称为“对象”)与对象的空间坐标相关联并且按照时间顺序保留。作为指示目标世界模型M1的数据,例如,指示基于传感器200的第一输出信息检测到的对象的数据(如图4所示)以及与对象的相对空间坐标相关联并按照时间顺序记录的表(或数据库)可以例示。
例如,信息处理装置100适当地更新如下数据:该数据指示基于从传感器200获取的第一输出信息的存储在存储介质诸如信息处理装置100所包括的存储单元(下面将描述)或连接至信息处理装置100的外部记录介质中的目标世界模型M1。此外,如上所述,基于第一输出信息获得位置信息的处理可以在信息处理装置100中执行或者可以在信息处理装置100的外部装置中执行。
例如,参照图4所示的指示目标世界模型M1的数据,信息处理装置100可以获取基于传感器200的第一输出信息检测到的对象的相对空间坐标的变化——即从传感器200的视图中的对象的运动——作为基于第一输出信息的第一目标的检测结果。
此外,指示目标世界模型M1的数据不限于图4所示的示例。例如,指示与从传感器200获取的第一输出信息对应的时间的数据可以进一步与指示目标世界模型M1的数据相关联。作为与从传感器200获取的第一输出信息对应的时间,例如可以例示指示获取第一输出信息的时间的数据或指示由第一输出信息的时间戳指示的时间的数据。
目标世界模型M2是例如如下数据模型,其中,被携带装置300基于从被携带装置300获取的第二输出信息与第二目标的检测结果相关联并且根据时间顺序保留。作为指示目标世界模型M2的数据,例如可以例示如下按照时间顺序记录的表(或数据库),其中,指示被携带装置300的数据、如图5所示的移动量矢量(与上文(a)中描述的先前动作或当前动作对应的检测结果的示例)、以及用户期待在其处看到的目标空间坐标(与上文(b)中描述的未来动作对应的检测结果的示例)相关联。
例如,信息处理装置100适当地更新如下数据:该数据指示基于从被携带装置300获取的第二输出信息的存储在存储介质诸如信息处理装置100中包括的存储单元(下面将要描述)或连接至信息处理装置100的外部记录介质中的目标世界模型M2。
例如,在基于从被携带装置300获取的第二输出信息获得上文(a)中描述的检测结果时,信息处理装置100将图5所示的移动量矢量记录在指示目标世界模型M2的数据中。例如,信息处理装置100基于从被携带装置300获取的第二输出信息从移动前的时间点处的对象的空间坐标和移动后的时间点处的对象的空间坐标获得移动量矢量。然后,当获得移动量矢量时,信息处理装置100将移动量矢量记录在指示目标世界模型M2的数据中。
例如,当基于从被携带装置300获取的第二输出信息获得上文(b)中描述的检测结果时,信息处理装置100将图5所示的目标空间坐标记录在指示目标世界模型M2的数据中。在此,例如使用能够指定空间坐标的任意技术诸如同步定位和映射(SLAM)来指定目标空间坐标。
例如,参照图5所示的指示目标世界模型M2的数据,信息处理装置100可以基于第二输出信息获取关于被携带装置的移动量的检测结果和指示用户的期望运动的检测结果中的一个或两者,作为第二目标的检测结果。
此外,指示目标世界模型M2的数据不限于图5所示的示例。
例如,指示与从被携带装置300获取的第二输出信息对应的时间的数据可以进一步与指示目标世界模型M2的数据相关联。作为与从被携带装置300获取的信息对应的时间,例如可以例示指示获取第二输出信息的时间的数据或指示由第二输出信息的时间戳指示的时间的数据。
此外,例如,目标空间坐标(上文(b)中描述的检测结果的示例)可以不包括在指示目标世界模型M2的数据中。
信息处理装置100基于指示以从传感器200获取的第一输出信息为基础的目标世界模型M1的数据和指示以从被携带装置300获取的第二输出信息为基础的目标世界模型M2的数据来校正准备信息以生成准备信息。更具体地,信息处理装置100例如通过执行以下处理(1)至(3)中的一个处理来校正准备信息。
(1)生成准备信息的处理的第一示例
例如,信息处理装置100将基于从传感器200获得的第一输出信息的第一目标的运动信息(第一目标的检测结果的示例)与基于从被携带装置300获得的第二输出信息的第二目标的运动信息(第二目标的检测结果的示例)进行比较。然后,信息处理装置100基于运动比较结果来校正准备信息。在此,例如,第一目标的运动信息与第二目标的运动信息之间的比较等同于确定第一目标和第二目标是否是相关目标的处理的示例。此外,基于运动比较结果来校正准备信息的情况等同于例如第二目标根据第一目标的运动而移动并且第一目标和第二目标可以被认为是相关目标的情况。
在此,作为根据实施例的运动信息,例如可以例示各对象的移动量矢量。例如,根据实施例的移动量矢量可以从对象的在第一时间点处的空间坐标和对象在晚于第一时间点的第二时间点处的空间坐标获得。
例如,信息处理装置100从指示目标世界模型M1的数据和指示目标世界模型M2的数据获得移动量矢量。此外,例如,信息处理装置100可以获得在相应的时间点处的移动量矢量。作为根据实施例的对应时间点,例如,可以例示相同时间点或在设定的误差范围内的时间点。误差可以是例如预先设定的固定值,或者可以是可以通过信息处理装置100的用户等的操作来设定的可变值。
此外,例如,信息处理装置100确定从指示目标世界模型M1的数据和指示目标世界模型M2的数据获得的移动量矢量之间的相关性是否高。在此,确定移动量矢量之间的相关性是否高等同于确定传感器200的检测值和被携带装置300的检测值是否是同一对象的检测结果。
例如,当移动量矢量的相关系数等于或大于设定阈值(例如,0<阈值<1)或相关系数大于阈值时,信息处理装置100确定在相应时间点处的移动量矢量之间的相关性高。
在此,作为在相应时间点处的移动量矢量之间的相关性高的情况的示例,例如,可以给出以下示例:
基于传感器200的第一输出信息检测到的第一目标和基于被携带装置300的第二输出信息检测到的第二目标相同的情况(例如,在传感器200和被携带装置300两者中检测到用户的手臂的运动的情况);以及
基于传感器200的第一输出信息检测到的第一目标和基于被携带装置300的第二输出信息检测到的第二目标为相关目标(例如,传感器200检测到用户的手掌而被携带装置300检测到用户的手臂的运动的情况)。
例如,当信息处理装置100确定移动量矢量之间的相关性高时,信息处理装置100计算用于校正基于从传感器200获得的信息的移动量矢量与基于从被携带装置300获得的信息的移动量矢量之间的偏差的校正参数(在下文中称为“第一校正参数”)。
根据实施例的第一校正参数可以例如通过获得用于校正基于从传感器200获得的第一输出信息的移动量矢量与基于从被携带装置300获得的第二输出信息的移动量矢量之间的偏差的校正参数来得到。
然后,信息处理装置100根据第一校正参数来校正准备信息。在生成与第一示例相关的准备信息的处理中的准备信息的校正等同于基于第一输出信息对第一目标的位置上的位置偏差的校正。
此外,根据实施例的第一校正参数不限于前述示例。
例如,根据实施例的第一校正参数可以是用于进一步校正对应于从传感器200获得的第一输出信息的时间与对应于从被携带装置300获得的第二输出信息的时间之间的时间偏差的校正参数。
当存在对应于从传感器200获得的第一输出信息的时间与对应于从被携带装置300获得的第二输出信息的时间之间的时间偏差时,存在由于该时间偏差而在基于从传感器200获得的第一输出信息的移动量矢量与基于从被携带装置300获得的第二输出信息的移动量矢量之间产生偏差的可能。例如,信息处理装置100根据对应于时间偏差的校正值来校正基于从传感器200获得的第一输出信息的移动量矢量和基于从被携带装置300获得的第二输出信息的移动量矢量中的一个或两者。然后,信息处理装置100例如通过得到用于校正与经校正的移动量矢量的偏差的校正参数来获得用于进一步校正时间偏差的第一校正参数。
通过根据用于进一步校正上述时间偏差的第一校正参数校正准备信息,信息处理装置100可以得到对应于第一输出信息的时间与对应于第二输出信息的时间之间的时间偏差被进一步校正的准备信息。
例如,信息处理装置100计算上述第一校正参数以校正准备信息。此外,根据实施例的计算第一校正参数的方法不限于前述示例。信息处理装置100可以根据能够得到校正参数的任何方法来计算第一校正信息,该校正参数用于校正“基于从传感器200获得的第一输出信息的对象的位置与基于从被携带装置300获得的第二输出信息的对象的位置之间的位置偏差”或“该位置偏差以及对应于从传感器200获得的第一输出信息的时间与对应于从被携带装置300获得的第二输出信息的时间之间的时间偏差”。
例如,当信息处理装置100确定移动量矢量之间的相关性不高时,信息处理装置100不对准备信息进行校正。
信息处理装置100例如通过执行前述处理在基于从传感器200获得的第一输出信息的比较结果(运动比较结果)的第一目标的运动信息(第一目标的检测结果的示例)以及基于从被携带装置300获得的第二输出信息的第二目标的运动信息(第二目标的检测结果的示例)的基础上来校正准备信息。
此外,例如,信息处理装置100可以将所计算的第一校正参数记录在例如记录介质如存储单元(下面将描述)中。
(2)生成准备信息的处理的第二示例
例如,信息处理装置100将基于从传感器200获得的第一输出信息指定的空间坐标(第一目标的检测结果的示例)与基于从被携带装置300获得的第二输出信息指定的空间坐标(第二目标的检测结果的示例)进行比较。然后,信息处理装置100基于空间坐标比较结果来校正准备信息。在此,例如,基于第一输出信息指定的空间坐标与基于从被携带装置300获得的第二输出信息指定的空间坐标之间的比较等同于确定第一目标和第二目标是否是相关目标的处理的另一示例。
例如,当从传感器200获得的第一输出信息指示空间坐标时,信息处理装置100使用由从传感器200获得的第一输出信息指示的空间坐标。此外,例如,当从传感器200获得的第一输出信息不指示空间坐标时,信息处理装置100使用能够指定空间坐标的任何技术例如SLAM基于从传感器200获得的第一输出信息来指定空间坐标。
此外,例如,信息处理装置100从指示目标世界模型M2的数据中提取与从传感器200获得的第一输出信息对应的目标空间坐标,并且将提取的目标空间坐标设定为基于从被携带装置300获得的第二输出信息的空间坐标。在此,作为与从传感器200获得的第一输出信息对应且从指示目标世界模型M2的数据中提取出的目标空间坐标,例如,可以例示距基于从传感器200获得的第一输出信息的空间坐标的距离等于或小于设定阈值的目标空间坐标(或距基于从传感器200获得的第一输出信息的空间坐标的距离小于阈值的目标空间坐标)。
然后,例如,信息处理装置100计算用于校正目标空间坐标与指定空间坐标之间的偏差的校正参数作为第二校正参数。此外,例如,当目标空间坐标与指定空间坐标之间没有偏差时,信息处理装置100不计算第二校正参数。在此,根据实施例的第二校正参数等同于与基于空间坐标的比较结果的准备信息的校正相关的校正参数。
然后,信息处理装置100根据所计算的第二校正参数来校正准备信息。
信息处理装置100执行例如前述处理以根据基于从传感器200获得的第一输出信息指定的空间坐标以及基于从被携带装置300获得的第二输出信息指定的空间坐标的比较结果(空间坐标比较结果)来校正准备信息。
此外,例如,信息处理装置100将所计算的第二校正参数记录在例如记录介质诸如存储单元(下面将描述)中。
在此,当从被携带装置300获得指示被携带装置300的用户的识别信息或者可以从被携带装置300获得识别信息时,信息处理装置100可以将第二校正参数与指示被携带装置300的用户的识别信息相关联地记录在记录介质中。例如,信息处理装置100通过能够相关联地记录第二校正参数和识别信息的任何方法——例如,将第二校正参数和标识信息记录在表(或数据库)中——来将第二校正参数和识别信息记录在记录介质中。
作为根据实施例的识别信息,例如,可以例示能够指定用户的任何数据(或数据组),诸如指示用户ID以及用户的密码或生物特征信息(数据)的数据。
由于第二校正参数(例如如上所述)是基于从被携带装置300获得的第二输出信息的目标空间坐标,即,基于上文(b)中描述的与未来运动相对应的检测结果计算的校正参数,所以第二校正参数很有可能是特定于每个用户的校正参数。因此,信息处理装置100可以通过将第二校正参数和指示被携带装置300的用户的识别信息相关联地记录在记录介质中来根据更适合于每个用户的校正参数实现传感器200的校准。
(3)生成准备信息的处理的第三示例
例如,信息处理装置100也可以通过执行将和上文(1)中所述的第一示例相关的生成准备信息的处理与和上文(2)中所述的第二示例相关的生成准备信息的处理相结合的处理来根据例如第一校正参数和第二校正参数中的一个或两者校正准备信息。将在与下面将描述的根据实施例的第一信息处理方法相关的处理的具体示例中描述将和上文(1)中所述的第一示例相关的生成准备信息的处理与和上文(2)中所述的第二示例相关的生成准备信息的处理相结合的处理的示例。
信息处理装置100通过执行例如作为根据实施例的与第一信息处理方法有关的处理的生成准备信息的上述处理来校正准备信息以生成准备信息。通过经由生成准备信息的处理生成准备信息,对传感器200与预定坐标系的关联进行控制。
当从传感器200获得的第一输出信息和从被携带装置300获得的第二输出信息两者都被获得时,信息处理装置100可以在例如如下时刻处执行生成准备信息的处理:
周期性地(间歇地)或非周期性地;或者
在检测到用户的预定动作时。
在此,作为用户的预定动作,例如,可以例示用户的动作诸如设置手势。根据实施例的预定动作的内容可以通过例如物理介质诸如纸张或者电子介质诸如在线手册来提供给用户。
此外,将根据实施例的预定动作提供给用户的方法不限于前述示例。
例如,信息处理装置100也可以将预定动作的内容提供给用户,并且允许用户通过控制用于允许用户执行预定动作的通知并且使自身装置(信息处理装置100)或外部装置执行通知来执行预定动作。信息处理装置100例如通过如下方式将预定动作的内容提供给用户:执行在显示屏幕上显示文本或图像的视觉通知;执行从音频输出装置诸如扬声器输出音频的听觉通知;或上述通知的组合的通知。
图6和图7是示出了与根据实施例的第一信息处理方法相关的处理的示例的解释性图,并且示出了用于执行允许信息处理装置100执行的预定动作的通知的示例。
例如,如图6所示,当检测到新的传感器200时,信息处理装置100使自身装置(信息处理装置100)或外部装置执行用于执行预定动作的通知。例如,当建立了与新的传感器200的通信时,信息处理装置100使图6中所示的通知执行。
另外,例如,如图7所示,当检测到现有传感器200的位置的移动时,信息处理装置100使自身装置(信息处理装置100)或外部装置执行预定动作的通知。例如,当根据与从现有传感器200获得的位置的移动的确定有关的数据检测到传感器200的位置的移动时,信息处理装置100使图7所示的通知被执行。
例如,根据外部传感器的检测值来确定安装传感器200的位置的移动,所述外部传感器诸如能够检测包括在传感器200中的加速度传感器或与传感器200连接的加速度传感器的运动的传感器。例如,可以由传感器200执行或者可以由信息处理装置100执行与安装传感器200的位置的移动的确定有关的处理。在执行与传感器200的位置的移动的确定相关的处理时,例如,可以将指示位置的移动的确定结果的数据例示为与位置的移动的确定有关的数据。此外,当由信息处理装置100执行与位置的移动的确定有关的处理时,例如,可以将指示包括在传感器200中的传感器等的检测值的数据例示为与位置的移动的确定有关的数据。
通过执行图6和图7所示的视觉通知,信息处理装置100可以在需要传感器200的校准的情况下(或在优选地执行传感器200的校准的情况下)将预定动作的内容提供给用户,使得用户可以执行预定动作。另外,不用说,使得信息处理装置100执行的用于执行预定动作的通知的示例不限于图6或图7所示的示例。
此外,与根据实施例的第一信息处理方法相关的处理不限于生成准备信息的处理。
例如,信息处理装置100还可以基于从传感器200获得的第一输出信息和准备信息中的一个或两者执行预定处理,作为与根据实施例的第一信息处理方法有关的处理。
作为根据实施例的预定处理,例如,可以例示(I)下面将描述的转换处理和(II)下面将描述的执行控制处理中的一个或两者。
(I)转换处理
例如,基于准备信息,信息处理装置100将基于从传感器200获得的第一输出信息得到的目标位置信息转换成预定坐标系中的坐标值。
例如,信息处理装置100将记录在指示传感器200的目标世界模型M1的数据中的空间坐标(基于从传感器200获得的第一输出信息的第一对象的检测结果的示例)转换成在使用准备信息的预定坐标系中的坐标值。然后,信息处理装置100将转换结果反映在例如整个目标空间中的目标世界模型(例如,图3所示的目标世界模型M3)中。
图8是示出了根据实施例的指示目标世界模型的数据的示例的解释性图,并且示出了指示在整个处理目标空间中的目标世界模型M3的数据的示例。
整个空间中的目标世界模型M3是例如其中从目标空间检测到的对象、对象的在空间中的绝对坐标和等同于对象的被携带装置300相关联的数据模型,并且该数据模型按时间顺序保留。例如,使用在空间中设置的位置作为原点来表示空间中的绝对坐标。作为指示目标世界模型M3的数据,例如,如图8中所示,可以例示其中指示从目标空间检测到的对象的数据、对象的在空间中的绝对坐标以及等同于对象的被携带装置300相关联的表(或数据库),并且该表(或数据库)按照时间顺序记录。
(II)执行控制处理
例如,信息处理装置100基于通过使用准备信息对基于从传感器200获得的第一输出信息获得的目标位置信息进行转换而得到的预定坐标系中的坐标值来执行处理(在某些情况下在下文中称为“基于转换的检测结果的处理”)。
作为信息处理装置100执行处理的控制对象,例如,可以例示信息处理装置100的外部装置和自身装置(信息处理装置100)中的一个或两者。
例如,信息处理装置100决定基于转换的检测结果的处理,使控制目标基于在整个空间中的目标世界模型M3的改变,即,对象在空间中的位置的改变(预定坐标系中的坐标值)来执行该处理。然后,信息处理装置100通过给控制对象提供包括用于执行所决定的处理的命令的处理请求来使控制对象执行基于转换的检测结果的处理。
在此,作为基于转换的检测结果的处理,例如,可以例示可以基于从传感器200获得的第一输出信息使用对象的检测结果来执行的任何处理,例如,响应于对在屏幕S上显示的UI的操作执行对应于操作的应用的处理(图2所示的使用情形的示例)。
例如,信息处理装置100执行(I)转换处理和(II)执行控制处理中的一个或两者作为预定处理。此外,根据实施例的预定处理不限于(I)转换处理和(II)执行控制处理。例如,信息处理装置100可以执行可以基于第一输出信息和准备信息中的一个或两者执行的任何处理作为预定处理。
根据实施例的信息处理装置100执行例如“生成准备信息的处理”或“生成准备信息的处理和预定处理”作为与根据实施例的第一信息处理方法相关的处理。
此外,为方便起见,“生成准备信息的处理”或“生成准备信息的处理和预定处理”是与根据实施例的第一信息处理方法相关的处理中的单独的处理。因此,在与根据实施例的第一信息处理方法有关的处理中,例如,可以将“生成准备信息的处理”理解为两个或更多个处理(根据任何单独方法)。另外,在与根据实施例的第一信息处理方法有关的处理中,例如可以将“生成准备信息的处理和预定处理”理解为一个处理,也可以理解为两个或更多个处理(根据任何单独方法)。
[3]与根据实施例的第一信息处理方法相关的处理的具体示例
接下来,将描述与信息处理装置100中的与根据实施例的第一信息处理方法相关的处理的具体示例。
图9是示出了与根据实施例的第一信息处理方法相关的处理的示例的流程图。在此,例如,图9所示的步骤S104至S120的处理等同于生成准备信息的处理的示例。另外,例如,图9所示的步骤S122的处理等同于(I)前述处理(转换处理)的示例并且图9所示的步骤S124的处理等同于(II)前述处理(执行控制处理)的示例。
信息处理装置100基于从传感器200获得的第一输出信息来更新指示传感器200的目标世界模型M1的数据(S100)。例如,当指示与传感器200对应的目标世界模型M1的数据未被存储在记录介质中时,信息处理装置100生成及更新指示图4所示的目标世界模型M1的数据。此外,例如,当将指示与传感器200对应的目标世界模型M1的数据存储在记录介质中时,信息处理装置100更新所存储的指示目标世界模型M1的数据。
信息处理装置100基于从被携带装置300获得的第二输出信息来更新被携带装置300的指示目标世界模型M2的数据(S102)。例如,当指示与被携带装置300对应的目标世界模型M2的数据没有被存储在记录介质中时,信息处理装置100生成及更新指示图5所示的目标世界模型M2的数据。此外,例如,当指示与被携带装置300相对应的目标世界模型M2的数据被存储在记录介质中时,信息处理装置100更新所存储的指示目标世界模型M2的数据。
另外,图9示出了在执行步骤S100的处理之后执行的步骤S102的处理的示例,信息处理装置100中的处理不限于前述示例。例如,信息处理装置100可以独立地执行步骤S100的处理和步骤S102的处理。因此,在信息处理装置100中,可以同步地执行步骤S100的处理和步骤S102的处理,或者可以在步骤S102的处理之后执行步骤S100的处理。
例如,信息处理装置100检测在指示传感器200的目标世界模型M1的数据的对象与指示对应于被携带装置300的目标世界模型M2的数据的对象之间具有高的移动量矢量相关性的对象(S104)。在此,步骤S104的处理对应于从指示与传感器200对应的目标世界模型M1的数据和与指示被携带装置300对应的目标世界模型M2的数据检测对应于同一对象的数据的处理。
例如,当移动量矢量的相关系数等于或大于设定阈值(例如,0<阈值<1)或相关系数大于阈值时,信息处理装置100确定移动量矢量的相关性高。此外,当信息处理装置100确定移动量矢量的相关性高时,信息处理装置100确定检测到具有高的移动量矢量相关性的对象。
信息处理装置100确定是否检测到具有高相关性的对象(S106)。
当信息处理装置100在步骤S106中确定没有检测到具有高相关性的对象时,信息处理装置100执行例如下面将要描述的步骤S118开始的处理。
相反,当信息处理装置100在步骤S106中确定检测到具有高相关性的对象时,信息处理装置100确定移动量矢量上的偏差是否等于或大于阈值(S108)。在此,步骤S108的确定等同于评估基于从传感器200获得的第一输出信息的移动量矢量和基于从相应的被携带装置300获得的第二输出信息的移动量矢量的处理。
在此,与步骤S108的处理相关的阈值可以是预先设定的固定值,或者可以是可以通过信息处理装置100的用户等的操作来设定的可变值。另外,在步骤S108中,可以确定移动量矢量的偏差是否大于阈值。
当信息处理装置100在步骤S108中没有确定移动量矢量的偏差等于或大于阈值时,信息处理装置100执行下面将要描述的步骤S112开始的处理。
相反,当信息处理装置100在步骤S108中确定移动量矢量的偏差等于或大于阈值时,信息处理装置100校正与传感器200相对应的准备信息(S110)。例如,信息处理装置100执行在上文(1)中所述的第一示例相关的准备信息的生成处理,以根据所计算的第一校正参数来校正准备信息。
作为具体示例,例如,信息处理装置100计算用于将基于从传感器200获得的第一输出信息的移动量矢量与基于从相应的被携带装置300获得的第二输出信息的移动量矢量匹配的校正参数作为第一校正参数。通过以前述方式计算第一校正参数,信息处理装置100可以计算用于校正基于从传感器200获得的第一输出信息的对象的位置与基于从被携带装置300获得的第二输出信息的对象的位置之间的位置偏差的校正参数作为第一校正参数。
此外,如上所述,例如,信息处理装置100可以计算用于进一步校正对应于从传感器200获得的第一输出信息的时间与对应于从被携带装置300获得的第一输出信息的时间之间的时间偏差的校正参数作为第一校正参数。
然后,信息处理装置100根据所计算的第一校正参数来校正准备信息。
当在步骤S108中没有确定移动量矢量的偏差等于或大于阈值或者执行步骤S110的处理时,确定是否设置了目标空间坐标(S112)。在此,例如,目标空间坐标是通过基于从被携带装置300获得的第二输出信息获得与上文(b)中描述的未来运动相对应的检测结果而设定的空间坐标,并且基于从被携带装置300获得的第二输出信息。
当信息处理装置100在步骤S112中确定未设置目标空间坐标时,信息处理装置100执行例如下面将描述的步骤S118开始的处理。
此外,当信息处理装置100在步骤S112中确定设置了目标空间坐标时,信息处理装置100确定基于从传感器200获得的第一输出信息指定的空间坐标与目标空间坐标之间的偏差是否等于或大于阈值(S114)。在此,步骤S114的确定等同于评估基于从传感器200获得的第一输出信息的空间坐标和目标空间坐标的处理。
在此,与步骤S114的处理相关的阈值可以是预先设定的固定值,或者可以是可以通过信息处理装置100的用户等的操作来设定的可变值。另外,在步骤S114中,可以确定基于从传感器200获得的第一输出信息指定的空间坐标与目标空间坐标之间的偏差是否大于阈值。
在步骤S114中,当信息处理装置100在步骤S114中没有确定基于从传感器200获得的第一输出信息指定的空间坐标与目标空间坐标之间的偏差等于或大于阈值时,信息处理装置100执行例如下面将要描述的步骤S118开始的处理。
相反,在步骤S114中,当信息处理装置100确定基于从传感器200获得的第一输出信息指定的空间坐标与目标空间坐标之间的偏差等于或大于阈值时,信息处理装置100校正与传感器200对应的准备信息(S116)。例如,信息处理装置100执行上文(2)所述的第二示例相关的生成准备信息的处理,以根据所计算的第二校正参数来校正准备信息。
作为具体示例,例如,信息处理装置100计算用于校正目标空间坐标与指定空间坐标之间的偏差的校正参数作为第二校正参数。然后,信息处理装置100根据所计算的第二校正参数来校正准备信息。
此外,当获得与被携带装置300相对应的识别信息时,信息处理装置100检索与所获得的识别信息相关联的第二校正参数。然后,当存在与识别信息相关联的第二校正参数时,信息处理装置100根据与识别信息相关联的第二校正参数来校正准备信息。
当根据步骤S106至S120的前述处理选择性地校正准备信息时,信息处理装置100使用准备信息将指示传感器200的目标世界模型M1的数据反映在指示在整个空间中的目标世界模型M3的数据(S118)。
例如,信息处理装置100通过执行(I)前述处理(转换处理)基于准备信息将指示传感器200的目标世界模型M1的数据的空间坐标转换成绝对空间坐标(预定坐标系中的坐标值)。然后,信息处理装置100将转换的绝对空间坐标记录在指示目标世界模型M3的数据中。
信息处理装置100基于在整个空间中的目标世界模型M3的改变来执行该处理(S120)。
例如,信息处理装置100通过执行(II)前述处理(执行控制处理)基于转换的检测结果来决定该处理,并且使控制对象通过将包括执行所决定的处理的命令的处理请求提供给控制目标来执行基于转换的检测结果的处理。
信息处理装置100执行例如图9所示的处理作为与根据实施例的第一信息处理方法有关的处理。
例如,当如图9所示的处理被执行时,基于从传感器200获得的第一输出信息和从被携带装置300获得的第二输出信息选择性地校正准备信息。
因此,例如,通过执行图9所示的处理,信息处理装置100可以控制传感器200与预定坐标系的关联。
此外,例如,通过执行图9所示的处理,信息处理装置100可以基于准备信息将基于从被携带装置300获得的第二输出信息的空间坐标转换为绝对空间坐标。此外,例如,通过执行图9所示的处理,信息处理装置100可以对控制对象执行基于转换的检测结果的处理。
因此,例如,通过执行图9所示的处理,信息处理装置100可以在例如在操作图2所示的UI的使用情形下提高根据用户的动作执行用户所期望的处理的可行性。因此,可以进一步提高用户的可操作性和便利性。
此外,与根据实施例的第一信息处理方法有关的处理不限于图9所示的示例。
例如,信息处理装置100可以不执行图9的步骤S112至S116的处理,也就是说,可以不基于第二校正参数来校正准备信息。
此外,例如,信息处理装置100可以不执行“图9的步骤S120的处理”或“图9的步骤S118的处理以及步骤S120的处理”。
即使在信息处理装置100不执行“图9的步骤S120的处理”或“图9的步骤S118的处理以及步骤S120的处理”时,信息处理装置100也可以通过生成准备信息的处理来校正准备信息。因此,即使在信息处理装置100不执行“图9的步骤S120的处理”或“图9的步骤S118的处理以及步骤S120的处理”时,信息处理装置100也可以控制传感器200与预定坐标系的关联。因此,当使用预定范围的感测空间的传感器时,可以实现在用户便利性方面的改善。
[4]可以应用根据实施例的第一信息处理方法的使用情形
接下来,将描述可以应用根据实施例的第一信息处理方法的使用情形。在下文中,将例示在使用情形中信息处理装置100执行根据实施例的第一信息处理方法有关的处理的情况。
[4-1]使用情形的第一示例
在预先设定的准备信息中,由传感器诸如图像传感器的检测结果的精度可能由于使用环境诸如太阳光的影响的改变而显著劣化。此外,每当使用环境改变时,用户都费力去执行与任何校准相关的操作。
当使用根据实施例的第一信息处理方法时,例如,可以使用从穿戴在用户身体上的可穿戴装置(被携带装置300的示例)获得的第二输出信息来得到在每个时间点更加适合的准备信息。因此,可以保持基于从传感器200获得的第一输出信息的对象的检测结果的精度高的状态。
[4-2]使用情形的第二示例
如上所述,通过执行与根据实施例的第一信息处理方法有关的处理,可以保持基于从传感器200获得的第一输出信息的对象的检测结果的精度高的状态。
当多个传感器200安装在空间中并且传感器被校准时,例如,传感器200可以基于从穿戴在用户身体上的可穿戴装置(被携带装置300的示例)获得的第二输出信息共享关于相互检测的对象的位置的信息来扩大检测范围。
图10是示出了可以应用根据实施例的第一信息处理方法的使用情形的示例的解释性图。图10示出了除已经安装的传感器200A之外新安装传感器200B的示例。
在此,如上所述,通过对新安装的传感器200B执行与根据实施例的第一信息处理方法相关的处理,可以保持基于从传感器200B获得的第一输出信息的对象的检测结果的精度高的状态。
此外,保持基于从新安装的传感器200B获得的第一输出信息的对象的检测结果的精度高的状态的方法不限于前述示例。
例如,当基于传感器200A、传感器200B和被携带装置300C的输出信息检测同一对象时,基于从传感器200A获得的第一输出信息的移动量矢量、基于从传感器200B获得的第一输出信息的移动量矢量、以及基于从被携带装置300C获得的第二输出信息的移动量矢量相同。
如上所述,信息处理装置100使用与传感器200A、传感器200B和被携带装置300C相对应的移动量矢量相同的事实自动地将传感器200A的目标世界模型M1与传感器200B的目标世界模型M1相关联。例如,通过将新安装的传感器200B的目标世界模型M1与已经安装的传感器200A的目标世界模型M1相关联,可以保持基于从新安装的传感器200B获得的第一输出信息的对象的检测结果的精度高的状态。
在此,信息处理装置100可以例如通过允许用户执行图6所示的通知主动地将传感器200A的目标世界模型M1与传感器200B的目标世界模型M1关联。
[4-3]使用情形的第三示例
例如,当安装多个传感器200时,用户也可以有意地或无意地移动传感器200。
在此,如上所述,例如,信息处理装置100可以根据包括在传感器200中的加速度传感器的检测值来确定传感器200被移动,并且再次校正准备信息。
传感器200移动时的处理并不限于前述示例。
例如,信息处理装置100可以通过基于从被携带装置300获得的第二输出信息评估移动量矢量来确定传感器200是否被移动。当信息处理装置100确定传感器200被移动时,信息处理装置100再次校正准备信息。
此外,当信息处理装置100通过基于从被携带装置300获得的第二输出信息评估移动量矢量来确定传感器200是否被移动时,信息处理装置100可以例如通过允许用户执行图7所示的通知来主动地执行该确定。
[4-4]使用情形的第四示例
如上所述,信息处理装置100可以根据用户期望注视的目标空间坐标(与上文(b)中描述的未来动作相对应的检测结果的示例)来校正准备信息。因此,可以将用户的意图反映在传感器200中的对象的检测结果中。
图11是示出了可以应用根据实施例的第一信息处理方法的使用情形的另一示例的解释性图。图11示出了在用户执行将他或她的手臂朝向期望对象移动的动作之前用户注视作为期望对象的布娃娃O的示例。
信息处理装置100从被携带装置300C获得与用户的视线有关的信息,并指定目标空间坐标。
此后,当用户将他或她的手臂朝向布娃娃O移动时,可能会发生手臂的方向与存在布娃娃O的方向的偏差。例如,信息处理装置100基于目标空间坐标来校正准备信息,并且根据准备信息将基于每个传感器200A和200B的第一输出信息的空间坐标转换成绝对空间坐标(在预定坐标系中的坐标值)。
如上所述,通过根据准备信息将基于每个传感器200A和200B的第一输出信息的空间坐标转换为绝对空间坐标,可以反映希望将他或她的手臂朝着布娃娃O移动的用户的意图。另外,在另一种情况下,通过根据准备信息将基于每个传感器200A和200B的第一输出信息的空间坐标转换为绝对空间坐标(在预定坐标系中的坐标值),可以校正用户的意图与通过用户的实际操作得到的传感器的检测结果之间的差异。
[5]通过使用根据实施例的第一信息处理方法得到的有益效果的示例
通过使用根据实施例的第一信息处理方法,例如,得到以下有益效果。此外,不用说,通过使用根据实施例的第一信息处理方法得到的有益效果不限于以下示例。
当设置传感器200的校准时,使用从穿戴在用户身上的可穿戴装置(被携带装置300的示例)获得的第二输出信息。因此,不需要与传感器200的校准有关的用户的专门的专用操作。此外,在可穿戴装置(被携带装置300的示例)中可以使用通用传感器,并且不需要在可穿戴装置(被携带装置300的示例)上安装专用传感器。
通过设置与使用环境相对应的准备信息,可以保持基于从传感器200获得的第一输出信息的对象的检测结果的精度高的状态。
当传感器200的数量增加时,可以使用从可穿戴装置(被携带装置300的示例)获得的第二输出信息来校准传感器200。当使用从可穿戴装置获得(被携带装置300的示例)的第二输出信息校准传感器200时,在安装传感器200时不需要与传感器200的校准有关的用户的专门的专用操作。
通过根据与用户的操作目标相对应的准备信息将基于传感器200的第一输出信息的空间坐标转换成绝对空间坐标(预定坐标系中的坐标值),可以在基于从传感器200获得的第一输出信息的检测结果中反映用户的意图。
(根据实施例的第一信息处理装置)
接下来,将描述能够执行与根据上述实施例的第一信息处理方法相关的处理的根据实施例的信息处理装置的配置的示例。
图12是示出了能够执行根据实施例的与第一信息处理方法相关的处理的根据实施例的信息处理装置100的配置的示例的框图。信息处理装置100包括例如通信单元102和控制单元104。
信息处理装置100还包括例如只读存储器(ROM:未示出)、随机存取存储器(RAM:未示出)、存储单元(未示出)、可以由用户操作的操作单元(未示出)、在显示屏上显示各种屏幕的显示单元(未示出)。在信息处理装置100中,例如,构成元件通过作为数据传送路径的总线相互连接。
ROM(未示出)存储要由控制单元104使用的程序和诸如运算参数的控制数据。RAM(未示出)临时存储由控制单元104执行的程序。
存储单元(未示出)是包括在信息处理装置100中的存储装置,并且存储例如指示每个传感器200的目标世界模型M1的数据、指示每个被携带装置300的目标世界模型M2的数据、指示整个目标空间中的目标世界模型M3的数据、与根据实施例的第一信息处理方法相关的数据诸如每个传感器200的准备信息、以及各种数据例如各种应用。在此,作为存储单元(未示出),例如可以例示诸如硬盘的磁记录介质或诸如闪存的非易失性存储器。此外,存储单元(未示出)可以可拆卸地安装在信息处理装置100上。
作为操作单元(未示出),可以例示下面描述的操作输入装置。此外,作为显示单元(未示出),可以例示下面要描述的显示装置。
[信息处理装置100的硬件配置的示例]
图13是示出了能够执行与根据实施例的第一信息处理方法有关的处理的根据实施例的信息处理装置100的硬件配置的示例的解释性图。信息处理装置100包括例如MPU150、ROM 152、RAM 154、记录介质156、输入输出接口158、操作输入装置160、显示装置162和通信接口164。此外,在信息处理装置100中,例如,构成元件通过作为数据传送路径的总线166彼此连接。
MPU 150由诸如微处理单元(MPU)的运算电路构成,并且被配置成包括一个或两个或更多个处理器或各种处理电路和用作控制整个信息处理装置100的控制单元104。另外,MPU 150例如用作信息处理装置100中的将描述的处理单元110。另外,处理单元110可以由能够实现处理的专用(或通用)电路构成。
ROM 152存储要由MPU 150使用的程序或诸如运算参数的控制数据。RAM 154暂时存储例如由MPU 150执行的程序。
记录介质156用作存储单元(未示出)并且存储例如指示每个传感器200的目标世界模型M1的数据、指示每个被携带装置300的目标世界模型M2的数据、指示在整个目标空间中的目标世界模型M3的数据、与根据实施例的第一信息处理方法相关的数据例如每个传感器200的准备信息、以及各种数据例如各种应用。在此,作为记录介质156,例如可以例示诸如硬盘的磁记录介质或诸如闪存的非易失性存储器。此外,记录介质156可以可拆卸地安装在信息处理装置100上。
输入输出接口158连接例如操作输入装置160或显示装置162。操作输入装置160用作操作单元(未示出)。此外,显示装置162用作显示单元(未示出)。在此,作为输入输出接口158,可以例示例如通用串行总线(USB)终端、数字视频接口(DVI)终端、高清多媒体接口(HDMI)(注册商标)终端或各种处理电路。
此外,例如,操作输入装置160包括在信息处理装置100上并且连接到信息处理装置100内部的输入输出接口158。作为操作输入装置160,可以例示例如按钮、方向键、旋转选择器诸如滚轮或其组合。
此外,例如,显示装置162包括在信息处理装置100上,并且连接到信息处理装置100内部的输入输出接口158。作为显示装置162,可以例示例如液晶显示器、有机电致发光(EL)显示器或有机发光二极管(OLED)显示器。
此外,不用说,输入输出接口158可以连接到外部装置诸如外部操作输入装置(例如,键盘或鼠标)或作为信息处理装置100的外部装置的外部显示装置。另外,显示装置162可以是例如能够执行显示或用户操作的诸如触摸面板的装置。
通信接口164是包括在信息处理装置100中的通信装置,并且用作经由网络(或直接地)来执行与外部装置(例如传感器200或被携带装置300)的无线或有线通信的通信单元102。这里,作为通信接口164,例如,可以例示通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口和发送接收电路(无线通信)、IEEE 802.11端口和发送接收电路(无线通信)或LAN终端和发送接收电路(有线通信)。
例如,在图13所示的配置中,信息处理装置100执行与根据实施例的第一信息处理方法相关的处理。此外,根据实施例的信息处理装置100的硬件配置不限于图13所示的配置。
例如,当经由连接的外部通信装置执行与外部装置的通信时,信息处理装置100可以不包括通信接口164。另外,通信接口164可以被配置成能够执行与符合多个通信方案的一个装置或两个或更多个外部装置的通信。
此外,例如,信息处理装置100可以被配置成不包括记录介质156或操作输入装置160和显示装置162。
另外,例如,图13所示的配置(或根据修改例的配置)可以使用一个集成电路(IC)或两个或更多个IC来实现。
再次参考图12,将描述信息处理装置100的配置的示例。通信单元102是包括在信息处理装置100中的通信装置,并且经由网络(或直接地)执行与外部装置(例如传感器200或被携带装置300)的无线或有线通信。此外,例如,通信单元102的通信由控制单元104控制。
这里,作为通信单元102,例如,可以例示通信天线和RF电路或LAN终端和发送接收电路,但是通信单元102的配置不限于此。例如,通信单元102可以具有与能够执行USB终端和发送接收电路等的通信的任何标准对应的配置或能够经由网络与外部装置进行通信的任何配置。此外,通信单元102可以被配置成能够根据多个通信方案来执行与一个外部装置或两个或更多个外部装置的通信。
控制单元104例如由MPU配置,并且用于控制整个信息处理装置100。此外,例如,控制单元104包括处理单元110,并且在执行与根据实施例的第一信息处理方法相关的处理中起领导作用。
处理单元110在执行生成准备信息的处理方面起领导作用,并且基于从传感器200获取的关于第一目标的第一输出信息和从被携带装置300获取的关于第二目标的第二输出信息来执行生成准备信息的处理。例如,处理单元110基于从传感器200获取的关于第一目标的第一输出信息和关于与第一目标相关的第二目标的从被携带装置300获取的第二输出信息来校正准备信息。
此外,处理单元110还可以执行根据实施例的预定处理。例如,处理单元110执行(I)前述处理(转换处理)和(II)前述处理(执行控制处理)中的一个或二者作为根据实施例的预定处理。
例如,控制单元104包括处理单元110,并且在执行与根据实施例的第一信息处理方法相关的处理(例如,生成准备信息的处理和预定处理)方面起领导作用。
例如,在图12所示的配置中,信息处理装置100执行与根据实施例的第一信息处理方法相关的处理(例如,生成准备信息的处理和预定处理)。
因此,例如,在图12所示的配置中,当使用感测预定范围的空间的传感器时,信息处理装置100可以实现用户的便利性的提高。
另外,例如,在图12所示的配置中,可以获得由执行与上述根据实施例的第一信息处理方法相关的处理的信息处理装置100获得的有益效果。
此外,根据实施例的信息处理装置的配置不限于图12所示的配置。
例如,根据实施例的信息处理装置可以包括图12所示的与控制单元104分开的处理单元110(例如,由诸如处理器的另一处理电路实现)。
此外,如上所述,为了方便,“生成准备信息的处理”或“生成准备信息的处理和预定处理”是与根据实施例的第一信息处理方法相关的处理的分开的处理。因此,用于实现与根据实施例的第一信息处理方法相关的处理的配置不限于图12所示的处理单元110,但是,可以采用根据将与根据实施例的第一信息处理方法相关的处理分开的方法的配置。
此外,例如,当经由具有与通信单元102相同功能和配置的外部通信装置执行与外部装置的通信时,根据实施例的信息处理装置可以不包括通信单元102。
另外,根据实施例的信息处理装置可以具有例如其中图12所示的处理单元110可以不执行预定处理的配置。
例如,即使在其中图12所示的处理单元110不执行预定处理的配置中,根据实施例的信息处理装置也可以执行生成准备信息的处理。因此,当使用预定范围的感测空间的传感器时,可以提高用户的便利性。此外,例如,即使在图12所示的处理单元110不执行预定处理的配置中,根据实施例的信息处理装置也可以获得通过生成准备信息的处理而获得的有益效果。
已经描述了根据实施例的作为示例的信息处理装置,但是实施例不限于本实施例。本实施例可以应用于例如能够执行与根据实施例的第一信息处理方法相关的处理的各种装置,例如,计算机(例如个人计算机(PC)或服务器)、根据实施例的安装在空间中的传感器、通信装置(例如蜂窝电话或智能电话)或平板装置。此外,本实施例也可以应用于例如可以嵌入在上述装置中的处理IC。
此外,假设装置连接至网络(或者在装置之间执行通信),根据实施例的信息处理装置可以应用于例如由一个装置或两个或更多个装置形成的系统,例如云计算。也就是说,上述根据实施例的信息处理装置也可以实现为例如其中与根据实施例的第一信息处理方法相关的处理由多个装置执行的信息处理系统。
(根据实施例的第一程序)
通过使计算机中的处理器等执行使计算机作为根据实施例的第一信息处理装置的程序(例如,能够执行与根据实施例的第一信息处理方法相关的处理的程序,例如“生成准备信息的处理”或“生成准备信息的处理和预定处理”),当使用感测预定范围的空间的传感器时,可以实现用户的便利性。
此外,当使计算机作为根据实施例的第一信息处理装置的程序由计算机中的处理器等执行时,可以获得通过与上述根据实施例的第一信息处理方法相关的处理获得的有益效果。
(根据实施例的第二信息处理方法)
在描述根据实施例的信息处理装置的配置之前,将首先描述根据实施例的第二信息处理方法。在下文中,将描述根据实施例的这样的第二信息处理方法,其例示了其中根据实施例的信息处理装置执行与根据实施例的第二信息处理方法相关的处理的情况。
[I]根据实施例的第二信息处理方法的概述
首先,将描述根据实施例的第二信息处理方法的概述。
如上所述,在其中可以基于对象(例如用户)的运动的识别结果来执行操作(例如执行应用)的系统中,在空间中设置有多个传感器,以在一些情况下提高UX。
图14是示出了根据实施例的第二信息处理方法的概述的解释性图,并且示出了其中用户在显示UI的屏幕SC(显示屏幕的示例)上执行使用他的或她的身体来操作UI(例如指示动作)的操作的使用情形。图14的A示出了在屏幕SC的左侧和右侧设置有传感器S1和S2的示例。图14的B示出了在屏幕SC的前侧和后侧设置有传感器S1和S2的示例。
这里,作为根据实施例的传感器,例如,可以例示配置成立体图像传感器的图像传感器或者诸如TOF方案的任何方案的深度传感器。此外,根据实施例的传感器可以是例如能够将空间设置为感测范围并且输出可以用于识别空间中的手势的输出信息的任何传感器。也就是说,根据实施例的传感器是例如感测来自用户的操作指令的传感器。在图14的A所示的示例中,示出了其中传感器S1和S2是配置成立体图像传感器的图像传感器的情况。另外,在图14的B所示的示例中,示出了传感器S1是将距屏幕SC较近的范围设置为感测范围的深度传感器并且传感器S2是将距屏幕SC较远的范围设置为感测范围的深度传感器的示例。
在如图14所示的使用情形中,在设置有多个传感器的系统中,例如,基于每个传感器的输出信息来执行基于传感器的输出信息的处理(例如识别手势或执行应用)。
这里,作为使用上述系统来提高用户的UX的一种方法,可以例示进一步提高传感器的检测精度的方法。此外,作为进一步提高传感器的检测精度的一种方法,例如,可以例示当新安装传感器或安装传感器的位置移动时校正传感器的方法。
可以通过例如使用专用校准夹具(例如本申请的申请人所申请的JP 2009-071844A中公开的校准板或发光球等)来实现传感器的校准。
然而,例如,无论什么时候出现期望校准传感器的情况,例如,每当新安装传感器或安装传感器的位置移动时,都存在担心当使用上述专用校准夹具校准传感器时向用户施加过大的负担。
因此,根据实施例的信息处理装置使用对其执行校准的传感器的输出信息来校准要新校准的目标传感器。
此外,如上所述,根据实施例的信息处理装置可以基于对其执行校准的每个传感器的输出信息执行预定处理。作为根据实施例的预定处理,例如,可以例示可以使用传感器的输出信息来实现的任何处理,例如识别手势的处理。
此外,例如,根据实施例的信息处理装置可以使控制目标执行基于传感器的输出信息的处理,例如识别手势的处理。作为根据实施例的控制目标,例如,可以例示根据实施例的信息处理装置的自身装置(根据实施例的信息处理装置)和外部装置中的一个或两者。此外,作为基于根据实施例的传感器的输出信息的处理,例如,可以例示诸如执行应用和与UI的控制相关的处理的各种处理。
例如,如上所述,例如无论何时新安装传感器,当根据实施例的信息处理装置使用对其执行校准的传感器的检测结果来校准要新校准的传感器时,用户都不需要使用上述专用校准夹具来校准传感器。
此外,如上所述,使用基于对其执行校准的每个传感器的输出信息来执行预定处理的系统(例如,与图14所示的使用情形相关的系统)的用户可以通过执行手势来在系统中执行意图的UI操作。
因此,通过使用根据实施例的第二信息处理方法,当设置多个传感器时可以实现用户的便利性的提高。
[II]与根据实施例的第二信息处理方法相关的处理
接下来,将描述与根据实施例的第二信息处理方法相关的处理的示例。
图15是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。图15示出了根据实施例的信息处理系统1000的示例,该系统包括执行与根据实施例的第二信息处理方法相关的处理的信息处理装置100。
根据实施例的信息处理系统包括例如信息处理装置100和传感器200A和200B。在下文中,包括在根据实施例的信息处理系统中的多个传感器被统称为“传感器200”,或者包括在根据实施例的信息处理系统中的一个传感器在一些情况中被称为“传感器200”。
此外,在根据实施例的信息处理系统中,例如,信息处理装置100和传感器200可以是集成装置。在下文中,如图14所示,将例示信息处理装置100和传感器200是不同装置的情况。
[II-1]传感器200
例如,作为指示的图14中的传感器S1和S2,传感器200安装在空间中。传感器200感测空间中的感测范围,并且将输出信息(数据)发送至信息处理装置100。例如,在图14示出的使用情形中,传感器200的输出信息用于检测例如作为对象的用户的身体部位(例如,手臂或手指)。
这里,作为由传感器200发送的输出信息,例如,可以例示可以使用其获得感测范围内的目标位置信息的数据,例如捕获的图像数据或指示深度值的数据。
此外,作为基于传感器200的输出信息的位置信息,例如,可以例示可以使用至传感器200的相对空间坐标系的坐标值来表示位置的坐标数据。例如,当输出信息是捕获的图像数据或指示深度值的数据时,在例如信息处理装置100或信息处理装置100的外部装置(例如服务器)中执行基于输出信息获取位置信息的处理。例如,信息处理装置100或外部装置通过与能够从捕获输出信息的图像数据中获得位置信息的任何方法相关的处理获取位置信息,该数据指示深度值等。
此外,根据实施例的输出信息可以是例如使用在至传感器200的相对位置坐标系的坐标值来表示位置的坐标数据。在下文中,在至传感器200的相对空间坐标系中的关于每个传感器200的坐标在一些情况下被称为“相对空间坐标”。
图16是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图,并且示出了至传感器200的相对空间坐标系的示例。此外,为了方便起见,图16示出了从上表面观察传感器200时的坐标系的示例。
例如,如图16所示,使用例如将传感器200的位置设置为原点的空间坐标来表示相对空间坐标。也就是说,至传感器200的相对空间坐标系对于每个传感器200是不同的。
例如,传感器200经由网络(或直接)与信息处理装置100进行无线或有线通信。作为根据实施例的网络,例如,可以例示有线网络(例如LAN或WAN)、无线网络(例如无线LAN(WLAN))或使用通信协议(例如传输控制协议/因特网协议(TCP/IP))的因特网。
[II-2]信息处理装置100
信息处理装置100获取来自每个传感器200的输出信息。然后,信息处理装置100基于每个传感器200的输出信息执行例如(I)以下关联处理作为与根据实施例的第二信息处理方法相关的处理。
(I)关联处理
信息处理装置100使用对其执行校准的传感器200的输出信息来校准要新校准的传感器200。
这里,作为对其执行根据实施例的校准的传感器200,可以例示与预定坐标系相关联的传感器200。在下文中,与预定坐标系相关联的传感器200在一些情况下被称为“第一传感器”或“参考传感器”。此外,在下文中,与预定坐标系相关联的传感器200的输出信息在一些情况下被称为“第一输出信息”。
作为根据实施例的预定坐标系,例如,可以例示图14所示的屏幕SC上的任何位置被设置为原点的空间坐标系(在下文中在一些情况下有时称为“屏幕坐标系”)。这里,图14所示的屏幕SC是在其上显示基于传感器S1和S2(传感器200的示例)的输出信息操作的操作目标(例如,与UI相关的图标)的显示屏幕。也就是说,在下文中,屏幕坐标系可以说是与在其上显示基于传感器200的输出信息进行操作的操作目标的显示屏幕相关的坐标系。
此外,根据实施例的预定坐标系不限于上述屏幕坐标系。可以例示具有可以将空间中的位置表示为原点的任何位置的空间坐标系。也就是说,可以由指示绝对位置的坐标来表示空间中的位置,对于绝对位置来说预定坐标系的原点是基准。在下文中,根据实施例的预定坐标系所表示的坐标在一些情况下被称为“绝对空间坐标”。
这里,作为根据实施例的参考传感器(第一传感器),例如,可以例示根据能够将传感器与预定坐标系相关联的任何方法来与预定坐标系相关联的传感器200,例如,与使用专用校准夹具(例如本说明书的申请人申请的JP 2009-071844A中公开的发光球)的预定坐标系相关联的传感器200。此外,根据实施例的参考传感器也可以是例如与根据根据实施例的第二信息处理方法的预定坐标系相关联的传感器200。
对其执行根据实施例的校准的目标传感器200是与参考传感器(第一传感器)不同的传感器200。在下文中,与参考传感器(第一传感器)不同的传感器200在一些情况下被称为“第二传感器”或“目标传感器”。此外,在一些情况下,目标传感器(第二传感器)的输出信息在一些情况下被称为“第二输出信息”。下面将描述根据实施例的目标传感器(第二传感器)的具体示例。
更具体地,例如,信息处理装置100基于从参考传感器(第一传感器)获取的第一输出信息和从目标传感器(第二传感器)获取的第二输出信息将目标传感器(第二传感器)与预定坐标系相关联。
这里,使用与例如如图16所示的每个传感器200的相对空间坐标系对应的相对空间坐标来表示基于传感器200的输出信息的传感器200的位置信息。信息处理装置100通过执行将作为目标传感器的传感器200(第二传感器)与预定坐标系相关联的关联处理来校准传感器200。
这里,根据实施例的关联处理例如是基于作为目标传感器的传感器200的输出信息(第二输出信息)来生成用于计算预定坐标系中的预定坐标值的信息的处理。更具体地,根据实施例的关联处理例如是生成用于将作为目标传感器的传感器200的输出信息(第二输出信息)转换成预定坐标系中的坐标值的处理的信息的处理。
在下文中,用于将根据实施例的第二输出信息转换成预定坐标系中的坐标值的处理的信息(即,用于基于第二输出信息来计算预定坐标系中的预定坐标值的信息)在一些情况下被称为“转换信息”或“屏幕坐标系转换信息”。
例如,信息处理装置100将多个传感器200中的与参考传感器(第一传感器)检测同一对象的传感器200设置为目标传感器(第二传感器)。然后,例如,信息处理装置100基于参考传感器的第一输出信息和目标传感器的第二输出信息生成用于将目标传感器与预定坐标系相关联的转换信息(用于将根据实施例的第二输出信息转换成预定坐标系中的坐标值的处理的信息)。
这里,当检测到参考传感器和目标传感器二者中的同一对象时,基于参考传感器的第一输出信息的绝对空间坐标匹配基于目标传感器的第二输出信息的绝对空间坐标。因此,信息处理装置100通过生成用于将基于参考传感器的第一输出信息的绝对空间坐标匹配至基于目标传感器的第二输出信息的绝对空间坐标的转换信息来将目标传感器与预定坐标系相关联。
具体地,作为根据实施例的目标传感器(第二传感器),例如,可以例示以下(a)至(c)中的传感器200:
(a)与预定坐标系不相关联的传感器200;
(b)在与预定坐标系相关联的传感器200中与预定坐标系的关联中发生偏差的传感器200;以及
(c)与预定坐标系相关联的传感器200中的设置的可靠性等于或小于设置阈值的传感器200或可靠性小于阈值的传感器200。
作为与上述(a)相关的目标传感器,例如,可以例示新布置的传感器200。例如,当与新传感器200的通信建立时,信息处理装置100将传感器200识别为与上述(a)相关的目标传感器。
作为与上述(b)相关的目标传感器,例如,可以例示在与预定坐标系相关联的传感器200中对于其存在布置位置改变的可能性的传感器200。
例如,信息处理装置100基于从与预定坐标系相关联的传感器200获取的关于布置位置的信息来确定传感器200的位置是否改变,并且将其位置确定改变的传感器200识别为与上述(b)相关的目标传感器。
作为关于根据实施例的布置位置的信息,例如,可以例示由诸如全球定位系统(GPS)装置的位置检测装置检测的传感器200的位置数据或指示由能够检测加速度传感器或陀螺仪传感器的运动的传感器检测的、传感器200的运动的数据。能够检测运动的位置检测装置或传感器可以是例如包括传感器200的装置或者可以是连接至传感器200的外部装置。
例如,信息处理装置100通过使用从传感器200获取的关于布置位置的信息进行阈值处理来确定传感器200的位置是否变化。
此外,确定传感器200的位置是否改变的方法不限于上述示例。
例如,信息处理装置100还可以基于与预定坐标系相关联的传感器200的检测结果来确定传感器200的位置是否改变。下面将描述基于与预定坐标系相关联的传感器200的检测结果来确定传感器200的位置是否改变并再次执行与预定坐标系的关联的处理的示例。
此外,由信息处理装置100或信息处理装置100的外部装置(例如服务器)根据例如以下指标在与预定坐标系相关联的每个传感器200中设置与上述(c)相关的可靠性。此外,不用说,根据实施例的可靠性不限于根据以下指标设置的可靠性:
从与预定坐标系的关联起的经过时间(例如,可靠性被设置为使得可靠性随着经过时间更长而更低,或者例如,可靠性可以设置为使得可靠性随着经过时间更长而更高);
用户的预定动作(例如图14中的使用情形中的指向动作)被连续地检测的时段(例如,可靠性被设置为使得可靠性随着该时段更长而更低);以及
经过时间与其中预定动作被连续检测的时段的组合。
此外,与上述(c)相关的阈值可以是预先设置的固定值,或者可以是可以通过信息处理装置100的用户的操作等而变化的可变值。
例如,如上所述,信息处理装置100将与参考传感器检测同一对象的传感器200设置为目标传感器,并且基于参考传感器的第一输出信息和目标传感器的第二输出信息将目标传感器与预定坐标系相关联。
因此,信息处理装置100可以使用作为对其执行校准的传感器200的参考传感器的第一输出信息来校准作为要新校准的传感器200的目标传感器。
信息处理装置100执行例如(1)上述处理(关联处理)作为与根据实施例的第二信息处理方法相关的处理。
这里,在(1)上述处理(关联处理)中,信息处理装置100基于参考传感器(第一传感器)的第一输出信息和目标传感器(第二传感器)的第二输出信息将目标传感器与预定坐标系相关联。
因此,可以使用作为对其执行校准的传感器的参考传感器200的输出信息来校准作为要新校准的传感器200的目标传感器。因此,能够在空间中的任何地方安装甚至数个传感器200,而不对用户施加过大的负担。
因此,信息处理装置100执行(1)上述处理(关联处理)作为与根据实施例的第二信息处理方法相关的处理。因此,当布置多个传感器时,可以实现用户的便利性的提高。
此外,与根据实施例的第二信息处理方法相关的处理不限于(1)上述处理(关联处理)。例如,信息处理装置100还可以执行(2)下面的执行处理作为与根据实施例的第二信息处理方法相关的处理。
(2)执行处理
信息处理装置100基于与预定坐标系相关联的每个传感器200的输出信息执行预定处理。信息处理装置100基于从参考传感器(第一传感器)获取的第一输出信息和从与预定坐标系相关联的目标传感器(第二传感器)获取的第二输出信息中的一个或两者执行预定处理。
作为根据实施例的预定处理,如上所述,例如,可以例示可以使用传感器的输出信息来实现的任何处理,例如识别手势的处理。
此外,例如,信息处理装置100可以使控制目标基于传感器的输出信息执行处理,例如识别手势的处理。
作为信息处理装置100对其进行处理的控制目标,例如,可以例示信息处理装置100的外部装置和自身装置(信息处理装置100)中的一个或两者。
例如,信息处理装置100根据基于第一输出信息的位置信息的变化和基于第二输出信息的位置信息的变化中的一个或两者来检测空间中的对象的位置变化。此外,可以在信息处理装置100的外部装置(例如服务器)中执行与对象位置的变化的检测相关的处理。
例如,信息处理装置100基于空间中的对象的位置的变化来识别手势。
此外,信息处理装置100基于空间中的对象的位置的变化来决定由控制目标执行的基于输出信息的处理。例如,信息处理装置100使用其中手势和处理相关联的表(或数据库)来决定与所识别的手势对应的处理为基于输出信息的处理。然后,信息处理装置100通过将包括执行决定处理的命令的处理请求发送至控制目标来使控制目标执行基于输出信息的处理。
这里,作为基于输出信息的处理,例如,可以例示可以使用传感器200的输出信息执行的任何处理,例如响应于对显示在屏幕SC的UI的操作而执行与操作对应的应用的处理(图14所示的使用情形中的示例)。下面将描述基于输出信息的处理的具体示例。
信息处理装置100还可以执行例如(1)上述处理(关联处理)和(2)上述处理(执行处理)作为与根据实施例的第二信息处理方法相关的处理。
这里,在(2)上述处理(执行处理)中,信息处理装置100基于与预定坐标系相关联的传感器200(即对其进行校准的传感器200)的输出信息来执行上述预定处理。
因此,通过执行(2)上述处理(执行处理),例如,可以使得控制目标使用通过更精确地检测空间中的目标获得的结果来执行处理。因此,例如,可以根据用户在操作图14所示的UI的使用情形中的动作来提高执行用户意图的处理的可能性。此外,通过执行(2)上述处理(执行处理),可以进一步提高用户的操作性和便利性。
因此,信息处理装置100执行(1)上述处理(关联处理)和(2)上述处理(执行处理)作为与根据实施例的第二信息处理方法相关的处理。因此,当布置多个传感器时,可以实现用户的便利性。
此外,为了方便起见,(1)上述处理(关联处理)和(2)上述处理(执行处理)是与根据实施例的第二信息处理方法相关的处理的分开的处理。因此,在与实施例的第二信息处理方法相关的处理中,例如,(1)上述处理(关联处理)和(2)上述处理(执行处理)可以理解为一个处理。此外,(1)上述处理(关联处理)和(2)上述处理(执行处理)也可以被理解为两个或更多个处理(根据任何分开方法)。
[III]与根据实施例的第二信息处理方法相关的处理的具体示例
在下文中,将具体描述与根据实施例的第二信息处理方法相关的处理。在下文中,将例示其中信息处理装置100执行(1)上述处理(关联处理)和(2)上述处理(执行处理)作为与根据实施例的第二信息处理方法相关的处理的情况。此外,在下文中,将主要例示其中信息处理系统1000应用于操作图14所示的UI的使用情形的情况。
(1)关联处理
如上所述,信息处理装置100基于参考传感器(第一传感器)的第一输出信息和目标传感器(第二传感器)的第二输出信息将目标传感器与预定坐标系相关联。
图17是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。
例如,信息处理装置100基于从每个传感器200获取的输出信息来更新每个传感器200的目标世界模型M1,并且管理关于每个传感器200的相对空间坐标(至传感器200的相对空间坐标系中的坐标)。
图18是示出了根据实施例的指示目标世界模型的数据的示例的解释性图。图18的A示出了指示图18所示的传感器200A的目标世界模型M1的数据的示例。图18的B和图18的C示出了分别指示图18所示的传感器200B和200C的目标世界模型M1的数据的示例。
目标世界模型M1是例如其中基于空间中的传感器200的输出信息检测到的目标(以下称为“对象”)与该对象的相对空间坐标相关联并且按照时间顺序保留的数据模型。作为指示目标世界模型M1的数据,例如,如图18所示,可以例示指示基于传感器200的输出信息检测的对象的数据和与对象的相对空间坐标相关联并且按照时间顺序记录的表(或数据库)。
例如,信息处理装置100基于从传感器200获取的输出信息适当地更新指示存储在存储介质(例如,包括在信息处理装置100中的存储单元(下面将描述))或连接至信息处理装置100的外部记录介质中的目标世界模型M1的数据。另外,如上所述,可以在信息处理装置100中执行或者可以在信息处理装置100的外部装置中执行基于输出信息获取位置信息的处理。
参考例如指示图18所示的目标世界模型M1的数据,信息处理装置100可以获取基于传感器200的输出信息(即从传感器200的视角中的对象的运动)检测到的对象的相对空间坐标的变化。
此外,指示目标世界模型M1的数据不限于图18所示的示例。例如,还可以将指示与从传感器200获取的输出信息对应的时间的数据与指示目标世界模型M1的数据相关联。作为与从传感器200获取的输出信息对应的时间,例如,可以例示指示获取输出信息时的时间的数据或指示由第一输出信息的时间戳指示的时间的数据。
此外,例如,信息处理装置100通过使用每个传感器200的屏幕坐标系转换信息T将由指示目标世界模型M1的数据所指示的相对空间坐标转换成绝对空间坐标。
这里,在与传感器200对应的屏幕坐标系转换信息T中,预先给出与至少一个传感器200对应的屏幕坐标系转换信息T。通过例如使用专用校准夹具(例如在由本说明书的申请人申请的JP 2009-071844A中公开的发光球)获得用于将相对空间坐标转换为绝对空间坐标的参数而获得预先给出的屏幕坐标系转换信息T。
此外,通过根据实施例的关联处理生成其中与预先给出屏幕坐标系转换信息T的传感器200以外的传感器200对应的屏幕坐标系转换信息T。此外,当存在与传感器200对应的屏幕坐标系转换信息T时,通过根据实施例的关联处理更新屏幕坐标系转换信息T。
例如,在传感器200的初始安装阶段,即其中每个传感器200没有关联关系的状态中,在传感器200A中给出屏幕坐标系转换信息T,并且不设置作为其他传感器200的传感器200B和200C的屏幕坐标系转换信息T(即传感器200B、200C等的屏幕坐标系转换信息T等是未知的)。
当传感器200的初始安装阶段是上述示例时,例如,信息处理装置100将传感器200A设置为参考传感器(第一传感器),并且考虑其感测范围与作为参考传感器的传感器200A的感测范围交叠的传感器200B作为目标传感器(第二传感器)。
例如,当传感器200A是图17所示的示例中的参考传感器时,其感测范围与参考传感器的感测范围交叠的传感器200是传感器200B。此外,当传感器200B是图17所示的示例中的参考传感器时,其感测范围与参考传感器的感测范围交叠的传感器200是传感器200A和200C。此外,当传感器200C是图17所示的示例中的参考传感器时,其感测范围与参考传感器的感测范围交叠的传感器200是传感器200B。
然后,信息处理装置100使用关于基于作为参考传感器的传感器200A的输出信息的对象的检测结果的信息(例如,图17所示的目标世界模型A和屏幕坐标系转换信息A)和关于基于作为目标传感器的传感器200B的输出信息的对象的检测结果的信息(例如,图17所示的目标世界模型B)生成与传感器200B对应的屏幕坐标系转换信息T。例如,信息处理装置100通过获得用于将与传感器200B的输出信息对应的相对空间坐标转换成与传感器200A的输出信息对应的绝对空间坐标的参数来生成屏幕坐标系变换信息T。
例如,如上所述,通过生成与传感器200B对应的屏幕坐标系转换信息T,传感器200B的检测结果与预定坐标系相关联。
此外,与预定坐标系相关联的传感器200B可以用作参考传感器。因此,当传感器200B被认为是参考传感器时,信息处理装置100可以将其感测范围与作为参考传感器的传感器200B的感测范围交叠的传感器200C设置为目标传感器并且生成与传感器200C对应的屏幕坐标系转换信息T,并且可以将传感器200C的检测结果与预定坐标系相关联。
例如,如上所述,信息处理装置100可以将与预定坐标系相关联的传感器200设置为参考传感器,并且生成或更新作为其感测范围与参考传感器的感测范围交叠的传感器200的目标传感器的屏幕坐标系转换信息T。此外,通过生成或更新目标传感器的屏幕坐标系转换信息T,信息处理装置100可以将目标传感器与预定坐标系相关联。
此外,例如,信息处理装置100根据整个目标空间中的目标世界模型M2聚合与传感器200对应的目标世界模型M1。
图19是示出了指示根据实施例的目标世界模型的数据的示例的解释性图,并且示出指示整个处理目标空间中的目标世界模型M2的数据的示例。
整个空间中的目标世界模型M2是例如其中从目标空间检测到的对象、该对象的绝对空间坐标和指示传感器200的目标世界模型M1中的对象的信息相关联的数据模型。作为指示目标世界模型M2的数据,例如,可以例示如图19所示的其中指示从目标空间检测到的对象的数据、该对象的绝对空间坐标和指示传感器200的目标世界模型M1中的对象的ID相关联的表(或数据库)。
此外,指示目标世界模型M2的数据不限于图19所示的示例。例如,当指示与从传感器200获取的输出信息对应的时间的数据与指示目标世界模型M1的数据相关联时,还可以将指示与从传感器200获取的输出信息对应的时间的数据与指示目标世界模型M2的数据相关联。
当存在相应的屏幕转换信息T时,信息处理装置100使用相应的屏幕转换信息T在指示目标世界模型M2的数据中反应指示与传感器200对应的目标世界模型M1的数据。另外,当不存在相应的屏幕转换信息T时,信息处理装置100不在指示目标世界模型M2的数据中反映指示目标世界模型M1的数据。
在下文中,将描述使用图17所示的目标世界模型M1和目标世界模型M2的处理的示例作为根据实施例的关联处理的具体示例。
图20是示出了与根据实施例的第二信息处理方法相关的处理的示例的流程图。
信息处理装置100基于从每个传感器200获取的输出信息生成并且更新指示与传感器200对应的目标世界模型M1的数据(S100)。
信息处理装置100确定对于每个传感器200是否设置屏幕坐标系转换信息T(S102)。例如,当与传感器200对应的屏幕坐标系转换信息T存储在诸如存储单元(下面将要描述)的记录介质中时,信息处理装置100确定设置屏幕坐标系转换信息T。
信息处理装置100对多个传感器200中的在步骤S102中确定对于其要设置屏幕坐标系转换信息T的传感器200执行例如下述步骤S100的处理。
此外,例如,在多个传感器200中在步骤S102中确定对于其不设置屏幕坐标系转换信息T的传感器200是成为目标传感器的传感器200。对于在步骤S102中确定对于其不设置屏幕坐标系转换信息T的目标传感器,信息处理装置100从在指示整个空间中的目标世界模型M2的数据中包括的对象和在指示作为目标传感器的传感器200的目标世界模型M1的数据中包括的对象中检测具有同一移动矢量的对象(S104)。
然后,信息处理装置100确定是否检测到具有同一移动矢量的对象(S106)。这里,步骤S106的确定等同于确定是否基于参考传感器的第一输出信息和目标传感器的第二输出信息检测到同一对象。例如,当从相应的时间数据中检测到相同量的移动矢量时,信息处理装置100确定检测到具有同一移动矢量的对象。
当信息处理装置100在步骤S106中确定没有检测到具有同一移动矢量的对象时,信息处理装置100结束对目标传感器的关联处理。
此外,当信息处理装置100在步骤S106中确定检测到具有同一移动矢量的对象时,信息处理装置100在作为目标传感器的传感器200中设置屏幕坐标系转换信息T(S108)。例如,信息处理装置100使用关于基于作为参考传感器的传感器200的输出信息的对象的检测结果的信息(例如,指示目标世界模型和屏幕坐标系转换信息的数据)和关于基于作为目标传感器的传感器200的输出信息的对象的检测结果的信息(例如,指示目标世界模型的数据)来设置与作为目标传感器的传感器200B对应的屏幕坐标系转换信息T。
这里,作为示例,例如,将例示其中图19中所示的指示目标世界模型M2的数据中的对象“a”的检测结果即基于图18的A所示的传感器200A的输出信息的对象“IDA001”和基于图18的B所示的传感器200B的输出信息的对象“IDB001”具有相同量的移动矢量的情况。此时,信息处理装置100使用基于与参考传感器对应的传感器200A的输出信息和与目标传感器对应的传感器200B的输出信息检测同一对象的事实从与传感器200a对应的屏幕坐标系转换信息T中生成例如与传感器200B对应的屏幕坐标系转换信息T。此外,所生成的屏幕坐标系转换信息T被记录在诸如存储单元(下面将要描述)的记录介质上,因此屏幕坐标系转换信息T被设置在作为目标传感器的传感器200B中。
此外,如上所述,当从与传感器200A对应的屏幕坐标系转换信息T中生成与传感器200B对应的屏幕坐标系变换信息T时,信息处理装置100可以在诸如存储单元(下面将要描述)的记录介质中例如在与生成与传感器200B对应的屏幕坐标系转换信息T相关的时间点处记录指示屏幕坐标系转换信息T在传感器200A与200B之间共享的数据。指示屏幕坐标系转换信息T在传感器200A与200B之间共享的数据例如以诸如表格格式的任何格式记录。另外,作为与生成与传感器200B对应的屏幕坐标系转换信息T相关的时间点,例如,可以例示在此时生成与传感器200B对应的屏幕坐标系转换信息T的时间点或在此时引用与传感器200A对应的屏幕坐标系转换信息T的时间点。
例如,信息处理装置100可以在甚至其他传感器200(如图17所示的传感器200C)中类似地设置屏幕坐标系转换信息T。
信息处理装置100使用与每个传感器200对应的屏幕坐标系转换信息T在指示目标世界模型M2的数据中反映指示与其中设置屏幕坐标系转换信息T的每个传感器200对应的目标世界模型M1的数据(S110)。信息处理装置100使用对应的屏幕坐标系转换信息T将与各传感器200的输出信息对应的相对空间坐标转换成绝对空间坐标,并且在目标世界模型M2的数据中反映指示与每个传感器200对应的目标世界模型M1的数据。
信息处理装置100执行例如图20所示的处理作为根据实施例的关联处理。
此外,根据实施例的关联处理不限于图20所示的示例。
例如,还可以对在图20所示的步骤S102中确定要对于其设置屏幕坐标系转换信息T的传感器执行与设置可靠性相关的确定。当执行与可靠性相关的确定时,例如当设置可靠性等于或小于阈值或可靠性小于阈值时,信息处理装置100执行从步骤S104的处理。
此外,如上所述,信息处理装置100还可以基于与预定坐标系相关联的传感器200的检测结果来确定传感器200的位置是否改变,并且再次执行与预定坐标系的关联。
图21是示出了与根据实施例的第二信息处理方法相关的处理的另一示例的流程图。
例如,信息处理装置100从指示整个空间中的目标世界模型M2的数据中反映的对象中检测具有同一移动矢量和不同的绝对坐标值的对象(S200)。然后,信息处理装置100确定是否存在具有同一移动矢量和不同绝对坐标值的对象(S202)。
此处,步骤S202的确定等同于在与预定坐标系相关联的传感器200中是否存在发生与预定坐标系相关联的偏差的传感器200的确定。此外,确定存在具有同一移动矢量和不同绝对坐标值的对象的情况对应于存在其中存在发生与预定坐标系相关联的偏差的可能性的传感器200。
当信息处理装置100在步骤S202中确定不存在具有同一移动矢量和不同绝对坐标值的对象时,信息处理装置100结束图21所示的方法。
相反,当信息处理装置100在步骤S202中确定存在具有同一移动矢量和不同绝对坐标值的对象时,信息处理装置100在检测具有同一移动矢量和不同的绝对坐标值的对象的传感器中指定参考传感器(S204)。
例如,当在检测具有同一移动矢量和不同绝对坐标值的对象的传感器200中包括在传感器200的初始安装阶段给出屏幕坐标系转换信息T的传感器200时,信息处理装置100指定其中给出屏幕坐标系转换信息T的传感器200作为参考传感器。此外,例如,信息处理装置100可以指定在检测具有同一移动矢量和不同绝对坐标值的对象的传感器200中的其中在从执行步骤S204的处理的时刻起设定的预定期间内设定屏幕坐标系转换信息T的传感器200作为参考传感器。此外,例如,信息处理装置100还可以指定在检测具有同一移动矢量和不同的绝对坐标值的对象的传感器200中具有较高的设定可靠性的传感器200作为参考传感器。
当信息处理装置100在步骤S204中指定参考传感器时,例如,信息处理装置100根据关于对象的基于参考传感器的输出信息的检测结果的信息来重新设定与另一传感器200相对应的屏幕坐标系转换信息T,如图20的步骤S108所示(S206)。
相反,当信息处理装置100在步骤S204中未指定参考传感器时,例如,信息处理装置100重新设定检测具有同一移动矢量和不同绝对坐标值的对象的每个传感器200的屏幕坐标系转换信息T(S210)。例如,信息处理装置100例如通过从诸如存储单元的记录介质(将在下面描述)中删除屏幕坐标系转换信息T使屏幕坐标系转换信息T不可用来重新设定屏幕坐标系转换信息T。
此外,当信息处理装置100重新设定屏幕坐标系转换信息T时,例如,信息处理装置100可以通知用户与预定坐标系相关联的偏差没有被校正。信息处理装置100例如通过执行在显示屏上用于显示文本或图像的视觉通知、或者打开或关闭灯、用于从诸如扬声器的音频输出装置输出音频的听觉通知、或所述通知的组合形成的通知来通知用户与预定坐标系相关联的偏差没有被校正。
例如,信息处理装置100执行图21所示的处理,因而当存在传感器200的位置发生变化的可能性时,实现与预定坐标系的重新关联。
信息处理装置100通过执行例如前述处理作为根据实施例的关联处理,将目标传感器的检测结果与预定坐标系相关联。
此外,根据实施例的关联处理不限于前述示例。
例如,信息处理装置100也可以使自身装置(信息处理装置100)或传感器200的外部装置等执行与预定坐标系的关联相关的通知。
信息处理装置100例如通过执行用于在显示屏上显示文本或图像的视觉通知、或者打开或关闭灯、用于从诸如扬声器的音频输出装置输出音频的听觉通知、或所述通知的组合形成的通知来向用户传送与预定坐标系的关联相关的通知的内容。
作为根据实施例的与预定坐标系的关联相关的通知的示例,例如,可以给出在以下(i)至(iii)中描述的示例。
(i)与预定坐标系的关联相关的通知的第一示例
例如,信息处理装置100向用户通知在多个传感器200中的每一个传感器200中与预定坐标系的关联的状态。
作为具体示例,信息处理装置100例如使得其中设定了屏幕坐标系转换信息T的传感器200(与预定坐标系相关联的传感器200)和其中未设定屏幕坐标系转换信息T的传感器200(与预定的坐标系不相关联的传感器200)发出具有与灯的颜色不同的颜色的光。此外,例如,信息处理装置100可以使其中设定屏幕坐标系转换信息T的传感器200从灯发出光,并且使其中未设定屏幕坐标系转换信息T的传感器200不从灯发光。
信息处理装置100例如通过使配置成通信单元(下面将要描述)的通信装置或连接的外部通信装置发送包括向传感器200发光的命令的信号来控制通过从灯发射光而执行的通知。
如上所述,通过从灯发射光来向用户通知与预定坐标系的关联状态,使用信息处理系统1000的用户可以视觉地理解例如安装的传感器200是否被校准或者安装的传感器200是否与信息处理系统1000集成。
此外,多个传感器200中的每一个传感器200中的与预定坐标系的关联状态相关的通知的示例不限于上述示例。
例如,信息处理装置100还可以通过在诸如图14所示的屏幕SC的显示屏上执行显示来向用户通知多个传感器200中的每一个传感器200中的与预定坐标系的关联的状态。
图22是示出了与根据实施例的第二信息处理方法有关的处理的示例的解释性图。图22的A示出了与图14的使用情形相同的使用情形。图22的B示出了通过在诸如屏幕SC的显示屏上执行显示来通知传感器200中与预定坐标系的关联状态的示例。
例如,在图22的B所示的示例中,当从上侧观察在图22的A中示出的空间时,通过在图像上显示与预定坐标系相关联的传感器200的检测范围来通知传感器200中与预定坐标系的关联状态。例如使用增强现实(AR)技术等来显示传感器200的检测范围。
此外,图22的A所示的使用情形的通知的示例不限于图22的B所示的示例。
例如,信息处理装置100可以显示从屏幕SC的中心位置观看的空间(例如,空间被显示为镜像)。
当传感器200是图像传感器并且显示从屏幕SC的中心位置观看的空间时,将基于从传感器200获取的图像生成要显示的图像。
此处,传感器200不包括在从传感器200获取的图像中,而是关于与预定坐标系相关联的传感器200,从传感器200的绝对空间坐标组合相当于传感器200的图像。此外,当组合传感器200时,可以进一步执行与传感器200中设定的可靠性有关的显示。作为与可靠性相关的显示,例如,可以例示其中显示指示可靠性的值(例如,以[%]表示的值)的显示或其中以颜色表示可靠性的显示。
此外,可以使用AR技术等来显示传感器200的检测范围。此外,例如,对于在传感器200的检测范围内检测到的对象,可以通过将具有红色等的条形对象叠加来执行指示其检测的显示。
图23是示出了与根据实施例的第二信息处理方法有关的处理的示例的解释性图。图23的A示出了通过在显示屏上显示传感器200中的与预定坐标系的关联状态的通知示例。另外,图23的B示出了在显示屏上的显示的另一示例。此外,图23的B和图23的A是当从上侧观察空间时的图。
例如,在图23的A所示的示例中,在设计信息处理系统1000时的传感器的检测范围R和实际检测结果(对象的识别强度)由颜色表示,使得示出了传感器200中的与预定坐标系的关联状态和感测范围。此外,通过显示屏上的显示执行的通知也可以通过例如由颜色表示实际检测结果(对象的识别强度)来实现,如图23的B所示。
(ii)与预定坐标系的关联相关的通知的第二示例
例如,当检测到新传感器200或检测到与预定坐标系相关联的传感器200的位置的移动时,信息处理装置100执行用于执行与预定坐标系的关联相关的预定动作的通知。
图24是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。图24示出了当检测到传感器的位置的偏差即检测到与预定坐标系相关联的传感器200的位置的移动时所显示的图像的示例。
如上所述,基于检测到同一对象的检测结果,在例如参考传感器和目标传感器中执行与预定坐标系的关联。因此,例如,如图24所示,通过在显示屏上显示用于使用户执行与预定坐标系进行关联的预定动作的图像并且提示用户执行预定动作,信息处理装置100可以实现与预定的坐标系的重新关联。
此处,利用如用户移动他或她的手臂前的参考传感器的位置和传感器200的位置来设定移动的方向。
图25是示出了与根据实施例的第二信息处理方法有关的处理的示例的解释性图。图25的A至图25的C示出了当检测到新传感器200时显示的图像的示例。此外,图25示出了传感器200是图像传感器的示例。
当检测到新传感器200时,信息处理装置100首先在显示屏上显示图25的A中所示的图像,并且随后将显示屏转移到图25的B所示的屏幕。
在图25的B所示的屏幕上,从与预定坐标系相关联的传感器200获得的图像由指示与预定坐标系的关联的框F1表示。作为指示与预定坐标系的关联的框F1,例如可以例示具有指示与预定坐标系的关联的颜色的框诸如蓝色框。
在图25的B所示的屏幕上,例如,可以用按钮Btn来切换从与预定坐标系相关联的传感器200获得的图像。
另外,在图25的B所示的屏幕上,从与预定坐标系不相关联的传感器200获得的图像由指示与预定坐标系不相关联的框F2表示。作为指示与预定坐标系不相关联的框F2,例如,可以例示具有指示与预定坐标系不相关联的颜色的框诸如红色框。
在图25的B所示的屏幕上,根据与预定坐标系的关联状态来改变从传感器200获得的图像上显示的框的显示。
此处,可以根据设定的可靠性来改变从传感器200获得的图像上显示的框。
例如,在图25的B所示的屏幕上,如图25的B中的R1和R2所示,清楚得到从传感器200获得的图像中的交叠区域,即传感器200中的交叠检测范围,当用户在交叠区域中执行例如移动他或她的手臂的动作时,新传感器200的可靠性提高。然后,因此,如图25的B中的框F3所示,从传感器200获得的图像上显示的框根据颜色的变化而变化。
此外,例如,如图25的C所示,信息处理装置100显示当用户在图25的B中示出的从传感器200获得的图像中的交叠区域R1和R2中执行操作时获得的结果。
例如,通过在显示屏上实现图25的C所示的显示,期望用户可以容易地执行在传感器200的交叠检测范围内的操作的有利效果。
例如,根据图25的A至图25的C中所示的显示,可以向用户通知传感器200的交叠检测范围,以提示用户校准传感器200。
(iii)与预定坐标系的关联相关的通知的第三示例
例如,信息处理装置100也可以顺序地或并行地执行与上文(i)中描述的第一示例有关的通知和与上文(ii)中描述的第二示例有关的通知两者。
(2)执行处理
信息处理装置100基于与预定坐标系相关联的传感器200的输出信息执行预定处理。
在与预定坐标系相关联的传感器200的感测范围中的与其他传感器200的感测范围不交叠的感测范围中,例如,信息处理装置100基于参考传感器(第一传感器)的第一输出信息和与预定坐标系相关联的目标传感器(第二传感器)的第二输出信息之一来执行预定处理。
此外,在与预定坐标系相关联的传感器200的感测范围中的与其他传感器200的感测范围交叠的感测范围中,例如,信息处理装置100基于参考传感器(第一传感器)的第一输出信息和与预定坐标系相关联的目标传感器(第二传感器)的第二输出信息之一来执行预定处理。例如,信息处理装置100通过利用其中传感器200的可靠性较高的传感器200的输出信息或者使用随机选择的传感器200的输出信息来使用第一输出信息和第二输出信息之一。此外,信息处理装置100还可以例如通过对基于第一输出信息的位置信息所指示的坐标和基于第二输出信息的位置信息所指示的坐标取平均来使用第一输出信息和第二输出信息两者。
图26和图27是示出了与根据实施例的第二信息处理方法相关的处理的示例的解释性图。图26示出了与基于输出信息的处理相关的并且通过根据实施例的执行处理执行的UI的示例。此外,图27示出了基于输出信息并且通过根据实施例的执行处理执行的处理的示例。
作为与根据实施例的基于输出信息的处理相关的UI,例如,可以例示在诸如图14所示的屏幕SC的显示屏上的与免提操作相关的UI,诸如如图26的A所示的与具有存在感的空间呈现有关的UI,如图26的B所示的与交互式信息传递相关的UI,以及如图26的C所示的与跨介质的虚拟体验有关的UI。此外,作为根据实施例的基于输出信息的处理,例如,如图27所示,可以例示与如图26所示的显示屏上的免提操作有关的UI上的操作相对应的处理。
此外,不用说,与根据实施例的基于输出信息的处理相关的UI和根据实施例的基于输出信息的处理的示例不限于图26和图27所示的示例。
如上所述,例如,信息处理装置100基于对象在空间中的位置的变化而决定基于输出信息的并且由控制目标执行的处理。然后,信息处理装置100通过将包括执行决定处理的命令的处理请求发送到控制目标,使控制目标执行基于输出信息的处理。
此处,当基于与预定坐标系相关联的多个传感器200的输出信息的对象的检测结果是同一对象的检测结果时,例如,信息处理装置100根据基于任意一个传感器200的输出信息的对象的检测结果来决定基于输出信息的并且使得由控制目标执行的处理。然后,信息处理装置100通过将与决定处理相对应的处理请求发送给控制目标使控制目标执行基于输出信息的处理。
此外,当基于多个传感器200的输出信息的对象的检测结果是同一对象的检测结果时的处理不限于上述处理。
例如,当基于与预定坐标系相关联的多个传感器200的输出信息的对象的检测结果是同一对象的检测结果时,信息处理装置100可以基于在每个传感器200中设定的可靠性来执行基于输出信息的处理。
例如,信息处理装置100基于以具有较高的可靠性的传感器200的输出信息为基础的对象的检测结果来决定基于输出信息的并且使控制目标执行的处理。此外,例如,信息处理装置100可以根据每个传感器200的可靠性来对基于与同一对象的检测相关的每个传感器200的输出信息的对象的检测结果进行加权,并且基于以根据可靠性加权的输出信息为基础的对象的检测结果来决定基于输出信息的并且使得控制目标执行的处理。然后,信息处理装置100通过将与决定处理相对应的处理命令发送给控制目标来使控制目标执行基于输出信息的处理。
[IV]通过使用根据实施例的第二信息处理方法获得的有益效果的示例
通过使用根据实施例的第二信息处理方法,例如,获得以下有益效果。此外,不用说,使用根据实施例的第二信息处理方法获得的有益效果不限于以下示例。
可以通过例如添加传感器200来实现其中可以扩展感测范围的一个广泛连续空间中的指向操作和手势操作的鲁棒识别。
随着传感器200的数目的增加,可以实现信息处理系统1000中的指向操作或手势操作的识别精度的提高(性能改善有利效果)。
即使在传感器200的位置由于某些原因而移动时,也可以再次将传感器200与预定的坐标系相关联(与预定坐标系的关联的自动校正)。
当不执行与预定坐标系相关联的自动校正时(例如,屏幕坐标系转换信息T被重新设定),可以通知用户与预定坐标系的关联的偏差没有被校正。
(根据实施例的第二信息处理装置)
接下来,将描述根据实施例的能够执行与上述根据实施例的第二信息处理方法有关的处理的信息处理装置的配置的示例。在下文中,将描述根据实施例的执行作为按照根据实施例的第二信息处理方法的处理的(1)前述处理(关联处理)的信息处理装置的配置的示例。
图28是示出了根据实施例的信息处理装置100的配置的示例的框图。信息处理装置100例如包括通信单元102和控制单元104。
信息处理装置100还可以包括例如ROM(未示出)、RAM(未示出)、存储单元(未示出)、可以由用户操作的操作单元(未示出)、以及在显示屏上显示各种画面的显示单元(未示出)。在信息处理装置100中,例如,构成元件通过作为数据传输路径的总线相互连接。
ROM(未示出)存储要由控制单元104使用的程序和诸如算术参数的控制数据。RAM(未示出)暂时存储由控制单元104执行的程序。
存储单元(未示出)是包括在信息处理装置100中的存储装置,并且存储例如指示每个传感器200的目标世界模型M1的数据、指示在整个目标空间中的目标世界模型M2的数据、与根据实施例的第二信息处理方法相关的数据(诸如每个传感器200的转换信息)、以及各种数据(诸如各种应用)。此处,作为存储单元(未示出),例如可以例示诸如硬盘的磁记录介质或诸如闪存的非易失性存储器。此外,存储单元(未示出)可以可拆卸地安装在信息处理装置100上。
作为操作单元(未示出),可以例示下面描述的操作输入装置。此外,作为显示单元(未示出),可以例示下述的显示装置。
[信息处理装置100的硬件配置的示例]
图29是示出了根据实施例的信息处理装置100的硬件配置的示例的解释性图。信息处理装置100包括例如MPU 150、ROM 152、RAM 154、记录介质156、输入输出接口158、操作输入装置160、显示装置162和通信接口164。此外,在信息处理装置100中,例如,构成元件通过作为数据传输路径的总线166彼此连接。
MPU 150由诸如MPU的算术电路构成,并且被配置成包括一个或两个或更多个处理器或各种处理电路,并且用作控制整个信息处理装置100的控制单元104。此外,MPU 150用作例如在信息处理装置100中要描述的处理单元110。此外,处理单元110可以由能够实现处理的专用(或通用)电路(例如,与MPU 150不同的处理器)构成。
ROM 152存储要由MPU 150使用的程序或诸如算术参数的控制数据。RAM 154暂时存储例如由MPU 150执行的程序。
记录介质156用作存储单元(未示出),并且存储例如指示每个传感器200的目标世界模型M1的数据、指示在整个目标空间中的目标世界模型M2的数据、与根据实施例的第二信息处理方法相关的数据(诸如每个传感器200的转换信息)、以及各种数据(诸如各种应用)。此处,作为记录介质156,例如可以例示诸如硬盘的磁记录介质或诸如闪存的非易失性存储器。此外,记录介质156可以可拆卸地安装在信息处理装置100上。
输入输出接口158连接例如操作输入装置160或显示装置162。操作输入装置160用作操作单元(未示出)。此外,显示装置162用作显示单元(未示出)。此处,作为输入输出接口158,例如可以例示USB终端、DVI终端、HDMI(注册商标)终端或各种处理电路。
此外,例如,操作输入装置160包括在信息处理装置100中,并且连接至信息处理装置100内部的输入输出接口158。作为操作输入装置160,可以例示例如按钮、方向键、诸如滚轮的旋转选择器或其组合。
此外,例如,显示装置162包括在信息处理装置100中并且连接至信息处理装置100内部的输入输出接口158。作为显示装置162,例如,可以例示液晶显示器或有机EL显示器。
此外,不用说,输入输出接口158可以连接至作为信息处理装置100的外部装置的、诸如外部操作输入装置(例如,键盘或鼠标)或外部显示装置的外部装置。此外,显示装置162可以是例如能够执行显示或用户操作的诸如触摸面板的装置。
通信接口164是包括在信息处理装置100中的通信装置,并且用作通过网络(或直接)与诸如传感器200的外部装置执行无线或有线通信的通信单元102。此处,作为通信接口164,例如,可以例示通信天线和RF电路(无线通信),IEEE 802.15.1端口和发送接收电路(无线通信),IEEE802.11端口和发送接收电路(无线通信)或LAN终端和发送接收电路(有线通信)。
例如,在图29所示的配置中,信息处理装置100执行与根据实施例的第二信息处理方法相关的处理。此外,根据实施例的信息处理装置100的硬件配置不限于图29所示的配置。
例如,当经由连接的外部通信装置执行与外部装置的通信时,信息处理装置100可以不包括通信接口164。此外,通信接口164可以被配置成能够执行符合多个通信方案的与一个装置或两个或更多个外部装置的通信。
此外,例如,信息处理装置100可以被配置成不包括记录介质156或操作输入装置160和显示装置162。
此外,例如,可以使用一个集成电路(IC)或两个或更多个IC来实现图29所示的配置(或根据变型例的配置)。
返回参照图28,将对信息处理装置100的配置的示例进行描述。通信单元102是包括在信息处理装置100中的通信装置,并且经由网络(或直接)与诸如传感器200的外部装置执行无线或有线通信。此外,例如,通信单元102的通信由控制单元104控制。
此处,作为通信单元102,可以例示例如通信天线和RF电路或LAN终端和发送接收电路,但是通信单元102的配置不限于此。例如,通信单元102可以具有与能够执行USB终端和发送接收电路等的通信的任意标准相对应的配置或能够经由网络与外部装置执行通信的任何配置。此外,通信单元102可以被配置成能够根据多个通信方案来执行与一个外部装置或两个或更多个外部装置的通信。
控制单元104由例如MPU构成,并且用于控制整个信息处理装置100。此外,例如,控制单元104包括处理单元110,并且起到执行与根据实施例的第二信息处理方法相关的处理的主导作用。
处理单元110具有执行(1)前述处理(关联处理)的主导作用,并且基于从参考传感器(第一传感器)获取的第一输出信息和从目标传感器(第二传感器)获取的第二输出信息执行将目标传感器与预定坐标系相关联的关联处理。
例如,处理单元110可以进一步执行设定与预定坐标系相关联的每个传感器200的可靠性的处理以及执行诸如与预定坐标系的关联相关的通知的通知的通知控制处理中的一个或两者。
此外,处理单元110还可以执行(2)前述处理(执行处理)。当处理单元110执行(2)前述处理(执行处理)时,处理单元110执行基于与预定坐标系相关联的传感器200的输出信息的预定处理。
例如,控制单元104包括处理单元110,并且具有执行与根据实施例的第二信息处理方法相关的处理(例如“(1)前述处理(关联处理)”或“(1)前述处理(关联处理)和(2)前述处理(执行处理)”的主导作用。
例如,在图28所示的配置中,信息处理装置100执行与根据实施例的第二信息处理方法相关的处理(例如“(1)前述处理(关联处理)”或“(1)前述处理(关联处理)和(2)前述处理(执行处理)”)。
因此,例如,在图28所示的配置中,当布置多个传感器时,信息处理装置100可以实现改善用户的便利性。
此外,例如,在图28所示的配置中,可以获得由信息处理装置100执行与上述根据实施例的第二信息处理方法有关的处理的有益效果。
此外,根据实施例的信息处理装置的配置不限于图28所示的配置。
例如,根据实施例的信息处理装置可以包括与控制单元104分开的图28所示的处理单元110(例如,由另一处理电路实现)。
此外,如上所述,为了便利,“(1)前述处理(关联处理)”或“(1)前述处理(关联处理)和(2)前述处理(执行处理)”是与根据实施例的第二信息处理方法有关的处理中的分开的处理。因此,用于实现与根据实施例的第二信息处理方法有关的处理的配置不限于图28所示的处理单元110,但是,也可以采用根据将与根据实施例的第二信息处理方法相关的处理分开的方法的配置。
此外,例如,当经由具有与通信单元102相同的功能和配置的外部通信装置与外部装置执行通信时,根据实施例的信息处理装置可以不包括通信单元102。
已经描述了信息处理装置作为根据实施例的示例,但是实施例不限于该实施例。该实施例可以应用于例如能够执行与根据实施例的第二信息处理方法相关的处理的各种装置,例如,诸如PC或服务器的计算机,安装在空间中的根据实施例的传感器,诸如蜂窝电话或智能电话的通信装置,或平板装置。此外,该实施例也可以应用于例如可以嵌入在前述装置中的处理IC。
此外,根据实施例的信息处理装置可以应用于例如在假定装置连接至网络(或者在装置之间执行通信)时由多个装置形成的系统,例如云计算。也就是说,根据上述实施例的信息处理装置也可以实现为例如其中由多个装置执行与根据实施例的第二信息处理方法相关的处理的信息处理系统。作为其中由多个装置执行与根据实施例的第二信息处理方法有关的处理的信息处理系统,例如,可以例示其中(1)前述处理(关联处理)由包括在信息处理系统中的第一装置执行和(2)前述处理(执行处理)由包括在信息处理系统中的第二装置执行的系统。
(根据实施例的第二程序)
通过使计算机中的处理等执行使计算机用作根据实施例的第二信息处理装置的程序(例如,能够执行与根据实施例的第二信息处理方法相关的处理的程序,诸如“(1)前述处理(关联处理)”或“(1)前述处理(关联处理)和(2)前述处理(执行处理)),当布置多个传感器时可以实现对于用户的便利性。
此外,当使计算机用作根据实施例的第二信息处理装置的程序由计算机中的处理器等执行时,可以获得通过上述与根据实施例的第二信息处理方法相关的处理获得的有益效果。
以上已经参考附图描述了本公开的优选实施例,而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变型和修改,并且应当理解,它们将自然地落入本公开的技术范围内。
例如,以上已经提供使计算机用作根据实施例的第一信息处理装置的程序(计算机程序)。然而,在实施例中,可以进一步一起提供存储程序的记录介质。
例如,以上已经提供使计算机用作根据实施例的第二信息处理装置的程序(计算机程序)。然而,在实施例中,可以进一步一起提供存储程序的记录介质。
上述配置是实施例的一个示例,当然也属于本发明的技术范围。
此外,本说明书中描述的效果仅仅是示例性或例示性的效果,并不是限制性的。也就是说,利用上述效果或代替上述效果,根据本公开的技术可以从本说明书的描述中获得本领域技术人员清楚的其他效果。
此外,本技术也可以如下配置。
(1)一种信息处理装置,包括:
处理单元,其被配置成执行基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息的处理,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
(2)根据(1)所述的信息处理装置,
其中,所述准备信息是用于控制所述传感器与预定坐标系的关联的信息。
(3)根据(2)所述的信息处理装置,
其中,所述准备信息是用于将基于所述第三输出信息获得的目标位置信息转换为所述预定坐标系中的坐标值的处理的信息。
(4)根据(1)至(3)中任一项所述的信息处理装置,
其中,所述第一目标和所述第二目标是相关目标。
(5)根据(4)所述的信息处理装置,
其中,所述第二目标根据所述第一目标的运动而移动。
(6)根据(1)至(5)中任一项所述的信息处理装置,
其中,生成所述准备信息的处理是校正所述准备信息的处理。
(7)根据(6)所述的信息处理装置,
其中,所述处理单元基于以所述第一输出信息为基础的所述第一目标的检测结果和以所述第二输出信息为基础的所述第二目标的检测结果来校正所述准备信息。
(8)根据(7)所述的信息处理装置,
其中,所述处理单元将作为所述第一目标的检测结果的所述第一目标的运动信息与作为所述第二目标的检测结果的所述第二目标的运动信息进行比较,并且基于运动比较结果来校正所述准备信息。
(9)根据(8)所述的信息处理装置,
其中,基于所述运动比较结果对所述准备信息的校正是基于所述第一输出信息对所述第一目标的位置的位置偏差的校正。
(10)根据(9)所述的信息处理装置,
其中,基于所述运动比较结果对所述准备信息的校正还包括校正与所述第一目标的运动信息对应的时间和与所述第二目标的运动信息对应的时间之间的时间偏差。
(11)根据(7)至(10)中任一项所述的信息处理装置,
其中,所述处理单元将作为所述第一目标的检测结果的与所述第一目标对应的空间坐标与作为所述第二目标的检测结果的与所述第二目标对应的空间坐标进行比较,并且基于所述空间坐标的比较结果来校正所述准备信息。
(12)根据(11)所述的信息处理装置,
其中,所述处理单元基于与指示被携带装置的用户的标识信息相关联的所述空间坐标的比较结果来记录与所述准备信息的校正相关的校正参数。
(13)根据(12)所述的信息处理装置,
其中,在所述标识信息被获取的情况下,所述处理单元使用与所获取的标识信息相关联的校正参数来校正所述准备信息。
(14)根据(1)至(13)中任一项所述的信息处理装置,
其中,所述处理单元非周期地执行生成所述准备信息的处理。
(15)根据(1)至(14)中任一项所述的信息处理装置,
其中,当检测到所述用户的预定动作时,所述处理单元执行生成所述准备信息的处理。
(16)根据(15)所述的信息处理装置,
其中,在检测到新的传感器的情况下或者在检测到现有传感器的位置的移动的情况下,所述处理单元控制用于执行所述预定动作的通知。
(17)根据(5)所述的信息处理装置,
其中,所述第一目标和所述第二目标是手或臂。
(18)根据(1)至(17)中任一项所述的信息处理装置,
其中,所述被携带装置是穿戴在手或臂上的装置。
(19)根据(1)至(18)中任一项所述的信息处理装置,
其中,所述传感器是图像传感器。
(20)一种由信息处理装置执行的信息处理方法,所述方法包括:
执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
(21)一种程序,所述程序使计算机执行:
执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
(22)根据(1)至(19)中任一项所述的信息处理装置,
其中,所述处理单元还基于所述第三输出信息和所述准备信息来执行预定处理。
(23)根据(1)至(19)和(22)中任一项所述的信息处理装置,
其中,从被携带装置获取的第二输出信息是运动传感器的输出信息。
此外,本技术也可以被配置如下。
(1)一种信息处理装置,包括:
处理单元,其被配置成执行基于从第一传感器获取的第一输出信息和从第二传感器获取的第二输出信息将所述第二传感器与预定坐标系相关联的关联处理,所述第一传感器与所述预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与所述第一传感器不同并且是感测来自所述用户的操作指令的传感器。
(2)根据(1)所述的信息处理装置,
其中,所述关联处理是基于所述第二输出信息生成用于计算所述预定坐标系中的预定坐标值的信息的处理。
(3)根据(2)所述的信息处理装置,
其中,所述关联处理是生成用于将基于所述第二输出信息获得的目标位置信息转换为所述预定坐标系中的坐标值的处理的信息的处理。
(4)根据(1)至(3)中任一项所述的信息处理装置,
其中,所述预定坐标系是与显示屏幕相关的坐标系,在所述显示屏幕上显示基于所述第一输出信息和所述第二输出信息中的一个或两者而操作的操作目标。
(5)根据(1)至(4)中任一项所述的信息处理装置,
其中,所述第二传感器是不与所述预定坐标系相关联的传感器。
(6)根据(1)至(5)中任一项所述的信息处理装置,
其中,所述第二传感器是如下传感器,其中,与所述预定坐标系的匹配在与所述预定坐标系相关联的传感器中偏离。
(7)根据(1)至(6)中任一项所述的信息处理装置,
其中,所述第二传感器是如下传感器,其中,设置在与所述预定坐标系相关联的传感器中的可靠性等于或小于设定阈值,或者所述第二传感器是在与所述预定坐标系相关联的传感器中的所述可靠性小于所述阈值的传感器。
(8)根据(7)所述的信息处理装置,
其中,所述处理单元设置与所述预定坐标系相关联的每个传感器中的可靠性。
(9)根据(1)至(8)中任一项所述的信息处理装置,
其中,所述处理单元执行对所述第一传感器和所述第二传感器中的每个传感器与所述预定坐标系的关联状态的通知。
(10)根据(1)至(9)中任一项所述的信息处理装置,
其中,当检测到新的传感器或者当检测到与所述预定坐标系相关联的所述传感器的位置移动时,所述处理单元执行用于执行与所述预定坐标系相关联的预定动作的通知。
(11)根据(1)至(10)中任一项所述的信息处理装置,
其中,所述第一传感器和所述第二传感器是图像传感器。
(12)根据(1)至(11)中任一项所述的信息处理装置,
其中,所述处理单元基于从与所述预定坐标系相关联的所述第二传感器获取的第二输出信息和第一输出信息中的一个或两者来执行预定处理。
(13)根据(12)所述的信息处理装置,
其中,所述处理单元将手势识别为所述预定处理。
(14)一种由信息处理装置执行的信息处理方法,所述方法包括:
执行如下关联处理的步骤:基于从第一传感器获取的第一输出信息和和从第二传感器获取的第二输出信息将所述第二传感器与预定坐标系相关联,所述第一传感器与所述预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与所述第一传感器不同并且是感测来自所述用户的操作指令的传感器。
(15)一种程序,所述程序使计算机执行:
执行如下关联处理的步骤:基于从第一传感器获取的第一输出信息和从第二传感器获取的第二输出信息将所述第二传感器与预定坐标系相关联,所述第一传感器与所述预定坐标系相关联并且是感测来自用户的操作指令的传感器,所述第二传感器与所述第一传感器不同并且是感测来自所述用户的操作指令的传感器。
附图标记列表
100 信息处理装置
102 通信单元
104 控制单元
110 处理单元
200、200A、200B、S1、S2 传感器
300、300A、300B、300C 被携带装置
1000 信息处理系统

Claims (21)

1.一种信息处理装置,包括:
处理单元,其被配置成执行基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息的处理,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
2.根据权利要求1所述的信息处理装置,
其中,所述准备信息是用于控制所述传感器与预定坐标系的关联的信息。
3.根据权利要求2所述的信息处理装置,
其中,所述准备信息是用于将基于所述第三输出信息获得的目标位置信息转换为所述预定坐标系中的坐标值的处理的信息。
4.根据权利要求1所述的信息处理装置,
其中,所述第一目标和所述第二目标是相关目标。
5.根据权利要求4所述的信息处理装置,
其中,所述第二目标根据所述第一目标的运动而移动。
6.根据权利要求1所述的信息处理装置,
其中,生成所述准备信息的处理是校正所述准备信息的处理。
7.根据权利要求6所述的信息处理装置,
其中,所述处理单元基于以所述第一输出信息为基础的所述第一目标的检测结果和以所述第二输出信息为基础的所述第二目标的检测结果来校正所述准备信息。
8.根据权利要求7所述的信息处理装置,
其中,所述处理单元将作为所述第一目标的检测结果的所述第一目标的运动信息与作为所述第二目标的检测结果的所述第二目标的运动信息进行比较,并且基于运动的比较结果来校正所述准备信息。
9.根据权利要求8所述的信息处理装置,
其中,基于所述运动的比较结果对所述准备信息的校正是基于所述第一输出信息对所述第一目标的位置的位置偏差的校正。
10.根据权利要求9所述的信息处理装置,
其中,基于所述运动的比较结果对所述准备信息的校正还包括校正与所述第一目标的运动信息对应的时间和与所述第二目标的运动信息对应的时间之间的时间偏差。
11.根据权利要求7所述的信息处理装置,
其中,所述处理单元将作为所述第一目标的检测结果的与所述第一目标对应的空间坐标与作为所述第二目标的检测结果的与所述第二目标对应的空间坐标进行比较,并且基于空间坐标的比较结果来校正所述准备信息。
12.根据权利要求11所述的信息处理装置,
其中,所述处理单元与指示被携带装置的用户的标识信息相关联地记录基于所述空间坐标的比较结果的与所述准备信息的校正相关的校正参数。
13.根据权利要求12所述的信息处理装置,
其中,在所述标识信息被获取的情况下,所述处理单元使用与所获取的标识信息相关联的校正参数来校正所述准备信息。
14.根据权利要求1所述的信息处理装置,
其中,所述处理单元非周期地执行生成所述准备信息的处理。
15.根据权利要求1所述的信息处理装置,
其中,当检测到所述用户的预定动作时,所述处理单元执行生成所述准备信息的处理。
16.根据权利要求15所述的信息处理装置,
其中,在检测到新的传感器的情况下或者在检测到现有传感器的位置的移动的情况下,所述处理单元控制用于执行所述预定动作的通知。
17.根据权利要求5所述的信息处理装置,
其中,所述第一目标和所述第二目标是手或臂。
18.根据权利要求1所述的信息处理装置,
其中,所述被携带装置是穿戴在手或臂上的装置。
19.根据权利要求1所述的信息处理装置,
其中,所述传感器是图像传感器。
20.一种由信息处理装置执行的信息处理方法,所述方法包括:
执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
21.一种程序,所述程序使计算机执行:
执行如下处理的步骤:基于从感测预定范围的实际空间的传感器获取的关于第一目标的第一输出信息和从由用户携带的装置获取的关于第二目标的第二输出信息来生成准备信息,
其中,所述准备信息用于基于从所述传感器获取的第三输出信息来生成操作信息。
CN201680017783.1A 2015-03-31 2016-01-18 信息处理装置、信息处理方法和程序 Expired - Fee Related CN107407968B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015-074157 2015-03-31
JP2015-070674 2015-03-31
JP2015074157A JP2016194798A (ja) 2015-03-31 2015-03-31 情報処理装置、情報処理方法、およびプログラム
JP2015070674A JP2016192014A (ja) 2015-03-31 2015-03-31 情報処理装置、情報処理方法、およびプログラム
PCT/JP2016/051222 WO2016157938A1 (ja) 2015-03-31 2016-01-18 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107407968A true CN107407968A (zh) 2017-11-28
CN107407968B CN107407968B (zh) 2020-10-23

Family

ID=57004169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017783.1A Expired - Fee Related CN107407968B (zh) 2015-03-31 2016-01-18 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (2) US10359837B2 (zh)
EP (1) EP3279768A4 (zh)
CN (1) CN107407968B (zh)
WO (1) WO2016157938A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6801158B2 (ja) 2017-03-13 2020-12-16 オムロン株式会社 環境センサ
WO2019142329A1 (ja) * 2018-01-19 2019-07-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、情報処理方法、及びプログラム
EP3588994B1 (de) * 2018-06-29 2023-08-02 Andreas Stihl AG & Co. KG Verfahren zum begriffsabhängigen ausgeben einer auf einer spracheingabe basierenden information und system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130324254A1 (en) * 2012-06-04 2013-12-05 Sony Computer Entertainment Inc. Flat Joystick Controller
US20140358475A1 (en) * 2013-05-29 2014-12-04 Dassault Systemes Body Posture Tracking
CN105453015A (zh) * 2013-08-22 2016-03-30 索尼公司 近距离的自然用户界面系统及其操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4238586B2 (ja) 2003-01-30 2009-03-18 ソニー株式会社 キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
EP2679013A2 (en) 2010-02-23 2014-01-01 MUV Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130324254A1 (en) * 2012-06-04 2013-12-05 Sony Computer Entertainment Inc. Flat Joystick Controller
US20140358475A1 (en) * 2013-05-29 2014-12-04 Dassault Systemes Body Posture Tracking
CN105453015A (zh) * 2013-08-22 2016-03-30 索尼公司 近距离的自然用户界面系统及其操作方法

Also Published As

Publication number Publication date
US20180067546A1 (en) 2018-03-08
US10572003B2 (en) 2020-02-25
US10359837B2 (en) 2019-07-23
CN107407968B (zh) 2020-10-23
EP3279768A1 (en) 2018-02-07
WO2016157938A1 (ja) 2016-10-06
US20190265782A1 (en) 2019-08-29
EP3279768A4 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
US11532136B2 (en) Registration between actual mobile device position and environmental model
US11475390B2 (en) Logistics system, package delivery method, and program
CN104913763B (zh) 用于创建空间模型的方法和手持测距装置
US9355452B2 (en) Camera and sensor augmented reality techniques
CN109908574A (zh) 游戏角色控制方法、装置、设备和存储介质
CN110352446A (zh) 用于获得图像的方法和装置及其记录介质
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN105359002B (zh) 用于标记众包数据的系统和方法
CN109966738A (zh) 信息处理方法、处理装置、电子设备和存储介质
CN106461790A (zh) 用于运行成像的定位设备的方法以及成像的定位设备
TW201346640A (zh) 影像處理裝置及電腦程式產品
CN110136200A (zh) 基于影像的电子设备定位
CN106538064B (zh) 照明系统
JP6296700B2 (ja) 測定結果表示装置、測定システムおよび測定結果表示用プログラム
CN107407968A (zh) 信息处理装置、信息处理方法和程序
CN102402285B (zh) 信息处理系统
US10509513B2 (en) Systems and methods for user input device tracking in a spatial operating environment
CN106101470A (zh) 信息处理装置及对图像处理装置的作业指示方法
CN102402387A (zh) 信息处理系统
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
US20210142573A1 (en) Viewing system, model creation apparatus, and control method
CN108307145A (zh) 信息显示系统和图像形成设备
JP2021509214A (ja) 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム
KR101956035B1 (ko) 인터랙티브 디스플레이 디바이스 및 그 제어 방법
US10402939B2 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201023