CN107960123A - 信息处理设备和信息处理方法 - Google Patents

Abstract

例如，基于由输入信息获取单元50接收的用户操作和图像拾取图像获取单元52获取的立体相机图像拾取图像，信息处理设备10在信息处理单元62中实现例如用于游戏的信息处理，并且将结果从输出数据生成单元66输出到显示设备。此时，跟踪处理单元54从立体图像检测对应标记的图像，并且基于其视差，获取目标的位置信息。校准确定单元64基于标记的检测图像在垂直方向上的位置失准，确定对照相机校准的需求，并且请求输出数据生成单元66通知用户。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及用于从捕获的图像中检测目标对象的信息处理技术。

背景技术

一些视频游戏涉及用相机捕获用户身体和标记的图像，并将捕获图像的相关区域替换为用于在显示设备上显示的另一图像(例如，参考专利文献1)。用户接口系统也是已知的，通过该系统，用相机捕获的嘴和手的运动被解释为操作应用程序的指令。为了显示对现实世界中的成像运动作出反应的虚拟世界或者对图像执行某种类型的信息处理，用于捕获现实世界的这种技术已被用于从移动终端到休闲设施的各种领域，而不管规模。

[引用列表]

[专利文献]

[专利文献1]

欧洲专利申请公开号0999518

发明内容

[技术问题]

上述技术总是面临着如何从获取的图像中准确获取关于现实世界信息的重大挑战。例如，如果各种成像参数由于成像环境的变化或者由于成像设备的长期变化而改变，则存在信息获取的准确性可能降低的可能性。然而，这样的内部参数的变化通常是不可见的，并且对于任何用户来说都难以识别。结果，用户可能在抱怨设备性能下降的同时继续使用该设备。如果提示用户定期(例如，每次开始处理)执行校准，则可以想到获得最佳条件。但是，这势必会增加用户的负担。

本发明是鉴于上述情况而完成的。因此，本发明的一个目的是提供一种用于容易地保持信息处理的准确性的技术，该信息处理涉及使用所获取的图像以最少的时间和精力在用户的部分上跟踪目标对象。

[解决问题的方法]

本发明的一个实施例涉及一种信息处理设备。这是一种信息处理设备，配置为从由立体相机获取的图像获取关于目标对象的位置信息以用于信息处理。所述信息处理设备包括：目标对象检测部分，配置为从由所述立体相机从右视点和左视点获取的立体图像中检测所述目标对象的图像；校准确定部分，配置为使得所述校准确定部分基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准；以及输出数据生成部分，配置为使得如果确定需要所述相机校准，则输出数据生成部分输出关于所确定的需要的信息。

本发明的另一个实施例涉及一种信息处理方法。这是由信息处理设备执行的信息处理方法，所述信息处理设备配置为从由立体相机获取的图像中获取关于目标对象的位置信息以用于信息处理，所述信息处理方法包括：从由所述立体相机从右视点和左视点获取的立体图像检测目标对象的图像的步骤；基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准的步骤；以及如果确定需要所述相机校准，则输出关于确定的需要的信息的步骤。

如果诸如方法、设备、系统、计算机程序和在记录这种计算机程序的记录介质的不同形式之间转换上述概括的组成要素或本发明的上述表达的其他组合，它们仍然构成本发明的有效实施例。

[发明的有益效果]

根据本发明，容易保持使用所获取的图像的信息处理的准确性。

附图说明

图1是描绘可以应用本实施例的信息处理系统的示例性配置的示意图。

图2是描绘本实施例的信息处理设备的内部电路结构的示意图。

图3是描绘本实施例的头戴式显示器(HMD)的外部形状的示意图。

图4是用于说明使用由本实施例的成像设备获取的图像来跟踪目标对象的技术的示意图。

图5是描绘当右相机和左相机的光轴或垂直位置彼此为对准时可应用的立体图像的示意图。

图6是描绘本实施例的信息处理设备的功能块的结构的框图。

图7是描绘本实施例的信息处理设备在进行信息处理的同时确定校准所需的时机的过程的流程图。

图8是用于说明利用本实施例确认是否获取有效位置数据的技术的图。

图9是描绘当使用从图像检测到的标记图像的数量来确定数据累积的开始和结束时，本实施例验证位置数据的有效性的过程的流程图。

图10是说明有效的失准量与确定校准需要的过程之间的关系的图示。

具体实施方式

图1是描绘可以应用本实施例的信息处理系统的示例性配置的示意图。信息处理系统8包括：捕获目标对象的图像的成像设备12、基于捕获的图像执行信息处理的信息处理设备10、显示作为信息处理的结果而获得的图像的平板显示器16和头戴式显示器(以下称为HMD)18、以及由用户操作的输入设备14。

信息处理设备10、成像设备12、输入设备14、平板显示器16和HMD 18可以通过电缆或以涉及诸如蓝牙(注册商标)的已知无线通信技术的无线方式互连。取决于由信息处理设备10执行的信息处理，可以选择性地提供输入设备14、平板显示器16和HMD 18。这些设备的外形不限于图中所示的。这些设备中的两个或更多个可以集成在单个设备中。例如，信息处理设备10、输入设备14和平板显示器16可以集成地实现在移动终端中。

成像设备12具有以预定帧速率获取诸如用户的目标对象的图像的相机，以及对来自相机的输出信号执行诸如去马赛克的已知处理，以在发送生成的输出数据到信息处理设备10之前生成获取的图像的输出数据。相机是具有诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的右和左可见光传感器的立体相机，两个器件隔开已知的水平距离。

信息处理设备10通过使用从成像设备12发送的数据执行必要的信息处理，生成诸如图像和声音的输出数据。由信息处理设备10执行的处理的内容不受限制，并且可以在保持具有用户所需的功能或正在使用的应用程序的内容的情况下适当地确定。例如，信息处理可以涉及对所获取的图像执行跟踪处理以使游戏进行，其中出现反映用户的运动的角色作为目标对象，或者将用户的运动转换成输入命令。

此时，输入设备14的移动可以使用附加到其上的标记来获取。作为另一种替代方案，可以跟踪附加到HMD 18的外表面的多个标记以识别穿戴HMD18的用户的头部的位置和姿势。然后可以使HMD 18显示从根据所识别的用户头部的位置和姿势而移动的视点观看的虚拟世界。由信息处理设备10生成的输出数据至少被发送到HMD 18或平板显示器16。

HMD 18是由用户穿戴在头上的显示设备，其在位于用户眼睛前面的诸如有机电致发光(EL)面板的显示面板上显示图像。例如，HMD 18生成从左侧和右侧观看的视差图像，并且在构成显示屏幕的左屏幕区域和右屏幕区域上显示每个图像，由此允许用户观看三维(3D)图像。或者，可以在整个显示屏幕上显示单个图像。HMD 18可以进一步并入将声音输出到用户的耳朵所在位置的扬声器或耳机。

平板显示器16可以是具有用于输出二维图像的显示器和用于输出声音的扬声器的电视机(TV)。例如，平板显示器16可以是液晶显示电视机、有机EL电视机、等离子显示器电视机或个人计算机(PC)显示器。在另一个例子中，平板显示器16可以是具有扬声器的平板电脑终端或移动终端的显示器。当由用户操作时，输入设备14接收诸如用于开始和结束处理、选择功能和输入命令的请求，并且将所接收的请求作为电信号输出到信息处理设备10。

输入设备14可以是安装在平板显示器16的显示表面上的诸如游戏控制器、键盘、鼠标、操纵杆和触摸板之类的通用输入设备中的任何一个，或者这些设备的组合。输入设备14还可以包括以预定颜色的发光的元件的发光标记，或者这种发光元件的集合。在这种情况下，信息处理设备10可以使用捕获的图像来跟踪标记的移动，并且将输入设备14的移动解释为用户的操作。作为另一种替代，输入设备14可以仅由发光标记和用于保持该标记的机构构成。

图2描绘了信息处理设备10的内部电路结构。信息处理设备10包括中央处理单元(CPU)22、图形处理单元(GPU)24和主存储器26。这些组件通过总线30互连。总线30还连接到输入/输出接口28。输入/输出接口28连接到诸如通用串行总线(USB)接口和电气和电子工程师协会(IEEE)1394接口的外围设备接口；由有线或无线局域网(LAN)接口构成的通信部分32；存储部分34，诸如硬盘驱动器或非易失性存储器；输出部分36，用于向平板显示器16和HMD 18输出数据；输入部分38，用于输入来自成像设备12或输入设备14的数据；以及记录介质驱动部分40，其驱动诸如磁盘、光盘或半导体存储器的可移除记录介质。

CPU 22通过执行存储在存储部分34中的操作系统来控制整个信息处理设备10。CPU 22还执行从可移除记录介质读取并加载到主存储器26中的各种程序或者经由通信部分32下载的程序。GPU 24具有几何引擎的功能和渲染处理器的功能。根据来自CPU 22的渲染指令，GPU 24执行渲染处理并且将得到的显示图像存储在帧缓冲器(未示出)中。GPU 24继续将帧缓冲器中的显示图像转换成视频信号，并将该视频信号输出到输出部分36。主存储器26由随机存取存储器(RAM)组成，该随机存取存储器存储程序和用于处理的数据。

图3描绘了HMD 18的外部形状。在该示例中，HMD 18包括输出机构部分102和穿戴机构部分104。穿戴机构部分104包括由用户围绕头部穿戴以固定设备的穿戴带106。穿戴带106由长度可调整到用户头部周围的材料制成或具有这样的结构。例如，穿戴带106可以由诸如橡胶的弹性体形成，或者可以采用带扣或齿轮装置。

输出机构部分102包括外壳108，外壳108被成形为当用户穿戴HMD 18时覆盖用户的左眼和右眼。在外壳108内部是当设备被穿戴时面向双眼的显示面板。发光标记110a、110b、110c、110d和110e等在外壳108的外部。尽管发光标记的数量及其位置不受限制，但是在本实施例中，发光标记布置在输出机构部分102的外壳前部的四个角和中心处。发光标记110f和110g也可以布置在穿戴带106的背面的两侧。输出机构部分102下面的发光标记110d和110e以及穿戴带106外面的发光标记110f和110g从图3的视图看不到，因此用描绘每个标记的周边的虚线指示。

首先，本实施方式的信息处理设备10从获取的图像中检测出附加在HMD 18等目标对象上的发光标记的图像，并基于该检测出的发光标记图像，获取目标对象的位置和姿势。以这种方式，如上所述，信息处理设备10获取用户自身的位置和姿势，并根据用户的移动和位置执行信息处理，诸如使得HMD 18从跟随所获取的用户的位置和姿势的视点显示虚拟世界。要注意的是，发光标记不必是附加到HMD 18的标记；它们可以被附加到输入设备14或者可以被用户身体直接携带。

也就是说，发光标记只需要以符合信息处理内容的方式附加到待跟踪的目标对象上。如果使用HMD 18不跟踪人的头部的位置和姿势，则显示设备不限于HMD 18。标记不需要是发光型的，只要它们每个是可区别的对象或者具有成像空间中的其他对象或形状之间的可区分的形状。

图4是用于使用由成像设备12获取的图像来跟踪目标对象的技术的示意图。如上所述，成像设备12被配置为具有彼此隔开已知水平距离的两个相机的立体相机。由立体相机从左右视点获取的一对图像(立体图像)取决于相机到相机的间距以及相机距目标对象的距离而具有在其之间的水平视差。在图4中，从左视点看的立体图像120a向右侧示出了典型地来自图3中的HMD18的五个带阴影线的标记图像。同样在图4中，从右视点看的立体图像120b向左侧示出了另外五个带阴影线的标记图像。

例如，基于它们的颜色、形状和排列来检测这些图像。然后获得两个立体图像(例如，x_1-x_r)中的对应标记图像之间的水平位置坐标的差异。该差异可以用作获取从成像平面到感兴趣的标记的距离的基础。基于立体图像之间的水平位置的差异来计算与成像平面的距离的技术是基于三角测距原理的常用技术。当基于所计算的距离将图像平面上的给定标记的位置坐标反投影到真实空间时，不仅可以识别真实空间中标记的位置，而且还可以识别目标对象的位置。

如果构成成像设备12的两个相机的光轴彼此平行并且彼此垂直对准，则立体图像120a和120b中的相同标记图像(例如，y_1和y_r)的垂直位置相互重合。只要垂直位置彼此对准，就很容易识别立体图像中对应的标记图像。然而，实际上，例如取决于在制造期间的组装的精确度，可能存在轻微的光轴失准。

图5是描绘当左右相机的光轴(尤其是俯仰角)或竖直位置彼此未对准时可应用的立体图像的示意图。在该示例中，从左视点看的图像120a中的给定标记图像的垂直位置(例如，y_1)比从右视点看的图像120b中的对应标记图像的垂直位置(例如，y_r)高Δy。在这种状态下，如果严格遵守在两个立体图像中对应的标记图像必须位于同一行的原理，则只有大约十个像素的失准Δy可能导致图像对应被错误地识别。这使得难以获得精确的视差，导致在跟踪目标对象时可能无法获得足够的准确度。

鉴于此，在制造阶段检查各个成像设备12的状态。例如，表示垂直失准y的参数被记录到非易失性存储器中。在操作时，信息处理设备10检索参数，以便在成像设备12获取的立体图像中的一个在虚拟图像平面上垂直偏移Δy，以对准这些图像的垂直位置。在图5的示例中，通过从右视点将图像120b向上偏移Δy来生成由虚线构成的校正图像122。

在左视点图像120a和校正图像122之间的比较允许基于它们的垂直位置容易地识别对应的标记图像。然而，在装运之后，成像设备12出现由于各种原因导致的位置失准Δy的变化，所述各种原因包括在操作期间的内部产生的热量、诸如坠落的外部施加的冲击以及部件的长期变化。因此，为了保持处理的精度，优选的是用户执行它们自己的校准来更新位置失准Δy的设置。

校准的优选定时根据使用情况而不同，不能一概而论。用户也很难认识到校准的必要性。优选地，以明显的严格的方式执行校准以允许在操作期间以简单的程序进行快速和高度准确的跟踪。例如，期望通过在整个屏幕上执行块匹配以获取对应点并通过合并所涉及的详细匹配过程来获取位置失准Δy。优选地，使用在适于这种块匹配的条件和环境下获取的图像来进一步改善校准的准确度。

如果规定以高频执行校准过程，则由于信息处理设备10在校准期间不可用，或者因为需要更多的时间和精力来提供合适的成像环境，所以用户可能会感到紧张。如果为了使用户的压力最小化而不执行校准，则跟踪过程的准确性可能恶化，并且输出结果可能受到不利影响。这反过来可能导致使用中的设备或应用程序的性能低于正常水平。相反，在本实施例中，信息处理设备10确定校准所需的定时，从而以最少的时间和精力保持跟踪的准确性。

图6是描述信息处理设备10的功能块的结构的框图。图6中描绘的功能块可以通过使用例如图2中描绘的CPU、GPU和存储器的硬件或者通过软件使用程序来配置，程序从适当的记录介质加载到存储器中并执行以实现包括数据输入功能、数据保持功能、图像处理功能和输入/输出功能的各种功能。本领域的技术人员将会理解，这些功能块仅由硬件、仅由软件或以其各种形式的组合来配置，而不限于这些形式中的任何一种。

信息处理设备10包括：从输入设备14获取输入信息的输入信息获取部分50、获得来自成像设备12的获取图像的数据的获取的图像获得部分52、基于标记图像进行目标对象的跟踪的跟踪处理部分54、使用跟踪结果执行信息处理的信息处理部分62、生成诸如作为信息处理的结果的显示图像的输出数据的输出数据生成部分66、与跟踪处理并行地确定校准所需的定时的校准确定部分64、以及执行校准的校准部分68。

输入信息获取部分50从输入设备14获取用户操作的内容。用户操作可以是结合一般信息处理执行的那些操作，例如选择要执行的应用程序、处理的开始和结束以及输入命令。输入信息获取部分50根据所获取的信息的内容，将从输入设备14获取的信息选择性地提供给获取的图像获得部分52、信息处理部分62或校准部分68。

获取的图像获得部分52以预定帧速率获得由成像设备12获取的运动图像的数据。获取的图像获得部分52可以进一步控制成像设备12保持的成像的开始和/或结束根据用户的请求开始和/或结束由输入信息获取部分50获取的处理。另外，获取的图像获得部分52可以根据由信息处理部分62处理的结果来控制从成像设备12获取的数据的类型。

跟踪处理部分54基于所获取的图像跟踪诸如HMD 18的目标对象，从而识别目标对象的移动和位置。更具体地说，跟踪处理部分54包括对应标记识别部分58、位置信息获取部分60和校正数据存储部分56。对应标记识别部分58以帧为单位从获取的图像获得部分52获取运动的立体图像的数据，以从两个立体图像检测对应标记图像。对应标记识别部分58在将对应的位置坐标提供给位置信息获取部分60和校准确定部分64之前，关联检测到的标记图像的位置坐标。

在上下文中，“位置坐标”指的是给定位置的位置坐标，诸如标记图像的有限区域中的重心。校正数据存储部分56是存储代表立体图像之间的垂直失准Δy的数据的存储区域。在初始状态下，失准数据通常是在工厂出货时获得的。对应标记识别部分58检索所存储的数据，并且在图像平面上基于由数据表示的位置失准Δy垂直地偏移两个立体图像中的一个，以对准两个立体图像的垂直位置，从而识别对应的标记图像。

考虑到立体图像中的对应标记图像之间的水平位置的差异，位置信息获取部分60不仅基于三角测距原理来识别感兴趣标记的位置，而且识别带有标记的目标对象的位置。优选地，可以采用多个标记。在这种情况下，标记之间的位置关系可以用作识别目标对象的姿势的基础。例如，可以准备目标对象的3D模型，并将标记的明显位置输入到3D模型中以获得目标对象的姿势。

作为另一种替代方案，例如，可以从包括附加到目标对象的加速度传感器的各种传感器获取测量值，所述值与从获取的图像获得的位置信息结合，以允许例如更详细地识别目标对象的姿势。位置信息获取部分60向信息处理部分62提供关于所获取的目标对象的位置和姿势的信息。信息处理部分62例如执行用户指定的游戏的信息处理。在这种情况下，信息处理部分62从跟踪处理部分54逐帧地获取目标对象的跟踪结果，使得目标对象的移动可以反映在信息处理中。由输入信息获取部分50从输入设备14获取的用户操作的内容也可以反映在信息处理中。如上所述，由信息处理部分62使用输入数据执行的信息处理的内容不限于任何特定的内容。

校准确定部分64基于从跟踪处理部分54中的对应标记识别部分58发送的相应标记图像之间的垂直位置坐标的差异来确定校准所需的定时。具体地，在立体图像基于在校正数据存储部分56中设置的垂直位置失准Δy垂直对准的情况下，校准确定部分64监视在对准的立体图像中标记图像是否彼此垂直对准。如果观察到的失准超过阈值，则校准确定部分64确定需要更新位置失准Δy的设置。确定过程将在后面更详细地讨论。

输出数据生成部66响应来自信息处理部分62的请求，生成作为信息处理的结果而输出的图像和声音的数据。例如，如上所述，输出数据生成部分66以左右视差图像的形式渲染从反映用户头部的位置和姿势的视点来看的虚拟世界。当用双眼前方的HMD 18上的视差图像和来自虚拟世界的声音呈现时，用户可体验实际处于虚拟世界中的感觉。本领域技术人员还将会理解，使用跟踪结果和用户的操作来实现各种类型的信息处理。

当校准确定部分64确定需要校准时，输出数据生成部分66生成用于向用户通知确定的需要的显示图像。生成的输出数据根据需要被发送到HMD 18和平面显示器16，从而以图像和声音的形式输出。

校准部分68执行预定的校准处理，以更新存储在校正数据存储部分56中的表示位置失准Δy的数据。基本上，被通知需要校准的用户通过输入设备14启动校准部分68。作为响应，校准部分68通常通过以像素或子像素为单位完全扫描这些图像来从立体图像中提取对应点。校准部分68然后可以比较提取的点的位置坐标以精确地获取位置失准Δy。

也就是说，例如，校准部分68在此处获取比跟踪处理部分54执行的处理更详细的信息，所述处理例如是在游戏的信息处理期间检测用于跟踪目标对象的标记图像。因此，要注意诸如亮度和对象物等成像环境、诸如曝光时间等成像条件、诸如增益等图像处理条件经常与可在诸如游戏等的信息处理期间适用的那些不同。优选地，可以使用合适的显示来提示用户准备最佳的成像环境。尽管校准所需的环境和处理条件可能不同于诸如游戏的普通处理的环境和处理条件，但是本实施例通过让设备确定校准定时使得这种校准的频率最小化，从而信息处理的准确度可以是在最小的用户负担的情况下保持。

以下描述的是可以用上述配置实现的信息处理设备10的典型操作。图7是描述例如本实施例的信息处理设备10在执行游戏的信息处理的同时确定校准所需的定时的过程的流程图。在该流程图中，左侧流程表示跟踪处理部分54、信息处理部分62和输出数据生成部分66执行诸如游戏处理的主要信息处理的过程。右侧流程表示校准确定部分64确定校准所需的定时的过程，该过程与前面的过程并行地被执行。后面的过程是在后台执行的，也就是说，以在诸如游戏执行的主要信息处理正在进行的同时，用户仍然不知道其执行的方式。

首先，例如，用户使用输入设备14输入处理开始请求以选择游戏。接着，获取的图像获得部分52请求成像设备12开始成像。跟踪处理部分54获取响应于请求而发送的立体图像数据(S10)。跟踪处理部分54中的对应标记识别部分58基于表示存储在校正数据存储部分56中的垂直失准Δy的数据执行校正以对准所获取的立体图像的垂直位置(S12)。然后对应标记识别部分58从两个立体图像中检测对应的标记图像(S14)。

校正将对应的标记图像置于有限的垂直范围内，使得两个图像彼此容易对应。对应标记识别部分58将对应标记图像的位置坐标提供给跟踪处理部分54中的位置信息获取部分60和校准确定部分64。位置信息获取部分60从对应的标记图像之间的水平位置的差异计算成像平面与感兴趣的标记之间的距离，由此获取关于目标对象的位置和姿势的信息(S16)。

给定如此获得的信息，信息处理部分62例如继续进行游戏的信息处理(S18)。信息处理部分62使得输出数据生成部分66生成诸如图像之类的输出数据，并允许典型地从HMD18输出数据(S20)。同时，校准确定部分64从对应标记识别部分58获取对应的标记图像的位置坐标。然后，校准确定部分64确定是否获得用于确定需要校准的有效位置数据(S24)。本文中的“有效位置数据”是指对于确定校准的需要足够可靠的位置数据。

定性地，如果立体图像中的对应标记图像之间的垂直位置失准超过预定阈值，则校准确定部64确定需要校准。然而，例如，如果使用从仅一帧的立体图像检测到的标记位置坐标来执行确定处理，则位置坐标的临时错误可能触发确定在实际上不需要校准时需要校准。为了避免确定这种不必要的校准定时并最小化用户的负担，优选的是仔细检查作为确定基础的位置数据的有效性。

具体地，从两个视点确定位置数据是否有效，例如：(1)跟踪处理部分54是否准确地跟踪目标对象，以及(2)是否收集到足够数量的位置数据。确定的具体例子将在后面讨论。只要在S24中尚未获得有效数据，就重复获取关于对应标记的位置信息的过程和确定过程(S24中的“否”)。如果确定获得有效位置数据(S24中的“是”)，则将由所获得的数据指示的垂直位置失准与阈值进行比较。如果比较显示满足了必要的校准条件(S26中的“是”)，则校准确定部分64请求输出数据生成部分66向用户通知该效果(S30)。

如果不满足必要的校准条件，则位置失准Δy的当前设置被认为是可接受的，并且重复S24中的确定过程直到再次获得有效数据(S26中的“否”)。如果做出向用户通知需要校准的情况，则输出数据生成部66生成通知用图像数据，并且例如使HMD18输出生成的数据(S20)。对由成像设备12获取的运动图像的每一帧重复上述处理(S22中的“否”和S32中的“否”)。如果例如用户通过输入设备14请求信息处理的结束，或者如果正在进行的游戏结束，则整个处理终止(S22中的“是”和S32中的“是”)。

图8是用于说明在图7的S24中确定是否获取有效的位置数据的技术的图示。在该例子中，使用在预定时间段内积累的对应标记图像之间的垂直位置失准量来验证数据的有效性。具体而言，每当从对应标记识别部分58提供关于对应标记图像的位置坐标数据时，标记图像之间的垂直差被认为是“失准量”。每个不同失准量的频率递增。如果如图4所示从每个立体图像捕获五个标记，则错误量中的一个的频率每帧增加总共五次。

当重复上述处理时，“失准量”的“频率”直方图如图8所示增长。如图中箭头所示，使用频率方面明显显著的失准量“Y5”作为确定校准需要的有效位置数据。例如，“显著失准量”是第一次频率超过预定阈值的失准量，自数据开始起经过预定时间段时频率最高的失准量累积或频率分布结束时频率最高的失准量。例如，显著失准量可以通过使用标准偏差的统计处理来确定。

一旦确定了显著失准量，就可以丢弃在前的直方图，并且频率可以从零再次递增以生成下一个直方图。或者，也可以在随后递增前，将在前的直方图中的每个失准量的频率乘以小于1的预定比率。这使得前面结果的某一部分能够反映在下一个直方图中。作为另一种替代方案，可以通过考虑相应的标记识别部分58获得标记位置坐标的情况来对增加的频率进行加权。例如，如果标记图像在所获取的图像中较小，则由于从成像平面到标记的距离较长，或者由于标记部分位于视野外部，所以位置坐标可能包含误差。

因此，可以以这样的方式对频率进行加权：标记图像越小，频率值对于每个增量越小。如果在视场中发现除诸如照明或终端显示器之类的标记以外的发光物体，则可能将这样的物体的图像错误地识别为标记。此外，如果一个目标对象具有如图3中的HMD 18上的多个标记，则取决于目标对象如何定向，成像标记的数量可能减少。标记图像的数量越少，由这样的标记表示的信息量变得越小。这可能导致标记之间对应关系的错误识别。

在这些情况中的每一种情况下，频率也可以以使得每个增量的频率值更小的方式来加权。而且，增加的频率可以通过考虑可能影响标记的位置坐标的任何现象或识别标记之间的对应关系的准确性来加权。这样的考虑有助于产生更准确的直方图，从而提高用于确定校准需求的失准量的可靠性。在这些情况下，对应标记识别部分58将用于加权处理的各种数据连同位置坐标数据一起提供给校准确定部分64。

此外，对应标记识别部分58获取标记位置坐标的情况可以用于至少确定开始或结束直方图生成的定时。图9是描述当利用所获取的图像中的标记图像的数量时验证位置数据的有效性的过程的流程图。整个处理对应于图7中的S24。处理的初始状态是诸如在刚刚获得有效位置数据之后的重新开始位置坐标数据的累积之前。在此期间，假定校准确定部分64从对应的标记识别部分58获得关于所获取的图像中的标记图像的数量的信息以及位置坐标数据。

如果捕获单个对象上的所有标记(例如，图3中的HMD 18上的五个标记)(S40中的“是”)，则开始位置坐标数据的累积(S44)。位置坐标数据的累积典型地转化为诸如图8中的一个的直方图的生成。如上所述，标记图像的数量越多，对应标记识别部分58的对应性的错误识别的可能性越低。在存在多个标记图像的情况下，一旦开始坐标数据的累积，即使标记图像的数量由于目标对象在随后的数据累积时段期间在不同方向上转向而稍微下降，所累积的数据的可靠性或多或少仍然保持不变。

另一方面，如果标记图像的数量小于附加到目标对象的标记的数量(S40中的“否”)，则确定没有获得有效数据(图7的S24中的“否”)，并且处理退出(S42)。实际上，如图7的流程图所示，这使控制返回到S40中的确定。只要数据的累积量不足，就不会获得显著失准量(S46中的“否”)。由此确定从数据累积开始是否还没有经过预定时间段(S50中的“否”)。然后从下一帧获取诸如位置坐标的数据(S52)。

如果来自当前帧的两个立体图像中的至少一个仅具有一个检测到的标记图像或根本不包含标记图像(S54中的“是”)，则确定没有获得有效数据(图7的S24中的N)该处理退出(S56)。也就是说，数据的累积被停止，直方图被丢弃。如果来自下一帧的两个立体图像中的每一个具有两个或更多个检测到的标记图像(S54中的“否”)，则基于该帧中的对应标记之间的失准来增加频率(S58)。

如果还没有经过预定时间段，并且只要检测到至少两个标记图像，则基于来自后续帧的位置坐标数据来增加频率(S46中的“否”、S52中的“否”、S50、S54中的“否”和S58)。如果在预定时间段内(S46中的“是”)确定显著失准量，则确定获得有效数据(图7的S24中的“是”)并退出处理(S48)。此时获得的失准量用于确定图7的S26中的校准需求。如果在获取显著失准量之前经过了预定时间段(S46中的“否”和S50中的“是”)，或者如果标记图像的数量是一个或更少(S54中的“是”)，则确定没有获得有效数据(图7的S24中的“否”)，并且处理退出(S56)。也就是说，数据的累积被停止，直方图被丢弃。

在S40或S54中用于确定的标记图像的数量不限于附图中指示的数量。用于确定位置坐标数据的累积开始或结束的标准不限于标记图像的数量。该标准可以是与位置坐标获取的精度有关的以及与频率的权重相关的以上讨论的任何一种现象。作为另一种替代方式，用于确定位置坐标数据累积的开始或结束的标准可以是标记与成像平面之间的距离是否在预定范围内，标记图像是否位于帧的预定范围内、是否有任何标记被标记前面的某个物体遮挡，或者来自任何标记的光发射是否在其他物体上出现眩光。

上述因素也影响跟踪处理部分54执行的跟踪目标对象的整个过程的准确性。因此，校准确定部分64可以从跟踪处理部分54获取与跟踪准确性和跟踪条件有关的信息，并相应地确定位置坐标数据累积的开始或结束。此外，如果由于与成像空间有关的各种因素(诸如成像设备12的安装地点、环境亮度或成像空间中发现的灯光颜色)而确定用于位置失准量采集的足够的准确性为不可用，则可以停止校准确定部分64的操作。

图10是说明一方面如上所述获得的有效失准量与另一方面确定校准需求的过程之间的关系的图示。图中的横轴表示时间的经过，纵轴表示在图7的S24中判断为取得有效数据的时刻T0、T1等获得的失准量。每次获得有效失准量，校准确定部分64就将该量与预定阈值Th进行比较。在失准量超过阈值的时间T6，校准确定部分64确定需要校准，并将确定的需要通知给用户。阈值Th可以是典型地通过先前的实验获取并被保持在信息处理设备10内部的最优值，或者可以是在应用程序中建立的以从其运行和检索的设置。

在给定通知的情况下，用户以方便用户的适当定时方式启动校准部分68的功能。在图10中，适当定时用粗线表示。校准部分68从立体图像典型地通过如上所述的块匹配精确地获取的垂直位置失准Δy，并且改写表示该失准的数据到校正数据存储部分56。下次用户开始游戏或者一些其他应用程序使得跟踪处理部分54在跟踪目标对象时检测标记图像，这允许立体图像的准确的位置对准。

结果，由校准确定部分64下一次在时间T'0处获得的有效失准量等于或低于阈值Th，从而确定校准是不必要的。如果用户在时间T6尽管被通知需要校准而决定不执行校准，则失准量保持超过阈值Th。通知因此继续。例如，在这种状态下，用户可以继续进行游戏的信息处理。如果正在进行的处理的结果由于失准而受到某种程度的影响，则用户可以识别出可能的原因。这使得用户有可能避免不公正地评估信息处理设备或应用程序或感觉压力。

根据上述实施例，用于使用立体图像来跟踪目标对象的信息处理技术涉及通过使用在跟踪处理进行中获得的标记图像之间的垂直位置失准量来监视对相机校准的需求。如果检测到需要校准，则通知用户检测到的需求并提示执行校准过程。这防止了由于诸如立体相机状态变化等用户不容易识别的因素导致的信息处理性能的恶化，从而容易地保持用于信息处理的最佳状态。由于在实际情况下需要校准，因此避免了在不必要的定时进行校准。

由于降低了校准的频率，所以可以以最小的麻烦严格地执行校准过程。结果，操作期间的跟踪过程容易并且高度准确地执行。由于利用在操作中的跟踪过程中获取的参数，所以用户不需要启动单独的功能来确定校准的需要，或者为单独的功能准备特定的成像环境。以对设备的最小的负担实现持续的监控。由于这种稳定的监控被用于确定校准的需要，所以基于累积的数据以高度准确的方式实现确定过程。此外，利用从跟踪过程获得的各种参数在对设备上减少负荷的情况下执行高精度的确定。

尽管已经结合作为示例给出的具体实施例描述了本发明，但是本领域技术人员应该理解的是，上述组成元件和各种处理可以以各种方式组合，并且这样的组合，变化并且修改也落入本发明的范围内。

[附图标记列表]

8信息处理系统，10信息处理设备，12成像设备，14输入设备，16平板显示器，18HMD，50输入信息获取部分，52获取的图像获得部分，54跟踪处理部，56校正数据存储部分，58对应标记识别部分，60位置信息获取部分，62信息处理部分，64校准判定部分，66输出数据生成部分，68校准部分，110a发光标记

[工业实用性]

如上所述，本发明适用于处理各种电子内容的计算机、显示设备、游戏设备、信息处理设备和图像处理设备，以及包括这些设备的系统。

权利要求书(按照条约第19条的修改)

1.一种信息处理设备，配置为从由立体相机获取的图像获取关于目标对象的位置信息以用于信息处理，所述信息处理设备包括：

目标对象检测部分，配置为从由所述立体相机从右视点和左视点获取的立体图像中检测所述目标对象的图像，并且基于所述目标对象的检测的结果，获取关于在所述信息处理中使用的所述目标对象的位置信息；

校准确定部分，配置为与通过所述目标对象检测部分的获取所述位置信息的处理并行地使得所述校准确定部分基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准；以及

输出数据生成部分，配置为使得如果确定需要所述相机校准，则输出数据生成部分输出关于所确定的需要的信息。

2.根据权利要求1所述的信息处理设备，

其中，所述校准确定部分累积地记录来自由所述立体相机所获取的运动图像中的多个帧的所述立体图像之间的垂直位置失准量，并且基于累积的垂直位置失准量，确定用于确定是否需要所述相机校准的有效位置失准量。

3.根据权利要求2所述的信息处理设备，

其中，基于所述目标对象检测部分对所述目标对象图像的检测结果，所述校准确定部分确定至少开始或结束所述垂直位置失准量的累积的定时。

4.根据权利要求3所述的信息处理设备，

其中，所述目标对象检测部分检测以预定方式排列并附加到对象的表面上的多个标记的图像，作为所述目标对象，以及

基于由所述目标对象检测部分检测到的标记图像的数量，所述校准确定部分确定用于开始和结束所述垂直位置失准量的累积的定时。

5.根据权利要求2到4中的任一项所述的信息处理设备，

其中，所述校准确定部分从所述多个帧中获取在所述立体图像中检测到的每个所述目标对象的对应图像之间的垂直位置坐标中的差分值，并且基于指示所述差分值的每一个的频率的信息来确定所述有效位置失准量。

6.根据权利要求5所述的信息处理设备，

其中，基于由所述目标对象检测部分从每个所述帧的所述目标对象图像的检测结果，所述校准确定部分对所述差分值的每一个要递增的频率进行加权。

7.一种由信息处理设备执行的信息处理方法，所述信息处理设备配置为从由立体相机获取的图像中获取关于目标对象的位置信息以用于信息处理，所述信息处理方法包括：

从由所述立体相机从右视点和左视点获取的立体图像检测目标对象的图像，并且基于所述目标对象的检测的结果，获取关于在所述信息处理中使用的所述目标对象的位置信息的步骤；

与获取所述位置信息的步骤并行地，基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准的步骤；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的步骤。

8.一种计算机程序，用于使得配置为从由立体相机获取的图像获取关于目标对象的位置信息用于信息处理的计算机实现：

从由所述立体相机从右视点和左视点获取的立体图像检测所述目标对象的图像，并且基于所述目标对象的检测的结果，获取关于在所述信息处理中使用的所述目标对象的位置信息的功能；

与获取所述位置信息的处理并行地，基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件则确定需要相机校准的功能；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的功能。

9.一种计算机可读记录介质，其记录计算机程序，用于使得配置为从由立体相机获取的图像获取关于目标对象的位置信息用于信息处理的计算机实现：

从由所述立体相机从右视点和左视点获取的立体图像检测所述目标对象的图像，并且基于所述目标对象的检测的结果，获取关于在所述信息处理中使用的所述目标对象的位置信息的功能；

与获取所述位置信息的处理并行地，基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件则确定需要相机校准的功能；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的功能。

说明或声明(按照条约第19条的修改)

1.修改内容

(1)在权利要求书中的权利要求1和8至10中明确了进行通过从立体图像中检测目标对象的图像而获取该位置信息的处理的同时，根据该检测结果监视立体图像的上下左右方向的位置失准量这点。

(2)删除权利要求书中的权利要求2。

(3)从权利要求书中的权利要求3的引用基础中除去权利要求书中的权利要求2。

2.说明

在权利要求书中的权利要求1和8至10中可明确如下点，即在进行使用立体图像获取目标对象的位置信息进行信息处理的同时，通过利用在该过程中可得到的图像上的像的检测结果监视立体图像的位置失准量，能够毫无损失的正确判断最合适的校准的时机，从而减少用户的麻烦和装置的负荷并能够维持处理的精度。

具有以上结构的装置在对比文件中没有记载。

Claims (10)

1.一种信息处理设备，配置为从由立体相机获取的图像获取关于目标对象的位置信息以用于信息处理，所述信息处理设备包括：

目标对象检测部分，配置为从由所述立体相机从右视点和左视点获取的立体图像中检测所述目标对象的图像；

校准确定部分，配置为使得所述校准确定部分基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准；以及

输出数据生成部分，配置为使得如果确定需要所述相机校准，则输出数据生成部分输出关于所确定的需要的信息。

2.根据权利要求1所述的信息处理设备，

其中，所述校准确定部分与由所述目标对象检测部分执行的对于所述信息处理的所述目标对象图像的检测过程并行地监视所述位置失准量。

3.根据权利要求1或2所述的信息处理设备，

其中，所述校准确定部分累积地记录来自由所述立体相机所获取的运动图像中的多个帧的所述立体图像之间的垂直位置失准量，并且基于累积的垂直位置失准量，确定用于确定是否需要所述相机校准的有效位置失准量。

4.根据权利要求3所述的信息处理设备，

其中，基于所述目标对象检测部分对所述目标对象图像的检测结果，所述校准确定部分确定至少开始或结束所述垂直位置失准量的累积的定时。

5.根据权利要求4所述的信息处理设备，

其中，所述目标对象检测部分检测以预定方式排列并附加到对象的表面上的多个标记的图像，作为所述目标对象，以及

基于由所述目标对象检测部分检测到的标记图像的数量，所述校准确定部分确定用于开始和结束所述垂直位置失准量的累积的定时。

6.根据权利要求3到5中的任一项所述的信息处理设备，

其中，所述校准确定部分从所述多个帧中获取在所述立体图像中检测到的每个所述目标对象的对应图像之间的垂直位置坐标中的差分值，并且基于指示所述差分值的每一个的频率的信息来确定所述有效位置失准量。

7.根据权利要求6所述的信息处理设备，

其中，基于由所述目标对象检测部分从每个所述帧的所述目标对象图像的检测结果，所述校准确定部分对所述差分值的每一个要递增的频率进行加权。

8.一种由信息处理设备执行的信息处理方法，所述信息处理设备配置为从由立体相机获取的图像中获取关于目标对象的位置信息以用于信息处理，所述信息处理方法包括：

从由所述立体相机从右视点和左视点获取的立体图像检测目标对象的图像的步骤；

基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件，则确定需要相机校准的步骤；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的步骤。

9.一种计算机程序，用于使得配置为从由立体相机获取的图像获取关于目标对象的位置信息用于信息处理的计算机实现：

从由所述立体相机从右视点和左视点获取的立体图像检测所述目标对象的图像的功能；

基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件则确定需要相机校准的功能；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的功能。

10.一种计算机可读记录介质，其记录计算机程序，用于使得配置为从由立体相机获取的图像获取关于目标对象的位置信息用于信息处理的计算机实现：

从由所述立体相机从右视点和左视点获取的立体图像检测所述目标对象的图像的功能；

基于所述目标对象图像的检测结果，监视所述立体图像之间的垂直位置失准量，并且如果所述位置失准量满足预定条件则确定需要相机校准的功能；以及

如果确定需要所述相机校准，则输出关于确定的需要的信息的功能。