CN113287152A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

提供了一种位置检测单元，被配置为基于来自第一特征点和第二特征点的相应特征点，来检测第一成像装置和所述第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。本技术可以被应用到指定多个成像装置的位置的信息处理设备。

Description

信息处理设备、信息处理方法和程序

技术领域

本技术涉及信息处理设备、信息处理方法和程序，并且涉及例如用于在安装多个成像装置时计算成像装置的安装位置的信息处理设备、信息处理方法和程序。

相关申请的交叉引用

本申请要求在2019年1月14日提交的临时申请序列号62/791998和在2019年7月29日提交的申请序列号16/524458的优先权，其全部内容通过引用并入本文。

背景技术

在通过多个成像装置拍摄相同的被摄体、场景等以获取拍摄目标的三维信息的情况下，存在一种使用由多个成像装置中的每一个拍摄的目标在成像装置中的每一个中看起来如何的差异来计算从各个成像装置到目标的距离的方法。

在通过该方法获取三维信息的情况下，需要知道用于拍摄的多个成像装置之间的位置关系。在一些情况下，获得成像装置之间的位置关系可以被称为校准。

作为校准方法，通过使用其上印刷固定形状和尺寸的图案的被称为专用校准板的板，通过多个成像装置同时拍摄该校准板，并且使用由成像装置拍摄的图像执行分析，来计算成像装置之间的位置关系。

还提出了不使用校准板的校准方法。PTL 1已经提出了在移动人的同时按时间顺序检测人的头部和脚部在画面上的多个位置，并且根据检测结果进行校准。

[引用列表]

[专利文献]

[PTL 1]日本专利申请公开号2011-215082

发明内容

[技术问题]

在使用专用校准板执行校准的情况下，在没有校准板的情况下不能执行校准，因此需要预先准备校准板，并且用户需要不怕麻烦地准备校准板。

此外，在获得多个成像装置的位置之后成像装置的位置由于某些原因改变的情况下，需要再次执行使用校准板的校准以便更新改变的位置，并且难以容易地修改改变的位置。

此外，在根据PTL 1的方法中，存在各种条件，诸如人垂直于地面站立以及地面在成像装置的成像范围内，并且存在可用性降低的可能性。

本技术是鉴于上述问题而作出的，并且旨在容易地获得多个成像装置的位置。

[问题解决方案]

根据本技术的一个方面的信息处理设备，包括：位置检测单元，被配置为基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

根据本技术的一个方面的信息处理方法，包括通过检测成像装置的位置的信息处理设备，基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

根据本技术的一个方面的程序执行基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息的处理，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

在根据本公开的一个方面的信息处理设备、信息处理方法和程序中，基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

注意，信息处理设备可以是独立的设备或者可以是构成一个设备的内部块。

此外，程序可以通过经由传输介质传输或者通过记录在记录介质上来提供。

附图说明

[图1]图1是图示应用本技术的实施例的信息处理系统的实施例的配置的图。

[图2]图2是示出成像装置的配置示例的图。

[图3]图3是示出信息处理设备的配置示例的图。

[图4]图4是示出信息处理系统的功能配置示例的图。

[图5]图5是示出信息处理系统的功能配置示例的图。

[图6]图6是示出根据第一实施例的信息处理设备的配置的图。

[图7]图7是用于说明成像装置的位置关系的综合的图。

[图8]图8是用于描述根据第一实施例的信息处理设备的操作的流程图。

[图9]图9是用于描述如何计算外部参数的图。

[图10]图10是示出成像装置的位置关系的示例的图。

[图11]图11是用于描述身体特征点的图。

[图12]图12是用于描述参数验证的图。

[图13]图13是示出根据第二实施例的信息处理设备的配置的图。

[图14]图14是用于描述根据第二实施例的信息处理设备的操作的流程图。

[图15]图15是示出根据第三实施例的信息处理设备的配置的图。

[图16]图16是示出根据第三实施例的信息处理设备的另一配置的图。

[图17]图17是用于说明成像装置的位置关系的综合的图。

[图18]图18是用于描述成像装置的布置示例的图。

[图19]图19是用于描述成像装置的布置示例的图。

[图20]图20是用于描述根据第四实施例的信息处理设备的操作的流程图。

[图21]图21是用于描述根据第五实施例的信息处理设备的操作的流程图。

[图22]图22是用于描述特征点的选择的图。

[图23]图23是用于说明所设定的坐标系和真实空间中的坐标系的图。

[图24]图24是示出根据第六实施例的信息处理设备的配置的示图。

[图25]图25A至图25C是描述地板表面的估计的示意图。

[图26]图26是用于描述根据第六实施例的信息处理设备的操作的流程图。

[图27]图27是用于描述成像装置之间的距离的图。

[图28]图28A和图28B为距离计算的示意图。

[图29]图29是示出根据第七实施例的信息处理设备的配置的示图。

[图30]图30是用于描述根据第七实施例的信息处理设备的操作的流程图。

具体实施方式

在下文中，将描述用于实现本技术的模式(在下文中被称为实施例)。

<信息处理系统的配置>

图1是图示应用本技术的实施例的信息处理系统的实施例的配置的图。本技术可以应用于在安装多个成像装置的情况下获得安装成像装置的位置。

图1所示的信息处理系统具有设置有成像装置11-1至11-3的三个成像装置和信息处理设备12的配置。在以下描述中，在不需要单独区分成像装置11-1至11-3的情况下，将成像装置11-1至11-3简单地描述为成像装置11。此外，这里将使用安装三个成像装置11的情况作为示例来继续描述。然而，本技术可以应用于提供至少两个成像装置11的情况，并且还可以应用于提供四个或更多成像装置11的情况。

成像装置11具有对被摄体成像的功能。将包括由成像装置11成像的被摄体的图像数据提供给信息处理设备12。信息处理设备12通过分析该图像来获得成像装置11-1至11-3之间的位置关系。

成像装置11和信息处理设备12被配置为能够交换图像数据。成像装置11和信息处理设备12被配置为能够经由通过有线和/或无线装置配置的网络彼此交换数据。

在实时性不重要的情况下，例如，可以采用这样的配置，其中，由成像装置11成像的图像数据被记录在预定记录介质上，并且信息处理设备12从记录介质读取图像数据并分析该图像以获得成像装置11之间的位置关系。

成像装置11拍摄静止图像和运动图像。在以下描述中，图像表示构成由成像装置11成像的静止图像或运动图像的一帧的图像。

在对由多个成像装置11拍摄的图像执行几何处理等例如被摄体的三维测量的情况下，需要执行用于获得成像装置11之中的外部参数的校准。此外，通过获得由外部参数配置的基本矩阵而不获得外部参数，可以实现诸如自由视点视频的各种应用。

包括在信息处理系统中的信息处理设备12可以执行这样的校准并获得这样的基本矩阵。在下文中，将使用信息处理设备12执行校准并获得基本矩阵的情况作为示例来继续描述。

<成像装置的配置示例>

图2是示出成像装置11的配置示例的图。成像装置11包括包含透镜系统31等的光学系统、成像元件32、作为相机信号处理单元的DSP电路33、帧存储器34、显示单元35、记录单元36、操作系统37、电源系统38和通信单元39等。

另外，DSP电路33、帧存储器34、显示单元35、记录单元36、操作系统37、电源系统38和通信单元39经由总线40相互连接。CPU41控制成像装置11中的每个单元。

透镜系统31从被摄体接收入射光(图像光)并在成像元件32的成像表面上形成图像。成像元件32将由透镜系统31在成像表面上成像的入射光的光量以像素为单位转换为电信号并输出该电信号作为像素信号。作为成像元件32，可以使用包括下述像素的成像元件(图像传感器)。

显示单元35包括诸如液晶显示单元或有机电致发光(EL)显示单元的面板型显示单元，并显示由成像元件32成像的运动图像或静止图像。记录单元36将由成像元件32成像的运动图像或静止图像记录在诸如硬盘驱动器(HDD)或数字通用盘(DVD)的记录介质上。

操作系统37在用户的操作下发出用于本成像装置所拥有的各种功能的操作命令。电源系统38向这些供给目标适当地提供用作DSP电路33、帧存储器34、显示单元35、记录单元36、操作系统37和通信单元39的操作电源的各种电源。通信单元39通过预定通信方法与信息处理设备12通信。

<信息处理设备的配置示例>

图3是示出信息处理设备12的硬件的配置示例的图。信息处理设备12可以由例如个人计算机来配置。在信息处理设备12中，中央处理单元(CPU)61、只读存储器(ROM)62和随机存取存储器(RAM)63通过总线64相互连接。此外，输入/输出接口65连接到总线64。输入单元66、输出单元67、存储单元68、通信单元69和驱动器70连接到输入/输出接口65。

输入单元66包括键盘、鼠标、麦克风等。输出单元67包括显示器、扬声器等。存储单元68包括硬盘、非易失性存储器等。通信单元69包括网络接口等。驱动器70驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质71。

<信息处理系统的功能>

图4是示出关于信息处理系统的功能的配置示例的图。成像装置11包括成像单元101、特征点检测单元102和通信控制单元103。信息处理设备12包括特征点输入单元121、位置检测单元122、位置平滑单元123和位置综合单元124。

成像装置11的成像单元101具有控制图2中所示的成像装置11的透镜系统31、成像元件32等以对被摄体的图像成像的功能。特征点检测单元102从图像中提取特征点。如下面将详细描述的，人被作为被摄体来成像，并且被成像的人的诸如肘和膝的身体特征将提取为特征点。通信控制单元103控制通信单元39(图2)，并将由特征点检测单元102检测到的特征点(关于特征点的信息)发送到信息处理设备12。

信息处理设备12的特征点输入单元121接收从成像装置11发送的关于特征点的信息，并且将该信息提供给位置检测单元122。位置检测单元122检测成像装置11的位置信息。如下面将详细描述的，成像装置11的位置信息指示多个成像装置11之间的相对位置和在真实空间中的位置。

位置平滑单元123对由位置检测单元122检测到的位置信息进行平滑，并将位置信息提供给位置综合单元124。位置综合单元124综合多个成像装置11的位置信息，并且指定各个成像装置11的位置。

图5是示出关于信息处理系统的功能的另一配置示例的图。成像装置11包括成像单元101和通信控制单元103。信息处理设备12包括图像输入单元131、特征点检测单元132、位置检测单元122、位置平滑单元123和位置综合单元124。

图5中所示的信息处理系统与图4中所示的信息处理系统的不同之处在于特征点是在信息处理设备12侧检测的。

成像装置11的成像单元101对被摄体的图像成像，并且通信控制单元103将成像的图像的图像数据发送到信息处理设备12。

信息处理设备12的图像输入单元131接收从成像装置11发送的图像数据，并将图像数据提供给特征点检测单元132。特征点检测单元132对应于图4所示的信息处理系统的成像装置11的特征点检测单元102，并且从图像检测特征点。位置检测单元122、位置平滑单元123和位置综合单元124分别对应于图4所示的信息处理系统的信息处理设备12的位置检测单元122、位置平滑单元123和位置综合单元124。

在以下描述中，将使用图5所示的信息处理系统的功能配置的情况作为示例来继续描述。此外，如图1所示，将使用处理来自三个成像装置11的信息处理设备12作为示例来继续描述。

<第一实施例>

作为第一实施例，将描述通过将多个成像装置11中的一个成像装置11设置为基准并计算相对于基准成像装置11的相对位置来指定多个成像装置11的各条位置信息的信息处理设备。

这里是如图1所示的指定成像装置11-1至11-3中的三个成像装置11的位置信息的情况，并且将使用将成像装置11-1设置为基准成像装置11的情况来给出描述。

在处理来自三个成像装置11的信息处理设备12的情况下，如图6所示，为每个成像装置11提供图像输入单元131和特征点检测单元132。根据第一实施例的信息处理设备12被描述为信息处理设备12a。

参照图6，信息处理设备12a包括从成像装置11-1输入图像数据的图像输入单元131-1、从成像装置11-2输入图像数据的图像输入单元131-2、以及从成像装置11-3输入图像数据的图像输入单元131-3。

输入到图像输入单元131-1的图像数据被提供给特征点检测单元132-1。同样，输入到图像输入单元131-2的图像数据被提供给特征点检测单元132-2，并且输入到图像输入单元131-3的图像数据被提供给特征点检测单元132-3。

特征点检测单元132-1从由成像装置11-1成像的图像中提取特征点，并将特征点提供给位置检测单元122-1和位置检测单元122-2。特征点检测单元132-2从由成像装置11-2成像的图像中提取特征点，并将特征点提供给位置检测单元122-1。特征点检测单元132-3从由成像装置11-3成像的图像中提取特征点，并将特征点提供给位置检测单元122-2。

从由成像装置11-1成像的图像中提取的特征点和从由成像装置11-2成像的图像中提取的特征点被提供给位置检测单元122-1，并且位置检测单元122-1使用所提供的特征点来检测成像装置11-1和成像装置11-2之间的相对位置。由位置检测单元122-1检测的成像装置11-1和成像装置11-2之间的相对位置被提供给位置平滑单元123-1。

从由成像装置11-1成像的图像中提取的特征点和从由成像装置11-3成像的图像中提取的特征点被提供给位置检测单元122-2，并且位置检测单元122-2使用所提供的特征点来检测成像装置11-1和成像装置11-3之间的相对位置。由位置检测单元122-2检测到的成像装置11-1和成像装置11-3之间的相对位置被提供给位置平滑单元123-2。

位置平滑单元123-1对成像装置11-1和成像装置11-2之间的相对位置执行平滑处理。位置平滑单元123-2对成像装置11-1和成像装置11-3之间的相对位置进行平滑。

注意，平滑是为了提高待检测的位置信息的精度而执行的处理，并且是当待检测特征点的数量较少并且存在待检测位置信息的精度降低的可能性时执行的处理，因此在获得足够精度的情况下可以省略。换句话说，可以从信息处理设备12a的配置中删除位置平滑单元123，并且甚至删除后的配置也在本技术的应用范围内。

来自位置平滑单元123-1的位置信息和来自位置平滑单元123-2的位置信息被提供给位置综合单元124。位置综合单元124综合多个成像装置11之间的位置关系，在这种情况下，综合成像装置11-1、成像装置11-2和成像装置11-3之间的位置关系。

将参考图7描述信息处理设备12a的位置综合单元124中的处理。图7中的左图示出由位置检测单元122检测的位置关系，图7中的右图示出由位置综合单元124综合的位置关系。

参考图7中的左图，由位置检测单元122-1检测成像装置11-2相对于成像装置11-1的位置信息。在成像装置11-1的位置信息是位置P1的情况下，由位置检测单元122-1检测成像装置11-2相对于位置P1的位置P2。在图7所示的示例中，位于成像装置11-1的左侧并且在比成像装置11-1稍高的位置的成像装置11-2被检测。此外，还检测相对于成像装置11-1的光轴位于右上倾斜的方向上的成像装置11-2的光轴。

类似地，由位置检测单元122-2检测成像装置11-3相对于成像装置11-1的位置信息。在成像装置11-1的位置是位置P1的情况下，由位置检测单元122-2检测成像装置11-3相对于位置P1的位置P3。在图7所示的示例中，位于成像装置11-1的右侧并且在比成像装置11-1稍高的位置的成像装置11-3被检测。此外，相对于成像装置11-1的光轴位于左上倾斜的方向上的成像装置11-3的光轴也被检测。

位置信息是表示多个成像装置11之间的相对位置和在真实空间中的位置的信息。此外，位置信息是成像装置11的X坐标、Y坐标和Z坐标。此外，位置信息是绕光轴的X轴的旋转角度、绕光轴的Y轴的旋转角度和绕光轴的Z轴的旋转角度。将基于位置信息包括上述六条信息的假设继续描述，但是本技术甚至可应用于获取六条信息中的一些信息的情况。

此外，在上述和以下描述中，在给出诸如成像装置11的位置或相对位置的描述的情况下，该描述不仅包括由成像装置11的坐标表示的位置，而且包括光轴的旋转角度。

位置综合单元124从位置检测单元122-1获取关于当成像装置11-1被设置为基准时的成像装置11-2的相对位置的信息(位置P2的信息)以及从位置检测单元122-2获取关于当成像装置11-1被设置为基准时的成像装置11-3的相对位置的信息(位置P3的信息)。

在位置综合单元124中，生成在成像装置11-1作为参考(换句话说，位置P1作为参考)的情况下，成像装置11-2位于位置P2处并且成像装置11-3位于位置P3处的信息。

如上所述，信息处理设备12a将多个成像装置11中的一个成像装置11的位置设置为基准，并且检测和综合基准成像装置11与其它成像装置11之间的相对位置关系，从而检测多个成像装置11之间的位置关系。

将参考图8中的流程图描述信息处理设备12a的操作。

在步骤S101中，图像输入单元131输入图像数据。图像输入单元131-1输入来自成像装置11-1的图像数据，图像输入单元131-2输入来自成像装置11-2的图像数据，图像输入单元131-3输入来自成像装置11-3的图像数据。

在步骤S102中，特征点检测单元132基于输入到图像输入单元131的图像数据从图像提取特征点。特征点检测单元132-1从由成像装置11-1成像的图像中提取特征点，并将其输入到图像输入单元131-1。特征点检测单元132-2从由成像装置11-2成像的图像中提取特征点，并将其输入到图像输入单元131-2。特征点检测单元132-3从由成像装置11-3成像的图像中提取特征点，并将其输入到图像输入单元131-3。

作为特征点被提取的可以是具有人的身体特征的部分。例如，可以将人的关节检测为特征点。如将在下面描述的，位置检测单元122-1根据从由成像装置11-1成像的图像检测到的特征点与从由成像装置11-2成像的图像检测到的特征点之间的对应关系，检测成像装置11-1与成像装置11-2之间的相对位置关系。

换句话说，位置检测单元122通过在相应位置处组合作为从一个图像检测到的特征点的关节信息和作为从另一图像检测到的特征点的关节信息来执行位置检测。在执行使用这样的特征点的位置检测的情况下，通过使用诸如人的关节的关节信息作为特征点，无论被摄体的取向如何(例如，无论是正面还是背面的取向)，并且即使在面部不被放在视角内的情况下，也仍然能够获得成像装置11的位置信息。

当然，除了人的关节之外，还可以检测诸如眼睛和鼻子的身体特征点。更具体地，可以将人的左肩、右肩、左肘、右肘、左手腕、右手腕、颈、左髋、右髋、左膝、右膝、左脚踝、右脚踝、右眼、左眼、鼻子、嘴、右耳、左耳等检测为特征点。注意，这里作为身体特征而例示的部分是示例，并且可以采用代替上述部分或者除了上述部分之外还可以检测诸如手指的关节、指尖和头顶的其他部分的配置。

注意，尽管将这些部分描述为特征点，但是这些部分可以是具有特定尺寸的区域或诸如边缘的线段。例如，在将眼睛检测为特征点的情况下，可以将眼睛的中心位置(黑眼的中心)检测为特征点，可以将眼睛(眼球)的区域检测为特征点，或者可以将眼球和眼睑之间的边界(边缘)部分检测为特征点。

特征点的检测可以由人通过指定来执行，或者可以使用预定算法来执行。例如，可以通过人在观看显示在监视器上的图像的同时操作诸如鼠标的输入设备，并且将表示诸如上述左肩或右肩的身体特征的部分指定为特征点，来检测(设置)特征点。在手动检测(设置)特征点的情况下，检测到错误特征点的可能性低，并且存在精确检测的优点。

可以通过使用预定算法分析图像来检测特征点。作为预定算法，例如有在以下文献1中描述的算法，并且可以应用被称为OpenPose的技术等。

文献1：Zhe Cao、Tomas Simon、Shih-En Wei和Yaser Sheikh。Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields。In CVPR,2017。

文献1中公开的技术是用于估计人的姿势的技术，并且检测具有如上所述的人的身体特征的部分(例如，关节)以用于姿势估计。除了文献1之外的技术也可以应用于本技术，并且可以通过其它方法检测特征点。

简单地描述文献1中公开的技术，使用深度学习从一个图像估计关节位置，并且针对每个关节获得置信度图。例如，在检测到十八个关节位置的情况下，生成十八个置信度图。然后，通过接合关节，可以获得人的姿势信息。

在特征点检测单元132(图6)中，在这种情况下，特征点的检测(换句话说，关节位置的检测)是足够的。因此，执行直到此时的处理是足够的。此外，在随后的处理中需要关于所检测到的检测位置是肩部还是肘部的信息以及关于肩部是左肩部还是右肩部的信息。如果能够得到这样的信息，能够省略接合关节的处理和姿势的推定处理。

此外，根据文献1，还可以应对在图像中拍摄了多个人的情况。在第一实施例中，将使用拍摄一个人的情况作为示例来继续描述。在第四实施例中，将在假定拍摄多个人的情况下给出描述。在如第四实施例中那样可以应对拍摄到多个人的情况下，在接合关节时也执行以下处理。

在图像中拍摄了多个人的情况下，例如，有连接左肩和左肘的方式存在多个组合的可能性。例如，存在人A的左肩与人A的左肘、人B的左肘、人C的左肘等组合的可能性。当存在多个组合时，为了估计正确的组合，使用了一种称为部分亲和性字段(PAF)的技术。根据该技术，通过预测关节之间的可连接可能性作为方向矢量图，可以估计正确的组合。

在所拍摄的人数为一个人的情况下，可以省略通过PAF技术等的估计处理。

在步骤S102中，特征点检测单元132从图像中检测表示人的身体特征的部分作为特征点。在使用预定算法进行该检测的情况下，特征点的精确检测足以达到可以执行后续处理(具体地为以下由位置检测单元122进行的处理)的程度。换句话说，不必执行所有上述处理(在作为示例的文献1中描述的处理)，并且仅执行用于以高精度检测特征点的处理就足以执行以下由位置检测单元122描述的处理。

在通过使用预定算法分析图像来检测特征点的情况下，可以检测诸如人的关节位置的身体特征而不会使用户麻烦。同时，存在发生错误检测或检测遗漏的可能性。

可以将由人进行的特征点的检测和使用预定算法进行的特征点的检测进行组合。例如，在通过使用预定算法的图像分析检测到特征点之后，可以执行关于由人检测到的特征点是否正确的验证、在错误检测的情况下的校正、在遗漏检测的情况下的添加等。

此外，在使用预定算法检测特征点的情况下，还使用用于面部认证的图像分析，并且将不同的算法应用于面部部分和身体部分，并且可以从面部部分和身体部分检测各个特征点。

在步骤S102(图8)，特征点检测单元132从图像检测人的身体特征点。这里，将使用将人的左肩、右肩、左肘、右肘、左手腕、右手腕、颈、左髋、右髋、左膝、右膝、左脚踝、右脚踝、右眼、左眼、鼻、口、右耳和左耳的十八个点检测为特征点的情况继续描述。

在步骤S103中，位置检测单元122计算参数。将由特征点检测单元132-1从由成像装置11-1成像的图像检测到的特征点和由特征点检测单元132-2从由成像装置11-2成像的图像检测到的特征点提供给位置检测单元122-1，并且位置检测单元122-1使用所提供的特征点计算成像装置11-1和成像装置11-2的相对位置。如上所述，在这种情况下，相对位置是当成像装置11-1被设置为参考时成像装置11-2相对于成像装置11-1的位置。

类似地，将由特征点检测单元132-1从由成像装置11-1成像的图像检测到的特征点和由特征点检测单元132-3从由成像装置11-3成像的图像检测到的特征点提供给位置检测单元122-2，并且位置检测单元122-2使用所提供的特征点计算成像装置11-1和成像装置11-3的相对位置。在这种情况下，当成像装置11-1被设置为参考时，计算成像装置11-3相对于成像装置11-1的位置信息。

位置检测单元122计算被称为外部参数的参数作为成像装置11的相对位置。成像装置11的外部参数(通常称为照相机的外部参数)是旋转和平移(旋转矢量和平移矢量)。旋转矢量表示成像装置11的方位，平移矢量表示成像装置11的位置。此外，在外部参数中，成像装置11的坐标系的原点位于光学中心，并且由X轴和Y轴定义图像平面。

获得外部参数，并且可以使用外部参数执行成像装置11的校准。这里，将描述获得外部参数的方法。外部参数可以使用称为8点算法的算法来获得。

假设三维点P存在于如图9所示的三维空间中，并且当成像装置11-1和成像装置11-2拍摄点时在图像平面上的投影点分别是q0和q1。在投影点q0和q1之间建立以下关系表达式(1)。

<表达式1>

在表达式(1)中，F是基本矩阵。该基本矩阵F可以通过准备当成像装置11拍摄某些三维点时的八对或更多对坐标值(例如(q0,q1))并且应用8点算法等来获得。

另外，使用作为成像装置11固有的焦距、图像中心等参数的内部参数(K0,K1)和基本矩阵E，能够将表达式(1)展开为以下表达式(2)。并且，能够将表达式(2)展开为表达式(3)。

<表达式2>

<表达式3>

在内部参数(K0,K1)已知的情况下，可以从上述对应点获得E矩阵。此外，该E矩阵可以通过奇异值分解被分解为外部参数。此外，基本矩阵E满足下面的表达式(4)，其中表示成像装置的坐标系中的点p的向量是p0和p1。

<表达式4>

此时，在成像装置11是透视投影成像装置的情况下，建立以下表达式(5)。

<表达式5>

此时，E矩阵可通过将8点算法应用于对(p0,p1)或对(q0,q1)来获得。根据以上，能够根据在由多个成像装置11拍摄的图像之间得到的对应点对来求出基本矩阵和外部参数。

位置检测单元122通过执行应用了这种8点算法的处理来计算外部参数。在以上描述中，在8点算法中使用的八对对应点是被检测为人的身体特征的位置的特征点对。这里，将另外描述一对特征点。

为了描述一对特征点，将作为示例描述在如图10所示的情形下检测到的特征点。如图10所示，成像装置11-1和成像装置11-2被布置在180度的位置处并且正在拍摄人。图10图示了成像装置11-1正从正面拍摄人而成像装置11-2正从背面拍摄人的状态。当以这种方式布置成像装置11时，由成像装置11-1成像的图像(从图像检测到的特征点)在图11中的左图中示出，并且由成像装置11-2成像的图像(从图像检测到的特征点)在图11中的右图中示出。

由于成像装置11-1从前面对被摄体(人)成像，所以如图11中的左图所示，十八个点被检测为特征点。特征点检测单元132提供指示从人的哪个部分检测到所检测的特征点的信息(描述为特征点位置)以及用于识别特征点的信息(描述为特征点标识符)。

特征点标识符可以是能够识别各个特征点的信息，例如，分配了编号、字母等。在图11中，使用提供字母作为特征点标识符的情况作为示例来给出描述。此外，如果提供了规则，使得a被分配给与特征点位置(例如右脚踝)相关联的标识符，作为特征点标识符，特征点标识符a可以被唯一地识别为从右脚踝部分检测的特征点。在下文中，将在特征点a的描述等指示特征点标识符是a并且特征点a表示从预定位置(例如右脚踝部分)检测的特征点的假设下继续描述。

参照图11中的左图，从由成像装置11-1成像的图像11-1中检测特征点a至r。特征点a是从右脚踝部分检测的特征点，特征点b是从左脚踝部分检测的特征点。特征点c是从右膝部分检测到的特征点，并且特征点d是从左膝部分检测到的特征点。

特征点e是从右腰部检测的特征点，并且特征点f是从左腰部检测的特征点。特征点g是从右手腕部分检测的特征点，并且特征点h是从左手腕部分检测的特征点。特征点i是从右肘部检测的特征点，并且特征点j是从左肘部检测的特征点。

特征点k是从右肩部检测的特征点，并且特征点l是从左肩部检测的特征点。特征点m是从颈部检测的特征点。特征点n是从右耳部分检测到的特征点，并且特征点o是从左耳部分检测到的特征点。特征点p是从右眼部检测到的特征点，并且特征点q是从左眼部检测到的特征点。特征点r是从鼻部检测的特征点。

参照图11中的右图，从由成像装置11-2成像的图像11-2检测特征点a'至o'。从图像11-2检测的特征点(特征点标识符)用虚线描述，并且相同的标识符表示相同的位置，例如，标识符a和标识符a'表示从右脚踝检测的特征点。

由于成像装置11-2拍摄人的背部，所以从面部部分检测到的眼睛和鼻子未被检测到，因此未示出特征点p'、特征点q'和特征点r'。

将参考图11描述的特征点输入到位置检测单元122-1(图6)。除了诸如特征点位置和特征点标识符的信息之外，还向位置检测单元122-1输入指示哪个成像装置11已对特征点进行了成像的信息(被描述为成像装置指定信息)和拍摄帧编号的信息等，作为关于特征点的信息。

拍摄帧编号是用于识别要处理的图像的信息，并且例如可以是在开始由成像装置11进行的拍摄之后顺序分配给各帧的编号。成像装置指定信息和拍摄帧编号与来自成像装置11的图像数据一起被发送(包括在其中)。诸如拍摄时间的其它信息也可以与图像数据一起被发送。

如图4所示，在特征点检测单元102被包括在成像装置11中的配置的情况下，诸如成像装置指定信息和拍摄帧编号的信息与诸如特征点位置和特征点标识符的信息一起被发送。

位置检测单元122使用所提供的信息将从分别由成像装置11-1和成像装置11-2拍摄的图像中提取的特征点相关联。相关联的是从相同位置提取的特征点，换句话说，在相同特征点位置的特征点。例如，在图11所示的情况下，将从右脚踝检测到的特征点A和特征点A'相关联，并且将从左脚踝检测到的特征点B和特征点B'相关联。在下文中，将关联的两个特征点描述为对应点。

在使用8点算法计算外部参数的情况下，八对相应点就足够了。由于从图像11-1检测到十八个特征点，并且从图像11-2检测到十五个特征点，因此获得十五对对应点。使用十五对对应点中的八对对应点，并且如上所述计算外部参数。

8点算法用于获得两个成像装置11的相对旋转和位置信息的变化。因此，为了获得多个成像装置中的两个或更多个的位置信息，例如，为了获得三个成像装置11-1至11-3的位置信息，如参照图7所述，将一个成像装置11设置为基准，并且获得相对于基准成像装置11的相对位置。

因此，如图6所示，需要两个位置检测单元122。换句话说，为了获得N个成像装置的位置信息，在信息处理设备12中提供(N-1)个位置检测单元122。

在步骤S103(图8)中，由位置检测单元122-1获得成像装置11-1和成像装置11-2的相对位置(外部参数)，由位置检测单元122-2获得成像装置11-1和成像装置11-3的相对位置(外部参数)。

由于通过迄今为止的处理来检测成像装置11-1和成像装置11-2的相对位置以及成像装置11-1和成像装置11-3的相对位置，所以可以基准成像装置11-1来获得成像装置11-1至11-3的相应位置，如参考图7所述。因此，可以将在该时间点检测到的相对位置提供给位置综合单元124，并且可以将处理移动到对成像装置11-1至11-3的位置进行综合的处理。

将在进一步执行提高外部参数的精度的处理的假设下继续描述。在上述处理中，使用八对对应点获得外部参数。通过从更多信息计算外部参数，可以提高要计算的外部参数的精度。

将描述使用八对或更多对对应点来提高成像装置11的外部参数的精度的处理。为了提高外部参数的精度，执行关于所计算的外部参数是否正确的验证(步骤S104)。

为了提高要计算的外部参数的精度，从任意或随机选择的八对对应点获得的外部参数中选择与剩余特征点的位置具有最高一致性的外部参数。在这种情况下的一致性意味着，当将用于计算外部参数的八对对应点之外的对应点代入上述表达式(1)时，如果所计算的成像装置11的外部参数正确，则右侧变为0，或者如果所计算的外部参数不正确，则出现误差E。

例如，在从特征点a至h和特征点a'至h'的八对对应点获得外部参数的情况下，并且当将所获得的外部参数和特征点i至o和特征点i'至o'的任一对对应点代入表达式(1)时，可以确定在结果变为0的情况下已经计算出正确的外部参数，并且可以确定在结果变为除0之外的误差E的情况下已经计算出错误的外部参数。

在替换结果是误差E的情况下，从除了在预先计算外部参数时使用的特征点a至h和特征点a'至h'的八对对应点之外的对应点(例如，从特征点a至g和i以及特征点a'至g'和i')获得外部参数，并且将所获得的外部参数和除了特征点a至g和i以及特征点a'至g'和i'的八对对应点之外的对应点替换到表达式(1)中，并且确定是否出现误差E。

可以将置换结果为0或误差E为最小值的外部参数估计为以最高精度计算的外部参数。将再次参考图12描述执行这种处理的情况。

在时间T1，从特征点a至h和特征点a'至h'之间的八对对应点获得外部参数，并计算基本矩阵F1。特征点i和特征点i'之间的对应点被代入表达式(1)，其中基本矩阵F1在表达式(1)中为F。此时的计算结果为误差E1i。同样地，将特征点j和特征点j'之间的对应点代入表达式(1)，其中基本矩阵F1在表达式(1)中为F，并计算误差E1j。

对于特征点k至o和特征点k'至o'之间的各个对应点，通过执行其中基本矩阵F1在表达式(1)中为F的计算来计算误差E1k至E1o。将所有计算的误差E1i加到E1o所获得的值设置为误差E1。

在时间T2，从特征点a至g和i与特征点a'至g'和i'之间的八对对应点获得外部参数，并计算基本矩阵F2。将特征点h和特征点h'之间的对应点代入表达式(1)，其中基本矩阵F2在表达式(1)中为F，计算误差E2h。同样，对于特征点j至o和特征点j'至o'之间的各个对应点，通过执行其中基本矩阵F2在表达式(1)中为F的计算来计算误差E2j至E2o。将通过将所有计算的误差E2h和误差E2j加到E2o而获得的值设置为误差E2。

如上所述，使用八对对应点计算外部参数，并且使用除了用于计算的八对对应点之外的对应点分别计算所计算的外部参数的误差E，并且最终计算总值。在改变用于计算外部参数的八对的对应点的同时重复执行这种处理。

在从十五对对应点中选择八对对应点并计算外部参数的情况下，计算₁₅C₈个外部参数，并且当计算所有对应点的外部参数时，根据组合公式计算误差E。计算₁₅C₈个误差E中具有最小值的误差E时的外部参数为以最高精度计算的外部参数。

然后，使用以最高精度计算的外部参数执行随后的处理，可以以高精度计算成像装置11的位置信息。

这里，使用八对对应点计算外部参数，并且使用除了用于计算的八对对应点之外的对应点计算所计算的外部参数的误差E，并且比较相加的值。作为另一种方法，当代替相加前的相应点时获得的误差E的最大值可以在没有相加的情况下在以上描述中进行比较。

当比较误差E的最大值时，提取具有最小最大值的误差E，并且可以将计算所提取的误差E时的外部参数计算为以最高准确度计算的外部参数。例如，在上述示例中，比较误差E1i至E1o中的最大值和误差E2h及误差E2j至E2o中的最大值，并且当计算较小误差E时的外部参数可以被设置为以最高准确度计算的外部参数。

此外，可以使用误差E的中值或误差E的平均值而不是误差E的最大值来计算以最高精度计算的外部参数。

此外，在使用误差E的最大值、中值或平均值的情况下，可以通过阈值处理预先执行排除具有大误差的特征点的处理，以便排除离群值。例如，在图12中的时间T1，计算误差E1i至E1o。在误差E1i至E1o中的误差E1o等于或大于阈值的情况下，例如，可以使用排除了误差E1o的误差E1i至E1n来计算最大值、中值或平均值。

此外，根据基于上述文献1的处理(计算特征点的处理)，可以计算每个特征点的可靠性作为附加信息。可以考虑可靠性来计算外部参数。在对人进行成像并检测特征点的情况下，所检测的特征点的可靠性根据人的姿势、或者成像装置相对于人的位置或角度而不同。

例如，如图11所示，当从正面拍摄人时的右眼位置处的特征点N的可靠性高，但是当从背面拍摄人时的右眼位置处的特征点N'即使被检测到，其可靠性也低。

例如，可以使用具有高可靠性的特征点的前8个对应点来获得外部参数。此外，在执行提高外部参数的精度的上述处理的情况下，可以仅使用具有预定阈值以上的可靠性的特征点来执行处理。换句话说，使用具有预定阈值以上的可靠性的八对相应点来获得外部参数，并且可以使用除了用于计算外部参数的八对相应点之外的特征点的相应点来计算误差E，并且误差E具有预定阈值以上的可靠性。

此外，可靠性可以用作权重。例如，在提高外部参数的精度的处理中，在计算误差E的总值并比较这些总值的情况下，可以计算这些总值，使得从具有高可靠性的特征点计算的误差E的权重变大，而从具有低可靠性的特征点计算的误差E的权重变小。换句话说，可以将在使用具有高可靠性的特征点的计算中计算的误差E视为具有高可靠性的误差E，并且将在使用具有低可靠性的特征点的计算中计算的误差E视为具有低可靠性的误差E，来计算误差E的总值。

通过使用可靠性的计算，可以提高外部参数的可靠性，即外部参数的精度。

由于通过迄今为止的处理来检测成像装置11-1和成像装置11-2的相对位置以及成像装置11-1和成像装置11-3的相对位置，所以如参照图7所述，可以参照成像装置11-1来获得成像装置11-1至11-3的各条位置信息。因此，可以将此时检测到的相对位置提供给位置综合单元124，并且处理可以移动到对成像装置11-1至11-3的位置信息进行综合的处理。

这里，将使用执行位置平滑单元123中的处理以便提高所计算的相对位置的精度的情况作为例子来继续描述。

在步骤S103和S104(图8)中，将由位置检测单元122-1验证的成像装置11-1和成像装置11-2的相对位置(外部参数)提供给位置平滑单元123-1，并且将由位置检测单元122-2验证的成像装置11-1和成像装置11-3的相对位置(外部参数)提供给位置平滑单元123-2。

在步骤S105中，位置平滑单元123在时间方向上平滑外部参数。

通过直到步骤S103的处理，换句话说，通过位置检测单元122的处理来计算外部参数，但是使用八对对应点来计算外部参数。因此，存在噪声被包括在外部参数中并且外部参数不是精确值的可能性。例如，在从侧面(右侧或左侧)对人进行成像的情况下，被检测为身体特征点的仅是成像表面侧。因此，特征点的数量小于十八个特征点，如图11中的左图所示。此外，在这种情况下，存在不能检测到八个特征点的可能性，并且如果不能检测到八个特征点，则不应用8点算法，因此在一些情况下不能检测到外部参数。

此外，存在这样的情况，其中在一些情况下，即使在从侧面对人进行成像的情况下检测到八个或更多特征点，仍包括具有低可靠性的特征点，并且存在通过使用具有低可靠性的特征点而在外部参数中包括噪声的可能性。因此，为了去除这种噪声，在时间方向上执行平滑。

换句话说，提供给位置平滑单元123的相对位置信息是在位置检测单元122中检测到的两个成像装置11的相对位置和旋转角度的信息，是三维信息。因此，位置平滑单元123使成像装置11的位置和光轴的旋转角度在时间方向上平滑。为了描述平滑，该三维信息被表达如下。下面描述的值是指示成像装置11-2或成像装置11-3相对于基准成像装置11(在这种情况下，成像装置11-1)的位置信息的值。

CamPosX1(K,t)：成像装置的位置的X坐标

CamPosY1(K,t)：成像装置的位置的Y坐标

CamPosZ1(K,t)：成像装置的位置的Z坐标

CamAngleX1(K,t)：绕光轴的X轴的旋转角度

CamAngleY1(K,t)：绕光轴的Y轴的旋转角度

CamAngleZ1(K,t)：绕光轴的Z轴的旋转角度

这些值表示预定时间t处的值，并且k是成像装置11的标识符，例如，分配给成像装置11的编号。这里，由于使用三个成像装置11-1至11-3被布置为示例的示例进行描述，所以在将1分配给成像装置11-1、将2分配给成像装置11-2、将3分配给成像装置11-3的情况下，将2或3设置为上述值中的k个作为标识符。

在位置平滑化单元123-1中，输入CamPosX1(2,t)、CamPosY1(2,t)、CamPosZ1(2,t)、CamPosX1(2,t)、CamPosY1(2,t)、CamPosZ1(2,t)，作为在规定时间t成像装置11-2相对于成像装置11-1的位置信息。进一步，在位置平滑化单元123-2中，输入CamPosX1(3,t)、CamPosY1(3,t)、CamPosZ1(3,t)、CamPosX1(3,t)、CamPosY1(3,t)、CamPosZ1(3,t)，作为在规定时间t成像装置11-3相对于成像装置11-1的位置信息。

位置平滑化单元123使用平滑化系数α，基于下述表达式(6)对位置信息在时间方向上进行平滑化。

CamPosX1(K,t)＝α×CamPosX1(K,t)+(1-α)×CamPosX1(K,t-1)

CamPosY1(K,t)＝α×CamPosY1(K,t)+(1-α)×CamPosY1(K,t-1)

CamPosZ1(K,t)＝α×CamPosZ1(K,t)+(1-α)×CamPosZ1(K,t-1)

CamAngleX1(K,t)＝α×CamAngleX1(K,t)+(1-α)×CamAngleX1(K,t-1)CamAngleY1(K,t)＝α×CamAngleY1(K,t)+(1-α)×CamAngleY1(K,t-1)CamAngleZ1(K,t)＝α×CamAngleZ1(K,t)+(1-α)×CamAngleZ1(K,t-1)

...(6)

平滑系数α可以是这六个值共有的值，或者可以是针对这六个值中的每一个的不同的值。参照表达式(6)，例如，X坐标的表达式，使用在时间t获得的值和在前一时间t-1获得的值来计算在时间t的X坐标值。这里，将使用在时间t和时间t-1的值的情况作为例子继续描述。然而，也可以使用进一步的在前的时间t-2、时间t-3等的值。

通过如上所述在时间方向上平滑位置信息，可以应对以下状态的发生，并且因此可以以高精度获得成像装置11的位置信息。

在本实施例中，如参考图1至图7所述，由三个成像装置11-1至11-3拍摄人，从拍摄图像中检测作为人的身体特征的特征点，并且使用特征点来指定成像装置11-1至11-3的位置信息。这里，如果三个成像装置11-1至11-3同时拍摄同一个人，则可以通过直到位置平滑单元123之前的处理来指定成像装置11-1至11-3的各条位置信息。

然而，存在成像装置11-1至11-3不同时拍摄同一个人的可能性。例如，有可能出现这样的情形，其中在时间t，成像装置11-1和成像装置11-2拍摄人A，但是成像装置11-3由于人A存在于成像装置11-3的视场之外而不拍摄人A。在这样的情形下，不从由成像装置11-3拍摄的图像中检测到特征点，并且不获得从由成像装置11-1拍摄的图像中检测到的特征点的对应点。

当出现这种情况时，使用在时间t之外的时间检测到的特征点来计算位置信息。然而，即使人A在预定时间t没有被成像装置11-3拍摄，但是在另一时间由于人A的移动，人A存在于成像装置11-3的视野内，并且成像装置11-3拍摄人A的可能性很高。

因此，在特征点在时间t没有从来自成像装置11-3的图像获得的情况下，使用在前一时间点对人A成像时获得的特征点来计算成像装置11-3的位置信息，或者使用从在人A移动、变得可被拍摄、并且在稍后时间点被拍摄时获得的图像检测到的特征点来计算成像装置11-3的位置信息。

位置平滑化单元123在位置检测单元122能够取得最新时刻t的位置信息时使用位置信息，位置平滑化单元123累积前一时刻t-1的结果，在位置检测单元122未取得位置信息时使用累积的结果。

通过由位置平滑单元123执行这样的处理，即使不是所有的多个成像装置11都被安装微视场重叠的状态，换句话说，即使不是所有的多个成像装置11都被安装在成像装置11可以同时拍摄同一个人的位置处，也能够计算成像装置11的相对位置。

换言之，即使将不是基准的成像装置11配置为视野不重叠的状态，只要它们的视野与基准成像装置11的视野重叠，仍然能够通过人的移动来计算多个成像装置11的各条位置信息。

在步骤S105(图8)中，将由位置平滑化单元123(图6)在时间方向上平滑化后的位置信息(外部参数)输出至位置综合单元124。在步骤S106中，位置综合单元124综合位置信息。

从位置平滑单元123-1提供基于成像装置11-1的成像装置11-2的相对位置的信息，并且从位置平滑单元123-2向位置综合单元124提供基于成像装置11-1的成像装置11-3的相对位置的信息。如参照图7所述，位置综合单元124使用所提供的信息综合成像装置11-1、成像装置11-2和成像装置11-3的位置信息。

如上所述，根据本技术，可以指定多个成像装置的位置。此外，为了指定位置，对人进行成像，检测人的身体特征，并且使用特征点。因此，例如，可以在没有校准板等的情况下执行成像装置的校准。

注意，在上述实施例中，已经作为示例描述了将人作为被摄体进行拍摄并且检测人的身体特征的情况。然而，除了人之外的任何被摄体都可以应用于本技术，只要该被摄体是可以从其获得身体特征的被摄体即可。例如，可以使用仿真人的形状的所谓的人体模型、填充动物等来代替上述人。此外，动物等可以应用于本技术。

<第二实施例>

图13是图示根据第二实施例的信息处理设备12b的配置示例的图。如图6所示的根据第一实施例的信息处理设备12a中那样，图13所示的信息处理设备12b具有处理来自三个成像装置11-1至11-3的图像的情况的配置。与图6所示的根据第一实施例的信息处理设备12a的那些相同的部分用相同的附图标记表示，并且将适当地省略对相同部分的描述。

如上所述，根据第一实施例的信息处理设备12a在位置平滑单元123中在时间方向上平滑位置信息来作为抗噪措施，而根据第二实施例的信息处理设备12b的不同之处在于增加了在位置检测单元122中处理的特征点的数目来作为抗噪措施。

具体地，如图13所示，信息处理设备12b与根据第一实施例的信息处理设备12a的不同之处在于，具有添加了累积在特征点检测单元132中检测到的特征点累积单元201的配置。

此外，图13中所示的信息处理设备12b与根据第一实施例的信息处理设备12a的不同之处在于，具有由于通过累积特征点来执行处理而删除位置平滑单元123(图6)的配置。尽管在根据第二实施例的信息处理设备12b中可以提供位置平滑单元123，但是这里将使用没有位置平滑单元123的配置的情况作为例子继续描述。

特征点累积单元201-1累积由特征点检测单元132-1从由成像装置11-1拍摄的图像检测的特征点。类似地，特征点累积单元201-2累积由特征点检测单元132-2从由成像装置11-2拍摄的图像检测的特征点，并且特征点累积单元201-3累积由特征点检测单元132-3从由成像装置11-3拍摄的图像检测的特征点。

特征点累积单元201累积从在不同时间成像的多个图像检测到的特征点。通过特征点的累积，例如，即使在预定时间t人A没有被成像装置11-3成像并且没有检测到特征点，在除了时间t之外的时间由成像装置11-3成像的人A的特征点也可以保持累积。因此，即使当没有对人A成像时，也可以防止出现不存在用于指定成像装置11的位置信息的特征点的情况。

将参考图14中的流程图描述图13中所示的信息处理设备12b的操作。

在步骤S201中，图像输入单元131输入图像数据。在步骤S202中，特征点检测单元132检测表示人的身体特征的特征点。由于步骤S201和S202中的处理与步骤S101和S102(图8)中的处理类似，因此省略其描述。

在步骤S203中，特征点累积单元201累积由特征点检测单元132检测到的特征点。特征点累积单元201-1累积由特征点检测单元132-1从由成像装置11-1成像的图像检测的特征点。类似地，特征点累积单元201-2累积由特征点检测单元132-2从由成像装置11-2成像的图像检测的特征点，并且特征点累积单元201-3累积由特征点检测单元132-3从由成像装置11-3成像的图像检测的特征点。

在步骤S204中，确定累积的特征点的数量是否已经变为阈值以上。该确定可以由特征点累积单元201或由位置检测单元122参考累积在特征点累积单元201中的特征点的数量来执行。在步骤S204中确定累积的特征点的数量尚未变为阈值以上的情况下，处理返回到步骤S201，并且重复步骤S201和后续步骤中的处理。

另一方面，在步骤S204中确定累积的特征点的数量已经变为阈值以上的情况下，处理进行到步骤S205。在步骤S205中，位置检测单元122计算外部参数(计算成像装置11的位置信息)。在步骤S206中，验证所计算的外部参数。

由于步骤S205中的外部参数的计算和步骤S206中的外部参数的验证与步骤S103和S104(图8)中的处理类似地执行，因此这里省略对处理的详细描述。

在步骤S205中，基于8点算法计算外部参数，并且在步骤S206中，使用除了用于计算外部参数的八对对应点之外的对应点来执行验证。通过如参考图12所述的那样计算误差E来执行该验证。

当执行该验证时，使用除了用于计算外部参数的八对对应点之外的对应点。用于验证的对应点的数量大于第一实施例的情况。

例如，在从一个帧(一个图像)中检测到十八个特征点并且累积十个帧的特征点的情况下，累积了一百八十(180)个特征点。使用累积的一百八十个特征点中的八个特征点来计算外部参数，并且使用剩余的一百七十二个(172＝180-8)特征点来执行验证。由于以这种方式增加了用于验证的特征点(对应点)的数量，因此可以提高验证的精度，并且可以提高所计算的外部参数的精度。

此外，可以增加用于计算外部参数的八对的对应点的组合的数量。因此，当重复改变对应点的组合、计算外部参数和验证外部参数的处理时，可以增加要验证的外部参数的数量，并且可以设置更适当的外部参数。

此外，通过特征点的累积，即使存在尚未从其检测到特征点的帧(图像)，也累积从在该帧之前和之后拍摄的图像检测到的特征点。因此，可以计算外部参数。

作为这种验证的结果而计算的外部参数(成像装置11的位置关系)被输出到位置综合单元124。在步骤S207中，位置综合单元124综合参数以指定成像装置11的位置关系。由于步骤S207中的处理类似于步骤S106(图8)中的处理，因此省略对该处理的描述。

在以这种方式在累积特征点并且累积了预定数量的特征点的时间点，计算外部参数。在这种情况下，在步骤S204中，确定累积的特征点的数量是否变为阈值以上。用于该确定的阈值可以简单地设置为诸如5000的数值。

此外，该阈值被有利地设置为能够被确定为足以计算外部参数的值。因此，使用以下两个指标，将用于检测人的身体特征点的图像的数量(帧的数量)确定为阈值的指标。

第一指标是特征点的数量，并且被描述为指标标志(Flag)T。指标标志T由下面的表达式(7)定义。在以下表达式(7)中，Tk表示在第k个图像中检测到的人的身体特征点的数量。另外，在下述表达式(7)中，Th k表示阈值。

标志T＝0(ΣTk＜Th k)

1(其他)...(7)

表达式(7)是这样的表达式，该表达式用于在特征点累积单元201中累积的特征点的数量小于阈值Th k的情况下将0设置为指标标志T并且在特征点的数量等于或大于阈值Th k的情况下将1设置为指标标志T。

第二指标是特征点的分布，并且被描述为指标标志A。该指标标志A由下面的表达式(8)定义。通过将图像划分为水平方向上的M个和垂直方向上的N个，一个图像被划分为M×N个块。在各块中是否存在特征点由B(M,N)表示。在下述表达式(8)中，Th表示阈值。

标志A＝0(ΣB(M,N)＜Th A)

1(其他)...(8)

在表达式(8)中，在块中存在至少一个特征点的情况下，设置B(M,N)＝1，并且在块中不存在特征点的情况下，设置B(M,N)＝0。表达式(8)是这样的表达式，该表达式用于在B(M,N)的累积总数小于阈值Th A的情况下将0设置为指标标志A，并且在累积总数等于或大于阈值Th A的情况下将1设置为指标标志A。换言之，表达式(8)是累积存在特征点的块的数量并且确定累积总数是否变为阈值Th A以上的表达式。

将特征点的分布用作第二指标的原因在于，当用于外部参数的获得(验证)的特征点(对应点)存在于整个图像上时，可以以比用于外部参数的获得(验证)的特征点(对应点)局部存在于图像的一部分中更高的精度来执行外部参数的获得(验证)。

当在步骤S204(图14)中执行关于特征点的数量是否是阈值以上的确定时，确定两个指标标志T和指标标志A是否都被设置为1。

如图13所示，在存在特征点累积单元201-1至201-3的情况下，换句话说，在处理三个成像装置11的情况下，针对特征点累积单元201-1至201-3中的每一个确定是否建立指标标志T＝1和指标标志A＝1。然后，当确定在特征点累积单元201-1至201-3中的每一个中建立指标标志T＝1和指标标志A＝1时，将分别累积在特征点累积单元201-1至201-3中的特征点提供给对应的位置检测单元122-1和122-2。

通过以这种方式考虑特征点的分布来累积用于计算外部参数的特征点，可以以更高的精度获得外部参数。

由于在累积了用于计算外部参数的足够特征点之后计算外部参数，因此可以通过在第一实施例的信息处理设备12a中设置的未提供位置平滑单元123的配置来以高精度计算外部参数。然而，甚至根据第二实施例的信息处理设备12b也可以具有提供了位置平滑单元123的配置。

例如，特征点累积单元201由存储器构成，但是在不能确保存储器的容量的情况下，或者在例如计算量有限并且不使用足够数量的特征点并且不能确保精度的情况下，可以采用设置有位置平滑化单元123的配置来确保精度。

<第三实施例>

在第一和第二实施例中，已经作为示例描述了将多个成像装置11中的一个设置为基准并且获得与基准成像装置11的相对位置关系的情况。作为第三实施例，将描述在不设置基准成像装置11的情况下获得多个成像装置之间的位置关系的情况。

图15是示出根据第三实施例的信息处理设备12c的配置的图。图15中所示的信息处理设备12c与图6中所示的根据第一实施例的信息处理设备12a的不同之处在于具有添加了位置检测单元122-3和位置平滑单元123-3的配置。

参照图15，信息处理设备12c包括从成像装置11-1输入图像数据的图像输入单元131-1、从成像装置11-2输入图像数据的图像输入单元131-2以及从成像装置11-3输入图像数据的图像输入单元131-3。

输入到图像输入单元131-1的图像数据被提供给特征点检测单元132-1。同样，输入到图像输入单元131-2的图像数据被提供给特征点检测单元132-2，并且输入到图像输入单元131-3的图像数据被提供给特征点检测单元132-3。

特征点检测单元132-1从由成像装置11-1成像的图像中提取特征点，并将特征点提供给位置检测单元122-1和位置检测单元122-2。特征点检测单元132-2从由成像装置11-2成像的图像中提取特征点，并将特征点提供给位置检测单元122-1和位置检测单元122-3。特征点检测单元132-3从由成像装置11-3成像的图像中提取特征点，并将特征点提供给位置检测单元122-2和位置检测单元122-3。

从由成像装置11-1成像的图像中提取的特征点和从由成像装置11-2成像的图像中提取的特征点被提供给位置检测单元122-1，并且位置检测单元122-1使用所提供的特征点来检测成像装置11-1和成像装置11-2之间的相对位置。由位置检测单元122-1检测的成像装置11-1和成像装置11-2之间的相对位置被提供给位置平滑单元123-1。

从由成像装置11-1成像的图像中提取的特征点和从由成像装置11-3成像的图像中提取的特征点被提供给位置检测单元122-2，并且位置检测单元122-2使用所提供的特征点来检测成像装置11-1和成像装置11-3之间的相对位置。由位置检测单元122-2检测到的成像装置11-1和成像装置11-3之间的相对位置被提供给位置平滑单元123-2。

从由成像装置11-2成像的图像中提取的特征点和从由成像装置11-3成像的图像中提取的特征点被提供给位置检测单元122-3，并且位置检测单元122-3使用所提供的特征点来检测成像装置11-2和成像装置11-3之间的相对位置。由位置检测单元122-3检测到的成像装置11-2和成像装置11-3之间的相对位置被提供给位置平滑单元123-3。

位置平滑单元123-1对成像装置11-1和成像装置11-2之间的相对位置执行平滑处理。位置平滑单元123-2对成像装置11-1和成像装置11-3之间的相对位置执行平滑处理。位置平滑单元123-3对成像装置11-2和成像装置11-3之间的相对位置执行平滑处理。

来自位置平滑单元123-1的位置信息、来自位置平滑单元123-2的位置信息和来自位置平滑单元123-3的位置信息被提供给位置综合单元124。位置综合单元124综合多个成像装置11之间的位置关系，在这种情况下，综合成像装置11-1、成像装置11-2和成像装置11-3之间的位置关系。

图15中所示的信息处理设备12c具有当第三实施例被应用于根据第一实施例的信息处理设备12a时的配置。如在第一实施例的信息处理设备12a中那样，平滑是为了提高要检测的位置信息的精度而执行的处理，并且是当要检测的特征点的数量少并且存在要检测的位置信息的精度降低的可能性时执行的处理，因此在获得足够精度的情况下可以省略。换句话说，可以从信息处理设备12c的配置中删除位置平滑单元123，并且甚至删除后的配置也在本技术的应用范围内。

在将第三实施例应用于根据第二实施例的信息处理设备12b的情况下，获得图16所示的信息处理设备12d的配置。图16中所示的信息处理设备12d与图13中所示的根据第二实施例的信息处理设备12b的不同之处在于具有添加了位置检测单元122-3的配置。

位置检测单元122-3使用从由成像装置11-2拍摄的图像检测的并且在特征点累积单元201-2中累积的特征点和从由成像装置11-3拍摄的图像检测的并且在特征点累积单元201-3中累积的特征点，计算成像装置11-2和成像装置11-3之间的相对位置关系。

图16中所示的信息处理设备12d还可以具有添加了位置平滑单元123的配置，如图13中所示的信息处理设备12b中那样。

这里，将以图15所示的信息处理设备12c的配置的情况为例来描述第三实施例。由于根据第三实施例的信息处理设备12c的操作是基于图8所示的流程图中的处理来执行的，所以与根据第一实施例的信息处理设备12a中一样，省略了对操作的描述。然而，在步骤S106中由位置综合单元124执行的处理是不同的。因此，这里将给出描述。

将参考图17描述图15所示的信息处理设备12c的位置综合单元124中的处理，图17中的左图示出由位置检测单元122检测的位置关系，图17中的右图示出由位置综合单元124综合的位置关系。

位置检测单元122检测多个成像装置11中的两个成像装置11之间的相对位置关系。换句话说，位置检测单元122检测两个成像装置11中的一个成像装置11相对于另一个成像装置11的位置信息。另外，换句话说，位置检测单元122将两个成像装置11中的任一个设定为基准，并且检测基准成像装置11和不作为基准的另一个成像装置11之间的位置关系。

这里，为了方便起见，假设分配给成像装置11的成像装置指定信息是编号，并且具有较小编号的成像装置11被设置为基准。此外，该编号例如是附到附图标记的分支编号，并且在成像装置11-1指示成像装置指定信息例如是“1”的假设下继续描述。

参考图17中的左图，由位置检测单元122-1检测成像装置11-1和成像装置11-2之间的相对位置。在成像装置11-1的位置信息是位置P21的情况下，由位置检测单元122-1检测成像装置11-2相对于位置P21的位置P12。位置P21表示成像装置11-1相对于成像装置11-2的位置信息。此外，位置P12表示成像装置11-2相对于成像装置11-1的位置信息。

位置检测单元122-2检测成像装置11-1和成像装置11-3之间的相对位置。在成像装置11-1的位置信息是位置P31的情况下，位置检测单元122-2检测成像装置11-3相对于位置P31的位置P13。位置P31表示成像装置11-1相对于成像装置11-3的位置信息。此外，位置P13表示成像装置11-3相对于成像装置11-1的位置信息。

位置检测单元122-3检测成像装置11-2和成像装置11-3之间的相对位置。在成像装置11-2的位置信息是位置P32的情况下，位置检测单元122-3检测成像装置11-3相对于位置P32的位置P23。位置P32指示成像装置11-2相对于成像装置11-3的位置。此外，位置P23指示成像装置11-3相对于成像装置11-2的位置。

位置信息是表示多个成像装置11之间的相对位置和在真实空间中的位置的信息。此外，如第一和第二实施例中那样，位置信息包括成像装置11的X坐标、Y坐标、Z坐标、绕光轴的X轴的旋转角度、绕光轴的Y轴的旋转角度、绕光轴的Z轴的旋转角度。

位置综合单元124能够从位置检测单元122-1取得位置P12的信息，从位置检测单元122-2取得位置P13的信息，从位置检测单元122-3取得位置P23的信息。位置综合单元124使用所取得的信息综合成像装置11-1到11-3的位置。

如上所述，信息处理设备12c检测多个成像装置11中的两个成像装置11之间的相对位置关系，并且对相对位置关系进行综合，从而检测多个成像装置11之间的位置关系。

将进一步描述位置综合单元124的处理。位置综合单元124可以基于作为相对于成像装置11-1的相对位置的位置P13的信息指定成像装置11-3的位置信息，或者可以基于作为相对于成像装置11-2的相对位置的位置P23的信息指定成像装置11-3的位置信息。

如果基于位置P13指定的成像装置11-3的位置与基于位置P23指定的成像装置11-3的位置一致，则是有利的。然而，在位置P13和位置P23中的一个或两个中存在错误的情况下考虑不一致。

为了防止这种误差的发生，在位置综合单元124中进行综合。提供给位置综合单元124的位置信息是三维信息，并且可以如下表示。

CamPosX2(K,L)：成像装置的位置的X坐标

CamPosY2(K,L)：成像装置的位置的Y坐标

CamPosZ2(K,L)：成像装置的位置的Z坐标

CamAngleX2(K,L)：绕光轴的X轴的旋转角度

CamAngleY2(K,L)：绕光轴的Y轴的旋转角度

CamAngleZ2(K,L)：绕光轴的Z轴的旋转角度

在这些值中，k是成像装置11的标识符，例如，分配给成像装置11的编号。这里，由于使用三个成像装置11-1至11-3被布置为示例的示例给出描述，所以在分别将1分配给成像装置11-1、将2分配给成像装置11-2、将3分配给成像装置11-3的情况下，将1至3中的任何一个设置为上述值中的k个作为标识符。

此外，在这些值中，L表示基准成像装置11的标识符。由于基准成像装置11具有较小的数量，所以基准成像装置11对于成像装置11-2是成像装置11-1，并且对于成像装置11-3是成像装置11-1或成像装置11-2。因此，1或2被设置为L。

假定将基准成像装置在三维空间中的位置设置为原点(0,0,0)，并且将光轴设置为X轴方向。换句话说，使用上述值建立以下表达式。

CamPosX2(1,1)＝CamPosY2(1,1)＝CamPosZ2(1,1)＝0

CamPosX2(2,2)＝CamPosY2(2,2)＝CamPosZ2(2,2)＝0

CamAngleX2(1,1)＝1,CamAngleY2(1,1)＝CamPosZ2(1,1)＝0

CamAngleX2(2,2)＝1,CamAngleY2(2,2)＝CamPosZ2(2,2)＝0在参考图17的描述中，位置P21和P31指示当成像装置11-1被设置为基准时成像装置11-1的位置信息，因此变为这里描述的值。此外，位置P32表示当成像装置11-2被设置为基准时成像装置11-2的位置信息，因此变为这里描述的值。

此外，例如，位置P12指示当成像装置11-1被设置为基准时成像装置11-2的位置信息，因此位置P12的X坐标变为CamPosX2(2,1)。其它值可以类似地表示。

在基准成像装置11不是成像装置11-1的情况下，基准成像装置11的位置是原点。例如，在基准成像装置11是成像装置11-2的情况下，成像装置11-2的位置是原点。

在基准成像装置11是第M个成像装置11的情况下，执行旋转变换和平行平移，以便与当基准成像装置11是成像装置11-1时成像装置11-M的位置匹配。

例如，在M＝2的情况下，基准成像装置11是成像装置11-2，并且执行旋转变换和平行平移以与当基准成像装置11是成像装置11-1时成像装置11-2的位置匹配。

CamPosX2'(K,L)：变换后的成像装置的位置的X坐标

CamPosY2'(K,L)：变换后的成像装置的位置的Y坐标

CamPosZ2'(K,L)：转换后的成像装置的位置的Z坐标

CamAngleX2'(K,L)：变换后的绕光轴的X轴的旋转角度

CamAngleY2'(K,L)：变换后的绕光轴的Y轴的旋转角度

CamAngleZ2'(K,L)：变换后的绕光轴的Z轴的旋转角度

当在成像装置11的位置信息和在位置检测单元122中计算出的光轴的旋转角度中没有误差(经位置平滑单元123平滑)时，三个成像装置11-1至11-3的光轴的位置信息和旋转角度一致。然而，由于存在误差的可能性，所以对所获得的值进行平均，并且将平均值作为位置信息。平均值通过下表达式(9)计算。

CamPosX2ave(K)＝1/n∑CamPos2X'(K,L)

CamPosY2ave(K)＝1/n∑CamPos2Y'(K,L)

CamPosZ2ave(K)＝1/n∑CamPos2Z'(K,L)

CamAngleX2ave(K)＝1/n∑CamAngle2X'(K,L)

CamAngleY2ave(K)＝1/n∑CamAngle2Y'(K,L)

CamAngleZ2ave(K)＝1/n∑CamAngle2Z'(K,L)

...(9)

在表达式(9)中，n是针对每个成像装置11检测的位置信息和光轴的旋转角度的条数。n是比成像装置11的数量(N)小一的值，即，满足n＝N-1的值。这里，使用三个成像装置11是要处理的被摄体的情况给出描述，因此n是2。

在基于表达式(9)的计算中获得例如关于X的值以及成像装置11-1的位置信息和旋转角度的情况下，具体表达式如下。

CamPosX2ave(1)＝1/2(CamPos2X'(1,2)+CamPos2X'(1,3))

还基于表达式(9)计算成像装置11-1中除X之外的值以及成像装置11-2和11-3中的值。

以这种方式，可以容易地获得成像装置11的光轴的位置信息和旋转角度。因此，例如，当以小的计算量获得成像装置11的位置关系时，可以应用该方法。根据该方法，因为相对于基准成像装置11-1获得另一成像装置11的位置关系，所以存在不必在整体上优化位置关系的可能性。

换句话说，在相对于基准成像装置11-1的相对位置的误差大的情况下，整体位置关系受到误差的影响，并且可能包括误差。因此，下面将描述作为整体优化位置关系的方法。

误差E由下面的表达式(10)定义。在表达式(10)中，位置信息中的误差是误差Epos，成像装置的识别信息(编号)是编号k，并且基准成像装置11的编号是编号L1或L2。表达式(10)是用于计算从不同的基准成像装置11获得的成像装置11-k的位置的偏差的总和的表达式。

Epos＝ΣΣΣ|CamPosX2'(K,L1)-CamPosX2'(K,L2)|+

ΣΣΣ|CamPosY2'(K,L1)-CamPosY2'(K,L2)|+

ΣΣΣ|CamPosZ2'(K,L1)-CamPosZ2'(K,L2)|

其中L1≠L2

...(10)

类似地，光轴的旋转角度的误差Eangle由下面的表达式(11)定义。表达式(11)是用于计算从不同的基准成像装置11获得的成像装置11-k的旋转角度的偏差的总和的表达式。

Eangle＝ΣΣΣ|CamAngleX2'(K,L1)-CamAngleX2'(K,L2)|+

ΣΣΣ|CamAngleY2'(K,L1)-CamAngleY2'(K,L2)|+

ΣΣΣ|CamAngleZ2'(K,L1)-CamAngleZ2'(K,L2)

其中L1≠L2

...(11)

最终误差E由下面的表达式(12)定义。在以下表达式(12)中，β是预设参数。

E＝β×Epos+(1-β)Eangle...(12)

在表达式(10)和(11)中，使用差的绝对值来计算误差Epos和误差Eangle，但是可以通过诸如差的平方的其它计算表达式来获得误差Epos和误差Eangle。或者，可以将通过其它计算表达式获得的值代入表达式(12)。

调整成像装置的光轴的平行平移量和旋转量，使得由表达式(12)计算的误差E变为最小。将描述如何进行该调整的示例。在上述计算中，对于平行平移和旋转中的每一个存在三个参数，并且总共存在六个参数，并且对于每个基准成像装置11存在六个参数。

在存在三个成像装置11-1至11-3的情况下，如上所述，基准成像装置11在成像装置11-1和成像装置11-2的组合中是成像装置11-1，基准成像装置11在成像装置11-1和成像装置11-3的组合中是成像装置11-1，并且基准成像装置11在成像装置11-2和成像装置11-3的组合中是成像装置11-2。

因此，在这种情况下，用作基准的成像装置11的数量是三个，因此参数的数量总共是十八个。在十八个参数中的一个或多个参数稍微改变并且误差E变小的情况下，更新参数。在误差E变大的情况下，保持参数而不更新。重复这种处理以获得具有最小误差E的参数。然后，计算当误差E变为最小时的成像装置11的光轴的位置和旋转角度的平均值。

通过以这种方式获得具有最小误差E的参数，可以以高精度指定作为成像装置11的整体的位置关系。

在第三实施例中，如第一和第二实施例中那样，即使所有多个成像装置11的视场不重叠，只要两个成像装置11中的视场重叠，就可以计算位置关系。执行该处理，从计算中排除多个成像装置11中的不具有重叠视场的成像装置11的组合。

<第四实施例>

在第一到第三实施例中，已经使用安装三个成像装置11-1到11-3作为多个成像装置11的例子描述了通过拍摄人来指定位置关系的情况。

通过由两个成像装置11拍摄人，分析由两个成像装置11分别拍摄的图像，并检测人的身体特征点，可以获得成像装置11之间的位置关系。在从正面拍摄人的情况下，容易检测人的身体特征点(要检测的特征点的数量大)，但是在从侧面拍摄人的情况下，更不容易检测人的身体特征点(要检测的特征点的数量小)。

在通过组合两个成像装置11来获得成像装置11之间的位置关系的情况下，如上所述，在两个成像装置11中的一个从容易检测到人的身体特征点的方向拍摄人，而另一个成像装置11从不容易检测到人的身体特征点的方向拍摄人的情况下，存在不能以高精度计算两个成像装置11之间的位置关系的可能性。

例如，如图18所示，考虑布置八个成像装置11-1至11-8的情况。此外，在图18所示的示例中，人A面对成像装置11-1，并且将在假定成像装置11-1到11-8在人A面对成像装置11-1时拍摄人A的情况下继续描述。

例如，考虑组合成像装置11-1和成像装置11-3并计算成像装置11-1和成像装置11-3之间的位置关系的情况。在这种情况下，由于成像装置11-1从正面拍摄人A，所以成像装置11-1可以容易地检测人的身体特征点，并且可以提取许多特征点。另一方面，由于成像装置11-3从侧面拍摄人A，在这种情况下，从人A的右侧拍摄，所以仅检测可以从人的右侧获得的身体特征点，并且要检测的特征点的数量少。

在这种情况下，由于用于计算位置关系的特征点的数量(对应点的数量)变小，因此作为计算结果的位置信息的可靠性低。可以在不使用被估计为具有低可靠性的计算结果的成像装置11的组合的情况下指定整体位置关系。此外，当如第三实施例中那样计算误差E时，可以执行诸如不使用具有低可靠性的成像装置11的组合的处理或通过乘以权重系数来减小贡献率的处理。

被估计为具有低可靠性的计算结果的成像装置11的组合具体地为具有90度的位置关系的成像装置11的组合。在两个成像装置11的光轴偏移90度的情况下，执行排除组合的处理或减小从组合计算的值的贡献率的上述处理。注意，通过将具有低可靠性的成像装置11的组合的权重系数设置为0，可以从计算中排除具有低可靠性的成像装置11的组合。因此，可以使权重系数为0，而不是排除处理。

顺便提及，传统上，使用其上印刷有预定图案的板(例如，校准板)来计算外部参数。在如图18所示的成像装置11的布置状态下，如果使用校准板获得成像装置11的外部参数，则布置在成像装置11不拍摄校准板的位置处的成像装置11不计算外部参数。

例如，当校准板面对成像装置11-1时，正拍摄校准板的背面的成像装置11-5不拍摄印刷在校准板上的图案，因此难以计算外部参数。此外，成像装置11-3具有拍摄校准板的侧表面和没有印刷图案的表面的高可能性，并且在计算外部参数方面具有困难。

此外，在使用校准板的情况下，通常已知的是，如果成像装置的光轴与校准板所成的角度变小，则校准的精度降低。例如，在图18所示的情况下，成像装置11-2的校准精度低于成像装置11-1的校准精度，并且成像装置11-3的校准精度低于成像装置11-2的校准精度。

即使成像装置11被布置在成像装置11在校准板的情况下拍摄校准板的背面的位置处，例如，即使成像装置11-5在人的情况下也能够拍摄人的背面，从而如上所述根据本技术执行校准。

换句话说，根据本技术，即使在两个成像装置11之间的位置关系变为90度以上的情况下，两个成像装置11也能拍摄人的正面和背面，因此能检测人的诸如关节的身体特征点，从而如上所述执行校准。换句话说，根据本技术，可以执行校准而不管两个成像装置11之间的位置关系如何。

此外，根据本技术，即使在成像装置11以稀疏状态布置的情况下，也可以执行适当的校准，如图19所示。在图19所示的成像装置11的布置中，三个成像装置11-1至11-3以120度的间隔布置在圆周上。在这种布置的情况下使用校准板执行校准的情况下，例如，在校准板面对成像装置11-1的情况下，成像装置11-2和成像装置11-3处于拍摄校准板的背面的状态，因此不执行校准。

此外，在相对于成像装置11-1的光轴和成像装置11-2的光轴两者以相同角度布置校准板的情况下，换句话说，在以背对成像装置11-3的方式布置校准板的情况下，成像装置11-1和成像装置11-2处于从倾斜方向拍摄校准板的状态，因此具有在校准精度低的状态下执行校准的可能性。

根据本技术，即使在成像装置11以稀疏状态布置的情况下，也能够通过拍摄人来执行校准，如图19所示。

如上所述，根据本技术，可以不依赖于成像装置11的布置而执行校准。此外，如上所述，通过执行排除具有低可靠性的可能性的位置关系中的成像装置11的组合的处理，可以以更高的精度执行校准。

这里，将参考图20中的流程图描述在包括排除具有低可靠性的可能性的位置关系中的成像装置11的组合的处理的情况下信息处理设备12e的操作。

第四实施例可以与第一至第三实施例中的任何一个组合。这里，将使用将第四实施例应用于根据第二实施例的信息处理设备12b的情况作为例子来继续描述。

由于根据第四实施例的信息处理设备12e可以具有与图13中所示的根据第二实施例的信息处理设备12b的配置类似的配置，因此这里省略对该配置的描述。

步骤S401至S406和S408中的处理与图14所示的流程图的步骤S201至S207中的处理类似。根据第四实施例的信息处理设备12e与根据第二实施例的信息处理设备12b的不同之处在于，在步骤S407中选择成像装置11的组合，并基于该选择在步骤S408中对参数进行综合。

在步骤S407中，选择当位置综合单元124综合参数时要使用的参数。该选择是从计算参数时的成像装置11的组合中选择计算用于综合的参数时的成像装置11的组合的处理。

如上所述，当在位置综合单元124中综合参数时，检测具有90度位置关系的成像装置11的组合，以便执行排除从具有90度位置关系的成像装置11的组合计算的参数的处理或减少其贡献的处理。以下，将使用执行排除处理的情况作为示例来继续描述。

在执行步骤S407中的处理之前的处理中，已经由位置检测单元122计算了组合的两个成像装置11之间的位置关系。在步骤S407中，选择具有90度以外的位置关系的成像装置11的组合。换句话说，排除了具有90度位置关系的成像装置11的组合。以这种方式，在步骤S407中，执行排除具有低可靠性的参数的处理。

注意，这里，已经使用成像装置11之间的位置关系是90度的情况作为示例给出了描述。然而，该数值可以具有范围。例如，设置从85度到95度的范围，并且可以排除具有落入该范围的位置关系的成像装置11的组合。

通过以这种方式执行排除具有低可靠性的参数的处理，使用具有高可靠性的参数来执行综合参数的处理。因此，在集成之后的结果可以是具有高可靠性的结果。

再次参考图18，即使通过步骤S407中的处理排除了成像装置11-1和成像装置11-3的组合，成像装置11-1和成像装置11-3的位置也可以由例如成像装置11-2和成像装置11-1的组合或者成像装置11-2和成像装置11-3的组合来指定。

此外，这里，已经使用将第四实施例应用于第二实施例的情况作为示例给出了描述。在第二实施例中，累积特征点，并且在检测到预定数量的特征点之后，检测位置信息。因此，如果成像装置11-3在预定时间没有检测到特征点，则在特征点变得可通过人的移动而检测的时间点在成像装置11-3中检测特征点，并且此外，累积特征点。因此，可以防止成像装置11-3的位置信息不可检测。

在将第四实施例应用于第一实施例的情况下和在将第四实施例应用于第三实施例的情况下，可以获得类似的效果。

<第五实施方式>

在第一到第四实施例中，已经使用拍摄一个人、检测人的身体特征点、以及指定多个成像装置11之间的位置关系的情况作为示例给出了描述。本技术不仅可以应用于拍摄一个人的情况，还可以应用于拍摄多个人的情况。作为第五实施例，将描述当拍摄多个人时信息处理设备12f的操作。

第五实施例可以与第一至第四实施例中的任何一个组合应用。这里，将使用第五实施例应用于根据第一实施例的信息处理设备12a的情况作为例子继续描述。

由于根据第五实施例的信息处理设备12f可以具有与图6中所示的根据第一实施例的信息处理设备12a的配置类似的配置，因此这里省略对该配置的描述。

步骤S501、S502和S504到S507中的处理基本上类似于图8所示流程图的步骤S101到S107中的处理。根据第五实施例的信息处理设备12f与根据第一实施例的信息处理设备12a的处理的不同之处在于，在步骤S503中选择用于计算参数的人的特征点，并基于该选择在步骤S504中计算参数。

在步骤S503中，选择用于计算参数的人的特征点。在通过成像装置11对人A和人B进行成像的情况下，可以使用人A的特征点来计算参数，并且还可以使用人B的特征点来计算参数。因此，在步骤S503中，选择用于计算参数的人，在这种情况下，选择人A或人B，并且在步骤S504中，使用所选择的人的身体特征点来计算参数。

在当检测特征点时通过人(用户)的手来设置特征点的情况下，由用户识别多个人，并且为每个人设置特征点的组，其中特征点的检测和已经从其检测到特征点的人相互关联。在检测特征点时基于预定算法检测特征点的情况下，识别面部和衣服，识别图像中的人，在识别之后从各个人检测特征点，并且为每个人设置特征点组。

此外，在使用上述文献1作为预定算法的情况下，针对每个人检测特征点，换句话说，例如检测诸如左肩和右肩的身体特征点，并且可以检测所检测的特征点的连接，例如左肩、左肘和左手的连接。使用上述内容，可以针对每个人设置特征点组。

在步骤S503中，例如，选择人A，并且将人A的身体特征点设置为用于计算参数的特征点(对应点)。在步骤S504中，使用从所选择的人(在这种情况下是人A)检测到的特征点(分组到人A中的特征点)来计算参数。

如在上述实施例中那样，从多个成像装置11中选择两个成像装置11，并且使用从由所选择的两个成像装置11分别成像的图像检测的特征点来执行参数的计算。这里，将参考图22描述选择特征点时的情况。

假设从由成像装置11-1成像的图像中分别检测人A和人B的特征点，并且生成特征点组。这里，将人A的特征点的组设置为特征点组11A-1，并且将人B的特征点组设置为特征点组11B-1。类似地，在成像装置11-2中，分别检测人A和人B的特征点，并且生成作为人A的特征点组11A-2和作为人B的特征点组11B-2。

在步骤S503中，在确定利用人A的特征点计算参数的情况下，位置检测单元122-1(图6)利用特征点组11A-1和特征点组11A-2计算参数。此时，不必读出正确的特征点组11A-1和特征点组11A-2。

如上所述，当检测特征点时，存在用户识别图像中的人并检测特征点的情况(检测方法1)，在识别面部和衣服之后检测特征点的情况(检测方法2)，以及通过预定算法检测特征点的情况(检测方法3)。

由于检测方法1和检测方法2单独地识别图像中的多个人，所以在来自成像装置11-1的图像中被识别为人A的人也在来自成像装置11-2的图像中被识别为人A。因此，当从在成像装置11-1中被识别为人A的人检测到的特征点被分类到特征点组11A-1中，并且从在成像装置11-2中被识别为人A的人检测到的特征点被分类到特征点组11A-2中时，特征点组11A-1和特征点组11A-2是从同一人检测到的特征点的组的可能性高。

检测方法3检测图像中的多个人中的每一个的特征点，并对每个人的特征点进行分组。不保证在来自成像装置11-1的图像中被识别为人A的人和在来自成像装置11-2的图像中被识别为人A的人是同一个人。例如，不保证特征点组11A-1和特征点组11A-2是从同一人A检测的特征点的组。

在应用检测方法1或检测方法2的情况下，可以使用从同一人检测到的特征点来计算参数。因此，可以通过与第一实施例相同的处理来获得参数，并且还可以类似地执行后续处理。换句话说，在对多个人成像的情况下，选择多个人中的一个，并且可以使用从所选择的人检测的特征点作为身体特征点来如在第一实施例中那样获得参数。

在这种情况下，当在步骤S505中执行验证时，可以使用在所选择的人(人A)的特征点组11A-1(11A-2)中的特征点之中的、除了在计算参数时在8点算法中使用的八个点之外的特征点来执行验证。或者，可以使用除了所选择的人A之外的人(人B)的特征点组11B-1(11B-2)中的特征点来执行验证。

在应用检测方法3的情况下，不保证用于计算参数的特征点是从同一人检测到的特征点。因此，需要确认是否从同一人检测到特征点。

注意，即使在验证方法2中，例如在不对面部成像的情况下或者存在穿着相似衣服的多个人的情况下，面部和衣服的识别的准确性变低，并且存在人的识别结果变得错误的可能性。在这种情况下，即使在检测方法2中，也不能保证用于计算参数的特征点是从同一人检测到的特征点。

因此，在检测方法2或检测方法3的情况下，在步骤S505中通过验证计算的参数的以下处理来执行验证。位置检测单元122(图6)从每个成像装置11选择一个人的特征点，并计算参数。

例如，位置检测单元122-1(图6)从成像装置11-1侧选择特征点组11A-1，并且从成像装置11-2侧选择特征点组11A-2。位置检测单元122-1从特征点组11A-1的特征点中选择八个点，从特征点组11A-2中选择与所选择的八个点对应的特征点。位置检测单元122-1使用所选择的八个特征点的对(对应点)来计算参数。

当验证所计算的参数时，使用除了用于计算参数的人之外的人的特征点。例如，在使用人A的特征点来计算参数的情况下，使用除了人A之外的人(例如人B)来计算参数。

例如，在使用特征点组11A-1和特征点组11A-2计算参数的情况下，使用特征点组11B-1和特征点组11B-2执行验证。可以以与第一实施例中相同的方式执行该验证，并且已经参考图12等描述了第一实施例中的验证。因此，这里省略了对验证的描述。

关于用于计算参数的特征点，可以使用除了用于计算参数的八个点之外的特征点来执行验证。例如，当执行验证时，将除了用于计算参数的八个点之外的特征点代入表达式(1)，并且确定误差是否为预定阈值以下。在用于计算参数的特征点的对(对应点)是从不同人检测到的特征点的情况下，误差变大的可能性很高。

因此，将除了用于计算参数的八个点之外的特征点代入表达式(1)，确定误差是否为预定阈值以下，并且可以确定用于参数的特征点是否为从同一人检测到的特征点。在误差为阈值以上的情况下，丢弃参数，选择其它特征点组的组合，重新计算参数，并且可以对新计算的参数进行验证。

另外，可以进一步使用未用于计算参数的人的特征点来执行被估计为使用从同一人检测到的特征点计算的参数的验证。最后，得到误差最小的参数。

如上所述，即使在拍摄多个人的情况下，也可以应用本技术。

<第六实施例>

根据第一至第五实施例，可以获得多个成像装置11之间的相对位置关系。该相对位置关系是在设定的坐标系中指定的位置关系，并且不一定与安装成像装置11的真实空间中的坐标系一致。例如，如图23所示，在真实空间的坐标系是XYZ坐标系并且设定的坐标系是xyz坐标系的情况下，真实空间的XYZ坐标系与设定的xyz坐标系之间有可能产生偏差。

在图23所示的例子中，存在设置在相对于真实空间的XYZ坐标系的XY平面倾斜的位置上的xyz坐标系的xy平面。在这种情况下，执行使所设置的xyz坐标系与真实空间中的XYZ坐标系一致的处理。包括这种处理的情况将作为第六实施例来描述。

第六实施例可以与第一至第五实施例中的任何一个组合应用。这里，将使用将第六实施例应用于根据第二实施例的信息处理设备12b的情况作为例子来继续描述。

图24是图示根据第六实施例的信息处理设备12g的配置示例的图。根据第六实施例的信息处理设备12g的配置与图13中所示的根据第二实施例的信息处理设备12b的配置的不同之处在于添加了特征点选择单元601和坐标系修改单元602，并且其他部分是类似的。

特征点选择单元601从任意一个或多个特征点累积单元201-1至201-3中选择从人的预定位置检测到的特征点，并将特征点提供给坐标系修改单元602。坐标系修改单元602将真实空间中的XY平面设置为地板表面，并且估计XY平面位于设置的xyz坐标系中的何处。

坐标系修改单元602通过参考来自位置综合单元124的综合结果将所获取的特征点布置在xyz坐标系中。坐标系修改单元602从分布状态估计XY平面，并使用估计结果修改坐标系，使得所设置的xyz坐标系与真实空间中的XYZ坐标系一致。

将参考图25A至图25B描述特征点选择单元601和坐标系修改单元602的处理。图25A至图25B示出了xyz坐标系中的x轴和z轴，并且将使用xz平面中的特征点的分布作为示例来继续进行描述。

参考图25A，考虑特征点分布在图25A中的xz平面上以椭圆形状示出的部分(描述为分布621)中的情况。在估计地板表面的情况下，有利地使用距地板表面的距离变化较小的特征点作为被摄体的身体特征点中的特征点。例如，使用从主要与脚有关的部分(诸如脚的脚踝、脚背或脚尖)检测到的特征点。

这里，将基于使用从诸如脚的脚踝、脚背或脚尖的部分检测到的特征点的假设来继续描述，该部分是从表现人的身体特征的部分检测到的，并且即使在作为被摄体的人站在或坐在靠近地板表面的位置的状态下，该部分距地板表面的距离变化也较小。

注意，在人不坐着而保持站立状态的情况下，可以使用从诸如头顶、眼睛或鼻子的部分检测到的特征点。此外，可以使用从诸如腰部或手的部分检测到的特征点。

在从诸如脚的脚踝或脚背(以下将以脚踝为例)的部分检测到的特征点如图25A所示分布在倾斜方向上的情况下，可以确定所设置的坐标系偏离了真实空间中的坐标系。

由于当人行走时脚踝的位置相对于地板表面上下移动，所以脚踝的特征点的分布变为具有一定宽度的分布，如图25A所示。在脚踝的特征点如图25A所示分布的情况下，当从分布621估计脚踝的特征点分布的平面(图25B中的直线)时，如图25B所示，所估计的平面(直线622)变为相对于图25B中的x轴向上和向右倾斜的直线。

在x轴为地板表面的情况下，在以地板表面为基准的情况下，根据脚踝的特征点的分布621得到的直线622被认为与地板表面平行。然而，如图25B所示，在直线622相对于x轴倾斜的情况下，可以确定此时设置的xyz坐标系偏离了真实空间中的XYZ坐标系。

因此，如图25C所示，修改xyz坐标系，使得直线622变得平行于x轴。经修改的坐标系在图25C中被图示为x'y'z'坐标系。

在参照图25A到图25C的描述中，xz平面作为例子被描述，因此直线622的假设被描述。然而，实际上，假定三维xyz坐标系中的平面。根据脚踝的特征点在三维坐标系中的分布来估计该平面，该特征点是从特征点累积单元201中累积的特征点中选择的。

平面可以通常由z＝ax+by+c表示。此外，脚踝的一个特征点可以由(x,y,z)表示，并且从特征点累积单元201选择多个特征点，从而获得用于估计平面的点群。然后，使用特征点的点群等通过最小二乘法获得表达式的系数a、b和c，从而可以估计平面。

将参考图26中的流程图描述图24中所示的信息处理设备12g的操作。

步骤S601到S607中的处理类似于图14所示的流程图的步骤S201到S207中的处理。换句话说，从由成像装置11成像的图像检测人的身体特征点，并且计算成像装置11之间的位置关系。

在步骤S608中，特征点选择单元601从特征点累积单元201中累积的特征点中选择从诸如脚的脚踝或脚背的预定位置检测到的特征点。

当在步骤S608中选择特征点时，处理进行到步骤S609。在步骤S609中，估计平面。在平面的估计中，使用如上所述选择的特征点，通过最小二乘法等规定的方法来估计此时设定的xyz坐标系中的平面。

在步骤S610中，坐标系修改单元602通过旋转变换或平移整个xyz坐标系来修改坐标系，使得所获得的平面与真实空间中的地板表面重叠或变得平行，在以上描述中，该地板表面是被描述为xy平面的平面。

在步骤S608中估计的平面是位于地板表面上方的平面。当人在地板上四处移动时，脚踝、脚背、脚趾等从地板上向上分离。因此，所估计的平面变成在与地板表面分离的位置处的平面。为了校正与真实值的这种偏差，首先，排除位于所估计的平面上方的特征点。

从远离所估计的平面的特征点开始依次执行去除，直到特征点的数量达到预设比率。例如，重复特征点的去除，直到特征点的数目变为用于估计平面的特征点的数目的一半。在全部特征点的数量达到预先设定的比率的时间点，再次使用剩余的特征点来估计平面。

通过进行这样的处理，除了在步行时从脚踝等检测出的脚离开地板表面时的特征点以外，能够使用从脚在地板表面上时或脚位于接近地板表面的位置时的脚踝等检测出的特征点来估计平面。因此，能够在真实空间中更靠近地板表面的位置处估计平面，并且该平面能够接近真实值。

注意，可以重复地执行诸如估计平面、排除位于所估计的平面上方的特征点以及再次估计平面的一系列处理。

这样，可以在接近地板表面的位置处估计平面，但是所估计的平面与地板表面不一致。例如，在仅使用从脚踝检测到的特征点来估计平面的情况下，即使当脚在地板表面上时，地板表面和脚踝也分开预定距离。通过将所估计的平面降低该预定距离，可以使所估计的平面与地板表面一致。

因此，通过测量地板表面和脚踝之间的预定距离，使用测量结果确定校正量，并将所估计的平面降低校正量，可以进行校正。该校正量可以预先设定。

地板表面和脚踝之间的预定距离根据人而变化，但是认为该距离没有大的差异，并且即使预先设定校正量并使用设定的校正量进行校正，也不会出现大的误差。可以根据诸如是否需要高精度等的情况来适当地设定使用何种类型的校正量。

此外，可以根据被选择作为特征点的身体特征来校正校正量。例如，脚踝在脚背上方，脚背在脚趾上方。换句话说，脚背比脚踝更靠近地板表面，并且脚趾比脚背更靠近地板表面。

考虑到人的这种身体特征，在使用从靠近地板表面的部分检测到的特征点的情况下，可以使校正量较小，并且在使用从远离地板表面的部分检测到的特征点的情况下，可以使校正量较大。具体地，校正量可以被设定为满足脚踝的校正量＞脚背的校正量＞脚趾的校正量。

<第七实施例>

根据第一至第六实施例，可以获得多个成像装置11之间的相对位置关系。在第一至第六实施例中，获得相对位置关系，但是不计算两个成像装置11之间的特定距离。

将参考图27描述成像装置11之间的相对位置关系。通过应用第一至第六实施例中的任何一个，获得成像装置11-1的光轴与成像装置11-2的光轴以角度α相交的位置关系。此外，当成像装置11-1被设置为基准时，获得成像装置11-2的位置信息(在以上描述中在xyz坐标系中的坐标)。因此，可以获得成像装置11-1和成像装置11-2之间的相对距离L1。

然而，在上述实施例中没有获得距离L1在真实空间中有多长。例如，不计算诸如距离L1是1m还是2m的特定数值。因此，作为第七实施例，将描述计算特定数值(真实空间中的距离)的情况。

将参考图28A和图28B描述如何计算真实空间中的距离。将作为示例描述如图28A所示的成像装置11-1和成像装置11-2正在对被摄体701成像的情形以及被摄体701面对成像装置11-1的状态。此外，将作为示例描述如上所述地检测成像装置11-1和成像装置11-2的相对位置并且相对位置之间的关系是图28A中所示的位置关系的情况。

在这种情况下，如图28A所示，由边L1、边L2和边L3构成的三角形由成像装置11-1、成像装置11-2和被摄体701形成。当检测到成像装置11-1和成像装置11-2的相对位置时，获得三角形的三个角度，但是边L1、L2和L3的长度处于未知状态。

如果可以获得构成三角形的三条边中的任意一条的长度，则也可以获得另外两条边的长度。结果，也可以计算在真实空间中成像装置11-1和成像装置11-2之间的距离。

这里，如图28B所示，仅考虑成像装置11-1。被摄体701在真实空间中的宽度是W[m]，并且成像装置11-1的视角是θ。此外，由成像装置11-1成像的图像中的被摄体701的宽度是w[像素]，并且整个图像的宽度是p[像素]。

在上述设置的情况下，成像装置11-1在被摄体701所处的距离处的视场的宽度P[m]由以下表达式(13)表示。

P＝pW/w...(13)

使用成像装置11-1的视场的宽度P[m]和成像装置11-1的视角θ，从成像装置11-1到物体701的光轴上的距离L[m]由以下表达式(14)表示。

L＝P/(2tan(θ/2))...(14)

此外，使用物体701与成像装置11-1的光轴所成的角度β，通过下面的表达式(15)来表示物体701的中心与成像装置11-1之间的距离L'[m]。

L'＝L/cosβ...15)

距离L'是在真实空间中侧边L1的距离(图28A)。根据该距离L'，可以获得在真实空间中的边L2和边L3的距离。例如，在获得相对位置时边L1的长度是L1、边L2的长度是L2、并且边L2在真实空间中的距离是L2'的情况下，建立以下关系：

L1:L'＝L2:L2'

并因此可以从该关系表达式获得距离L2'。换句话说，可以获得真实空间中成像装置11-1和成像装置11-2之间的距离。

图29示出在真实空间中获得这种距离的情况下信息处理设备12h的配置。图29是图示根据第七实施例的信息处理设备12h的配置示例的图。第七实施例可以与第一至第六实施例中的任何一个组合应用。这里，将使用将第七实施例应用于根据第二实施例的信息处理设备12b的情况作为例子来继续描述。

根据第七实施例的信息处理设备12h的配置与图13中所示的根据第二实施例的信息处理设备12b的配置的不同之处在于添加了特征点选择单元711和距离计算单元712，并且其他部分是类似的。

特征点选择单元711从任何一个或多个特征点累积单元201-1至201-3中选择从人的预定位置检测到的特征点，并将特征点提供给距离计算单元712。距离计算单元712通过参照图28A和图28B描述的方法计算真实空间中的距离。

在参照图28A和图28B的描述中，物体701的宽度W是已知的，并且使用已知的宽度W计算成像装置11之间的距离。因此，需要获取真实空间中的人的尺寸，该人在用于检测用于计算参数的特征点的图像中。

例如，在计算距离之前的时间点，在距离计算单元712中获取关于从人获得的长度(距离)的信息，诸如人的身高、当手向左和向右伸展时从左手的指尖到右手的指尖的长度。例如，在人的身高的情况下，执行预先测量人的身高并将该身高输入到信息处理设备12h的处理。换句话说，上述关于W[m]的信息已经预先输入到信息处理设备12h。

在距离计算单元712使用人的高度计算距离的情况下，使用从人的头顶检测到的特征点和当人直立时从人的脚检测到的特征点来计算由成像装置11成像的图像中的被摄体701的宽度w[像素]。

此外，在使用人将手向左和向右伸展时的长度来计算距离的情况下，使用当人将手向左和向右伸展时从人的左手检测到的特征点和从右手检测到的特征点来计算由成像装置11成像的图像中的被摄体701的宽度w[像素]。以这种方式使用指定人的尺寸所需的身体特征点来计算由成像装置11成像的图像中的被摄体701的宽度w[像素]。

由于人的关节被检测为特征点，并且可以考虑特征点之间的关系来估计人的姿势，因此如第一实施例中所述，可以使用估计结果来确定人是否直立或者人是否将手向左和向右伸展。

通过特征点选择单元711从特征点累积单元201中累积的特征点中读取计算这种宽度w[像素]所需的特征点。

注意，可以将用户指定的方法应用于特征点选择单元711的特征点的选择。例如，用户可以通过在观看成像图像的同时指定头顶和脚或者指定左手和右手来设置期望的特征点。

将参考图30中的流程图描述图29中所示的信息处理设备12h的操作。

步骤S701至S707中的处理类似于图14所示的流程图的步骤S201至S207中的处理。换句话说，从由成像装置11成像的图像检测人的身体特征点，并且计算成像装置11之间的位置关系。

在步骤S708中，特征点选择单元711从特征点累积单元201中累积的特征点中读取期望的特征点。例如，在人的高度被设置为在计算距离时使用的情况下，选择分别从头顶部和脚检测到的特征点。此外，例如，在当计算距离时设置要使用的在手向左和向右伸展时从指尖到指尖的长度的情况下，选择分别从左手指尖和右手指尖检测到的特征点。此外，在这时的选择中，选择当人处于预定姿势时(例如处于直立站立或伸展手的姿势时)检测到的特征点。

在步骤S709中，距离计算单元712使用由特征点选择单元711选择的特征点，基于上述方法计算真实空间中成像装置11之间的距离。

以这种方式，可以获得成像装置11之间的相对位置关系和在真实空间中成像装置11之间的距离。

以上描述是在假定当计算成像装置11之间的距离时物体701的尺寸已知的情况下进行的。在上述示例中，在预先测量人的高度并且已经输入了测量的数值的假设下进行了描述。

在不需要高精度地计算距离的情况下，例如，可以输入平均值作为人的身高，并且可以使用输入的平均值来执行距离的计算。例如，在使用人的高度计算距离的情况下，将真实空间中的人的高度设置为170cm，并且在以上描述中，将该值用作真实空间中的被摄体701的宽度W[m]。

即使在这种情况下，即使实际拍摄的人的高度是180cm，误差也落在大约6％内。此外，诸如170cm的输入值被配置为由用户适当地改变，并且当用户输入接近要被成像的人的高度的值时，误差变小。

当需要高精度时，精确地测量人的尺寸并使用测量值。在需要粗略距离的情况下，可以使用预设值。

上述距离的计算可以使用一个图像来执行，或者可以使用多个图像来执行。

图29示出了特征点选择单元711从特征点累积单元201-1选择特征点，并且距离计算单元712计算距离的配置。特征点选择单元711和距离计算单元712可以被设置在特征点累积单元201-1至201-3中的每一个中，并且可以使用分别由成像装置11-1至11-3成像的图像来计算距离。然后，在这种情况下，该配置被设置有三个距离计算单元712。因此，可以通过计算由三个距离计算单元712计算的距离的平均值来计算最终距离。

此外，可以使用在不同定时拍摄的多个图像来计算距离。

根据上述第一至第七实施例，使用人的身体特征来执行成像装置的校准。因此，不需要诸如棋盘的特殊的校准板。可以在不准备专用校准板的情况下执行校准。因此，不需要准备等，并且可以减少用户在校准时的麻烦。

此外，由于可以通过拍摄人来进行校准，因此即使多个成像装置的光轴的旋转角度大也可以进行校准。

此外，根据本技术，由于可以容易地执行校准，所以可以在执行一次校准之后容易地执行另一校准。此外，由于使用拍摄图像进行校准，因此即使在拍摄期间也能够进行校准。

此外，根据本技术，可以执行多个成像装置的校准，并且可以比传统的校准方法更容易和简单地执行校准。

<记录介质>

上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，在计算机中安装配置软件的程序。这里，计算机包括例如结合在专用硬件中的计算机，以及能够通过安装各种程序来执行各种功能的通用个人计算机等。

通过程序执行上述一系列处理的计算机的硬件的配置示例可以是图3所示的信息处理设备12。当CPU 61将例如存储在存储单元68中的程序加载到RAM 63中并经由输入/输出接口65和总线64执行该程序时，信息处理设备12(个人计算机)执行上述一系列处理。

例如，可以将计算机(CPU 61)要执行的程序记录在作为封装介质等的可移动记录介质71上，并提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过将可移动记录介质71连接到驱动器70，程序可以经由输入/输出接口65安装到存储单元68。此外，程序可以经由有线或无线传输介质由通信单元69接收并安装在存储单元68中。除了上述方法之外，程序可以预先安装在ROM 62或存储单元68中。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行执行的程序或者在诸如进行调用时的必要定时执行的程序。

此外，在本说明书中，系统是指由多个装置构成的整个设备。

注意，本说明书中描述的效果仅仅是示例，而不是限制性的，并且可以呈现其它效果。

注意，本技术的实施例不限于上述实施例，并且在不脱离本技术的要旨的情况下可以进行各种修改。

注意，本技术也可以具有以下配置。

(1)

一种信息处理设备，包括：

位置检测单元，被配置为基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

(2)

根据(1)所述的信息处理设备，其中

从所述被摄体的关节检测身体特征点。

(3)

根据(2)所述的信息处理设备，其中

基于从所述被摄体检测到的身体特征点，通过姿势估计处理来指定所述被摄体的关节。

(4)

根据(1)到(3)中任一项所述的信息处理设备，还包括：

第一特征点检测单元，被配置为检测第一特征点；以及

第二特征点检测单元，被配置为检测第二特征点。

(5)

根据(1)到(4)中任一项所述的信息处理设备，还包括：

位置综合单元，被配置为综合以下两个位置信息来指定多个成像装置的位置信息：已由所述位置检测单元检测到的、基于多个成像装置中的第一两个成像装置的位置信息，和已由所述位置检测单元检测到的、基于第二两个成像装置的位置信息，第二两个成像装置中的至少一个成像装置与所述第一两个成像装置不同。

(6)

根据(1)到(5)中任一项所述的信息处理设备，还包括：

位置平滑单元，被配置为在时间方向上平滑由所述位置检测单元检测到的所述位置信息。

(7)

根据(1)到(6)中任一项所述的信息处理设备，其中

所述位置检测单元使用除用于位置信息的检测的特征点之外的特征点来验证所检测的位置信息。

(8)

根据(1)到(7)中任一项所述的信息处理设备，还包括：

第一特征点累积单元，被配置为累积所检测的第一特征点；以及

第二特征点累积单元，被配置为累积所检测的第二特征点；其中

位置检测单元使用在所述第一特征点累积单元和所述第二特征点累积单元中累积的特征点。

(9)

根据(8)所述的信息处理设备，其中

在以下情况下，由所述位置检测单元来执行位置检测：在所述第一特征点累积单元中累积的特征点的数量和在所述第二特征点累积单元中累积的特征点的数量变为第一阈值以上，并且，由每个成像装置成像的图像被划分为多个块，所述多个块中的存在从所成像的图像检测到的特征点的块的数量被累积，并且所述成像装置的每一个中的累积总数变为第二阈值以上。

(10)

根据(5)所述的信息处理设备，其中

所述位置综合单元使用所述多个成像装置中的一个成像装置作为基准，并且根据与所述基准成像装置的相对位置关系，指定所述多个成像装置的位置信息。

(11)

根据(10)所述的信息处理设备，其中

由所述位置检测单元检测的位置信息被转换成所述基准成像装置的相对位置并被综合。

(12)

根据(5)所述的信息处理设备，其中

所述位置综合单元在将从相对于检测位置信息的成像装置以预定角度布置的成像装置获得的位置信息乘以预定权重系数之后执行综合。

(13)

根据(1)到(12)中任一项所述的信息处理设备，其中

所述位置检测单元使用从多个被摄体中的一个被摄体检测到的特征点来检测所述位置信息。

(14)

根据(13)所述的信息处理设备，其中

所述位置检测单元使用从除用于位置信息的检测的被摄体之外的被摄体检测到的特征点来验证所检测的位置信息。

(15)

根据(1)到(14)中任一项所述的信息处理设备，还包括：

坐标系修改单元，被配置为将在所述位置检测单元中设置的坐标系修改为安装所述第一成像装置的真实空间中的坐标系。

(16)

根据(15)所述的信息处理设备，其中

所述坐标系修改单元根据从所述身体特征点中与脚有关的部分检测到的特征点的分布来估计一平面，并且修改所设置的坐标系，使得该平面变得平行于真实空间中的坐标系中与地板表面相对应的平面。

(17)

根据(1)到(16)中任一项所述的信息处理设备，其中，还包括：

距离计算单元，被配置为计算在安装所述第一成像装置和所述第二成像装置的真实空间中所述第一成像装置和所述第二成像装置之间的距离。

(18)

根据(17)所述的信息处理设备，其中

距离计算单元读取所述身体特征点中的指定被摄体的尺寸所需的特征点，计算图像中的所述被摄体的尺寸，并计算所述距离。

(19)

一种信息处理方法，包括：

通过检测多个成像装置的位置的信息处理设备，

基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

(20)

一种程序，用于使得计算机执行以下处理：

基于来自第一特征点和第二特征点的对应特征点来检测第一成像装置和第二成像装置的位置信息，第一特征点被检测为关于由第一成像装置成像的被摄体的身体特征点，第二特征点被检测为关于由第二成像装置成像的被摄体的身体特征点。

[附图标记列表]

11 成像装置

12 信息处理设备

31 透镜系统

32 成像元件

33 DSP电路

34 帧存储器

35 显示单元

36 记录单元

37 操作系统

38 电源系统

39 通信单元

40 总线

41 CPU

61 CPU

62 ROM

63 RAM

64 总线

65 输入/输出接口

66 输入单元

67 输出单元

68 存储单元

69 通信单元

70 驱动器

71 可移动的记录介质

101 成像单元

102 特征点检测单元

103 通信控制单元

121 特征点输入单元

122 位置检测单元

123 位置平滑单元

124 位置综合单元

131 图像输入单元

132 特征点检测单元

201 特征点累加单元

601 特征点选择单元

602 坐标系修改单元

621 分布

701 被摄体

711 特征点选择单元

712 距离计算单元

Claims (20)

1.一种信息处理设备，包括：

特征点检测电路，被配置为检测由包括第一成像装置和第二成像装置的多个成像装置成像的被摄体的至少一个身体特征点，以及

位置检测电路，被配置为基于所述至少一个身体特征点来检测所述第一成像装置和所述第二成像装置的位置信息。

2.根据权利要求1所述的信息处理设备，其中，

从所述被摄体的关节检测所述至少一个身体特征点。

3.根据权利要求2所述的信息处理设备，其中，

基于从所述被摄体检测到的所述至少一个身体特征点，通过姿势估计处理来指定所述被摄体的关节。

4.根据权利要求1所述的信息处理设备，其中所述特征点电路包括：

第一特征点检测单元，被配置为基于来自所述第一成像装置的图像数据检测第一身体特征点；以及

第二特征点检测单元，被配置为基于来自所述第二成像装置的图像数据检测第二身体特征点，

其中，所述第一身体特征点和所述第二物体特征点对应于所述被摄体的同一点。

5.根据权利要求1所述的信息处理设备，其中，

所述多个成像装置还包括至少第三成像装置，以及

所述信息处理设备还包括位置综合电路，被配置为综合基于所述多个成像装置中的第一对成像装置的位置信息和基于第二对成像装置的位置信息，以指定所述多个成像装置的相对位置信息，所述位置信息已由所述位置检测电路检测到，所述第二对成像装置中的至少一个成像装置与所述第一对成像装置不同。

6.根据权利要求1所述的信息处理设备，还包括：

位置平滑电路，被配置为在时间方向上平滑由所述位置检测电路检测到的所述位置信息。

7.根据权利要求1所述的信息处理设备，其中，

所述位置检测电路被配置为使用所述至少一个身体特征点中除用于所述位置信息的检测的身体特征点之外的身体特征点来验证所检测的位置信息。

8.根据权利要求1所述的信息处理设备，其中，

所述至少一个身体特征点是包括第一身体特征点和第二身体特征点的多个身体特征点，

所述信息处理设备还包括：第一特征点累积电路，被配置为累积所检测的第一身体特征点；以及第二特征点累积电路，被配置为累积所检测的第二身体特征点；以及

位置检测电路使用在所述第一特征点累积电路和所述第二特征点累积电路中累积的身体特征点。

9.根据权利要求8所述的信息处理设备，其中，

在以下情况下，由所述位置检测电路来执行位置检测：在所述第一特征点累积电路中累积的身体特征点的数量和在所述第二特征点累积电路中累积的身体特征点的数量变为第一阈值以上，并且，由所述多个成像装置中的每一个成像的图像被划分为多个块，所述多个块中的存在从所成像的图像检测到的身体特征点的块的数量被累积，并且所述多个成像装置的每一个中的累积总数变为第二阈值以上。

10.根据权利要求5所述的信息处理设备，其中，

所述位置综合电路使用所述多个成像装置中的一个成像装置作为基准成像装置，并且根据与所述基准成像装置的相对位置关系，指定所述多个成像装置的位置信息。

11.根据权利要求10所述的信息处理设备，其中，

由所述位置检测电路检测的位置信息被转换成所述基准成像装置的相对位置并被综合。

12.根据权利要求5所述的信息处理设备，其中，

所述位置综合电路在将从相对于检测位置信息的所述第二成像装置以预定角度布置的所述第一成像装置获得的位置信息乘以预定权重系数之后执行综合。

13.根据权利要求1所述的信息处理设备，其中，

所述位置检测电路使用从多个被摄体中的第一被摄体检测到的身体特征点来检测所述位置信息。

14.根据权利要求13所述的信息处理设备，其中，

所述位置检测电路使用从除所述第一被摄体之外的第二被摄体检测的身体特征点来验证所检测的位置信息。

15.根据权利要求1所述的信息处理设备，还包括：

坐标系修改电路，被配置为将在所述位置检测电路中设置的第一坐标系修改为安装所述第一成像装置的真实空间中的第二坐标系。

16.根据权利要求15所述的信息处理设备，其中，

所述坐标系修改电路根据从所述身体特征点中与脚有关的部分检测到的身体特征点的分布来估计一平面，并且修改第一坐标系，使得该平面变得平行于第二坐标系中与地板表面相对应的平面。

17.根据权利要求1所述的信息处理设备，还包括：

距离计算电路，被配置为计算在安装所述第一成像装置和所述第二成像装置的真实空间中所述第一成像装置和所述第二成像装置之间的距离。

18.根据权利要求17所述的信息处理设备，其中，

距离计算电路读取所述身体特征点中的指定被摄体的尺寸所需的身体特征点，计算图像中的所述被摄体的尺寸，并计算所述距离。

19.一种信息处理方法，包括：

通过检测包括第一成像装置和第二成像装置的多个成像装置的位置的信息处理设备，

检测由所述多个成像装置成像的被摄体的至少一个身体特征点；以及

基于来自关于由所述第一成像装置成像的被摄体的第一身体特征点和关于由所述第二成像装置成像的被摄体的第二身体特征点的对应特征点，检测所述第一成像装置和所述第二成像装置的位置信息。

20.一种存储指令的非暂时性计算机可读介质，所述指令在由计算机的处理器执行时使所述计算机执行操作的处理，所述操作包括：

检测由包括第一成像装置和第二成像装置的多个成像装置成像的被摄体的至少一个身体特征点；以及

基于来自关于由所述第一成像装置成像的被摄体的第一身体特征点和关于由所述第二成像装置成像的被摄体的第二身体特征点的对应特征点，检测所述第一成像装置和所述第二成像装置的位置信息。

Images