CN1711516A - 运动检测装置 - Google Patents

Abstract

本发明由以下部件构成：惯性运动检测单元(30)，通过使用加速度传感器(20)或角速度传感器(10)中的至少一个来检测待测量对象的惯性运动；图像拾取单元(60)，拾取待测量对象的周边图像；图像比较单元(50)，对图像拾取单元(40)在不同时间点拾取的图像进行比较；摄像机位置和姿态获取单元(60)，通过使用图像比较单元(50)对图像进行比较的结果，检测待测量对象的位置和姿态；以及空间位置和姿态获取单元(70)，根据由惯性运动检测单元(30)以及摄像机位置和姿态获取单元(60)获得的信息，检测待测量对象的空间位置和姿态。

Description

运动检测装置

技术领域

本发明涉及一种对物体的位置、姿态、和移动进行检测的运动检测装置。

背景技术

将传感器安装在操作者的手上、检测手的形状和移动、并根据其检测结果来产生信号的技术是常规公知的。

例如，美国专利No.509252提出了一种技术，其中，将多个通过用光引导路径连接光源和光学传感器而形成的传感器安装在手的关节上，检测关节的弯曲。

此外，日本专利公报特开平No.9-62437提出了一种替代鼠标的计算机输入装置，其通过在带手套的手背上设置两个加速度传感器来检测手在二维方向的移动，并且通过在手的食指的关节部分上设置一个应变计来检测食指的弯曲运动。

此外，在本申请人的日本专利公报特开No.2000-132305中提出了一种操作输入装置，其中，通过在手背上设置对位置和姿态进行检测的三轴角速度传感器和三轴加速度传感器，并通过在食指的端部、中指的端部、以及拇指的端部和中部设置对手指的弯曲进行检测的单轴角速度传感器，从而根据手背的位置/姿态和手指的姿态来估计手的形状，并且根据诸如手的形状和运动的手势来产生命令信号。

与如前述美国专利No.509252和前述日本专利公报特开平No.9-62437所述的将传感器设置于关节部分的技术相比，前述日本专利公报特开No.2000-132305中提出的技术(即，其中通过包括三轴角速度传感器和三轴加速度传感器的惯性传感器来检测操作者的手背的位置和姿态、通过位于手指端部的无约束角速度传感器来检测手指的姿态、并且根据手的形状来产生命令信号的技术)具有灵活性，并且可以容易地利用，因为不需要考虑个体的手的大小来确定传感器的位置。

然而，在试图通过利用用于对诸如操作者的手背的速度和位置的平移运动进行检测的加速度传感器的时间积分来正确地确定手背的位置/姿态的技术中，难以在手停止的情况与手以恒定速度移动的情况之间进行区分。即，在上述技术中，难以在手停止状态下的手势与诸如使手以基本恒定的速度移动的手势之间进行区分。于是，考虑了这样一种系统：其中，试图通过与用于检测由图像传感器形成的图像的自然特征点在二轴方向的移动的图像IC传感器进行组合来比较周边自然图像与惯性传感器的移动，从而正确地确定手背姿态。

然而，在还使用图像IC传感器的情况下，当对图像IC传感器的数目有限制时，预先确定在哪个方向获取图像是一个重要问题。此外，当试图在多个方向输入图像时，必须增加图像IC传感器的数目。因此，增加了部件，使得处理繁重。

发明内容

考虑到这些问题提出了本发明，本发明的目的是提供一种可以精确地识别被安装对象的空间位置、姿态和移动的运动检测装置，以及一种可以通过直接或间接地将该运动检测装置安装在身体上来识别身体的移动、手势等的运动检测装置。此外，本发明的目的是提供一种运动检测装置，该运动检测装置对通过在安装了该运动检测装置的对象被抓住或握住的同时对其进行操作而被操作的装置的位置和姿态等的移动进行检测。

为实现此目的，根据第一发明，提供了一种用于检测待测量对象的位置和姿态的运动检测装置，其特征在于包含：

惯性运动检测装置，用于通过使用加速度传感器和角速度传感器中的至少一个来检测待测量对象的惯性运动；

图像拾取装置，其固定于惯性运动检测装置，用于拾取待测量对象的周边图像；

图像比较装置，用于对图像拾取装置在不同时间点拾取的图像进行比较；

摄像机位置和姿态获取装置，用于通过使用图像比较装置对图像进行比较的结果，检测待测量对象的位置和姿态；以及

空间位置和姿态获取装置，用于根据惯性运动检测装置以及摄像机位置和姿态获取装置获取的信息，检测待测量对象的空间位置和姿态。

在根据第一发明的该运动检测装置中，由惯性运动检测装置获取角速度传感器或加速度传感器的信号，并且，对这些传感器的姿态信息进行确定。此外，由图像拾取装置拍摄周边图像，并且，从连续获取的图像中提取特征点。图像比较装置通过对不同时间点的特征点的位置进行比较来确定特征点的移动。此外，根据惯性运动检测装置获取的测量对象的惯性运动以及摄像机位置和姿态检测装置检测到的关于测量对象的空间位置/姿态的信息，确定测量对象的空间位置和姿态。

此外，为实现此目的，根据第二发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置包括至少四个平面镜，并且包含通过所述至少四个平面镜将待测量对象的周边图像投影到图像拾取装置的光学系统。

在根据第二发明的运动检测装置中，通过使用具有至少四面的镜将周边图像投影到图像拾取装置，由此使得周边图像成为被分割为四个垂直于透镜光轴的图像和一个沿透镜光轴方向的图像的总共五个区域的中心投影像。

此外，为实现此目的，根据第三发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置包含通过曲面镜将待测量对象的周边图像投影到图像拾取装置的光学系统。

在根据第三发明的运动检测装置中，对垂直于成像透镜系统的光轴的所有方向的图像和光轴方向的图像、以及与通过中心透射的图像的方向相同的方向的图像进行投影。

此外，为实现此目的，根据第四发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置具有通过鱼眼透镜将待测量对象的周边图像投影到图像拾取装置的光学系统。

在根据第四发明的运动检测装置中，通过鱼眼透镜将全天周的图像投影到图像拾取装置。

此外，为实现此目的，根据第五发明，提供了根据权利要求2至4中的一项所述的运动检测装置，其特征在于，所述运动检测装置被安装到身体的一个部位上，并对安装部位的位置和姿态进行检测。

此外，为实现此目的，根据第六发明，提供了根据权利要求2至4中的一项所述的运动检测装置，其特征在于，所述运动检测装置被安装到手背上，并对手的位置和姿态进行检测。

此外，为实现此目的，根据第七发明，提供了根据权利要求2至4中的一项所述的运动检测装置，其特征在于，所述运动检测装置被安装到头部，并对头部的位置和姿态进行检测。

在根据第五至第七发明的运动检测装置中，对其上安装有运动检测装置的身体的位置和姿态进行检测。

此外，为实现此目的，根据第八发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像比较装置具有特征点移动估计装置，所述特征点移动估计装置用于根据由惯性运动检测装置检测到的当前位置和姿态以及图像拾取装置的投影变换相对于注册时的姿态信息的关系，对特征点的移动位置和搜索范围进行估计，并且

特征点移动估计装置执行用于从当前框(frame)搜索追踪的特征点的图像匹配处理。

在根据第八发明的运动检测装置中，通过包括在图像处理装置中的特征点移动估计装置从当前框搜索追踪的特征点。

此外，为实现此目的，根据第九发明，提供了根据权利要求8所述的运动检测装置，其特征在于

特征点移动估计装置根据注册时的特征点的位置坐标、特征点的周边图像中的各像素的信息、用于追踪各像素信息的各像素的移动估计像素位置信息、惯性运动检测装置检测到的当前位置和姿态信息、以及图像拾取装置的投影变换间的关系，对各像素的移动位置进行估计；并且通过在搜索范围内对图像点移动后的图像进行扫描来执行图像匹配处理。

在根据第九发明的运动检测装置中，针对各个像素来确定移动估计图像位置信息，并且追踪特征点周边的各个像素的信息。此外，在图像匹配处理中，使得其中对包括光学系统/图像输入系统的投影变换进行了估计的图像位置的坐标与基准图像的各个像素对应。

此外，为实现此目的，根据第十发明，提供了根据权利要求8所述的运动检测装置，其特征在于

特征点移动估计装置根据包括注册时的特征点的特征点图像点中的各像素的信息、各像素的位置坐标、用于追踪位置坐标的各像素的移动估计像素位置信息、惯性运动检测装置检测到的当前位置和姿态信息、以及图像拾取装置的投影变换间的关系，对各像素的移动位置进行估计；并且通过在搜索范围内对图像点移动后的图像进行扫描来执行图像匹配处理。

在根据第十发明的运动检测装置中，对位置坐标进行追踪，以对像素相对于注册时的特征点图像的各像素的位置进行估计。根据基于追踪的位置坐标、来自惯性运动检测装置的当前位置/姿态信息、以及来自图像拾取装置的信息而估计的各像素的移动位置，确定搜索范围，并且通过在所述范围内执行扫描来执行匹配处理。

此外，为实现此目的，根据第十一发明，提供了根据权利要求1所述的运动检测装置，其特征在于

摄像机位置和姿态获取装置进一步具有无效特征点确定装置，该无效特征点确定装置用于根据基于各特征点的运动参数和对于特征点估计的深度信息而获得的摄像机位置和姿态信息，确定从包括各特征点的图像测量到的运动参数与根据摄像机位置和姿态信息获得的运动向量之间的误差，并且将误差超过特定阈值的特征点确定为无效特征点。

在根据第十一发明的运动检测装置中，摄像机位置和姿态获取装置根据各特征点的运动参数以及基于特征点而估计的深度信息，对摄像机位置和姿态信息进行估计。此外，从各个特征点的图像来测量运动参数，将从各个特征点的图像测量的运动参数与根据摄像机位置和姿态信息而估计的运动参数比较。然后，确定比较出的误差超过特定阈值的特征点是无效特征点。

此外，为实现此目的，根据第十二发明，提供了根据权利要求11所述的运动检测装置，其特征在于

无效特征点确定装置进一步具有无效特征点追踪装置，该无效特征点追踪装置用于追踪无效特征点的位置信息，直到与被确定为无效特征点的特征点有关的信息消失。

在根据第十二发明的运动检测装置中，无效特征点确定装置总是通过对无效特征点的位置信息进行追踪直到无效特征点消失来把握无效特征点的位置。

此外，为实现此目的，根据第十三发明，提供了根据权利要求1所述的运动检测装置，其特征在于

摄像机位置和姿态获取装置执行以下步骤：

在特征点的新注册期间，对作为特征点信息的从框图像看到的三维信息和当前摄像机框进行注册，

在从特征点出现时到特征点消失时的期间追踪特征点，

据此对从框图像看到的三维信息进行更新，

此外，当出现另一特征点时，对从当前摄像机框获得的另一特征点的三维信息进行注册，并且由此，

对在连续图像中出现和消失的多个特征点图像的位置进行追踪，并根据该多个特征的移动，获取相对于世界坐标空间的当前摄像机框。

在根据第十三发明的运动检测装置中，在从特征点出现到消失的期间对特征点的三维信息进行追踪和更新。此外，当新出现特征点时，接管当前特征点信息的三维信息。

此外，为实现此目的，根据第十四发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

图像比较装置进一步具有用于对所述光学装置的入射光轴进行识别和分块(partition)的图像投影分块掩模装置。

在根据第十四发明的运动检测装置中，提供了对用于将图像投影到图像拾取装置的光学系统的入射光轴进行识别和分块的掩模。

此外，为实现此目的，根据第十五发明，提供了根据权利要求1所述的运动检测装置，其特征在于

图像比较装置进一步具有自适应特征点图像设置装置，该自适应特征点图像设置装置用于分析特征点图像的深度信息，并且根据分析的深度信息在注册时切换特征点图像的大小和特征点搜索范围或者特征点注册数量。

在根据第十五发明的运动检测装置中，由自适应特征点设置装置分析特征点图像的深度信息，并且，根据分析值，对注册时的特征点图像的大小和特征点搜索范围或者注册特征点的数量进行切换。

此外，为实现此目的，根据第十六发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取已知大小或间隔的用于标识特征点的标识标记的图像，并且根据用于标识特征点的标识标记的图像的大小或间隔来确定并注册深度信息。

在根据第十六发明的运动检测装置中，在初始化时获取已知大小或间隔的特征点标识标记的图像，并且，根据这些获得的特征点的大小或间隔信息来确定深度信息并对该深度信息进行注册。

此外，为实现此目的，根据第十七发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于从离开设置于预先确定的位置的用于标识特征点的标识标记已知距离的位置获取该用于标识特征点的标识标记的图像，并且在此时对特征点的深度信息进行初始注册。

在根据第十七发明的运动检测装置中，从离开设置于预定位置的特征点标识标记已知距离的距离获取该特征点标识标记的图像，并根据获取的图像注册深度信息。

此外，为实现此目的，根据第十八发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取身体的部分或全部的图像，并且对根据获取的图像和预先注册的身体的部分或全部的形状和大小而获得的特征点的深度信息进行初始注册。

在根据第十八发明的运动检测装置中，在初始化时根据身体的部分或全部的形状和大小来确定特征点的深度信息以对其进行注册。

此外，为实现此目的，根据第十九发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时从已知距离获取身体的特征部位的图像，并且根据获取的图像对特征点的深度信息进行初始注册。

在根据第十九发明的运动检测装置中，在第五发明中，在初始化时，将已知距离的身体的特征图像取到来自安装有运动检测装置的部位的输入图像，并且根据获取的图像来注册特征点的深度信息。

此外，为实现此目的，根据第二十发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取与安装部位为预先确定的方向和距离的图像，并且对获得的图像中的特征点的深度信息进行初始注册。

在根据第二十发明的运动检测装置中，在初始化时获取预先确定的方向和距离的图像，并根据获得的图像来注册特征点的深度信息。

此外，为实现此目的，根据第二十一发明，提供了根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时执行使安装部位移动规定距离的动作，并且通过当时获得的图像对图像中的特征点的深度信息进行初始注册。

在根据第二十一发明的运动检测装置中，在初始化时执行用于使安装有运动检测装置的部位移动规定距离的操作，并根据获得的图像来注册特征点的深度信息。

此外，为实现此目的，根据第二十二发明，提供了根据权利要求2至4中的一项所述的运动检测装置，其特征在于该运动检测装置通过被固定或安装到通过被握或持于手中而被操作的物体上来检测该物体的位置和姿态。

在根据第二十二发明的运动检测装置中，根据通过将运动检测装置安装在物体上而从物体的惯性运动信息和周边图像的信息得到的摄像机位置和姿态信息，对物体的空间位置和姿态进行检测。

附图说明

图1是用于说明根据本发明实施例的运动检测装置的功能操作的概况的框图。

图2是包括图像拾取单元等的操作输入装置的外观图。

图3是在世界坐标空间中的空间传感器框与摄像机传感器框的关系图。

图4A是表示入射到等立体角投影透镜的光线与其投影图像之间的关系的图。

图4B是表示特征点搜索开始位置与图像投影分块掩模数据之间的关系的图。

图5A是运动检测装置中的光学系统的框图。

图5B是表示图5A的光学系统捕获的图像的图。

图6A是四面镜系统的光学系统的框图。

图6B是表示所述镜系统光学系统捕获的图像的图。

图7A是使用抛物面镜的光学系统的框图。

图7B是表示使用抛物面镜的光学系统捕获的图像的图。

图8是用于说明关于根据本发明实施例的运动检测装置中的图像处理的功能操作的框图。

图9A是表示通过光学系统获取的框图像和提取的特征点图像的状态的图。

图9B是表示使空间传感器旋转移动后获得的框图像上的搜索特征点图像的状态的图。

图10A是将注册特征点图像信息注册在存储器中时的数据的概念图。

图10B是表示移动后的特征点图像数据的状态的图。

图11A和图11B是本发明实施例中的注册特征点图像的示例。

图12A和图12B是本发明另一实施例中的注册特征点图像的示例。

图13是关于连续框图像上的特征点的行为的映像图(imagediagram)。

图14是关于图像传感器获得的特征点图像的摄像机框的图像位置、深度信息、和不确定性的映像图。

图15是表示通过重复对特征点的匹配处理使得与特征点信息相关联的姿态信息与深度信息之间的误差逐渐减小的状态的映像图。

图16是使得运动向量的不确定性逐渐变小的状态的映像图。

图17是特定特征点在注册时的空间姿态信息k、一个先前姿态信息(n-1)、以及试图获得的姿态信息n间的关系图。

图18是表示运动向量的不确定性之间的关系的图。

具体实施方式

以下，参照附图详细说明本发明的实施例。

首先，在图1中示出了应用了根据本实施例的运动检测装置的空间传感器系统的示意性配置。

惯性运动检测单元30获取来自分别设置在空间传感器框{H}上的xyz轴方向的角速度传感器10和加速度传感器20的输出信号，作为惯性位置/姿态信息。此外，由图像拾取单元40连续获取的周边图像信息输入到图像比较单元50。图像比较单元50从输入的周边图像信息提取特征点，确定提取的特征点的移动。摄像机位置和姿态获取单元60根据来自图像比较单元50的比较信息和来自惯性运动检测单元30的信息，获得摄像机传感器框{C}。然后，空间位置和姿态获取单元70根据来自惯性运动检测单元30以及摄像机位置和姿态获取单元60的各姿态信息，确定世界坐标空间{W}上的空间传感器框。注意，在图像比较单元50，利用来自惯性运动检测单元30的信息以减少计算处理的代价。

随后，对本实施例的运动检测装置的应用示例的概况进行说明。

图2表示空间传感器1设置在手上的状态，所述空间传感器1包括现有技术中的用于检测手形状、姿态和位置的惯性传感器组2以及上述图像拾取单元40等。

注意，所述惯性传感器组2是包括上述的三轴角速度传感器10X、10Y、10Z(以下称作角速度传感器10)和三轴加速度传感器20X、20Y、20Z(以下称作加速度传感器20)的传感器组，以检测操作者的手的位置和姿态及其移动。

由此，可以根据从加速度传感器20和角速度传感器10获得的信息来确定手背的旋转运动和平移运动。然而，因为在加速度传感器20中合成了由于重力而产生的重力加速度和由于惯性运动而产生的惯性加速度，所以通过滤去作为重力加速度的倾斜分量、由对角度传感器10的角速度的时间积分而获得的角度信息等，分离惯性加速度信息和重力加速度信息。

因为当物体以恒定速度移动或静止时从加速度传感器20输出的如此确定的由于惯性运动而产生的惯性加速度信息为0，所以不能在其运动状态之间进行区分。

此外，在角速度传感器10的空间旋转姿态信息中由于偏移等而引起误差。因此，以加速度传感器20的重力加速度为基准对角速度传感器10的旋转姿态信息执行校正处理。然而，在该校正中，不能对重力轴周围的旋转进行校正。

于是，在本实施例中，除了上述用于检测手背位置和姿态的惯性传感器组2，还设置有：光学系统，用于投影周边图像；以及图像传感器40a，用作图像拾取单元40，用于根据图像来检测空间六轴方向的运动信息。图像传感器40a被设置得光轴方向与手背的Z坐标轴方向(即，垂直于手背平面的方向)一致。此外，图像传感器40a的透镜是具有180°视角的鱼眼透镜。然而，光轴方向和视角并不限于此。

从而，同时拾取被安装者的手背侧的全天周的图像，可以通过这些图像的移动得知图像传感器40a与周边物体之间的相对运动。此外，图像传感器40a与惯性传感器组2融合在一起，由此可以非常精确地测量手背的空间姿态和位置。

这里，从运动检测装置的角度，考虑由惯性传感器组2(由加速度传感器20和角速度传感器10组成)和图像传感器40a(用于根据周边图像获取姿态)形成的配置，不需要考虑指尖的传感器组7。

图3中示出了世界坐标空间中的各个传感器的姿态框之间的关系。假定用于检测相对于世界坐标空间{W}的位置和姿态(姿势)的传感器是空间(姿态)传感器1，表示希望确定的位置和姿态的框是空间传感器框{H}。在空间传感器1上配置有惯性传感器组2。这里，为了简化处理，假定用于检测惯性传感器组2的姿态的轴(惯性传感器框)与空间传感器1的框一致。此外，由图像传感器40a获得的摄像机位置和姿态信息是摄像机传感器框{C}相对于世界坐标空间{W}的位置和姿态(姿势)信息。然而，因为其构建在空间传感器框上，所以始终可以通过常数框变换矩阵{_CR_H}对其进行匹配。

在图4A的上部示出了本实施例的光学系统的入射光线和出射光线的概况。

此光学系统被构成为等立体角投影透镜的示例，通过该等立体角投影透镜，使得成像面上的图像高度(y’)相对于入射角(θ)为y’＝2f·sin(θ/2)，并且是与物体的表观面积(即物体的立体角)成比例的图像。然而，像的形状随着入射角增大而变得扁平。该光学系统可以由等距离投影透镜或其他系统构成，只要它是超广角鱼眼透镜等。该光学系统被构成为场角(angle of field)是180°，并且，当光轴被定向为天顶方向时，全天周的图像投影到图像传感器40a。

入射光线根据光学系统的投影关系式，按相对于天顶的角度(即相对于光轴中心的角度(θ))投影到图4A下部所示的投影图像的同心圆的圆周上，并且，投影位置随着角度增大(沿水平方向倾斜)而改变到使同心圆的半径变大的位置。入射角为90°的光线是来自水平线的光线，将投影到圆周的边缘。此外，来自方位角方向的光线投影到与投影图像的圆的中心线的方位角一致的线上。

由此，因为投影图像上的圆的中心位置和直径是已知的，所以，如果提供图像传感器40a上的二维坐标位置，就可以确定入射光线的入射角和方位角。

图4A的下部是在投影图像上示出图像高度相对于入射光线角度的关系以及方位角相对于入射光线角度的关系的图。此外，图5A示出了其中内置有由光学系统形成的图像拾取系统和惯性传感器组2的运动检测装置的另一安装形式的示例。柱形外壳46的上部安装有超广角光学系统透镜410，其下设置有图像拾取装置420，从而实现上述投影条件。此外，该光学系统被形成为诸如针孔摄像机的成像系统，并且，形成从近点到远点聚焦的图像。此外，在其下部设置有包括角速度传感器和加速度传感器的惯性传感器组2，以检测彼此垂直的空间三维方向。此外，内置有对这些信号进行处理的处理系统，该处理系统被构成为使得该装置可以独立地检测空间姿态和位置。注意，图5B中示出了这种光学系统捕获的图像。此外，在图6A，6B，7A和7B中示出了其他光学系统的变型例以及所述光学系统捕获的图像。

图6A是其中四个平面镜6a、6b、6c和6d贴附于四棱锥411的侧面的构造的示例。该四棱锥411是切掉顶点侧的形状，并被倒置，反射到平面镜6a、6b、6c和6d的像通过成像透镜系统47投影到图像拾取装置420。此外，四棱锥411的底面6f和顶面6e分别都是透明的或者可透射的，成像透镜系统47光轴方向上的周边像被透射以使其投影到图像拾取装置420。由此，垂直于透镜光轴的四个方向的图像6A、6B、6C和6D以及光轴方向6E的总共五个轴方向上的图像被同时拾取。当镜数目进一步增加时，可以在更多方向拍摄图像。因为光学系统的该投影像是分成五个区域的中心投影，所以可以通过对图像信息的线性变换式来容易地确定特征点的空间位置的方向。

随后，图7A是使用抛物面镜的变型例。设置有外侧被制成镜的抛物面形状412。反射到抛物面镜7a的周边图像通过成像透镜系统47投影到图像拾取装置420。图7A的该抛物面形状412也被制成为其顶点以如上所述的方式切掉。顶面7c和底表面7b都是透明的或可透射的，成像透镜系统47的光轴方向上的周边像被透射以使其投影到图像拾取装置420。由此，如图7B所示，垂直于光轴的所有方向上的图像7A和光轴方向上的图像7B被同时拾取。此外，使得抛物面镜7a上的反射像的图像为圆形。然而，与中央的透射图像相同方向的图像7D投影在其外侧。因此，可以同时拾取比上述平面镜类型更多的图像。

图8功能性地示出了在上述图1的图像比较单元50以及摄像机位置和姿态获取单元60的内部执行的处理。根据该图，对本实施例中的图像处理的流程进行说明。

在图像拾取单元40，通过投影光学系统410将光学像转换为电信号，并将其进一步存储为图像数据。随后，此图像数据输入到图像比较单元50。然而，因为投影到图像拾取单元40的周边像为圆形，所以在该圆形之外的部分没有图像数据。因此，为了试图加速以下的图像处理等，预先准备使得能够区分无效区域的掩模数据。图4B表示掩模数据。这里，使其与200×200像素的图像传感器的数据的大小相同。此时，向没有数据的部分写入“0”数据并省略下面的图像处理，并且，将非“0”的数据写入其它部分。这里，具有有效入射半径且以光轴中心投影到的坐标位置为中心的圆的外部是“0”数据。

首先，在图像比较单元50根据该数据执行掩模数据处理51。在执行了掩模数据处理51之后，执行被获取为连续框图像的周边图像与一个先前框500的图像之间的处理，此外，对经处理的图像执行边缘提取处理。在该边缘提取处理52中，为了确定输入图像的边缘部分，在x方向和y方向执行利用微分算子(例如Sobel算子)的边缘提取，并且在x和y方向上对存在边缘的地方进行搜索。这样的原因是为了减少后述的特征点图像匹配处理53中的误差。

在边缘提取处理52中提取了边缘之后，为了确定周边图像与图像数据的相对移动，执行特征点图像提取处理54。这里，为了对是特征点的图像进行搜索，由通过对预先确定的坐标位置周围的输入图像的边缘进行检测并对所述点进行评价来对特征点进行搜索，从而实现特征点提取。注意在图4A中，假定搜索开始坐标位置是黑点、它们周围的矩形区域是搜索范围，则限定了特征点初始搜索位置信息。这是因为试图使得能够用许多方向的数据来注册特征点信息。这是因为试图使得能够通过对周边的前、后、左、右、及上方向的特征点的相对移动进行比较来更正确地估计手背的空间移动。注意，用于特征点提取的信息(例如特征点初始搜索位置信息)存储在新特征点搜索表59中。

当提取了特征点时，在稍后要详细说明的无效特征点追踪处理55之后，执行特征点注册处理56。在特征点注册处理56中，对注册的特征点坐标(Uk，Vk)、以该特征点为中心位置的给定矩形区域的特征点图像、作为相对于该注册时已确定的世界坐标空间{W}的姿态信息的到空间传感器框的变换{₀H_k}，及其逆变换{_kH₀}进行注册，作为新的特征点信息，此外，对已注册标记进行置位。

此外，在特征点注册处理56中，对在图4A中的初始搜索位置周围提取的所有特征点执行注册操作。这些注册的特征点信息用于接下来输入的框图像的匹配处理53等。

注意在第一框处理(即初始化步骤)中，不执行接下来的匹配处理53，图像比较单元50中的处理结束。此外，在摄像机位置和姿态获取单元60执行初始化处理64，并执行对位置/姿态信息的初始化处理。然后，对于接下来输入的框图像，以与上述的相同方式执行掩模数据处理51、框间处理及边缘提取处理52。

因此，在对第二框的处理之后，检查特征点信息的已注册标记。这里，当特征点已注册(即，对已注册标记进行了置位)时，在当前框的注册特征点坐标(Uk，Vk)的附近搜索与注册图像的相关度最高的部分。这里，当发现正确位置时，将该位置存为当前特征点坐标，并对特征点搜索标记进行置位。当没有发现正确位置时，将注册信息的注册标记和特征点搜索标记复位。

在这里的搜索特征点图像的处理中，当针对注册特征点位置在给定范围内扫描特征点图像时执行匹配处理，作为通常的匹配处理53。然后，作为匹配处理53的结果，假定相关值最高的地方是匹配位置，该点是特征点匹配坐标(U’，V’)。此外，当存在确定的相关值超过特定基准值时，确定可以正确地搜索特征点。

图9A表示根据本实施例的通过投影光学系统410获取的框图像及其提取特征点图像的状态，图9B表示在空间传感器1旋转移动后在获取的框图像上搜索特征点图像的状态。此外，图10A是当将其注册特征点图像信息注册在存储器中时的概念图。这里，注册特征点图像是15×15像素的8位级(gradation)数据。此图像数据的中央像素(7，7)坐标值是在特征点坐标(Uk，Vk)位置的数据。在存储器上，通常以左上的像素作为起始地址来将数据作为连续数据序列进行管理。

然后，在匹配处理53中使用相对于输入的框图像如图10B所示地移动的特征点图像数据。将作为图像信息的集合的注册特征点图像的图像数据重叠在一起，并对各个像素间的有限差的绝对值的积分值最小的位置进行搜索。因此，在相关度处理中，必须将搜索区域的大小的平行移动量的地址和仿射变换的旋转操作加到作为起始地址的特征点坐标(Uk，Vk)。必须进行组合了平行移动和旋转移动的扫描，以搜索一个特征点图像，需要极多的计算处理。此外，必须对于所有待注册特征点执行该处理，并需要极高的计算处理代价。

于是，在本实施例中，为了计算在该时间点已更新的当前空间传感器框n的位置和姿态(这表示从世界坐标系角度的到当前传感器框n的坐标变换){₀H_n}，通过使用作为当注册各个特征点时的时间点的传感器框k的{₀H_k}的逆变换{_kH₀}、以及表示从各个特征点注册时起直到当前空间传感器框n的坐标变换的相对运动参数{_kH_n}或其逆变换矩阵{_nH_k}，从而对其进行估计。数学上，例如，如果在框k的坐标值(X_k，Y_k，Z_k)对应于在传感器框n的坐标值(X_n，Y_n，Z_n)，此参数用如下表示的坐标变换来表示：

$\left[\begin{array}{c}{x}_n\\ y_n\\ z_n\\ 1\end{array}\right]=H_k^n\left[\begin{array}{c}{x}_k\\ y_k\\ z_k\\ 1\end{array}\right]=\left[\begin{array}{cc}R_k^n& T_k^n\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_k\\ y_k\\ z_k\\ 1\end{array}\right]$

或

$\left[\begin{array}{c}{x}_n\\ y_n\\ z_n\end{array}\right]=R_k^n\left[\begin{array}{c}{x}_k\\ y_k\\ z_k\end{array}\right]+T_k^n=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_k\\ y_k\\ z_k\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$

这里，_nR_k是旋转矩阵，表示以r_ij(i＝1，2，3；j＝1，2，3)作为元素的3×3的矩阵。此矩阵可以用三个独立的参数(φ_x，φ_y，φ_z)表示。另一方面，_nT_k表示平移向量，可以用三个独立参数(t_x，t_y，t_z)表示。即，各个框之间的位置和姿态关系可以用总共六个参数表示，即(φ_x，φ_y，φ_z，t_x，t_y，t_z)。

此时，使用关系式₀H_n＝₀H_kkH_n或_nH₀＝_nH_kkH₀，对当前时间点的传感器框n的世界坐标系的位置和姿态关系进行估计。

随后，根据运动参数和投影光学系统的关系式来估计注册特征点坐标(Uk，Vk)在当前框图像中的坐标值。通过在特征点移动估计处理57获得的特征点移动估计坐标(Uprd，Vprd)的周围进行搜索，可以缩小搜索区域，并且可以减少计算处理的代价。

在实际特征点图像数据的管理中，如果是仅仅对如图10A中的像素信息的管理，则每当在匹配处理53时的图像数据扫描时必须针对每个像素通过投影变换来对平行移动位置或由于旋转等的移动位置进行估计，使得处理很复杂。

由此，实际上，如图11A，在注册时对于每个像素数据确保对应的X坐标和Y坐标的XY移动估计像素坐标区域。随后，在用于搜索特征点的匹配处理53之前，通过相对运动参数{_nH_k}计算各特征点图像的各像素的移动估计位置，并将计算出的移动估计位置的数据记录在对应像素的XY移动估计像素坐标区域。预先针对已注册的所有特征点图像中的所有像素数据执行该处理。

于是，在此后的匹配处理53中，仅仅通过将用于扫描图像数据的平行移动量加到特征点图像数据的XY坐标数据的操作就可以进行处理，简化了整个处理。

图11B是表示注册时的特征点图像的位置和区域移至预先估计的XY移动估计像素坐标的位置的状态的图。如此进行了坐标变换的特征点图像不是最初的矩型图像形状，并存在投影变换使得特征点图像变形的情况。然而，对于还具有这种形状的图像数据，在匹配处理53中，仅仅执行只用于加和减操作的处理(例如地址移动和相关值的计算)就足够了。

随后，将对关于匹配处理53的另一个变型例进行说明。

在对特征点进行追踪的过程中，存在试图对作为对象的事物的原始形状进行追踪的情况。例如，可以设想在背景移动剧烈的物体前的对象，以及在物体中存在变化区域的情况等。在从特征点获得的特征点图像中存在这种变化图像成分的情况下，存在如果由常规方法执行则不能实现匹配的情况。

然后，如图12A所示，除上述XY移动估计像素坐标区域以外，还设置有注册XY像素坐标区域。在上述示例中，为了根据注册特征点坐标(Uk，Vk)确定各像素在注册时的坐标值，假定注册特征点图像的像素数据是以特征点周围为中心的垂直和水平固定的矩形区域的数据。

由此，根据矩形区域的垂直和水平值确定每个像素的坐标值，此后，根据对于坐标值的投影变换的变换式确定用于搜索的估计坐标值。然而，在该变型例中，即使在地址变换中也可以直接对注册像素坐标数据执行投影变换，并仅将其结果注册在移动估计像素坐标中。

此外，因为可以对注册像素位置的坐标值进行注册，所以不需要将形状限制为矩形，可以对具有任何形状的特征点图像进行注册。甚至可以通过重复简单的处理来执行具有第一眼看来很复杂的复杂形状的处理。

由此，例如，对于显示投影图像的监视器，只能将监视器的框注册为特征点图像区域，可以与投影图像的内容无关地实现匹配处理53。

图12B表示对以上变型例中的注册时的特征点图像以及用于搜索的特征点图像的移动位置和旋转进行估计的状态。这样，注册特征点图像也不必是矩形，此外，即使要估计的搜索特征点图像的最初形状发生了变化，也可以只通过匹配处理的简单计算来执行。用于估计到现在的移动位置的当前空间传感器框{_nH₀}信息是通过对直到该时间点在空间位置和姿态获取单元70处理的惯性传感器组2的框信息的更新的{₀H_n}的逆变换{_nH₀}来计算的。然而，图像拾取装置420的更新是一个先前处理确定的结果所反映的信息。由此，有可能积累由于惯性传感器的偏移等而产生的误差。在图像拾取装置420的更新率之间产生的误差是极小的值。

摄像机位置和姿态获取单元60根据当时和之后的处理得到的特征点信息来确定当前摄像机位置和姿态信息{_nC₀}。这里，在摄像机位置和姿态获取单元60中，制定假设对以摄像机坐标系周围为中心的世界坐标系的移动(相对运动)进行追踪。只要一旦计算出世界坐标系相对于摄像机坐标系的位置和姿态{_nH₀}，就可以容易地确定作为其逆矩阵(逆变换)的摄像机坐标系(即空间传感器系)相对于世界坐标系的位置和姿态{₀H_n}。

这里，如图3所示，因为摄像机框构建于作为空间传感器框的空间传感器1上，所以总是可以通过将给定变换矩阵{_cR_H}加到空间传感器框{H}来将其变换为摄像机框{C}。由此，这里，为了简化说明，假设摄像机框{C}和空间传感器框{H}彼此一致来进行说明。这里，n是要确定的框的号，0是第一框，k是注册特征点时的框号。如上所述，在第一框0执行初始化处理64。此外，使得此时的空间传感器框为n＝0。即，处于{₀H₀}和{₀H_w}彼此一致的状态，也就是空间传感器框{H}和世界坐标空间{W}彼此一致。在此初始化期间，对于从图像拾取装置420获得的特征点，对其中深度信息z已知的特征点位置进行注册。注意，这里，该深度信息z表示相对于传感器框系的深度信息。此外，稍后进一步说明初始化处理64。与之一致地，假设{_nC₀}和{_nH₀}彼此相等来进行以下说明。

在图13中示出了在许多图像的流中从特征点出现直到它们消失的状态。

特征点i第一次出现在框图像k中，此外，特征点j在框图像(n-2)中消失。对这些框图像的每一个执行上述的匹配处理53和特征点注册处理56。从特征点第一次注册的时间点起，将特征点坐标(u，v)和深度信息z用作与此特征点相关联的参数。此时，将最大值分配给关于深度信息z的不确定度σ_z。在图14中示出了特征点坐标(u，v)和深度信息z。

当在新框图像中正确取得了对于特征点的匹配时，通过使用对从特征点第一次注册时的摄像机框{_kC₀}(即，等价于{_kH₀})的旋转和平移信息的估计值，对当前空间传感器框{_nH₀}进行更新。对从框k到框n的变换，即

$\left\{H_k^n\right\}:p=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)$

以及与其相关联的不确定度σ_z进行第一次更新，此后，通过使用框0，框k和框n之间的关系式_nH₀＝_nH_kkH₀来更新从框0到框n的变换，以及与其相关联的不确定度σ_z。这里，p代表运动向量。图15和16中示出了这些状态的映像图。注意，因为在到现在为止的处理中已经对{_kH₀}进行变换和更新，所以{_kH₀}是已知值。

随后，由于连续更新了与{_nH₀}相关联的不确定度σ_z，所以可以对特征点图像的深度信息z进行更新。由于通过计算{_nH_k}＝_nH₀₀H_k获得的特征点i的图像的最初的{_nH_k}的重运行，并且由于作为框k与框n之间的对应关系的(U，V)和基于更新的(u’，v’)的深度信息z，从而执行该处理。此新确定的z还用于对接下来的框变换进行估计。注意各个特征点信息的内容如下所示：

1)在特征点第一次出现并注册时的框号k。

2)框k中的标准化特征点坐标(u，v)。

3)框k中限定的深度信息z(与(u，v)相关联的形状向量分量)

{_kH₀}≡_kH₀(_kR₀，_kT₀)

     ≡_kH₀(^kφ_x ⁰，^kφ_y ⁰，^kφ_z ⁰，^kt_x ⁰，^kt_y ⁰，^kt_z ⁰)(运动参数)(已在注册时的框中进行了计算)

5)一个先前空间传感器框{_n-1H₀}(已在先前框中进行了计算)

6)一个先前框(n-1)中的标准化特征点坐标(u_prev，v_prev)

7)一个先前框(n-1)中的协方差矩阵cov((u_prev，v_prev)

在新的框图像中，以各特征点作为标记，使得上述参数与各个特征点相关联。

这里，为了确定上述深度信息z、{_nH_k}以及其它值，执行以下处理。此外，在图17中示出了各个框的关系。

注意，假定在该时间点已对直到先前框的运动参数进行了估计。此外，假定已用平均值和协方差矩阵对{_kH₀}和{_n-1H_k}进行了估计。此外，考虑不确定度对

$H_{n-1}^n(\mathrm{\φ}_x^{n-1}{}_n,\mathrm{\φ}_y^{n-1}{}_n,\mathrm{\φ}_z^{n-1}{}_n,t_x^{n-1}{}_n,t_y^{n-1}{}_n,t_z^{n-1}{}_n)$

进行估计。据此，因为提供了估计值{_nH_n-1}，所以也可以对{_nH₀}进行估计。

随后，执行对已在框(n-1)中的特征点列表中注册的特征点的匹配。注意，在图17中，k是特征点第一次出现的框号，(u’，v’)是框n中的特征点的坐标值。然后，cov(u’，v’)是框n的协方差矩阵。

1)如下预测 $H_k^n(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n).$

{_nH_k}＝_nH_n-1 n-1H_k，r_ij∈{_nH_k}         (公式1)

2)为了更新{_nH_k}，设置以下限制。

$u^{\′}=\frac{z(r_{11}u+r_{12}v+r_{13})+t_x^k{}_n}{z(r_{31}u+r_{32}v+r_{33})+t_z^k{}_n}$

$v^{\′}=\frac{z(r_{21}u+r_{22}v+r_{23})+t_y^k{}_n}{z(r_{31}u+r_{32}v+r_{33})+t_z^k{}_n}$ (公式2)

这里，(u’，v’)是框n中的测量值，以及相对于平均值和协方差矩阵具有小不确定度。

此外，获取运动向量 $p=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)$ 的初始计算值、特征点坐标(u’，v’)、以及深度信息z。

然后，通过使用Kalman滤波器，可以对运动向量 $p=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)$ 和深度信息z进行更新。这里，假定 $\stackrel{\‾}{p}=(\stackrel{\‾}{\mathrm{\φ}}_x^k{}_n,\stackrel{\‾}{\mathrm{\φ}}_y^k{}_n,\stackrel{\‾}{\mathrm{\φ}}_z^k{}_n,\stackrel{\‾}{t}_x^k{}_n,\stackrel{\‾}{t}_y^k{}_n,\stackrel{\‾}{t}_z^k{}_n)$ 和 z是经更新的平均值和经更新的协方差。

这样，更新了{_nH_k}。

随后，执行对{_nH₀}的更新。如果可以在这些处理中获取对{_nH_k}的更新，那么可以通过再次使用Kalman滤波器来更新{_nH₀}。

此外，根据对{_nH_k}和{_nH₀}的测量，以及Kalman滤波器计算的参数{_nH₀}，考虑_nH₀＝_nH_kkH₀。因此，可以得到：

$a=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)$

$b=(\mathrm{\φ}_x^0{}_k,\mathrm{\φ}_y^0{}_k,\mathrm{\φ}_z^0{}_k,t_x^0{}_k,t_y^0{}_k,t_z^0{}_k)$

$p=(\mathrm{\φ}_x^0{}_n,\mathrm{\φ}_y^0{}_n,\mathrm{\φ}_z^0{}_n,t_x^0{}_n,t_y^0{}_n,t_z^0{}_n)$

此时，cov(a)和cov(b)是极小的值。此外，作为三维公式，提供了以下(公式3)。

f(a，b，p)＝0             (公式3)

这里，(公式3)中的a、b、p、和0是向量的量。为了更新p，使用Kalman滤波器。在图18中示出了p更新后的状态。

由此，通过各个特征点图像和Kalman滤波器，可以对

$p=(\mathrm{\φ}_x^0{}_n,\mathrm{\φ}_y^0{}_n,\mathrm{\φ}_z^0{}_n,t_x^0{}_n,t_y^0{}_n,t_z^0{}_n)\∈\left\{H_0^n\right\}$

进行更新。此外，如果可以对p连续地应用Kalman滤波器，就可以在极大程度上降低p的不确定度。

随后，对框k中限定的深度信息z进行估计。从此，仅对运动向量p连续应用Kalman滤波器。然后，通过在更新p后再次应用Kalman滤波器，可以降低z的不确定度σ_z。这通过下面的方法实现。在计算 $p=(\mathrm{\φ}_x^0{}_n,\mathrm{\φ}_y^0{}_n,\mathrm{\φ}_z^0{}_n,t_x^0{}_n,t_y^0{}_n,t_z^0{}_n)\∈\left\{H_0^n\right\}$ 之后，使用以下(公式4)再次公式化{_nH_k}：

{_nH_k}＝_nH₀₀H_k＝_nH₀(_kH₀)^-1    (公式4)

首先通过使用下面的公式传播不确定度。

$(\mathrm{\φ}_x^0{}_n,\mathrm{\φ}_y^0{}_n,\mathrm{\φ}_z^0{}_n,t_x^0{}_n,t_y^0{}_n,t_z^0{}_n)\∈\left\{H_0^n\right\}$

测量：

$(\mathrm{\φ}_x^0{}_k,\mathrm{\φ}_y^0{}_k,\mathrm{\φ}_z^0{}_k,t_x^0{}_k,t_y^0{}_k,t_z^0{}_k)\∈\left\{H_0^k\right\}$

在这两个公式中，必须根据单个特征点地传递对应于{_nH_k}的极小的不确定度。然后，考虑上述(公式4)。

于是，获得

$c=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)\∈\left\{H_k^n\right\}$

以及对协方差的评价值。这里，通过上述(公式2)定义具有与框n的深度信息z匹配的框k的(u’，v’)。

使得(u’，v’)和 $c=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)\∈\left\{H_k^n\right\}$ 与所有测量值(或者已评价的值)不相关。注意，毫无疑问地对深度信息z进行计算。

在计算了框n的所有值之后，对 $c=(\mathrm{\φ}_x^k{}_n,\mathrm{\φ}_y^k{}_n,\mathrm{\φ}_z^k{}_n,t_x^k{}_n,t_y^k{}_n,t_z^k{}_n)\∈\left\{H_k^n\right\},$ 深度信息z、以及其它值进行更新。

如上所述，当对以表示当前状态的框n为基准的初始框0的位置和姿态关系{_nH₀}进行了估计(更新)时，作为其逆矩阵(逆变换)，计算以世界坐标系为基准的当前框的位置和姿态{₀H_n}。

即，

₀H_n＝(_nH₀)^-1

如果世界坐标系相对于摄像机坐标系的位置和姿态{_nH₀}(即{_nC₀})是如此计算的，则可以容易地确定作为其逆矩阵(逆变换)的摄像机坐标系(即，空间传感器系)相对于世界坐标系的位置和姿态{₀H_n}。

这里，在上述摄像机位置和姿态获取单元60中，对初始框0的初始化处理64进行说明。

摄像机位置和姿态获取单元60在特征点出现和消失期间继续追踪特征点信息，并继续更新特征点的三维信息。此外，当出现另一个特征点时，可以通过接管当前特征点信息的三维信息来继续对摄像机框信息进行更新。然而，在空间传感器第一次启动的时间点，没有特征点具有三维信息，因此，各个特征点只能获取相对深度信息。由此，在该初始化处理64中，执行向一个或更多个已知特征点提供深度信息的处理。首先，对初始化处理的第一系统进行说明。

注意，在使用本实施例的运动检测装置作为用于检测身体运动的装置的情况下，将已知大小的标识标记附于被安装者他/她自己身体的可以从附于手、头等的运动检测装置看到至少一部分的部位。标识标记例如可以是以特定的已知间隔分开的特征点标记，或者可以是具有特定的已知大小形状的标识标记。

例如，在接入电源后的加电重启、通过重启开关的强制重启处理等的状态中，执行初始化处理64。被安装者在标识标记输入到图像传感器40a的位置执行初始化处理64。

此外，在如图2所示地利用可以对手的形状等进行识别的手势操作输入装置情况下，可以通过重启手势动作(例如，将当手的形状从石头变为布的动作定义为重启操作)执行该处理。在初始化处理64时，图像传感器40a首先检测这些标识标记，并对从已知大小的标识标记提取的特征点的深度信息z进行初始注册。在初始化处理64时和之后，在摄像机位置和姿态获取单元60，可以在使得注册的深度信息z对应于其它特征点信息的同时继续对摄像机框进行更新。

由此，不需要在初始化时在具有特定标记的特定位置执行该处理，可以在任何时间任何地点执行初始化处理。

此外，作为初始化处理的第二系统，标识标记以与上述初始化处理的第一系统相同的方式附在被安装者他/她自己身体的一个部位上。然而，存在不一定需要诸如大小、间隔等信息的系统。该系统用于执行初始化处理以预先确定身体姿势(例如，手的位置/姿态、头的位置/姿态等)。例如，用作标识标记的垂悬物(pendant)或类似物附在胸部。随后，通过利用上述的手势操作输入装置在垂悬物的位置执行重启手势动作。在该初始化处理中，手背上的图像传感器40a对预先确定的图像输入区域的特征点进行识别，并对其深度信息z进行注册作为已知值。由此，被安装者他/她自己必须预先测量用于初始化的手势和此时从图像传感器40a到已知特征点的距离，并将该值输入作为初始值。按照这种系统，因为可以充分地识别特征点的位置，所以不需要识别特征点的大小、距离、形状等，并且标识标记可以被制得很小。

此外，识别处理的第三系统是使用身体本身的测量值和位置关系作为已知特征点而无需在身体上安装特别的标识标记的系统。以与上述系统相同的方式，存在两种这样的系统。

一种系统是对作为被安装者他/她自身身体的初始特征点的部分的度量预先进行测量并将其初始化注册的系统。例如，当设置脸上的眼睛作为特征点时，使用眼睛宽度的距离作为已知距离。此外，脸的宽度、肩的长度等也可以用作已知距离。

此外，另一系统是以预先确定的身体的姿势执行初始化处理、总是从恒定距离对身体一部分的特征点位置进行提取，并将特征点位置输入到图像传感器40a的系统。例如，在手在身体前伸出时的初始化动作中对头的距离注册作为已知距离，或者，在两只手以给定间隔张开时，将用于测量从一只手到另一只手的距离的手势设为初始化手势，由此可以注册已知距离。

在通过上述手势操作输入装置执行此处理的情况下，在身体前面的确定的位置执行重启手势运动。据此，手背上的图像传感器40a可以提取总在给定范围内的方位和入射角的区域中的脸的图像，并可以对其特征点进行注册作为已知特征点信息。在此系统中，可以限制初始化处理时的已知特征点的搜索范围。

此外，两个系统可以自然地统一到一个方法中，并且可以通过对特征点的已知间隔和已知距离信息进行初始注册来提高精确性。

根据第三系统，无需在身体上安装用作特征点的特殊标记即可执行初始化处理，此外，可以提高其可操作性。

初始化处理的第四系统是利用初始化时的周边环境与姿态之间的关系的系统。当通过上述手势操作输入装置执行此处理时，预先决定重启手势动作时的手势以执行，例如，在站立的状态和手背朝下的状态、或者手的姿态使得可以从图像传感器40a看到脚信息。此外，对该姿态中从手背到地的距离进行预先测量和初始注册。此时，可以对从到脚的方向上的图像提取的特征点进行注册，作为大致的已知距离信息的特征点。

在运动检测装置附于头部等的情况中，例如，可以利用站立状态下的身高数据作为距离信息。然而，对于由于脖子的弯曲等而产生的周边图像的变化，也可以根据空间传感器中的加速度传感器20的信息对在到脚的方向上的图像进行检测，因此，总是可以识别脚处的作为图像信息的特征点。因此，可以根据相对于重力轴从头到脚的特征点的角度信息以及从空间传感器到脚的距离，对到特征点的距离进行估计。由此，可以不仅仅在初始化处理时将其用作由此始终可以知道深度信息的特征点。注意，在这种情况下，条件是其用在脚张到某种程度的限定环境。

接着，初始化处理的第五系统是通过执行作为初始化动作的动作(例如执行预先已知的移动的手势)来执行初始化处理的系统。

例如，在通过上述手势操作输入装置来执行该操作的情况下，作为初始化处理，首先，以初始化开始手势动作(例如，假定石头和布动作是开始动作)来开始初始化处理，然后，手从预先设置的初始位置移动到结束位置，这里，通过执行初始化结束手势动作(例如，假定布和石头动作是结束动作)来结束初始化信息的输入。作为该动作，重要的是连接第一和最末动作的直线距离是始终恒定并且已知的距离。例如，通过一系列动作从手向前伸出到最大的状态到手接触身体时移动的距离可以用作基本恒定的距离信息。

可以通过将已知的移动距离信息加到来自在上述一系列初始化手势动作的开始与结束之间处理的周边图像的特征点信息的运动参数和深度估计信息，从而对各个特征点的深度信息进行注册。此系统不是直接使用身体的测量值和位置关系信息的系统，而是使用身体的操作部分的动作范围的信息的系统。

如上所述，在初始化处理64中，可以在多种系统中对关于初始特征点的深度信息z进行初始注册。这些系统可以单独使用，也可以以各自组合的方式同时执行。此外，在初始化的时间点可以通过手势动作来改变要使用的初始化系统。

随后，对用于搜索特征点的新开始位置的搜索方法进行说明。当在匹配处理53中未能搜索到注册特征点图像时，丢弃该信息。然而，当特征点的数目变小时，减少了用于确定摄像机姿态参数的信息量，算术精度劣化。此外，如上所述，对于特征点的输入图像的方向，试图从所有可能的方向输入图像，这提高姿态信息的精度。由此，当在确定不能获得对特征点的匹配的情况下将其丢弃时，必须新搜索特征点并将其注册。此外，特征点图像的输入方向必须是与当前注册并追踪的特征点图像的输入方向不同的方向。

接着，此后参照图4B对用于搜索特征点的表组织技术进行说明。图4B是其中对用于上述掩模数据处理51的掩模数据进行了扩展的图像投影分块掩模数据。略去图像处理等的周边位置是“0”数据，非“0”的数值信息嵌入投影图像的圆的内部。数值信息进一步嵌入每个特定分块区域，以及根据该数据对当前搜索的特征点的输入图像的方向进行识别。

这里，在圆的内部有两个同心圆，各个同心圆分为在方位方向上划分的若干区域。用作用于标识各个区域的编号的分块数据嵌入这些区域。此外，作为新搜索特征点的开始位置的搜索开始坐标值与标识号相连。搜索开始坐标值是绘于图4B中各个图像投影分块掩模数据区域的大致中心的黑点的位置。注意，分块数据对应于图8的图像投影分块掩模数据58。

即，当在匹配处理53中正确搜索到对当前特征点位置的匹配时，可以通过读取对应于追踪坐标值的图像投影分块掩模数据58的分块数据而得知大致入射方向。然而，不需要具体知道入射方向的角度等。可以对所有已注册特征点的搜索坐标值执行此处理，可以确定不存在当前搜索的特征点的分块号，可以向用于搜索的新特征点搜索表注册分块号的搜索开始坐标值。从而，可以分散作为新搜索特征点坐标值的图像的入射方向。

可以通过计算来实际确定这些处理。此时，然而，根据当前特征点图像坐标通过投影变换的变换式来确定各个特征点的入射光线的角度(θ)和方位角，分析所有特征点的入射方向，此后，必须确定下一个搜索方向。变换处理和对入射方向的分析等需要较多的复杂处理。与其相比，在本实施例中，仅仅通过改变图像投影分块掩模数据58的内容就可以容易地改变搜索区域的数量和方向。

在本实施例中的对特征点信息的管理中，可以利用对作为特征点的对象的有效性进行确定/管理的函数。在上述的摄像机位置和姿态获取单元60中的位置/姿态算术处理62中，基于根据所有特征点的相对移动而获得的摄像机框{_nH₀}及其一个先前姿态信息{_n-1H₀}，确定图像处理周期内相对姿态的移动{_nH_n-1}。此后，当通过将相对运动参数{_nH_n-1}用于各个特征点的前一个匹配坐标值从而对各个特征点的当前移动进行了估计时，对估计的坐标值与实际匹配坐标值之间的差进行评价。当评价值大于某阈值时，确定该特征点是无效特征点。在这种无效特征点确定处理63中确定为无效的特征点将特征点注册标记复位同时保持特征点搜索标记被置位。

由此，通过比较自然特征点的图像移动向量与来自空间传感器1的姿态信息，可以确定用作周边图像的特征点的对象是可以作为待测量物体的基准的有用物体还是无效移动物体。从而，由于仅将空间传感器周围的世界坐标空间中的固定物体或静止物体作为用于确定姿态的基准信息，所以可以更精确地确定姿态。

注意，对确定为无效的特征点进行处理以使得在图像比较单元50的无效特征点追踪处理55中不对存在确定为无效的特征点的区域进行注册。即，将它们作为无效特征点信息来管理从而不再次加到新特征点搜索信息。

因此，无效特征点处于特征点注册标记被复位的状态，且处于特征点搜索标记被置位的状态。这里，对于特征点注册标记或特征点搜索标记被置位的特征点，在匹配处理53中执行正常的搜索处理。因此，对于在此再次正确执行了匹配的特征点，再次对追踪标记置位。此外，当没有正确执行匹配时，对特征点注册标记和特征点搜索标记二者进行复位，并无论该特征点信息有效或无效都丢弃该特征点信息。随后，特征点注册标记未被置位的无效特征点不用于以下的用于确定摄像机位置和姿态获取单元60的姿态信息的计算。

如上所述，无效特征点成为摄像机位置和姿态获取单元60中的误差因素。因此，如果简单地丢弃无效特征点，则很有可能在下一个图像处理周期中再次提取该无效特征点作为特征点，并再次将其用于姿态计算处理等。结果，可以通过追踪其位置并对无效特征点进行管理来减少计算处理，此外，可以精确确定姿态。

当在如上所述的图像比较单元50中用于标识特征点的注册图像的大小和搜索范围如图4A所示地固定时，通常，对于待测量对象的平移移动，远处对象的各特征点的移动小，但近点的对象的各特征点的移动大于远点的对象。即，根据近点的特征点估计的深度信息显著地影响测量的精度。

由此，当在上述摄像机位置和姿态获取单元60中的特征点z估计处理61中对特征点的深度信息z进行了估计时，在特征点是远处特征点的情况下，再次构建注册图像的大小以使其变大，并使搜索范围变得较小。另一方面，在近点的特征点的情况下，与其相比，注册图像的大小变得较小，搜索范围变大。注意，此处理对应于根据权利要求书的“自适应特征图像设置装置”的处理。

这里，投影光学系统410的立体角根据要作为主体的对象的大小和到该对象的距离而变化。因此，除非根据距离信息改变注册图像的最佳大小和搜索范围，否则注册图像的变形和移动范围向较近点的特征点的图像那样相对于姿态变化发生较大的偏离，并且在搜索特征点过程中不能正确执行匹配。

然后，通过根据注册特征点信息的深度信息z将匹配处理53的图像大小和搜索范围改变到最佳值，可以设法提高检测姿态的精度并优化处理速度。

本实施例的空间传感器不仅可以通过被安装在手或头而且可以通过被安装在身体的待测量部位，从而用作可以对该部位的自由度的空间姿态进行测量的身体运动检测装置。此外，不需要像使用光、磁等的传感器那样在附近或者周围安装信号源用作基准，它可以在任何地方使用。此外，当同时附有许多空间传感器时，可以使用这些空间传感器而不会有任何相互干扰、数据更新率减小等。此外，通过将如本实施例中的图5A所示的空间传感器附于虚拟或实际书写工具的末端部分，可以对处于书写状态的笔尖的移动进行测量，该空间传感器可以用于笔输入类型操作输入装置等。

此外，如果本实施例的空间传感器附于数字摄像机等上，则可以在连续拍摄图像时同时记录空间姿态信息。可以将这些拍摄信息和空间姿态信息用作用于对被拍摄对象的三维信息进行重构的信息，该空间传感器可以用作三维图像数据构建摄像机。

如上所述，不仅通过将空间传感器直接安装在身体上来使用空间传感器，而且该空间传感器可以通过被附在附于身体等并通过被握持在手里来使用的工具上来测量工具自身的运动。

以上根据实施例说明了本发明，本发明不限于上述实施例，毫无疑问，在不脱离本发明主旨的范围内可以进行各种修改和应用。

工业应用

如上所详述，根据本发明，可以提供一种可以精确地识别被安装对象的空间位置、姿态、以及移动的运动检测装置，以及一种通过直接或间接将这种运动检测装置安装到身体从而可以识别身体部位的移动、手势等的运动检测装置。此外，一种对通过在安装了该运动检测装置的物体被抓住或握住的同时对其进行操作而被操作的装置的位置、姿态等的移动进行检测的运动检测装置。

特别地，在第一发明中，通过使用来自图像拾取装置的周边图像的信息以及根据来自加速度传感器或角速度传感器的信号而确定的惯性运动的信息来确定空间位置和姿态，从而可以更精确地测量待测量对象的位置和姿态。

在第二发明中，因为投影图像是分为五个区域的中心投影，所以可以通过图像信息的线性变换式容易地确定特征点的空间位置和方向。

在第三发明中，可以同时获取比平面镜类型所获取的图像数量更多的图像。

在第四发明中，可以同时获取来自全天周的图像。

在第五到第七发明中，不需要像使用光、磁等的传感器那样在附近或者周围安装作为基准的信号源，可以在任何地方使用空间传感器。此外，即使同时附有多个空间传感器，也不存在相互干扰、数据更新率减小等。

在第八发明中，通过根据来自惯性传感器的姿态信息来估计对当前特征点的位置、对其周边图像的旋转处理等的估计，可以以极高的速度进行处理。此外，通过当惯性传感器的移动量小时使搜索范围变窄，或者通过当移动量大时使搜索范围变宽，可以对提高处理速度和提高分析精度这两个目的进行切换。

在第九发明中，因为使得像素和坐标值是彼此对应的信息，所以即使它们被转换为不连续或重叠的图像信息也可以容易地实现比较处理。由此，可能在像素分散的状态执行匹配处理，并且可以更精确地高速执行处理。

在第十发明中，因为将注册图像的各个像素作为分散图像信息来管理，所以可以将它们看成与框图像中的各个局部点对应，或将它们看作分散在整个图像中的特征像素之间的对应。即，可以使特征区域变宽或变窄以对应于要拾取图像的复杂度，结果，可以控制处理精度和处理速度。

在第十一发明中，由于通过将超过阈值的特征点确定为无效特征点从而仅将固定或静止于周边图像的物体作为基准信息，因此可以更精确地确定姿态。

在第十二发明中，通过追踪无效特征点的位置并对其图像位置进行管理，可以以较少的计算处理来精确确定姿态。

在第十三发明中，即使不使得诸如具有已知深度信息的特征点等的参考标记始终处于视野内，也可以通过继续进行对特征点的检测处理从而继续以较少的误差确定姿态信息。

在第十四发明中，可以根据当前特征点位置简单地知道投影图像的方向和分类，并且可以高速执行计算处理。

在第十五发明中，试图通过根据注册特征点信息的深度信息来将匹配的图像大小和搜索范围改变到最佳值，从而提高检测姿态过程的精度并优化处理速度。

在第十六发明中，如果存在标识标记，就可以在任何时间任何地点简单地执行初始化处理。

在第十七发明中，如果存在标识标记，就可以在任何时间任何地点简单地执行初始化处理。此外，即使标识标记的形状发生变化，也可以与其对应。

在第十八、第十九、以及第二十一发明中，在初始化时不需要安装特别的标识标记。

在第二十发明中，在初始化时不需要安装特别的标识标记，此外，在初始化之后的测量期间可以对特征点数据进行校正。

在第二十二发明中，通过将运动检测装置安装到通过被抓或握在手中而被操作的物体上，可以对待操作装置的位置、姿态等的移动进行检测。

Claims (22)

1、一种用于检测待测量对象的位置和姿态的运动检测装置，其特征在于包括：

惯性运动检测装置，用于通过使用加速度传感器和角速度传感器中的至少一个来检测待测量对象的惯性运动；

图像拾取装置，其固定于惯性运动检测装置，用于拾取待测量对象的周边图像；

图像比较装置，用于对图像拾取装置在不同时间点拾取的图像进行比较；

摄像机位置和姿态获取装置，用于通过使用图像比较装置对图像进行比较的结果，检测待测量对象的位置和姿态；以及

空间位置和姿态获取装置，用于根据惯性运动检测装置以及摄像机位置和姿态获取装置获取的信息，检测待测量对象的空间位置和姿态。

2、根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置包括至少四个平面镜，并且包含通过所述至少四个平面镜将待测量对象的周边图像投影到图像拾取装置上的光学系统。

3、根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置包含通过曲面镜将待测量对象的周边图像投影到图像拾取装置上的光学系统。

4、根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，并且

该光学装置具有通过鱼眼透镜将待测量对象的周边图像投影到图像拾取装置上的光学系统。

5、根据权利要求2至4中的一项所述的运动检测装置，其特征在于所述运动检测装置被安装到身体的一个部位上，并对安装部位的位置和姿态进行检测。

6、根据权利要求2至4中的一项所述的运动检测装置，其特征在于所述运动检测装置被安装到手背上，并对手的位置和姿态进行检测。

7、根据权利要求2至4中的一项所述的运动检测装置，其特征在于所述运动检测装置被安装到头部上，并对头部的位置和姿态进行检测。

8、根据权利要求1所述的运动检测装置，其特征在于

图像比较装置具有特征点移动估计装置，所述特征点移动估计装置用于根据由惯性运动检测装置检测的当前位置和姿态以及图像拾取装置的投影变换相对于注册时的姿态信息的关系，对特征点的移动位置和搜索范围进行估计，并且

特征点移动估计装置执行用于从当前框搜索追踪的特征点的图像匹配处理。

9、根据权利要求8所述的运动检测装置，其特征在于

特征点移动估计装置根据注册时的特征点的位置坐标、特征点的周边图像中的各像素的信息、用于追踪各像素信息的各像素的移动估计像素位置信息、惯性运动检测装置检测到的当前位置和姿态信息、以及图像拾取装置的投影变换间的关系，对各像素的移动位置进行估计；并且通过在搜索范围内对图像点移动后的图像进行扫描来执行图像匹配处理。

10、根据权利要求8所述的运动检测装置，其特征在于

特征点移动估计装置根据包括注册时的特征点的特征点图像点中的各像素的信息、各像素的位置坐标、用于追踪位置坐标的各像素的移动估计像素位置信息、惯性运动检测装置检测到的当前位置和姿态信息、以及图像拾取装置的投影变换间的关系，对各像素的移动位置进行估计；并且通过在搜索范围内对图像点移动后的图像进行扫描来执行图像匹配处理。

11、根据权利要求1所述的运动检测装置，其特征在于

摄像机位置和姿态获取装置进一步具有无效特征点确定装置，该无效特征点确定装置用于根据基于各特征点的运动参数和对于特征点估计的深度信息而获得的摄像机位置和姿态信息，确定从包括各特征点的图像测量到的运动参数与根据摄像机位置和姿态信息获得的运动向量之间的误差，并且将误差超过特定阈值的特征点确定为无效特征点。

12、根据权利要求11所述的运动检测装置，其特征在于

无效特征点确定装置进一步具有无效特征点追踪装置，该无效特征点追踪装置用于追踪无效特征点的位置信息，直到与被确定为无效特征点的特征点相关的信息消失。

13、根据权利要求1所述的运动检测装置，其特征在于

摄像机位置和姿态获取装置执行以下步骤：

在特征点的新注册期间，对作为特征点信息的从框图像看到的三维信息和当前摄像机框进行注册，

在从特征点出现时到特征点消失时的期间对特征点进行追踪，

据此对从框图像看到的三维信息进行更新，

并且，当出现另一特征点时，对从当前摄像机框获得的所述另一特征点的三维信息进行注册，由此，

对在连续图像中出现和消失的多个特征点图像的位置进行追踪，并根据所述多个特征的移动，获取相对于世界坐标空间的当前摄像机框。

14、根据权利要求1所述的运动检测装置，其特征在于

图像拾取装置进一步包含用于投影图像的光学装置，以及

图像比较装置进一步具有用于对所述光学装置的入射光轴进行识别和分块的图像投影分块掩模装置。

15、根据权利要求1所述的运动检测装置，其特征在于

图像比较装置进一步具有自适应特征点图像设置装置，该自适应特征点图像设置装置用于分析特征点图像的深度信息，并且根据分析的深度信息在注册时切换特征点图像的大小和特征点搜索范围或者切换特征点注册数量。

16、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取已知大小或间隔的用于识别特征点的标识标记的图像，并且根据用于识别特征点的标识标记的图像的大小或间隔来确定并注册深度信息。

17、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于从离开设置于预先确定的位置的用于识别特征点的标识标记已知距离的位置获取该用于识别特征点的标识标记的图像，并且在此时对特征点的深度信息进行初始注册。

18、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取身体的部分或全部的图像，并且对根据获取的图像和预先注册的身体的部分或全部的形状和大小而获得的特征点的深度信息进行初始注册。

19、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时从已知距离获取身体的特征部位的图像，并且根据获取的图像对特征点的深度信息进行初始注册。

20、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时获取与安装部位呈预先确定的方向和距离的图像，并且对获得的图像中的特征点的深度信息进行初始注册。

21、根据权利要求5所述的运动检测装置，其特征在于进一步包含初始化装置，该初始化装置用于在初始化时执行使安装部位移动规定距离的动作，并且通过当时获得的图像对图像中的特征点的深度信息进行初始注册。

22、根据权利要求2至4中的一项所述的运动检测装置，其特征在于该运动检测装置通过被固定或安装到通过被握或持于手中而被操作的物体上来检测该物体的位置和姿态。

Images