CN107533763B - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

法线信息生成部30生成受检帧的法线信息。数据存储部50存储关键帧的法线信息等。运动量检测部40基于存储在数据存储部50中的关键帧的法线信息以及由法线信息生成部30生成的受检帧的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。即使同一点的位置差小或在关键帧的拍摄图像和当前帧的拍摄图像之间出现辉度差，也可以基于法线信息精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量。因此，可以精确地检测观测位置。

Description

图像处理装置、图像处理方法及程序

技术领域

本技术涉及图像处理装置、图像处理方法及程序，且旨在精确地检测观测位置。

背景技术

能够同时执行自定位估计与环境地图构建的即时定位与地图构建(SLAM)通常用于机器人技术领域和无人值守操作领域。对于SLAM，例如在下面NPL 1中，基于特征点来执行自定位估计与环境地图构建。此外，在NPL 2中，不使用特征点来执行自定位估计与环境地图构建。

【引文列表】

【非专利文献】

【NPL 1】

Georg Klein and David Murray,“Parallel Tracking and Mapping for SmallAR Workspaces,”In Proc.International Symposium on Mixed and Augmented Reality(ISMAR’07,Nara)

【NPL 2】

Richard A.Newcombe,Steven J.Lovegrove and Andrew J.Davison,“DTAM:Dense Tracking and Mapping in Real-Time,”IEEE International Conference onComputer Vision(ICCV 2011)Pages 2320-2327

发明内容

技术问题

同时，利用现有技术SLAM，通过使用具有一般图像传感器的成像装置并基于关于拍摄图像的辉度及其像素位置的信息，同时估计成像装置的旋转量和移动量以创建环境地图。因此，如果例如关键帧的拍摄图像和当前帧的拍摄图像之间的同一点处的位置差小，那么难以判定成像位置(观测位置)的运动量，即成像装置的旋转量和移动量。此外，因为现有技术SLAM以当从多个视点观看时同一点的辉度保持不变为前提，所以如果关键帧的拍摄图像和当前帧的拍摄图像之间的同一点处出现辉度差，那么在运动量的检测中产生误差。

因此，本技术的目的在于提供能够更精确地检测观测位置的图像处理装置、图像处理方法及程序。

技术方案

在实施本技术时，根据本技术的第一方面，提供一种图像处理装置。该图像处理装置具有构造为生成观测位置处的场景的法线信息的法线信息生成部和构造为基于由法线信息生成部生成的法线信息来估计观测位置的自定位估计部。

在该技术中，通过偏光图像获取部在成像位置(观测位置)处获取例如受检帧中具有不同偏光方向的两个或更多个偏光图像，并通过法线信息生成部基于所获取的两个或更多个偏光图像来生成法线信息。在运动量检测部中，基于存储在数据存储部等中在与观测位置不同的成像位置(参照位置)处成像的关键帧的法线信息以及由法线信息生成部生成的受检帧的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。如果由法线信息生成部生成的法线信息具有任何运动量并通过使用不定性被解消的法线信息来检测运动量，那么运动量检测部解消不定性。

例如，运动量检测部具有构造为从受检帧的图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部、构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的旋转量的旋转量检测部和构造为基于被旋转量检测部检测到的旋转量、被特征点匹配部检测到的特征点以及关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的移动量的移动量检测部。

可选择地，运动量检测部具有构造为从受检帧的图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部和构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量的旋转/移动量检测部。

可选择地，运动量检测部具有构造为基于受检帧的图像和法线信息以及关键帧的图像、法线信息和深度来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量的旋转/移动量检测部。

可选择地，运动量检测部具有构造为基于由法线信息生成部生成的受检帧的法线信息从法线图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部和构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来算出受检帧的成像位置相对于关键帧的成像位置的运动量的运动量检测处理部。

此外，该图像处理装置还具有构造为基于来自运动量检测部的运动量检测结果以及关键帧的深度来算出受检帧的深度以将基于算出的深度以及运动量检测结果的三维点群添加到包括三维点群的三维位置和法线信息的环境地图的环境地图构建部和构造为存储关键帧和环境地图的数据的数据存储部。

在实施本技术时，根据本技术的第二方面，提供一种图像处理方法。该图像处理方法包括通过法线信息生成部来生成观测位置处的场景的法线信息，并基于由法线信息生成部生成的法线信息通过自定位估计部来估计观测位置。

在实施本技术时，根据本技术的第三方面，提供一种使计算机执行生成观测位置处的场景的法线信息的法线信息生成过程和基于通过法线信息生成过程生成的法线信息来估计观测位置的自定位估计过程的程序。

应当注意，根据本技术的程序是可以提供给例如能够通过以计算机可读格式提供程序的存储介质或通信介质(即，例如，诸如光盘、磁盘或半导体存储器的存储介质或诸如网络的通信介质)来执行各种程序代码的通用计算机的程序。以计算机可读格式提供这种程序实现根据计算机上的程序的处理。

本发明的有益效果如下：

根据本技术，生成观测位置处的场景的法线信息，并基于所生成的法线信息来估计观测位置。例如，基于与在观测位置处成像的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处成像的关键帧对应的场景的法线信息，精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量以估计观测位置。即，可以精确地检测观测位置。应当注意，本文中所述的效果仅仅是示例性的，因此并不限于此。除了本文中所述的这些效果，可能还有其他效果。

附图说明

图1是表示图像处理装置的构造的图；

图2是表示第一实施例的构造的图；

图3描绘对通过偏光图像获取部获取的偏光图像进行说明的图；

图4是对对象的形状及其偏光图像进行说明的图；

图5是示出辉度和偏光角之间的关系的图；

图6是表示偏光度和天顶角之间的关系的图；

图7是对180度的不定性进行说明的图；

图8是对当从不同视点观测同一对象时的法线信息差进行说明的图；

图9是对当前帧的深度的演算进行说明的图；

图10是对高密度深度图的生成处理进行说明的图；

图11是表示第一实施例中的操作的流程图；

图12是表示在环境地图构建部中执行的更新处理的流程图；

图13是表示第一实施例中的第一示例的构造的图；

图14是表示旋转量检测部的构造的图；

图15是表示不定性解消法的示例的图；

图16是对移动量检测进行说明的图；

图17是表示运动量检测部的操作的流程图；

图18是表示旋转量检测操作的流程图；

图19是表示第一实施例中的第二示例的构造的图；

图20是示出有对象看起来相同的两个点的情况的图；

图21是表示运动量检测部的操作的流程图；

图22是表示运动量检测操作的流程图；

图23是表示第一实施例中的第三示例的构造的图；

图24是表示运动量检测部的操作的流程图；

图25是表示第二实施例的构造的图。

具体实施方式

下面对本技术的实施例进行说明。应当注意，将按下列顺序进行说明。

1.图像处理装置的构造

2.第一实施例

3.第一实施例中的第一示例

4.第一实施例中的第二示例

5.第一实施例中的第三示例

6.第二实施例

7.其他实施例

1.图像处理装置的构造

图1描绘图像处理装置的构造。图像处理装置10具有法线信息生成部30和运动量检测部40。法线信息生成部30生成观测位置处的场景(例如，与受检帧(以下简称为“受检帧”)对应的场景)的法线信息。基于存储在数据存储部50等中与观测位置不同的参照位置处的场景(例如，与在与观测位置不同的参照位置处成像的关键帧(以下简称为“关键帧”)对应的场景)的法线信息以及由法线信息生成部30生成的受检帧的法线信息，运动量检测部40检测受检帧的成像位置相对于关键帧的成像位置的运动量。即，运动量检测部40根据生成关键帧图像的成像部的成像位置来检测生成受检帧图像的成像部的位置或姿态的变化量。此外，通过检测受检帧的成像位置相对于关键帧的成像位置的运动量，可以参照生成关键帧图像时的位置和姿态来检测生成受检帧图像时的位置和姿态。因此，图像处理装置基于由法线信息生成部生成的法线信息来检测生成帧图像时的观测位置。

下面在第一实施例中对执行法线信息生成和通过使用偏光图像的运动量检测的情况进行说明。此外，下面在第二实施例中对在不使用偏光图像的情况下基于法线信息来执行运动量检测的情况进行说明。

2.第一实施例

图2描绘第一实施例的构造。图像处理装置10具有法线信息生成部30和运动量检测部40。此外，图像处理装置10可具有偏光图像获取部20、数据存储部50和环境地图构建部60。下面对还布置偏光图像获取部20、数据存储部50和环境地图构建部60的情况进行说明。

偏光图像获取部20获取受检帧的偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如具有三个或更多个偏光方向的偏光图像。偏光图像获取部20可具有布置生成具有三个或更多个偏光方向的偏光图像的成像部的构造或从外部设备、记录介质等获取具有三个或更多个偏光方向的偏光图像的构造。偏光图像获取部20例如使用由成像部生成的当前帧偏光图像作为受检帧的偏光图像。下面对受检帧的偏光图像作为当前帧偏光图像进行说明。

图3描绘对通过偏光图像获取部获取的偏光图像进行说明的图。如图3(a)所示，例如，通过旋转布置在成像部CM前面的偏光板PL以在三个或更多个偏光方向中的每个方向上对对象进行成像来生成偏光图像。此外，如图3(b)所示，可通过在将偏光滤光片111布置在图像传感器110上之后对对象进行成像来生成偏光图像，偏光滤光片111具有三个或更多个偏光方向的像素构造。应当注意，在图3(b)中，例如对每个像素变为具有四个不同类型的偏光方向(由箭头标记表示)中的任何一个偏光方向的像素的偏光滤光片111布置在图像传感器110的正面上的情况进行说明。此外，如图3(c)所示，可通过在将具有不同偏光方向的偏光板PL1至PL4布置在成像部CM1至CM4前面之后由成像部CM1至CM4依序从同一位置对对象进行成像来生成偏光图像。此外，如图3(d)所示，可通过使用多透镜阵列构造来生成具有不同偏光方向的两个或更多个偏光图像。例如，通过将两个或更多个透镜112(图中四个)布置在图像传感器110前面，对象的光学图像通过每个透镜112聚焦在图像传感器110的成像表面上。此外，通过将偏光板113布置在各个透镜112前面，使偏光板113的偏光方向彼此不同。该构造可以通过使用图像传感器110来生成具有不同偏光方向的偏光图像。

此外，如果成像部不使用彩色滤光片，那么偏光图像获取部20可以获取辉度偏光图像。在图3(a)和图3(c)的情况下，通过对于每个像素求具有不同偏光方向的辉度偏光图像的辉度级的平均数，可以获取等同于未偏光的普通辉度图像的图像。此外，在图3(b)的情况下，通过求彼此相邻具有不同偏光方向的四个像素的辉度级的平均数，可以获取等同于无偏光的普通辉度图像的图像。此外，在图3(d)的情况下，如果透镜112之间相对于到对象的距离的距离短到足以忽略，那么具有不同偏光方向的两个或更多个偏光图像的视差可以忽略。因此，求具有不同偏光方向的偏光图像的辉度级的平均数可以获取等同于无偏光的普通辉度图像的图像。如果视差不能忽略，那么通过根据视差量来对准具有不同偏光方向的偏光图像并求对准后的偏光图像的辉度级的平均数，可以获取等同于无偏光的普通辉度图像的图像。此外，偏光图像获取部20通过将彩色滤光片布置在成像部中不仅可以同时生成辉度偏光图像而且可以同时生成三基色图像，或同时生成红外图像等。

法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。下面参照图4对对象的形状及其偏光图像进行说明。如图4所示，例如，通过使用光源LT来照亮对象OB，且成像部CM通过偏光板PL对对象OB进行成像。在这种情况下，对于拍摄图像，对象OB的辉度根据偏光板PL的偏光方向而变化。应当注意，为了便于说明，假设通过旋转偏光板PL以执行成像来获取两个或更多个偏光图像，例如，最高辉度为Imax，最低辉度为Imin。还假设，如果二维坐标中的x轴和y轴是在偏光板PL的平面上，那么当偏光板PL旋转时y轴方向上相对于x轴的角为偏光角υ。

偏光板PL当旋转了180度时返回到初始偏光状态，且以180度为周期。此外，假设当观测到最大辉度Imax时的偏光角υ为方位角α。根据如上所述的这种定义，当偏光板PL旋转时观测到的辉度I以下面方程(1)表示。应当注意，图5描绘辉度和偏光角之间的关系的示例。此外，该示例描绘漫反射模型，在镜面反射的情况下，方位角相对于偏光角偏移了90度。

【数学式1】

对于方程(1)，偏光角υ在生成偏光图像时是明显的，最大辉度Imax、最小辉度Imin和方位角α为变量。因此，通过使用具有三个或更多个偏光方向的偏光图像的辉度来执行方程(1)中所示的模型表达式拟合可以基于表示辉度和偏光角之间的关系的模型表达式来判决方位角α，方位角α为提供最大辉度的偏光角。

还假设对象的表面的法线由极坐标系表示，法线为方位角α和天顶角θ。应当注意，天顶角θ是从z轴朝着法线方向的角，方位角α是如上所述y轴方向上相对于x轴的角。这里，如果当偏光板PL旋转时获得最小辉度Imin和最大辉度Imax，那么可以基于下面方程(2)来算出偏光度ρ。

【数学式2】

在漫反射的情况下，根据菲涅耳公式，已知偏光度和天顶角之间的关系具有例如图6所示的特性。因此，根据图6所示的特性，可以基于偏光度来判决天顶角θ。应当注意，图6所示的特性仅仅是示例性的，因此根据对象的折射率等而变化。例如，偏光度随着折射率增大而增大。

法线信息生成部30如上所述算出方位角α和天顶角θ，并生成表示算出的方位角α和天顶角θ的法线信息。应当注意，表示方位角α和天顶角θ的法线信息提供法线角。

如上所述由法线信息生成部30生成的法线信息具有180度的不定性。图7描绘对180度的不定性进行说明的图。在图7(a)所示的对象OB通过成像部CM进行成像以算出法线的情况下，根据偏光方向旋转的辉度变化以180度为周期。因此，在作为对象OB的上半部分的区域GA中，如图7(a)所示，例如，法线方向(由箭头标记表示)提供正确方向，在作为下半部分的区域GB中，有可能使法线方向反向。

运动量检测部40使用当从不同视点观测时同一对象的法线方向仅取决于成像部的旋转量变化的现象以根据法线方向变化来检测成像部的旋转量，即，当前帧相对于关键帧的成像位置的旋转量。更具体地说，基于根据所获取的当前帧偏光图像而生成的法线信息以及存储在数据存储部50中的数据，运动量检测部40检测当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量。应当注意，如果光轴是z轴，那么成像部的旋转表示绕旋转轴的运动，该旋转轴是z轴、正交于z轴的x轴和正交于z轴和x轴的y轴中的至少一个轴。此外，在x轴、y轴和z轴的轴方向中的至少一个轴方向上的运动是成像部的移动。

图8描绘对当从不同视点观测同一对象时获得的法线信息差进行说明的图。用关键帧v获得的对象OB的法线提供关键帧的视点的相机坐标系，即，关键帧的视点V的光轴是Z^v轴、垂直于关键帧的光轴的图像表面的向右方向是X^v轴以及相对于图像表面垂直于X^v轴的向上方向是Y^v轴的坐标系。同样，用当前帧l获得的对象OB的法线提供当前帧的视点的相机坐标系，即，当前帧的视点的光轴是Z^l轴、垂直于当前帧的光轴的图像表面的向右方向是X^l轴以及相对于图像表面垂直于X^l轴的向上方向是Y^l轴的坐标系。即，观测到的对象OB的法线方向是观测视点的相机坐标系的方向。例如，假设当前帧l相对于关键帧v的视点变化为旋转量R_lv和移动量T_lv，则如果对象的一个点的法线在关键帧的坐标系中为N^v，那么基于下面方程(3)可以算出对象的同一个点在当前帧的坐标系中的法线N^l。

【数学式3】

此外，根据偏光图像而生成的法线信息如上所述具有180度的不定性。因此，在运动量检测部40中，解消法线信息的不定性。如果与关键帧对应的对象的点例如是在当前帧中，那么运动量检测部40通过使用在关键帧的对象中的点的法线来解消当前帧的对象中的点的法线的不定性。应当注意，如果在SLAM开始时，关键帧的法线信息具有不定性且关键帧的深度未知，那么通过使用统计法等(后面将进行说明)来解消法线信息的不定性。

基于通过运动量检测部40获得的运动量检测结果，环境地图构建部60生成与当前帧偏光图像对应的深度。此外，如果尚未获取关键帧的深度，那么环境地图构建部60通过使用诸如立体匹配的方法通过使用通过运动量检测部40的运动量检测结果以及当前帧和关键帧的图像来获得关键帧的深度和当前帧的深度。

如果已经获取关键帧的深度，那么基于当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量，可以通过将与关键帧的深度对应的三维位置重新投射到当前帧来获得当前帧的深度。方程(4)表示当前帧的深度的演算表达式。图9描绘对当前帧的深度的演算进行说明的图。方程(4)中，D_v(u)表示关键帧中的像素位置u(表示对象位置OBu的像素位置)的深度，D_l(u)表示当前帧中的像素位置u’(表示对象位置OBu的像素位置)的深度。[X_l(u’)Y_l(u’)D_l(u’)]表示当前帧的相机坐标系中的像素位置u’的三维坐标。π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π-¹(u,D_v(u))表示在像素位置u为深度D_v(u)的情况下使像素位置u返回到相机空间的函数，以及K表示相机的内部参数矩阵与焦距有关的指示信息等。G_lv(ψ)表示从关键帧到当前帧的运动量(旋转量R_lv和移动量T_lv)，如方程(5)所示。

【数学式4】

[X_l(u') Y_l(u') D_l(u')]^T＝KG_lv(ψ)π^-1(u，D_v(u))…(4)

同时，在通过使用诸如立体匹配的方法来算出深度的情况下，在例如无纹理的图像区域中可能产生尚未获得深度的像素，如果发生这种情况，那么表示像素位置和深度之间的关系的深度图变成低密度图。因此，基于通过上述处理获得的深度以及用通过运动量检测部40获得的不定性解消的法线信息，环境地图构建部60算出每个像素的深度以生成高密度深度图。

图10是用于对高密度深度图的生成处理进行说明的图。应当注意，为了便于说明，将对例如一行的处理进行说明。假设，通过环境地图构建部60从如图10(a)所示由成像部CM生成的对象OB的偏光图像中获得图10(b)所示的深度，并获得如图10(c)所示通过运动量检测部40用不定性解消的法线信息。还假设从偏光图像中获得的深度为低密度，例如，左端像素的深度值为“2(米)”，且由×表示的其他像素尚未获得深度值。基于法线信息，环境地图构建部60估计对象OB的表面形状。这里，基于该像素的法线信息，从左端起的第二个像素可以被判决为该像素等同于从与左端像素对应的对象表面起逼近成像部的方向的斜面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第二个像素的深度值，获得例如“1.5(米)”。此外，基于该像素的法线方向，从左端起的第三个像素可以被判决为等同于与成像部相对的表面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第三个像素的深度值，获得例如“1(米)”。从左端起的第四个像素可以被判决为等同于从与从左端起的第三个像素对应的对象表面起远离成像部的方向的斜面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第四个像素的深度值，获得例如“1.5(米)”。此外，环境地图构建部60以相同方式估计从左端起的第五个像素的深度值，获得例如“2(米)”。因此，环境地图构建部60根据图10(b)所示的低密度深度通过使用由运动量检测部40生成不定性被解消的法线信息来生成图10(d)所示的高密度深度。

使用所生成的深度，环境地图构建部60更新存储在数据存储部50中的环境地图。环境地图是把三维点群放入数据库中的信息且表示世界坐标系中的点的坐标位置(三维位置)和表示法线信息。基于所生成的当前帧的高密度深度以及通过运动量检测部40获得的运动量检测结果，环境地图构建部60将具有所获得的深度的每个点的相机坐标系变换为世界坐标系。即，环境地图构建部60估计世界坐标系中的观测位置。此外，环境地图构建部60将变换后的世界坐标系中的每个点的坐标位置以及法线信息添加到环境地图。应当注意，假设世界坐标系为例如在SLAM开始时关键帧的相机坐标系。因此，通过由偏光图像获取部20依序获取偏光图像并由法线信息生成部30和运动量检测部40执行上述处理，表示包括在偏光图像中的对象的表面形状的信息依序存储在环境地图中。应当注意，环境地图不仅可以包括对象的三维位置和法线信息，而且可以包括由三维位置表示的每个点的颜色信息等。

此外，环境地图构建部60通过使用当前帧偏光图像来更新存储在数据存储部50中的关键帧偏光图像，从而提供当前帧偏光图像作为新关键帧偏光图像。

图11是表示第一实施例的操作的流程图。在步骤ST1中，图像处理装置获取当前帧偏光图像。图像处理装置10的偏光图像获取部20获取当前帧中具有不同偏光方向的两个或更多个偏光图像并进入步骤ST2。

在步骤ST2中，图像处理装置生成法线信息。通过使用具有不同偏光方向的两个或更多个偏光图像的辉度，图像处理装置10的法线信息生成部30对模型表达式执行拟合等以生成当前帧的法线信息，并进入步骤ST3。

在步骤ST3中，图像处理装置获取关键帧的数据。图像处理装置10的运动量检测部40获取存储在数据存储部50中的关键帧的数据并进入步骤ST4。

在步骤ST4中，图像处理装置检测运动量。基于在步骤ST2中生成的法线信息以及在步骤ST3中获取的关键帧的数据，图像处理装置10的运动量检测部40检测当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量，然后进入步骤ST5。

在步骤ST5中，图像处理装置执行更新处理。图像处理装置10的环境地图构建部60更新环境地图和关键帧。

图12示出由环境地图构建部执行的更新处理。在步骤ST11中，环境地图构建部60检测深度。环境地图构建部60检测当前帧的深度，然后进入步骤ST12。应当注意，如果尚未检测到关键帧的深度，那么环境地图构建部60还检测关键帧的深度。

在步骤ST12中，环境地图构建部60添加新点群。环境地图构建部60将具有在步骤ST11中检测到的深度的新点群添加到环境地图，然后进入步骤ST13。

在步骤ST13中，环境地图构建部60执行存储处理。环境地图构建部60将具有在步骤ST12中添加的新点群的环境地图存储到数据存储部50中，从而更新存储在数据存储部50中的环境地图。

此外，环境地图构建部60通过使用当前帧偏光图像来更新存储在数据存储部50中的关键帧偏光图像。

根据上述第一实施例，可以通过使用法线信息来检测当前帧的成像位置相对于关键帧的成像位置的运动量。此外，如果和现有技术SLAM一样基于拍摄图像的辉度以及拍摄图像中的像素位置的信息来检测运动量，那么在关键帧的拍摄图像和当前帧的拍摄图像中的同一点的位置差小的情况下难以检测运动量。此外，对于现有技术SLAM，假设当从不同视点观看时同一点的辉度不变，使得如果辉度变化，那么在检测结果中产生误差。然而，利用第一实施例，通过使用法线信息来检测运动量，使得即使同一点的位置差小，如果法线方向变化，那么也可以精确地检测运动量。此外，利用第一实施例，通过使用法线信息来检测运动量，使得即使同一点的辉度因运动而变化，也可以精确地检测运动量。

此外，对于现有技术SLAM，通过使用关于辉度变化的信息对深度进行平滑化来生成高密度环境地图。然而，用关于辉度变化的信息对深度进行平滑化可以消除微小的形态变化，从而引起深度失真。相反，因为法线信息包括微小的形态变化，所以第一实施例可以更精确地检测环境形态，从而创建接近真实值的环境地图。

3.第一实施例中的第一示例

在第一实施例中的第一示例中，对基于关键帧和当前帧之间彼此对应的各个特征点的法线信息等来依序检测当前帧的成像位置相对于关键帧的成像位置的旋转量和移动量的情况进行说明。

图13描绘第一实施例中的第一示例的构造。第一示例的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部41、数据存储部50和环境地图构建部60。

偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行更新环境地图的处理。

基于从不同视点成像的同一对象的法线方向变化，运动量检测部41从已经生成关键帧的图像的成像位置到已经生成当前帧的图像的成像位置依序检测旋转量和移动量。运动量检测部41具有特征点检测部401、特征点匹配部402、旋转量检测部403和移动量检测部404。

特征点检测部401从通过偏光图像获取部20获取的偏光图像中检测特征点。通过使用通过偏光图像获取部20获取的当前帧的偏光图像，特征点检测部401对于每个像素位置的偏光图像的每个像素执行求两个或更多个偏光图像的像素值的平均数或其他处理以生成等同于在不使用偏光板、偏光滤光片等的情况下拍摄的图像的非偏光图像。此外，特征点检测部401通过使用诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)或加速分段测试特征(FAST)的这种方法从非偏光图像中检测预定类型的特征点。

特征点匹配部402对存储在数据存储部50中的关键帧的特征点和被特征点检测部401检测到的特征点执行匹配处理。特征点匹配部402通过使用诸如例如绝对差值求和(SAD)或归一化互相关(NCC)的这种方法来执行特征点匹配处理，从而检测关键帧和当前帧之间彼此对应的一对特征点。

旋转量检测部403基于由法线信息生成部30生成具有不定性的法线信息、通过特征点匹配部402获得的该对特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。

图14描绘旋转量检测部的构造。旋转量检测部403具有特征点不定性解消部4031和演算部4032。

特征点不定性解消部4031对具有不定性的法线信息执行不定性解消处理。图15描绘不定性解消法的一个示例。如图15所示，特征点u’是当前帧l中的特征点，特征点u是与特征点u’对应的关键帧v的特征点。此外，假设特征点u’中具有不定性的法线角为N’_u’ ^l(α’_u’ ^l,θ_u’ ^l)，以及不具有不定性的法线角为N_u’ ^l(α_u’ ^l,θ_u’ ^l)。假设特征点u中不具有不定性的法线角为N_u ^v(α_u ^v,θ_u ^v)。当前帧相对于关键帧的旋转量为R_lv且移动量为T_lv。

如果关键帧的法线角N_u ^v(α_u ^v,θ_u ^v)的方位角α_u ^v不具有不定性且成像部的运动量小，那么特征点不定性解消部4031基于下面方程(6)来解消不定性，从而生成法线角N_u’ ^l(α_u’ ^l,θ_u’ ^l)。即，特征点不定性解消部4031参照关键帧的法线角的方位角α_u ^v来解消当前帧中的对应特征点中具有不定性的法线角N’_u’ ^l(α’_u’ ^l,θ_u’ ^l)的方位角α’_u’ ^l的不定性，从而提供方位角α_u’ ^l。

【数学式5】

另一方面，如果关键帧的法线信息具有不定性或成像部的运动量大，那么特征点不定性解消部4031通过使用视点位置变化和当从各视点观测时的法线方向变化之间的关系以统计方式来解消关键帧和当前帧的特征点的法线的不定性。

这里，如果当前帧的法线信息具有不定性，那么特征点u’的法线N_u’ ^l可以采用的值是双向的。如果关键帧的法线信息具有不定性，那么特征点u的法线N_u ^v可以采用的值也是双向的。因此，每个特征点的法线的组合的候补数为两个(如果关键帧的法线不具有不定性)或四个(如果关键帧的法线具有不定性)。即，算出的旋转量的数量可以是四个。因此，特征点不定性解消部4031对所有对应特征点执行统计处理，从而提供最有可能的旋转量作为旋转量R_lv。即，特征点不定性解消部4031对于每个特征点算出关键帧和当前帧的法线的每个组合的旋转量以通过对算出的旋转量进行统计处理来检测最有可能的旋转量，从而提供旋转量R_lv。此外，特征点不定性解消部4031假设与旋转量R_lv对应的每个特征点的一对法线(N_u’ ^l,N_u ^v)为不定性被解消的法线。

演算部4032通过使用不定性被解消的当前帧和关键帧的法线信息来检测旋转量R_lv。更具体地说，演算部4032基于下面方程(7)通过使用不具有不定性的当前帧的法线N_u’ ^l和不具有不定性的关键帧的法线N_u ^v来算出旋转量R_lv。

【数学式6】

应当注意，在求解方程(7)和解消每个特征点的法线的不定性中，如果关键帧的法线角N_u ^v(α_u ^v,θ_u ^v)的方位角α_u ^v不具有不定性且成像部的运动量小，那么对于解消当前帧的特征点的不定性而言只要一对对应特征点就足够。此外，如果关键帧的法线信息具有不定性且成像部的运动量大，那么因为通过统计处理的最有可能的旋转量的算出需要至少两对特征点，所以旋转量检测部403所需的特征点对数为一对或两对或更多对。

移动量检测部404基于被旋转量检测部403检测到的旋转量R_lv、被特征点匹配部402检测到的特征点以及存储在数据存储部50中的关键帧的特征点的三维或二维位置来检测移动量。

相对于关键帧的特征点的位置，特征点的所需数量取决于三维位置是否已知。下面对特征点的三维位置已知的情况和特征点的三维位置未知(二维位置已知)的情况进行说明。

例如，在SLAM开始时，关键帧中的特征点的三维位置未知。因此，用于特征点的三维位置未知的情况的方法适用。此外，如果通过处理两个或更多个帧已经获得关键帧的特征点的三维位置，那么用于特征点的三维位置已知的情况的方法适用。此外，可以通过使用用于通过图像识别等来指定位置的标记符(例如，增强现实(AR)标记符)在SLAM开始时获得关键帧的深度。因此，在这种情况下，用于特征点的三维位置已知的情况的方法也适用。

-在关键帧中的特征点的三维位置已知的情况下将要执行的操作

移动量检测部404通过使关键帧的每个特征点被重新投射到当前帧的位置和当前帧中的对应特征点的位置之差最小化来检测移动量。即，移动量检测部404通过使用下面方程(8)来算出移动量T_lv。方程(8)中，π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π^-1(u,D_v(u))表示用于在关键帧的图像上的特征点u为深度D_v(u)的情况下使特征点u返回到相机空间的函数，如图16(a)所示，以及K表示相机的内部参数矩阵。G_lv(ψ)表示从关键帧到当前帧的运动量(旋转量R_lv和移动量T_lv)，如下面方程(9)所示。此外，方程(8)和后面所述的方程中的qa表示将要配对的所有特征点。

【数学式7】

当通过使用方程(9)来算出移动量T_lv时，有三个变量T₁、T₂和T₃。此外，因为每对特征点在成像部的x方向和y方向上的移动量各自基于方程(8)而算出，所以如果有两对或更多对特征点，那么可以基于四个或更多个方程来判定方程(9)的变量T₁、T₂和T₃。因此，移动量检测部404通过使用通过使用两对或更多对特征点而判定的变量T₁、T₂和T₃来算出移动量T_lv。

-在关键帧中的特征点的三维位置未知(二维位置已知)的情况下将要执行的操作

如果关键帧中的特征点的三维位置未知，那么移动量检测部404通过使关键帧的每个特征点被重新投射到当前帧的位置和当前帧中的对应特征点的位置之差最小化来检测移动量。即，移动量检测部404通过使用方程(10)来算出移动量T_lv。应当注意，在方程(10)中，关键帧的深度未知，使得关键帧的特征点u的深度为D_v(u)”，如图16(b)所示。

【数学式8】

因为已经获得旋转量R_lv，所以方程(10)的变量数为n(每个特征点的深度)+3(移动量)。即，如果特征点的数量为n，那么获得2n个方程，如果2n≥n+3，即，n≥3，那么获得关键帧中的每个特征点的深度值和移动量。此外，如果获得关键帧中的每个特征点的深度，那么可以基于方程(11)来算出当前帧的相机坐标系中相对于与关键帧的特征点u对应的当前帧的特征点u’的三维坐标[X_l(u’)Y_l(u’)D_l(u’)]。应当注意，D_l(u’)在方程(11)中为特征点u’的深度。

【数学式9】

[X_l(u') Y_l(u') D_l(u')]^T＝KG_lv(ψ)π^-1(u，D_v(u)")…(11)

通过运动量检测部41执行如上所述的处理可以基于当前帧和关键帧的特征点以及特征点的法线信息单独地检测旋转量和移动量。

图17是表示运动量检测部的操作的流程图。在步骤ST21中，运动量检测部41检测特征点。运动量检测部41从通过偏光图像获取部20获取的偏光图像中检测特征点，然后进入步骤ST22。

在步骤ST22中，运动量检测部41执行特征点匹配处理。运动量检测部41执行存储在数据存储部50中的关键帧的特征点和在步骤ST21中检测到的特征点之间的匹配处理以检测关键帧和当前帧之间的一对对应特征点。

在步骤ST23中，运动量检测部41检测旋转量。运动量检测部41基于由法线信息生成部30生成具有不定性的法线信息、在步骤ST22中检测到的该对特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。

图18是表示旋转量检测操作的流程图。在步骤ST31中，运动量检测部41解消法线信息的不定性。运动量检测部41执行上述参照特征点不定性解消部4031的处理来解消法线信息的不定性，然后进入步骤ST32。

在步骤ST32中，运动量检测部41算出旋转量。运动量检测部41执行上述参照演算部4032的处理以算出旋转量，然后进入图17中的步骤ST24。

在步骤ST24中，运动量检测部41检测移动量。运动量检测部41基于在步骤ST23中检测到的旋转量R_lv、在步骤ST22中检测到的特征点以及存储在数据存储部50中的关键帧的特征点的三维或二维位置来检测移动量。

根据如上所述的第一示例，可以获得由上述第一实施例提供的效果。此外，根据第一示例，可以单独地检测当前帧的成像位置相对于关键帧的成像位置的旋转量和移动量，使得例如可以正确地检测成像部的旋转量，而不受成像部的移动影响。因此，与基于关于拍摄图像的辉度及其像素位置的信息来检测运动量的现有技术SLAM相比，可以提高运动量检测精度。此外，如果基于关于拍摄图像的辉度及其像素位置的信息来检测运动量，那么具有较少纹理的拍摄图像难以找到当前帧和关键帧之间的对应点。然而，因为第一示例使用法线信息，所以即使利用具有较少纹理的拍摄图像，在形状发生变化的情况下也可以检测到当前帧和关键帧之间的对应点，从而检测到运动量。此外，与通过只使用普通图像对特征点执行匹配处理相比，偏光信息包括在特征点的描述符中可以提高匹配精度。应当注意，现有技术SLAM在运动量检测时需要至少四对特征点，然而，第一示例可以只用两对特征点来检测运动量，如上所述。

4.第一实施例中的第二示例

在第一实施例中的第二示例中，将对基于关键帧和当前帧之间彼此对应的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动量的情况进行说明。在这种情况下的运动量检测结果等同于同时检测与整合旋转量和移动量的结果。

图19描绘了第一实施例中的第二示例的构造。第二示例中的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部42、数据存储部50和环境地图构建部60。

偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如，具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行更新处理。

运动量检测部42基于从不同视点成像的同一对象的法线变化来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。

运动量检测部42具有特征点检测部401、特征点匹配部402和旋转/移动量检测部405。

特征点检测部401从通过偏光图像获取部20获取的偏光图像中检测特征点。特征点检测部401通过使用通过偏光图像获取部20获取的当前帧的偏光图像来对于偏光图像的每个像素执行求两个或更多个偏光图像的像素值的平均数，并生成等同于在不使用偏光板、偏光滤光片等的情况下拍摄的图像的非偏光图像。此外，特征点检测部401通过使用诸如SIFT或SURF的方法从非偏光图像中检测预定类型的特征点。

特征点匹配部402执行存储在数据存储部50中的关键帧的特征点和被特征点检测部401检测到的特征点之间的匹配处理。特征点匹配部402通过使用SAD等来执行特征点匹配处理以检测关键帧和当前帧之间彼此对应的一对特征点。

旋转/移动量检测部405通常对由法线信息生成部30生成具有不定性的法线信息执行与上述旋转量检测部403的处理相同的处理以相对于当前帧和关键帧来解消法线信息的不定性。接着，旋转/移动量检测部405检测运动量。

通常利用与NPL1中所述的方法相同的方法(以下称为“第一现有技术”)，在关键帧中，通过使用每个特征点被重新投射到当前帧的位置以及当前帧中的对应特征点的位置来检测运动量。即，可以通过使用下面方程(12)来算出移动量G_lv。在方程(12)中，π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π^-1(u,D_v(u))表示用于在图像上的点u为深度D_v(u)的情况下使点u返回到相机空间的函数，以及K表示相机的内部参数矩阵。G_lv(ψ)表示从关键帧到当前帧的运动量(旋转量R_lv和移动量T_lv)，如方程(13)所示。

【数学式10】

这里，求解方程(12)所需的特征点对数取决于关键帧的特征点的深度是否已知。例如，在方程(12)中，如果特征点u的深度D_v(u)已知，那么有六个变量(三个自由度的移动量+三个自由度的旋转量)。因此，应当通过三对特征点来求解方程(12)，然而，如图20所示，如果只看到图像上的特征点的位置，那么有对象看起来相同的两个点。应当注意，在图20中，假设对象看起来相同的点中的一个点为成像部CMa的成像位置，假设另一个点为成像部CMb的成像位置。在这种情况下，虽然通过成像部CMa和成像部CMb拍摄的图像中的特征点的位置相同，但是由于法线方向不同，所以法线图彼此不同。还应当注意，在图20中，利用成像部CMa和CMb，四角锥的天顶侧为图像传感器侧，底面侧为透镜侧。在法线图中，法线方向差异由不同线型表示。

如上所述，如果有对象看起来相同的两个点，那么除了三个特征点，获得唯一视点还需要一个以上特征点。即，为了获得唯一G_lv(ψ)，需要四个或更多个特征点。

另一方面，如果关键帧中的特征点u的深度D_v(u)未知，那么方程(12)可以表示为方程(14)。例如，如果特征点数量为n，那么变量数为6(三个自由度的移动量+三个自由度的旋转量)+n(n对特征点的深度)。因此，如果n≥6，那么可以获得每个特征点的深度值以及每个相机的移动量和旋转量。应当注意，D_v(u)”表示在特征点u未知的情况下的深度。

【数学式11】

因为在关键帧和当前帧上的特征点中可以获得法线，所以旋转/移动量检测部405通过使用从不同视点获得的同一点的不同法线向诸如上述的第一现有技术添加对应特征点的法线的限制。方程(15)是通过向第一现有技术添加对应特征点的法线的限制而获得的方程。即，在方程(15)中，添加使当前帧的每个特征点u’被重新投射到关键帧的位置的法线R_lv(u)N_l(u’)和关键帧中的对应特征点u的位置的法线N_v(u)之差最小化的限制。应当注意，第二示例以及后面将进行说明的第三示例中的法线N_v(u)、N_l(u)等等同于第一示例中的法线N_u ^v、N_u ^l等。

【数学式12】

此外，求解方程(15)所需的特征点数量取决于关键帧的特征点的深度是否已知。例如，在方程(15)中，如果特征点u的深度已知，那么与第一现有技术相同，有六个变量(三个自由度的移动量+三个自由度的旋转量)。然而，如图20所示，即使看起来相同，法线方向也不同。与在第一现有技术中只使用特征点的位置信息的方法不同，旋转/移动量检测部405还使用特征点的法线方向，使得如果有三对特征点，那么可以获得上述方程(15)的唯一解。此外，如果特征点u的深度D_v(u)未知，那么用下面方程(16)取代方程(15)。

【数学式13】

这里，如果有n个特征点，那么变量数为6(三个自由度的移动量+三个自由度的旋转量)+n(n对特征点的深度)。因此，如果n≥6，那么可以获得每个特征点的深度值以及成像位置的旋转和/或移动运动量。此外，因为在该方法中添加法线的限制，所以与第一现有技术相比，可以提高运动量检测精度。

图21是表示运动量检测部的操作的流程图。在步骤ST41中，运动量检测部42检测特征点。运动量检测部42从通过偏光图像获取部20获取的偏光图像中检测特征点，然后进入步骤ST42。

在步骤ST42中，运动量检测部42执行特征点匹配处理。运动量检测部42执行存储在数据存储部50中的关键帧的特征点和步骤ST41中检测到的特征点之间的匹配处理以检测关键帧和当前帧之间的一对对应特征点，然后进入步骤ST43。

在步骤ST43中，运动量检测部42检测运动量。运动量检测部42基于由法线信息生成部30生成具有不定性的法线信息、在步骤ST42中检测到的特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测运动量。

参照图22，描绘表示运动量检测操作的流程图。在步骤ST51中，运动量检测部42解消法线信息的不定性。运动量检测部42通常执行与上述特征点不定性解消部4031的处理相同的处理以解消法线信息的不定性，然后进入步骤ST52。

在步骤ST52中，运动量检测部42检测运动量。基于不定性被解消的法线信息以及从关键帧检测到的特征点的三维位置或图像上的二维位置，运动量检测部42通过使用从不同视点获得的同一点的不同法线来检测如上所述的旋转和/或移动运动量。

根据如上所述的第二示例，可以获得由上述第一实施例提供的效果。此外，在第二示例中，使用法线信息，使得如果检测旋转和/或移动运动量，那么可以比现有技术更精确地检测运动量。此外，与第一示例相同，因为第二示例使用法线信息，所以即使利用具有较少纹理的拍摄图像，在形状发生变化的情况下也可以检测到当前帧和关键帧之间的对应点，从而检测到运动量。此外，与通过只使用普通图像对特征点执行匹配处理相比，偏光信息包括在特征点的描述符中可以提高匹配精度。

5.第一实施例中的第三示例

在第一实施例中的第三示例中，将对与第一和第二示例中基于特征点的技术不同，通过使用遍布在屏幕上的图像来检测运动量的情况进行说明。

图23描绘第一实施例中的第三示例的构造。第三示例的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部43、数据存储部50和环境地图构建部60。

偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如，具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行环境地图更新处理。

运动量检测部43具有旋转/移动量检测部406。基于当前帧的图像和法线信息以及关键帧的图像、法线信息和深度，旋转/移动量检测部406检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。

假设关键帧的三维位置已知，旋转/移动量检测部406通过使用关键帧和当前帧的辉度信息和法线信息来检测运动量。应当注意，如果关键帧的三维位置未知，那么在获得关键帧的深度之后通过应用第一示例或第二示例的技术来算出运动量。

利用基于NPL 2的技术(以下称为“第二现有技术”)，可以通过当前帧的普通图像、关键帧的普通图像以及关键帧的深度来算出旋转量和移动量。在关键帧中，对于关键帧的深度已知的点u使重新投射到当前帧的点的辉度和关键帧的点u的辉度之差最小化可以通过使用图9由下面方程(17)表示。

【数学式14】

方程(17)中，I代表图像的辉度，qb代表关键帧的深度已知的所有点。因此，求解方程(17)可以算出运动量。然而，第二现有技术假设从关键帧视点看到的同一点的辉度变化以及从当前帧视点看到的同一点的辉度保持不变，在现实环境中，辉度可以根据相对于同一点的视点变化而变化，从而由于辉度变化而在运动量检测结果中产生误差。相反，旋转/移动量检测部406通过使用法线信息比第二现有技术更精确地执行运动量检测。

旋转/移动量检测部406根据由法线信息生成部30生成具有不定性的法线信息来执行不定性解消处理。如果例如成像部的运动量小，那么旋转/移动量检测部406通常执行与上述旋转量检测部403的处理相同的处理以解消当前帧的法线信息的不定性。此外，基于图像信息，旋转/移动量检测部406可获得运动量的近似值以通过使用所获得的近似值来解消当前帧的法线的不定性，如下方程(18)所示。应当注意，方程(18)中，G_lv(ψ)”表示通过第二现有技术获得的运动量的近似值，u’表示通过下面方程(19)获得的位置。

【数学式15】

u′＝π(KG_lv(ψ)″π^-1(u，D_v(u)))…(19)

在解消当前帧的法线的不定性之后，旋转/移动量检测部406通过使用当前帧和关键帧的普通图像、不定性被解消的法线信息以及关键帧的深度来执行下面方程(20)的演算。通过执行方程(20)的演算，旋转/移动量检测部406算出使关键帧的点被重新投射到当前帧的点和当前帧中的对应点之间的辉度差以及法线差最小化的成像部的运动量G_lv。

【数学式16】

如上所述，通过添加法线的限制，旋转/移动量检测部406可以比之前更精确地检测当前帧的成像位置相对于关键帧的成像位置的运动量。

图24是表示运动量检测部的操作的流程图。在步骤ST61中，运动量检测部43解消当前帧的法线信息的不定性。运动量检测部43通常执行与上述运动量检测部41的处理相同的处理以解消当前帧的法线信息的不定性，然后进入步骤ST62。

在步骤ST62中，运动量检测部43检测运动量。运动量检测部43基于当前帧和关键帧的普通图像、关键帧的法线信息和在步骤ST61中不定性被解消的当前帧的法线信息以及关键帧的深度来检测运动量。

根据如上所述的第三示例，可以获得由上述第一实施例提供的效果。此外，根据第三示例，可以在不执行特征点检测和特征点匹配处理的情况下通过使用遍布在屏幕上的图像来获得运动量。

6.第二实施例

在第二实施例中，将对在不使用偏光图像的情况下基于法线信息来检测运动量的情况进行说明。

图25描绘第二实施例的构造。图像处理装置具有法线信息生成部30、运动量检测部44和数据存储部50。应当注意，法线信息生成部30和数据存储部50以与上述第一实施例的方式通常相同的方式来构造，因此下面将对运动量检测部44进行说明。

基于在基于当前帧的法线信息的法线图像和关键帧的法线图像之间对应的特征点中的每个特征点的法线信息，运动量检测部44检测当前帧的成像位置相对于关键帧的成像位置的运动量。运动量检测部44具有特征点检测部441、特征点匹配部442、旋转量检测部443和移动量检测部444，旋转量检测部443和移动量检测部444构成运动量检测处理部。

特征点检测部441根据由法线信息生成部30生成的当前帧的法线信息来检测特征点。特征点检测部441将法线信息变换为例如法线图像并通过使用诸如SIFT或SURF的特征点检测方法从法线图像中检测特征点。下面方程(21)表示用于将每个像素的法线信息变换为法线图像的变换方程。例如，特征点检测部441通过设定根据x方向上的法线分量的红色等级、根据y方向上的法线分量的绿色等级和根据z方向上的法线分量的蓝色等级来将法线信息变换为彩色法线图像。

【数学式17】

特征点匹配部442执行存储在数据存储部50中的关键帧的特征点和被特征点检测部441检测到的特征点之间的匹配处理。特征点匹配部442通常执行与第一实施例的第一示例中所述的特征点匹配部402的处理相同的处理以检测当前帧和关键帧之间彼此对应的一对特征点。

旋转量检测部443基于被特征点匹配部442检测到的特征点、由法线信息生成部30生成的当前帧的法线信息以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。旋转量检测部443通过通常执行与上述第一示例中所述的旋转量检测部403的处理相同的处理来检测旋转量。

移动量检测部444基于被旋转量检测部443检测到的旋转量、通过特征点匹配部442获得的该对特征点以及存储在数据存储部50中的关键帧的特征点的三维位置或二维位置来检测移动量。移动量检测部444通过通常执行与上述第一示例中所述的移动量检测部404的处理相同的处理来检测移动量。

根据如上所述的第二实施例，可以在不使用偏光图像的情况下基于法线信息来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。此外，因为第二实施例使用法线信息，所以可以获得与第一实施例的效果通常相同的效果。应当注意，在第二实施例中，可通过使用从法线图像检测到的特征点来执行与第一实施例的第二示例的处理通常相同的处理以检测运动量。在这种情况下，运动量检测处理部以与第二示例的旋转/移动量检测部405的构造通常相同的构造来构造。

7.其他实施例

在上述第一和第二实施例中，已经对通过使用偏光图像来生成法线信息的情况进行说明，然而，法线信息生成并不限于使用偏光图像的法线信息生成。例如，可通过称为光度立体法的技术来生成法线信息。此外，可基于通过诸如测定投射光将反射在对象上并返回的时间的飞行时间(TOF)的技术获得的深度来生成法线信息。此外，通过通过使用图像识别来执行对象识别并通过参照以识别对象表现的形状来辨别法线，可解消法线信息中的不定性。

本文中所述的一系列处理操作可通过硬件、软件或两者组合来执行。在通过软件来执行处理中，执行安装在内置在专用硬件中的计算机的存储器中记录处理顺序的程序。可选择地，执行安装在通用计算机中的程序是可行的，通过通用计算机可执行各种处理操作。

例如，程序可预先记录在作为记录介质的硬盘单元、固态驱动器(SSD)或只读存储器(ROM)中。可选择地，程序可以以暂时或永久方式存储(或记录)在软盘、紧凑型磁盘ROM(CD-ROM)、磁光(MO)盘、数字多功能磁盘(DVD)、蓝光磁盘(BD)(注册商标)、磁盘、半导体存储卡及其他可移除记录介质中。这种可移除记录介质可设置在所谓套装软件中。

此外，程序不仅可以从可移除记录介质安装到计算机，而且可以通过诸如局域网(LAN)或因特网的网络以有线或无线方式从下载站点传送到计算机。计算机可以接收以这种方式传送的程序并将接收到的程序安装到诸如内置在计算机中的硬盘单元的记录介质中。

本文中所述的效果仅仅是示例性的，且并不限于这些效果，因此可以提供上面未说明的其他效果。本技术不应只在本技术的上述实施例的范围内进行解释。本技术的实施例以图示形式揭示本技术，使得本领域技术人员应当理解，在不脱离本技术的精神的情况下可以进行变化和变形。即，本技术的精神的判断应当基于参照所附权利要求的范围。

此外，本技术的图像处理装置还可采用下列构造。

(1)一种图像处理装置，包括：

法线信息生成部，被构造为生成观测位置处的场景的法线信息；和

自定位估计部，被构造为基于由所述法线信息生成部生成的法线信息来估计观测位置。

(2)根据以上(1)所述的图像处理装置，其中：

所述法线信息生成部生成与观测位置不同的参照位置处的场景的法线信息，以及

所述自定位估计部基于由所述法线信息生成部生成的观测位置处的场景的法线信息和参照位置处的场景的法线信息来估计观测位置。

(3)根据以上(2)所述的图像处理装置，其中：

所述自定位估计部具有：

运动量检测部，被构造为检测从参照位置到观测位置的运动量，和

绝对位置估计部，被构造为基于所述运动量以及世界坐标系中的参照位置来估计世界坐标系中的观测位置。

(4)根据以上(3)所述的图像处理装置，其中：

所述法线信息生成部生成与在观测位置处成像的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处成像的关键帧对应的场景的法线信息，以及

所述自定位估计部基于由所述法线信息生成部生成的与受检帧对应的场景的法线信息和与关键帧对应的场景的法线信息来估计观测位置。

(5)根据以上(4)所述的图像处理装置，其中：

所述运动量检测部具有：

特征点检测部，被构造为从受检帧的图像中检测特征点，

特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，

旋转量检测部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的旋转量，和

移动量检测部，被构造为基于被所述旋转量检测部检测到的旋转量、被所述特征点匹配部检测到的特征点以及关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的移动量。

(6)根据以上(4)所述的图像处理装置，其中：

所述运动量检测部具有：

特征点检测部，被构造为从受检帧的图像中检测特征点，

特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，和

旋转/移动量检测部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。

(7)根据以上(4)所述的图像处理装置，其中：

所述运动量检测部具有：

旋转/移动量检测部，被构造为基于受检帧的图像和法线信息以及关键帧的图像、法线信息和深度来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。

(8)根据以上(4)所述的图像处理装置，其中：

所述运动量检测部具有：

特征点检测部，被构造为基于由所述法线信息生成部生成的受检帧的法线信息从法线图像中检测特征点，

特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，和

运动量检测处理部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。

(9)根据以上(1)至(8)中任一项所述的图像处理装置，其中：

所述法线信息生成部通过使用观测位置处的场景的具有不同偏光方向的多个偏光图像来生成法线信息。

(10)根据以上(9)所述的图像处理装置，其中：

由所述法线信息生成部生成的观测位置处的场景的法线信息具有不定性，以及

所述运动量检测部解消观测位置处的场景的法线信息的不定性以通过使用不定性被解消的法线信息来检测运动量。

(11)根据以上(9)所述的图像处理装置，还包括：

偏光图像获取部，被构造为获取观测位置处的场景的具有不同偏光方向的多个偏光图像。

(12)根据以上(2)所述的图像处理装置，还包括：

数据存储部，被构造为存储至少包括参照位置处的场景的法线信息的数据，其中

所述自定位估计部通过使用存储在所述数据存储部中的参照位置处的场景的数据来估计观测位置。

(13)根据以上(1)至(12)中任一项所述的图像处理装置，还包括：

环境地图构建部，被构造为基于通过所述自定位估计部估计出的观测位置来算出观测位置处的场景的深度以将基于算出的深度以及观测位置的三维点群添加到环境地图。

(14)根据以上(13)所述的图像处理装置，其中：

所述环境地图包括所述三维点群的三维位置和法线信息。

工业实用性

在根据本技术的图像处理装置、图像处理方法及程序中，生成观测位置处的场景的法线信息，并基于所生成的法线信息来估计观测位置。因此，基于例如与在观测位置处拍摄的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处拍摄的关键帧对应的场景的法线信息，精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量以估计观测位置。即，可以精确地检测观测位置。因此，本技术适用于生成环境地图的设备、例如需要同时执行自定位估计与环境地图构建的功能的机器人和无人值守操作设备等。

附图标记列表

10...图像处理装置

20...偏光图像获取部

30...法线信息生成部

40、41、42、43、44...运动量检测部

50...数据存储部

60...环境地图构建部

110...图像传感器

111...偏光滤光片

112...透镜

113...偏光板

401、441...特征点检测部

402、442...特征点匹配部

403、443...旋转量检测部

404、444...移动量检测部

405、406...旋转/移动量检测部

4031...特征点不定性解消部

4032...演算部。

Claims (9)

1.一种图像处理装置，包括：

法线信息生成部，被构造为生成与在观测位置处成像的受检帧对应的场景的法线信息以及与在与所述观测位置不同的参照位置处成像的关键帧对应的场景的法线信息；和

自定位估计部，被构造为基于由所述法线信息生成部生成的与所述受检帧对应的场景的法线信息和与所述关键帧对应的场景的法线信息来估计所述观测位置，

其中：

所述自定位估计部具有：

运动量检测部，被构造为检测从所述参照位置到所述观测位置的运动量，和

绝对位置估计部，被构造为基于所述运动量以及世界坐标系中的所述参照位置来估计所述世界坐标系中的所述观测位置，

其中，所述运动量检测部具有：

旋转/移动量检测部，被构造为基于所述受检帧的图像和法线信息以及所述关键帧的图像、法线信息和深度来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转和/或移动运动量；或者

其中，所述运动量检测部具有：

特征点检测部，被构造为基于由所述法线信息生成部生成的所述受检帧的法线信息从法线图像中检测特征点，

特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，和

运动量检测处理部，被构造为基于被所述特征点匹配部检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息来检测所述受检帧的成像位置相对于所述关键帧的成像位置的运动量。

2.根据权利要求1所述的图像处理装置，其中：

所述法线信息生成部通过使用所述观测位置处的场景的具有不同偏光方向的多个偏光图像来生成所述法线信息。

3.根据权利要求2所述的图像处理装置，其中：

由所述法线信息生成部生成的所述观测位置处的场景的法线信息具有不定性，以及

所述运动量检测部解消所述观测位置处的场景的法线信息的不定性以通过使用不定性被解消的法线信息来检测所述运动量。

4.根据权利要求2所述的图像处理装置，还包括：

偏光图像获取部，被构造为获取所述观测位置处的场景的具有不同偏光方向的多个偏光图像。

5.根据权利要求1所述的图像处理装置，还包括：

数据存储部，被构造为存储至少包括所述参照位置处的场景的法线信息的数据，其中

所述自定位估计部通过使用存储在所述数据存储部中的所述参照位置处的场景的所述数据来估计所述观测位置。

6.根据权利要求1所述的图像处理装置，还包括：

环境地图构建部，被构造为基于通过所述自定位估计部估计出的所述观测位置来算出所述观测位置处的场景的深度以将基于所算出的深度以及所述观测位置的三维点群添加到环境地图。

7.根据权利要求6所述的图像处理装置，其中：

所述环境地图包括所述三维点群的三维位置和法线信息。

8.一种图像处理方法，包括：

通过法线信息生成部，生成与在观测位置处成像的受检帧对应的场景的法线信息以及与在与所述观测位置不同的参照位置处成像的关键帧对应的场景的法线信息；以及

通过自定位估计部，基于由所述法线信息生成部生成的与所述受检帧对应的场景的法线信息和与所述关键帧对应的场景的法线信息来估计所述观测位置，

其中，估计所述观测位置包括：

通过所述自定位估计部中的运动量检测部检测从所述参照位置到所述观测位置的运动量，和

通过所述自定位估计部中的绝对位置估计部基于所述运动量以及世界坐标系中的所述参照位置来估计所述世界坐标系中的所述观测位置，

其中，检测所述运动量包括：

基于所述受检帧的图像和法线信息以及所述关键帧的图像、法线信息和深度来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转和/或移动运动量；或者

其中，检测所述运动量包括：

基于由所述法线信息生成部生成的所述受检帧的法线信息从法线图像中检测特征点，

执行检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，和

基于检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息来检测所述受检帧的成像位置相对于所述关键帧的成像位置的运动量。

9.一种计算机可读存储介质，其上存储有计算机可执行程序，当所述计算机可执行程序被计算机执行时，使得所述计算机执行一种图像处理方法，包括：

生成与在观测位置处成像的受检帧对应的场景的法线信息以及与在与所述观测位置不同的参照位置处成像的关键帧对应的场景的法线信息；以及

基于所生成的与所述受检帧对应的场景的法线信息和与所述关键帧对应的场景的法线信息来估计所述观测位置，

其中，估计所述观测位置包括：

检测从所述参照位置到所述观测位置的运动量，和

基于所述运动量以及世界坐标系中的所述参照位置来估计所述世界坐标系中的所述观测位置，

其中，检测所述运动量包括：

基于所述受检帧的图像和法线信息以及所述关键帧的图像、法线信息和深度来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转和/或移动运动量；或者

其中，检测所述运动量包括：

基于所生成的所述受检帧的法线信息从法线图像中检测特征点，

执行检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，和

基于检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息来检测所述受检帧的成像位置相对于所述关键帧的成像位置的运动量。

Images