CN107533763A - 图像处理装置、图像处理方法及程序 - Google Patents

图像处理装置、图像处理方法及程序 Download PDF

Info

Publication number
CN107533763A
CN107533763A CN201680026516.0A CN201680026516A CN107533763A CN 107533763 A CN107533763 A CN 107533763A CN 201680026516 A CN201680026516 A CN 201680026516A CN 107533763 A CN107533763 A CN 107533763A
Authority
CN
China
Prior art keywords
amount
normal information
image
frame
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680026516.0A
Other languages
English (en)
Other versions
CN107533763B (zh
Inventor
陆颖
平泽康孝
近藤雄飞
中谷文香
贝野彰彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107533763A publication Critical patent/CN107533763A/zh
Application granted granted Critical
Publication of CN107533763B publication Critical patent/CN107533763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

法线信息生成部30生成受检帧的法线信息。数据存储部50存储关键帧的法线信息等。运动量检测部40基于存储在数据存储部50中的关键帧的法线信息以及由法线信息生成部30生成的受检帧的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。即使同一点的位置差小或在关键帧的拍摄图像和当前帧的拍摄图像之间出现辉度差，也可以基于法线信息精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量。因此，可以精确地检测观测位置。

Description

图像处理装置、图像处理方法及程序
技术领域
本技术涉及图像处理装置、图像处理方法及程序，且旨在精确地检测观测位置。
背景技术
能够同时执行自定位估计与环境地图构建的即时定位与地图构建(SLAM)通常用于机器人技术领域和无人值守操作领域。对于SLAM，例如在下面NPL 1中，基于特征点来执行自定位估计与环境地图构建。此外，在NPL 2中，不使用特征点来执行自定位估计与环境地图构建。
【引文列表】
【非专利文献】
【NPL 1】
Georg Klein and David Murray,“Parallel Tracking and Mapping for SmallAR Workspaces,”In Proc.International Symposium on Mixed and Augmented Reality(ISMAR’07,Nara)
【NPL 2】
Richard A.Newcombe,Steven J.Lovegrove and Andrew J.Davison,“DTAM:Dense Tracking and Mapping in Real-Time,”IEEE International Conference onComputer Vision(ICCV 2011)Pages 2320-2327
发明内容
技术问题
同时，利用现有技术SLAM，通过使用具有一般图像传感器的成像装置并基于关于拍摄图像的辉度及其像素位置的信息，同时估计成像装置的旋转量和移动量以创建环境地图。因此，如果例如关键帧的拍摄图像和当前帧的拍摄图像之间的同一点处的位置差小，那么难以判定成像位置(观测位置)的运动量，即成像装置的旋转量和移动量。此外，因为现有技术SLAM以当从多个视点观看时同一点的辉度保持不变为前提，所以如果关键帧的拍摄图像和当前帧的拍摄图像之间的同一点处出现辉度差，那么在运动量的检测中产生误差。
因此，本技术的目的在于提供能够更精确地检测观测位置的图像处理装置、图像处理方法及程序。
技术方案
在实施本技术时，根据本技术的第一方面，提供一种图像处理装置。该图像处理装置具有构造为生成观测位置处的场景的法线信息的法线信息生成部和构造为基于由法线信息生成部生成的法线信息来估计观测位置的自定位估计部。
在该技术中，通过偏光图像获取部在成像位置(观测位置)处获取例如受检帧中具有不同偏光方向的两个或更多个偏光图像，并通过法线信息生成部基于所获取的两个或更多个偏光图像来生成法线信息。在运动量检测部中，基于存储在数据存储部等中在与观测位置不同的成像位置(参照位置)处成像的关键帧的法线信息以及由法线信息生成部生成的受检帧的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。如果由法线信息生成部生成的法线信息具有任何运动量并通过使用不定性被解消的法线信息来检测运动量，那么运动量检测部解消不定性。
例如，运动量检测部具有构造为从受检帧的图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部、构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的旋转量的旋转量检测部和构造为基于被旋转量检测部检测到的旋转量、被特征点匹配部检测到的特征点以及关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的移动量的移动量检测部。
可选择地，运动量检测部具有构造为从受检帧的图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部和构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量的旋转/移动量检测部。
可选择地，运动量检测部具有构造为基于受检帧的图像和法线信息以及关键帧的图像、法线信息和深度来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量的旋转/移动量检测部。
可选择地，运动量检测部具有构造为基于由法线信息生成部生成的受检帧的法线信息从法线图像中检测特征点的特征点检测部、构造为执行被特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点的特征点匹配部和构造为基于被特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来算出受检帧的成像位置相对于关键帧的成像位置的运动量的运动量检测处理部。
此外，该图像处理装置还具有构造为基于来自运动量检测部的运动量检测结果以及关键帧的深度来算出受检帧的深度以将基于算出的深度以及运动量检测结果的三维点群添加到包括三维点群的三维位置和法线信息的环境地图的环境地图构建部和构造为存储关键帧和环境地图的数据的数据存储部。
在实施本技术时，根据本技术的第二方面，提供一种图像处理方法。该图像处理方法包括通过法线信息生成部来生成观测位置处的场景的法线信息，并基于由法线信息生成部生成的法线信息通过自定位估计部来估计观测位置。
在实施本技术时，根据本技术的第三方面，提供一种使计算机执行生成观测位置处的场景的法线信息的法线信息生成过程和基于通过法线信息生成过程生成的法线信息来估计观测位置的自定位估计过程的程序。
应当注意，根据本技术的程序是可以提供给例如能够通过以计算机可读格式提供程序的存储介质或通信介质(即，例如，诸如光盘、磁盘或半导体存储器的存储介质或诸如网络的通信介质)来执行各种程序代码的通用计算机的程序。以计算机可读格式提供这种程序实现根据计算机上的程序的处理。
本发明的有益效果如下：
根据本技术，生成观测位置处的场景的法线信息，并基于所生成的法线信息来估计观测位置。例如，基于与在观测位置处成像的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处成像的关键帧对应的场景的法线信息，精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量以估计观测位置。即，可以精确地检测观测位置。应当注意，本文中所述的效果仅仅是示例性的，因此并不限于此。除了本文中所述的这些效果，可能还有其他效果。
附图说明
图1是表示图像处理装置的构造的图；
图2是表示第一实施例的构造的图；
图3描绘对通过偏光图像获取部获取的偏光图像进行说明的图；
图4是对对象的形状及其偏光图像进行说明的图；
图5是示出辉度和偏光角之间的关系的图；
图6是表示偏光度和天顶角之间的关系的图；
图7是对180度的不定性进行说明的图；
图8是对当从不同视点观测同一对象时的法线信息差进行说明的图；
图9是对当前帧的深度的演算进行说明的图；
图10是对高密度深度图的生成处理进行说明的图；
图11是表示第一实施例中的操作的流程图；
图12是表示在环境地图构建部中执行的更新处理的流程图；
图13是表示第一实施例中的第一示例的构造的图；
图14是表示旋转量检测部的构造的图；
图15是表示不定性解消法的示例的图；
图16是对移动量检测进行说明的图；
图17是表示运动量检测部的操作的流程图；
图18是表示旋转量检测操作的流程图；
图19是表示第一实施例中的第二示例的构造的图；
图20是示出有对象看起来相同的两个点的情况的图；
图21是表示运动量检测部的操作的流程图；
图22是表示运动量检测操作的流程图；
图23是表示第一实施例中的第三示例的构造的图；
图24是表示运动量检测部的操作的流程图；
图25是表示第二实施例的构造的图。
具体实施方式
下面对本技术的实施例进行说明。应当注意，将按下列顺序进行说明。
1.图像处理装置的构造
2.第一实施例
3.第一实施例中的第一示例
4.第一实施例中的第二示例
5.第一实施例中的第三示例
6.第二实施例
7.其他实施例
1.图像处理装置的构造
图1描绘图像处理装置的构造。图像处理装置10具有法线信息生成部30和运动量检测部40。法线信息生成部30生成观测位置处的场景(例如，与受检帧(以下简称为“受检帧”)对应的场景)的法线信息。基于存储在数据存储部50等中与观测位置不同的参照位置处的场景(例如，与在与观测位置不同的参照位置处成像的关键帧(以下简称为“关键帧”)对应的场景)的法线信息以及由法线信息生成部30生成的受检帧的法线信息，运动量检测部40检测受检帧的成像位置相对于关键帧的成像位置的运动量。即，运动量检测部40根据生成关键帧图像的成像部的成像位置来检测生成受检帧图像的成像部的位置或姿态的变化量。此外，通过检测受检帧的成像位置相对于关键帧的成像位置的运动量，可以参照生成关键帧图像时的位置和姿态来检测生成受检帧图像时的位置和姿态。因此，图像处理装置基于由法线信息生成部生成的法线信息来检测生成帧图像时的观测位置。
下面在第一实施例中对执行法线信息生成和通过使用偏光图像的运动量检测的情况进行说明。此外，下面在第二实施例中对在不使用偏光图像的情况下基于法线信息来执行运动量检测的情况进行说明。
2.第一实施例
图2描绘第一实施例的构造。图像处理装置10具有法线信息生成部30和运动量检测部40。此外，图像处理装置10可具有偏光图像获取部20、数据存储部50和环境地图构建部60。下面对还布置偏光图像获取部20、数据存储部50和环境地图构建部60的情况进行说明。
偏光图像获取部20获取受检帧的偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如具有三个或更多个偏光方向的偏光图像。偏光图像获取部20可具有布置生成具有三个或更多个偏光方向的偏光图像的成像部的构造或从外部设备、记录介质等获取具有三个或更多个偏光方向的偏光图像的构造。偏光图像获取部20例如使用由成像部生成的当前帧偏光图像作为受检帧的偏光图像。下面对受检帧的偏光图像作为当前帧偏光图像进行说明。
图3描绘对通过偏光图像获取部获取的偏光图像进行说明的图。如图3(a)所示，例如，通过旋转布置在成像部CM前面的偏光板PL以在三个或更多个偏光方向中的每个方向上对对象进行成像来生成偏光图像。此外，如图3(b)所示，可通过在将偏光滤光片111布置在图像传感器110上之后对对象进行成像来生成偏光图像，偏光滤光片111具有三个或更多个偏光方向的像素构造。应当注意，在图3(b)中，例如对每个像素变为具有四个不同类型的偏光方向(由箭头标记表示)中的任何一个偏光方向的像素的偏光滤光片111布置在图像传感器110的正面上的情况进行说明。此外，如图3(c)所示，可通过在将具有不同偏光方向的偏光板PL1至PL4布置在成像部CM1至CM4前面之后由成像部CM1至CM4依序从同一位置对对象进行成像来生成偏光图像。此外，如图3(d)所示，可通过使用多透镜阵列构造来生成具有不同偏光方向的两个或更多个偏光图像。例如，通过将两个或更多个透镜112(图中四个)布置在图像传感器110前面，对象的光学图像通过每个透镜112聚焦在图像传感器110的成像表面上。此外，通过将偏光板113布置在各个透镜112前面，使偏光板113的偏光方向彼此不同。该构造可以通过使用图像传感器110来生成具有不同偏光方向的偏光图像。
此外，如果成像部不使用彩色滤光片，那么偏光图像获取部20可以获取辉度偏光图像。在图3(a)和图3(c)的情况下，通过对于每个像素求具有不同偏光方向的辉度偏光图像的辉度级的平均数，可以获取等同于未偏光的普通辉度图像的图像。此外，在图3(b)的情况下，通过求彼此相邻具有不同偏光方向的四个像素的辉度级的平均数，可以获取等同于无偏光的普通辉度图像的图像。此外，在图3(d)的情况下，如果透镜112之间相对于到对象的距离的距离短到足以忽略，那么具有不同偏光方向的两个或更多个偏光图像的视差可以忽略。因此，求具有不同偏光方向的偏光图像的辉度级的平均数可以获取等同于无偏光的普通辉度图像的图像。如果视差不能忽略，那么通过根据视差量来对准具有不同偏光方向的偏光图像并求对准后的偏光图像的辉度级的平均数，可以获取等同于无偏光的普通辉度图像的图像。此外，偏光图像获取部20通过将彩色滤光片布置在成像部中不仅可以同时生成辉度偏光图像而且可以同时生成三基色图像，或同时生成红外图像等。
法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。下面参照图4对对象的形状及其偏光图像进行说明。如图4所示，例如，通过使用光源LT来照亮对象OB，且成像部CM通过偏光板PL对对象OB进行成像。在这种情况下，对于拍摄图像，对象OB的辉度根据偏光板PL的偏光方向而变化。应当注意，为了便于说明，假设通过旋转偏光板PL以执行成像来获取两个或更多个偏光图像，例如，最高辉度为Imax，最低辉度为Imin。还假设，如果二维坐标中的x轴和y轴是在偏光板PL的平面上，那么当偏光板PL旋转时y轴方向上相对于x轴的角为偏光角υ。
偏光板PL当旋转了180度时返回到初始偏光状态，且以180度为周期。此外，假设当观测到最大辉度Imax时的偏光角υ为方位角α。根据如上所述的这种定义，当偏光板PL旋转时观测到的辉度I以下面方程(1)表示。应当注意，图5描绘辉度和偏光角之间的关系的示例。此外，该示例描绘漫反射模型，在镜面反射的情况下，方位角相对于偏光角偏移了90度。
【数学式1】
对于方程(1)，偏光角υ在生成偏光图像时是明显的，最大辉度Imax、最小辉度Imin和方位角α为变量。因此，通过使用具有三个或更多个偏光方向的偏光图像的辉度来执行方程(1)中所示的模型表达式拟合可以基于表示辉度和偏光角之间的关系的模型表达式来判决方位角α，方位角α为提供最大辉度的偏光角。
还假设对象的表面的法线由极坐标系表示，法线为方位角α和天顶角θ。应当注意，天顶角θ是从z轴朝着法线方向的角，方位角α是如上所述y轴方向上相对于x轴的角。这里，如果当偏光板PL旋转时获得最小辉度Imin和最大辉度Imax，那么可以基于下面方程(2)来算出偏光度ρ。
【数学式2】
在漫反射的情况下，根据菲涅耳公式，已知偏光度和天顶角之间的关系具有例如图6所示的特性。因此，根据图6所示的特性，可以基于偏光度来判决天顶角θ。应当注意，图6所示的特性仅仅是示例性的，因此根据对象的折射率等而变化。例如，偏光度随着折射率增大而增大。
法线信息生成部30如上所述算出方位角α和天顶角θ，并生成表示算出的方位角α和天顶角θ的法线信息。应当注意，表示方位角α和天顶角θ的法线信息提供法线角。
如上所述由法线信息生成部30生成的法线信息具有180度的不定性。图7描绘对180度的不定性进行说明的图。在图7(a)所示的对象OB通过成像部CM进行成像以算出法线的情况下，根据偏光方向旋转的辉度变化以180度为周期。因此，在作为对象OB的上半部分的区域GA中，如图7(a)所示，例如，法线方向(由箭头标记表示)提供正确方向，在作为下半部分的区域GB中，有可能使法线方向反向。
运动量检测部40使用当从不同视点观测时同一对象的法线方向仅取决于成像部的旋转量变化的现象以根据法线方向变化来检测成像部的旋转量，即，当前帧相对于关键帧的成像位置的旋转量。更具体地说，基于根据所获取的当前帧偏光图像而生成的法线信息以及存储在数据存储部50中的数据，运动量检测部40检测当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量。应当注意，如果光轴是z轴，那么成像部的旋转表示绕旋转轴的运动，该旋转轴是z轴、正交于z轴的x轴和正交于z轴和x轴的y轴中的至少一个轴。此外，在x轴、y轴和z轴的轴方向中的至少一个轴方向上的运动是成像部的移动。
图8描绘对当从不同视点观测同一对象时获得的法线信息差进行说明的图。用关键帧v获得的对象OB的法线提供关键帧的视点的相机坐标系，即，关键帧的视点V的光轴是Zv轴、垂直于关键帧的光轴的图像表面的向右方向是Xv轴以及相对于图像表面垂直于Xv轴的向上方向是Yv轴的坐标系。同样，用当前帧l获得的对象OB的法线提供当前帧的视点的相机坐标系，即，当前帧的视点的光轴是Zl轴、垂直于当前帧的光轴的图像表面的向右方向是Xl轴以及相对于图像表面垂直于Xl轴的向上方向是Yl轴的坐标系。即，观测到的对象OB的法线方向是观测视点的相机坐标系的方向。例如，假设当前帧l相对于关键帧v的视点变化为旋转量Rlv和移动量Tlv，则如果对象的一个点的法线在关键帧的坐标系中为Nv，那么基于下面方程(3)可以算出对象的同一个点在当前帧的坐标系中的法线Nl。
【数学式3】
此外，根据偏光图像而生成的法线信息如上所述具有180度的不定性。因此，在运动量检测部40中，解消法线信息的不定性。如果与关键帧对应的对象的点例如是在当前帧中，那么运动量检测部40通过使用在关键帧的对象中的点的法线来解消当前帧的对象中的点的法线的不定性。应当注意，如果在SLAM开始时，关键帧的法线信息具有不定性且关键帧的深度未知，那么通过使用统计法等(后面将进行说明)来解消法线信息的不定性。
基于通过运动量检测部40获得的运动量检测结果，环境地图构建部60生成与当前帧偏光图像对应的深度。此外，如果尚未获取关键帧的深度，那么环境地图构建部60通过使用诸如立体匹配的方法通过使用通过运动量检测部40的运动量检测结果以及当前帧和关键帧的图像来获得关键帧的深度和当前帧的深度。
如果已经获取关键帧的深度，那么基于当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量，可以通过将与关键帧的深度对应的三维位置重新投射到当前帧来获得当前帧的深度。方程(4)表示当前帧的深度的演算表达式。图9描绘对当前帧的深度的演算进行说明的图。方程(4)中，Dv(u)表示关键帧中的像素位置u(表示对象位置OBu的像素位置)的深度，Dl(u)表示当前帧中的像素位置u’(表示对象位置OBu的像素位置)的深度。[Xl(u’)Yl(u’)Dl(u’)]表示当前帧的相机坐标系中的像素位置u’的三维坐标。π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π-1(u,Dv(u))表示在像素位置u为深度Dv(u)的情况下使像素位置u返回到相机空间的函数，以及K表示相机的内部参数矩阵与焦距有关的指示信息等。Glv(ψ)表示从关键帧到当前帧的运动量(旋转量Rlv和移动量Tlv)，如方程(5)所示。
【数学式4】
[Xl(u') Yl(u') Dl(u')]T＝KGlv(ψ)π-1(u，Dv(u))…(4)
同时，在通过使用诸如立体匹配的方法来算出深度的情况下，在例如无纹理的图像区域中可能产生尚未获得深度的像素，如果发生这种情况，那么表示像素位置和深度之间的关系的深度图变成低密度图。因此，基于通过上述处理获得的深度以及用通过运动量检测部40获得的不定性解消的法线信息，环境地图构建部60算出每个像素的深度以生成高密度深度图。
图10是用于对高密度深度图的生成处理进行说明的图。应当注意，为了便于说明，将对例如一行的处理进行说明。假设，通过环境地图构建部60从如图10(a)所示由成像部CM生成的对象OB的偏光图像中获得图10(b)所示的深度，并获得如图10(c)所示通过运动量检测部40用不定性解消的法线信息。还假设从偏光图像中获得的深度为低密度，例如，左端像素的深度值为“2(米)”，且由×表示的其他像素尚未获得深度值。基于法线信息，环境地图构建部60估计对象OB的表面形状。这里，基于该像素的法线信息，从左端起的第二个像素可以被判决为该像素等同于从与左端像素对应的对象表面起逼近成像部的方向的斜面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第二个像素的深度值，获得例如“1.5(米)”。此外，基于该像素的法线方向，从左端起的第三个像素可以被判决为等同于与成像部相对的表面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第三个像素的深度值，获得例如“1(米)”。从左端起的第四个像素可以被判决为等同于从与从左端起的第三个像素对应的对象表面起远离成像部的方向的斜面。因此，环境地图构建部60跟随以左端像素为起点的对象OB的表面形状以估计从左端起的第四个像素的深度值，获得例如“1.5(米)”。此外，环境地图构建部60以相同方式估计从左端起的第五个像素的深度值，获得例如“2(米)”。因此，环境地图构建部60根据图10(b)所示的低密度深度通过使用由运动量检测部40生成不定性被解消的法线信息来生成图10(d)所示的高密度深度。
使用所生成的深度，环境地图构建部60更新存储在数据存储部50中的环境地图。环境地图是把三维点群放入数据库中的信息且表示世界坐标系中的点的坐标位置(三维位置)和表示法线信息。基于所生成的当前帧的高密度深度以及通过运动量检测部40获得的运动量检测结果，环境地图构建部60将具有所获得的深度的每个点的相机坐标系变换为世界坐标系。即，环境地图构建部60估计世界坐标系中的观测位置。此外，环境地图构建部60将变换后的世界坐标系中的每个点的坐标位置以及法线信息添加到环境地图。应当注意，假设世界坐标系为例如在SLAM开始时关键帧的相机坐标系。因此，通过由偏光图像获取部20依序获取偏光图像并由法线信息生成部30和运动量检测部40执行上述处理，表示包括在偏光图像中的对象的表面形状的信息依序存储在环境地图中。应当注意，环境地图不仅可以包括对象的三维位置和法线信息，而且可以包括由三维位置表示的每个点的颜色信息等。
此外，环境地图构建部60通过使用当前帧偏光图像来更新存储在数据存储部50中的关键帧偏光图像，从而提供当前帧偏光图像作为新关键帧偏光图像。
图11是表示第一实施例的操作的流程图。在步骤ST1中，图像处理装置获取当前帧偏光图像。图像处理装置10的偏光图像获取部20获取当前帧中具有不同偏光方向的两个或更多个偏光图像并进入步骤ST2。
在步骤ST2中，图像处理装置生成法线信息。通过使用具有不同偏光方向的两个或更多个偏光图像的辉度，图像处理装置10的法线信息生成部30对模型表达式执行拟合等以生成当前帧的法线信息，并进入步骤ST3。
在步骤ST3中，图像处理装置获取关键帧的数据。图像处理装置10的运动量检测部40获取存储在数据存储部50中的关键帧的数据并进入步骤ST4。
在步骤ST4中，图像处理装置检测运动量。基于在步骤ST2中生成的法线信息以及在步骤ST3中获取的关键帧的数据，图像处理装置10的运动量检测部40检测当前帧偏光图像的成像位置相对于关键帧偏光图像的成像位置的旋转量，然后进入步骤ST5。
在步骤ST5中，图像处理装置执行更新处理。图像处理装置10的环境地图构建部60更新环境地图和关键帧。
图12示出由环境地图构建部执行的更新处理。在步骤ST11中，环境地图构建部60检测深度。环境地图构建部60检测当前帧的深度，然后进入步骤ST12。应当注意，如果尚未检测到关键帧的深度，那么环境地图构建部60还检测关键帧的深度。
在步骤ST12中，环境地图构建部60添加新点群。环境地图构建部60将具有在步骤ST11中检测到的深度的新点群添加到环境地图，然后进入步骤ST13。
在步骤ST13中，环境地图构建部60执行存储处理。环境地图构建部60将具有在步骤ST12中添加的新点群的环境地图存储到数据存储部50中，从而更新存储在数据存储部50中的环境地图。
此外，环境地图构建部60通过使用当前帧偏光图像来更新存储在数据存储部50中的关键帧偏光图像。
根据上述第一实施例，可以通过使用法线信息来检测当前帧的成像位置相对于关键帧的成像位置的运动量。此外，如果和现有技术SLAM一样基于拍摄图像的辉度以及拍摄图像中的像素位置的信息来检测运动量，那么在关键帧的拍摄图像和当前帧的拍摄图像中的同一点的位置差小的情况下难以检测运动量。此外，对于现有技术SLAM，假设当从不同视点观看时同一点的辉度不变，使得如果辉度变化，那么在检测结果中产生误差。然而，利用第一实施例，通过使用法线信息来检测运动量，使得即使同一点的位置差小，如果法线方向变化，那么也可以精确地检测运动量。此外，利用第一实施例，通过使用法线信息来检测运动量，使得即使同一点的辉度因运动而变化，也可以精确地检测运动量。
此外，对于现有技术SLAM，通过使用关于辉度变化的信息对深度进行平滑化来生成高密度环境地图。然而，用关于辉度变化的信息对深度进行平滑化可以消除微小的形态变化，从而引起深度失真。相反，因为法线信息包括微小的形态变化，所以第一实施例可以更精确地检测环境形态，从而创建接近真实值的环境地图。
3.第一实施例中的第一示例
在第一实施例中的第一示例中，对基于关键帧和当前帧之间彼此对应的各个特征点的法线信息等来依序检测当前帧的成像位置相对于关键帧的成像位置的旋转量和移动量的情况进行说明。
图13描绘第一实施例中的第一示例的构造。第一示例的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部41、数据存储部50和环境地图构建部60。
偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行更新环境地图的处理。
基于从不同视点成像的同一对象的法线方向变化，运动量检测部41从已经生成关键帧的图像的成像位置到已经生成当前帧的图像的成像位置依序检测旋转量和移动量。运动量检测部41具有特征点检测部401、特征点匹配部402、旋转量检测部403和移动量检测部404。
特征点检测部401从通过偏光图像获取部20获取的偏光图像中检测特征点。通过使用通过偏光图像获取部20获取的当前帧的偏光图像，特征点检测部401对于每个像素位置的偏光图像的每个像素执行求两个或更多个偏光图像的像素值的平均数或其他处理以生成等同于在不使用偏光板、偏光滤光片等的情况下拍摄的图像的非偏光图像。此外，特征点检测部401通过使用诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)或加速分段测试特征(FAST)的这种方法从非偏光图像中检测预定类型的特征点。
特征点匹配部402对存储在数据存储部50中的关键帧的特征点和被特征点检测部401检测到的特征点执行匹配处理。特征点匹配部402通过使用诸如例如绝对差值求和(SAD)或归一化互相关(NCC)的这种方法来执行特征点匹配处理，从而检测关键帧和当前帧之间彼此对应的一对特征点。
旋转量检测部403基于由法线信息生成部30生成具有不定性的法线信息、通过特征点匹配部402获得的该对特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。
图14描绘旋转量检测部的构造。旋转量检测部403具有特征点不定性解消部4031和演算部4032。
特征点不定性解消部4031对具有不定性的法线信息执行不定性解消处理。图15描绘不定性解消法的一个示例。如图15所示，特征点u’是当前帧l中的特征点，特征点u是与特征点u’对应的关键帧v的特征点。此外，假设特征点u’中具有不定性的法线角为N’u’ l(α’u’ l,θu’ l)，以及不具有不定性的法线角为Nu’ l(αu’ l,θu’ l)。假设特征点u中不具有不定性的法线角为Nu v(αu v,θu v)。当前帧相对于关键帧的旋转量为Rlv且移动量为Tlv。
如果关键帧的法线角Nu v(αu v,θu v)的方位角αu v不具有不定性且成像部的运动量小，那么特征点不定性解消部4031基于下面方程(6)来解消不定性，从而生成法线角Nu’ l(αu’ l,θu’ l)。即，特征点不定性解消部4031参照关键帧的法线角的方位角αu v来解消当前帧中的对应特征点中具有不定性的法线角N’u’ l(α’u’ l,θu’ l)的方位角α’u’ l的不定性，从而提供方位角αu’ l。
【数学式5】
另一方面，如果关键帧的法线信息具有不定性或成像部的运动量大，那么特征点不定性解消部4031通过使用视点位置变化和当从各视点观测时的法线方向变化之间的关系以统计方式来解消关键帧和当前帧的特征点的法线的不定性。
这里，如果当前帧的法线信息具有不定性，那么特征点u’的法线Nu’ l可以采用的值是双向的。如果关键帧的法线信息具有不定性，那么特征点u的法线Nu v可以采用的值也是双向的。因此，每个特征点的法线的组合的候补数为两个(如果关键帧的法线不具有不定性)或四个(如果关键帧的法线具有不定性)。即，算出的旋转量的数量可以是四个。因此，特征点不定性解消部4031对所有对应特征点执行统计处理，从而提供最有可能的旋转量作为旋转量Rlv。即，特征点不定性解消部4031对于每个特征点算出关键帧和当前帧的法线的每个组合的旋转量以通过对算出的旋转量进行统计处理来检测最有可能的旋转量，从而提供旋转量Rlv。此外，特征点不定性解消部4031假设与旋转量Rlv对应的每个特征点的一对法线(Nu’ l,Nu v)为不定性被解消的法线。
演算部4032通过使用不定性被解消的当前帧和关键帧的法线信息来检测旋转量Rlv。更具体地说，演算部4032基于下面方程(7)通过使用不具有不定性的当前帧的法线Nu’ l和不具有不定性的关键帧的法线Nu v来算出旋转量Rlv。
【数学式6】
应当注意，在求解方程(7)和解消每个特征点的法线的不定性中，如果关键帧的法线角Nu v(αu v,θu v)的方位角αu v不具有不定性且成像部的运动量小，那么对于解消当前帧的特征点的不定性而言只要一对对应特征点就足够。此外，如果关键帧的法线信息具有不定性且成像部的运动量大，那么因为通过统计处理的最有可能的旋转量的算出需要至少两对特征点，所以旋转量检测部403所需的特征点对数为一对或两对或更多对。
移动量检测部404基于被旋转量检测部403检测到的旋转量Rlv、被特征点匹配部402检测到的特征点以及存储在数据存储部50中的关键帧的特征点的三维或二维位置来检测移动量。
相对于关键帧的特征点的位置，特征点的所需数量取决于三维位置是否已知。下面对特征点的三维位置已知的情况和特征点的三维位置未知(二维位置已知)的情况进行说明。
例如，在SLAM开始时，关键帧中的特征点的三维位置未知。因此，用于特征点的三维位置未知的情况的方法适用。此外，如果通过处理两个或更多个帧已经获得关键帧的特征点的三维位置，那么用于特征点的三维位置已知的情况的方法适用。此外，可以通过使用用于通过图像识别等来指定位置的标记符(例如，增强现实(AR)标记符)在SLAM开始时获得关键帧的深度。因此，在这种情况下，用于特征点的三维位置已知的情况的方法也适用。
-在关键帧中的特征点的三维位置已知的情况下将要执行的操作
移动量检测部404通过使关键帧的每个特征点被重新投射到当前帧的位置和当前帧中的对应特征点的位置之差最小化来检测移动量。即，移动量检测部404通过使用下面方程(8)来算出移动量Tlv。方程(8)中，π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π-1(u,Dv(u))表示用于在关键帧的图像上的特征点u为深度Dv(u)的情况下使特征点u返回到相机空间的函数，如图16(a)所示，以及K表示相机的内部参数矩阵。Glv(ψ)表示从关键帧到当前帧的运动量(旋转量Rlv和移动量Tlv)，如下面方程(9)所示。此外，方程(8)和后面所述的方程中的qa表示将要配对的所有特征点。
【数学式7】
当通过使用方程(9)来算出移动量Tlv时，有三个变量T1、T2和T3。此外，因为每对特征点在成像部的x方向和y方向上的移动量各自基于方程(8)而算出，所以如果有两对或更多对特征点，那么可以基于四个或更多个方程来判定方程(9)的变量T1、T2和T3。因此，移动量检测部404通过使用通过使用两对或更多对特征点而判定的变量T1、T2和T3来算出移动量Tlv。
-在关键帧中的特征点的三维位置未知(二维位置已知)的情况下将要执行的操作
如果关键帧中的特征点的三维位置未知，那么移动量检测部404通过使关键帧的每个特征点被重新投射到当前帧的位置和当前帧中的对应特征点的位置之差最小化来检测移动量。即，移动量检测部404通过使用方程(10)来算出移动量Tlv。应当注意，在方程(10)中，关键帧的深度未知，使得关键帧的特征点u的深度为Dv(u)”，如图16(b)所示。
【数学式8】
因为已经获得旋转量Rlv，所以方程(10)的变量数为n(每个特征点的深度)+3(移动量)。即，如果特征点的数量为n，那么获得2n个方程，如果2n≥n+3，即，n≥3，那么获得关键帧中的每个特征点的深度值和移动量。此外，如果获得关键帧中的每个特征点的深度，那么可以基于方程(11)来算出当前帧的相机坐标系中相对于与关键帧的特征点u对应的当前帧的特征点u’的三维坐标[Xl(u’)Yl(u’)Dl(u’)]。应当注意，Dl(u’)在方程(11)中为特征点u’的深度。
【数学式9】
[Xl(u') Yl(u') Dl(u')]T＝KGlv(ψ)π-1(u，Dv(u)")…(11)
通过运动量检测部41执行如上所述的处理可以基于当前帧和关键帧的特征点以及特征点的法线信息单独地检测旋转量和移动量。
图17是表示运动量检测部的操作的流程图。在步骤ST21中，运动量检测部41检测特征点。运动量检测部41从通过偏光图像获取部20获取的偏光图像中检测特征点，然后进入步骤ST22。
在步骤ST22中，运动量检测部41执行特征点匹配处理。运动量检测部41执行存储在数据存储部50中的关键帧的特征点和在步骤ST21中检测到的特征点之间的匹配处理以检测关键帧和当前帧之间的一对对应特征点。
在步骤ST23中，运动量检测部41检测旋转量。运动量检测部41基于由法线信息生成部30生成具有不定性的法线信息、在步骤ST22中检测到的该对特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。
图18是表示旋转量检测操作的流程图。在步骤ST31中，运动量检测部41解消法线信息的不定性。运动量检测部41执行上述参照特征点不定性解消部4031的处理来解消法线信息的不定性，然后进入步骤ST32。
在步骤ST32中，运动量检测部41算出旋转量。运动量检测部41执行上述参照演算部4032的处理以算出旋转量，然后进入图17中的步骤ST24。
在步骤ST24中，运动量检测部41检测移动量。运动量检测部41基于在步骤ST23中检测到的旋转量Rlv、在步骤ST22中检测到的特征点以及存储在数据存储部50中的关键帧的特征点的三维或二维位置来检测移动量。
根据如上所述的第一示例，可以获得由上述第一实施例提供的效果。此外，根据第一示例，可以单独地检测当前帧的成像位置相对于关键帧的成像位置的旋转量和移动量，使得例如可以正确地检测成像部的旋转量，而不受成像部的移动影响。因此，与基于关于拍摄图像的辉度及其像素位置的信息来检测运动量的现有技术SLAM相比，可以提高运动量检测精度。此外，如果基于关于拍摄图像的辉度及其像素位置的信息来检测运动量，那么具有较少纹理的拍摄图像难以找到当前帧和关键帧之间的对应点。然而，因为第一示例使用法线信息，所以即使利用具有较少纹理的拍摄图像，在形状发生变化的情况下也可以检测到当前帧和关键帧之间的对应点，从而检测到运动量。此外，与通过只使用普通图像对特征点执行匹配处理相比，偏光信息包括在特征点的描述符中可以提高匹配精度。应当注意，现有技术SLAM在运动量检测时需要至少四对特征点，然而，第一示例可以只用两对特征点来检测运动量，如上所述。
4.第一实施例中的第二示例
在第一实施例中的第二示例中，将对基于关键帧和当前帧之间彼此对应的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动量的情况进行说明。在这种情况下的运动量检测结果等同于同时检测与整合旋转量和移动量的结果。
图19描绘了第一实施例中的第二示例的构造。第二示例中的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部42、数据存储部50和环境地图构建部60。
偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如，具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行更新处理。
运动量检测部42基于从不同视点成像的同一对象的法线变化来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。
运动量检测部42具有特征点检测部401、特征点匹配部402和旋转/移动量检测部405。
特征点检测部401从通过偏光图像获取部20获取的偏光图像中检测特征点。特征点检测部401通过使用通过偏光图像获取部20获取的当前帧的偏光图像来对于偏光图像的每个像素执行求两个或更多个偏光图像的像素值的平均数，并生成等同于在不使用偏光板、偏光滤光片等的情况下拍摄的图像的非偏光图像。此外，特征点检测部401通过使用诸如SIFT或SURF的方法从非偏光图像中检测预定类型的特征点。
特征点匹配部402执行存储在数据存储部50中的关键帧的特征点和被特征点检测部401检测到的特征点之间的匹配处理。特征点匹配部402通过使用SAD等来执行特征点匹配处理以检测关键帧和当前帧之间彼此对应的一对特征点。
旋转/移动量检测部405通常对由法线信息生成部30生成具有不定性的法线信息执行与上述旋转量检测部403的处理相同的处理以相对于当前帧和关键帧来解消法线信息的不定性。接着，旋转/移动量检测部405检测运动量。
通常利用与NPL1中所述的方法相同的方法(以下称为“第一现有技术”)，在关键帧中，通过使用每个特征点被重新投射到当前帧的位置以及当前帧中的对应特征点的位置来检测运动量。即，可以通过使用下面方程(12)来算出移动量Glv。在方程(12)中，π表示用于将三维位置(x,y,z)投射成(x/z,y/z)的函数。π-1(u,Dv(u))表示用于在图像上的点u为深度Dv(u)的情况下使点u返回到相机空间的函数，以及K表示相机的内部参数矩阵。Glv(ψ)表示从关键帧到当前帧的运动量(旋转量Rlv和移动量Tlv)，如方程(13)所示。
【数学式10】
这里，求解方程(12)所需的特征点对数取决于关键帧的特征点的深度是否已知。例如，在方程(12)中，如果特征点u的深度Dv(u)已知，那么有六个变量(三个自由度的移动量+三个自由度的旋转量)。因此，应当通过三对特征点来求解方程(12)，然而，如图20所示，如果只看到图像上的特征点的位置，那么有对象看起来相同的两个点。应当注意，在图20中，假设对象看起来相同的点中的一个点为成像部CMa的成像位置，假设另一个点为成像部CMb的成像位置。在这种情况下，虽然通过成像部CMa和成像部CMb拍摄的图像中的特征点的位置相同，但是由于法线方向不同，所以法线图彼此不同。还应当注意，在图20中，利用成像部CMa和CMb，四角锥的天顶侧为图像传感器侧，底面侧为透镜侧。在法线图中，法线方向差异由不同线型表示。
如上所述，如果有对象看起来相同的两个点，那么除了三个特征点，获得唯一视点还需要一个以上特征点。即，为了获得唯一Glv(ψ)，需要四个或更多个特征点。
另一方面，如果关键帧中的特征点u的深度Dv(u)未知，那么方程(12)可以表示为方程(14)。例如，如果特征点数量为n，那么变量数为6(三个自由度的移动量+三个自由度的旋转量)+n(n对特征点的深度)。因此，如果n≥6，那么可以获得每个特征点的深度值以及每个相机的移动量和旋转量。应当注意，Dv(u)”表示在特征点u未知的情况下的深度。
【数学式11】
因为在关键帧和当前帧上的特征点中可以获得法线，所以旋转/移动量检测部405通过使用从不同视点获得的同一点的不同法线向诸如上述的第一现有技术添加对应特征点的法线的限制。方程(15)是通过向第一现有技术添加对应特征点的法线的限制而获得的方程。即，在方程(15)中，添加使当前帧的每个特征点u’被重新投射到关键帧的位置的法线Rlv(u)Nl(u’)和关键帧中的对应特征点u的位置的法线Nv(u)之差最小化的限制。应当注意，第二示例以及后面将进行说明的第三示例中的法线Nv(u)、Nl(u)等等同于第一示例中的法线Nu v、Nu l等。
【数学式12】
此外，求解方程(15)所需的特征点数量取决于关键帧的特征点的深度是否已知。例如，在方程(15)中，如果特征点u的深度已知，那么与第一现有技术相同，有六个变量(三个自由度的移动量+三个自由度的旋转量)。然而，如图20所示，即使看起来相同，法线方向也不同。与在第一现有技术中只使用特征点的位置信息的方法不同，旋转/移动量检测部405还使用特征点的法线方向，使得如果有三对特征点，那么可以获得上述方程(15)的唯一解。此外，如果特征点u的深度Dv(u)未知，那么用下面方程(16)取代方程(15)。
【数学式13】
这里，如果有n个特征点，那么变量数为6(三个自由度的移动量+三个自由度的旋转量)+n(n对特征点的深度)。因此，如果n≥6，那么可以获得每个特征点的深度值以及成像位置的旋转和/或移动运动量。此外，因为在该方法中添加法线的限制，所以与第一现有技术相比，可以提高运动量检测精度。
图21是表示运动量检测部的操作的流程图。在步骤ST41中，运动量检测部42检测特征点。运动量检测部42从通过偏光图像获取部20获取的偏光图像中检测特征点，然后进入步骤ST42。
在步骤ST42中，运动量检测部42执行特征点匹配处理。运动量检测部42执行存储在数据存储部50中的关键帧的特征点和步骤ST41中检测到的特征点之间的匹配处理以检测关键帧和当前帧之间的一对对应特征点，然后进入步骤ST43。
在步骤ST43中，运动量检测部42检测运动量。运动量检测部42基于由法线信息生成部30生成具有不定性的法线信息、在步骤ST42中检测到的特征点以及存储在数据存储部50中的关键帧的特征点的法线信息来检测运动量。
参照图22，描绘表示运动量检测操作的流程图。在步骤ST51中，运动量检测部42解消法线信息的不定性。运动量检测部42通常执行与上述特征点不定性解消部4031的处理相同的处理以解消法线信息的不定性，然后进入步骤ST52。
在步骤ST52中，运动量检测部42检测运动量。基于不定性被解消的法线信息以及从关键帧检测到的特征点的三维位置或图像上的二维位置，运动量检测部42通过使用从不同视点获得的同一点的不同法线来检测如上所述的旋转和/或移动运动量。
根据如上所述的第二示例，可以获得由上述第一实施例提供的效果。此外，在第二示例中，使用法线信息，使得如果检测旋转和/或移动运动量，那么可以比现有技术更精确地检测运动量。此外，与第一示例相同，因为第二示例使用法线信息，所以即使利用具有较少纹理的拍摄图像，在形状发生变化的情况下也可以检测到当前帧和关键帧之间的对应点，从而检测到运动量。此外，与通过只使用普通图像对特征点执行匹配处理相比，偏光信息包括在特征点的描述符中可以提高匹配精度。
5.第一实施例中的第三示例
在第一实施例中的第三示例中，将对与第一和第二示例中基于特征点的技术不同，通过使用遍布在屏幕上的图像来检测运动量的情况进行说明。
图23描绘第一实施例中的第三示例的构造。第三示例的图像处理装置具有偏光图像获取部20、法线信息生成部30、运动量检测部43、数据存储部50和环境地图构建部60。
偏光图像获取部20获取当前帧偏光图像。偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像，例如，具有三个或更多个偏光方向的偏光图像。法线信息生成部30根据通过偏光图像获取部20获取具有不同偏光方向的两个或更多个偏光图像来生成法线信息。数据存储部50存储关键帧、环境地图等的数据。环境地图构建部60生成与当前帧偏光图像对应的深度并例如通过使用所生成的深度来执行环境地图更新处理。
运动量检测部43具有旋转/移动量检测部406。基于当前帧的图像和法线信息以及关键帧的图像、法线信息和深度，旋转/移动量检测部406检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。
假设关键帧的三维位置已知，旋转/移动量检测部406通过使用关键帧和当前帧的辉度信息和法线信息来检测运动量。应当注意，如果关键帧的三维位置未知，那么在获得关键帧的深度之后通过应用第一示例或第二示例的技术来算出运动量。
利用基于NPL 2的技术(以下称为“第二现有技术”)，可以通过当前帧的普通图像、关键帧的普通图像以及关键帧的深度来算出旋转量和移动量。在关键帧中，对于关键帧的深度已知的点u使重新投射到当前帧的点的辉度和关键帧的点u的辉度之差最小化可以通过使用图9由下面方程(17)表示。
【数学式14】
方程(17)中，I代表图像的辉度，qb代表关键帧的深度已知的所有点。因此，求解方程(17)可以算出运动量。然而，第二现有技术假设从关键帧视点看到的同一点的辉度变化以及从当前帧视点看到的同一点的辉度保持不变，在现实环境中，辉度可以根据相对于同一点的视点变化而变化，从而由于辉度变化而在运动量检测结果中产生误差。相反，旋转/移动量检测部406通过使用法线信息比第二现有技术更精确地执行运动量检测。
旋转/移动量检测部406根据由法线信息生成部30生成具有不定性的法线信息来执行不定性解消处理。如果例如成像部的运动量小，那么旋转/移动量检测部406通常执行与上述旋转量检测部403的处理相同的处理以解消当前帧的法线信息的不定性。此外，基于图像信息，旋转/移动量检测部406可获得运动量的近似值以通过使用所获得的近似值来解消当前帧的法线的不定性，如下方程(18)所示。应当注意，方程(18)中，Glv(ψ)”表示通过第二现有技术获得的运动量的近似值，u’表示通过下面方程(19)获得的位置。
【数学式15】
u′＝π(KGlv(ψ)″π-1(u，Dv(u)))…(19)
在解消当前帧的法线的不定性之后，旋转/移动量检测部406通过使用当前帧和关键帧的普通图像、不定性被解消的法线信息以及关键帧的深度来执行下面方程(20)的演算。通过执行方程(20)的演算，旋转/移动量检测部406算出使关键帧的点被重新投射到当前帧的点和当前帧中的对应点之间的辉度差以及法线差最小化的成像部的运动量Glv。
【数学式16】
如上所述，通过添加法线的限制，旋转/移动量检测部406可以比之前更精确地检测当前帧的成像位置相对于关键帧的成像位置的运动量。
图24是表示运动量检测部的操作的流程图。在步骤ST61中，运动量检测部43解消当前帧的法线信息的不定性。运动量检测部43通常执行与上述运动量检测部41的处理相同的处理以解消当前帧的法线信息的不定性，然后进入步骤ST62。
在步骤ST62中，运动量检测部43检测运动量。运动量检测部43基于当前帧和关键帧的普通图像、关键帧的法线信息和在步骤ST61中不定性被解消的当前帧的法线信息以及关键帧的深度来检测运动量。
根据如上所述的第三示例，可以获得由上述第一实施例提供的效果。此外，根据第三示例，可以在不执行特征点检测和特征点匹配处理的情况下通过使用遍布在屏幕上的图像来获得运动量。
6.第二实施例
在第二实施例中，将对在不使用偏光图像的情况下基于法线信息来检测运动量的情况进行说明。
图25描绘第二实施例的构造。图像处理装置具有法线信息生成部30、运动量检测部44和数据存储部50。应当注意，法线信息生成部30和数据存储部50以与上述第一实施例的方式通常相同的方式来构造，因此下面将对运动量检测部44进行说明。
基于在基于当前帧的法线信息的法线图像和关键帧的法线图像之间对应的特征点中的每个特征点的法线信息，运动量检测部44检测当前帧的成像位置相对于关键帧的成像位置的运动量。运动量检测部44具有特征点检测部441、特征点匹配部442、旋转量检测部443和移动量检测部444，旋转量检测部443和移动量检测部444构成运动量检测处理部。
特征点检测部441根据由法线信息生成部30生成的当前帧的法线信息来检测特征点。特征点检测部441将法线信息变换为例如法线图像并通过使用诸如SIFT或SURF的特征点检测方法从法线图像中检测特征点。下面方程(21)表示用于将每个像素的法线信息变换为法线图像的变换方程。例如，特征点检测部441通过设定根据x方向上的法线分量的红色等级、根据y方向上的法线分量的绿色等级和根据z方向上的法线分量的蓝色等级来将法线信息变换为彩色法线图像。
【数学式17】
特征点匹配部442执行存储在数据存储部50中的关键帧的特征点和被特征点检测部441检测到的特征点之间的匹配处理。特征点匹配部442通常执行与第一实施例的第一示例中所述的特征点匹配部402的处理相同的处理以检测当前帧和关键帧之间彼此对应的一对特征点。
旋转量检测部443基于被特征点匹配部442检测到的特征点、由法线信息生成部30生成的当前帧的法线信息以及存储在数据存储部50中的关键帧的特征点的法线信息来检测旋转量。旋转量检测部443通过通常执行与上述第一示例中所述的旋转量检测部403的处理相同的处理来检测旋转量。
移动量检测部444基于被旋转量检测部443检测到的旋转量、通过特征点匹配部442获得的该对特征点以及存储在数据存储部50中的关键帧的特征点的三维位置或二维位置来检测移动量。移动量检测部444通过通常执行与上述第一示例中所述的移动量检测部404的处理相同的处理来检测移动量。
根据如上所述的第二实施例，可以在不使用偏光图像的情况下基于法线信息来检测当前帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。此外，因为第二实施例使用法线信息，所以可以获得与第一实施例的效果通常相同的效果。应当注意，在第二实施例中，可通过使用从法线图像检测到的特征点来执行与第一实施例的第二示例的处理通常相同的处理以检测运动量。在这种情况下，运动量检测处理部以与第二示例的旋转/移动量检测部405的构造通常相同的构造来构造。
7.其他实施例
在上述第一和第二实施例中，已经对通过使用偏光图像来生成法线信息的情况进行说明，然而，法线信息生成并不限于使用偏光图像的法线信息生成。例如，可通过称为光度立体法的技术来生成法线信息。此外，可基于通过诸如测定投射光将反射在对象上并返回的时间的飞行时间(TOF)的技术获得的深度来生成法线信息。此外，通过通过使用图像识别来执行对象识别并通过参照以识别对象表现的形状来辨别法线，可解消法线信息中的不定性。
本文中所述的一系列处理操作可通过硬件、软件或两者组合来执行。在通过软件来执行处理中，执行安装在内置在专用硬件中的计算机的存储器中记录处理顺序的程序。可选择地，执行安装在通用计算机中的程序是可行的，通过通用计算机可执行各种处理操作。
例如，程序可预先记录在作为记录介质的硬盘单元、固态驱动器(SSD)或只读存储器(ROM)中。可选择地，程序可以以暂时或永久方式存储(或记录)在软盘、紧凑型磁盘ROM(CD-ROM)、磁光(MO)盘、数字多功能磁盘(DVD)、蓝光磁盘(BD)(注册商标)、磁盘、半导体存储卡及其他可移除记录介质中。这种可移除记录介质可设置在所谓套装软件中。
此外，程序不仅可以从可移除记录介质安装到计算机，而且可以通过诸如局域网(LAN)或因特网的网络以有线或无线方式从下载站点传送到计算机。计算机可以接收以这种方式传送的程序并将接收到的程序安装到诸如内置在计算机中的硬盘单元的记录介质中。
本文中所述的效果仅仅是示例性的，且并不限于这些效果，因此可以提供上面未说明的其他效果。本技术不应只在本技术的上述实施例的范围内进行解释。本技术的实施例以图示形式揭示本技术，使得本领域技术人员应当理解，在不脱离本技术的精神的情况下可以进行变化和变形。即，本技术的精神的判断应当基于参照所附权利要求的范围。
此外，本技术的图像处理装置还可采用下列构造。
(1)一种图像处理装置，包括：
法线信息生成部，被构造为生成观测位置处的场景的法线信息；和
自定位估计部，被构造为基于由所述法线信息生成部生成的法线信息来估计观测位置。
(2)根据以上(1)所述的图像处理装置，其中：
所述法线信息生成部生成与观测位置不同的参照位置处的场景的法线信息，以及
所述自定位估计部基于由所述法线信息生成部生成的观测位置处的场景的法线信息和参照位置处的场景的法线信息来估计观测位置。
(3)根据以上(2)所述的图像处理装置，其中：
所述自定位估计部具有：
运动量检测部，被构造为检测从参照位置到观测位置的运动量，和
绝对位置估计部，被构造为基于所述运动量以及世界坐标系中的参照位置来估计世界坐标系中的观测位置。
(4)根据以上(3)所述的图像处理装置，其中：
所述法线信息生成部生成与在观测位置处成像的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处成像的关键帧对应的场景的法线信息，以及
所述自定位估计部基于由所述法线信息生成部生成的与受检帧对应的场景的法线信息和与关键帧对应的场景的法线信息来估计观测位置。
(5)根据以上(4)所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为从受检帧的图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，
旋转量检测部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的旋转量，和
移动量检测部，被构造为基于被所述旋转量检测部检测到的旋转量、被所述特征点匹配部检测到的特征点以及关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的移动量。
(6)根据以上(4)所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为从受检帧的图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，和
旋转/移动量检测部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息以及检测到的关键帧的特征点的三维位置或图像上的二维位置来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。
(7)根据以上(4)所述的图像处理装置，其中：
所述运动量检测部具有：
旋转/移动量检测部，被构造为基于受检帧的图像和法线信息以及关键帧的图像、法线信息和深度来检测受检帧的成像位置相对于关键帧的成像位置的旋转和/或移动运动量。
(8)根据以上(4)所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为基于由所述法线信息生成部生成的受检帧的法线信息从法线图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从关键帧的图像中检测到的特征点之间的匹配处理以检测关键帧和受检帧之间彼此对应的一对特征点，和
运动量检测处理部，被构造为基于被所述特征点匹配部检测到的关键帧和受检帧的特征点中的每个特征点的法线信息来检测受检帧的成像位置相对于关键帧的成像位置的运动量。
(9)根据以上(1)至(8)中任一项所述的图像处理装置，其中：
所述法线信息生成部通过使用观测位置处的场景的具有不同偏光方向的多个偏光图像来生成法线信息。
(10)根据以上(9)所述的图像处理装置，其中：
由所述法线信息生成部生成的观测位置处的场景的法线信息具有不定性，以及
所述运动量检测部解消观测位置处的场景的法线信息的不定性以通过使用不定性被解消的法线信息来检测运动量。
(11)根据以上(9)所述的图像处理装置，还包括：
偏光图像获取部，被构造为获取观测位置处的场景的具有不同偏光方向的多个偏光图像。
(12)根据以上(2)所述的图像处理装置，还包括：
数据存储部，被构造为存储至少包括参照位置处的场景的法线信息的数据，其中
所述自定位估计部通过使用存储在所述数据存储部中的参照位置处的场景的数据来估计观测位置。
(13)根据以上(1)至(12)中任一项所述的图像处理装置，还包括：
环境地图构建部，被构造为基于通过所述自定位估计部估计出的观测位置来算出观测位置处的场景的深度以将基于算出的深度以及观测位置的三维点群添加到环境地图。
(14)根据以上(13)所述的图像处理装置，其中：
所述环境地图包括所述三维点群的三维位置和法线信息。
工业实用性
在根据本技术的图像处理装置、图像处理方法及程序中，生成观测位置处的场景的法线信息，并基于所生成的法线信息来估计观测位置。因此，基于例如与在观测位置处拍摄的受检帧对应的场景的法线信息和与在与观测位置不同的参照位置处拍摄的关键帧对应的场景的法线信息，精确地检测受检帧的成像位置相对于关键帧的成像位置的运动量以估计观测位置。即，可以精确地检测观测位置。因此，本技术适用于生成环境地图的设备、例如需要同时执行自定位估计与环境地图构建的功能的机器人和无人值守操作设备等。
附图标记列表
10...图像处理装置
20...偏光图像获取部
30...法线信息生成部
40、41、42、43、44...运动量检测部
50...数据存储部
60...环境地图构建部
110...图像传感器
111...偏光滤光片
112...透镜
113...偏光板
401、441...特征点检测部
402、442...特征点匹配部
403、443...旋转量检测部
404、444...移动量检测部
405、406...旋转/移动量检测部
4031...特征点不定性解消部
4032...演算部。

Claims (16)

1.一种图像处理装置，包括：
法线信息生成部，被构造为生成观测位置处的场景的法线信息；和
自定位估计部，被构造为基于由所述法线信息生成部生成的法线信息来估计所述观测位置。
2.根据权利要求1所述的图像处理装置，其中：
所述法线信息生成部生成与所述观测位置不同的参照位置处的场景的法线信息，以及
所述自定位估计部基于由所述法线信息生成部生成的所述观测位置处的场景的法线信息和所述参照位置处的场景的法线信息来估计所述观测位置。
3.根据权利要求2所述的图像处理装置，其中：
所述自定位估计部具有：
运动量检测部，被构造为检测从所述参照位置到所述观测位置的运动量，和
绝对位置估计部，被构造为基于所述运动量以及世界坐标系中的所述参照位置来估计所述世界坐标系中的所述观测位置。
4.根据权利要求3所述的图像处理装置，其中：
所述法线信息生成部生成与在所述观测位置处成像的受检帧对应的场景的法线信息和与在与所述观测位置不同的参照位置处成像的关键帧对应的场景的法线信息，以及
所述自定位估计部基于由所述法线信息生成部生成的与所述受检帧对应的场景的法线信息和与所述关键帧对应的场景的法线信息来估计所述观测位置。
5.根据权利要求4所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为从所述受检帧的图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，
旋转量检测部，被构造为基于被所述特征点匹配部检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转量，和
移动量检测部，被构造为基于被所述旋转量检测部检测到的所述旋转量、被所述特征点匹配部检测到的所述特征点以及所述关键帧的特征点的三维位置或图像上的二维位置来检测所述受检帧的成像位置相对于所述关键帧的成像位置的移动量。
6.根据权利要求4所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为从所述受检帧的图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，和
旋转/移动量检测部，被构造为基于被所述特征点匹配部检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息以及检测到的所述关键帧的特征点的三维位置或图像上的二维位置来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转和/或移动运动量。
7.根据权利要求4所述的图像处理装置，其中：
所述运动量检测部具有：
旋转/移动量检测部，被构造为基于所述受检帧的图像和法线信息以及所述关键帧的图像、法线信息和深度来检测所述受检帧的成像位置相对于所述关键帧的成像位置的旋转和/或移动运动量。
8.根据权利要求4所述的图像处理装置，其中：
所述运动量检测部具有：
特征点检测部，被构造为基于由所述法线信息生成部生成的所述受检帧的法线信息从法线图像中检测特征点，
特征点匹配部，被构造为执行被所述特征点检测部检测到的特征点和从所述关键帧的图像中检测到的特征点之间的匹配处理以检测所述关键帧和所述受检帧之间彼此对应的一对特征点，和
运动量检测处理部，被构造为基于被所述特征点匹配部检测到的所述关键帧和所述受检帧的特征点中的每个特征点的法线信息来检测所述受检帧的成像位置相对于所述关键帧的成像位置的运动量。
9.根据权利要求1所述的图像处理装置，其中：
所述法线信息生成部通过使用所述观测位置处的场景的具有不同偏光方向的多个偏光图像来生成所述法线信息。
10.根据权利要求9所述的图像处理装置，其中：
由所述法线信息生成部生成的所述观测位置处的场景的法线信息具有不定性，以及
所述运动量检测部解消所述观测位置处的场景的法线信息的不定性以通过使用不定性被解消的法线信息来检测所述运动量。
11.根据权利要求9所述的图像处理装置，还包括：
偏光图像获取部，被构造为获取所述观测位置处的场景的具有不同偏光方向的多个偏光图像。
12.根据权利要求2所述的图像处理装置，还包括：
数据存储部，被构造为存储至少包括所述参照位置处的场景的法线信息的数据，其中
所述自定位估计部通过使用存储在所述数据存储部中的所述参照位置处的场景的所述数据来估计所述观测位置。
13.根据权利要求1所述的图像处理装置，还包括：
环境地图构建部，被构造为基于通过所述自定位估计部估计出的所述观测位置来算出所述观测位置处的场景的深度以将基于所算出的深度以及所述观测位置的三维点群添加到环境地图。
14.根据权利要求13所述的图像处理装置，其中：
所述环境地图包括所述三维点群的三维位置和法线信息。
15.一种图像处理方法，包括：
通过法线信息生成部，生成观测位置处的场景的法线信息；以及
通过自定位估计部，基于由所述法线信息生成部生成的法线信息来估计所述观测位置。
16.一种程序，其使计算机执行以下过程：
生成观测位置处的场景的法线信息的法线信息生成过程；以及
基于通过所述法线信息生成过程生成的法线信息来估计所述观测位置的自定位估计过程。
CN201680026516.0A 2015-05-14 2016-03-01 图像处理装置、图像处理方法及程序 Active CN107533763B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015099021 2015-05-14
JP2015-099021 2015-05-14
PCT/JP2016/056193 WO2016181687A1 (ja) 2015-05-14 2016-03-01 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107533763A true CN107533763A (zh) 2018-01-02
CN107533763B CN107533763B (zh) 2021-09-28

Family

ID=57248184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026516.0A Active CN107533763B (zh) 2015-05-14 2016-03-01 图像处理装置、图像处理方法及程序

Country Status (6)

Country Link
US (1) US10529076B2 (zh)
EP (1) EP3296955B1 (zh)
JP (1) JP6897563B2 (zh)
CN (1) CN107533763B (zh)
ES (1) ES2887202T3 (zh)
WO (1) WO2016181687A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN109141393A (zh) * 2018-07-02 2019-01-04 北京百度网讯科技有限公司 重定位方法、设备及存储介质
US11082669B2 (en) 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP6556013B2 (ja) * 2015-10-08 2019-08-07 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
US11232590B2 (en) * 2017-05-24 2022-01-25 Sony Corporation Information processing apparatus, information processing method, and program
US11189042B2 (en) * 2017-07-26 2021-11-30 Sony Corporation Information processing device, information processing method, and computer program
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
CN111356895A (zh) * 2017-11-24 2020-06-30 索尼公司 检测装置以及生产电子装置的方法
US11108966B2 (en) 2018-05-08 2021-08-31 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
JP6934565B2 (ja) * 2018-05-08 2021-09-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
CN109544632B (zh) * 2018-11-05 2021-08-03 浙江工业大学 一种基于层次主题模型的语义slam对象关联方法
KR20220015964A (ko) * 2020-07-31 2022-02-08 삼성전자주식회사 시각적 주행 거리 측정 애플리케이션들을 위한 손실된 이미지 특징 복원을 위한 방법 및 시스템
CN113965814B (zh) * 2021-08-30 2023-07-04 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统
GB2623119A (en) 2022-10-07 2024-04-10 Toshiba Kk A computer vision method and system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148108A (en) * 1997-01-16 2000-11-14 Kabushiki Kaisha Toshiba System for estimating motion vector with instant estimation of motion vector
WO2010113240A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報算出装置および３次元情報算出方法
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
CN104062973A (zh) * 2014-06-23 2014-09-24 西北工业大学 一种基于图像标志物识别的移动机器人slam方法
KR101460313B1 (ko) * 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
US20150125045A1 (en) * 2013-11-04 2015-05-07 Steffen Gauglitz Environment Mapping with Automatic Motion Model Selection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2009107141A (ru) 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148108A (en) * 1997-01-16 2000-11-14 Kabushiki Kaisha Toshiba System for estimating motion vector with instant estimation of motion vector
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
WO2010113240A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報算出装置および３次元情報算出方法
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
KR101460313B1 (ko) * 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
US20150125045A1 (en) * 2013-11-04 2015-05-07 Steffen Gauglitz Environment Mapping with Automatic Motion Model Selection
CN104062973A (zh) * 2014-06-23 2014-09-24 西北工业大学 一种基于图像标志物识别的移动机器人slam方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADAM HOOVER 等: "Egomotion Estimation of a Range Camera Using the Space Envelope", 《IEEE TRANSACTIONS ON SYSTEMS》 *
FERNANDO A AUAT CHEEIN 等: "SLAM algorithm applied to robotics assistance for navigation in unknown environments", 《JOURNAL OF NEUROENGINEERING AND REHABILITATION》 *
唐庆顺 等: "移动机器人车载摄像机位姿的高精度快速求解", 《山东大学学报（理学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082669B2 (en) 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN108305278B (zh) * 2018-01-30 2020-02-21 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN109141393A (zh) * 2018-07-02 2019-01-04 北京百度网讯科技有限公司 重定位方法、设备及存储介质

Also Published As

Publication number Publication date
US10529076B2 (en) 2020-01-07
EP3296955A4 (en) 2018-12-19
CN107533763B (zh) 2021-09-28
WO2016181687A1 (ja) 2016-11-17
EP3296955A1 (en) 2018-03-21
US20180122086A1 (en) 2018-05-03
JP6897563B2 (ja) 2021-06-30
EP3296955B1 (en) 2021-08-11
JPWO2016181687A1 (ja) 2018-03-01
ES2887202T3 (es) 2021-12-22

Similar Documents

Publication Publication Date Title
CN107533763A (zh) 图像处理装置、图像处理方法及程序
Shi et al. Where am i looking at? joint location and orientation estimation by cross-view matching
Ammar Abbas et al. A geometric approach to obtain a bird's eye view from an image
US10916033B2 (en) System and method for determining a camera pose
Reid et al. Goal-directed video metrology
Herrera et al. Dt-slam: Deferred triangulation for robust slam
US9117269B2 (en) Method for recognizing objects in a set of images recorded by one or more cameras
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
Antunes et al. Unsupervised vanishing point detection and camera calibration from a single manhattan image with radial distortion
CN101521740A (zh) 基于多尺度不变特征的实时运动估计方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN109658366A (zh) 基于改进ransac和动态融合的实时视频拼接方法
Yuan et al. 3D reconstruction of background and objects moving on ground plane viewed from a moving camera
CN104937608B (zh) 道路区域检测
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
Ventura et al. Structure and motion in urban environments using upright panoramas
Bajramovic et al. Global Uncertainty-based Selection of Relative Poses for Multi Camera Calibration.
Dwarakanath et al. Evaluating performance of feature extraction methods for practical 3D imaging systems
Paudel et al. Localization of 2D cameras in a known environment using direct 2D-3D registration
JPH11194027A (ja) 三次元座標計測装置
Garau et al. Unsupervised continuous camera network pose estimation through human mesh recovery
Liang et al. Affine height landscapes for monocular mobile robot obstacle avoidance
Olsson et al. A quasiconvex formulation for radial cameras
Tang et al. Self-Calibration for Metric 3D Reconstruction Using Homography.
CN114758015B (zh) 基于通用成像模型的平行光管出射光束建模和像机内参数标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant