CN109211103B - 推定系统 - Google Patents

Abstract

本发明的实施方式涉及推定系统。提供能够容易地推定基于实际距离的自身位置的推定系统。根据实施方式，推定系统具备拍摄部和推定部。拍摄部是单目的拍摄部，能够通过一次拍摄取得图像和与到所述图像所包含的被拍摄对象的实际距离相关的信息。推定部使用所述图像和与所述实际距离相关的信息，推定所述拍摄部的位置。

Description

推定系统

本申请以日本国专利申请2017-127389(申请日：6/29/2017)作为基础，享有该申请的优先权。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及推定系统。

背景技术

近些年，一直在利用推定机器人等的自身位置/姿势(位置和/或姿势)的技术。例如，机器人、汽车那样的移动体在未知环境下移动时，通过使用该自身位置/姿势推定技术，能够根据从摄像头和/或传感器得到的信息制作周围环境的地图，推定在该地图上的自身位置和/或自身姿势。另外，通过考虑该地图和/或自身位置、自身姿势，例如能够生成高效率的移动路径。

发明内容

为了决定移动体在实际的空间移动的路径，所推定的自身位置需要基于实际距离。

本发明所要解决的课题在于提供能够容易地推定基于实际距离的自身位置的推定系统。

根据实施方式，推定系统具备拍摄部和推定部。拍摄部是单目的拍摄部，能够通过一次拍摄取得图像和与到所述图像所包含的被拍摄对象的实际距离相关的信息。推定部使用所述图像和与所述实际距离相关的信息，推定自身位置。

根据上述构成的推定系统，能够容易地推定基于实际距离的自身位置。

附图说明

图1是表示实施方式的推定系统的构成的框图。

图2是表示用于该实施方式的推定系统的拍摄装置的系统构成的例子的框图。

图3是表示设置于图2的拍摄装置的滤波器(filter，过滤器)的构成的例子的图。

图4是表示设置于图2的拍摄装置的滤波器的构成的其它例子的图。

图5是表示图3的滤波器的透射率特性的例子的图。

图6是用于说明配置了图3的滤波器的彩色孔径(color aperture)的光线变化和模糊的形状的图。

图7是用于说明利用由图2的拍摄装置拍摄到的图像上的模糊来算出到被拍摄对象为止的距离的方法的例子的图。

图8是表示用于该实施方式的推定系统的信息处理装置的系统构成的例子的框图。

图9是表示图2的拍摄装置的功能构成的例子的框图。

图10是表示图8的信息处理装置的功能构成的例子的框图。

图11是表示通过该实施方式的推定系统执行的处理的次序的例子的流程图。

图12是表示通过该实施方式的推定系统执行的同步定位与地图构建(SLAM，Simultaneous Localization And Mapping)处理的次序的例子的流程图。

图13是表示从取得拍摄图像开始到进行通过该实施方式的推定系统执行的实际比例尺关键帧(actual scale key frame)搜索处理为止的次序的例子的流程图。

图14是表示通过该实施方式的推定系统执行的处理的次序的其它例子的流程图。

图15是表示具备该实施方式的推定系统的移动体的构成的框图。

图16是表示具备该实施方式的推定系统的汽车的外观的例子的立体图。

图17是表示具备该实施方式的推定系统的无人机的外观的例子的立体图。

图18是表示具备该实施方式的推定系统的机器人的外观的例子的立体图。

图19是表示具备该实施方式的推定系统的机械臂的外观的例子的立体图。

标号的说明

1…推定系统；11…拍摄部；12…处理部；13…推定部；2…拍摄装置；21…滤波器；22…透镜；23…图像传感器；24…CPU；25…RAM；26…非易失性存储器；27…存储卡插槽；28…通信设备；20…总线；3…信息处理装置；31…CPU；32…系统控制器；33…主存储器；34…非易失性存储器；35…BIOS-ROM；36…通信设备；37…EC；33A…OS；33B…SLAM程序。

具体实施方式

以下，参照附图对实施方式进行说明。

首先，参照图1，对一个实施方式的推定系统的构成进行说明。该推定系统1能够作为摄像头、具备摄像头的计算机、能够相互收发数据的摄像头和计算机、或内置于各种电子设备的组装系统而实现。推定系统1例如具备拍摄部11、处理部12和推定部13。

拍摄部11在拍摄被拍摄对象时，对被拍摄对象与拍摄部11(摄像头)之间的实际的距离即实际距离进行编码地进行拍摄。拍摄部11具备至少一个摄像头(例如，单目摄像头)，通过在摄像头的孔径部设置编码孔径，对从被拍摄对象到拍摄部11的距离进行编码地进行拍摄。即，拍摄部11是单目的，并且能够通过一次拍摄取得图像和与到包含于图像的被拍摄对象的距离相关的信息。拍摄部11生成通过拍摄得到的拍摄图像即编码信息，并向处理部12输出。

距离的编码通过变更拍摄过程，例如，通过使入射到摄像头的孔径部的光的相位、波长以及强度中的至少任一个变化而实现。因此，通过对基于变化了的光的拍摄图像实施考虑了该变化的特性的特定的处理，能够算出(推定)被编码于拍摄图像的距离。拍摄部11只要是能够同步地记录图像和与距离相关的信息的拍摄部即可，不限于编码孔径，也可以使用其他的形态的计算摄影学。

处理部12通过对编码信息进行处理，将编码信息变换为图像和与距离相关的信息。关于具体的变换方法，参照图2至图7后述。处理部12将图像和与距离相关的信息向推定部13输出。

推定部13使用编码信息基于实际距离，推定自身位置、自身姿势和地图中的至少任一个。更具体而言，推定部13例如使用图像和与距离相关的信息，基于实际距离，推定自身位置、自身姿势和地图中的至少任一个。基于实际距离的位置和/或坐标，表现为实际尺寸大的三维空间上的位置和/或坐标。推定部13例如至少推定自身位置。

自身位置例如表示拍摄部11的位置。另外，自身姿势例如也可以是相对于基准轴的姿势。此外，自身位置不限于拍摄部11的位置，也可以是任意的位置。该任意的位置和拍摄部11的位置关系也可以预先取得。作为那样的自身位置例如能够使用设置有拍摄部11或包含拍摄部11的推定系统1的移动体(例如，汽车、机器人等)的中心的位置。自身姿势例如表示设置于拍摄部11的透镜的光轴的姿势。地图例如通过与图像上的多个特征点对应的多个三维坐标来表示。地图例如是包含自身位置的区域的地图。地图例如用三维表示。推定部13使用图像和与距离相关的信息，例如，通过进行同步定位与地图构建(SLAM，Simultaneous Localization And Mapping)处理，能够推定基于实际比例尺的自身位置、自身姿势以及地图中的至少任一个。

基于实际比例尺的位置和/或坐标，表现为实际尺寸大的三维空间上的位置和/或坐标。因此，例如，在推定出自身位置和地图上的多个点的三维坐标的情况下，从推定出的自身位置到地图上的某点(三维坐标)的距离与成为拍摄的对象的实际的空间中的、从自身位置到与该地图上的点对应的被拍摄对象上的点为止的距离相当，如果进行了高精度的推定，会大致一致。

推定部13例如能够应用RGB-D SLAM，基于实际比例尺来推定自身位置、自身姿势、以及地图中的至少任一个。RGB-D SLAM是使用了RGB图像和深度图(depth map)的方法，因此，容易应用于使用了图像和与距离相关的信息的推定系统1。一般而言，需要基于数据取得时的时间戳、即基于表示通过摄像头取得了RGB图像的时间点的时间戳和表示通过距离传感器等取得了深度图的时间点的时间戳，使RGB图像和深度图同步。相对于此，在本实施方式的推定系统1中使用的图像和与距离相关的信息例如使用具备编码孔径(例如，彩色孔径)的单目摄像头而取得，因此，已经同步。因此，在推定系统1中，不需要用于数据的同步的处理，能够降低相应的计算成本和/或省略用于同步的处理装置。

或者，推定部13例如应用Monocular SLAM(单目SLAM)，基于相对比例尺从图像推定自身位置和/或自身姿势、地图。之后，推定部13还使用与距离相关的信息，基于实际比例尺对推定出的自身位置和/或自身姿势、地图进行放大或缩小(即，缩放)，由此能够推定基于实际比例尺(实际距离)的自身位置和/或自身姿势、地图。

推定部13不限于上述的RGB-D SLAM和/或Monocular SLAM，还能够应用各种SLAM的方法(例如，参照非专利文献1)来进行SLAM处理。

在基于实际比例尺的自身位置和/或自身姿势、地图的推定中，例如存在使用立体摄像头的方法、使用单目摄像头和距离传感器的方法、使用单目摄像头和与被拍摄对象相关的辞典数据的方法等。在使用立体摄像头的方法和/或使用单目摄像头和距离传感器的方法中，在移动体中需要用于设置多个摄像头和/或传感器的空间，另外，在摄像头与传感器间必须使数据同步。另外，在使用单目摄像头和与物体相关的辞典数据的方法中，需要预先准备与物体的三维形状相关的辞典数据，另外，如果辞典数据所示的物体未被拍摄到，则无法进行基于实际比例尺的推定。本实施方式的推定系统1使用单目摄像头通过一次拍摄就能够取得图像和距离信息，因此，无须使图像和距离信息同步，并且无须预先准备物体的辞典数据，就能够容易地推定自身位置/姿势和/或地图。

此外，推定系统1的拍摄部11、处理部12以及推定部13既可以设置在一个装置内，又可以分开设置于多个装置。以下，例示了推定系统1具备：具有拍摄部11和处理部12的拍摄装置、以及能够在与该拍摄装置之间相互收发数据的信息处理装置的情况。此外，处理部12也可以不组装于拍摄装置，而组装于信息处理装置。

图2示出具备拍摄部11以及处理部12的拍摄装置2的系统构成的例子。拍摄部11例如具备滤波器21、透镜22以及图像传感器23。处理部12例如由CPU24构成。拍摄装置2还具备存储部。存储部例如由RAM25、非易失性存储器26、存储卡插槽27构成。拍摄装置2还可以具备通信设备28。CPU24例如通过执行从非易失性存储器26加载到RAM25的特定程序而作为处理部12发挥功能。图像传感器23、CPU24、RAM25、非易失性存储器26、存储卡插槽27、以及通信设备28例如能够经由总线20相互连接。

图像传感器23接收透射滤波器21和透镜22后的光，将所接收到的光变换(光电变换)为电信号。图像传感器23例如使用CCD(Charge Coupled Device；电荷耦合器件)和/或CMOS(Complementary Metal Oxide Semiconductor；互补金属氧化物半导体)。图像传感器23例如具备：接收红色(R)的光的拍摄元件、接收绿色(G)的光的拍摄元件、接收蓝色(B)的光的拍摄元件。各拍摄元件接收对应的波长频带的光，并将所接收到的光变换为电信号。通过对该电信号进行A/D变换而能够生成彩色图像。以下，也将图像的R成分、G成分、B成分分别称为R图像、G图像、B图像。此外，也能够使用红色、绿色、蓝色的拍摄元件各自的电信号，分别生成R图像、G图像、B图像。

CPU24是控制拍摄装置2内的各种组件的工作的处理器。CPU24执行从作为存储设备的非易失性存储器26加载到RAM25的各种程序。非易失性存储器26中也能够保存基于由图像传感器23输出的电信号的拍摄图像和/或该图像的处理结果。

存储卡插槽27中能够插入如SD存储卡和/或SDHC存储卡之类的各种可移动存储介质。在存储卡插槽27中插入了存储介质的情况下，能够执行针对该存储介质的数据的写入以及读出。数据例如是图像数据和/或与距离相关的数据。

通信设备28是构成为执行有线通信或无线通信的接口设备。通信设备28包括：对信号进行有线或无线发送的发送部和对信号进行有线或无线接收的接收部。

接着，图3表示滤波器21的构成的例子。滤波器21具有透射相互不同的光的波长频带(色成分)的多个滤波器区域，2个以上的滤波器区域相对于拍摄装置2的光学中心213为非点对称的形状。滤波器21例如由作为两色的滤色器区域的第1滤波器区域211和第2滤波器区域212构成。滤波器21的中心与拍摄装置2(透镜22)的光学中心213一致。第1滤波器区域211以及第2滤波器区域212分别具有相对于光学中心213为非点对称的形状。另外，例如，两个滤波器区域211、212不重叠，并且由两个滤波器区域211、212构成滤波器21的全部区域。在图3所示的例子中，第1滤波器区域211以及第2滤波器区域212分别具有用通过光学中心213的线段分割圆形的滤波器21所得的半圆的形状。第1滤波器区域211例如是黄(Y)的滤波器区域，第2滤波器区域212例如是青(C)的滤波器区域。此外，也可以是，第1滤波器区域211是品红(M)的滤波器区域，第2滤波器区域212是黄(Y)的滤波器区域。此外，还可以是，第1滤波器区域211是青(C)的滤波器区域，第2滤波器区域212是品红(M)的滤波器区域。

各滤色器透射的波长范围不同。一个滤波器区域透射的光的波长频带的一部分与另一个滤色器区域透射的光的波长频带的一部分例如重叠。一个滤色器区域透射的光的波长频带也可以包含例如另一个滤色器区域透射的光的波长频带。

此外，第1滤波器区域211和第2滤波器区域212也可以是变更任意的波长频带的透射率的滤波器、使任意方向的偏振光通过的偏振滤波器、或变更任意波长频带的聚光能力的微透镜。例如，变更任意波长频带的透射率的滤波器也可以是基色滤波器(RGB)、补色滤波器(CMY)、色修正滤波器(CC-RGB/CMY)、红外线/紫外线截止滤波器、ND滤波器、或遮挡板。在第1滤波器区域211和/或第2滤波器区域212是微透镜的情况下，通过透镜22使得光线的聚光的分布产生偏差，由此，模糊的形状会变化。

另外，图4示出具有三个以上的滤色器区域的滤波器21A、21B、21C的例子。各滤波器21A、21B、21C能够用于滤波器21的替代。如上所述，各滤波器区域具有相对于拍摄装置2的光学中心213为非点对称的形状。

图4(A)所示的滤波器21A具有三个滤波器区域231、232、233。第1滤波器区域231具有相对于通过光学中心213的线段对称的瞳孔形状，第2滤波器区域232以及第3滤波器区域233是分别与瞳孔形状的第1滤波器区域231左右相邻的月牙状的区域。各滤波器区域231、232、233不重叠，并且由三个滤波器区域231、232、233构成滤波器21A的全部区域。第1滤波器区域231例如是透明的滤波器区域，第2滤波器区域232例如是黄(Y)的滤波器区域，第3滤波器区域233例如是青(C)的滤波器区域。此外，也可以是，第2滤波器区域232是品红(M)的滤波器区域，第3滤波器区域233是黄(Y)的滤波器区域。另外，也可以是，第2滤波器区域232是青(C)的滤波器区域，第3滤波器区域233是品红(M)的滤波器区域。在该滤波器21A中，在包含中心的区域的第1滤波器区域231可透射所有的光线，因此，能够得到基于以高透射率(例如，90％)透射后的光线的图像。

图4(B)所示的滤波器21B具有三个滤波器区域241、242、243。第1滤波器区域241以及第2滤波器区域242呈具有圆形的滤波器21B的直径的一半的直径的圆形，各滤波器区域241、242配置成相对于通过透镜22的光学中心213的线段对称。除了这些第1滤波器区域241以及第2滤波器区域242的滤波器21B上的剩余的区域是第3滤波器区域243。第1滤波器区域241例如是青(C)的滤波器区域，第2滤波器区域242例如是黄(Y)的滤波器区域，第3滤波器区域243例如是绿(G)的滤波器区域。在使用该滤波器21B得到的R图像以及B图像中，能够均等地控制模糊函数。此外，也可以是，第1滤波器区域241是品红(M)的滤波器区域，第2滤波器区域242是黄(Y)的滤波器区域，第3滤波器区域243是红(R)的滤波器区域。另外，也可以是，第1滤波器区域241是青(C)的滤波器区域，第2滤波器区域242是品红(M)的滤波器区域，第3滤波器区域243是蓝(B)的滤波器区域。

图4(C)所示的滤波器21C具有四个滤波器区域251、252、253、254。第1滤波器区域251、第2滤波器区域252、以及第3滤波器区域253具有正方形的形状，除了这些滤波器区域251、252、253的剩余的部分是第4滤波器区域254。第1滤波器区域251例如是红(R)的滤波器区域。第2滤波器区域252例如是绿(G)的滤波器区域。第3滤波器区域253例如是蓝(B)的滤波器区域。另外，第4滤波器区域254例如是黑(遮挡)的滤波器区域。

以下，为了使说明容易理解，主要例示了在图3所示的滤波器21中第1滤波器区域211是黄(Y)的滤波器区域、第2滤波器区域212是青(C)的滤波器区域的情况。

通过在摄像头的孔径部配置这样的滤波器21，构成孔径部以双色分割为两部分所得的构造孔径即彩色孔径。基于透射该彩色孔径的光线，使用图像传感器23生成图像。也可以在向图像传感器23入射的光的光路上在透镜22与图像传感器23之间配置滤波器21。另外，在设置多个透镜22的情况下，滤波器21也可以配置在2个透镜22之间。

与图像传感器23的接收绿(G)的光的拍摄元件对应的波长频带的光透射黄的第1滤波器区域211和青的第2滤波器区域212这双方。与图像传感器23的接收红(R)的光的拍摄元件对应的波长频带的光透射黄的第1滤波器区域211，不透射青的第2滤波器区域212。与图像传感器23的接收蓝(B)的光的拍摄元件对应的波长频带的光透射青的第2滤波器区域212，不透射黄的第1滤波器区域211。

此外，某波长频带的光透射滤波器或滤波器区域是指滤波器或滤波器区域以高的透射率透射该波长频带的光，由该滤波器或滤波器区域导致的该波长频带的光的衰减(即，光量的降低)极小。另外，某波长频带的光不透射滤波器或滤波器区域是指光被滤波器或滤波器区域遮挡，例如，滤波器或滤波器区域以低的透射率透射该波长频带的光，因该滤波器或滤波器区域导致的该波长频带的光的衰减极大。滤波器或滤波器区域例如通过吸收某波长频带的光而使光衰减。

图5示出第1滤波器区域211以及第2滤波器区域212的透射率特性的例子。此外，虽然省略了针对可见光的波长频带中比700nm长的波长的光的透射率的图示，但是，其透射率是与700nm的情况近似的透射率。在图5所示的黄的第1滤波器区域211的透射率特性215中，与波长频带为620nm至750nm左右的R图像对应的光和与波长频带为495nm至570nm左右的G图像对应的光以高的透射率透射，与波长频带为450nm至495nm左右的B图像对应的光几乎不透射。另外，在青的第2滤波器区域212的透射率特性216中，与B图像以及G图像对应的波长频带的光以高的透射率透射，与R图像对应的波长频带的光几乎不透射。

因此，与R图像对应的波长频带的光仅透射黄的第1滤波器区域211，与B图像对应的波长频带的光仅透射青的第2滤波器区域212。与G图像对应的波长频带的光透射第1滤波器区域211和第2滤波器区域212。

这样的R图像、B图像以及图像上的模糊的形状根据到被拍摄对象的距离d而变化。另外，由于各滤波器区域211、212相对于光学中心213为非点对称的形状，因此，R图像以及B图像上的模糊的偏差的方向，根据从拍摄点观察被拍摄对象是位于比合焦位置靠跟前还是位于比其靠进深而分别反向。该合焦位置是距离拍摄点为合焦距离df的点，是在图像上不发生模糊的对准焦点的位置。

参照图6，对配置了滤波器21的彩色孔径所引起的光线变化和模糊的形状进行说明。

首先，在被拍摄对象5位于比合焦距离df(合焦位置)靠进深的情况下(d>df)，由图像传感器23拍摄到的图像发生模糊。表示该图像上的模糊的形状的模糊函数在R图像、G图像以及B图像中分别不同。即，R图像的模糊函数201R示出偏向左侧的模糊的形状，G图像的模糊函数201G示出无偏差的模糊的形状，B图像的模糊函数201B示出偏向右侧的模糊的形状。

接着，在被拍摄对象5位于合焦距离df的情况下(d＝df)，由图像传感器23拍摄到的图像中几乎不产生模糊。表示该图像上的模糊的形状的模糊函数在R图像、G图像以及B图像中几乎相同。即，R图像的模糊函数202R、G图像的模糊函数202G、以及B图像的模糊函数202B示出无偏差的模糊的形状。

进而，在被拍摄对象5与合焦距离df相比位于跟前的情况下(d<df)，由图像传感器23拍摄到的图像中产生模糊。表示该图像上的模糊的形状的模糊函数在R图像、G图像以及B图像中分别不同。即，R图像的模糊函数203R示出偏向右侧的模糊的形状，G图像的模糊函数203G示出无偏差的模糊的形状，B图像的模糊函数203B示出偏向左侧的模糊的形状。

这样，在被拍摄对象5位于比合焦距离df靠跟前或进深的情况下，基于透射黄的第1滤波器区域211后的光线的R图像的模糊函数201R、203R是非对称的，另外，基于透射青的第2滤波器区域212后的光线的B图像的模糊函数201B、203B也是非对称的。并且，该R图像的模糊函数201R、203R与B图像的模糊函数201B、203B不同。

图7示出利用这样的图像上的模糊算出(推定)到被拍摄对象5的距离的方法。在图7所示的例子中，滤波器21由黄的第1滤波器区域211和青的第2滤波器区域212构成。因此，与R图像对应的波长频带的光通过与第1滤波器区域211对应的部分51R，与G图像对应的波长频带的光通过与第1滤波器区域211以及第2滤波器区域212对应的部分51G，与B图像对应的波长频带的光通过与第2滤波器区域212对应的部分51B。

在使用这样的滤波器21拍摄到的图像上产生了模糊的情况下，R图像、G图像以及B图像上的模糊会成为分别不同的形状。如图7所示，G图像的模糊函数52G示出左右对称的模糊的形状。另外，R图像的模糊函数52R以及B图像的模糊函数52B示出非点对称的模糊的形状，模糊的偏差分别不同。

对R图像的模糊函数52R以及B图像的模糊函数52B适用用于将R图像以及B图像上的非点对称的模糊修正为左右对称的模糊的模糊修正滤波器53、54，判定适用模糊修正滤波器53、54后的模糊函数是否与G图像的模糊函数52G一致。准备多个模糊修正滤波器53、54，多个模糊修正滤波器53、54与同被拍摄对象之间的多个距离对应。在适用某模糊修正滤波器53、54后的模糊函数与G图像的模糊函数52G一致的情况下，与该模糊修正滤波器53、54对应的距离被决定为到所拍摄到的被拍摄对象5的距离。

对于该模糊函数是否一致的判定，例如使用适用模糊修正滤波器后的R图像或B图像、与G图像的相关。因此，例如，通过从多个模糊修正滤波器搜索适用了模糊修正滤波器的模糊函数与G图像的模糊函数的相关变为较高的模糊修正滤波器，推定到映现于图像上的各像素的被拍摄对象的距离。

表示适用了模糊修正滤波器的R图像或B图像、与G图像的相关的相关值，例如能够使用NCC(Normalized Cross-Correlation，归一化互相关)、ZNCC(Zero-mean NormalizedCross-Correlation，零均值归一化互相关)、颜色校准测量(Color Alignment Measure)等。

另外，适用了某模糊修正滤波器53、54的模糊函数55R、55B是否与G图像的模糊函数52G一致的判定，也可以使用适用了模糊修正滤波器的R图像或B图像与G图像的差异度。通过求出该差异度变为较低的距离，能够算出到被拍摄对象的距离。关于差异度，能够使用例如SSD(Sum of Squared Difference，平方差之和)、SAD(Sum of Absolute Difference，绝对差之和)等。

此外，在此，示出了算出距离自身的例子，但是也可以设为算出与距离相关的指标和/或与图像(像素)的模糊相关的指标。也可以对算出的距离和/或指标，基于上述的相关值和/或差异度附加表示该距离和/或指标的有效性的可靠度。例如，在相关值高的情况下或差异度低的情况下，对算出的距离和/或指标附加高的可靠度。另一方面，例如，在相关值低的情况下或差异度高的情况下，对算出的距离和/或指标附加低的可靠度。可靠度既可以按各像素附加，也可以对图像附加。另外，关于可靠度，也可以定义多个跨几个像素的可靠度。在对图像附加可靠度的情况下，例如也可以针对降采样(down sample)所得的图像设定1个可靠度。另外，也可以基于对图像内的多个代表像素赋予的可靠度，设定针对图像的可靠度。代表值例如是多个代表像素的可靠度的平均值。例如，也可以使用所有对于图像上的各像素算出(决定)了距离时的相关值(或差异度)，基于这些相关值的最大值或最小值决定可靠度。

接着，图8示出信息处理装置3的系统构成。信息处理装置3具有使用由拍摄装置2(处理部12)输出的图像和与距离相关的信息来推定拍摄装置2(拍摄部11)的位置、姿势以及地图的推定部13的功能。

信息处理装置3例如具备CPU31、系统控制器32、主存储器33、非易失性存储器34、BIOS-ROM35、通信设备36、嵌入式控制器(EC)37等。

CPU31是控制信息处理装置3内的各种组件的工作的处理器。CPU31执行从作为存储设备的非易失性存储器34加载到主存储器33的各种程序。这些程序中包含操作系统(OS)33A以及各种应用程序。应用程序中包含SLAM程序33B。该SLAM程序33B包含用于推定拍摄部11的位置、姿势以及地图的命令群。

另外，CPU31也执行BIOS-ROM35中保存的基本输入输出系统(BIOS)。BIOS是用于硬件控制的程序。

系统控制器32是连接CPU31的局部总线(本地总线，local bus)与各种组件之间的设备。系统控制器32中也内置有对主存储器33进行访问控制的存储器控制器。

通信设备36是构成为执行有线通信或无线通信的设备。通信设备36包括发送信号的发送部和接收信号的接收部。EC37是包括用于电力管理的嵌入式控制器的单片微型计算机。EC37具有根据用户对电源按钮的操作来执行本信息处理装置3的电源接通或电源切断的功能。

接着，参照图9和图10，对拍摄装置2和信息处理装置3的功能构成进行说明。以下所记载的构成是一例，设置于拍摄装置2的构成的一部分也可以设置于信息处理装置3，或者设置于信息处理装置3的构成的一部分也可以设置于拍摄装置2。

首先，图9表示拍摄装置2的功能构成的例子。如上所述，拍摄装置2具备滤波器21、透镜22以及图像传感器23。从滤波器21到图像传感器23的箭头表示光的路径。滤波器21包括第1滤波器区域211和第2滤波器区域212。在此例示第1滤波器区域211是黄的滤波器区域、第2滤波器区域212是青的滤波器区域的情况。图像传感器23包括第1传感器231、第2传感器232以及第3传感器233。第1传感器231例如包括接收红色(R)的光的拍摄元件。第2传感器232例如包括接收绿色(G)的光的拍摄元件。第3传感器233例如包括接收蓝色(B)的光的拍摄元件。图像传感器23通过对所接收到的光进行光电变换而生成电信号。

拍摄装置2还具备生成部29以及处理部12。从图像传感器23到生成部29的箭头表示电信号的路径。从生成部29向处理部12的箭头表示数据的路径。该包含生成部29以及处理部12的拍摄装置2内的各功能构成可以作为硬件(电路)、通过CPU24执行的软件(程序)、以及软件和硬件的组合中的任一个来实现。

生成部29使用通过图像传感器23生成的电信号，生成(输出)拍摄图像。生成的拍摄图像既可以是包含R成分、G成分以及B成分的图像，也可以是R图像、G图像以及B图像这三个图像。拍摄图像是通过滤波器21对距离信息进行编码后的编码信息。更具体地，在拍摄图像中，通过对距离信息进行编码，在到被拍摄对象的距离为合焦距离的像素中，不产生模糊，在到被拍摄对象的距离不是合焦距离的像素中产生模糊。在生成包含R成分、G成分以及B成分的图像的情况下，例如，在第1色成分的图像中产生的模糊用非点对称的模糊函数表示，在第2色成分的图像中产生的模糊用点对称的模糊函数表示。该第1色成分例如是R成分或B成分，第2色成分例如是G成分。

处理部12通过对拍摄图像进行处理生成与距离相关的信息。处理部12具有参照图6以及图7叙述的那样的、基于拍摄图像上的模糊按各像素算出与到被拍摄于该像素的物体(被拍摄对象)的距离相关的信息的功能。该与距离相关的信息既可以是距离自身，又可以是与距离相关的指标和/或与模糊相关的指标。与距离相关的指标以及与模糊相关的指标能够通过使用与各自相关联的特定的查找表(LUT)而换算为距离。

另外，处理部12也可以在算出的距离和/或指标中附加表示该距离和/或指标的有效性的可靠度。在该情况下，与距离相关的信息中包含所算出的距离和/或指标、和表示该距离和/或指标的有效性的可靠度。

处理部12经由通信设备28向信息处理装置3发送(输出)图像和与距离相关的信息。在处理部12包括于信息处理装置3的情况下，也可以替代拍摄图像和与距离相关的信息，而将拍摄图像向信息处理装置3发送。在该情况下，生成部29经由通信设备28向信息处理装置3发送拍摄图像。

此外，生成部29能够生成通过连续的拍摄得到的多个拍摄图像。多个图像是通过单一的光学系统取得的多个图像。各图像包含：包括非对称的模糊函数的第1色成分图像(例如，红或蓝的成分图像)。各图像还可以包含：包括对称的模糊函数的第2色成分图像(例如绿的成分图像)。拍摄图像依次向处理部12输出。以下，也将各拍摄图像称为帧。

图10示出通过信息处理装置3执行的SLAM程序33B的功能构成。SLAM程序33B例如具备推定部13。即，CPU31通过执行SLAM程序33B所包含的命令群来实现推定部13的功能。向SLAM程序33B输入例如使用拍摄装置2的拍摄部11以及处理部12得到的图像和与距离相关的信息。图10的推定部13例如推定自身位置、自身姿势以及地图。

推定部13从处理部12接收图像和与距离相关的信息。推定部13使用图像和与距离相关的信息，推定拍摄装置2(拍摄部11)的位置、姿势、以及拍摄装置2周边的地图。与距离相关的信息中能够包含可靠度。推定部13例如包括特征点提取部131、关键帧判定部132、距离取得部133、特征点跟踪部134、对应点判定部135、位置/姿势推定部136、地图推定部137、以及工作存储器65。推定部13还可以包括最佳化部138。

特征点提取部131从图像提取特征点群。特征点提取部131使用图像上的局部的特征量，检测图像上的边缘和/或角(corner)那样的特征点。特征点能够从一幅图像检测多个。另外，用于特征点的提取的特征量，例如能够使用ORB、BRIEF、FAST、AKAZE、SIFT等。此外，也可以是，特征点提取部131还考虑与图像上的各像素对应的距离(与距离相关的信息)，例如，将相邻的像素间的距离的变化量大的像素作为特征点来提取。

距离取得部133从与距离相关的信息取得与所提取到的各特征点对应的距离，由此，将特征点与距离相关联。例如，在与距离相关的信息是距离图像的情况下，距离取得部133按各特征点取得与作为特征点的像素对应的距离，将特征点和所取得的距离相关联。另外，在与距离相关的信息是与模糊相关的指标的情况下，距离取得部133按各特征点取得与对应于作为特征点的像素的模糊相关的指标，将特征点和所取得的与模糊相关的指标相关联。

此外，距离取得部133也可以考虑与距离相关的信息的可靠度，提取特征点群。距离取得部133例如既可以将可靠度小于阈值的特征点从特征点群除外，又可以将与距离相关的信息不与该特征点相关联。这是因为：将可靠度低的与距离相关的信息与特征点相关联，会导致自身位置、姿势以及地图的推定精度的恶化。另外，通过选择并利用与可靠度高的距离(与距离相关的信息)相关联的特征点，能够提高自身位置、姿势以及地图的推定精度。此外，阈值能够动态地变化。

关键帧判定部132基于特定的条件来判定帧是否适合用于自身位置等的推定的关键帧。关键帧判定部132，在判断为帧适合关键帧的情况下，将与帧相关的信息保存于例如工作存储器65等。工作存储器65中保存与至少2个关键帧(第1关键帧651、第2关键帧652)相关的信息。更具体而言，关键帧判定部132，例如在由特征点提取部131从修正图像提取出的特征点的数量为第1阈值以上、并且这些特征点内的由距离取得部133而相关联了与距离相关的信息的特征点的数量为第2阈值以上的情况下，将与帧相关的信息保存于工作存储器65。与帧相关的信息包含关键帧(拍摄图像)。保存的信息中还包含例如相关联的特征点和与距离相关的信息。废弃不适合关键帧的帧的信息，从后续的帧的信息中进一步搜索关键帧。

此外，距离取得部133，在通过关键帧判定部132判定为从修正图像提取的特征点的数量为第1阈值以上的情况下，也可以进行将特征点和与距离相关的信息相关联的处理。之后，关键帧判定部132判定相关联了与距离相关的信息的特征点的数量是否为第2阈值以上。

关于特征点跟踪部134，在工作存储器65中保存了与两个关键帧651、652相关的信息的情况下，特征点跟踪部134进行第1关键帧651的特征点与第2关键帧652的特征点的相关联。特征点跟踪部134检测与第1关键帧651的某特征点对应的第2关键帧652的特征点。更具体而言，推定部13算出第1关键帧651的某特征点的特征量与第2关键帧652的某特征点的特征量的近似度(或差异度)，例如，在近似度为阈值以上的情况下，判断为这些特征点相对应。另外，例如，在与第1关键帧651的某特征点的近似度为阈值以上的特征点在第2关键帧652中不存在的情况下，判断为与第1关键帧651的该特征点对应的特征点不存在。在进行这样的特征点间的相关联时，也可以考虑与各特征点相关联的与距离相关的信息。以下，也将相关联的两个特征点称为对应点。

对应点判定部135基于特定的条件判定所取得的对应点是否适合自身位置、姿势以及地图的推定。对应点判定部135，例如在对应点的数量为第3阈值以上、并且对应点间的移位为第4阈值以上的情况下，判定为所取得的对应点适合推定。此外，对应点判定部135，例如在对应点的数量小于第3阈值的情况下、或对应点间的移位小于第4阈值的情况下，判定为所取得的对应点不适合推定，使特征点提取部131、距离取得部133以及关键帧判定部132搜索新的关键帧。通过新的关键帧的搜索，既可以更换保存于工作存储器65的关键帧651、652中的一方的帧，也可以更换这些关键帧651、652双方。

位置/姿势推定部136使用判定为适合推定的对应点，推定自身位置以及姿势(例如，拍摄部11的位置以及姿势)。自身位置例如由任意的局部坐标系中的三维坐标表示。自身位置也可以通过世界坐标系的三维坐标和/或纬度经度来表示。自身姿势例如可以通过偏航角、翻滚角、俯仰角表示，也可以通过四元数表示。

更具体而言，位置/姿势推定部136例如在第1关键帧651与第2关键帧652之间使用对应点，例如进行两视图运动恢复结构(Two-view Structure from Motion，Two-viewSfM)，由此推定拍摄部11的移动。更具体而言，位置/姿势推定部136推定拍摄部11从拍摄到与第1关键帧651对应的拍摄图像的时间点的第1位置以及姿势向拍摄到与第2关键帧652对应的拍摄图像的时间点的第2位置以及姿势的移动(摄像头运动)，基于所推定出的移动，相对地推定第1位置以及姿势和第2位置以及各位置处的姿势。第1位置以及第1位置处的姿势和第2位置以及第2位置处的姿势例如以实际比例尺被推定。在推定时，使用处理部12关于第1关键帧651算出的距离和关于第2关键帧652算出的距离。具体而言，根据第1关键帧651算出的到被拍摄对象的距离和根据第2关键帧652算出的到被拍摄对象的距离中的单方或双方被用于推定。根据拍摄到第1关键帧651时的自身位置与被拍摄对象的相对关系和拍摄到第2关键帧651时的自身位置与被拍摄对象的相对关系来推定拍摄部11的移动或被拍摄对象的移动，由此推定自身位置、自身姿势以及地图。

位置/姿势推定部136至少输出与第1位置和第2位置相关的信息。位置/姿势推定部136例如还可以输出与第1位置处的姿势和第2位置处的姿势相关的信息。位置/姿势推定部136例如也可以输出与第1位置和第2位置以及各位置处的姿势相关的信息。

地图推定部137使用判定为适合推定的对应点，来推定地图。地图推定部137推定上述的局部坐标系中的各对应点(特征点)的三维坐标。地图推定部137基于实际距离推定包含拍摄部11的位置的区域的第1地图。地图推定部137例如根据推定出的拍摄部11的第1位置以及姿势和第2位置以及姿势，基于三角测量的原理，以实际比例尺算出各对应点的三维坐标。地图推定部137能够基于所推定出的对应点群的三维坐标，制作由物体(被拍摄对象)上的特征点群构成的立体的地图。地图推定部137例如也可以输出与推定出的地图相关的信息。

另外，最佳化部138也可以进行用于使所推定出的对应点群的三维坐标和自身位置以及姿势最佳化的处理。在该处理中例如使用光束法平差(Bundle adjustment)。在光束法平差中，按各特征点算出特征点的图像上的坐标与将特征点的推定出的三维坐标再投影到图像上所得到的投影坐标的误差(再投影误差)，通过使该再投影误差的总和最小化，来使得各特征点的三维坐标和自身位置以及姿势最佳化。也可以不在每次算出三维图像时进行最佳化。例如，也可以通过使基于3个以上的图像(关键帧)关于1个特征点得到的多个三维坐标与特征点的图像上的坐标的误差最小化来进行最佳化。此外，也可以与进行算出当前的三维坐标的处理的线程不同地，以多线程进行使用了在过去算出的三维图像的最佳化处理。最佳化部138例如输出最佳化后的自身位置。最佳化部138还可以输出姿势和地图中的至少任一个。

此外，拍摄部11的位置、姿势以及地图也可以基于相对比例尺来推定，对应点(特征点)的三维坐标也可以基于相对比例尺来推定。在该情况下，位置/姿势推定部136以及地图推定部137还使用与距离相关的信息，基于实际比例尺对以相对比例尺推定出的拍摄部的位置和/或对应点的三维坐标进行推定(变换)。

如上所述，在推定系统1中，通过使用对从拍摄部11到物体的距离信息进行编码所得的拍摄图像，能够基于实际比例尺容易地推定拍摄部11的位置、姿势以及被拍摄图像捕捉到的场景的地图。此外，也可以是，在推定系统1中构成为信息处理装置3被设置在拍摄装置2的远程处，经由网络相互对数据进行通信。例如，可以是：拍摄装置2被设置于机器人和/或汽车那样的移动体，信息处理装置3作为能够经由网络与拍摄装置2进行通信的服务器计算机来实现。

另外，在上述的例子中，记载了使用图像和与距离相关的信息来进行推定部13中的处理(SLAM)的情况，但是，也可以仅使用与距离相关的信息而不使用图像来进行SLAM。例如，在与距离相关的信息是距离图像的情况下，特征点提取部131基于各像素的距离信息从距离图像提取基于边缘等的特征点群。各特征点是从距离图像中提取的，因此具有距离信息。关键帧判定部132、特征点跟踪部134、对应点判定部135、位置/姿势推定部136、地图推定部137、以及最佳化部138，与上述的方法同样地使用所提取到的特征点群和各特征点具有的距离信息，来推定自身位置、姿势以及地图。此外，在该情况下，特征点的特征量例如使用基于距离的特征量。

例如，在通过LiDAR(Light Detection And Ranging，Laser Imaging DetectionAnd Ranging)等得到的距离信息中，存在难以进行基于边缘等的特征点提取的情况。在无法提取特征点的情况下，无法通过SLAM进行自身位置和/或地图的推定，另外，在所提取的特征点少的情况下，通过SLAM推定的自身位置和/或地图的精度会变得极差。

相对于此，在使用编码孔径得到的距离信息中，能够有效地提取基于边缘等的特征点，因此，基于SLAM的自身位置和/或地图的推定容易成功，另外，能够提高通过SLAM推定的自身位置和/或地图的精度。

接着，参照图11的流程图，对通过推定系统1执行的处理的次序进行说明。在该处理中，利用与拍摄部11和被拍摄对象之间的距离相关的信息，基于实际比例尺推定自身位置、自身姿势以及地图。

首先，拍摄部11通过拍摄取得与图像和距离相关的拍摄信息(步骤S101)。取得的拍摄信息例如包含对距离信息进行编码所得的拍摄图像。此外，在该拍摄信息中也可以包含图像和与距离相关的信息。拍摄部11将所取得的拍摄信息向处理部12发送(步骤S102)。拍摄信息例如是拍摄图像。

处理部12输出根据拍摄信息得到的变换信息(步骤S103)。变换信息是与距离相关的信息。并且，处理部12将所输出的变换信息向推定部13发送(步骤S104)。处理部12也可以还向推定部13发送拍摄图像。也可以在与距离相关的信息中附加可靠度。

接着，推定部13基于变换信息，基于实际比例尺推定自身位置、自身姿势和地图中的至少任一个(步骤S105)。

这样的处理可以作为SLAM处理(例如，RGB-D SLAM)来实现。图12的流程图示出通过推定系统1执行的SLAM处理的次序的例子。

首先，推定部13进行用于搜索实际比例尺的关键帧的关键帧搜索处理(步骤S201)。拍摄部11以及处理部12依次取得以帧为单位的数据。更具体而言，作为以帧为单位的数据，拍摄部11取得对距离信息进行编码所得的拍摄图像(编码信息)，处理部12从拍摄图像取得与距离相关的信息。推定部13从拍摄图像中搜索关键帧。关于关键帧搜索处理的详细的次序，参照图13的流程图后述。

推定部13将帧(拍摄图像)、图像特征点、与同各图像特征点相关联的距离相关的信息作为与第1关键帧651相关的信息，例如保持于工作存储器65(步骤S202)。即，在与第1关键帧651相关的信息中包含有特征点和与距离相关的信息的多个组。

接着，推定部13与步骤S201同样地，例如从后续的帧进行用于搜索实际比例尺的关键帧的关键帧搜索处理(步骤S203)。推定部13将搜索到的帧、图像特征点、与同各图像特征点相关联的距离相关的信息作为与第2关键帧652相关的信息，例如保持于工作存储器65(步骤S204)。即，在与第2关键帧652相关的信息中包含特征点和与距离相关的信息的多个组。

并且，推定部13，在第1关键帧651与第2关键帧652之间进行特征点的相关联(特征点跟踪)(步骤S205)。推定部13检测与第1关键帧651的某特征点对应的、第2关键帧652的特征点。此外，相关联的两个特征点也被称为对应点。

推定部13判定在步骤S205中相关联了的对应点的数量是否为第3阈值以上(步骤S206)。在对应点的数量小于第3阈值的情况下(步骤S206的“否”)，返回步骤S203，搜索新的第2关键帧。此外，也可以设为返回步骤S201，搜索新的第1关键帧和第2关键帧。

在对应点的数量为第3阈值以上的情况下(步骤S206的“是”)，推定部13判定对应点群间的移位是否为第4阈值以上(步骤S207)。推定部13，例如按各对应点算出作为对应点的两个特征点间的移位，判定所算出的移位的总和是否为第4阈值以上。在对应点群间的移位小于第4阈值的情况下(步骤S207的“否”)，返回步骤S203，搜索新的第2关键帧。此外，也可以设为返回步骤S201，搜索新的第1关键帧和第2关键帧。

在对应点群间的移位为第4阈值以上的情况下(步骤S207的“是”)，推定部13基于实际比例尺推定拍摄部11的位置以及姿势(步骤S208)。并且，推定部13基于实际比例尺推定各特征点(各对应点)的三维坐标(步骤S209)。

另外，推定部13也可以进行用于使所推定出的各特征点的三维坐标和拍摄部11的位置以及姿势最佳化的处理(步骤S210)。

也可以省略步骤S208和步骤S209中的任一个。另外，在执行步骤S208的情况下，至少推定自身位置和自身姿势中的任一个即可。

接着，图13的流程图示出从取得拍摄图像到进行关键帧搜索处理的次序的例子。该关键帧搜索处理是作为上述的SLAM处理的一部分(例如，步骤S201以及步骤S203的次序)进行的处理。

首先，拍摄部11取得编码信息(例如，对距离信息进行编码所得的拍摄图像)(步骤S301)。并且，拍摄部11将所取得的编码信息向处理部12发送(步骤S302)。

处理部12将编码信息变换为与距离相关的信息(步骤S303)，将拍摄图像和与距离相关的信息向推定部13发送(步骤S304)。

推定部13从图像提取图像特征点群(步骤S305)。并且，推定部13判定从修正图像提取出的特征点群所包含的特征点的数量是否为第1阈值以上(步骤S306)。该第1阈值也可以动态地变更。在特征点的数量小于第1阈值的情况下(步骤S306的“否”)，在步骤S301中取得的编码信息不适合自身位置、姿势以及地图的推定，因此，返回步骤S301，利用拍摄部11取得新的编码信息。

在特征点的数量为第1阈值以上的情况下(步骤S306的“是”)，推定部13将所提取的各特征点和与距离相关的信息相关联(步骤S307)。并且，推定部13判定从图像提取出的特征点群内的、同与距离相关的信息相关联了的特征点的数量是否为第2阈值以上(步骤S308)。该第2阈值可以动态地变更。在相关联的特征点的数量小于第2阈值的情况下(步骤S308的“否”)，在步骤S301中取得的编码信息不适合自身位置、姿势以及地图的推定，因此，返回步骤S301，取得新的编码信息。

在相关联了的特征点的数量为第2阈值以上的情况下(步骤S308的“是”)，将该图像决定为关键帧而结束处理。关键帧、特征点和与距离相关的信息保存于工作存储器65。

通过以上的处理，能够取得适合自身位置、姿势以及地图的推定的关键帧。

另外，图14的流程图示出通过推定系统1执行的处理的次序的其它例子。在参照图11的流程图在以上说明的处理中，地图和/或拍摄部11的位置以实际比例尺被推定，与此相对，在图14所示的处理中示出在基于相对比例尺推定了地图和/或拍摄部11的位置后、对所推定出的地图和/或拍摄部11的位置进行实际比例尺化的例子。

从步骤S401到步骤S404的次序与图11的流程图所示的从步骤S101到步骤S104的次序相同。

在执行了这些步骤S401到步骤S404的次序之后，推定部13基于变换信息(例如，修正图像和与距离相关的信息)，基于相对比例尺推定自身位置、自身姿势以及地图(步骤S405)。并且，推定部13使用与距离相关的信息对所推定出的地图进行缩放(放大或缩小)，由此进行实际比例尺化(步骤S406)。推定部13例如在通过与距离相关的信息表示从拍摄部11到地图上的地点(特征点)的实际的距离时，对以相对比例尺表示的地图中的自身位置与该地点的距离进行缩放，以使得成为该实际的距离，由此能够对地图进行实际比例尺化。推定部13输出与自身位置、自身姿势、以及地图相关的信息。

如上所述，推定系统1能够容易地推定基于实际比例尺的自身位置、姿势以及地图。推定系统1能够输出基于实际比例尺的自身位置、自身姿势、地图中的至少任一个。

例如，在使用由摄像头拍摄到的图像和由距离传感器计测出的距离来推定自身位置、姿势以及地图的方法中，需要用于使图像与距离同步的处理。本实施方式的推定系统1，将通过一次拍摄取得的图像和与距离相关的信息、或编码信息用于推定，因此，无须用于使图像与距离同步的处理。因此，该处理所需要的时间被省略，因此能够容易地推定拍摄部11的位置。

另外，例如，在使用由单目摄像头拍摄到的图像和物体的形状等辞典数据来推定自身位置、姿势以及地图的方法中，需要预先准备该辞典数据，另外，在辞典中登记的物体没有被摄像头拍摄到的情况下，无法推定自身位置、姿势以及地图。在本实施方式的推定系统1中，不需要预先准备辞典数据，能够节省用户需要花费的工夫。

接着，针对应用具有上述那样的构成的推定系统1的应用例进行一些说明。

图15示出包含推定系统1的移动体6的功能构成例。移动体6例如可以作为具有自动运转功能的汽车、无人航空器、自主型移动机器人等实现。无人航空器是无法供人乘坐的飞机、旋翼机、滑翔机、飞船，能够通过远程操作或自动驾驶使其飞行，例如包括无人机(多旋翼直升机(multicopter))、无线电控制机、农药喷洒用直升机等。自主型移动机器人包括无人运输车(Automated Guided Vehicle：AGV，自动导引车)那样的移动机器人、用于清扫地板的清扫机器人、用于对到场人员进行各种引导的交流机器人等。移动体6不仅包括机器人主体移动的机器人，还可以包括机械臂之类的、具有使机器人的一部分移动/旋转用的驱动机构的产业用机器人。

如图15所示，移动体6例如具有推定系统1、控制信号生成部14和驱动机构15。在推定系统1内，至少拍摄部11被设置成例如拍摄移动体6或其一部分的行进方向的被拍摄对象。

如图16所示，在移动体6是汽车6A的情况下，拍摄部11除了可以设置为拍摄前方的所谓的前置摄像头，还可以设置为在后退时拍摄后方的所谓的后置摄像头。当然，也可以设置这双方。另外，拍摄部11也可以设置为兼具作为所谓的行驶记录仪(drive recorder)的功能。即，拍摄部11也可以是图像录制设备。

接着，图17示出移动体6为无人机6B的情况的例子。无人机6B具备与驱动机构15相当的无人机主体71和四个螺旋桨部721、722、723、724。各螺旋桨部721、722、723、724具有螺旋桨和马达。通过使马达的驱动传递至螺旋桨，螺旋桨进行旋转，利用因该旋转而产生的升力使得无人机6B浮起。在无人机主体71的例如下部搭载有拍摄部11(或包括拍摄部11的推定系统1)。

另外，图18示出移动体6是自主型移动机器人6C的情况下的例子。在移动机器人6C的下部设置有与驱动机构15相当的、包括马达和/或车轮等的动力部81。动力部81控制马达的转速和/或车轮的朝向。移动机器人6C通过传递马达的驱动而使与路面或地板面接触的车轮旋转，控制该车轮的朝向，由此能够向任意的方向移动。拍摄部11例如可以设置在人型的移动机器人6C的头部，以便对前方进行拍摄。此外，拍摄部11既可以设置成对后方和/或左右进行拍摄，也可以设置多个，以便对多个方位进行拍摄。另外，通过在用于搭载传感器等的空间小的小型机器人至少设置拍摄部11来推定自身位置、姿势以及地图，也能够进行航位推测(Dead reckoning)。

此外，在控制移动体6的一部分移动以及旋转的情况下，如图19所示，拍摄部11例如也可以设置于机械臂的前端等，以便拍摄由机械臂6D把持的物体。推定部13推定想要把持的物体的三维形状和/或放置该物体的位置。由此，能够进行物体的正确的把持工作。

控制信号生成部14基于从推定系统1输出的自身位置、姿势以及地图，输出用于控制驱动机构15的控制信号。驱动机构15通过控制信号驱动移动体6或移动体的一部分。驱动机构15例如进行移动体6或其一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、通常运转模式与自动运转模式(碰撞避免模式)的切换以及安全气囊等安全装置的动作中的至少一种。驱动机构15，例如在从自身位置到被拍摄对象的距离小于阈值的情况下，也可以进行移动、旋转、加速、推力(升力)的加减、向靠近物体的方向的方向转换以及从自动运转模式(碰撞避免模式)向通常运转模式的切换中的至少一种。

汽车6A的驱动机构15例如是轮胎。无人机6B的驱动机构例如是螺旋桨。移动机器人6C的驱动机构例如是脚部。机械臂6D的驱动机构15例如是支承设置有拍摄部的前端的支承部。

移动体6还可以具备：被输入来自推定部13的与自身位置、自身姿势以及地图相关的信息的扬声器和/或显示器。扬声器和/或显示器输出与自身位置、自身姿势、以及地图相关的声音或图像。扬声器和/或显示器通过有线或无线的方式自身与推定系统1连接。此外，移动体6也可以具有：被输入来自推定部13的与自身位置、自身姿势、以及地图相关的信息的发光部。发光部例如根据来自推定部13的与自身位置、自身姿势、以及地图相关的信息而点亮、熄灭。

此外，推定系统1的推定部13也可以使用推定出的拍摄部11的位置和通过推定系统1以外制作并被输入到推定系统1的地图(例如用于汽车导航的地图)，来推定在该地图上的拍摄部11的位置。移动体6也可以具备接收GPS信号来用于检测GPS坐标系中的位置的GPS接收机(未图示)。另外，用于汽车导航的地图例如是在设置于汽车的汽车导航系统中使用的地图，包含表示基于GPS坐标系的道路和/或桥、建筑物等目标物(object)的数据。存在使用GPS接收机取得的位置因GPS信号的取得状况等而包含误差(例如，几米的误差)的情况。因此，不仅使用通过GPS接收机取得的位置还使用通过推定系统1推定出的拍摄部11的位置，由此能够推定地图上的更正确的自身位置。此外，在无法接收GPS信号而无法使用GPS接收机取得位置的情况下，一旦能够取得地图上的自身位置，则推定部13能够使用通过推定系统1连续地推定的拍摄部11的位置，继续推定地图上的自身位置，因此，能够使移动体6移动到目的位置等。

另外，推定部13也可以使用推定出的特征点的三维坐标(即，拍摄到修正图像上的像素的被拍摄对象的三维坐标)，补全用于汽车导航的地图。推定部13例如能够从在汽车行驶中连续地得到的拍摄图像反复推定特征点的三维坐标。由此，能够将用于汽车导航的地图中未包含的目标物的三维坐标追加于该地图，能够得到更详细的地图。控制信号生成部14以及驱动机构15基于补全后的地图上的拍摄部11的位置例如能够使移动体6(例如，汽车)移动，以便避免碰撞。

作为其它例子，例如，在移动体6是无人机的情况下，在从上空进行地图(物体的三维形状)的制作、大楼和/或地形的构造调查、裂纹和/或电线断裂等的检修等时，拍摄部11取得拍摄对象而得到的图像，判定自身位置与地图上的物体的距离是否为阈值以上。控制信号生成部14基于该判定结果生成用于控制无人机的推力的控制信号，以使得与检修对象的距离成为一定。在此，推力也包含升力。驱动机构15基于该控制信号使无人机工作，由此能够使无人机与检修对象并排地飞行。在移动体6是监视用无人机的情况下，也可以生成用于控制无人机的推力的控制信号，以使得与监视对象的物体的距离保持为一定。

另外，在无人机飞行时，拍摄部11取得拍摄地面方向而得到的图像，判定自身位置与地面的距离是否为阈值以上。控制信号生成部14基于该判定结果，生成用于控制无人机的推力的控制信号，以使得距离地面的高度成为被指定的高度。驱动机构15基于该控制信号使无人机工作，由此，能够以被指定的高度使无人机飞行。如果是农药喷洒用无人机，则通过将无人机距离地面的高度保持为一定，容易使农药均匀地喷洒。

另外，在移动体6是无人机或汽车的情况下，在无人机的联合飞行或汽车的排队行驶时，拍摄部11取得对周围的无人机或前方的汽车进行拍摄而得到的图像，判定从自身位置到该无人机或汽车的距离是否为阈值以上。控制信号生成部14基于该判定结果生成用于控制无人机的推力或汽车的速度的控制信号，以使得与该周围的无人机或前方的汽车的距离成为一定。驱动机构15基于该控制信号使无人机或汽车工作，由此能够容易地进行无人机的联合飞行或汽车的排队行驶。在移动体6是汽车的情况下，也可以通过经由用户界面受理驾驶员的指示来使阈值变化，以使得驾驶员能够设定阈值。由此，以驾驶员希望的车间距离使汽车行驶。或者，也可以为了保持与前方的汽车之间的安全的车间距离，而根据汽车的速度使阈值变化。安全的车间距离根据汽车的速度不同而不同。于是，汽车的速度越快，能够设定越长的阈值。另外，在移动体6是汽车的情况下，最好构成控制信号生成部14，该控制信号生成部14将行进方向的预定距离预先设定为阈值，在物体出现在该阈值的跟前的情况下，制动器自动地动作和/或安全气囊等安全装置自动地动作。在该情况下，自动制动器和/或安全气囊等安全装置设置于驱动机构15。

如上所述，根据本实施方式，能够容易地推定基于实际比例尺的自身位置和/或地图，通过使用基于该实际比例尺的自身位置和/或地图，例如能够容易地控制汽车、无人机、机器人等各种移动体6的工作。

另外，本实施方式所记载的各种功能分别也可以通过电路(处理电路)来实现。处理电路的例子包括中央处理装置(CPU)之类的被编程的处理器。该处理器通过执行存储器所保存的计算机程序(命令群)而执行所记载的各功能。该处理器也可以是包括电路的微处理器。处理电路的例子也包括数字信号处理器(DSP)、面向特定用途集成电路(ASIC)、微控制器、控制器、其他的电路部件。本实施方式所记载的CPU以外的其他的各组件也可以通过处理电路实现。

另外，本实施方式的各种处理能够通过计算机程序实现，因此，仅通过保存有该计算机程序的计算机可读取的存储介质将该计算机程序安装于计算机并执行，就能够容易地实现与本实施方式同样的效果。

对本发明的几个实施方式进行了说明，但是这些实施方式是作为示例提出的，不用于限定发明的范围。这些新的实施方式可以按其他各种各样的方式来实施，在不脱离发明主旨的范围内可以进行各种省略、置换、变更。这些实施方式和/或其变形包含于发明的范围和/或主旨内，并且也包含于权利要求书所记载的发明及其等同范围内。

此外，能够将上述的实施方式总结为以下的技术方案。

技术方案1

一种推定系统，具备：

拍摄部，其是单目的拍摄部，能够通过一次拍摄取得图像和与到所述图像所包含的被拍摄对象的距离相关的信息；和

推定部，其使用所述图像和与所述距离相关的信息，推定所述拍摄部的位置。

技术方案2

一种推定系统，具备：

拍摄部，其对被拍摄对象进行拍摄，输出编码信息；和

推定部，其使用所述编码信息，对基于实际距离的所述拍摄部的位置进行推定。

技术方案3

根据上述技术方案2，

所述拍摄部对所述被拍摄对象与所述拍摄部的实际距离进行编码地拍摄，输出所述编码信息，

所述推定部将所述编码信息变换为图像和与距离相关的信息，基于实际距离推定所述拍摄部的位置。

技术方案4

根据上述技术方案3，所述拍摄部根据包含所述被拍摄对象的图像输出所述编码信息。

技术方案5

根据上述技术方案1或4，

所述拍摄部取得至少两个所述图像，

所述推定部，

从所述至少两个图像检测多个特征点，

使用所述多个特征点，基于相对比例尺推定所述拍摄部的位置，

使用与所述距离相关的信息，基于实际距离推定所述推定出的拍摄部的位置。

技术方案6

根据上述技术方案1或4，

所述拍摄部取得至少两个所述图像，

所述推定部，

从所述至少两个图像检测多个特征点，

使用所述多个特征点和与对应于所述多个特征点的所述距离相关的信息，基于实际比例尺推定所述拍摄部的位置，基于实际距离推定与所述多个特征点对应的多个三维坐标。

技术方案7

根据上述技术方案1或3，与所述距离相关的信息包含从所述拍摄部到被拍摄到所述图像上的各像素的被拍摄对象的第1距离和表示所述第1距离的有效性的可靠度。

技术方案8

根据上述技术方案7，所述可靠度基于用于所述第1距离的推定的指标而决定。

技术方案9

根据上述技术方案7或8，所述推定部还使用所述可靠度推定所述拍摄部的位置。

技术方案10

根据上述技术方案1或2，所述推定部还基于实际距离推定所述拍摄部的姿势。

技术方案11

根据上述技术方案1或2，所述推定部还基于实际距离推定包含所述拍摄部的位置的区域的第1地图。

技术方案12

根据上述技术方案1或2，所述拍摄部在孔径部具备多个区域，所述多个区域分别具有相对于光学中心为非点对称的形状。

技术方案13

根据上述技术方案12，所述多个区域透射相互不同的波长区域(波长范围)。

技术方案14

根据上述技术方案12，

所述多个区域包含第1滤波器区域和第2滤波器区域，

基于透射所述第1滤波器区域后的光线的第1图像的第1模糊函数是非点对称的，

基于透射所述第2滤波器区域后的光线的第2图像的第2模糊函数是非点对称的，

所述第1模糊函数与所述第2模糊函数不同。

技术方案15

根据上述技术方案2，所述拍摄部使用具有接收相互不同的波长频带的光的多个传感器的图像传感器，对所述被拍摄对象与所述拍摄部的实际距离进行编码地拍摄，输出所述编码信息。

技术方案16

一种汽车，具备：

上述技术方案1至15中任一技术方案所述的推定系统；和

驱动机构，其基于通过所述推定部推定的所述拍摄部的位置，使所述汽车移动。

技术方案17

根据上述技术方案16，所述推定部还使用所述推定出的拍摄部的位置和所输入的第2地图，推定所述第2地图上的所述拍摄部的位置。

Claims (11)

1.一种推定系统，具备：

拍摄部，其是单目的拍摄部，能够通过一次拍摄来取得图像和与到所述图像所包含的被拍摄对象的实际距离相关的信息；和

推定部，其使用所述图像和与所述实际距离相关的信息，对所述拍摄部的位置进行推定，

与所述实际距离相关的信息是实际距离自身、与实际距离相关的指标或与模糊相关的指标，所述与实际距离相关的指标以及所述与模糊相关的指标能够通过使用与各自相关联的查找表而换算为实际距离，

在工作存储器搜索实际比例尺的第1关键帧，

基于所述图像和与所述实际距离相关的信息，判定所述实际比例尺的第2关键帧，

通过算出所述第1关键帧与所述第2关键帧之间的近似度，判定所述第1关键帧的特征量与所述第2关键帧的特征量之间的对应点，

相应于判定为所述对应点的数量为第1阈值以上，判定所述对应点之间的移位，

相应于判定为所述移位为第2阈值以上，推定所述实际比例尺中的所述拍摄部的位置。

2.一种推定系统，具备：

拍摄部，其对从被拍摄对象到所述拍摄部的实际距离进行编码地拍摄，输出编码信息；和

推定部，其使用所述编码信息，对基于实际距离的所述拍摄部的位置进行推定，

在工作存储器搜索实际比例尺的第1关键帧，

基于所述编码信息，判定所述实际比例尺的第2关键帧，

通过算出所述第1关键帧与所述第2关键帧之间的近似度，判定所述第1关键帧的特征量与所述第2关键帧的特征量之间的对应点，

相应于判定为所述对应点的数量为第1阈值以上，判定所述对应点之间的移位，

相应于判定为所述移位为第2阈值以上，推定所述实际比例尺中的所述拍摄部的位置。

3.根据权利要求2所述的推定系统，

所述推定部将所述编码信息变换为图像和与实际距离相关的信息，基于实际距离对所述拍摄部的位置进行推定。

4.根据权利要求3所述的推定系统，

所述拍摄部根据包含所述被拍摄对象的图像输出所述编码信息。

5.根据权利要求1或4所述的推定系统，

所述拍摄部取得至少两个所述图像，

所述推定部，

从所述至少两个图像检测多个特征点，

使用所述多个特征点，基于相对比例尺对所述拍摄部的位置进行推定，

使用与所述实际距离相关的信息，基于实际距离对所述推定出的拍摄部的位置进行推定。

6.根据权利要求1或4所述的推定系统，

所述拍摄部取得至少两个所述图像，

所述推定部，

从所述至少两个图像检测多个特征点，

使用所述多个特征点和与对应于所述多个特征点的所述实际距离相关的信息，基于实际比例尺对所述拍摄部的位置进行推定，基于实际距离对与所述多个特征点对应的多个三维坐标进行推定。

7.根据权利要求1或3所述的推定系统，

与所述实际距离相关的信息包含：从所述拍摄部到被拍摄到所述图像上的各像素的被拍摄对象的第1距离和表示所述第1距离的有效性的可靠度。

8.根据权利要求7所述的推定系统，

所述可靠度基于用于所述第1距离的推定的指标而决定。

9.根据权利要求7所述的推定系统，

所述推定部还使用所述可靠度对所述拍摄部的位置进行推定。

10.根据权利要求8所述的推定系统，

所述推定部还使用所述可靠度对所述拍摄部的位置进行推定。

11.根据权利要求1或2所述的推定系统，

所述推定部还基于实际距离对所述拍摄部的姿势进行推定。

Images