CN104864849A

CN104864849A - 视觉导航方法和装置以及机器人

Info

Publication number: CN104864849A
Application number: CN201410062704.1A
Authority: CN
Inventors: 张汝民; 刘迪军; 苏国彬
Original assignee: China Academy of Telecommunications Technology CATT
Current assignee: China Academy of Telecommunications Technology CATT
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2015-08-26
Anticipated expiration: 2034-02-24
Also published as: US20160335775A1; CN104864849B; US9886763B2; WO2015124066A1

Abstract

本发明公开了一种视觉导航方法和装置，该视觉导航方法包括：基于采集的环境图像，得到该环境图像的多个环境子图；对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。本发明通过单个摄像机采集环境图像，并基于该环境图像，通过微透镜阵列得到多个环境子图，再根据该环境子图进行立体匹配和三维重建，从而实现了视觉导航的功能，而且还由于是单个摄像机采集环境图像，从而使得数据量较小，处理速度容易控制，有效的保证了处理时的实时性；此外还由于可以同时获得物体的水平视差及垂直视差信息，进而可以更准确的计算物体的深度信息，有效的提高了导航的精确度。

Description

视觉导航方法和装置以及机器人

技术领域

本发明涉及视觉定位导航技术领域，具体来说，涉及一种视觉导航方法和装置以及机器人。

背景技术

传统的机器人定位包括GPS、惯性导航系统等，其中，GPS用途广泛、精度高，但受环境影响大，而惯性导航系统则可以完全自主且频率高，但是噪声影响大；GPS/惯性导航系统融合定位则是当今机器人导航中最常用的组合导航定位方法之一，可以有效利用各自的优势，取长补短。但是，在实际应用中，很多场合下GPS信号会受到遮挡而无法使用，进而导致系统整体定位精度下降很快。

为了解决上述问题，目前使用的大多数方法都是在寻找GPS之外的可靠定位，其中有一类就是视觉方法，其是通过前后帧图像相匹配的特征点在三维空间的位置变化来估计车体运动，很好的克服了传统定位方法所存在的缺陷，而视觉方法作为传统定位方法的有效补充也得到了越来越多的关注，同时，人们也对其提出了越来越高的要求。

目前，现有的视觉方法普遍是基于双目立体相机来实现的，这种基于双目立体相机的视觉方法具有较高的定位精度，然而，其也存在着诸多不足之处，例如，标定比较困难，且误差不易控制，同时由于是通过两个摄像机同时采集图像的，从而也导致了数据量较大，不易控制处理速度，实时性较差。

基于此种情况下，为了满足人们越来也高的要求，所以，研发一种实时性好、且容易控制，同时精确度又高的视觉方法或者装置就成为了业内亟需解决的问题。

发明内容

针对相关技术中的问题，本发明提出一种视觉导航方法和装置以及机器人。

为实现上述目的，根据本发明的一方面，提供了一种视觉导航方法。

该视觉导航方法包括：基于采集的环境图像，得到该环境图像的多个环境子图；对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

其中，基于采集的环境图像，得到该环境图像的多个环境子图的实现方式包括通过单个摄像机采集环境图像，并通过该摄像机主镜头内的微透镜阵列得到该环境图像的多个环境子图。

此外，该视觉导航方法还包括：在对每个环境子图进行区域匹配处理之前，对每个环境子图进行预处理，以消除每个环境子图上的噪声信号。

其中，上述预处理包括基于空域的去噪声处理、和/或基于频域的去噪声处理。

其中，至少两个环境子图包括上述微透镜阵列中至少两个相邻的微透镜所得到的环境子图。

并且，至少两个相邻的微透镜所得到的环境子图包括基于水平方向上的至少两个相邻的微透镜所得到的环境子图、和/或基于垂直方向上的至少两个相邻的微透镜所得到的环境子图。

其中，区域匹配处理包括匹配代价计算、和/或匹配代价叠加。

根据本发明的另一方面，提供了一种视觉导航装置。

该视觉导航装置包括：图像采集模块，用于基于采集的环境图像，得到该环境图像的多个环境子图；视差确定模块，用于对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；视觉导航模块，用于根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

其中，图像采集模块包括单个摄像机，且该摄像机的主镜头内设置有微透镜阵列。

此外，该视觉导航装置还包括：图像处理模块，用于在对每个环境子图进行区域匹配处理之前，对每个环境子图进行预处理，以消除每个环境子图上的噪声信号。

其中，在对每个环境子图进行预处理时，图像处理模块可用于对每个环境子图进行基于空域的去噪声处理、和/或基于频域的去噪声处理。

根据本发明的又一方面，提供了一种机器人，该机器人具有上述的视觉导航装置。

本发明通过单个摄像机采集环境图像，并基于该环境图像，通过微透镜阵列得到多个环境子图，再根据该环境子图进行立体匹配和三维重建，从而实现了视觉导航的功能，而且还由于是单个摄像机采集环境图像，从而使得数据量较小，处理速度容易控制，有效的保证了处理时的实时性，同时也避免了多个摄像机之间的校正以及成本较高的问题；此外还由于可以同时获得物体的水平视差及垂直视差信息，进而可以更准确的计算物体的深度信息，有效的提高了导航的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的视觉导航方法的流程示意图；

图2是根据本发明实施例的视觉导航装置的结构示意图；

图3是根据本发明实施例的机器人视觉导航流程示意图；

图4是根据本发明实施例的单目摄像系统结构示意图；

图5是根据本发明实施例的物体在单目摄像系统中成像的原理示意图；

图6是根据本发明实施例的图像预处理流程框图；

图7是根据本发明实施例的立体匹配处理流程示意图；

图8是根据本发明实施例的光场成像视差原理示意图；

图9是实现本发明技术方案的计算机的示例性结构框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

根据本发明的实施例，提供了一种视觉导航方法。

如图1所示，根据本发明实施例的视觉导航方法包括：

步骤S101，基于采集的环境图像，得到该环境图像的多个环境子图；

步骤S103，对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；

步骤S105，根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

根据本发明的实施例，还提供了一种视觉导航装置。

如图2所示，根据本发明实施例的视觉导航装置包括：

图像采集模块21，用于基于采集的环境图像，得到该环境图像的多个环境子图；

视差确定模块22，用于对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；

视觉导航模块23，用于根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

其中，图像采集模块21包括单个摄像机，且该摄像机的主镜头内设置有微透镜阵列。

此外，该视觉导航装置还包括：图像处理模块（未示出），用于在对每个环境子图进行区域匹配处理之前，对每个环境子图进行预处理，以消除每个环境子图上的噪声信号。

其中，在对每个环境子图进行预处理时，图像处理模块（未示出）可用于对每个环境子图进行基于空域的去噪声处理、和/或基于频域的去噪声处理。

根据本发明的实施例，还提供了一种机器人，该机器人具有上述的视觉导航装置。

在实际应用时，该机器人进行视觉导航的流程可如图3所示，首先数字图像采集单元会采集环境图像，然后对图像进行去噪等预处理，并在预处理完成之后，提取数字图像中子图进行子图间匹配，获取环境中障碍物的三维信息并进行三维重建，而机器人控制中心则根据获得的三维信息以及重建的三维视图，控制机器人绕过该障碍物，完成视觉导航。

为了方便理解本发明的上述技术方案，下面结合技术原理对本发明的上述技术方案进行详细说明。

在本发明中，本发明的关键部分是在单个摄像机中的CCD传感器之前加入一个微透镜阵列，通过主镜头成像后再经过微透镜阵列二次成像，从而同一物点可以成像在不同子图中的不同位置，进而进一步的对相邻子图的同一物点进行匹配，计算出相应的深度信息，获取物点的三维信息，从而为移动机器人的导航提供了一种简便、易行、成本低且精度高的方法。下面针对该方法具体分步详细论述，具体如下：

图4是本发明中单目摄像系统结构示意图，从图4中可以看出，该单目摄像系统由一个摄像头、一个微透镜阵列。一个高分辨率的CCD图像传感器组成。在实际应用时，当周围环境通过主镜头成像在主镜头与微透镜阵列之间的一次成像面处，然后一次成像面上的像在通过微透镜阵列成像在图像传感器上，从而获取环境图像，其成像过程如图5所示，图5是物体在单目摄像系统中成像的原理示意图，从图5中可以看出，同一个物点在通过多个微透镜成像在图像传感器上后，该物点在每个微透镜后的子图上成像的位置均不相同，而这就是视差。

而在机器人系统对于采集的图像信号进行分割和识别之前，比对对采集到的图像进行去噪声处理工作，滤除掉噪声信号，降低噪声信息对图像的干扰。通常图像预处理的方法有两种，一种是基于空域技术的方法，另一种是基于频域技术的方法，下面以基于空域技术的方法为例，对图像的预处理进行说明。

图6是图像预处理流程框图，从图6中可以看出图像的预处理大致如下，首先将采集到的环境图像进行灰度化处理，将真彩图像转化为灰度图像，然后再对灰度图像进行平滑处理，并进行子图分割，将子图提取出来。

而经过上述的图像处理之后，接下来要进行的工作就是立体匹配，当三维空间的机器人行进路径中的障碍物被投影为二维深度图像时，丢失了该障碍物的深度信息z，立体匹配就是要恢复物体的深度信息z。根据立体匹配算法中图像表示的基元不同，可以将立体匹配方法分为3类，基于区域的匹配方法、基于特征的匹配方法和基于相位的匹配方法，以基于区域的匹配算法为例，图像的立体匹配如图7所示，图7是立体匹配处理流程示意图，从图7中可以看出，在进行立体匹配时，需要分别对水平子图和垂直子图进行匹配代价计算，然后在进行匹配代价叠加，最后再进行依次匹配代价计算，获取水平视差或者垂直视差，而当水平视差和垂直视差获取之后，则可以根据水平视差和垂直视差求平均得到最终视差。

应当注意的是，由于是使用单个镜头的，因此，对于相邻水平子图之间，其只存在水平视差，而不存在垂直视差，而对于相邻垂直子图之间，其也只存在垂直视差，而不存在水平视差。

而对于视差的求解，则可以参照图8所示，图8是光场成像视差原理示意图，其中，视差的求解过程如下：在其中一幅子图上选取n*n大小的块，在其水平相邻或者垂直相邻的子图上沿着水平方向或者垂直方向以一个像素点为步长平滑移动，每移动一个像素，对两个块之间进行相应的相似度计算，寻找最小的匹配误差，得到最小匹配误差所对应的步长值Δ_n，其中，在本发明中，采用的是灰度差绝对值之后作为相似度检测函数，其计算公式如下：

σ (Δ_{n}) = \frac{1}{M} Σ_{i_{n} = 1}^{i_{n} = m^{'} - Δ_{n}} | r_{n} (i_{n} + Δ_{n}) - r_{n + 1} (i_{n}) |

而在得到最小匹配误差所对应的步长值Δ_n后，可以根据三角形相似得到如下计算公式：

\frac{d}{Δ_{n} δ} = \frac{a_{n}}{b}; a_{n} = \frac{bd}{Δ_{n} δ} = \frac{m}{Δ_{n}} b

由上式可以得到物点一次成像与微透镜之间的距离a_n，假设主镜头与微透镜之间的距离为v，则一次像与主镜头之间的距离为v-a_n,在此通过薄透镜成像公式可以计算出其深度，计算公式如下：

\frac{1}{v - a_{n}} + \frac{1}{u} = \frac{1}{F}

从上式可以计算得到u的值，而u值即为该物点的深度值。在得到环境中物体的深度后，进而可以得到物体的3D坐标，从而可以指导机器人完成自主导航。

综上所述，借助于本发明的上述技术方案，通过单个摄像机采集环境图像，并基于该环境图像，通过微透镜阵列得到多个环境子图，再根据该环境子图进行立体匹配和三维重建，从而实现了视觉导航的功能，而且还由于是单个摄像机采集环境图像，从而使得数据量较小，处理速度容易控制，有效的保证了处理时的实时性，同时也避免了多个摄像机之间的校正以及成本较高的问题；此外还由于可以同时获得物体的水平视差及垂直视差信息，进而可以更准确的计算物体的深度信息，有效的提高了导航时的精确度。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

根据本发明的实施例，还提供了一种存储介质（该存储介质可以是ROM、RAM、硬盘、可拆卸存储器等），该存储介质中嵌入有用于进行资源分配的计算机程序，该计算机程序具有被配置用于执行以下步骤的代码段：基于采集的环境图像，得到该环境图像的多个环境子图；对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

根据本发明的实施例，还提供了一种计算机程序，该计算机程序具有被配置用于执行以下资源分配步骤的代码段：基于采集的环境图像，得到该环境图像的多个环境子图；对环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；根据确定出的视差，确定环境图像中的物体的坐标，并根据该坐标进行导航。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图9中，中央处理模块（CPU）901根据只读存储器（ROM）902中存储的程序或从存储部分908加载到随机存取存储器（RAM）903的程序执行各种处理。在RAM903中，也根据需要存储当CPU901执行各种处理等等时所需的数据。CPU901、ROM902和RAM903经由总线904彼此连接。输入/输出接口905也连接到总线904。

下述部件连接到输入/输出接口905：输入部分906，包括键盘、鼠标等等；输出部分907，包括显示器，比如阴极射线管（CRT）、液晶显示器（LCD）等等，和扬声器等等；存储部分908，包括硬盘等等；和通信部分909，包括网络接口卡比如LAN卡、调制解调器等等。通信部分909经由网络比如因特网执行通信处理。

根据需要，驱动器910也连接到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与装置相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（CD-ROM）和数字通用盘（DVD））、磁光盘（包含迷你盘（MD）（注册商标））和半导体存储器。或者，存储介质可以是ROM902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的装置一起被分发给用户。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims

1.一种视觉导航方法，其特征在于，包括：

基于采集的环境图像，得到该环境图像的多个环境子图；

对所述环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；

根据确定出的所述视差，确定所述环境图像中的物体的坐标，并根据该坐标进行导航。

2.根据权利要求1所述的视觉导航方法，其特征在于，基于采集的环境图像，得到该环境图像的多个环境子图的实现方式包括通过单个摄像机采集所述环境图像，并通过该摄像机主镜头内的微透镜阵列得到该环境图像的多个环境子图。

3.根据权利要求1所述的视觉导航方法，其特征在于，进一步包括：

在对每个环境子图进行区域匹配处理之前，对每个环境子图进行预处理，以消除每个环境子图上的噪声信号。

4.根据权利要求3所述的视觉导航方法，其特征在于，所述预处理包括基于空域的去噪声处理、和/或基于频域的去噪声处理。

5.根据权利要求2所述的视觉导航方法，其特征在于，所述至少两个环境子图包括所述微透镜阵列中至少两个相邻的微透镜所得到的环境子图。

6.根据权利要求5所述的视觉导航方法，其特征在于，所述至少两个相邻的微透镜所得到的环境子图包括基于水平方向上的至少两个相邻的微透镜所得到的环境子图、和/或基于垂直方向上的至少两个相邻的微透镜所得到的环境子图。

7.根据权利要求1至6中任意一项所述的视觉导航方法，其特征在于，所述区域匹配处理包括匹配代价计算、和/或匹配代价叠加。

8.一种视觉导航装置，其特征在于，包括：

图像采集模块，用于基于采集的环境图像，得到该环境图像的多个环境子图；

视差确定模块，用于对所述环境子图进行区域匹配处理，确定至少两个环境子图之间的视差；

视觉导航模块，用于根据确定出的所述视差，确定所述环境图像中的物体的坐标，并根据该坐标进行导航。

9.根据权利要求8所述的视觉导航装置，其特征在于，图像采集模块包括单个摄像机，且该摄像机的主镜头内设置有微透镜阵列。

10.根据权利要求8所述的视觉导航装置，其特征在于，进一步包括：

图像处理模块，用于在对每个环境子图进行区域匹配处理之前，对每个环境子图进行预处理，以消除每个环境子图上的噪声信号。

11.根据权利要求10所述的视觉导航装置，其特征在于，在对每个环境子图进行预处理时，所述图像处理模块用于对每个环境子图进行基于空域的去噪声处理、和/或基于频域的去噪声处理。

12.根据权利要求9所述的视觉导航装置，其特征在于，所述至少两个环境子图包括所述微透镜阵列中至少两个相邻的微透镜所得到的环境子图。

13.根据权利要求12所述的视觉导航装置，其特征在于，所述至少两个相邻的微透镜所得到的环境子图包括基于水平方向上的至少两个相邻的微透镜所得到的环境子图、和/或基于垂直方向上的至少两个相邻的微透镜所得到的环境子图。

14.根据权利要求8至13中任意一项所述的视觉导航装置，其特征在于，所述区域匹配处理包括匹配代价计算、和/或匹配代价叠加。

15.一种机器人，其特征在于，具有权利要求8至14中任意一项所述的视觉导航装置。