CN107369172A - 一种智能设备和输出深度图像的方法 - Google Patents

Abstract

本发明实施例中，提出一种智能设备，包括反射镜、镜头、图像传感器和处理器，其中：反射镜，用于将采集到的光线反射至镜头上；镜头，用于将反射镜反射的光线发送至图像传感器；图像传感器，用于将接收到的光线进行成像处理得到图像，并将图像发送至处理器；处理器，用于根据图像输出深度图。在该智能设备中，只采用了一个镜头，该镜头在反射镜的配合下也可以采集光线，并最后得到深度图，达到与双目或多目摄像头同样的效果，因此，可以解决现有技术中采用双目或者多目摄像头的设备存在的体积大，功耗高的缺陷。

Description

一种智能设备和输出深度图像的方法

技术领域

本发明涉及图像技术领域，尤其涉及一种智能设备和输出深度图像的方法。

背景技术

世界是立体的，世界上每一物体所处位置都可以用空间三维信息来表示，每一物体的几何属性都可以用空间三维信息来描述，因此，空间三维信息对于生物体和自主设备感知世界十分重要。

目前，获取空间三维信息有多种方法，例如，可以采用激光、飞行时间(Time-of-Flight)、结构光、光流法(Optical Flow)、基于双目或多目摄像头的立体视觉等方法。其中，基于双目或多目摄像头的立体视觉方法，因为其具有适应范围广、感知范围广、获取的信息丰富，以及理论成熟等优点，得到广泛应用，如目前已经应用于很多汽车的辅助驾驶系统中、无人机、火星车、月球车等领域。

但是，基于双目或多目摄像头的立体视觉方法中至少要采用两个以上的摄像头，因此，采用双目或者多目摄像头的设备存在体积大，功耗高等缺陷。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的一种智能设备和输出深度图像的方法，用于解决现有技术中采用双目或者多目摄像头的设备存在的体积大，功耗高的缺陷。

在本发明实施方式的第一方面中，提供了一种智能设备，包括反射镜、镜头、图像传感器和处理器，其中：

所述反射镜，用于将采集到的光线反射至所述镜头上；

所述镜头，用于将所述反射镜反射的光线发送至所述图像传感器；

所述图像传感器，用于将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器；

所述处理器，用于根据所述图像输出深度图。

在一个实施方式中，根据本发明的上述实施方式所述的设备，所述反射镜包括第一组反射镜和第二组反射镜。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述第一组反射镜包括第一反射镜和第二反射镜，所述第一反射镜和所述第二反射镜之间呈预设角度；

所述第二组反射镜包括第三反射镜和第四反射镜，所述第三反射镜和所述第四反射镜之间呈预设角度。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述第一反射镜，用于将采集到的光线反射至所述第二反射镜；

所述第二反射镜，用于将接收到的光线反射至所述镜头的第一部分。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述图像传感器的第三部分对所述镜头的第一部分接收到的光线成像。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述镜头的第一部分为所述镜头的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器的第三部分为所述图像传感器的左部分、右部分、上部分及下部分中的至少一种。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述第三反射镜，用于将采集到的光线反射至所述第四反射镜；

所述第四反射镜，用于将接收到的光线反射至所述镜头的第二部分。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述图像传感器的第四部分对所述第二部分的光线成像。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述镜头的第二部分为所述镜头的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器的第四部分为所述图像传感器的左部分、右部分、上部分及下部分中的至少一种。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述镜头处于所述反射镜的下方，所述图像传感器处于所述镜头的正下方；或者

所述镜头处于所述反射镜的上方，所述图像传感器处于所述镜头的正上方；或者

所述镜头处于所述反射镜的左方，所述图像传感器处于所述镜头的正左方；或者

所述镜头处于所述反射镜的右方，所述图像传感器处于所述镜头的正右方。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，所述第一组反射镜和第二组反射镜包括的反射镜的镜面为平面、凸面及凹面中的至少一种。

在一些实施方式中，根据本发明的上述任一实施方式所述的设备，发送至所述处理器的图像为所述图像传感处理器得到的图像中的部分图像。

在本发明实施方式的第二方面中，提供了一种输出深度图像的方法，应用于如第一方面或者第一方面的任意一实施例所述的智能设备，包括：

所述反射镜将采集到的光线反射至所述镜头上；

所述镜头将所述反射镜反射的光线发送至所述图像传感器；

所述图像传感器将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器；

所述处理器根据所述图像输出深度图。

在一个实施方式中，根据本发明的上述实施方式所述的方法，所述镜头将所述反射镜反射的光线发送至所述图像传感器之前，还包括：

所述镜头将所述镜头等效成两个虚拟相机，并将所述两个虚拟相机中的每一个相机的内部参数均设置为所述镜头的内部参数。

在一些实施方式中，根据本发明的上述任一实施方式所述的方法，所述处理器处理所述图像输出深度图，包括：

所述处理器将所述图像进行矫正，并将矫正后的图像进行立体匹配；

所述处理器将进行立体匹配后的图像进行处理，输出深度图。

在一些实施方式中，根据本发明的上述任一实施方式所述的方法，所述处理器将所述图像进行矫正，包括：

所述处理器将所述两个虚拟相机进行旋转，使得所述两个虚拟相机对齐。

在一些实施方式中，根据本发明的上述任一实施方式所述的方法，所述处理器将所述两个虚拟相机进行旋转，包括：

所述处理器确定所述第一组反射镜和所述第二组反射镜之间的第一相对位置关系；

所述处理器根据所述第一相对位置关系确定所述两个虚拟相机之间的第二相对位置关系；

所述处理器根据所述第二相对位置关系将所述两个虚拟相机进行旋转。

本发明实施例中，提出一种智能设备，包括反射镜、镜头、图像传感器和处理器，其中：所述反射镜，用于将采集到的光线反射至所述镜头上；所述镜头，用于将所述反射镜反射的光线发送至所述图像传感器；所述图像传感器，用于将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器；所述处理器，用于根据所述图像输出深度图。在该智能设备中，只采用了一个镜头，该镜头在反射镜的配合下也可以采集光线，并最后得到深度图，达到与双目或多目摄像头同样的效果，因此，可以解决现有技术中采用双目或者多目摄像头的设备存在的体积大，功耗高的缺陷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1A是根据本发明的实施例提出的一种智能设备的示意图；

图1B是根据本发明的实施例提出的一种反射镜的示意图；

图1C是根据本发明的实施例提出的选取图像传感器成像的部分图像的示意图；

图2A是根据本发明的实施例提出的输出深度图像的方法流程图；

图2B是根据本发明的实施例提出的未矫正之前的图像的一种对比示意图；

图2C是根据本发明的实施例提出的未矫正之前的图像的放大对比示意图；

图2D是根据本发明的实施例提出的矫正之后的图像的放大对比示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参阅图1A所示，本发明实施例，提出一种智能设备100，包括反射镜10、镜头11、图像传感器12和处理器13，其中：

所述反射镜10，用于将采集到的光线反射至所述镜头11上；

所述镜头11，用于将所述反射镜10反射的光线发送至所述图像传感器12；

所述图像传感器12，用于将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器13；

所述处理器13，用于根据所述图像输出深度图。

本发明实施例中，可选地，所述反射镜10包括第一组反射镜10和第二组反射镜10。也就是说，本发明实施例中所述的反射镜10可以包括两组反射镜10，需要说明的是，反射镜10的数量并不限定于此，上述只是示例，在实际应用中可以根据实际情况的不同而发生变化，如包括两组以上的反射镜10。

本发明实施例中可选地，所述第一组反射镜10包括第一反射镜10和第二反射镜10，所述第一反射镜10和所述第二反射镜10之间呈预设角度；

所述第二组反射镜10包括第三反射镜10和第四反射镜10，所述第三反射镜10和所述第四反射镜10之间呈预设角度。

其中，可选地，第一反射镜10和第二反射镜10平行设置，例如，第一反射镜10和所述第二反射镜10之间的预设角度为0°或者180°。同理，可选地，第三反射镜10和第四反射镜10平行设置，例如，第三反射镜10和所述第四反射镜10之间的预设角度为0°或者180°。

需要说明的是，预设角度可以为任意角度，上述所描述的0°或者180°是具体示例，在实际应用中并不限定于此，还可以是其他角度，如10°至20°。

图1B为反射镜10的示意图，1为第一反射镜10、2为第二反射镜10，第一反射镜10和第二反射镜10平行；3为第三反射镜10、4为第四反射镜10，第三反射镜10和第四反射镜10平行。

图1B为反射镜10的示例，在实际应用中并不限定于此，在此不再进行详述。

本发明实施例中，可选地，所述第一反射镜10，用于将采集到的光线反射至所述第二反射镜10；

所述第二反射镜10，用于将接收到的光线反射至所述镜头11的第一部分。

如图1A所示，b3上的反射镜10将m1光线反射至a1上的反射镜10，a1上的反射镜10再将光线反射至镜头11；b3上的反射镜10将m2光线反射至a1上的反射镜10，a1上的反射镜10再将光线反射至镜头11；同理，c3上的反射镜10将m3光线反射至a3上的反射镜10，a3上的反射镜10再将光线反射至镜头11；c3上的反射镜10将m4光线反射至a3上的反射镜10，a3上的反射镜10再将光线反射至镜头11。

本发明实施例中，可选地，所述图像传感器12的第三部分对所述镜头11的第一部分接收到的光线成像。所述镜头11的第一部分为所述镜头11的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器12的第三部分为所述图像传感器12的左部分、右部分、上部分及下部分中的至少一种。

同理，可选地，所述第三反射镜10，用于将采集到的光线反射至所述第四反射镜10；

所述第四反射镜10，用于将接收到的光线反射至所述镜头11的第二部分。

本发明实施例中，可选地，所述图像传感器12的第四部分对所述第二部分的光线成像。所述镜头11的第二部分为所述镜头11的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器12的第四部分为所述图像传感器12的左部分、右部分、上部分及下部分中的至少一种。

需要说明的是，可选地，镜头11的第一部分和第二部分的位置关系是相反的，例如，镜头11的第一部分是镜头11的左部分，此时，镜头11的第二部分是镜头11的右部分；镜头11的第一部分是镜头11的右部分，此时，镜头11的第二部分是镜头11的左部分；镜头11的第一部分是镜头11的上部分，此时，镜头11的第二部分是镜头11的下部分；镜头11的第一部分是镜头11的下部分，此时，镜头11的第二部分是镜头11的上部分。

同理，可选地，图像传感器12的第三部分和第四部分的位置关系是相反的，例如，图像传感器12的第三部分是图像传感器12的左部分，此时，图像传感器12的第四部分是图像传感器12的右部分；图像传感器12的第三部分是图像传感器12的右部分，此时，图像传感器12的第四部分是图像传感器12的左部分；图像传感器12的第三部分是图像传感器12的上部分，此时，图像传感器12的第四部分是图像传感器12的下部分；图像传感器12的第三部分是图像传感器12的下部分，此时，图像传感器12的第四部分是图像传感器12的上部分。

当然，上述只是镜头11和图像传感器12的几种具体示例，并不限定于此。

本发明实施例中，可选地，所述镜头11处于所述反射镜10的下方，所述图像传感器12处于所述镜头11的正下方；或者

所述镜头11处于所述反射镜10的上方，所述图像传感器12处于所述镜头11的正上方；或者

所述镜头11处于所述反射镜10的左方，所述图像传感器12处于所述镜头11的正左方；或者

所述镜头11处于所述反射镜10的右方，所述图像传感器12处于所述镜头11的正右方。

本发明实施例中，可选地，所述第一组反射镜10和第二组反射镜10包括的反射镜10的镜面为平面、凸面及凹面中的至少一种。

本发明实施例中，图像传感器12成像的图像可以分为两部分，一部分是通过反射镜10反射到镜头11所成的像，另一部分是没有通过反射镜11反射而是由镜头11直接拍摄到的光线所成的像，由镜头11直接拍摄到的光线所成的像一般出现在图像边缘处。为了去除反射镜10和镜头11边缘的畸变引起的图像噪声，本发明实施例中，可选地，发送至所述处理器13的图像为所述图像传感处理器13得到的图像中的部分图像。

其中，部分图像可以通过标定得到的反射镜10与镜头11之间的距离、夹角等位置关系来确定。

如图1C所示，图像传感器12的左部分对第一组反射镜10反射的光线成像，图像传感器12的右部分对第二组反射镜10反射的光线成像，但是，图像传感器12在将图像发送至处理器13时，并不是将左部分所成的全部图像发送至处理器13，可以将第五部分发送至处理器13；同理，图像传感器12在将图像发送至处理器13时，并不是将右部分所成的全部图像发送至处理器13，可以将第六部分发送至处理器13。

本发明实施例中，可选地，智能设备100为智能扫地机，当然，智能扫地机为一种示例，并不限定于此。

前面描述的是智能设备100，下面对智能设备100输出深度图像的方法进行简单描述。

参阅图2A所示，本发明实施例中，提出一种输出深度图像的方法200，应用于上面所描述的智能设备100，包括：

步骤20：所述反射镜10将采集到的光线反射至所述镜头11上；

步骤21：所述镜头11将所述反射镜10反射的光线发送至所述图像传感器12；

步骤22：所述图像传感器12将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器13；

步骤23：所述处理器13根据所述图像输出深度图。

本发明实施例中，进一步的，所述镜头11将所述反射镜10反射的光线发送至所述图像传感器12之前，还可以进行标定操作。

其中，进行标定操作时，可选地，可以采用如下操作：

所述镜头11将所述镜头11等效成两个虚拟相机，并将所述两个虚拟相机中的每一个相机的内部参数均设置为所述镜头11的内部参数。这样，同一标定物在该智能设备100处呈两处投影，这等价于该智能设备100拍摄空间中两个相对位置固定的标定物，进而通过一组标定物的图像可以标定出两个虚拟相机的内部参数，进一步的，也可以标定出两个虚拟相机的外部参数。

其中，可选地，内部参数包括焦距、光心、畸变系数中的至少一种。

其中，焦距可以指虚拟相机光心到成像平面的距离；光心可以指虚拟相机光心在成像平面上的投影，通常在图像中心附近。

可选地，畸变系数又包括径向畸变和切向畸变。

需要说明的是，虚拟相机还包括外部参数。

本发明实施例中，两个虚拟相机的成像平面并可能处于不同的平面，此时，为了提高输出的深度图像的准确度，可以将图像进行矫正，具体为，将虚拟相机拍摄得到的两幅图片的成像平面处于同一平面，因此，本发明实施例中，所述处理器13处理所述图像输出深度图，包括：

所述处理器13将所述图像进行矫正，并将矫正后的图像进行立体匹配；

所述处理器13将进行立体匹配后的图像进行处理，输出深度图。

图2B为矫正之前的两幅图，左半部分的图片和右半部分的图片的应该完全对应，但是，左半部分的图片中的M区域的凳子底部和右半部分的图片中的M区域的凳子底部并不完全对应，具体见图2C中对该对比部分的放大图，经过矫正之后，左半部分的图片中的M区域的凳子底部和右半部分的图片中的M区域的凳子底部完全对应，具体见图2D中对该对比部分的放大图。

本发明实施例中，所述处理器13将所述图像进行矫正时，可选地，可以采用如下方式：

所述处理器13将所述两个虚拟相机进行旋转，使得所述两个虚拟相机对齐。

本发明实施例中，所述处理器13将所述两个虚拟相机进行旋转时，可选地，可以采用如下方式：

所述处理器13确定所述第一组反射镜10和所述第二组反射镜10之间的第一相对位置关系；

所述处理器13根据所述第一相对位置关系确定所述两个虚拟相机之间的第二相对位置关系；

所述处理器13根据所述第二相对位置关系将所述两个虚拟相机进行旋转。

本发明实施例中，可选地，可以在标定过程中得到第一相对位置关系和第二相对位置关系。

在此提供的方法和装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的若干模块组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者模块中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个装置实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种智能设备，包括反射镜、镜头、图像传感器和处理器，其中：

所述反射镜，用于将采集到的光线反射至所述镜头上；

所述镜头，用于将所述反射镜反射的光线发送至所述图像传感器；

所述图像传感器，用于将接收到的光线进行成像处理得到图像，并将所述图像发送至所述处理器；

所述处理器，用于根据所述图像输出深度图。

2.如权利要求1所述的设备，所述反射镜包括第一组反射镜和第二组反射镜。

3.如权利要求2所述的设备，所述第一组反射镜包括第一反射镜和第二反射镜，所述第一反射镜和所述第二反射镜之间呈预设角度；

所述第二组反射镜包括第三反射镜和第四反射镜，所述第三反射镜和所述第四反射镜之间呈预设角度。

4.如权利要求3所述的设备，所述第一反射镜，用于将采集到的光线反射至所述第二反射镜；

所述第二反射镜，用于将接收到的光线反射至所述镜头的第一部分。

5.如权利要求4所述的设备，所述图像传感器的第三部分对所述镜头的第一部分接收到的光线成像。

6.如权利要求5所述的设备，所述镜头的第一部分为所述镜头的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器的第三部分为所述图像传感器的左部分、右部分、上部分及下部分中的至少一种。

7.如权利要求3所述的设备，所述第三反射镜，用于将采集到的光线反射至所述第四反射镜；

所述第四反射镜，用于将接收到的光线反射至所述镜头的第二部分。

8.如权利要求7所述的设备，所述图像传感器的第四部分对所述第二部分的光线成像。

9.如权利要求8所述的设备，所述镜头的第二部分为所述镜头的左部分、右部分、上部分及下部分中的至少一种；

所述图像传感器的第四部分为所述图像传感器的左部分、右部分、上部分及下部分中的至少一种。

10.如权利要求1-9任一项所述的设备，所述镜头处于所述反射镜的下方，所述图像传感器处于所述镜头的正下方；或者

所述镜头处于所述反射镜的上方，所述图像传感器处于所述镜头的正上方；或者

所述镜头处于所述反射镜的左方，所述图像传感器处于所述镜头的正左方；或者

所述镜头处于所述反射镜的右方，所述图像传感器处于所述镜头的正右方。