CN112672137A - 获取深度图像的方法、结构光系统以及一种电子装置 - Google Patents

Abstract

本发明提供一种获取深度图像的方法、结构光系统以及一种电子装置，所述结构光系统包括：投影器，用于向拍摄场景发射可见光；至少一个RGB图像传感器，用于采集拍摄场景图像；图像处理芯片，分别与所述投影器和所述RGB图像传感器相连，用于控制所述投影器和所述RGB图像传感器工作，并分别获取拍摄场景有所述投影器发射的可见光时的第一帧场景图像和拍摄场景在没有所述投影器发射的可见光时的第二帧场景图像，根据所述第一帧场景图像和第二帧场景图像获取深度图像。本发明中结构光系统采用单个RGB图像传感器作为图像获取装置，图像处理芯片处理获得的RGB图像传感器采集的有可见光时和无可见光时的两帧图像，最终获得深度图像。

Description

获取深度图像的方法、结构光系统以及一种电子装置

技术领域

本发明涉及图像处理领域，特别是涉及深度图像处理技术领域，具体为一种获取深度图像的方法、结构光系统以及一种电子装置。

背景技术

现在大量的移动设备都配备有RGB camera，比如手机或者平板。为了使这些移动设备能够获得深度信息的图像，需要增加一个或者两个结构光camera，以及一个投影装置。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种获取深度图像的结构光系统，所述获取深度图像的结构光系统包括：投影器，用于向拍摄场景发射可见光；至少一个RGB图像传感器，用于采集拍摄场景图像；图像处理芯片，分别与所述投影器和所述RGB图像传感器相连，用于控制所述投影器和所述RGB图像传感器工作，并分别获取拍摄场景有所述投影器发射的可见光时的第一帧场景图像和拍摄场景在没有所述投影器发射的可见光时的第二帧场景图像，根据所述第一帧场景图像和第二帧场景图像获取深度图像。

于本发明的一实施例中，所述图像处理芯片包括控制单元和图像获取单元；所述控制单元在控制所述投影器向拍摄场景发射可见光，控制所述RGB图像传感器采集当前拍摄场景图像时，所述图像获取单元获取所述第一帧场景图像；所述控制单元在控制所述投影器停止向拍摄场景发射可见光，控制所述RGB图像传感器采集当前拍摄场景图像时，所述图像获取单元获取所述第二帧场景图像。

于本发明的一实施例中，所述图像处理芯片还包括：图像处理单元，与所述图像获取单元，用于将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

于本发明的一实施例中，所述图像处理芯片还包括：参考图获取单元和深度图获取单元；所述参考图获取单元，用于获取预设固定距离下的场景图像，并将该场景图像作为参考图像；所述深度图获取单元，分别与所述图像处理单元和所述参考图获取单元相连，用于将所述中间处理图像与所述参考图像匹配，获取深度图像。

于本发明的一实施例中，所述图像处理芯片与应用处理单元相连，将从所述RGB图像传感器获取的图像和/或深度图像传输至所述应用处理单元。

于本发明的一实施例中，所述投影器向拍摄场景发射的可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

于本发明的一实施例中，所述投影器使用三基色分离的三个独立光源并置于相对RGB图像传感器的不同位置。

于本发明的一实施例中，所述RGB图像传感器的数量为两个。

本发明的实施例还提供一种电子装置，包括如上所述的结构光系统。

本发明的实施例还提供一种获取深度图像的方法，所述获取深度图像的方法包括：向拍摄场景发射可见光；分别采集拍摄场景有可见光时的第一帧场景图像和拍摄场景在没有投影器发射的可见光时的第二帧场景图像；根据所述第一帧场景图像和第二帧场景图像获取深度图像。

于本发明的一实施例中，所述获取深度图像的方法还包括：将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

于本发明的一实施例中，所述根据所述第一帧场景图像和第二帧场景图像获取深度图像的一种实现方式包括：将所述中间处理图像与参考图像匹配，获取深度图像。

于本发明的一实施例中，所述获取深度图像的方法还包括：获取预设固定距离下的场景图像，并将该场景图像作为所述参考图像。

于本发明的一实施例中，所述可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

于本发明的一实施例中，所述可见光包括三基色分离的三束可见光并分别于不同方向向拍摄场景发射。

如上所述，本发明的获取深度图像的方法、结构光系统以及一种电子装置具有以下有益效果：

本发明中结构光系统采用单个或两个RGB图像传感器作为图像获取装置，结构光系统中RGB图像传感器既作为结构光图像传感器，同时也作为一般的图像传感器功能，图像处理芯片处理获得的RGB图像传感器采集的有可见光时和无可见光时的两帧图像，最终获得深度图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为结构光系统采用双结构光图像传感器的硬件剖面简化图。

图2显示为结构光系统采用双结构光图像传感器的系统连接示意图。

图3显示为结构光系统采用单结构光图像传感器的系统连接示意图。

图4显示为本发明的获取深度图像的单结构光系统的整体原理结构示意图。

图5显示为本发明的获取深度图像的单结构光系统的硬件剖面简化图。

图6和图7显示为本发明的获取深度图像的结构光系统中深度图像的原理示意图。

图8显示为本发明的获取深度图像的结构光系统中图像处理芯片的原理结构图。

图9显示为本发明的获取深度图像的结构光系统中获取参考图像的示意图。

图10显示为本发明的获取深度图像的结构光系统的系统连接示意图。

图11显示为本发明的获取深度图像的双结构光系统的整体原理结构示意图。

图12显示为本发明的获取深度图像的双结构光系统的硬件剖面简化图。

图13显示为本发明的获取深度图像的方法的流程示意图。

元件标号说明

100 结构光系统

110 投影器

120 RGB图像传感器

130 图像处理芯片

131 控制单元

132 图像获取单元

133 图像处理单元

134 参考图获取单元

135 深度图获取单元

140 RGB图像传感器

200 应用处理单元

S110～S130 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图13。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

在3D计算机图形中，Depth Map(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

传统的结构光系统，投影设备发出的光一般是红外光，为了提高信噪比，接收设备会加上带通滤波器，使得图像传感器(camera)只接收红外波段的光线，这样可见光就会被过滤，无法被图像传感器(camera)接收。过滤可见光的结构光图像传感器(camera)由于不能获得可见光，所以需要额外增加上一个RGB图像传感器(camera)来获得现实的实际场景。

结构光系统常见的方案是RGB-D的组合，即RGB图像传感器(RGB camera)加上至少一个深度图像传感器(camera)。主流的深度图像传感器(camera)包括TOF图像传感器(camera)和结构光图像传感器(camera)。

另外，结构光系统还需要一个投影器(projector)投射出具有一种或者多种pattern的结构光。也就是说，结构光系统除了有能够被动接收光线的camera，同时还有一个能够主动发射某种pattern光线的投影器。被动接受光线的结构光系统在计算场景深度的时候，对于弱纹理区域和暗光区域，由于缺少必要的特征，深度计算只能靠猜测。而通过主动发射光线的结构光系统，对于弱纹理区域和暗光区域，相当于增加了可以预测的特征，使得深度计算更加可靠，这是主动发射光线的结构光系统相对被动接收外界光线的结构光系统的优势。

已经商业化结构光系统能够测量的深度范围大概在200-5000mm之间，主要应用在室内环境。目前的移动设备只需要在原有的系统基础上，增加少量的硬件就可以组建一套结构光系统。

RGB图像传感器(RGB camera)因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。TOF图像传感器(camera)深度图分辨率很难提高，一般都达不到VGA(640x480)分辨率，而结构光图像传感器(camera)的分辨率在较近使用范围内，结构光图像传感器(camera)的分辨率会大大高于TOF图像传感器(camera)，而且TOF图像传感器(camera)是激光全面照射，而结构光图像传感器(camera)是只照射其中局部区域，比如PrimeSense的伪随机散斑图案，只覆盖了不到十分之一的空间。另外，TOF图像传感器(camera)发射的是高频调制脉冲，而结构光图像传感器(camera)投射图案并不需要高频调制，所以结构光图像传感器(camera)的功耗要比TOF图像传感器(camera)低很多。

例如，结构光系统包含一个RGB图像传感器(RGB camera)和两个结构光图像传感器(双结构光图像传感器(camera))。此时，结构光系统采用双结构光图像传感器的硬件剖面简化图参见图1。如图1所示，一般RGB图像传感器(RGB camera)和投影器放在两个结构光图像传感器(结构光camera)中间，RGB camera尽量和其中一个结构光camera靠近。RK1608作为图像处理芯片，处理从摄像头获得的图像，计算获得最终的深度图。

采用双结构光图像传感器的结构光系统连接参见图2。如图2所示，RK1608获得三个图像传感器(camera，camera1，camera2)的图像数据，其中两个为结构光图像传感器(camera1和camera2)，投影器(projector)位于一侧。RK1608通过一定的算法计算最终获得深度图和RGB图像和深度图的对应关系，RK1608作为图像处理芯片根据具体的应用，将所需数据发给后一级的应用处理单元(AP)。

图3所示为一个RGB图像传感器(camera)，一个结构光图像传感器(camera1)和投影器(projector)的连接方式，获得深度图的算法和两个结构光camera的算法略有不同，但基本原理类似。

由上可见，许多结构光系统除了需要RGB图像传感器和投影器之外，还需要配置一个或两个结构光图像传感器。

本实施例的目的在于提供一种获取深度图像的方法、结构光系统以及一种电子装置，用于优化结构光系统中获得深度图像除了需要RGB图像传感器和投影器之外，还需要配置一个或两个结构光图像传感器的问题。以下将详细阐述本发明的获取深度图像的方法、结构光系统以及一种电子装置的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的获取深度图像的方法、结构光系统以及一种电子装置。

图4为本实施例涉及的获取深度图像的结构光系统的实施例示意图。具体地，如图4所示，所述获取深度图像的结构光系统应用于一电子装置中，例如应用于智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子装置。

实施例1

具体地，如图4所示，所述获取深度图像的结构光系统100包括：投影器110，RGB图像传感器120和图像处理芯片130。即本实施例中，一个投影器110、一个RGB图像传感器120和一个图像处理芯片130组成一个结构光系统100。具体的，所述结构光系统100中，不包含任何结构光图像传感器，也不需要利用结构光图像传感器所生成的图像。

其中，投影器110，RGB图像传感器120和图像处理芯片130的硬件剖面简化图(位置布局)如图5所示，在图5中，RGB camera即表示RGB图像传感器120，图像处理芯片130例如采用RK1608处理芯片。本实施例中其它附图中的RK1608也即表示图像处理芯片130，后续不再赘述。

于本实施例中，所述投影器110用于向拍摄场景发射可见光。所述投影器110投射的光线为可见光，可以被普通的RGB图像传感器120接收。

具体地，所述投影器110向拍摄场景发射的可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

优选地，所述投影器使用三基色分离的三个独立光源并置于相对RGB图像传感器的不同位置。通过不同颜色通道计算出不同的深度进行信息互补，可以使得使用单个RGB图像传感器获取到更准确的结果并改善遮盖区域的深度信息缺失问题。

于本实施例中，所述RGB图像传感器120用于采集拍摄场景图像。本实施例中，结构光系统100仅采用单个RGB图像传感器120作为图像获取装置。

在目前的移动设备，只需要增加一个能够发射一种或者多种固定模式的可见光投影器110即可，结构光图像传感器由移动设备自带的RGB图像传感器120替代。

于本实施例中，投影器110和RGB图像传感器120要进行极线校正，极线校正方法的方法可采用任一种方法，本实施例不做具体限定。

于本实施例中，结构光系统100获取深度图像的原理如下：

投影器110发出某种预先设定模式的光线，照在前方物体上，RGB图像传感器120拍摄到对应点。如图6所示，投影器110的一个投影点Pa是投影光线的一个编码，整个投影光被投影到场景中，Pa点被投影在场景的P点上，RGB图像传感器120获得景物图像，P点在RGB图像传感器120的图像C中用Pc表示。由此可知，投影器110的Pa点在图像C中的对应点是Pc。

投影器110和RGB图像传感器120都进行了极线校正，所以Pa和Pc在同一条极线上。在极线方向上，物体上的点P在图像C上的位置不同，代表了点P的不同深度。所以在图像C中找到点P所在像素位置，就可以获得点P的相对深度。如图7所示，随着场景点A相对结构光设备的距离不同，图像C对应的Pc点的位置也会不同，比如三个不同距离的P1，P2，P3点对应的C图像的位置分别Pc1，Pc2，Pc3。

于本实施例中，所述图像处理芯片130分别与所述投影器110和所述RGB图像传感器120相连，用于控制所述投影器110和所述RGB图像传感器120工作，并分别获取拍摄场景有所述投影器110发射的可见光时的第一帧场景图像，和拍摄场景在没有所述投影器110发射的可见光时的第二帧场景图像，根据所述第一帧场景图像和第二帧场景图像获取深度图像。

具体地，如图8所示，于本实施例中，所述图像处理芯片130包括控制单元131和图像获取单元132。所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的方式为所述图像处理芯片130分别直接向控制所述投影器110和所述RGB图像传感器120传递控制信号，直接控制所述投影器110和所述RGB图像传感器120。具体控制方式如下：

所述控制单元131分别控制所述投影器110向拍摄场景发射可见光，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第一帧场景图像；所述控制单元131分别控制所述投影器110停止向拍摄场景发射可见光，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第二帧场景图像。

也就是说，所述图像处理芯片130计算一帧深度图像，需要RGB图像传感器拍摄两帧的图像，一帧是场景光线加投影器110投射的光线混合的图像(即第一帧场景图像)，一帧是只有场景光线的图像(即第二帧场景图像)。

于本实施例中，如图8所示，所述图像处理芯片130还包括：图像处理单元133，与所述图像获取单元132，用于将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

即通过两帧图像相减来获得中间处理图像。

其中，将所述第一帧场景图像和所述第二帧场景图像相减的实现方式可以采用任一种，本实施例不做具体限定。例如通过帧间差分法将所述第一帧场景图像和所述第二帧场景图像相减获得中间处理图像。

通过比较第一帧场景图像和所述第二帧场景图像对应像素点灰度值的不同，通过两帧相减，检测出两帧图像中发生变化的区域，该方法是对两帧图像进行差分，然后二值化该灰度差分图像来提取变化信息。由帧间变化区域检测分割得到的图像，区分出背景区域和深度变化区域。

于本实施例中，如图8所示，所述图像处理芯片130还包括：参考图获取单元134和深度图获取单元135。

所述参考图获取单元134用于获取预设固定距离下的场景图像，并将该场景图像作为参考图像。

获取深度图像需要参考的对象图像，如图9所示，参考图像是预先存好的固定距离拍摄的图像，如图9所示，参考距离为dref。用投影器110向拍摄场景发射可见光，所述RGB图像传感器拍摄距离为dref的平面场景，并存储这个图像作为参考图像。

所述深度图获取单元135分别与所述图像处理单元133和所述参考图获取单元134相连，用于将所述中间处理图像与所述参考图像匹配，获取深度图像。

即中间处理图像和预先保存的参考图像进行匹配，最终获得深度图像。

例如，将所述中间处理图像与所述参考图像匹配，获取深度图像的一种实现方式为：中间处理图像的某个像素在参考图像中寻找对应匹配点，匹配方式可以使用互相关分析，分析的范围和图像块大小要根据具体场景发生改变。分析确定相关性最大的点为匹配点，获得匹配点的位置，可以计算中间处理图像当前处理像素和对应匹配点位置的偏移量，然后将偏移位置信息根据标定参数转化为深度值。中间处理图像的每个像素根据以上处理转化为最终深度图像。

于本实施例中，如图10所示，所述图像处理芯片130与应用处理单元200相连，将从所述RGB图像传感器120获取的图像和/或深度图像传输至所述应用处理单元200。

如图10所示，根据具体的应用可以将深度图像和RGB传感器的图像传给后一级应用处理单元200(AP)。

应用处理单元200可为应用处理器(Application Processor，简称AP)、中央处理器(Central Processing Unit，简称CPU)、或者系统芯片(System on Chip，简称SoC)。

实施例2

于本实施例与实施例1的区别在于，所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的方式不同。

于本实施例中，所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的方式为：所述图像处理芯片130控制所述投影器110，通过所述投影器110传递控制信号给所述RGB图像传感器120，间接控制所述RGB图像传感器120。具体控制方式如下：

所述控制单元131控制所述投影器110向拍摄场景发射可见光，并通过投影器传递第一控制信号至所述RGB图像传感器120，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第一帧场景图像；所述控制单元131再控制所述投影器110停止向拍摄场景发射可见光，并通过投影器传递第二控制信号至所述RGB图像传感器120，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第二帧场景图像。

本实施例中其它结构和控制方式与实施例1相同，在此不再赘述。

实施例3

于本实施例与实施例1的区别在于，所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的方式不同。

于本实施例中，所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的方式为：所述图像处理芯片130控制所述RGB图像传感器120，通过所述RGB图像传感器120传递控制信号给所述投影器110，间接控制所述投影器110。具体控制方式如下：

所述控制单元131向所述RGB图像传感器120发送第一控制信号，并由所述RGB图像传感器120传递第一控制信号给所述投影器110，所述投影器110向拍摄场景发射可见光，所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第一帧场景图像；所述控制单元131再向所述RGB图像传感器120发送第二控制信号，并由所述RGB图像传感器120传递第二控制信号给所述投影器110，所述投影器110停止向拍摄场景发射可见光，所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像获取单元132获取所述第二帧场景图像。

本实施例中其它结构和控制方式与实施例1相同，在此不再赘述。

实施例4

如图11所示，于本实施例中，所述获取深度图像的结构光系统100包括：投影器110，RGB图像传感器120、RGB图像传感器140和图像处理芯片130。即本实施例中，一个投影器110、两个RGB图像传感器(RGB图像传感器120和RGB图像传感器140)和一个图像处理芯片130组成一个结构光系统100。

因为单RGB图像传感器的结构光在强光环境下下，信噪比低，也就是结构光的结构信息会被强光淹没，这时候结构光失效，双RGB图像传感器在结构光失效的时候可以继续获得场景深度。同时结构光又能克服双RGB图像传感器无法解决弱纹理区域重复纹理区域深度检测的问题。结构光和双RGB图像传感器功能互补可以获得更好实景对应的高分辨率深度图像，并与场景图像可以做到更精确的对应。

针对常见的普通双RGB图像传感器的移动设备，只需要增加一个可见光投影器110就可以组成一个完整的结构光系统，不需要增加额外的结构光图像传感器。

双RGB图像传感器的结构光系统连接参见图12。于本实施例中，所述获取深度图像的结构光系统100使用两个RGB图像传感器作为图像获取装置。图像处理芯片130(RK1608)处理获得的RGB图像传感器的图像，最终获得深度图。根据具体的应用可以将深度和RGB信息传给后一级AP。

其中，本实施例中，投影器110，RGB图像传感器140和图像处理芯片130的结构和功能与实施例1、实施例2或实施例3中投影器110，RGB图像传感器140和图像处理芯片130的结构和功能相同，在此不再赘述。

实施例5

本实施例提供一种电子装置，包括如实施1至实施例4任一个所述的结构光系统100。上述已经对结构光系统100进行了详细说明，在此不再赘述。其中，所述电子装置例如为智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子装置。

实施例6

如图13所示，本发明的实施例还提供一种获取深度图像的方法，所述获取深度图像的方法包括：

步骤S110，向拍摄场景发射可见光。

于本实施例中，利用投影器110用于向拍摄场景发射可见光。所述投影器110投射的光线为可见光，可以被普通的RGB图像传感器120接收。

具体地，所述可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

优选地，所述可见光包括三基色分离的三束可见光并分别于不同方向向拍摄场景发射。通过不同颜色通道计算出不同的深度进行信息互补，可以使得使用单个RGB图像传感器获取到更准确的结果并改善遮盖区域的深度信息缺失问题。

步骤S120，分别采集拍摄场景有可见光时的第一帧场景图像和在没有投影器发射的可见光时的第二帧场景图像。

于本实施例中，通过一个或两个RGB图像传感器120分别采集拍摄场景有可见光时的第一帧场景图像和在没有投影器发射的可见光时的第二帧场景图像。

于实施例中，采用单个RGB图像传感器120或者RGB图像传感器120和RGB图像传感器140作为图像获取装置。

在目前常见的单RGB图像传感器的移动设备，只需要增加一个能够发射一种或者多种固定模式的可见光投影器110即可，不需要增加额外的结构光图像传感器。结构光图像传感器由移动设备自带的RGB图像传感器120替代。而针对常见的普通双RGB图像传感器的移动设备，只需要增加一个可见光投影器110也可以组成一个完整的结构光系统，也是不需要增加额外的红外图像传感器(即结构光图像传感器)。

需要说明的是，因为单RGB图像传感器的结构光在强光环境下下，信噪比低，也就是结构光的结构信息会被强光淹没，这时候结构光失效，双RGB图像传感器在结构光失效的时候可以继续获得场景深度。同时结构光又能克服双RGB图像传感器无法解决弱纹理区域重复纹理区域深度检测的问题。结构光和双RGB图像传感器功能互补可以获得更好实景对应的高分辨率深度图像，并与场景图像可以做到更精确的对应。

步骤S130，根据所述第一帧场景图像和第二帧场景图像获取深度图像。

于本实施例中，通过分别与所述投影器110和所述RGB图像传感器120相连的一图像处理芯片130用于控制所述投影器110和所述RGB图像传感器120工作，并分别获取拍摄场景有所述投影器110发射的可见光时的第一帧场景图像和拍摄场景在没有所述投影器110发射的可见光时的第二帧场景图像，根据所述第一帧场景图像和第二帧场景图像获取深度图像。

所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的第一种方式为：所述图像处理芯片130分别直接向控制所述投影器110和所述RGB图像传感器120传递控制信号，直接控制所述投影器110和所述RGB图像传感器120。具体控制方式如下：

所述图像处理芯片130分别控制所述投影器110向拍摄场景发射可见光，控制所述RGB图像传感器120采集当前拍摄场景图像，然后从所述RGB图像传感器120获取所述第一帧场景图像；所述图像处理芯片130分别控制所述投影器110停止向拍摄场景发射可见光，控制所述RGB图像传感器120采集当前拍摄场景图像，所述图像获取单元132获取所述第二帧场景图像。

所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的第二种方式为：

所述图像处理芯片130控制所述投影器110，通过所述投影器110传递控制信号给所述RGB图像传感器120，间接控制所述RGB图像传感器120。具体控制方式如下：

所述图像处理芯片130控制所述投影器110向拍摄场景发射可见光，并通过投影器传递第一控制信号至所述RGB图像传感器120，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像处理芯片130获取所述第一帧场景图像；所述图像处理芯片130控制所述投影器110停止向拍摄场景发射可见光，并通过投影器传递第二控制信号至所述RGB图像传感器120，控制所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像处理芯片130获取所述第二帧场景图像。

所述图像处理芯片130控制所述投影器110和所述RGB图像传感器120的第三种方式为：

所述图像处理芯片130控制所述RGB图像传感器120，通过所述RGB图像传感器120传递控制信号给所述投影器110，间接控制所述投影器110。具体控制方式如下：

所述图像处理芯片130向所述RGB图像传感器120发送第一控制信号，并由所述RGB图像传感器120传递第一控制信号给所述投影器110，所述投影器110向拍摄场景发射可见光，所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像处理芯片130获取所述第一帧场景图像；所述图像处理芯片130向所述RGB图像传感器120发送第二控制信号，并由所述RGB图像传感器120传递第二控制信号给所述投影器110，所述投影器110停止向拍摄场景发射可见光，所述RGB图像传感器120采集当前拍摄场景图像，然后所述图像处理芯片130获取所述第二帧场景图像。

也就是说，所述图像处理芯片130计算一帧深度图像，需要RGB图像传感器拍摄两帧的图像，一帧是场景光线加投影器110投射的光线混合的图像(即第一帧场景图像)，一帧是只有场景光线的图像(即第二帧场景图像)。

于本实施例中，所述获取深度图像的方法还包括：将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

即通过两帧图像相减来获得中间处理图像。

其中，将所述第一帧场景图像和所述第二帧场景图像相减的实现方式可以采用任一种，本实施例不做具体限定。例如通过帧间差分法将所述第一帧场景图像和所述第二帧场景图像相减获得中间处理图像。

通过比较第一帧场景图像和所述第二帧场景图像对应像素点灰度值的不同，通过两帧相减，检测出两帧图像中发生变化的区域，该方法是对两帧图像进行差分，然后二值化该灰度差分图像来提取变化信息。由帧间变化区域检测分割得到的图像，区分出背景区域和深度变化区域。

具体地，于本实施例中，所述根据所述第一帧场景图像和第二帧场景图像获取深度图像的一种实现方式包括：将所述中间处理图像与参考图像匹配，获取深度图像。

于本实施例中，所述获取深度图像的方法还包括：获取预设固定距离下的场景图像，并将该场景图像作为所述参考图像。

获取深度图像需要参考的对象图像，如图9所示，参考图像是预先存好的固定距离拍摄的图像，如图9所示，参考距离为dref。用投影器110投影并拍摄距离为dref的平面场景，存储这个图像作为参考图像。然后将中间处理图像和预先保存的参考图像进行匹配，最终获得深度图像。

具体地，将所述中间处理图像与所述参考图像匹配，获取深度图像的一种实现方式为：中间处理图像的某个像素在参考图像中寻找对应匹配点，匹配方式可以使用互相关分析，分析的范围和图像块大小要根据具体场景发生改变。分析确定相关性最大的点为匹配点，获得匹配点的位置，可以计算中间处理图像当前处理像素和对应匹配点位置的偏移量，然后将偏移位置信息根据标定参数转化为深度值。中间处理图像的每个像素根据以上处理转化为最终深度图像。

于本实施例中，如图10所示，所述图像处理芯片130与应用处理单元200相连，将从所述RGB图像传感器120获取的图像和/或深度图像传输至所述应用处理单元200。

根据具体的应用可以将深度图像和RGB传感器的图像传给后一级应用处理单元200。

应用处理单元200可为应用处理器(Application Processor,简称AP)、中央处理器(Central Processing Unit，简称CPU)、或者系统芯片(System on Chip，简称SoC)。

综上所述，本发明中结构光系统采用单个或两个RGB图像传感器作为图像获取装置，结构光系统中RGB图像传感器既作为结构光图像传感器，同时也作为一般的图像传感器功能，图像处理芯片处理获得的RGB图像传感器采集的有可见光时和无可见光时的两帧图像，最终获得深度图像。本发明避免了结构光系统中获取深度图除了需要单个RGB图像传感器之外，还需要结构光图像的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种获取深度图像的结构光系统，其特征在于，所述获取深度图像的结构光系统包括：

投影器，用于向拍摄场景发射可见光；

至少一个RGB图像传感器，用于采集拍摄场景图像；

图像处理芯片，分别与所述投影器和所述RGB图像传感器相连，用于控制所述投影器和所述RGB图像传感器工作，并分别获取拍摄场景有所述投影器发射的可见光时的第一帧场景图像和拍摄场景在没有所述投影器发射的可见光时的第二帧场景图像，根据所述第一帧场景图像和第二帧场景图像获取深度图像。

2.根据权利要求1所述的获取深度图像的结构光系统，其特征在于，所述图像处理芯片包括控制单元和图像获取单元；

所述控制单元在控制所述投影器向拍摄场景发射可见光，控制所述RGB图像传感器采集当前拍摄场景图像时，所述图像获取单元获取所述第一帧场景图像；

所述控制单元在控制所述投影器停止向拍摄场景发射可见光，控制所述RGB图像传感器采集当前拍摄场景图像时，所述图像获取单元获取所述第二帧场景图像。

3.根据权利要求2所述的获取深度图像的结构光系统，其特征在于，所述图像处理芯片还包括：图像处理单元，与所述图像获取单元，用于将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

4.根据权利要求3所述的获取深度图像的结构光系统，其特征在于，所述图像处理芯片还包括：参考图获取单元和深度图获取单元；

所述参考图获取单元，用于获取预设固定距离下的场景图像，并将该场景图像作为参考图像；

所述深度图获取单元，分别与所述图像处理单元和所述参考图获取单元相连，用于将所述中间处理图像与所述参考图像匹配，获取深度图像。

5.根据权利要求1至4任一权利要求所述的获取深度图像的结构光系统，其特征在于，所述图像处理芯片与应用处理单元相连，将从所述RGB图像传感器获取的图像和/或深度图像传输至所述应用处理单元。

6.根据权利要求1所述的获取深度图像的结构光系统，其特征在于，所述投影器向拍摄场景发射的可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

7.根据权利要求1所述的获取深度图像的结构光系统，其特征在于，所述投影器使用三基色分离的三个独立光源并置于相对RGB图像传感器的不同位置。

8.根据权利要求1所述的获取深度图像的结构光系统，其特征在于，所述RGB图像传感器的数量为两个。

9.一种电子装置，其特征在于，包括如权利要求1至权利要求8任一权利要求所述的结构光系统。

10.一种获取深度图像的方法，其特征在于，所述获取深度图像的方法包括：

向拍摄场景发射可见光；

分别采集拍摄场景有可见光时的第一帧场景图像和拍摄场景在没有投影器发射的可见光时的第二帧场景图像；

根据所述第一帧场景图像和第二帧场景图像获取深度图像。

11.根据权利要求9所述的获取深度图像的方法，其特征在于，所述获取深度图像的方法还包括：

将所述第一帧场景图像和所述第二帧场景图像相减获取中间处理图像。

12.根据权利要求10所述的获取深度图像的方法，其特征在于，所述根据所述第一帧场景图像和第二帧场景图像获取深度图像的一种实现方式包括：

将所述中间处理图像与参考图像匹配，获取深度图像。

13.根据权利要求11所述的获取深度图像的方法，其特征在于，所述获取深度图像的方法还包括：

获取预设固定距离下的场景图像，并将该场景图像作为所述参考图像。

14.根据权利要求9所述的获取深度图像的方法，其特征在于，所述可见光为可见光谱的结构光，且该结构光具有预设的光斑排列模式。

15.根据权利要求9所述的获取深度图像的方法，其特征在于，所述可见光包括三基色分离的三束可见光并分别于不同方向向拍摄场景发射。

Images