CN107395974A - 图像处理系统及方法 - Google Patents

Abstract

本发明公开了一种图像处理系统及方法，其中，系统包括：第一结构光投射器用于向拍摄主体投射第一投影图案结构光；第二结构光投射器用于向拍摄主体投射第二投影图案结构光；摄像头用于拍摄第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过拍摄主体调制的第二结构光图像；图像信号处理器用于对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像。该系统所得到的目标图像更加真实地反映拍摄主体，拍摄效果佳、用户体验好。

Description

图像处理系统及方法

技术领域

本发明涉及信息处理技术领域，尤其涉及一种图像处理系统及方法。

背景技术

随着手机、平板等移动终端的拍照功能越来越强大，使用移动手机替代相机拍照的人也越来越多，在移动终端上配置高性能的图像处理系统能够提升拍照效果和确保良好的用户体验。

在目前的图像处理系统有一种是单摄像头的图像处理系统，相比双摄像头的图像处理系统，单摄像头的图像处理系统因为少一个摄像头，相应地，配置单摄像头的图像处理系统的移动终端厚度薄些。

然而，现有的单摄像头的图像处理系统的拍照性能不如双摄像头的图像处理系统的拍照性能，移动终端的制造厂商常常需要在移动终端的厚度和拍照性能做出择一选择。因此，如何提高单摄像头的图像处理系统的性能成为亟待解决的技术问题。

发明内容

本发明提供一种图像处理系统及方法，以解决现有技术中，图像处理系统的用户体验差的问题。

本发明实施例第一方面提供一种图像处理系统，包括：第一结构光投射器、第二结构光投射器、摄像头、图像信号处理器；所述摄像头与所述第一结构光投射器沿横向中心线依次排列，且与所述第二结构光投射器沿纵向中心线依次排列；所述第一结构光投射器，用于向拍摄主体投射第一投影图案结构光；所述第二结构光投射器，用于向拍摄主体投射第二投影图案结构光；所述摄像头，用于拍摄所述第一投影图案结构光经过所述拍摄主体调制的第一结构光图像，以及拍摄所述第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；所述图像信号处理器，用于对所述第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对所述第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据所述第一景深信息和所述第二景深信息进行图像融合以生成目标图像。

本发明实施例第二方面提供一种图像处理方法，包括：第一结构光投射器、第二结构光投射器、摄像头、图像信号处理器；所述摄像头与所述第一结构光投射器沿横向中心线依次排列，且与所述第二结构光投射器沿纵向中心线依次排列；所述第一结构光投射器向拍摄主体投射第一投影图案结构光；所述第二结构光投射器用于向拍摄主体投射第二投影图案结构光；所述摄像头拍摄所述第一投影图案结构光经过所述拍摄主体调制的第一结构光图像，以及拍摄所述第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；所述图像信号处理器对所述第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对所述第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据所述第一景深信息和所述第二景深信息进行图像融合以生成目标图像。

本发明实施例第三方面提供一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本发明第二方面实施例所述的图像处理方法。

本发明实施例第四方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第二方面实施例所述的图像处理方法。

本发明实施例提供的技术方案可以包括以下有益效果：

首先，第一结构光投射器向拍摄主体投射第一投影图案结构光；第二结构光投射器向拍摄主体投射第二投影图案结构光；接着，摄像头拍摄第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；最后，图像信号处理器对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像；所获得的目标图像更加真实地反映拍摄主体，拍摄效果佳、用户体验好。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例的图像处理系统的结构示意图；

图2是图1中的第一结构光投射器、第二结构光投射器、摄像头的排列示意图；

图3是本发明一实施例的图像处理方法的流程图；

图4是根据本发明一实施例的终端设备中的图像处理电路的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像处理系统和方法。其中，该图像处理系统可以集成到移动终端中。在介绍本发明实施例的图像处理系统之前，对结构光技术简要介绍。结构光技术就是使用提前设计好的具有特殊结构的图案(比如离散光斑、条纹光、编码结构光等)，然后将图案投影到三维空间物体表面上，使用成像装置如摄像头1110观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息。也就是说，当向现实世界中的物体投射某种投影图案的结构光时，某种投影图案的结构光在物体的表面上发生反射，由于现实世界中的物体都是三维的，被物体反射回来的结构光不再和反射前的结构光具有相同的图案，通过比较反射前的结构光的投影图案和反射后的结构光的变形图案，可以实现快速准确的获取现实世界中物体的三维空间信息，将结构光技术应用到拍摄场景中，拍摄到的图像成像质量好、精度高。

图1是本发明一实施例的图像处理系统的结构示意图。如图1所示，本实施例提供的图像处理系统，包括：第一结构光投射器1116、第二结构光投射器1117、摄像头1110、图像信号处理器1130。

图2是图1中的第一结构光投射器1116、第二结构光投射器1117、摄像头1110的排列示意图。参见图2，本实施例中的摄像头1110与第一结构光投射器1116沿横向中心线依次排列，且与第二结构光投射器1117沿纵向中心线依次排列。举例来说，摄像头1110、第一结构光投射器1116、第二结构光投射器1117以直角布置的形式设置在移动终端中，由于摄像头1110、第一结构光投射器1116、第二结构光投射器1117相互之间的间距直接影响成像质量，因此，严格按照移动终端的制造商对移动终端的拍照质量参数进行设置摄像头1110、第一结构光投射器1116、第二结构光投射器1117相互之间的间距。

具体地，第一结构光投射器1116，用于向拍摄主体投射第一投影图案结构光；第二结构光投射器1117，用于向拍摄主体投射第二投影图案结构光。第一投影图案可以和第二投影图案相同，也可以不同。举例来说，本实施例中的投影图案可以是激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。本实施例中的第一结构光投射器1116、第二结构光投射器1117可以投射出各种形状的投影图案结构光。举例来说，利用一个光源控制器、一个阵列光源便可设计出本实施例中的第一结构光投射器1116或第二结构光投射器1117，光源控制器能够根据选定的投影图案控制阵列光源中各个光源的发光状态，所有被点亮的光源发出的光线即为投影图案结构光。

在一种可能的实现方式中，第一结构光投射器1116包括第一光源控制器、第一阵列光源；第一光源控制器，用于根据第一投影图案控制第一阵列光源的每个光源的发光状态，发光状态包括：点亮状态和熄灭状态；第一阵列光源，用于发出第一投影图案结构光投射到拍摄主体上，第一投影图案结构光为全部点亮状态的光源发出的光线形成的结构光。

在一种可能的实现方式中，第二结构光投射器1117包括第二光源控制器、第二阵列光源；第二光源控制器,用于根据第二投影图案控制第二阵列光源的每个光源的发光状态，发光状态包括：点亮状态和熄灭状态；第二阵列光源,用于发出第二投影图案结构光投射到拍摄主体上，第二投影图案结构光为全部点亮状态的光源发出的光线形成的结构光。

具体地，现实世界中的物体千差万别，有的物体的表面形貌很凹凸不平，这时只要向物体投影图案比较简单的结构光，被物体调制回来的结构光也会有比较大的变形量，就可以确保目标图像的成像质量；有的物体的表面形貌很平整，这时需要向物体投影图案比较复杂的结构光，以保证被物体调制回来的结构光有比较大的变形量，确保目标图像的成像质量。相比利用不同的形状的光栅来形成不同各种形状的投影图案结构光，本实施例中利用光源控制器、阵列光源形成各种形状的投影图案结构光简单高效、控制简单，可以满足不同场景下的拍摄需求。优选地，阵列光源为LED(Light-Emitting Diode，发光二极管)阵列光源。LED(Light-Emitting Diode，发光二极管)阵列光源具有低功耗、高亮度、低热量、体积小、使用寿命长、环保、电压低等优势。当将LED(Light-Emitting Diode，发光二极管)阵列光源应用到本实施例中的第一结构光投射器1116或第二结构光投射器1117上时，能够制造出的小型化的第一结构光投射器1116或第二结构光投射器1117，相应地，当将第一结构光投射器1116或第二结构光投射器1117集成到移动终端时，不会占用太多的空间，满足移动终端越轻越薄的发展趋势。

其中，摄像头1110，用于拍摄所述第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过拍摄主体调制的第二结构光图像。

具体地，先开启第一结构光投射器1116向拍摄主体投射第一投影图案结构光，摄像头1110拍摄第一结构光图像，间隔设定时间开启第二结构光投射器1117向拍摄主体投射第二投影图案结构光，摄像头1110拍摄第二结构光图像。需要说明的是，控制第一结构光投射器1116、第二结构光投射器1117交替工作。举例来说，严格按照移动终端的制造商对移动终端的拍照质量参数进行控制第一结构光投射器1116、第二结构光投射器1117的开启时间和开启顺序。比如，控制第一结构光投射器1116、第二结构光投射器1117交替工作可以由图像信号处理器1130执行，无需额外增设专门的控制装置，进而不会额外增加移动终端的厚度。

由于第一结构光投射器1116、第二结构光投射器1117设置在摄像头1110的不同位置处，第一投影图案结构光从第一结构光投射器1116投射到拍摄主体上的光路和第一投影图案结构光从第一结构光投射器1116投射到拍摄主体上的光路存在差异，在通过控制摄像头1110、第一结构光投射器1116、第二结构光投射器1117相互之间的间距的基础上，可以实现整个拍摄主体都被利用结构光照射，后续再通过对第一结构光图像、第二结构光图像的图像处理，就能够实现所得到的目标图像更加真实地反映拍摄主体，利于提高拍摄效果及用户体验。优选地，第一投影图案结构光对应的第一投影图案与第二投影图案结构光对应的第二投影图案各不相同，相应地，被拍摄主体调制的第一投影图案结构光相对于第一投影图案的变形程度与被拍摄主体调制的第二投影图案结构光相对于第二投影图案的变形程度不同，所拍摄的第一结构光图像和所拍摄的第二结构光图像也会存在差异。相比只进行一次结构光投射拍摄主体或利用同一种投影图案的结构光投射拍摄主体，本实施例利用不同投影图案的结构光投射拍摄主体，可以消除偶然误差，后续再通过对第一结构光图像、第二结构光图像的图像处理，就能够实现所得到的目标图像更加真实地反映拍摄主体，利于提高拍摄效果及用户体验。

具体地，本实施例中的摄像头1110的类型不限，可以是广角摄像头1110、也可以是长焦摄像头1110。摄像头1110基本的成像原理为：摄像头1110内置的图像传感器接收被现实世界物体反射的光线，由于图像传感器为光学传感器，会将接收的被物体反射的光线转换成表征物体的电信号，对表征物体的电信号进行信息处理后输出物体图像。因此，本实施例中的第一结构光图像的形成过程大致为：利用第一结构光投射器1116向拍摄主体投射第一投影图案结构光，第一投影图案结构光在拍摄主体上发生反射(即第一投影图案结构光经过拍摄主体调制)，摄像头1110利用内置的图像传感器接收被拍摄主体反射回来的结构光,经过信息处理后输出第一结构光图像。相应地，本实施例中的第二结构光图像的形成过程大致为：利用第二结构光投射器1117向拍摄主体投射第二投影图案结构光，第二投影图案结构光在拍摄主体上发生反射(即第二投影图案结构光经过拍摄主体调制)，摄像头1110利用内置的图像传感器接收被拍摄主体反射回来的结构光,经过信息处理后输出第二结构光图像。

其中，图像信号处理器1130，用于对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像。

具体地，通过对结构光图像进行解调，通过计算投影图案的形变程度并利用三角几何原理可以获取拍摄主体的各点的深度值。利用结构光技术获取拍摄场景中各点的深度值参见现有技术，在此不在赘述。

前景指在拍摄主体前面的人物或景物，有烘托主体或直接帮助表达主题的作用，并能增强画面的空间深度，均衡和美化画面。本实施例中的前景阈值可以根据按照移动终端的制造商对移动终端的拍照质量参数进行设置，前景阈值可以设置多个，不同的前景阈值对应拍摄效果，可以满足不同用户的拍摄需求。举例来说，用户选定了一个前景阈值，那么深度值大于前景阈值的拍摄画面都会出现在呈现在最终的目标图像中，呈现在最终的目标图像有：拍摄主体以及在拍摄主体前面深度值大于前景阈值的人物或景物。

后景是指靠近拍摄主体后面的人物或景物，使画面产生多层景物的造型效果，增强空间深度感。本实施例中的后景阈值可以根据按照移动终端的制造商对移动终端的拍照质量参数进行设置，后景阈值可以设置多个，不同的后景阈值对应拍摄效果，可以满足不同用户的拍摄需求。举例来说，用户选定了一个后景阈值，那么深度值小于后景阈值的拍摄画面都会出现在呈现在最终的目标图像中，呈现在最终的目标图像中有：拍摄主体以及在拍摄主体后面深度值小于后景阈值的人物或景物。

具体地，景深信息是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。简而言之，在聚焦完成后，在焦点前后的范围内都能形成清晰的像，这一前一后的距离范围便是景深信息。在一般情况下，景深越大、前后景之间的距离越远，画面的纵深感就越强，越能增加影片中生活环境的多层次和整体感。在本实施例中，第一景深信息或第二景深信息对应的成像图像包括：拍摄主体、在拍摄主体前面深度值大于前景阈值的人物或景物以及在拍摄主体后面深度值小于后景阈值的人物或景物。本实施例通过深度值与前景阈值、后景阈值的比较，获取第一景深信息和第二景深信息来选取当前拍摄画面中的清晰的图像，这样，后续基于第一景深信息和第二景深信息所得到的目标图像成像质量好，拍摄效果佳。此外，还可以设置多个前景阈值、多个后景阈值，控制目标图像中的前景和后景，便于拍摄时的场面调度，可以满足不同用户的拍摄需求。

除通过控制所获取的第一景深信息和第二景深信息能确保最终的目标图像的清晰度之外，还需要保证根据第一结构光图像和第二结构光图像生成目标图像的重叠度高。进一步地，图像信号处理器1130具体用于：根据第一景深信息和第一景深信息确定图像重叠区信息；根据图像重叠区信息对第一结构光图像进行图像分割，得到第一重叠图像和第一非重叠图像；根据图像重叠区信息对第二结构光图像进行图像分割，得到第二重叠图像和第二非重叠图像；选取第一重叠图像和第二重叠图像进行图像融合以生成目标图像。需要说明的是，图像融合是图像处理中重要部分，能够协同利用同一场景的多种传感器图像信息，输出一幅更适合于人类视觉感知或计算机进一步处理与分析的融合图像。它可明显的改善单一传感器的不足，提高图像的清晰度及信息包含量，有利于更为准确、更为可靠、更为全面地获取目标或场景的信息。本实施例在先确定第一重叠图像和第二重叠图像之后再进行图像融合生成的目标图像具有更好的清晰度和重叠度，而能够尽可能地消除在图像融合过程的错位发生。

为了实现上述实施例，本发明还提出了一种图像处理方法，该方法的执行主体为图像处理系统。图像处理系统包括：第一结构光投射器1116、第二结构光投射器1117、摄像头1110、图像信号处理器1130；摄像头1110与第一结构光投射器1116沿横向中心线依次排列，且与第二结构光投射器1117沿纵向中心线依次排列。图3是本发明一实施例的图像处理方法的流程图，如图3所示，该方法包括：

步骤101、第一结构光投射器1116向拍摄主体投射第一投影图案结构光。

具体地，第一结构光投射器1116包括第一光源控制器、第一阵列光源；

第一光源控制器根据第一投影图案控制第一阵列光源的每个光源的发光状态，发光状态包括：点亮状态和熄灭状态；

第一阵列光源发出第一投影图案结构光投射到拍摄主体上，第一投影图案结构光为全部点亮状态的光源发出的光线形成的结构光。

步骤102、第二结构光投射器1117向拍摄主体投射第二投影图案结构光。

具体地，第二结构光投射器1117包括第二光源控制器、第二阵列光源；

第二光源控制器根据第二投影图案控制第二阵列光源的每个光源的发光状态，发光状态包括：点亮状态和熄灭状态；

第二阵列光源发出第二投影图案结构光投射到拍摄主体上，第二投影图案结构光为全部点亮状态的光源发出的光线形成的结构光。

步骤103、摄像头1110拍摄第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过拍摄主体调制的第二结构光图像。

步骤104、图像信号处理器1130对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像。

具体地，步骤104中的根据第一景深信息和第二景深信息进行图像融合以生成目标图像的可能的实现方式为：根据第一景深信息和第一景深信息确定图像重叠区信息；根据图像重叠区信息对第一结构光图像进行图像分割，得到第一重叠图像和第一非重叠图像；根据图像重叠区信息对第二结构光图像进行图像分割，得到第二重叠图像和第二非重叠图像；选取第一重叠图像和第二重叠图像进行图像融合以生成目标图像。

进一步地，第一投影图案和第二投影图案不同。

进一步地，图像信号处理器1130控制第一结构光投射器1116、第二结构光投射器1117交替工作。

关于本实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该系统的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供的图像处理方法，首先，第一结构光投射器1116向拍摄主体投射第一投影图案结构光；第二结构光投射器1117向拍摄主体投射第二投影图案结构光；接着，摄像头1110拍摄第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；最后，图像信号处理器1130对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像；所获得的目标图像更加真实地反映拍摄主体，拍摄效果佳、用户体验好。

为了实现上述实施例，本发明还提出了一种终端设备，上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图4是根据本发明一实施例的终端设备中的图像处理电路的结构示意图。如图4所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如4所示，图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140、第一结构光投射器1116、第二结构光投射器1117。成像设备(比如是摄像头)1110可包括具有一个或多个透镜1112、图像传感器1114。第一结构光投射器1116或第二结构光投射器1117将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1130，由ISP处理器1130对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1114也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器1130对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1130处理的一组原始图像数据。

ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器1130可进行一个或多个图像处理操作。

在ISP处理器1130获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器1120，以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1130的输出还可发送给图像存储器1120，且显示器1160可从图像存储器1120读取图像数据。在一个实施例中，图像存储器1120可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1130的输出可发送给编码器/解码器1150，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。

ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1110的控制参数。

以下为运用图4中图像处理技术实现图像处理方法的步骤：

步骤101，第一结构光投射器1116向拍摄主体投射第一投影图案结构光。

步骤102，第二结构光投射器1117向拍摄主体投射第二投影图案结构光。

步骤103，摄像头1110拍摄第一投影图案结构光经过拍摄主体调制的第一结构光图像，以及拍摄第二投影图案结构光经过拍摄主体调制的第二结构光图像。

步骤104，图像信号处理器1130对第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据第一景深信息和第二景深信息进行图像融合以生成目标图像。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的图像处理方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种图像处理系统，其特征在于，包括：第一结构光投射器、第二结构光投射器、摄像头、图像信号处理器；

所述摄像头与所述第一结构光投射器沿横向中心线依次排列，且与所述第二结构光投射器沿纵向中心线依次排列；

所述第一结构光投射器，用于向拍摄主体投射第一投影图案结构光；

所述第二结构光投射器，用于向拍摄主体投射第二投影图案结构光；

所述摄像头，用于拍摄所述第一投影图案结构光经过所述拍摄主体调制的第一结构光图像，以及拍摄所述第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；

所述图像信号处理器，用于对所述第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对所述第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据所述第一景深信息和所述第二景深信息进行图像融合以生成目标图像。

2.如权利要求1所述的系统，其特征在于，所述图像信号处理器具体用于：

根据第一景深信息和第一景深信息确定图像重叠区信息；

根据所述图像重叠区信息对所述第一结构光图像进行图像分割，得到第一重叠图像和第一非重叠图像；

根据所述图像重叠区信息对所述第二结构光图像进行图像分割，得到第二重叠图像和第二非重叠图像；

选取所述第一重叠图像和所述第二重叠图像进行图像融合以生成目标图像。

3.如权利要求1所述的系统，其特征在于，所述第一结构光投射器包括第一光源控制器、第一阵列光源；

所述第一光源控制器，用于根据第一投影图案控制所述第一阵列光源的每个光源的发光状态，所述发光状态包括：点亮状态和熄灭状态；

所述第一阵列光源，用于发出第一投影图案结构光投射到拍摄主体上，所述第一投影图案结构光为所述全部点亮状态的光源发出的光线形成的结构光。

4.如权利要求1所述的系统，其特征在于，所述第二结构光投射器包括第二光源控制器、第二阵列光源；

所述第二光源控制器,用于根据第二投影图案控制所述第二阵列光源的每个光源的发光状态，所述发光状态包括：点亮状态和熄灭状态；

所述第二阵列光源,用于发出第二投影图案结构光投射到拍摄主体上，所述第二投影图案结构光为所述全部点亮状态的光源发出的光线形成的结构光。

5.如权利要求1所述的系统，其特征在于，

所述第一投影图案和所述第二投影图案不同。

6.如权利要求1所述的系统，其特征在于，

所述图像信号处理器，还用于控制所述第一结构光投射器、所述第二结构光投射器交替工作。

7.一种图像处理方法，其特征在于，包括：第一结构光投射器、第二结构光投射器、摄像头、图像信号处理器；

所述摄像头与所述第一结构光投射器沿横向中心线依次排列，且与所述第二结构光投射器沿纵向中心线依次排列；

所述第一结构光投射器向拍摄主体投射第一投影图案结构光；

所述第二结构光投射器向拍摄主体投射第二投影图案结构光；

所述摄像头拍摄所述第一投影图案结构光经过所述拍摄主体调制的第一结构光图像，以及拍摄所述第二投影图案结构光经过所述拍摄主体调制的第二结构光图像；

所述图像信号处理器对所述第一结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第一景深信息，对所述第二结构光图像进行解调以提取深度值大于前景阈值且小于后景阈值的第二景深信息，以及根据所述第一景深信息和所述第二景深信息进行图像融合以生成目标图像。

8.如权利要求7所述的方法，其特征在于，所述根据所述第一景深信息和所述第二景深信息进行图像融合以生成目标图像，包括：

根据第一景深信息和第一景深信息确定图像重叠区信息；

根据所述图像重叠区信息对所述第一结构光图像进行图像分割，得到第一重叠图像和第一非重叠图像；

根据所述图像重叠区信息对所述第二结构光图像进行图像分割，得到第二重叠图像和第二非重叠图像；

选取所述第一重叠图像和所述第二重叠图像进行图像融合以生成目标图像。

9.如权利要求7所述的方法，其特征在于，所述第一结构光投射器包括第一光源控制器、第一阵列光源；

所述第一光源控制器根据第一投影图案控制所述第一阵列光源的每个光源的发光状态，所述发光状态包括：点亮状态和熄灭状态；

所述第一阵列光源发出第一投影图案结构光投射到拍摄主体上，所述第一投影图案结构光为所述全部点亮状态的光源发出的光线形成的结构光。

10.如权利要求7所述的方法，其特征在于，所述第二结构光投射器包括第二光源控制器、第二阵列光源；

所述第二光源控制器根据第二投影图案控制所述第二阵列光源的每个光源的发光状态，所述发光状态包括：点亮状态和熄灭状态；

所述第二阵列光源发出第二投影图案结构光投射到拍摄主体上，所述第二投影图案结构光为所述全部点亮状态的光源发出的光线形成的结构光。

11.如权利要求7所述的方法，其特征在于，

所述第一投影图案和所述第二投影图案不同。

12.如权利要求7所述的方法，其特征在于，

所述图像信号处理器还控制所述第一结构光投射器、所述第二结构光投射器交替工作。

13.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求7-12任一项所述的图像处理方法。

14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求7-12任一项所述的图像处理方法。