CN108154514B - 图像处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及设备，其中，方法包括：控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像；通过第一线程对多组主图像进行合成降噪处理生成目标主图像，通过并行的第二线程根据参考主图像和参考副图像获取目标区域的景深信息；获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域，根据第一图像信息和第二图像信息对目标区域进行合成处理。由此，仅仅针对目标区域进行图像信息的合成处理和景深信息的计算，提高了图像处理效率和图像的视觉效果。

Description

图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

随着终端设备制造技术的进步，当前很多终端设备采用了双摄像头，通常双摄像头被广泛应用于获取景深信息，以便于根据景深信息进行相关图像处理来满足用户多元化的拍照需求。

然而，相关技术中，由于景深信息计算耗时久而导致根据景深信息进行相关图像处理的耗时较长，图像处理效率较低。

申请内容

本申请提供一种图像处理方法、装置及设备，提高了景深信息计算的准确率和图像处理效率。

本申请提供一种图像处理方法，包括：控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，通过与所述第一线程并行的第二线程根据所述参考主图像和所述参考副图像获取目标区域的景深信息；获取所述参考主图像中所述目标区域的第一图像信息，以及获取所述参考副图像中所述目标区域的第二图像信息，根据所述景深信息确定所述目标主图像的所述目标区域，在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

本申请另一实施例提供一种图像处理装置，包括：拍摄模块，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；获取模块，用于从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；第一处理模块，用于通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，通过与所述第一线程并行的第二线程根据所述参考主图像和所述参考副图像获取目标区域的景深信息；确定模块，用于获取所述参考主图像中所述目标区域的第一图像信息，以及获取所述参考副图像中所述目标区域的第二图像信息，根据所述景深信息确定所述目标主图像的所述目标区域，第二处理模块，用于在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

本申请又一实施例提供一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本申请上述实施例所述的图像处理方法。

本申请还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请上述实施例所述的图像处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据参考主图像和参考副图像获取目标区域的景深信息，进而，获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域，在目标主图像的目标区域中合成第一图像信息和第二图像信息，获取目标图像。由此，确定出需要获取景深信息的目标区域，仅仅针对目标区域进行图像信息的合成处理和景深信息的计算，提高了图像处理效率和图像的视觉效果。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例的图像处理方法的流程图；

图2是根据本申请一个实施例的三角测距的原理示意图；

图3是根据本申请一个实施例的双摄像头景深信息获取示意图；

图4是根据本申请一个实施例的图像处理方法的场景实施示意图；

图5是根据本申请一个实施例的图像处理方法的效果示意图；

图6是根据本申请另一个实施例的图像处理方法的效果示意图；

图7是根据本申请一个实施例的图像处理装置的结构示意图；

图8是根据本申请另一个实施例的图像处理装置的结构示意图；

图9是根据本申请又一个实施例的图像处理装置的结构示意图；以及

图10是根据本申请一个实施例的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施的图像处理方法、装置及设备。

其中，本申请实施例的图像处理方法的执行主体可以是手机、平板电脑、个人数字助理、穿戴式设备等具有双摄像头的硬件设备，该穿戴式设备可以是智能手环、智能手表、智能眼镜等。

图1是根据本申请一个实施例的图像处理方法的流程图，如图1所示，该方法包括：

步骤101，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

本申请实施例中，通过主摄像头拍摄的主图像和副摄像头拍摄的副图像计算得到主图像和副图像中针对同一对象的景深信息，并通过主图像作为最终成像的实际图像的基础图像，而为了避免主图像和副图像计算景深信息时，由于主图像和副图像的差异较大等原因导致景深信息计算不精确，或者，主图像不清晰导致进行最终成像的成像效果不好，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，以便于在多组主图像和多组副图像中进行最优选择，提高景深信息计算的准确度和最终成像效果。

正如以上分析的，双摄像头系统通过主图像和副图像计算景深信息，为了更加清楚的描述双摄像头如何获取景深信息，下面参考附图说明双摄像头获取景深信息的原理：

在实际应用中，人眼分辩景深信息主要是依靠双目视觉分辨景深信息，这与双摄像头分辨景深信息的原理一样，主要是依靠如图2所示的三角测距的原理实现的，基于图2中，在实际空间中，画出了成像对象，以及两个摄像头所在位置OR和OT，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两各摄像头进行成像，从而得到两张拍摄图像。

其中，P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为XR，P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别为两个摄像头，这两个摄像头在同一平面，距离为B。

基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离Z，具有如下关系

基于此，可以推得

其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。

当然，除了三角测距法，也可以采用其他的方式来计算主图像的景深信息，比如，主摄像头和副摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，在本申请的一个实施例中，可以根据这种比例关系获取上述距离Z。

举例而言，如图3所示，通过主摄像头获取的主图像以及副摄像头获取的副图像，计算出不同点差异的图，这里用视差图表示，这个图上表示的是两张图上相同点的位移差异，但是由于三角定位中的位移差异和Z成正比，因此很多时候视差图就直接被用作景深信息图。

步骤102，从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像。

步骤103，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，通过与第一线程并行的第二线程根据参考主图像和参考副图像获取目标区域的景深信息。

基于以上分析可知，双摄像头获取景深信息时，需要获取同一对象在不同拍摄图像中的位置，因此，如果获取景深信息的双摄像头的两张图像较为接近，则会提高景深信息获取的效率和准确率。

可以理解，在本申请的实施例中，由于主摄像头和副摄像头同时拍摄多组主图像和多组副图像，因此，在同一时间点拍摄的属于同组的主图像和副图像的图像信息较为接近，且根据合成降噪处理前的源主图像和副图像进行景深信息的计算，可以保证获取的景深信息较为准确。

当然，在弱光等环境亮度不好的环境进行拍照时，正如上述提到的，获取的多组主图像和副图像噪点较高，因而，在这种场景下，为了进一步提高景深计算的准确度，也可以针对多组副图像进行多帧降噪后，根据降噪后的副图像和主图像计算景深信息。

具体而言，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像，需要强调的是，在实际应用中，在实际拍摄过程中，主图像和副图像按照同样的频率拍摄多组图像，其中，在同一时刻拍摄的主图像和副图像属于同组图像，比如，按照时间先后顺序，主摄像头拍摄的多组主图像包括主图像11、主图像12…，副摄像头拍摄的多组主图像包括副图像21、副图像22…，则主图像11和副图像21为同组图像，主图像12和副图像22为同组图像…为了进一步提高景深信息获取的效率和准确度，还可以从多组主图像中选择清晰度较高的参考主图像等，当然，当获取的图像组中的图像帧数较多时，为了提高选择效率，还可以根据图像清晰度等初步选择几帧主图像和对应的几帧副图像，从清晰度较高的几帧主图像和对应的几帧副图像中选择参考主图像和对应的副图像。

进一步地，由于景深信息计算耗时较长，因而，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据参考主图像和参考副图像获取目标区域的景深信息。由此，一方面在计算景深信息的同时，对多组主图像进行合成降噪处理，获取到目标主图像，以便于在获取景深信息后，可以直接根据景深信息和目标主图像进行相应的图像处理，相比先获取景深信息，再对主图像进行降噪处理的处理方式，图像处理效率得到了提高，另一方面，根据多组主图像进行降噪合成使得目标主图像细节清晰，图像质量较高，图像处理后的图像效果较好。

其中，为了便于清楚理解多帧合成降噪过程，下面以光线条件较差的场景中对主图像的多帧合成降噪进行说明。

当环境光线不足时，终端设备等成像设备一般采用自动提高感光度的方式拍摄。但这种提高感光度的方式，导致了图像中噪声较多。多帧合成降噪就是为了减少图像中的噪声点，改善高感光情况下所拍摄的图像画质。其原理在于，噪点是无序排列的这一先验知识，具体来说，连拍多组拍摄图像后，同一个位置出现的噪点可能是红噪点，也可能是绿噪点、白噪点，甚至是没有噪点，这样就有了比对筛选的条件，可以依据多组拍摄图像中对应同一位置的各像素点的取值(该像素点的取值包括像素所包含的像素的多少，包含的像素越多，像素点的取值越高，对应的图像也就越清晰)，将属于噪声的像素点(即噪点)筛选出来。进一步地，在筛选出噪点之后，还可以根据进一步法的算法对噪点进行彩色和像素替换处理，达到去除噪点的效果。经过这样的过程，就能够达到画质损失度极低的降噪效果了。

例如，作为一种比较简便的多帧合成降噪方法，可以在获取多组拍摄图像之后，读取多组拍摄图像中对应同一位置的各像素点的取值，通过对这些像素点计算加权平均值，生成合成图像中该位置的像素点的取值。通过这种方式，可以得到清晰的图像。

步骤104，获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域。

步骤105，在目标主图像的目标区域中合成第一图像信息和第二图像信息，获取目标图像。

可以理解，在实际应用中，可能并不需要对参考主图像和参考副图像的整张图像的景深信息或者像素的合成，比如，当双摄像头分别为彩色摄像头和黑白摄像头时，比如主摄像头为彩色摄像头，副摄像头为黑白摄像头，或者，主摄像头为黑白摄像头，副摄像头为彩色摄像头，为了获取在人像模式下人像更加丰富的图像细节，仅仅会将参考主图像和参考副图像的中人像图像对应的彩色像素和黑白像素进行合成等，又比如，在人像拍照模式下，仅仅需要获取人脸所在区域的景深信息，且针对人脸区域之外的区域进行背景替换时，并不需要获知人脸区域之外的区域的景深信息，而计算整张图像的景深信息导致计算的浪费等。

因而，在本申请的一个实施例中，为了进一步提高图像处理效率，预先设置需要进行针对性图像处理的目标对象，该目标对象可以是人脸、特定的手势动作(比如剪刀手、加油手势等)，可以包括著名建筑物(比如万里长城、黄山等)，或者，可以包括某些特定的形状的物体等(比如圆形物体、三角形物体等)，进而，可以通过图像识别、轮廓识别等技术确定出参考主图像和参考副图像中目标对象所在目标区域。

其中，可以理解的是，当待拍摄的目标对象既存在于主摄像头的成像范围内，又存在于副摄像头的成像范围内，则同时拍摄的参考主图像和参考副图像中均存在目标图像的目标区域。

具体而言，获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像所在的目标区域，根据第一图像信息和第二图像信息对目标区域进行合成处理，满足了合成的图像中，目标区域中的图像清晰度较高且图像细节丰富。其中，上述第一图像信息和第二图像信息分别对应于参考主图像和参考副图像中目标区域的多个像素的像素位置、灰度值等。

从而，仅仅针对目标区域进行参考主图像中第一图像信息的提取，和参考副图像中第二图像信息的提取，提取效率较高，且在针对目标区域进行合成处理时，仅仅针对目标区域进行第一图像信息和第二图像信息的合成处理，处理效率较高且目标区域的成像效果较好。

其中，第一图像信息和第二图像信息合成的方式，包括但不限于以下方式：

作为一种可能的方式，当第一图像信息为彩色图像信息，第二图像信息为黑白像素信息时，在分别获取目标区域的即彩色像素和黑白像素后，将彩色像素由彩色颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量，并使用其亮度分量进行后续处理，将黑白像素分别使用低通和高通滤波器分解成低频信号和高频信号。其中，低通滤波器可以使用双边滤波器，而低通过滤后的图像与原图像的残差作为高频信号，进而对该亮度分量以及低频信号进行精确地视差估计，得到亮度分量与低频信号间的像素对应关系，根据得到的视差信息，将获取的高频信息进行几何变换，融合到亮度分量中，完成对亮度分量的超分辨率重建，将亮度分量的超分辨图转换到彩色颜色空间，即完成对彩色图像的超分辨率重建。如上所述，本申请基于彩色与黑白双摄像头模组，利用彩色摄像头高亮度、低噪度，黑白摄像头细节丰富等特性，在精确视差估计的基础上，利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合，得到目标区域的彩色的高分辨率图像。该方法充分利用场景的景深信息，校正了不同景深区域的对比度和细节信息。

作为另一种可能的实现方式，当参考主图像和参考副图像为视角相同的广角摄像头或者长焦摄像头拍摄的时，第一图像信息和第二图像信息包括但不限于：目标区域的像素点的亮度值和像素点的RGB(RGBColorModel，三原色光模型，一种颜色标准，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色)值，其中，亮度值和像素点的RGB值为拍摄图像的色彩和亮度的构成要素，即匹配出第一图像信息中和第二图像信息中对应于拍摄主体同一位置的像素点，比如获取参考主图像和参考副图像的视差信息，根据第一图像信息中的像素A1和视差信息估算出其在第二图像信息中匹配的像素A2，进而，通过像素点的亮度值和RGB值合成以生成目标区域的像素点，由此可以获取到色彩和亮度均适宜的目标区域的图像，即有效地提升了成像质量。

进一步地，为了进一步提高图像处理后图像的成像效果，使得图像的视觉效果更加自然，或者满足用户的场景需要，还可针对目标主图像的背景区域进行处理。

作为一种可能的实现方式，在该实施例中，用户希望对其所在的环境信息进行保密处理，此时，可能具有将背景区域进行替换的需求，因而，在根据景深信息确定目标主图像的目标区域之后，还可对目标主图像中的背景区域进行背景替换处理，其中，根据应用场景的不同，对背景区域进行背景替换处理的方式不同，比如，可以将背景区域替换为空白背景，又比如，可以将背景区域替换为虚拟背景等。

为了更加清楚的说明，下面结合具体的应用场景进行举例，说明如下：

在该场景中，对会议室中的用户A进行拍摄，为了第一图像信息和第二图像信息的对齐，拍摄的双摄像头分别为拍摄视角相同的摄像头，为了提高最终成像效果，如图4所示，控制主摄像头和副摄像头同时拍摄，获取4帧主图像和4帧副图像，其中，按照拍摄顺序4帧主图像的编号分别为11、12、13和14，4帧副图像的编号分别为21、22、23和24。

其中，从多组主图像中选择参考主图像为12，并从多组副图像中选择与参考主图像同组拍摄的副图像22，进而，通过第一线程对多组主图像进行合成降噪生成目标主图像，同时通过第二线程根据参考主图像12和参考副图像22计算用户A所在目标区域的景深信息。从而，如果对主图像进行降噪处理的耗时为400ms，景深信息计算耗时为800ms，现有技术中，需要依次执行景深信息计算与主图像去噪，需要1200ms的处理时间，而本申请提供的图像处理方式中，对用户A所在目标区域进行景深计算时间耗时为400ms，则仅仅需要对400ms的处理时间，大大提高了图像处理效率。另外，本申请中主摄像头拍摄的主图像为多组主图像，通过对多组主图像进行合成降噪处理，避免了在较暗环境下，仅仅根据一张质量不高的主图像进行图像处理时，处理效果较差的技术问题，提高了图像处理效果。

进一步地，获取参考主图像中用户A所在目标区域的第一图像信息，以及获取参考副图像中用户A所在目标区域的第二图像信息，根据景深信息确定目标主图像的用户A所在目标区域，根据第一图像信息和第二图像信息对目标区域进行合成处理，参照图5，得到的处理后的图像中用户A的像素点较多，目标区域对应的图像较为清晰(图中以灰度表示图像的清晰度，图像越接近于白色表示图像越清晰)，且由于用户在会议室内，因而，为了满足用户的保密需求，对目标主图像中的背景区域替换为纯色空白背景。

作为另一种可能的实施方式，在该实施例中，用户希望对其所在的环境信息进行背景虚化处理，以突出目标区域中的拍摄主体等，因而，在根据景深信息确定目标主图像的目标区域之后，还可对目标主图像中的背景区域进行背景虚化处理。

具体地，对目标主图像中的背景区域进行背景虚化处理的方式包括但不限于以下方式：

作为一种可能的实现方式，根据景深信息和对焦区域获取目标区域的第一景深信息和背景区域的第二景深信息，根据第一景深信息和第二景深信息生成虚化强度，进而，根据虚化强度对背景区域进行背景虚化处理，从而，根据不同的景深信息进行不同程度的虚化，使得虚化的图像效果更加自然且富有层次感。

其中，在对拍摄主体聚焦后，在主体所在的焦点区域之前和之后一段人眼容许的清晰成像的空间深度范围为景深信息。可以理解，在对焦区域之前成像的范围为前景区域的第一景深信息，在对焦区域之后清晰成像的范围为背景区域的第二景深信息。

需要说明的是，根据具体应用场景的不同，确定出前景区域的第一景深信息和背景区域的第二景深信息的方式不同，举例说明如下：

方式一：

可获取拍摄的相关参数，以根据拍摄摄像头的公式确定出前景区域的第一景深信息和背景区域的第二景深信息。

在本示例中，可获取拍摄的主摄像头的容许弥散圆直径、光圈值、焦距、对焦距离等参数，从而根据公式：第一景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方+光圈值*容许弥散圆直径*对焦距离)计算出第一景深，根据第一景深信息分离出前景，并根据公式第二景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方-光圈值*容许弥散圆直径*对焦距离)计算出第二景深信息。

方式二：

根据双摄像头分别获取的当前拍摄画面数据确定焦点区域之外的图像区域的景深地图,根据景深地图确定焦点区域之前的前景区域和焦点区域之后的第二景深。

具体而言，在本示例中，由于两个摄像头的位置并不相同，因而，两个后置摄像头相对与拍摄的目标物体具有一定的角度差和距离差，因此二者获取的预览图像数据也存在一定的相位差。

举例而言，对于拍摄目标物体上的A点，在主摄像头的预览图像数据中，A点对应的像素点坐标为(30，50)，而副摄像头的预览图像数据中，A点对应的像素点坐标为(30，48)，A点在两个预览图像数据中对应的像素点的相位差为50-48＝2。

在本示例中，可预先根据实验数据或者摄像头参数建立景深信息与相位差的关系，进而，可根据预览图像中各图像点在两个摄像头获取的预览图像数据中的相位差查找对应的景深信息，由此，可以轻易获取到第一景深信息和第二景深信息。

其中，可以通过不同的实现方式来根据虚化强度对目标主图像的背景区域进行背景虚化处理：

示例一：

根据虚化强度和目标主图像的背景区域中每个像素的景深信息获取每个像素的虚化系数，其中，虚化系数与虚化强度有关，虚化系数越大，虚化强度越高，比如，可通过计算虚化强度和目标主图像的背景区域中每个像素的景深信息的乘积，获取每个像素的虚化系数，进而，根据每个像素的虚化系数对目标主图像的背景区域进行背景虚化处理。

示例二：

由于第二景深信息与焦点区域的景深信息的差值越大，表示对应的背景区域与焦点区域距离越远，越不相关，从而对应的虚化强度越大，在该示例中，可以预先存储第二景深信息与焦点区域的景深信息的差值与虚化强度的对应关系，在该对应关系中，第二景深信息与焦点区域的景深信息的差值越大，对应的虚化强度越大，从而，获取目标主图像的背景区域的第二景深信息与焦点区域景深信息的差值，根据该差值查询上述对应关系获取对应的虚化强度，根据该虚化强度对对应景深信息的背景区域进行虚化。

为了更加清楚的说明，下面结合具体的应用场景进行举例，说明如下：

在该场景中，对用户A和风景进行合照，其中，拍摄的双摄像头分别为拍摄视角相同的摄像头，且主摄像头为黑白摄像头，用于在拍照时扩大进光量丰富图像的细节信息，副摄像头为彩色摄像头，用于提高图像亮度降低图像的噪点，为了提高最终成像效果，控制主摄像头和副摄像头同时拍摄，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像，进而，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据参考主图像和参考副图像获取用户A所在目标区域的景深信息。

获取参考主图像中用户A所在目标区域的第一图像信息即彩色像素，以及获取参考副图像中用户A所在目标区域的第二图像信息即黑白像素，根据景深信息确定目标主图像的目标区域，根据第一图像信息和第二图像信息对用户A所在目标区域进行合成处理，合成处理后的用户A的细节丰富(图中未示出)，且为了突出合成的图像中的用户A，如图6所示，对用户A所在目标主图像中的背景区域进行背景虚化处理。

综上所述，本申请实施例的图像处理方法，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像,通过与第一线程并行的第二线程根据参考主图像和参考副图像获取目标区域的景深信息，进而，获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域，根据第一图像信息和第二图像信息对目标区域进行合成处理。由此，确定出需要获取景深信息的目标区域，仅仅针对目标区域进行图像信息的合成处理和景深信息的计算，提高了图像处理效率和图像的视觉效果。

为了实现上述实施例，本申请还提出了一种图像处理装置，图7是根据本申请一个实施例的图像处理装置的结构示意图，如图7所示，该图像处理装置包括：拍摄模块100、获取模块200、第一处理模块300、确定模块400和第二处理模块500。

其中，拍摄模块100，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

获取模块200，用于从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像。

第一处理模块300，用于通过第一线程对多组主图像进行合成降噪处理生成目标主图像，通过与第一线程并行的第二线程根据参考主图像和参考副图像获取目标区域的景深信息。

确定模块400，用于获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域；

第二处理模块500用于在目标主图像的目标区域中合成第一图像信息和第二图像信息，获取目标图像。

在本申请的一个实施例中，如图8所示，该装置还包括第三处理模块600，其中，第三处理模块600，用于在根据景深信息确定目标主图像的目标区域之后，对目标主图像中的背景区域进行背景替换处理，第二处理模块500用于在背景替换处理后的目标主图像的目标区域中合成第一图像信息和第二图像信息，获取目标图像。

在本申请的一个实施例中，如图9所示，该装置还包括虚化模块700，其中，虚化模块700，用于在根据景深信息确定目标主图像的目标区域之后，对目标主图像中的背景区域进行背景虚化处理，第二处理模块500，具体用于在背景虚化处理后的目标主图像的目标区域中合成第一图像信息和所述第二图像信息，获取目标图像。

需要说明的是，前述对方法实施例的描述，也适用于本申请实施例的装置，其实现原理类似，在此不再赘述。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

综上所述，本申请实施例的图像处理装置，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，通过与第一线程并行的第二线程根据参考主图像和参考副图像获取目标区域的景深信息，进而，获取参考主图像中目标区域的第一图像信息，以及获取参考副图像中目标区域的第二图像信息，根据景深信息确定目标主图像的目标区域，根据第一图像信息和第二图像信息对目标区域进行合成处理。由此，确定出需要获取景深信息的目标区域，仅仅针对目标区域进行图像信息的合成处理和景深信息的计算，提高了图像处理效率和图像的视觉效果。

为了实现上述实施例，本申请还提出了一种计算机设备，其中，计算机设备为包括包含存储计算机程序的存储器及运行计算机程序的处理器的任意设备，比如，可以为智能手机、个人电脑等，上述计算机设备中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010(照相机)可包括具有一个或多个透镜1012和图像传感器1014的摄像头，其中，为了实施本申请的背景虚化处理方法，成像设备1010包含两组摄像头，其中，继续参照图10，成像设备1010可基于主摄像头和副摄像头同时拍摄场景图像。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据，其中，ISP处理器1040可基于传感器1020提供的主摄像头中的图像传感器1014获取的原始图像数据和副摄像头中的图像传感器1014获取的原始图像数据计算景深信息等。传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040。传感器1020接口可以利用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收像素数据。例如，从传感器1020接口将原始像素数据发送给图像存储器1030，图像存储器1030中的原始像素数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数以及的控制参数。例如，控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

以下为运用图10中图像处理技术实现图像处理方法的步骤：

控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，通过与所述第一线程并行的第二线程根据所述参考主图像和所述参考副图像获取目标区域的景深信息；

获取所述参考主图像中所述目标区域的第一图像信息，以及获取所述参考副图像中所述目标区域的第二图像信息，根据所述景深信息确定所述目标主图像的所述目标区域；

在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例图像处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，通过与所述第一线程并行的第二线程根据所述参考主图像和所述参考副图像获取目标区域的景深信息，所述目标区域为通过识别预先设置的目标对象所在的区域；

获取所述参考主图像中所述目标区域的第一图像信息，以及获取所述参考副图像中所述目标区域的第二图像信息，根据所述景深信息确定所述目标主图像的所述目标区域；

在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

2.如权利要求1所述的方法，其特征在于，

所述主摄像头为彩色摄像头，所述副摄像头为黑白摄像头；

或者，

所述主摄像头为黑白摄像头，所述副摄像头为彩色摄像头。

3.如权利要求1所述的方法，其特征在于，在所述根据所述景深信息确定所述目标主图像的所述目标区域之后，还包括：

对所述目标主图像中的背景区域进行背景替换处理；

所述在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像包括：

在所述背景替换处理后的目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

4.如权利要求1所述的方法，其特征在于，在所述根据所述景深信息确定所述目标主图像的所述目标区域之后，还包括：

对所述目标主图像中的背景区域进行背景虚化处理；

所述在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像包括：

在所述背景虚化处理后的目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

5.如权利要求4所述的方法，其特征在于，所述对所述目标主图像中的背景区域进行背景虚化处理，包括：

根据所述景深信息和对焦区域获取所述目标区域的第一景深信息和背景区域的第二景深信息；

根据所述第一景深信息和所述第二景深信息生成虚化强度；

根据所述虚化强度对所述背景区域进行背景虚化处理。

6.一种图像处理装置，其特征在于，包括：

拍摄模块，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

获取模块，用于从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

第一处理模块，用于通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，通过与所述第一线程并行的第二线程根据所述参考主图像和所述参考副图像获取目标区域的景深信息，所述目标区域为通过识别预先设置的目标对象所在的区域；

确定模块，用于获取所述参考主图像中所述目标区域的第一图像信息，以及获取所述参考副图像中所述目标区域的第二图像信息，根据所述景深信息确定所述目标主图像的所述目标区域；

第二处理模块，用于在所述目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

7.如权利要求6所述的装置，其特征在于，还包括：

第三处理模块，用于在所述根据所述景深信息确定所述目标主图像的所述目标区域之后，对所述目标主图像中的背景区域进行背景替换处理；

所述第二处理模块，具体用于在所述背景替换处理后的目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

8.如权利要求6所述的装置，其特征在于，还包括：

虚化模块，用于在所述根据所述景深信息确定所述目标主图像的所述目标区域之后，对所述目标主图像中的背景区域进行背景虚化处理；

所述第二处理模块，具体用于在所述背景虚化处理后的目标主图像的目标区域中合成所述第一图像信息和所述第二图像信息，获取目标图像。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像处理方法。

Images