CN116324867A - 图像处理方法、图像处理装置、摄像头组件及电子设备 - Google Patents

Abstract

一种图像处理方法、图像处理装置、摄像头组件及电子设备。图像处理方法包括：(步骤S11)获取当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得语义分割图像；(步骤S13)获取多帧深度图像，多帧深度图像包括与当前场景图像对应的当前帧深度图像；(步骤S15)根据语义分割图像和多帧深度图像进行滤波处理以获得与当前帧深度图像对应的当前平滑深度图像。

Description

图像处理方法、图像处理装置、摄像头组件及电子设备 技术领域

本申请涉及影像技术领域，特别涉及一种图像处理方法、图像处理装置、摄像头组件及电子设备。

背景技术

为了增强电子设备的功能使得电子设备能够应用于各种应用场景，电子设备配备了深度图像装置来获取深度信息，从而可以利用深度信息实现三维模型建立等功能。然而，现在的深度图像获取装置所获取的深度图像存在较大的噪声，导致深度信息不准确。

发明内容

本申请实施方式提供一种图像处理方法、图像处理装置、摄像头组件及电子设备。

本申请实施方式的图像处理方法包括：获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像；获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像；根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。

本申请实施方式的图像处理装置，所述图像处理装置包括第一获取模块、第二获取模块和处理模块。所述第一获取模块用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像。所述第二获取模用于获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像。所述处理模块用于根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。

本申请实施方式的摄像头组件处理器，所述处理器用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像；获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像；根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。

本申请实施方式的电子设备包括上述实施方式的摄像头组件及壳体，所述摄像头组件设置在所述壳体上。

上述图像处理方法、图像处理装置、摄像头组件及电子设备，通过滤波处理得到当前平 滑深度图像，从而可以减小当前平滑深度图像的噪声，使得当前平滑深度图像的深度信息更加准确。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的图像处理方法的流程示意图；

图2是本申请实施方式的图像处理方法的场景示意图；

图3是本申请实施方式的图像处理方法的另一场景示意图；

图4是本申请实施方式的图像处理方法的另一流程示意图；

图5是本申请实施方式的图像处理方法的又一流程示意图；

图6是本申请实施方式的图像处理方法的又一场景示意图；

图7是本申请实施方式的图像处理方法的再一流程示意图；

图8是本申请实施方式的图像处理方法的另一流程示意图；

图9是本申请实施方式的图像处理装置的示意图；

图10是本申请实施方式的图像处理装置的另一示意图；

图11是本申请实施方式的摄像头组件的示意图；

图12是本申请实施方式的电子设备的示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请提供一种图像处理方法，图像处理方法包括：

步骤S11：获取当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得语义分割图像；

步骤S13：获取多帧深度图像，多帧深度图像包括与当前场景图像对应的当前帧深度图像；

步骤S15：根据语义分割图像和多帧深度图像进行滤波处理以获得与当前帧深度图像对应的当前平滑深度图像。

上述图像处理方法，通过滤波处理得到当前平滑深度图像，从而可以减小当前平滑深度图像的噪声，使得当前平滑深度图像的深度信息更加准确。另外，由于当前平滑深度图像是根据语义分割图像获得的，因此，当前平滑深度图像能够体现场景图像各个不同物体区域的深度变化差异。再有，由于当前平滑深度图像是根据多帧深度图像获得的，因此，当前平滑深度图像能够体现多帧深度图像的变化，从而使得多帧当前平滑深度图像之间更加平滑。

具体地，在步骤S11中，当前场景图像可为当前正在拍摄的图像，即就是，当前场景图像可包括当前拍摄范围内的物体的场景信息；当前场景图像也可为当前需要显示的预先存储的图像，即就是，当前场景图像可包括原拍摄范围内的物体的场景信息。当前场景图像可通过具有RGB滤波片阵列的图像传感器的摄像头组件拍摄获得。在获取到当前场景图像之后，将当前场景图像的各个物体区域映射到不同的像素值范围，从而增强当前场景图像中各个物体区域的边缘，获得语义分割图像。

在步骤S13中，深度图像可为当前正在拍摄的图像，即就是，深度图像可包括当前拍摄范围内的物体的深度信息。通过具有深度传感器的摄像头组件(例如tof摄像头组件或结构光组将等)或两个具有RGB滤波片阵列的图像传感器的摄像头组件获取拍摄范围内的物体的深度信息，然后进行数据处理和深度计算，即可得到深度图像。多帧深度图像可存储在深度图缓存空间。在一个例子中，通过两个具有RGB滤波片阵列的图像传感器的摄像头组件获取拍摄范围内的物体的深度信息，请结合图2，图2(a)为主摄像头组件拍摄的图像，图2(b)为副摄像头组件拍摄的图像，通过数据处理和深度计算，得到图2(c)所示的深度图像。

在步骤S15中，将语义分割图像作为向导项，与多帧深度图像进行滤波处理，控制各个物体区域的平滑强度，从而得到边缘增强的当前平滑深度图像。进一步地，在某些实施方式中，多帧深度图像包括当前帧深度图像和历史帧深度图像，历史帧深度图像的拍摄时间在当前帧深度图像的拍摄时间之前，图像处理方法用于实时获取当前平滑深度图像。如此，可结合语义分割图像、历史帧深度图像和当前帧深度图像，通过滤波处理，实时获取当前平滑深度图像。在某些实施方式中，多帧深度图像包括当前帧深度图像、第一关联深度图像和第二关联深度图像，第一关联深度图像的拍摄时间在当前帧深度图像的拍摄时间之前，第二关联深度图像的拍摄时间在当前帧深度图像的拍摄时间之后。如此，可结合语义分割图像、第一关联深度图像、第二关联深度图像和当前帧深度图像，通过滤波处理，非实时获取当前平滑深度图像。在一个例子中，请结合图3，图3(e)为当前帧深度图像，图3(d)为第一关联深度图像，图3(f)为第二关联深度图像，图3(g)为语义分割图像，根据语义分割图像、第一关联深度图像、第二关联深度图像和当前帧深度图像，通过滤波处理，得到图3(h)所示的当前平滑深度图像。

请参阅图4，在某些实施方式中，将当前场景图像的各个物体区域映射到不同的像素值 范围以获得语义分割图像，包括：

步骤S21：对当前场景图像进行场景检测以确定场景类型；

步骤S23：在场景类型为人物图像时进行人像分割；

步骤S25：在场景类型为非人物图像时进行物体分割；

步骤S27：根据分割结果确定各个物体区域；

步骤S29：将各个物体区域映射到不同的像素值范围以获得语义分割图像。

如此，获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。具体地，在步骤S21中，可基于机器学习，使用不同场景类型的图片等数据预先进行训练，以提高场景检测能力，这样，在获取到当前场景图像，能够较为准确地确定当前场景图像对应的场景类型。场景类型可包括人物图像、非人物图像、人物-非人物图像，其中，人物图像可包括人像主体和背景，非人物图像可包括物体主体和背景，人物-非人物图像可包括人像主体、物体主体和背景，进一步地，人物主体包括一个人物或者多于一个人物，非人物主体包括一个非人物或者多于一个非人物。在某些实施方式中，对当前场景图像进行场景检测时，首先检测是否存在人像主体，然后检测是否存在物体主体，再结合预先机器学习的结果，从而确定当前场景图像对应的场景类型。

在步骤S23中，对当前场景图像进行人像分割，即就是，分割出人像主体和背景。在步骤S25中，对当前场景图像进行物体分割，即就是，分割出物体主体和背景。在某些实施方式中，在当前场景图像同时包括人像主体和物体主体的情况下，先进行人像主体分割，再进行物体主体分割。

在步骤S27中，分割结果可包括二值结果和多值结果。二值结果，即就是，当前场景图像分割为两个不同的物体区域，两个不同的物体区域包括一个主体区域和一个背景区域；多值结果，即就是，当前场景图像分割为至少三个不同的物体区域，至少三个不同的物体区域包括至少两个主体区域和一个背景区域。

在步骤S29中，将各个物体区域映射到不同的像素值范围之后，各个物体区域显示的亮度不同，各个物体区域之间的边界更加清晰，从而获得语义分割图像。

请参阅图5，在某些实施方式中，步骤S29包括：

步骤S291：根据分割结果确定各个物体区域并形成分割图像，每个物体区域在分割图像中用相同像素值表示；

步骤S293：将分割图像与当前场景图像进行加权处理以获得语义分割图像。

如此，通过将分割图像与当前场景图像进行加权处理的方式，获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。具体地，预先设置分割图像中各个物体区域的像素值范围，分割图像中各个物体区域的像素值范围不同，不同当前场景图像中相 同的物体区域的像素值相同，例如在不同当前场景图像的人物图像中，人像主体的像素值统一设置为(155,255)，背景的像素值统一设置为(0,100)，这样人像主体与背景能够区分开来，形成分割图像。进一步地，将分割图像的像素值与对应的当前场景图像的像素值加权处理，即可获得语义分割图像。在语义分割图像中，不同的物体区域的像素值范围不同，相比于当前场景图像，语义分割图像中不同的物体区域的边缘得到增强。

请结合图6，在一个例子中，通过检测当前场景图像的场景，确定当前场景图像的场景类型为人像图像，对人像进行分割得到两个物体区域，其中一个物体区域为人像主体，另外一个物体区域为背景，将人像主体的像素值设置为(155,255)，将背景的像素值设置为(0,100)，从而得到如图6(r)所示的分割图像，再将分割图像的像素值与如图6(s)所示的当前场景图像的像素值加权求和，得到如图6(t)所示的语义分割图像。

请参阅图7，在某些实施方式中，步骤S29包括：

步骤S295：根据物体区域的数量确定各个物体区域映射的像素值范围；

步骤S297：将各个物体区域映射到对应的像素值范围以获得语义分割图像。

如此，通过将各个物体区域映射到对应的像素值范围的方式，获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。具体地，预先设置物体区域的数量、物体区域的类型与该数量中各个类型的物体区域映射的像素值范围的对应关系，这样，在确定物体区域的数量和类型(例如第一主体区域、第二主体区域、背景区域)之后，根据对应关系，将各个物体区域映射到对应的像素值范围，即可获得边缘增强的语义分割图像。

在某些实施方式中，相邻的两个像素值范围之间间隔预设范围，预设范围的最大值与预设范围的最小值的差值大于1。

如此，不同的物体区域对应不同的像素值范围，相邻的两个像素值范围之间间隔预设范围，使得不同的物体区域的亮度不同，且不同的物体区域的边界更加清晰。可以理解，像素值范围包括多个，多个像素值范围包括相邻的第一像素值范围和第二像素值范围，第一像素值范围的最大值小于第二像素值范围的最小值，第二像素值范围的最小值与第一像素值范围的最大值的差值大于1。

在一个例子中，物体区域为2个，则其中一个物体区域的像素值范围可为[0,100]，另外一个物体区域的像素值范围可为[155,255]，预设范围可为(100,155)。在另一个例子中，物体区域为5个，则5个物体区域的像素值范围可分别为[0,41]、[51,92]、[102,143]、[153,194]和[204,245]，预设范围可为(41,51)、(92,102)、(143,153)、(194,204)、(245,255)。

请参阅图8，在某些实施方式中，步骤S15包括：

步骤S151：优化目标函数以使得目标函数取得最小值，并输出最小值对应的当前平滑深度图像的当前像素点的像素值，目标函数J(u，k)＝∑ _i((u _i，k-f _i，k) ²+ λ∑ _j∈N(i)w _i，j(g _k)(u _i，k-u _j，k) ²+η∑ _{p∈(k-n，...，k，...，k+n)}a _(k，p)(u _i，k-f _i，p) ²)，其中，i为当前像素点的位置，k为当前帧，u _i，k为当前像素点的像素值，f _i，k为当前帧深度图像中与当前像素点对应的像素值，λ为帧内总平滑权重系数，j为i的邻域N(i)的像素点位置，g _k为语义分割图像，w _i，j(g _k)为语义分割图像对应的边缘加强平滑系数，u _j，k为当前像素点的领域的像素点的像素值，η为帧间总平滑权重系数，p为当前帧的相邻帧，a _(k，p)为帧平滑系数，f _i，p为相邻帧深度图像中与当前像素点对应的像素值。

如此，通过优化目标函数，获得当前平滑图像的每个像素点的像素值，从而得到当前平滑图像。具体地，语义分割图像作为向导项控制各个物体区域的平滑强度，多帧深度图像为平滑滤波提供时间变化信息。将第k帧的语义分割图像作为向导图像，与第k帧的深度图像、第k帧的相邻帧的深度图像进行滤波处理，得到边缘加强后的当前平滑深度图像。需要指出的是，n为当前帧的相邻范围，当n＝1时，当前帧k的相邻帧为k的前一帧(k+1)和k的后一帧(k-1)；当n＝2时，当前帧k的相邻帧为k的前两帧(k+2、k+1)和k的后两帧(k-1、k-2)，以此类推。

在某些实施方式中，邻域N(i)为4邻域或8邻域。

如此，当前帧的当前像素点i的4邻域或8邻域的像素点可以进行滤波处理，从而获得与当前帧深度图像对应的当前平滑深度图像。可以理解，在当前像素点i处于九宫格的中心时，i的4邻域，即就是，与i相邻的上方的一个像素点、与i相邻的下方的一个像素点、与i相邻的左边的一个像素点、与i相邻的右边的一个像素点；i的8邻域，即就是，在i的4邻域的基础上，增加与i对角相邻的四个像素点。

在某些实施方式中，λ的取值范围为[100,10000]，η的取值范围为[100,10000]。

如此，可以根据需要设置帧内总平滑权重系数和帧间总平滑权重系数，从而获得较佳的目标函数。具体地，λ的数值可为100、500、700、1000、3000、5000、7000、10000或者100-10000之间的其他数值。η的数值可为100、500、700、1000、3000、5000、7000、10000或者100-10000之间的其他数值。

在某些实施方式中，

g _i为语义分割图像与当前像素点对应的像素值，g _j为语义分割图像与j点对应的像素值，σ为第一系数，σ的取值范围为[1,10]。

如此，可以根据需要设置第一系数，从而获得较为合理的帧平滑系数。可以理解，与当前像素点i距离越远的j点对当前像素点i的像素值影响越小，即就是，与当前像素点i距离越远的j点的边缘加强平滑系数越小。具体地，σ的数值可为1、2、3、4、5、6、7、8、9、10或者1-10之间的其他数值。

在某些实施方式中，

ρ为第二系数，ρ的取值范围为[0.001,1000]。

如此，可以根据需要设置第二系数，从而获得较为合理的帧平滑系数。可以理解，与当 前帧距离越远的相邻帧对当前帧的图像影响越小，即就是，与当前帧距离越远的相邻帧的帧平滑系数越小。具体地，ρ的数值可为0.001、0.005、0.1、0.5、10、50、100、500、1000、或者0.001-1000之间的其他数值。

请参阅图9，本申请提供一种图像处理装置10，图像处理装置10包括第一获取模块12、第二获取模块14和处理模块16。第一获取模块12用于获取当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得语义分割图像。第二获取模块14用于获取多帧深度图像，多帧深度图像包括与当前场景图像对应的当前帧深度图像。处理模块16用于根据语义分割图像和多帧深度图像进行滤波处理以获得与当前帧深度图像对应的当前平滑深度图像。

上述图像处理装置10，通过滤波处理得到当前平滑深度图像，从而可以减小当前平滑深度图像的噪声，使得当前平滑深度图像的深度信息更加准确。另外，由于当前平滑深度图像是根据语义分割图像获得的，因此，当前平滑深度图像能够体现场景图像各个不同物体区域的深度变化差异。再有，由于当前平滑深度图像是根据多帧深度图像获得的，因此，当前平滑深度图像能够体现多帧深度图像的变化，从而使得多帧当前平滑深度图像之间更加平滑。

具体地，当前场景图像可为第一获取模块12获取到的当前正在拍摄的图像，即就是，当前场景图像可包括当前拍摄范围内的物体的场景信息；当前场景图像也可为当前需要显示的第一获取模块12预先获取到并存储的图像，即就是，当前场景图像可包括原拍摄范围内的物体的场景信息。当前场景图像可通过具有RGB滤波片阵列的图像传感器的摄像头组件拍摄获得。在获取到当前场景图像之后，第一获取模块12将当前场景图像的各个物体区域映射到不同的像素值范围，从而增强当前场景图像中各个物体区域的边缘，获得语义分割图像。

深度图像可为第二获取模块14获取到的当前正在拍摄的图像，即就是，深度图像可包括当前拍摄范围内的物体的深度信息。通过具有深度传感器的摄像头组件(例如tof摄像头组件或结构光组将等)或两个具有RGB滤波片阵列的图像传感器的摄像头组件获取拍摄范围内的物体的深度信息，然后第二获取模块14进行数据处理和深度计算，即可得到深度图像。多帧深度图像可存储在深度图缓存空间。

进一步地，处理模块16将语义分割图像作为向导项，与多帧深度图像进行滤波处理，控制各个物体区域的平滑强度，从而得到边缘增强的当前平滑深度图像。需要强调的是，在某些实施方式中，多帧深度图像包括当前帧深度图像和历史帧深度图像，历史帧深度图像的拍摄时间在当前帧深度图像的拍摄时间之前，图像处理方法用于实时获取当前平滑深度图像。如此，可结合语义分割图像、历史帧深度图像和当前帧深度图像，通过滤波处理，实时 获取当前平滑深度图像。在某些实施方式中，多帧深度图像包括当前帧深度图像、第一关联深度图像和第二关联深度图像，第一关联深度图像的拍摄时间在当前帧深度图像的拍摄时间之前，第二关联深度图像的拍摄时间在当前帧深度图像的拍摄时间之后。如此，可结合语义分割图像、第一关联深度图像、第二关联深度图像和当前帧深度图像，通过滤波处理，非实时获取当前平滑深度图像。

需要指出的是，上述对图像处理方法的实施方式和有益效果的解释说明，也适应本实施方式的图像处理装置100和以下实施方式所述的摄像头组件及电子设备，为避免冗余，在此不作详细展开。

请参阅图9，在某些实施方式中，第一获取模块12包括检测单元122、第一分割单元124、第二分割单元126、确定单元128和映射单元129。检测单元122用于对当前场景图像进行场景检测以确定场景类型。第一分割单元124用于在场景类型为人物图像时进行人像分割。第二分割单元126用于在场景类型为非人物图像时进行物体分割。确定单元128用于根据分割结果确定各个物体区域。映射单元129用于将各个物体区域映射到不同的像素值范围以获得语义分割图像。

如此，第一获取模块12获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。

请参阅图9，在某些实施方式中，映射单元129包括第一确定子单元1292和加权处理子单元1294。第一确定子单元1292用于根据分割结果确定各个物体区域并形成分割图像，每个物体区域在分割图像中用相同像素值表示。加权处理子单元1294用于将分割图像与当前场景图像进行加权处理以获得语义分割图像。

如此，映射单元129通过将分割图像与当前场景图像进行加权处理的方式，获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。

请参阅图10，在某些实施方式中，映射单元129包括第二确定子单元1296和映射子单元1298。第二确定子单元1296用于根据物体区域的数量确定各个物体区域映射的像素值范围。映射子单元1298用于将各个物体区域映射到对应的像素值范围以获得语义分割图像。

如此，映射单元129通过将各个物体区域映射到对应的像素值范围的方式，获得较为精准的语义分割图像，从而增强当前场景图像中各个物体区域的边缘。

在某些实施方式中，相邻的两个像素值范围之间间隔预设范围，预设范围的最大值与预设范围的最小值的差值大于1。

如此，不同的物体区域对应不同的像素值范围，相邻的两个像素值范围之间间隔预设范围，使得不同的物体区域的亮度不同，且不同的物体区域的边界更加清晰。

请参阅图9或图10，在某些实施方式中，处理模块16包括优化单元162。优化单元162 用于优化目标函数以使得目标函数取得最小值，并输出最小值对应的当前平滑深度图像的当前像素点的像素值，目标函数J(u，k)＝∑ _i((u _i，k-f _i，k) ²+λ∑ _j∈N(i)w _i，j(g _k)(u _i，k-u _j，k) ²+η∑ _{p∈(k-n，...，k，...，k+n)}a _(k，p)(u _i，k-f _i，p) ²)，其中，i为当前像素点的位置，k为当前帧，u _i，k为当前像素点的像素值，f _i，k为当前帧深度图像中与当前像素点对应的像素值，λ为帧内总平滑权重系数，j为i的邻域N(i)的像素点位置，g _k为语义分割图像，w _i，j(g _k)为语义分割图像对应的边缘加强平滑系数，u _j，k为当前像素点的领域的像素点的像素值，η为帧间总平滑权重系数，p为当前帧的相邻帧，a _(k，p)为帧平滑系数，f _i，p为相邻帧深度图像中与当前像素点对应的像素值。

如此，处理模块16通过优化目标函数，获得当前平滑图像的每个像素点的像素值，从而得到当前平滑图像。

在某些实施方式中，邻域N(i)为4邻域或8邻域。

如此，当前帧的当前像素点i的4邻域或8邻域的像素点可以进行滤波处理，从而获得与当前帧深度图像对应的当前平滑深度图像。

在某些实施方式中，λ的取值范围为[100,10000]，η的取值范围为[100,10000]。

如此，可以根据需要设置帧内总平滑权重系数和帧间总平滑权重系数，从而获得较佳的目标函数。

在某些实施方式中，

g _i为语义分割图像与当前像素点对应的像素值，g _j为语义分割图像与j点对应的像素值，σ为第一系数，σ的取值范围为[1,10]。

如此，可以根据需要设置第一系数，从而获得较为合理的帧平滑系数。

在某些实施方式中，

ρ为第二系数，ρ的取值范围为[0.001,1000]。

如此，可以根据需要设置第二系数，从而获得较为合理的帧平滑系数。

请参阅图11，本申请提供一种摄像头组件100，摄像头组件100包括图像传感器101、深度传感器102和处理器103，处理器103用于获取当前场景图像，当前场景图像包括多个不同物体区域，将当前场景图像的各个物体区域映射到不同的像素值范围以获得语义分割图像；获取多帧深度图像，多帧深度图像包括与当前场景图像对应的当前帧深度图像；根据语义分割图像和多帧深度图像进行滤波处理以获得与当前帧深度图像对应的当前平滑深度图像。

上述摄像头组件100，通过滤波处理得到当前平滑深度图像，从而可以减小当前平滑深度图像的噪声，使得当前平滑深度图像的深度信息更加准确。另外，由于当前平滑深度图像是根据语义分割图像获得的，因此，当前平滑深度图像能够体现场景图像各个不同物体区域的深度变化差异。再有，由于当前平滑深度图像是根据多帧深度图像获得的，因此，当前平滑深度图像能够体现多帧深度图像的变化，从而使得多帧当前平滑深度图像之间更加平滑。

处理器103可以用于实现上述任意一种实施方式所述的图像处理方法，在此不再赘述。

请参阅图12，本申请提供一种电子设备1000，电子设备1000包括上述实施方式的摄像头组件100及壳体200，摄像头组件100设置在壳体200上。

上述电子设备1000，通过滤波处理得到当前平滑深度图像，从而可以减小当前平滑深度图像的噪声，使得当前平滑深度图像的深度信息更加准确。另外，由于当前平滑深度图像是根据语义分割图像获得的，因此，当前平滑深度图像能够体现场景图像各个不同物体区域的深度变化差异。再有，由于当前平滑深度图像是根据多帧深度图像获得的，因此，当前平滑深度图像能够体现多帧深度图像的变化，从而使得多帧当前平滑深度图像之间更加平滑。

具体地，在图12所示的实施方式中，电子设备1000为智能手机，在其它实施方式中，电子设备可为相机、平板电脑、笔记本电脑、智能家电、游戏机、头显设备等具有拍照功能的其它设备。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (26)

1. 一种图像处理方法，其特征在于，所述图像处理方法包括：

   获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像；

   获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像；

   根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。
2. 根据权利要求1所述的图像处理方法，其特征在于，所述将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像，包括：

   对所述当前场景图像进行场景检测以确定场景类型；

   在所述场景类型为人物图像时进行人像分割；

   在所述场景类型为非人物图像时进行物体分割；

   根据分割结果确定各个所述物体区域；

   将各个所述物体区域映射到不同的所述像素值范围以获得所述语义分割图像。
3. 根据权利要求2所述的图像处理方法，其特征在于，所述将各个所述物体区域映射到不同的像素值范围以获得所述语义分割图像，包括：

   根据分割结果确定各个所述物体区域并形成分割图像，每个所述物体区域在所述分割图像中用相同像素值表示；

   将所述分割图像与所述当前场景图像进行加权处理以获得所述语义分割图像。
4. 根据权利要求2所述的图像处理方法，其特征在于，所述将各个所述物体区域映射到不同的像素值范围以获得所述语义分割图像，包括：

   根据所述物体区域的数量确定各个所述物体区域映射的所述像素值范围；

   将各个所述物体区域映射到对应的所述像素值范围以获得所述语义分割图像。
5. 根据权利要求1-4任意一项所述的图像处理方法，其特征在于，相邻的两个所述像素值范围之间间隔预设范围，所述预设范围的最大值与所述预设范围的最小值的差值大于1。
6. 根据权利要求1所述的图像处理方法，其特征在于，所述根据所述语义分割图像和 多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像，包括：

   优化目标函数以使得所述目标函数取得最小值，并输出所述最小值对应的所述当前平滑深度图像的当前像素点的像素值，目标函数J(u，k)＝∑ _i((u _i，k-f _i，k) ²+λ∑ _j∈N(i)w _i，j(g _k)(u _i，k-u _j，k) ²+η∑ _{p∈(k-n，...，k，...，k+n)}a _(k，p)(u _i，k-f _i，p) ²)，其中，i为所述当前像素点的位置，k为当前帧，u _i，k为所述当前像素点的像素值，f _i，k为所述当前帧深度图像中与所述当前像素点对应的像素值，λ为帧内总平滑权重系数，j为i的邻域N(i)的像素点位置，g _k为所述语义分割图像，w _i，j(g _k)为所述语义分割图像对应的边缘加强平滑系数，u _j，k为所述当前像素点的领域的像素点的像素值，η为帧间总平滑权重系数，p为当前帧的相邻帧，a _(k，p)为帧平滑系数，f _i，p为相邻帧深度图像中与所述当前像素点对应的像素值。
7. 根据权利要求6所述的图像处理方法，其特征在于，所述邻域N(i)为4邻域或8邻域。
8. 根据权利要求6所述的图像处理方法，其特征在于，λ的取值范围为[100,10000]，η的取值范围为[100,10000]。
9. 根据权利要求6所述的图像处理方法，其特征在于，

   

   g _i为所述语义分割图像与所述当前像素点对应的像素值，g _j为所述语义分割图像与j点对应的像素值，σ为第一系数，σ的取值范围为[1,10]。
10. 根据权利要求6所述的图像处理方法，其特征在于，

    

    ρ为第二系数，ρ的取值范围为[0.001,1000]。
11. 根据权利要求1所述的图像处理方法，其特征在于，多帧所述深度图像包括所述当前帧深度图像和历史帧深度图像，所述历史帧深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之前，所述图像处理方法用于实时获取所述当前平滑深度图像。
12. 根据权利要求1所述的图像处理方法，其特征在于，多帧所述深度图像包括所述当前帧深度图像、第一关联深度图像和第二关联深度图像，所述第一关联深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之前，所述第二关联深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之后。
13. 一种图像处理装置，其特征在于，所述图像处理装置包括：

    第一获取模块，用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像；

    第二获取模块，用于获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像；

    处理模块，用于根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。
14. 根据权利要求13所述的图像处理装置，其特征在于，所述第一获取模块包括：

    检测单元，用于对所述当前场景图像进行场景检测以确定场景类型；

    第一分割单元，用于在所述场景类型为人物图像时进行人像分割；

    第二分割单元，用于在所述场景类型为非人物图像时进行物体分割；

    确定单元，用于根据分割结果确定各个所述物体区域；

    映射单元，用于将各个所述物体区域映射到不同的所述像素值范围以获得所述语义分割图像。
15. 根据权利要求14所述的图像处理装置，其特征在于，所述映射单元包括：

    第一确定子单元，用于根据分割结果确定各个所述物体区域并形成分割图像，每个所述物体区域在所述分割图像中用相同像素值表示；

    加权处理子单元，用于将所述分割图像与所述当前场景图像进行加权处理以获得所述语义分割图像。
16. 根据权利要求14所述的图像处理装置，其特征在于，所述映射单元包括：

    第二确定子单元，用于根据所述物体区域的数量确定各个所述物体区域映射的所述像素值范围；

    映射子单元，用于将各个所述物体区域映射到对应的所述像素值范围以获得所述语义分割图像。
17. 根据权利要求13-16任意一项所述的图像处理装置，其特征在于，相邻的两个所述像素值范围之间间隔预设范围，所述预设范围的最大值与所述预设范围的最小值的差值大于1。
18. 根据权利要求13所述的图像处理装置，其特征在于，所述处理模块包括：

    优化单元，用于优化目标函数以使得所述目标函数取得最小值，并输出所述最小值对应的所述当前平滑深度图像的当前像素点的像素值，目标函数J(u，k)＝∑ _i((u _i，k-f _i，k) ²+λ∑ _j∈N(i)w _i，j(g _k)(u _i，k-u _j，k) ²+η∑ _{p∈(k-n，...，k，...，k+n)}a _(k，p)(u _i，k-f _i，p) ²)，其中，i为所述当前像素点的位置，k为当前帧，u _i，k为所述当前像素点的像素值，f _i，k为所述当前帧深度图像中与所述当前像素点对应的像素值，λ为帧内总平滑权重系数，j为i的邻域N(i)的像素点位置，g _k为所述语义分割图像，w _i，j(g _k)为所述语义分割图像对应的边缘加强平滑系数，u _j，k为所述当前像素点的领域的像素点的像素值，η为帧间总平滑权重系数，p为当前帧的相邻帧，a _(k，p)为帧平滑系数，f _i，p为相邻帧深度图像中与所述当前像素点对应的像素值。
19. 根据权利要求18所述的图像处理装置，其特征在于，所述邻域N(i)为4邻域或8邻域。
20. 根据权利要求18所述的图像处理装置，其特征在于，λ的取值范围为[100,10000]，η的取值范围为[100,10000]。
21. 根据权利要求18所述的图像处理装置，其特征在于，

    

    g _i为所述语义分割图像与所述当前像素点对应的像素值，g _j为所述语义分割图像与j点对应的像素值，σ为第一系数，σ的取值范围为[1,10]。
22. 根据权利要求18所述的图像处理装置，其特征在于，

    

    ρ为第二系数，ρ的取值范围为[0.001,1000]。
23. 根据权利要求13所述的图像处理装置，其特征在于，多帧所述深度图像包括所述当前帧深度图像和历史帧深度图像，所述历史帧深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之前，所述图像处理方法用于实时获取所述当前平滑深度图像。
24. 根据权利要求13所述的图像处理装置，其特征在于，多帧所述深度图像包括所述当前帧深度图像、第一关联深度图像和第二关联深度图像，所述第一关联深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之前，所述第二关联深度图像的拍摄时间在所述当前帧深度图像的拍摄时间之后。
25. 一种摄像头组件，其特征在于，所述摄像头组件包括处理器，所述处理器用于获取当前场景图像，所述当前场景图像包括多个不同物体区域，将所述当前场景图像的各个所述物体区域映射到不同的像素值范围以获得语义分割图像；获取多帧深度图像，多帧所述深度图像包括与所述当前场景图像对应的当前帧深度图像；根据所述语义分割图像和多帧所述深度图像进行滤波处理以获得与所述当前帧深度图像对应的当前平滑深度图像。
26. 一种电子设备，其特征在于，所述电子设备包括：

    权利要求25所述的摄像头组件；及

    壳体，所述摄像头组件设置在所述壳体上。

Images