CN112967182B

CN112967182B - 图像处理方法、装置及设备、存储介质

Info

Publication number: CN112967182B
Application number: CN201911276812.8A
Authority: CN
Inventors: 冉盛辉
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2022-07-29
Anticipated expiration: 2039-12-12
Also published as: CN112967182A

Abstract

本发明提供一种图像处理方法、装置及设备、存储介质，以克服车载环视系统中图像显示时的摩尔纹现象。该方法包括：针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域；对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像；将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图；显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

Description

图像处理方法、装置及设备、存储介质

技术领域

本发明涉及车载环视系统技术领域，尤其涉及的是一种图像处理方法、装置及设备、存储介质。

背景技术

车载环视系统是汽车辅助安全系统之一，可以在低速工况下为驾驶员提供呈现车辆周围环境的环视全景图，为驾驶员的操作提供视觉辅助，目前已成为众多量产车型的标准配置。

在车载环视系统中，当图像分辨率高到一定值时，图像会因相邻细节之间相互干扰而发生摩尔纹现象。摩尔纹是一种高频不规则干扰条纹，显示的图像中带有较大面积的摩尔纹，会影响驾驶员对周围环境的判断。

然而，目前仍未有可以解决车载环视系统中图像显示时发生的摩尔纹现象的相关技术。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置及设备、存储介质，以克服车载环视系统中图像显示时的摩尔纹现象。

本发明第一方面提供一种图像处理方法，该方法包括：

针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域；

对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像；

将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图；

显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

根据本发明的一个实施例，从所述第一图像中确定摩尔纹区域，包括：

获取第一摩尔纹区域位置信息，所述第一摩尔纹区域位置信息是依据所述第一相机的安装位置预测的；

从所述第一图像中找出与所述第一摩尔纹区域位置信息对应的第一区域；

将所述第一区域确定为所述摩尔纹区域。

根据本发明的一个实施例，所述第一摩尔纹区域位置信息通过以下方式预测：

在第一坐标系中确定所述第一相机的第一安装位置、及第二区域；所述第一坐标系为所述承载所述车载环视系统的车辆所应用的坐标系，所述第二区域的中心位置低于所述第一安装位置，所述第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度；

按照第一坐标系与第二坐标系之间的转换关系将所述第一坐标系中第二区域的位置信息转换为所述第二坐标系中的第三区域位置信息；第二坐标系为所述第一相机应用的坐标系；

将所述第三区域位置信息确定为所述第一摩尔纹区域位置信息。

根据本发明的一个实施例，将所述第一图像与所述第二图像进行融合之前，还包括：

调整所述第一图像中摩尔纹区域内各像素位置的像素值，得到第三图像；

调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值，得到第四图像；

将所述第一图像与所述第二图像进行融合，包括：

将所述第三图像与所述第四图像融合得到所述第一单视图。

根据本发明的一个实施例，调整所述第一图像中摩尔纹区域内各像素位置的像素值，包括：

针对所述摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第一权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值；

其中，第一权重图的尺寸与摩尔纹区域的尺寸相等，第一权重图的中心区域内各像素位置上的权重值均为第一设定权重值，且所述第一权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐增大。

根据本发明的一个实施例，调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值，包括：

针对所述去摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第二权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值；

其中，第二权重图的尺寸与去摩尔纹区域的尺寸相等，第二权重图的中心区域内各像素位置上的权重值均为第二设定权重值，所述第二设定权重值大于所述第一设定权重值，且所述第二权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐减小。

根据本发明的一个实施例，将所述第三图像与所述第四图像融合得到所述第一单视图，包括：

针对所述第三图像中摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第四图像中相同像素位置上的像素值求和，得到所述第一单视图；

或者，

针对所述第四图像中去摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第三图像中相同像素位置上的像素值求和，得到所述第一单视图。

本发明第二方面提供一种图像处理装置，该装置包括：

摩尔纹区域确定模块，用于针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域；

去摩尔纹滤波模块，用于对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像；

图像融合模块，用于将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图；

图像显示模块，用于显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

根据本发明的一个实施例，所述摩尔纹区域确定模块从所述第一图像中确定摩尔纹区域时，具体用于：

将所述第一区域确定为所述摩尔纹区域。

根据本发明的一个实施例，所述第一摩尔纹区域位置信息通过以下模块预测：

第二区域确定模块，用于在第一坐标系中确定所述第一相机的第一安装位置、及第二区域；所述第一坐标系为所述承载所述车载环视系统的车辆所应用的坐标系，所述第二区域的中心位置低于所述第一安装位置，所述第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度；

区域位置信息转换模块，用于按照第一坐标系与第二坐标系之间的转换关系将所述第一坐标系中第二区域的位置信息转换为所述第二坐标系中的第三区域位置信息；第二坐标系为所述第一相机应用的坐标系；

第一摩尔纹区域位置信息确定模块，用于将所述第三区域位置信息确定为所述第一摩尔纹区域位置信息。

根据本发明的一个实施例，所述图像融合模块将所述第一图像与所述第二图像进行融合之前，还用于：

所述图像融合模块将所述第一图像与所述第二图像进行融合时，具体用于：

将所述第三图像与所述第四图像融合得到所述第一单视图。

根据本发明的一个实施例，所述图像融合模块调整所述第一图像中摩尔纹区域内各像素位置的像素值时，具体用于：

其中，第一权重图的尺寸与摩尔纹区域的尺寸相等，第一权重图的中心区域内各像素位置上的权重值相等、为第一设定权重值，且所述第一权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐增大。

根据本发明的一个实施例，所述图像融合模块调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值时，具体用于：

其中，第二权重图的尺寸与去摩尔纹区域的尺寸相等，第二权重图的中心区域内各像素位置上的权重值相等、为第二设定权重值，所述第二设定权重值大于所述第一设定权重值，且所述第二权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐减小。

根据本发明的一个实施例，所述图像融合模块将所述第三图像与所述第四图像融合得到所述第一单视图时，具体用于：

或者，

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的图像处理方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的图像处理方法。

本发明实施例具有以下有益效果：

本发明实施例中，可以确定出车载环视系统中第一相机采集的第一图像中的摩尔纹区域，并仅针对第一图像中的摩尔纹区域进行滤波，得到去摩尔纹或少摩尔纹的第二图像，在第二图像中保留了第一图像中摩尔纹区域之外的区域中所有的细节信息，图像质量损失更小、且运算负担更小；再将第一图像与第二图像进行融合，可以弱化第二图像中因滤波留下的分界信息或者说边界痕迹，得到更符合视觉要求的第一单视图，最终显示第一单视图、或由车载环视系统中各相机对应的单视图拼接而成的全景图，上述方式可克服车载环视系统中图像显示时的摩尔纹现象，避免因图像中带有较大面积的摩尔纹而影响驾驶员对周围环境的判断的问题。

附图说明

图1是本发明一实施例的图像处理方法的流程示意图；

图2是本发明一实施例的第一图像的示意图；

图3是本发明一实施例的第二图像的示意图；

图4是本发明一实施例的图像处理装置的结构框图；

图5是本发明一实施例的安装有相机的车辆俯视示意图；

图6是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明实施例可以用在辅助驾驶场合中，比如可以用承载有车载环视系统的车辆上。在车辆行驶过程中，可对车载环视系统中的相机采集的图像进行处理，尽可能地去除图像中的摩尔纹，保证显示图像时的视觉效果，以使驾驶员可准确地从图像中判断出周围环境的情况。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。

在一个实施例中，参看图1，一种图像处理方法，该方法包括：

S100：针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域；

S200：对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像；

S300：将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图；

S400：显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

本发明实施例的图像处理方法可以应用于车载环视系统中的电子设备，电子设备可以是车载嵌入式设备，具体类型不限。电子设备上可以具有显示器，或者，电子设备可以连接车载环视系统中的显示器，以显示各单视图或全景图等。

车载环视系统中可以包含多个相机，各个相机可以安装在承载车载环视系统的车辆上，并且各相机的镜头朝向不同。以四个相机为例，为便于全方位观察周围场景，这四个相机分别安装在车辆的头部、尾部、左侧、右侧，四个相机的镜头分别朝向车辆的前方、后方、左边、右边。当然，此处的数量仅是举例，并不是作为限制。

电子设备与车载环视系统中各个相机连接，各个相机可以以一定的频率采集图像，针对每个相机采集的图像都可以执行步骤S100至S400，得到每个相机对应的单视图。

一些车载环视系统中各相机采集的图像分辨率一般较高，达到会产生摩尔纹现象的分辨率阈值。在此情况下，各相机采集的图像中，有可能因为细节之间的相互干扰而产生摩尔纹现象。本发明实施例可以克服该现象。

本发明实施例中所述的第一相机，为车载环视系统中的一个相机。车载环视系统中其他相机采集的图像处理方式也是一样，所以下面对此将不再赘述。

在步骤S100中，针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域。

第一图像可以是第一相机采集的原始图像，未经过电子设备或其他设备的处理，以保留较多的原始信息。

摩尔纹区域是第一图像中可能或已经产生摩尔纹现象的区域，作为当前图像处理过程中的感兴趣roi(region of interect)区域。摩尔纹会干扰第一图像的视觉效果，所以需要尽可能地去除其中的摩尔纹。

摩尔纹区域的形状可以为矩形、圆、椭圆、不规则多边形等，具体形状不限，可以根据需要设置。可选的，如图2所示，在第一图像I1中确定出的摩尔纹区域Z1呈矩形。

从第一图像中确定摩尔纹区域的方式不限。比如，可以根据预先设置的第一摩尔纹区域位置信息从第一图像中确定摩尔纹区域；或者，可以先确定出用于指示摩尔纹区域位置的第一摩尔纹区域位置信息，再根据第一摩尔纹区域位置信息从第一图像中确定摩尔纹区域。其中，第一摩尔纹区域位置信息可以根据经验确定，或者可以根据第一相机在承载车载环视系统的车辆上的第一安装位置确定。

步骤S200中，对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像。

对第一图像中的摩尔纹区域进行滤波，目的在于降低摩尔纹区域内的锐度，即去除摩尔纹。相比于对整个第一图像进行滤波而言，仅对摩尔纹区域进行滤波，对第一图像中摩尔纹区域之外的区域无影响，可以保留第一图像中摩尔纹区域之外的区域中所有的细节信息，图像质量损失更小，且运算负担更小。

滤波可以采用均值滤波、高斯滤波等方式。当然，具体滤波方式不限，只要能够降低摩尔纹区域内的图像锐度，以去除其中的摩尔纹即可。

对第一图像中的摩尔纹区域进行滤波后，得到第二图像。第二图像中与摩尔纹对应的区域(下面简称去摩尔纹区域)已被降低了锐度，克服摩尔纹现象。

图3中示出了第二图像I2，参看图2和图3，第二图像I2与第一图像I1的差别在于去摩尔纹区域Z2，第二图像I2中去摩尔纹区域Z2之外的其他区域与第一图像I1中摩尔纹区域Z1之外的区域是相同的，第二图像I2中仍保留了去摩尔纹区域Z2之外的其他区域这部分的原始信息。

步骤S300中，将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图。

第二图像是被滤波后的图像，但是由于滤波范围仅限于去摩尔纹区域，所以，第二图像中去摩尔纹区域与去摩尔纹区域之外的区域在交界处会有明显的分界信息。因此，将第一图像与第二图像进行融合，以弱化第二图像中因滤波带来的分界信息，得到第一单视图。

参看图2和图3，在融合时，可以保留第一图像I1中摩尔纹区域Z1之外的区域、或者保留第二图像I2中去摩尔纹区域Z2之外的区域，仅针对摩尔纹区域Z1与去摩尔纹区域Z2进行融合。具体融合方式不限。

基于第一图像与第二图像的融合，在得到的第一单视图中与去摩尔纹区域对应区域的边界处有渐入渐出的效果，不再具有明显的分界信息，提升了视觉效果。

由于第二图像中已经去除或者减少了摩尔纹，将第一图像中与第二图像融合，得到的第一单视图中也相应地无摩尔纹或少摩尔纹，同时第一单视图中可保留第一图像中摩尔纹区域之外的图像原始信息，保证图像质量。

步骤S400中，显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

可以在车载环视系统中的显示器上显示第一单视图、或由第一单视图及车载环视系统中其他各相机对应的单视图拼接而成的全景图，以将无摩尔纹或少摩尔纹、及细节损失较小的第一单视图或全景图呈现给驾驶员。

第一单视图与其他单视图的拼接方式不限。比如，可以预先设置有全景布局图，可以根据预设的查找表中为各相机设置的渲染位置，将各相机对应的单视图或其中的局部区域渲染到全景布局图中，得到全景图。渲染可以由GPU(图形处理器)来完成，实现快速渲染，当然也可以由CPU来完成。将渲染得到的全景图通过显示器呈现给用户，得到无摩尔纹、高清、细节损失小的车载环视全景图。

可选的，在将第一单视图送入显示器显示之前，也可对第一单视图进行渲染。

在一个实施例中，上述方法流程可由图像处理装置执行，如图4所示，图像处理装置100可以包含4个模块：摩尔纹区域确定模块101、去摩尔纹滤波模块102、图像融合模块103和图像显示模块104。摩尔纹区域确定模块101用于执行上述步骤S100，去摩尔纹滤波模块102用于执行上述步骤S200，图像融合模块103用于执行上述步骤S300，图像显示模块104用于执行上述步骤S400。

在一个实施例中，步骤S100中，从所述第一图像中确定摩尔纹区域，可以包括以下步骤：

S101：获取第一摩尔纹区域位置信息，所述第一摩尔纹区域位置信息是依据所述第一相机的安装位置预测的；

S102：从所述第一图像中找出与所述第一摩尔纹区域位置信息对应的第一区域；

S103：将所述第一区域确定为所述摩尔纹区域。

可以根据车载环视系统中第一相机的安装位置预测第一摩尔纹区域位置信息，摩尔纹区域位置信息指示了第一相机采集的图像(包括第一图像)中可能出现摩尔纹的区域。

获取预测的第一摩尔纹区域位置信息，找到第一图像中与第一摩尔纹区域位置信息对应的第一区域，该第一区域即为第一图像中的摩尔纹区域。

举例来说，继续参看图2，第一摩尔纹区域位置信息可以包括一个矩形区域的四个顶点坐标(也可以仅包含左上角顶点和右下角顶点坐标)，可在第一图像I1中确定与这四个顶点坐标对应的像素位置，这些位置即为摩尔纹区域Z1的四个顶点所在像素位置，由此可确定出摩尔纹区域。为其他相机设置的摩尔纹区域位置信息也是同理。

当然，摩尔纹区域位置信息也不限于上述例子，可以根据感兴趣的摩尔纹区域形状而定。比如，如果感兴趣的摩尔纹区域形状为圆形，摩尔纹区域位置信息可以包含圆形区域的中心位置及半径。

申请人发现，将相机固定安装到车辆上后，该相机采集的图像中出现摩尔纹的区域基本固定不变。比如，相机倾斜向下或者直接朝下安装在车辆上时，距离相机越近的场景中，相机采集到的细节越多，图像中该场景所在区域越容易发生摩尔纹现象。基于此发现，可以根据车载环视系统中各相机在车辆上的安装位置，分别预测各相机对应的摩尔纹区域位置信息。

参看图5，图5简单示出了安装有相机的车辆俯视图，其中，四个相机cam0、cam1、cam2和cam3安装在车辆的不同位置上并且镜头朝向不同方位，根据各个相机的安装位置，可以确定哪些场景范围会在相机采集图像中出现摩尔纹，基于该场景范围确定摩尔纹区域位置信息。

当然，上述方式仅是举例，还可以通过其他方式确定摩尔纹区域位置信息。比如，可以在相机安装到车辆上后，控制相机进行多次图像采集，确定采集的每一图像中出现的摩尔纹的区域，对这些区域进行位置信息统计，得到该相机对应的摩尔纹区域位置信息。

本实施例中，获取预测的摩尔纹区域位置信息，在采集到图像时，可以根据摩尔纹区域位置信息直接定位出图像中的摩尔纹区域，并针对摩尔纹区域进行滤波以去除摩尔纹。相比于对图像整体进行频域分析来找出高频部分、并将高频部分默认为是摩尔纹进行去除的方式而言，本实施例可以快速找出摩尔纹所在区域，并可针对性地进行区域滤波，不需要对图像进行整体频域分析及整体滤波，可保证车辆环视系统中图像显示的实时性，并可减少图像整体细节损失，保留图像中更多的原始细节信息。

在一个实施例中，所述第一摩尔纹区域位置信息通过以下方式预测：

T100：在第一坐标系中确定所述第一相机的第一安装位置、及第二区域；所述第一坐标系为所述承载所述车载环视系统的车辆所应用的坐标系，所述第二区域的中心位置低于所述第一安装位置，所述第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度；

T200：按照第一坐标系与第二坐标系之间的转换关系将所述第一坐标系中第二区域的位置信息转换为所述第二坐标系中的第三区域位置信息；第二坐标系为所述第一相机应用的坐标系；

T300：将所述第三区域位置信息确定为所述第一摩尔纹区域位置信息。

在车载环视系统中，相机一般是镜头朝下或向下倾斜地安装在车辆上，相机下方的场景范围(如地面)离相机距离最近，能够被采集到的细节最多，所以在相机采集的图像中该场景范围所在区域也最有可能出现摩尔纹现象。换言之，图像中可能出现摩尔纹现象的场景范围位于相机的安装位置的下方。

因此，可以在第一坐标系中确定第一相机的第一安装位置，并依据第一相机的第一安装位置在第一坐标系中确定第二区域，其中，第二区域的中心位置低于第一安装位置，并且，第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度。

即，第二区域位于第一相机的下方，并且第二区域在第一相机镜头的视场范围内，这块区域相对来说可被第一相机采集到更多细节，所以可能出现摩尔纹的概率最大。

由于相机安装在车辆上，驾驶员实际关心的是车身周围的环境，而非车身本身，图像中车身所在区域是否发生摩尔纹现象并不影响驾驶员对周围环境的判断，所以，确定第二区域时可以避开车身区域。

举例来说，参看图5，Car1为车辆的车身区域，相机cam0、cam1、cam2和cam3安装在车辆的不同位置上，Z30-Z33分别为在第一坐标系中根据相机cam0、cam1、cam2和cam3在车辆上的安装位置确定出的区域。以相机cam0为第一相机为例来说明，Z30为确定出的第二区域，其中，相机cam0的安装位置处于该第二区域Z30的一边界上，该第二区域与车身区域Car1之间不存在交集，避开了车身区域Car1，同时又尽可能离相机cam0的安装位置更近。

第二区域的尺寸可以根据全景图的视宽确定。比如，在全景图的视宽大于等于2米的情况下，第二区域的尺寸可以为2米*2米；在全景图的视宽小于2米的情况下，第二区域的尺寸可以为2米*全景图的视宽。

全景图的视宽可以指：全景图可呈现的场景中，从车身边界开始往背向于车身方向上的场景宽度。比如，全景图中可最远可呈现距车身边界2米远的范围，则全景图的视宽为2米。

但是，第二区域是在第一坐标系中确定出的，第一坐标系为承载车载环视系统的车辆所应用的坐标系，即第二区域是以车辆为基准确定出的。由于需确定第一图像中的摩尔纹区域，所以需要将第二区域的位置信息转换为第一相机应用的第二坐标系中的第三区域位置信息。

可以预先根据相机中已设置的内参、外参等来预先确定好第一坐标系与第二坐标系之间的转换关系。按照该转换关系将第一坐标系中第二区域的位置信息转换为第二坐标系中的第三区域位置信息。

在一个实施例中，将所述第一图像与所述第二图像进行融合之前，该方法还包括以下步骤：

S301：调整所述第一图像中摩尔纹区域内各像素位置的像素值，得到第三图像；

S302：调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值，得到第四图像。

相应的，步骤S300中，将所述第一图像与所述第二图像进行融合，可以包括以下步骤：

S303：将所述第三图像与所述第四图像融合得到所述第一单视图。

调整第一图像和第二图像事实上是对图像的平滑处理，具体如何调整第一图像和第二图像的方式不限，只要能够基于调整后的第三图像和第四图像生成弱化或去除了滤波带来的分界痕迹的第一单视图，使得第一单视图中与摩尔纹区域对应的区域在边界处可以平滑过渡，肉眼看不出明显的分界信息即可。

比如，可以对摩尔纹区域内从中心位置往外方向上的各像素位置的像素值依次与递增的权重值相乘，以保证摩尔纹区域从中心往边界逐渐保留更多的图像信息；同时，可以对去摩尔纹区域内从中心位置往外方向上的各像素位置的像素值依次与递减的权重值相乘，以保证去摩尔纹区域从中心往边界逐渐弱化图像信息。如此，将第三图像与所述第四图像融合得到的第一单视图中，与摩尔纹区域对应的区域中从中心往边界的方向上，摩尔纹区域的图像信息逐渐增多，去摩尔纹区域的图像信息逐渐减小，以实现平滑过渡，在保证无摩尔纹或少摩尔纹的基础上，提升视觉效果。

调整方式举例来说，可以预先设置好融合权重表，根据融合权重表中的权重值来调整第一图像中摩尔纹区域内各像素位置的像素值、以及第二图像中去摩尔纹区域内各像素位置的像素值。

在第一摩尔纹区域位置信息已确定的情况下，融合权重值表可以根据第一摩尔纹区域位置信息来设置。比如，根据第一摩尔纹区域位置信息确定摩尔纹区域内所有可能的像素位置(去摩尔纹区域中各像素位置与摩尔纹区域相同)，并在融合权重表中记录所有可能的像素位置对应的第一权重值和第二权重值，第一权重值用来调整摩尔纹区域内对应像素位置的像素值，第二权重值用来调整去摩尔纹区域内对应像素位置的像素值。

在一个实施例中，步骤S301中，调整所述第一图像中摩尔纹区域内各像素位置的像素值，包括：

第一权重图是一张各像素位置上记录了权重值的图像，而且第一权重图的尺寸与摩尔纹区域的尺寸相等，所以可以保证摩尔纹区域内各像素位置上的像素值可以与第一权重图中对应像素位置上的权重值相乘。相比于其他形式而言，以图像形式设置摩尔纹区域加权所需的权重值，可以快速地完成对第一图像的调整。

第一权重图的中心区域内各像素位置上的权重值相等且均为第一设定权重值，由于调整的目标是为了使得边界平滑过渡，摩尔纹区域的非边界区域基本不会影响第一单视图中的分界信息，而且摩尔纹区域的非边界区域相对于去摩尔纹区域的非边界信息而言较为不重要，所以可以弱化摩尔纹区域的非边界区域在第一单视图中的影响。因此，第一设定权重值比如可以为0、或者其他较小的数值比如0.1或0.2等。

而第一权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐增大，比如可以从第一设定权重值逐渐增大至第二设定权重值，具体可以从0逐渐增大至1。如此，可以保证摩尔纹区域的边界区域在第一单视图中的影响由内往外逐渐增大，使得第一单视图的相应区域可平滑过渡。

在一个实施例中，步骤S302中，调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值，包括：

第二权重图是一张各像素位置上记录了权重值的图像，而且第二权重图的尺寸与去摩尔纹区域的尺寸相等，所以可以保证去摩尔纹区域内各像素位置上的像素值可以与第二权重图中对应像素位置上的权重值相乘。相比于其他形式而言，以图像形式设置去摩尔纹区域加权所需的权重值，可以快速地完成对第二图像的调整。

第二权重图的中心区域内各像素位置上的权重值相等且均为第二设定权重值，由于调整的目标是为了使得边界平滑过渡，去摩尔纹区域的非边界区域也基本不会影响第一单视图中的边界信息，而且去摩尔纹区域的非边界区域相对于摩尔纹区域的非边界信息而言更重要，所以可以尽可能保留去摩尔纹区域的非边界区域在第一单视图中的影响。因此，第二设定权重值大于第一设定权重值，第二设定权重值比如可以为1、或者其他较大的数值比如0.9或0.8等。

而第二权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐减小，比如可以从第二设定权重值逐渐减小至第一设定权重值，具体可以从1逐渐减小至0。如此，可以保证去摩尔纹区域的边界区域在第一单视图中的影响由内往外逐渐减小，使得第一单视图的相应区域可平滑过渡。

在一个实施例中，步骤S303中，将所述第三图像与所述第四图像融合得到所述第一单视图，包括：

或者，

由于第三图像中摩尔纹区域之外的区域、及第四图像中去摩尔纹区域之外的区域，保留了第一图像中对应的原始信息，从始至终未经过调整。所以，可以继续沿用在第一单视图中，本实施例仅针对第三图像中摩尔纹区域与第四图像中去摩尔纹区域进行处理。

可以以第三图像为基础，将其摩尔纹区域内每一像素位置上的像素值修改为该像素值与第四图像中该像素位置上的像素值之和，得到第一单视图。或者，可以以第四图像为基础，将其去摩尔纹区域内每一像素位置上的像素值修改为该像素值与第三图像中该像素位置上的像素值之和，得到第一单视图。

由于第三图像中摩尔纹区域之外的区域、及第四图像中去摩尔纹区域之外的区域一致，所以上述两种方式的结果是一样的，都可得到需要的第一单视图。

可选的，为了避免像素值求和时超过设定的像素阈值，在设置第一权重图和第二权重图时，保证第二设定权重值与第一设定权重值之和为1。

本发明还提供一种图像处理装置，参看图4，该图像处理装置100包括：

摩尔纹区域确定模块101，用于针对车载环视系统中第一相机采集的第一图像，从所述第一图像中确定摩尔纹区域；

去摩尔纹滤波模块102，用于对所述第一图像中的摩尔纹区域进行滤波以去除所述摩尔纹区域中的摩尔纹，得到第二图像；

图像融合模块103，用于将所述第一图像与所述第二图像进行融合得到所述第一相机对应的第一单视图；

图像显示模块104，用于显示所述第一单视图，或者，将所述第一单视图和所述车载环视系统中其他各相机对应的单视图进行拼接得到全景图并显示。

在一个实施例中，所述摩尔纹区域确定模块从所述第一图像中确定摩尔纹区域时，具体用于：

将所述第一区域确定为所述摩尔纹区域。

在一个实施例中，所述第一摩尔纹区域位置信息通过以下模块预测：

在一个实施例中，所述图像融合模块将所述第一图像与所述第二图像进行融合之前，还用于：

将所述第三图像与所述第四图像融合得到所述第一单视图。

在一个实施例中，所述图像融合模块调整所述第一图像中摩尔纹区域内各像素位置的像素值时，具体用于：

在一个实施例中，所述图像融合模块调整所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域内各像素位置的像素值时，具体用于：

在一个实施例中，所述图像融合模块将所述第三图像与所述第四图像融合得到所述第一单视图时，具体用于：

或者，

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的图像处理装置100所在电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子采集设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的图像处理方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种图像处理方法，其特征在于，该方法包括：

针对所述第一图像中摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第一权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值，将调整后的第一图像确定为第三图像；其中，第一权重图的尺寸与摩尔纹区域的尺寸相等，第一权重图的中心区域内各像素位置上的权重值均为第一设定权重值，且所述第一权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐增大；

针对所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第二权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值，将调整后的第二图像确定为第四图像；其中，第二权重图的尺寸与去摩尔纹区域的尺寸相等，第二权重图的中心区域内各像素位置上的权重值均为第二设定权重值，所述第二设定权重值大于所述第一设定权重值，且所述第二权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐减小；

针对所述第三图像中摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第四图像中相同像素位置上的像素值求和，得到所述第一相机对应的第一单视图；或者，针对所述第四图像中去摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第三图像中相同像素位置上的像素值求和，得到所述第一单视图；

2.如权利要求1所述的图像处理方法，其特征在于，从所述第一图像中确定摩尔纹区域，包括：

将所述第一区域确定为所述摩尔纹区域。

3.如权利要求2所述的图像处理方法，其特征在于，所述第一摩尔纹区域位置信息通过以下方式预测：

在第一坐标系中确定所述第一相机的第一安装位置及第二区域；所述第一坐标系为承载所述车载环视系统的车辆所应用的坐标系，所述第二区域的中心位置低于所述第一安装位置，所述第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度；

4.一种图像处理装置，其特征在于，该装置包括：

图像融合模块，用于针对所述第一图像中摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第一权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值，将调整后的第一图像确定为第三图像；其中，第一权重图的尺寸与摩尔纹区域的尺寸相等，第一权重图的中心区域内各像素位置上的权重值均为第一设定权重值，且所述第一权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐增大；针对所述第二图像中与所述摩尔纹区域对应的去摩尔纹区域中的每一像素位置，将该像素位置上的像素值与第二权重图中该像素位置被设置的权重值相乘，得到该像素位置上调整后的像素值，将调整后的第二图像确定为第四图像；其中，第二权重图的尺寸与去摩尔纹区域的尺寸相等，第二权重图的中心区域内各像素位置上的权重值均为第二设定权重值，所述第二设定权重值大于所述第一设定权重值，且所述第二权重图内从中心区域的边界开始往外的各方向上各像素位置上的权重值逐渐减小；针对所述第三图像中摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第四图像中相同像素位置上的像素值求和，得到所述第一相机对应的第一单视图；或者，针对所述第四图像中去摩尔纹区域内的每一像素位置，将该像素位置上的像素值与所述第三图像中相同像素位置上的像素值求和，得到所述第一单视图；

5.如权利要求4所述的图像处理装置，其特征在于，所述摩尔纹区域确定模块从所述第一图像中确定摩尔纹区域时，具体用于：

将所述第一区域确定为所述摩尔纹区域。

6.如权利要求4所述的图像处理装置，其特征在于，所述第一摩尔纹区域位置信息通过以下模块预测：

第二区域确定模块，用于在第一坐标系中确定所述第一相机的第一安装位置及第二区域；所述第一坐标系为承载所述车载环视系统的车辆所应用的坐标系，所述第二区域的中心位置低于所述第一安装位置，所述第一安装位置到所述第二区域的中心位置的方向与所述第一相机的镜头朝向之间的夹角小于设定角度；

7.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-3中任意一项所述的图像处理方法。

8.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-3中任意一项所述的图像处理方法。