CN110148089B - 一种图像处理方法、装置及设备、计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置及设备，其中，方法包括：将目标图像的背景估计数据和附属估计数据输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；调用背景估计模型对背景初始数据进行处理，得到背景数据；调用附属估计模型对附属初始数据进行处理，得到附属数据；若数据变化信息不满足变化条件，则将背景数据作为用于表示背景特征内容的图像数据。采用本发明实施例中，可较好地实现对目标图像去处附属的效果，在一定程度上得到较优的背景数据，得到较为清晰的不包括附属的清晰图像。

Description

一种图像处理方法、装置及设备、计算机存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备、计算机存储介质。

背景技术

随着图像处理技术的发展，目前基于图像处理的应用场景也逐渐增多，例如智能交通检测、汽车自动驾驶、街景应用等一些基于计算机视觉的应用，这些应用通过对环境图像的拍摄和自动识别处理，能够识别出街道环境、路况等情况，以便于进一步地实现检测、导航、自动驾驶等功能。

图像去雨是图像处理的重要问题之一，雨是最常见的一项天气干扰，在上述提到的自动驾驶、交通检测等场景中拍摄得到的带有天气特征的附属特征部分的图像处处可见，例如，带有下雨天气特征的雨线附属特征、带有下雪天气特征的雪线附属特征、带有冰雹天气特征的冰雹附属特征等等。在对这些场景下的图像进行分类、检测等处理的过程中，这些附属特征会带来很大干扰，使得检测结果不准确。

发明内容

本发明实施例提供一种图像处理方法、装置及设备、计算机存储介质，可对带有雨线等附属特征的图像进行处理得到较为清晰的修正图像的图像数据。

一方面，本发明实施例提供了一种图像处理方法，用于对包括背景特征内容和附属特征内容的目标图像进行处理，所述方法包括：

将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；

调用背景估计模型对所述背景初始数据进行处理，得到背景数据；

调用附属估计模型对所述附属初始数据进行处理，得到附属数据；

若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；

其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据和所述附属估计数据之间的第二变化信息。

另一方面，本发明实施例还提供了一种图像处理装置，用于对包括背景特征内容和附属特征内容的目标图像进行处理，所述装置包括：

确定模块，用于确定出目标图像；

处理模块，用于将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；调用背景估计模型对所述背景初始数据进行处理，得到背景数据；调用附属估计模型对所述附属初始数据进行处理，得到附属数据；若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据与所述附属估计数据之间的第二变化信息。

相应地，本发明实施例还提供了一种图像处理设备，包括存储装置和处理器；所述存储装置中存储有计算机程序指令，所述处理器调用所述计算机程序指令，用于执行上述的图像处理方法。

相应地，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序指令被处理器执行时，实现上述的图像处理方法。

在本发明实施例中，首先通过模型对目标图像的相关数据进行初始的识别处理，得到两个初始的图像，然后再基于专用的背景估计模型对背景初始数据进行优化，并基于专用的附属估计模型对附属初始数据进行优化，这样可以较好地实现对目标图像去处附属的效果，在一定程度上保证得到较优的背景数据，得到较为清晰的不包括附属的清晰图像。

附图说明

图1是本发明实施例的一种图像处理方法的应用场景示意图；

图2是本发明实施例的另一种图像处理方法的应用场景示意图；

图3是本发明实施例的进行图像去雨处理的一个架构示意图；

图4则是本发明实施例的图像去雨处理的方法流程示意图；

图5是本发明实施例的一种图像处理方法的流程示意图；

图6是本发明实施例的一种图像处理装置的结构示意图；

图7是本发明实施例的一种图像处理设备的结构示意图。

具体实施方式

在本发明实施例中提出了新的对图像进行处理的模型架构，引入了三个模型来对目标图像的相关数据进行处理，一方面通过图像处理模型对输入的目标图像相关的数据进行初步处理，得到关于目标图像背景特征内容的背景初始数据和关于目标图像附属特征内容的附属初始数据，另一方面再分别基于专用的背景估计模型对背景初始数据进行优化得到相对更清晰的背景图像的数据、基于专用附属估计模型对附属初始数据进行估计得到相对更准确的附属数据，三个模型之间相互独立，并且可以基于各自不同的用途分别使用相应的较优算法来实现这三个模型，使得各个模型对输入数据进行计算更具针对性，可以较好地保证得到较优的计算结果。在一个实施例中，附属特征内容主要是指雨线、雪线、冰雹线等相应天气特征的图像内容，而背景特征内容即是除去附属特征内容外的所有图像内容。

并且，在本发明实施例中还设置了变化条件，只有在经过三个模型处理后输出的数据与输入数据之间的变化较小时，例如数据所对应数值的差值均在所述变化条件中指示的变化值范围内，才将背景数据作为仅用于表示所述背景特征内容的图像数据，以此生成去除雨线、雪线等附属特征内容的修正图像，也就是说，通过判断是否满足变化条件来确定三个模型对数据的处理后是否还有较大的数据优化空间，如果不满足变化条件，不在所述变化条件中指示的变化值范围内，则表明还需要进一步基于三个模型来对本次输出的数据再进行优化处理。而如果满足变化条件，在所述变化条件中指示的变化值范围内，则表明输出的数据特别是背景数据已经为较优的数据，可以不必再继续进行优化处理，直接可以确定出关于目标图像的背景特征内容的图像数据。在不满足变化条件时，可以接着将本次输出的背景数据和附属数据分别作为新的背景估计数据和附属估计数据，先后输入到三个模型中进行相应的优化处理。本发明实施例可以通过循环优化处理的方式，基于三个模型构成的处理架构进行优化处理，以最终输出较优的用于表示所述背景特征内容的图像数据，进而得到去除了雨线、雪线等附属特征内容的较为清晰的背景图像。

请参考图1，是本发明实施例的一种图像处理方法的应用场景示意图，该应用场景为一个自动驾驶场景，在汽车等交通工具的各个不同位置上安装有图像采集设备，透过这些图像采集设备，能够采集交通工具在行驶过程中的交通环境图像。在自动驾驶场景下，为了行驶安全对图像的清晰度要求非常高，对于包括了雨线、雪线等附属特征内容的图像，需要准确地进行去雨、去雪等处理。在一个实施例中，可在交通工具中设置一个控制装置，一方面控制装置能够获取各个图像采集设备采集到的图像，将每一帧图像或者其中的部分图像确定为待处理的目标图像，基于预置的上述提及的三个模型先后对目标图像进行处理，得到去除附属特征内后的清晰的修正图像即背景图像，控制装置再针对这些清晰的背景图像按照现有的识别方式进行图像识别，确定行驶环境，生成控制指令；另一方面，在确定了行驶环境后再按照现有的控制方式发出控制指令，完成对交通工具转弯、停止或者继续行驶等控制。

在确定待处理的目标图像之前，可以判断当前是否处于下雨或者下雪等天气环境中，可以通过在交通工具中内置的传感器来检测，在传感器检测到下雨或者下雪等天气情况时，即开始将当前获取到的环境图像分别作为目标图像，然后执行在后续如图4等附图对应的实施例中的图像处理方法，将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据等步骤。

再请参见图2，是本发明实施例的另一种图像处理方法的应用场景示意图，该应用场景是一个交通检测场景，由部署在多个交通要道或者是特殊位置节点的图像采集器来采集环境图像，并通过无线传输或者有线传输的方式传输到控制中心的服务器中，一个或者多个服务器中预置了上述提及的三个模型，服务器针对采集到的部分或者全部图像，确定出其中包括雨线、雪线等附属特征内容的图像，并将这些确定的图像作为目标图像，基于预置的上述提及的三个模型先后对其进行处理，得到清晰的背景图像。再基于清晰的背景图像进行较为准确的图像分析与估计，确定交通状态等情况，方便后续进行交通控制，例如在确定交通拥挤时，通过调节相应路口处的红绿灯来减缓拥堵。

在图2所示的场景下，上传给服务器等图像处理设备的图像相关数据中，除了包括每一图像的图像数据外，还需要包括每一图像的拍摄位置信息和/或附属标识。在一个实施例中，服务器可以基于图像的拍摄位置信息并基于已确定的异常位置区域(异常位置区域是指下雨和/或下雪的位置区域)，来确定相应的图像数据是否为带有附属特征内容的图像，如果是，才将其确定为目标图像，以便于执行下述如图4等附图对应的实施例中图像处理方法中提及的相关步骤；另一方面，图像采集设备可以直接在采集图像时感测环境数据，判断当前环境是否为异常环境(异常环境是指有雨或者雪等天气特征的环境)，如果是，则在发送给服务器等图像处理设备的图像相关数据中，设置图像的附属标识，该附属标识用来表示该图像数据为带附属特征内容的图像数据，使得服务器等图像处理设备将其确定为目标图像，以便于执行下述如图4等附图对应的实施例中图像处理方法中提及的相关步骤。

下面再结合图3和图4对本发明实施例的图像处理进行描述，图3是本发明实施例的进行图像处理的一个架构示意图，而图4则是本发明实施例的图像处理的方法流程示意图，进行图像处理主要是指去除图像数据中雨线、雪线等天气附属特征内容的处理，所述目标图像的背景估计数据301和附属估计数据302作为输入数据，经过后续的三个模型进行处理。在一个实施例中，首次输入图像处理模型的数据为目标图像的图像数据和一个空白图像数据，对于首次输入的数据，进行的图像处理方法包括确定背景估计数据和附属估计数据的步骤，在一个实施例中，该确定背景估计数据和附属估计数据的步骤可以包括：获取所述目标图像上像素点的像素点值，并根据像素点值得到初始化矩阵数据；将得到的初始化矩阵数据作为所述目标图像的背景估计数据；获取空白图像矩阵数据，并将该空白图像矩阵数据作为所述目标图像的附属估计数据，所述空白图像矩阵数据上的数值为指定数值，例如空白图像矩阵数据上的数值为全0的值。也就是说，第一个背景估计数据301为目标图像本身的图像数据，而第一个附属估计数据302则为一个空白图像数据。由目标图像的图像数据和空白图像矩阵数据完成三个模型的初始化，可以认为背景图像是从一个从有附属特征到无附属特征的处理过程，而附属图像则可以认为是一个从无附属特征(空白图像)到仅有附属特征的处理过程。

在一个实施例中，所述获取的像素点值具体可以为像素点的亮度信号Y通道值，经实测确定，采用Y通道值更能够快捷地得到清晰的背景图像，从数据输入到最终的背景图像的输出，采用Y通道值进行处理时计算量较小，针对不同的图像数据格式，可以进行颜色空间转换，以便于得到对应的数据。上述提及的获取所述目标图像上像素点的像素点值的步骤可以包括：检测所述目标图像所对应的颜色空间；若检测结果为第一颜色空间，则将所述目标图像对应的颜色空间从第一颜色空间转换到第二颜色空间；从第二颜色空间的目标图像中确定每个像素点的亮度信号Y通道值；其中，第二颜色空间可以是YUV颜色空间，也可以是Ycrbr颜色空间，只需要确定第二颜色空间中的Y通道值进行后续的模型计算处理，也就是说，将目标图像对应的Y通道值构成第一次输入的背景估计数据。

在本发明实施例中，需要说明的是，图3中的背景估计数据301的示意图片和附属估计数据302的示意图片仅是用于示意背景估计数据和附属估计数据，所述背景估计数据可以为一个二维矩阵，该二维矩阵上每一个数值与目标图像上对应位置处的像素点对应，可以作为一个中间背景图像的像素点的像素点值，例如该中间背景图像的像素点的亮度信号Y通道值。同样，所述附属估计数据也为一个二维矩阵，该二维矩阵上每一个数值与目标图像上对应位置处的像素点对应，可以作为一个中间附属图像的像素点的像素点值，例如该中间附属图像的像素点的亮度信号Y通道值。所述中间背景图像用来表示在目标图像和处理后最终得到的修正图像之间的图像，所述中间附属图像用来表示空白图像矩阵数据所对应的空白图像与最终确定附属图像之间的图像。

所述图像处理模型为一个预先设置好的模型，在S401中将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据303和附属初始数据304，可以看出，背景初始数据303中依然还包括部分附属特征的内容，例如图3中背景初始数据303中白色点状区域所示，在一定程度上，可以将这些相对来讲少量的白色点状区域作为图像噪声，以便于背景估计模型利用TNRD(一种残差网络)等进行专用的背景图像处理。而附属初始数据304中则仅包括部分的附属内容，还可以进一步进行处理，得到更全面、完整的附属内容。

在一个实施例中，所述目标图像包括背景特征内容和附属特征内容是指该目标图像例如可以是在图3中所呈现的用于示意背景估计数据301的图像。采用图像处理模型对背景估计数据和附属估计数据进行处理，主要是对背景估计数据和附属估计数据进行校正处理。

在一个实施例中，所述图像处理模型是基于最优解算法对所述目标图像的图像数据、所述背景估计数据以及附属估计数据进行最优解计算，基于所述图像处理模型进行最优解计算的目的在于：对背景估计数据和附属估计数据进行校正，使得模型最终输出的背景初始数据和附属初始数据组合得到的初始组合图像与目标图像之间被认为是最相似，相比于由背景估计数据和附属估计数据组合得到的估计组合图像，所述初始组合图像和目标图像之间更为接近，以此来避免处理后最终输出的图像(例如图3中的背景图像305)与目标图像之间的差别较大的情况。在一个实施例中，所述图像处理模型可以通过基于最大后验估计来建立去雨问题的能量模型，并使用LBFGS算法(一种大规模优化算法)进行模型最优求解。在一个简单的实施例中，所述图像处理模型即是通过LBFGS算法，对如下公式进行最优化计算：

其中，B^(k+1)是指第k+1次循环(不满足变化条件就会循环处理)后得到背景初始数据，R^(k+1)是指第k+1次循环(不满足变化条件就会循环处理)后得到的附属估计数据，B是指当前第k次的背景估计数据，R是指当前第k次的附属估计数据，O是指目标图像的图像数据，k表示本次循环的次数。

经过图像处理模型得到的背景初始数据中，可能还存在部分附属特征的内容数据，同样，针对图像处理模型得到的附属初始数据中，也可能还存在部分背景的内容数据，或者说附属初始数据的附属特征内容较少，因此，在得到背景初始数据和附属初始数据后，在S402中调用背景估计模型对所述背景初始数据303进行处理，得到背景数据，其中，所述背景估计模型用于对所述背景初始数据303进行图像去噪处理得到去噪后的背景数据；在S403中则调用附属估计模型对所述附属初始数据304进行处理，得到附属数据，所述附属估计模型用于对所述附属初始数据304进行高斯分布估计处理，以确定附属数据。所述S402和S403的执行顺序不限。在本发明实施例中，所述背景估计模型和所述附属估计模型对雨图、或者雪图等待附属特征内容的图像配置的专用模型。所述图像处理模型、背景估计模型以及附属估计模型均可以基于有监督的图像对相应模型进行优化训练后得到。

在一个实施例中，所述背景估计模型可以是基于利用背景图像的先验知识对背景图像进行估计的原理来建立并训练优化得到的，具体可以为一个利用去噪的残差网络来生成并训练优化的模型。而所述附属估计模型则是基于利用附属特征的先验知识对附属特征进行估计的原理来建立并优化得到的模型，所述附属估计模型的建立关键在于图像中附属特征的先验知识的估计。在一个实施例中，可以基于高斯混合模型建立初始的附属估计模型，然后基于初始的附属估计模型对不同的测试图像通过块操作，并采用EM(ExpectationMaximization Algorithm，最大期望算法)对模型中的参数进行学习，得到最终的附属估计模型，这样既避免了对大部分的附属特征进行刻画，又保证了结果的精确性。

在一个实施例中，可以基于可学习的混合MAP(Maximum A Posteriori，最大后验)网络，综合考虑模型与网络各自的优势，将模型与网络相结合，得到上述的图像处理模型、背景估计模型和附属估计模型。在一个实施例中，首先基于最大后验估计建立去雨问题的能量模型，然后利用优化算法将模型分解为背景估计模型和附属估计模型两部分，由于背景估计模型与基本图像恢复问题中图像去噪公式的形式和目标相同，因此利用去噪残差网络对背景估计模型的问题求解；对于附属估计模型，利用高斯混合模型对附属先验进行建模。这样一来，不仅降低了附属特征和背景特征之间的依赖程度，而且使问题得到了简化，此外，利用去噪残差网络来解决背景估计部分可将问题进一步简化。

在得到背景数据和附属数据后，在S404中判断是否满足变化条件，在判断结果为是，满足变化条件后，表明所述背景数据与所述背景估计数据之间的第一变化信息在预设的变化条件所包括的变化值范围内，和/或，所述附属数据和所述附属估计数据之间的第二变化信息在预设的变化条件所包括的变化值范围内，则在S405中将所述背景数据作为用于表示所述背景特征内容的图像数据，也就是说，在所述S405中至少将背景估计模型输出的背景数据输出，所述背景数据也为一个二维矩阵，每一位置处的数值可以表示为一个像素点的像素点值，例如对应位置处的像素点的Y通道值，将所述背景数据中各个数值分别作为一个像素点的像素点值，并基于每一个像素点的像素点值生成所述目标图像对应的修正图像即背景图像305，可以看出背景图像305几乎没有附属特征内容。同样，基于附属数据中表示的一个像素点的像素点值，例如对应位置处的像素点的Y通道值，可以最终得到附属图像306，可以看出，附属图像306具有较为丰富、全面、完整的附属特征内容。

而如果判断结果为否，不满足变化条件，则表明第一变化信息和/或第二变化信息不在变化条件所包括的变化值范围内，对背景估计数据和附属估计数据还存在处理的空间，可以进行循环处理。在S406中将所述背景数据确定为新的背景估计数据，并在S407中将所述附属数据确定为新的附属估计数据，将新的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中，继续相应地执行上述的S401、S402、S403以及S404。

在一个实施例中，对于得到的背景数据、附属数据，实际可以是对背景估计模型和附属估计模型的输出原始数据进行数据修正后得到的，需要对所述背景估计模型处理得到的数据中的数值进行异常值修正处理，得到背景数据，还可以对所述附属估计模型处理得到的数据中的数值进行异常值修正处理，得到附属数据。在一个实施例中，由于图像一般都是0到255的数值，因此，该异常值修正主要是将小于0的值设置为0，而将大于255的数值设置为255。经实测发现，经过修正处理可以保证图像处理过程的准确性，并且便于后续还原得到准确的图像。

在本发明实施例中，采用了基于最优解算法等构成的图像处理模块进行初始图像处理，完成对背景相关数据和附属相关数据的校正，再采用了专用于图像去噪以及恢复处理的诸如TNRD(Trainable nonlinear reaction diffusion，可训练非线性反应扩散)模型来构建背景估计模型来对背景初始数据进行处理，采用基于高斯噪声分布的GMM(GaussianMixed Model，高斯混合模型)模型等构建的附属估计模型来对附属初始数据进行处理，可以最大限度地得到较优的主要用于表示背景特征内容的背景数据。并且基于循环处理的方式，对各个模型输出的数据进行多次处理，直到处理的数据变化较小表明已经达到最优的情况后，才输出最终的背景数据得到背景图像，这样一来，可以较好地避免目标图像到最终的背景图像之间的图像退化等缺陷，有效地保证背景图像的准确性和清晰度，最终得到的背景图像可视效果好，排除了附属特征干扰的背景图像所包含的真实图像信息更为丰富。

再请参见图5，是本发明实施例的一种图像处理方法的流程示意图，本发明实施例的所述方法可以由图像处理设备来执行，具体可以是一些能够进行图像处理的服务器、智能终端等设备。本发明实施例的所述方法包括如下步骤。

S501：获取所述目标图像上像素点的像素点值，并根据像素点值得到初始化矩阵数据。所述目标图像是由图像采集设备采集得到的并被确定为包括背景特征内容和附属特征内容的图像。所述目标图像是所述图像采集设备感测到环境处于下雨状态时发送给图像处理设备，或者，所述目标图像是由图像采集设备发送的图像中包含有雨图标识的图像。本发明实施例仅对提及的该特殊目标图像进行图像处理，以便于去除掉这些图像中的附属特征内容部分，例如预先特征内容部分或雪线内容特征部分等，从而得到清晰的背景特征内容部分的背景图像。

S502：将得到的初始化矩阵数据作为所述目标图像的背景估计数据；也就是说，第一次输入的输入参数为目标图像的图像数据，例如可以是由目标图像每一个像素点的像素点值构成的二维矩阵。像素点值可以是目标图像的Y通道值，在一个实施例中，针对RGB、HSB(色相Hue、饱和度saturation、亮度brightness)等颜色空间的目标图像，可以将其转换为YUV格式、或者将其转换为Ycbcr格式等第二颜色空间的图像，提取得到每个像素点的Y通道值，并根据像素点在二维图像中的位置构成一个二维矩阵，得到第一次的背景估计数据。

S503：获取空白图像矩阵数据，并将该空白图像矩阵数据作为所述目标图像的附属估计数据，所述空白图像矩阵数据上的数值为指定数值。所述的指定数值可以为0，空白图像矩阵数据即为一个全0的二维矩阵，该二维矩阵的尺寸与上述的背景估计数据对应的二维矩阵的尺寸相同，即如果背景估计数据是一个800×600(对应于目标图像的图像分辨率)，那么空白图像矩阵数据也为800×600的二维全0矩阵，当然也可以为其他的例如二维全1矩阵。空白图像矩阵数据上每一个数值大于等于0且小于预设的指定数值。

S504：将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；可以认为，在S504中是基于一个训练好的图像处理模型来对目标图像进行初始处理，得到背景初始数据和附属初始数据。对于上述S502得到的初始化矩阵数据和S503的空白图像矩阵数据主要用于进行初始化。图像处理模型主要对相应的背景估计数据和附属估计数据进行校正，以确保背景估计数据和附属估计数据组合构建的初始组合图像与目标图像之间更接近，而不是越来越不相似。

S505：调用背景估计模型对所述背景初始数据进行处理；在一个实施例中，所述背景估计模型处理后输出的是处理数据。在本发明实施例中，所述背景估计模型可以是一个基于TNRD去噪网络构建的模型，该背景估计模型是一个预先训练好的模型。可以基于大量的带附属特征内容的图像和对应的不带附属特征内容的训练图像来对其进行训练，进而得到最终的背景估计模型。所述训练图像可以是一个或者多个摄像头，分别拍摄处于有雨和无雨的天气情况下相同环境的图像，为了使对模型的训练优化更准确，可以通过仿真的方式得到大量的无雨图像和有雨图像的关联对，进而方便后续进行模型的训练。

S506：调用附属估计模型对所述附属初始数据进行处理；在一个实施例中，所述附属估计模型处理后输出的是处理数据。在本发明实施例中，所述附属估计模型可以是一个基于GMM模型构建得的模型。可以通过对大量的带附属特征的训练图像来对附属估计模型进行训练优化，所述附属估计模型可以通过学习各训练图像中相对平滑的一块区域，将该区域视为只有雨的雨图，从而学习该区域的高斯分布。对大量的训练图像分别进行学习，可以使学习得到的高斯分布更能适应带各种附属特征的训练图像，从而在所述S506中，对于附属初始数据也能够很好地在附属初始数据所对应的图像中寻找一块相对平滑的目标区域，将该目标区域视为只有雨线或者雪线等附属图纸的附属图像，并对该区域的附属特征的分布使用高斯模型来刻画。在完成对附属初始数据所对应的图像所有的目标区域的附属特征刻画后，即可认为从整幅图像中提取附属特征，得到附属估计数据。

S507：对所述背景估计模型和附属估计模型输出的处理数据进行异常值修正处理。在一个实施例中，该步骤具体可以包括：对所述背景估计模型处理得到的处理数据中的数值进行异常值修正处理，得到背景数据；对所述附属估计模型处理得到的处理数据中的数值进行异常值修正处理，得到背景数据。由于背景估计模型和附属估计模型经过计算后输出的值可能存在异常，例如存在一些小于0或者大于255的数值，但实际上图像的像素点值均为0-255之间，此时，对于小于0的数值，因此，所述得到背景数据包括：对所述背景估计模型得到的处理数据中的像素点数据值进行异常值修正处理，和/或，所述得到附属数据包括：对所述附属估计模型得到的处理数据中的像素点数据值进行异常值修正处理，所述异常值修正处理包括：将相应的处理数据中数值小于第一阈值(例如0)的像素点数据值设置为所述第一阈值，将处理数据中大于第二阈值(例如255)的像素点数据值设置为所述第二阈值，所述第一阈值小于所述第二阈值。在一个实施例中，也就是说，对于小于0的数值，直接将其设置为0，对于大于255的数值，直接将其设置为255。当然，在实际使用过程中，还可以根据实际需求，设置1、254，2、253等第一阈值和第二阈值构成的阈值对。

S508：若数据变化信息在预设的变化条件所包括的变化值范围内，则满足变化条件，则将所述背景数据作为用于表示所述背景特征内容的图像数据；其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据和所述附属估计数据之间的第二变化信息。也就是说，如果输入的数据和输出的数据之间，变化较小，例如输入的背景估计数据和背景初始数据之间，二维矩阵上各个相同位置处的像素点值的差值全部或者部分(例如95％以上的部分)均小于预设的阈值，则可以认为数据变化信息在预设的变化条件所包括的变化值范围内，满足变化条件，将所述背景数据作为用于表示所述背景特征内容的图像数据。或者，背景估计数据和背景初始数据之间、附属估计数据和附属初始数据之间，二维矩阵上各个相同位置处的像素点值的差值全部或者部分(例如95％以上的部分)均小于预设的阈值，则可以认为数据变化信息在预设的变化条件所包括的变化值范围内，满足变化条件，将所述背景数据作为用于表示所述背景特征内容的图像数据。反之，则认为还需要进一步对背景初始数据和附属初始数据进行处理，执行下述的S509。

S509：若数据变化信息不在预设的变化条件所包括的变化值范围内，即不满足变化条件，则将所述背景数据确定为新的背景估计数据，并将所述附属数据确定为新的附属估计数据，并将新的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中，循环执行上述的S504至S508，直至数据变化信息在预设的变化条件所包括的变化值范围内。

另外，本发明实施例还可以包括：将所述背景数据中各个数值分别作为一个像素点的像素点值，并基于每一个像素点的像素点值生成所述目标图像对应的修正图像，该修正图像即为最终的背景图像。所述背景数据也可以对应为一个二维矩阵，每一个位置的像素点值对应于最终背景图像的一个像素点的相应通道值。例如，如果采用的是Y通道值，则每一个位置处的像素点值即为背景图像的Y通道值，而对于其他通道的值，则可以使用目标图像的相应通道值，例如采用目标图像的U通道值和V通道值。在一个实施例中，可以进一步再将YUV颜色空间的图像转换为RGB等格式的图像、或者是将Ycrbr颜色空间的图像转换为RGB等格式的图像，则可得到最终的背景图像。背景图像即可作为诸如自动驾驶的图像、交通检测的图像，以便于进一步地进行更为准确的图像分析，进行相应的更为准确的自动驾驶控制、交通控制等处理。

采用本发明实施例，可以较好地避免目标图像到最终的背景图像之间的图像退化等缺陷，有效地保证背景图像的准确性和清晰度，最终得到的背景图像可视效果好，排除了附属的干扰是的背景图像包含的真实图像信息更为丰富。

再请参见图6，是本发明实施例的一种图像处理装置的结构示意图；本发明实施例的所述图像处理装置可以设置在诸如个人电脑、智能手机、平板电脑等智能终端中，也可以设置在需要进行图像处理的服务器中。本发明实施例的所述装置包括如下结构。

确定模块601，用于确定目标图像，所述目标图像包括背景特征内容和附属特征内容的目标图像；处理模块602，用于将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；调用背景估计模型对所述背景初始数据进行处理，得到背景数据；调用附属估计模型对所述附属初始数据进行处理，得到附属数据；若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据和所述附属估计数据之间的第二变化信息。

在一个实施例中，所述处理模块602，还用于获取所述目标图像上像素点的像素点值，并根据像素点值得到初始化矩阵数据；将得到的初始化矩阵数据作为所述目标图像的背景估计数据；获取空白图像矩阵数据，并将该空白图像矩阵数据作为所述目标图像的附属估计数据，所述空白图像矩阵数据上的数值为指定数值。

在一个实施例中，所述处理模块602，在用于获取所述目标图像上像素点的像素点值时，用于检测所述目标图像所对应的颜色空间；若检测结果为第一颜色空间，则将所述目标图像对应的颜色空间从第一颜色空间转换到第二颜色空间，所述第二颜色空间为包括亮度信号Y通道的颜色空间；从第二颜色空间的目标图像中确定每个像素点的Y通道值，将Y通道值作为所述目标图像上像素点的像素点值。

在一个实施例中，所述得到背景数据包括：对所述背景估计模型得到的处理数据中的像素点数据值进行异常值修正处理，和/或，所述得到附属数据包括：对所述附属估计模型得到的处理数据中的像素点数据值进行异常值修正处理；其中，所述异常值修正处理包括：将相应的处理数据中数值小于第一阈值的像素点数据值设置为所述第一阈值，将处理数据中大于第二阈值的像素点数据值设置为所述第二阈值，所述第一阈值小于所述第二阈值。

在一个实施例中，所述图像处理模型是基于最优解算法对所述目标图像的图像数据、所述背景估计数据以及所述附属估计数据进行最优解计算。

在一个实施例中，所述背景估计模型用于对所述背景初始数据进行图像去噪处理得到去噪后的背景数据，和/或，所述附属估计模型用于对所述附属初始数据进行高斯分布估计处理，以确定附属数据。

在一个实施例中，所述处理模块602，还用于若数据变化信息不在预设的变化条件所包括的变化值范围内，则将所述背景数据确定为新的背景估计数据，并将所述附属数据确定为新的附属估计数据，并将新的背景估计数据和新的附属估计数据作为输入参数输入到图像处理模型中。

在一个实施例中，所述处理模块602，还用于将所述背景数据中各个数值分别作为一个像素点的像素点值，并基于每一个像素点的像素点值生成所述目标图像对应的修正图像。

本发明实施例的所述装置中各个模块的具体实现可参考上述各个实施例中相关方法步骤的描述。

本发明实施例，可以较好地避免目标图像到最终的背景图像之间的图像退化等缺陷，有效地保证背景图像的准确性和清晰度，最终得到的背景图像可视效果好，排除了附属的干扰是的背景图像包含的真实图像信息更为丰富。

再请参见图7，是本发明实施例的一种图像处理设备的结构示意图。本发明实施例的所述图像处理设备具体可以为智能终端或者服务器，该图像处理设备可以包括供电电源、数据总线、控制总线等，根据需要例如针对智能终端的功能需求时，该图像处理设备还可以包括显示屏、触摸屏、键盘等用户接口，扬声器、麦克风等功能结构，或者例如针对服务器的功能需求时，还可以包括网络接口、散热组件以及各种机架结构等等。在本发明实施例中，所述图像处理设备主要至少包括：存储装置701和处理器702。

所述存储装置701可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；所述存储装置701也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；所述存储装置701还可以包括上述种类的存储器的组合。

所述处理器702可以是中央处理器702(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。具体的，上述的PLD可以是现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)等。

所述存储装置701设置有存储区域，在这些存储区域中可以存储操作系统、网络通信模块相应的程序指令，用户接口模块相应的程序指令以及一些系统自带的或者用户安装的应用程序，在一个实施例中，所述存储装置701还用于存储有本发明实施例的图像处理应用程序对应的计算机程序指令。所述处理器702可以调用所述计算机程序指令，实现上述提及图像处理方法等方法的相关步骤。

所述处理器702，调用所述存储装置701中的计算机程序指令，用于将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；调用背景估计模型对所述背景初始数据进行处理，得到背景数据；调用附属估计模型对所述附属初始数据进行处理，得到附属数据；若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据和所述附属估计数据之间的第二变化信息。

在一个实施例中，所述处理器702，还用于获取所述目标图像上像素点的像素点值，并根据像素点值得到初始化矩阵数据；将得到的初始化矩阵数据作为所述目标图像的背景估计数据；获取空白图像矩阵数据，并将该空白图像矩阵数据作为所述目标图像的附属估计数据，所述空白图像矩阵数据上的数值为指定数值。

在一个实施例中，所述处理器702，在用于获取所述目标图像上像素点的像素点值时，用于检测所述目标图像所对应的颜色空间；若检测结果为第一颜色空间，则将所述目标图像对应的颜色空间从第一颜色空间转换到第二颜色空间，所述第二颜色空间为包括亮度信号Y通道的颜色空间；从第二颜色空间的目标图像中确定每个像素点的Y通道值，将Y通道值作为所述目标图像上像素点的像素点值。

在一个实施例中，所述得到背景数据包括：对所述背景估计模型得到的处理数据中的像素点数据值进行异常值修正处理，和/或，所述得到附属数据包括：对所述附属估计模型得到的处理数据中的像素点数据值进行异常值修正处理；其中，所述异常值修正处理包括：将相应的处理数据中数值小于第一阈值的像素点数据值设置为所述第一阈值，将处理数据中大于第二阈值的像素点数据值设置为所述第二阈值，所述第一阈值小于所述第二阈值。

在一个实施例中，所述图像处理模型是基于最优解算法对所述目标图像的图像数据、所述背景估计数据以及所述附属估计数据进行最优解计算。

在一个实施例中，所述背景估计模型用于对所述背景初始数据进行图像去噪处理得到去噪后的背景数据，和/或，所述附属估计模型用于对所述附属初始数据进行高斯分布估计处理，以确定附属数据。

在一个实施例中，所述处理器702，还用于若数据变化信息不在预设的变化条件所包括的变化值范围内，则将所述背景数据确定为新的背景估计数据，并将所述附属数据确定为新的附属估计数据，并将新的背景估计数据和新的附属估计数据作为输入参数输入到图像处理模型中。

在一个实施例中，所述处理器702，还用于将所述背景数据中各个数值分别作为一个像素点的像素点值，并基于每一个像素点的像素点值生成所述目标图像对应的修正图像。

本发明实施例的所述处理器702的具体实现可参考上述各个实施例中相关方法步骤的描述。

本发明实施例，可以较好地避免目标图像到最终的背景图像之间的图像退化等缺陷，有效地保证背景图像的准确性和清晰度，最终得到的背景图像可视效果好，排除了附属的干扰是的背景图像包含的真实图像信息更为丰富。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (11)

1.一种图像处理方法，其特征在于，用于对包括背景特征内容和附属特征内容的目标图像进行处理，所述方法包括：

将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；其中，所述图像处理模型用于对输入的背景估计数据和附属估计数据进行校正，以便于背景估计数据和附属估计数据组合构建的初始组合图像与目标图像之间更接近；第一次输入的背景估计数据是目标图像对应的Y通道值构成的，不同的图像数据格式会进行颜色空间转换以得到目标图像对应的Y通道值；

调用背景估计模型对所述背景初始数据进行处理，得到背景数据；

调用附属估计模型对所述附属初始数据进行处理，得到附属数据；

若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；

若数据变化信息不满足变化条件，则将所述背景数据确定为新的背景估计数据，并将所述附属数据确定为新的附属估计数据，并将新的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中，以得到新的背景数据和新的附属数据；

其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据和所述附属估计数据之间的第二变化信息；

其中，针对相应的图像数据，会基于已确定的异常位置区域来确定该相应的图像数据是否为带有附属特征内容的图像，如果是，将该相应的图像数据确定为目标图像；或者，相应的图像数据的图像采集设备会在采集图像时的环境为异常环境时在该相应的图像数据中设置附属标记，该附属标记用来表示该图像数据为带附属特征内容的图像数据，根据该附属标记将该相应的图像数据确定为目标图像。

2.如权利要求1所述的方法，其特征在于，将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理之前，还包括：

获取所述目标图像上像素点的像素点值，并根据像素点值得到初始化矩阵数据；

将得到的初始化矩阵数据作为所述目标图像的背景估计数据；

获取空白图像矩阵数据，并将该空白图像矩阵数据作为所述目标图像的附属估计数据，所述空白图像矩阵数据上的数值为指定数值。

3.如权利要求2所述的方法，其特征在于，所述获取所述目标图像上像素点的像素点值，包括：

检测所述目标图像所对应的颜色空间；

若检测结果为第一颜色空间，则将所述目标图像对应的颜色空间从第一颜色空间转换到第二颜色空间，所述第二颜色空间为包括亮度信号Y通道的颜色空间；

从第二颜色空间的目标图像中确定每个像素点的Y通道值，将Y通道值作为所述目标图像上像素点的像素点值。

4.如权利要求1-3任一项所述的方法，其特征在于，

所述得到背景数据包括：对所述背景估计模型得到的处理数据中的数值进行异常值修正处理，和/或，所述得到附属数据包括：对所述附属估计模型得到的处理数据中的数值进行异常值修正处理；

其中，所述异常值修正处理包括：将相应的处理数据中数值小于第一阈值的像素点数据值设置为所述第一阈值，将相应的处理数据中大于第二阈值的像素点数据值设置为所述第二阈值，所述第一阈值小于所述第二阈值。

5.如权利要求1所述的方法，其特征在于，所述图像处理模型是基于最优解算法对所述目标图像的图像数据、所述背景估计数据以及所述附属估计数据进行最优解计算。

6.如权利要求1所述的方法，其特征在于，所述背景估计模型用于对所述背景初始数据进行图像去噪处理得到去噪后的背景数据，和/或，所述附属估计模型用于对所述附属初始数据进行高斯分布估计处理，以确定附属数据。

7.如权利要求1所述的方法，其特征在于，还包括：

将所述背景数据中各个数值分别作为一个像素点的像素点值，并基于每一个像素点的像素点值生成所述目标图像对应的修正图像。

8.一种图像处理装置，其特征在于，用于对包括背景特征内容和附属特征内容的目标图像进行处理，所述装置包括：

确定模块，用于确定出目标图像；

处理模块，用于将关于所述目标图像的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中进行处理，得到背景初始数据和附属初始数据；调用背景估计模型对所述背景初始数据进行处理，得到背景数据；调用附属估计模型对所述附属初始数据进行处理，得到附属数据；若数据变化信息在预设的变化条件所包括的变化值范围内，则将所述背景数据作为用于表示所述背景特征内容的图像数据；若数据变化信息不满足变化条件，则将所述背景数据确定为新的背景估计数据，并将所述附属数据确定为新的附属估计数据，并将新的背景估计数据和附属估计数据作为输入参数输入到图像处理模型中，以得到新的背景数据和新的附属数据；

其中，所述数据变化信息包括：所述背景数据与所述背景估计数据之间的第一变化信息、和/或所述附属数据与所述附属估计数据之间的第二变化信息；

其中，所述图像处理模型用于对输入的背景估计数据和附属估计数据进行校正，以便于背景估计数据和附属估计数据组合构建的初始组合图像与目标图像之间更接近；第一次输入的背景估计数据是目标图像对应的Y通道值构成的，不同的图像数据格式会进行颜色空间转换以得到目标图像对应的Y通道值；

针对相应的图像数据，会基于已确定的异常位置区域来确定该相应的图像数据是否为带有附属特征内容的图像，如果是，将该相应的图像数据确定为目标图像；或者，相应的图像数据的图像采集设备会在采集图像时的环境为异常环境时在该相应的图像数据中设置附属标记，该附属标记用来表示该图像数据为带附属特征内容的图像数据，根据该附属标记将该相应的图像数据确定为目标图像。

9.一种图像处理设备，其特征在于，包括存储装置和处理器；

所述存储装置中存储有计算机程序指令，所述处理器调用所述计算机程序指令，用于执行如权利要求1-7任一项所述的图像处理方法。

10.一种计算机存储介质，其特征在于，该计算机存储介质中存储有计算机程序，该计算机程序被处理器执行时，实现如权利要求1-7任一项所述的图像处理方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-7任一项所述的图像处理方法。