CN105184296A - 图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像处理方法，该方法包括：获取拍摄的图像；将所述图像进行特征聚类，获取特征聚类后的图像；将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；从所述目标区域中提取路面目标区域。本发明还公开了一种图像处理装置。本发明实现了精准、快速的获得路面目标区域，提高了路面目标提取的效率，为后续的车辆检测等应用提供了高质量的图像基础。

Description

图像处理方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法和装置。

背景技术

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。由于无人机小型轻便、低噪节能、高效机动、航拍影像清晰、智能化的突出特点，因此无人机航拍具有广泛的应用前景，如城市道路桥梁建设、交通巡逻、治安监控、城市执法等。

无人机航拍图像中路面目标的提取，可用于路面目标的检测、跟踪，如车辆检测、车辆跟踪、行人检测、行人跟踪、路面裂痕检测等。然而无人机航拍图像中包含着大量的信息，如何快速、准确的从图像中提取所需的目标，是当前无人机航拍的重要研究课题。

目前，无人机航拍图像中路面目标的提取，主要是基于机器学习法，提取特征，逐点或逐块判断是否为路面目标，判断过程依赖于内置的图像样本，若所拍摄场景不在样本库中，则路面目标提取的精确性较差，不具有广泛适用性；且路面目标提取的整体处理速度慢，不能够进行实时处理，给后续的车辆检测等应用造成了不便。现有路面目标提取技术的精确性与处理速度已不能满足当前路面目标提取应用的需求。

发明内容

本发明的主要目的在于提供一种图像处理方法和装置，解决当前路面目标提取技术的精确性差与处理速度慢的技术问题。

为实现上述目的，本发明提供一种图像处理方法，所述图像处理方法包括以下步骤：

获取拍摄的图像；

将所述图像进行特征聚类，获取特征聚类后的图像；

将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；

从所述目标区域中提取路面目标区域。

优选的，所述获取拍摄的图像的步骤之后，还包括：

判断所述图像的颜色空间是否为彩色模型Lab模式；

若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

优选的，所述将所述图像进行特征聚类，获取特征聚类后的图像的步骤包括：

根据所述图像的颜色空间，选择颜色特征组表征所述图像；

获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量；

根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

优选的，所述从所述目标区域中提取路面目标区域的步骤包括：

提取所述目标区域的联通区域；

判断所述联通区域为路面目标区域或非路面目标区域；

若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

优选的，所述判断所述联通区域为路面目标区域或非路面目标区域的步骤包括：

获取所述联通区域的直线元素；

判断所述联通区域的直线元素是否满足阈值；

若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。

此外，为实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括：

获取模块，用于获取拍摄的图像；

聚类模块，用于将所述图像进行特征聚类，获取特征聚类后的图像；

分割模块，用于将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；

提取模块，用于从所述目标区域中提取路面目标区域。

优选的，所述图像处理装置还包括颜色空间变换模块，用于判断所述图像的颜色空间是否为Lab模式；若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

优选的，所述聚类模块包括：

表征单元，用于根据所述图像的颜色空间，选择颜色特征组表征所述图像；

获取单元，用于获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量；

聚类单元，用于根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

优选的，所述提取模块包括：

提取单元，用于提取所述目标区域的联通区域；

判断单元，用于判断所述联通区域为路面目标区域或非路面目标区域；

删除单元，用于若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

优选的，所述判断单元包括：

计算子单元，用于获取所述联通区域的直线元素；

判断子单元，用于判断所述联通区域的直线元素是否满足阈值；若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。

本发明通过对获取的图像进行特征聚类，得到具有不同颜色特征的图像块；对图像块进行分割，得到目标区域，目标区域为路面目标的初步定位区域；提取目标区域的中的路面目标区域，所得到路面目标区域为路面目标的精准定位区域；图像的整体处理速度快，效率高。本发明实现了精准、快速的获得路面目标区域，提高了路面目标提取的效率，为后续的车辆检测等应用提供了高质量的图像基础。

附图说明

图1为本发明图像处理方法第一实施例的流程示意图；

图2为本发明图像处理方法第二实施例的流程示意图；

图3为本发明图像处理方法第三实施例的流程示意图；

图4为本发明图像处理方法第四实施例的流程示意图；

图5为本发明图像处理方法第五实施例的流程示意图；

图6为本发明图像处理装置第一实施例的功能模块示意图；

图7为本发明图像处理装置第二实施例的功能模块示意图；

图8为本发明图像处理装置第三实施例的功能模块示意图；

图9为本发明图像处理装置第四实施例的功能模块示意图；

图10为本发明图像处理装置第五实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取拍摄的图像；将所述图像进行特征聚类，获取特征聚类后的图像；将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；从所述目标区域中提取路面目标区域。

由于现有技术从航拍图像中提取路面目标的处理过程依赖于内置的图像样本，若所拍摄场景不在样本库中，则路面目标提取的精确性较差，不具有广泛适用性；且提取路面目标的整体处理速度慢，不能够进行实时处理，给后续的车辆检测等应用造成了不便。

本发明提供一种解决方案，使图像通过特征聚类、分割，快速获得二值图像中的目标区域，提取联通区域，精准获得路面目标区域，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

参照图1，本发明图像处理方法第一实施例提供一种图像处理方法，所述图像处理方法包括：

步骤S10、获取拍摄的图像。

本实施例方案主要应用于无人机航拍图像中路面目标的提取。其中，航拍图像以无人机作为空中平台，控制机载设备，例如：高分辨率数码相机、轻型光学相机，拍摄地面图像。

作为一种实施方式，可以通过无线信号传输或卫星信号传输获取拍摄的图像，进行实时处理；也可以通过读取无人机上的存储设备获取拍摄的图像，进行静态处理。

步骤S20、将所述图像进行特征聚类，获取特征聚类后的图像。

具体地，在获取到拍摄的图像后，首先，根据图像的颜色空间选择颜色特征组，用以表征图像，得到颜色特征组。

然后，获取图像的元素集合，计算得到元素集合的均值和元素集合的协方差矩阵最大特征向量，其中，元素集合的协方差矩阵最大特征向量由元素集合的协方差矩阵计算得到。

之后，将颜色特征组、元素集合的均值和元素集合的协方差矩阵最大特征向量，代入图像元素分配准则进行计算，获取特征聚类过程中每次聚类的图像元素分配准则；基于该图像元素分配准则，并根据预设的图像颜色特征和预设的图像颜色特征数量，对元素集合进行特征聚类；获取特征聚类后的图像，特征聚类后的图像包括具有不同颜色特征的图像块，图像块的颜色特征与预设的图像颜色特征相对应，图像块的数量与预设的图像颜色特征数量相同。

对图像进行特征聚类可以将具有同一颜色特征的元素聚类到同一图像块中，由于图像的目标区域和背景区域具有不同的颜色特征，图像块的颜色特征与目标区域或背景区域的颜色特征相对应，因此根据图像块的颜色特征可以将其归类为图像的目标区域或背景区域。

步骤S30、将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域。

本实施例中，使用最大流最小割算法，将特征聚类后的图像进行分割，得到包括目标区域和背景区域的二值图像。

具体地，最大流最小割算法对图像的分割原理如下：

将特征聚类后的图像设为由顶点和边来组成，顶点包括普通顶点和终端顶点。普通顶点，对应于图像中的每个像素，每两个邻域像素的顶点的连接就是一条边；终端顶点，包括S(source，源点)和T(sink，汇点)，每个普通顶点与这两个终端顶点S和T之间都有连接，组成边。每一条边都具有一个非负的权值，也可以解释为代价。

图像分割就是通过一个割，分割出图像中所有边的集合E中的一个子集C，以割开目标和背景，这个割的代价就是割集C中所有边的权值总和。发生在目标和背景的边界处的割，能够把图像中背景和目标连接的边割开，此时，割集中所有边的权值总和最小，也即这个割的代价最小，这个割称为最小割。在图像分割中，图像的最大流等于最小割的割集。因此，通过最大流最小割算法，计算出图像的最大流，得到最小割的割集，即可将图像中的目标和背景分割开，得到包括目标区域和背景区域的二值图像。

基于上述最大流最小割算法对图像的分割原理，首先，计算特征聚类后图像的最大流，图像的最大流等于最小割的割集，从而得到最小割的割集。

然后，根据最小割的割集对图像进行分割，割集中这些边的断开恰好可以使图像中具有不同颜色特征的图像块分割开，根据图像块的颜色特征将图像块归类为目标区域或背景区域，对目标区域和背景区域进行颜色分离，得到包括目标区域和背景区域的二值图像；获取二值图像中的目标区域。

在获取二值图像中的目标区域时，可通过掩膜处理二值图像获得目标区域，屏蔽或删除背景区域，使背景区域不参与后续的图像处理，也可使用其他方法获取目标区域，可根据实际需要灵活设置。

步骤S40、从所述目标区域中提取路面目标区域。

提取二值图像中目标区域的全部联通区域，判断每个联通区域为路面目标区域或非路面目标区域；删除所有为非路面目标区域的联通区域，即删除目标区域中的所有非路面目标区域；将得到的为路面目标区域的联通区域进行去干扰点操作，获得路面目标区域。本实施例中所称的联通区域也可称为联通分量。

在本实施例中，对获取的图像进行特征聚类，得到特征聚类后的图像；对特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域，目标区域为路面目标的初步定位区域；提取目标区域中的路面目标区域，所得到路面目标区域为路面目标的精准定位区域；图像的整体处理速度快，效率高。本实施例实现了精准、快速的获得路面目标区域，提高了路面目标提取的效率，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图2，本发明图像处理方法第二实施例提供一种图像处理方法，基于上述图1所示实施例，所述步骤S10之后还包括：

步骤S50、判断所述图像的颜色空间是否为彩色模型Lab模式。

获取拍摄的图像后，读取图像的配置文件，配置文件包括图像的颜色空间信息，图像的颜色空间信息包括图像当前的颜色空间模式。图像当前的颜色空间可以是RGB(Red-Green-Blue，红-绿-蓝)模式、Lab(Luminosity-a-b，颜色模型)模式，也可以是其他模式。

根据获得的图像当前的颜色空间模式，可判断图像当前的颜色空间是否为Lab模式。

步骤S60、若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

若图像当前的颜色空间不是Lab模式，则将图像当前的颜色空间直接转换或间接转换为Lab模式。

通常，拍摄获得的图像颜色空间多为RGB模式。RGB模式是依据人眼识别的颜色定义出的空间，可表示大部分颜色。本实施例以图像当前颜色空间为RGB模式举例如下：

当图像的颜色空间为RGB模式时，可以将图像从RGB模式先转换为XYZ模式，再从XYZ模式转换为Lab模式，XYZ模式为等能量的蓝、绿、红三原色分别作为X、Y、Z轴构成的颜色空间。RGB模式的图像也可以通过其他方法转换为Lab模式的图像。

Lab模式的每一幅图像都有对应的颜色特征，图像中的每一个像素都由对应的颜色特征L值、a值和b值表征。L值只表征亮度信息，没有任何颜色信息；L的值域由0到100，L＝0时，为纯黑色；L＝100时，为纯白色；L＝50时，为50％的黑；L值在50％以上，则a和b为正值；L值在50％以下，则a和b为负值。a值表示从洋红色至绿色的范围；a值的值域是由+127至-128，其中+127a是洋红色，渐渐过渡，到-128a的时候变成绿色。b值表示从黄色至蓝色的范围；b的值域是由+127至-128，+127b是黄色，渐渐过渡，到-128b是蓝色

对于本身为Lab模式的图像或通过颜色空间转换为Lab模式的图像，所有的颜色均以L值、a值和b值这三个值交互变化组成。例如，一个像素是粉红色，则这个像素的Lab值是L＝100，a＝30,b＝0。Lab模式色域宽阔，不仅包含了RGB模式的所有色域，还能表现出RGB模式不能表现的色彩。RGB模式在蓝色到绿色之间的过渡色彩过多，在绿色到洋红色之间又缺少黄色和其他色彩，而Lab模式弥补了RGB模式色彩分布不均的不足。

在本实施例中，获取拍摄到的图像后，判断获得的图像颜色空间是否为Lab模式，将非Lab模式的图像转换为Lab模式，实现了在图像的处理中能够保留尽量宽阔的色域和丰富的色彩，为后续的图像处理、颜色分离，提供了更合适的颜色空间。

进一步的，参照图3，本发明图像处理方法第三实施例提供一种图像处理方法，基于上述图1或图2所示的任一实施例(本实施例以图2为例)，所述步骤S20包括：

步骤S21、根据所述图像的颜色空间，选择颜色特征组表征所述图像。

获取的图像为Lab模式或被转换为Lab模式时，图像中的每个元素均可以用颜色特征L值、a值和b值表示。在本实施例中，定义C1、C2和Lt，其中，取：

C1＝sqrt(a×a+b×b)；

C2＝atan(a，b)；

Lt为卷积核h与图像卷积的结果，Lt表征区域光滑程度，h为卷积核，本实施例中令：

$h=\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right],$ 需要说明的是，卷积核h也可以为其他值，可根据实际需要灵活设置；

得到表征图像中每个元素的颜色特征组：

f_i＝(C1_(i)，C2_(i)，Lt_(i))，其中，f表示图像中的元素，i表示图像中第i个元素；

因此，图像可用颜色特征组表征为：

F＝[f₁，f₂，f₃，......，f_n]其中，F表示图像，n表示图像中元素的个数。

步骤S22、获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量。

根据得到的图像颜色特征组表征函数：

F＝[f₁，F₂，f₃，......，f_n]，

图像的元素集合C_m可表示为：

C_m＝{f₁，f₂，f₃，......，f_n}，其中m表示元素集合的个数；

当取m＝1时，C_m表示图像中所有元素的集合。

之后，计算元素集合C_m的均值U_m和协方差矩阵的最大特征向量V_m。

步骤S23、根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

假设图像具有k个不同的颜色特征，k的数值可根据实际需要灵活设置；基于图像元素分配准则，并根据k个不同的颜色特征，对图像的元素集合进行k次特征聚类，得到特征聚类后的图像，特征聚类后的图像包括k个不同颜色特征的图像块。

具体的，本方案采用的图像元素分配准则可以用元素颜色特征组f_i、元素集合C_m的均值U_m和元素集合的协方差矩阵最大特征向量V_m表示为：

V_m×f_i≤V_m×U_m。

在进行图像特征聚类时，可以使用如下算法：

将Cm分裂成集合C_k＝{f_i∈C_m：V_m×f_i≤V_m×U_m，}，C_m＝C_m-C_k；Fork＝1，2，......，k。

在进行每次特征聚类时，将颜色特征组、元素集合的均值和元素集合的协方差矩阵最大特征向量代入图像元素分配准则进行计算，获取特征聚类过程中每次聚类时的图像元素分配准则。

根据上述图像特征聚类算法和图像元素分配准则，图像特征聚类具体过程可解释如下：

对C_m进行第一次特征聚类，得到C₁；

对C₁进行第二次特征聚类，将满足V_m×f_i≤V_m×U_m的元素分入C₂，否则留在C₁；其中，m＝1；

对C₁和C₂分别进行第三次特征聚类，将满足V_m×f_i≤V_m×U_m的元素全部分入C₃，否则留在C1或C2；其中，对C1进行特征聚类时，m＝1；对C2进行特征聚类时，m＝2；

对C₁、C₂和C₃分别进行第四次特征聚类，将满足V_m×f_i≤V_m×U_m的元素全部分入C₄，否则留在C₁、C₂或C₃；其中，对C₁进行特征聚类时，m＝1；对C2进行特征聚类时，m＝2；对C3进行特征聚类时，m＝3；

……

共进行k次特征聚类，得到特征聚类后的图像；特征聚类后的图像包括k个不同颜色特征的图像块。

在本实施例中，选择颜色特征组表征图像，计算获得图像元素集合的数据，根据图像元素分配准则对图像进行特征聚类，特征聚类后的图像包括不同颜色特征的图像块，便于更精准、快速的进行图像分割，获得路面目标区域，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图4，本发明图像处理方法第四实施例提供一种图像处理方法，基于上述图1或2图所示的任一实施例(本实施例以图2为例)，所述步骤S40包括：

步骤S41、提取所述目标区域的联通区域。

二值图像是由黑和白这两种像素组成的点阵图像，取像素黑的值为0，取像素白的值为1。将二值图像中目标区域中相互邻接的等值像素组合成联通区域，提取每个联通区域。

步骤S42、判断所述联通区域为路面目标区域或非路面目标区域。

计算每个联通区域的直线元素，直线元素包括每个联通区域内的直线个数，和每个联通区域内每条直线的长度。判断每个联通区域的直线元素是否满足阈值；判定直线元素满足阈值的联通区域为路面目标区域，判定直线元素不满足阈值的联通区域为非路面目标区域。

步骤S43、若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

删除目标区域中的所有的非路面目标区域，即删除目标区域中所有被判定为非路面目标区域的联通区域；将目标区域中的所有被判定为路面目标区域的联通区域进行去干扰点操作，得到目标区域中的路面目标区域。

在本实施例中，通过提取目标区域的联通区域，判断联通区域是否为路面目标区域，删除非路面目标区域，获得路面目标区域，实现了对目标区域的精细化筛选，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图5，本发明图像处理方法第四实施例提供一种图像处理方法，基于上述图4所示的实施例，所述步骤S42包括：

步骤S421、获取所述联通区域的直线元素。

通过霍夫变换(HoughTransform)获取目标区域中每个联通区域的直线元素，每个联通区域的直线元素包括每个联通区域的直线个数和每个联通区域内每条直线的长度；根据所有联通区域的直线元素得到目标区域中所有联通区域的所有直线的最大长度D。

在本实施例中，具体采用如下方案：

首先，对联通区域上所有的点作霍夫变换，联通区域中的一个点对应霍夫空间系统参数平面中的一条直线，联通区域中的一条直线对应参数平面中的一个点。霍夫空间系统参数平面中直线相交最多的那个点即为所要检测的直线，获取检测出的直线。

其次，获取联通区域中的直线的个数和联通区域中每条直线的长度。汇总比较所有的联通区域中每条直线的长度，得到目标区域中所有联通区域的所有直线的最大长度D。

步骤S422、判断所述联通区域的直线元素是否满足阈值；若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。

其中，作为一种实施方式，阈值可设置为：单个联通区域中的直线个数不少于2，且此联通区域的直线最大长度小于D/3。需要说明的是，D/3为根据现有大量经验值所得，也可以为其他数据，可根据实际需要灵活设置。

在判断联通区域的直线元素是否满足阈值时，具体过程如下：

若联通区域的直线个数大于2，且此联通区域的直线最大长度小于D/3，则判定此联通区域的直线元素满足阈值；若联通区域的直线个数小于2，或联通区域的直线最大长度大于或等于D/3，则判定此联通区域的直线元素不满足阈值。

得到联通区域的直线元素是否满足阈值的判断结果后，若联通区域的直线元素满足阈值，则判定此联通区域包含路面目标，为路面目标区域；若联通区域的直线元素不满足阈值，则判定此联通区域不包含路面目标，为非路面目标区域。

在本实施例中，通过计算联通区域的直线元素，判断联通区域是否满足阈值，从而判断联通区域是否为路面目标区域，判定过程精准，实现了快速有效的排除非路面目标区域，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

参照图6，本发明图像处理装置第一实施例提供一种图像处理装置，所述图像处理装置包括：

获取模块100，用于获取拍摄的图像。

本实施例方案主要应用于无人机航拍图像中路面目标的提取。其中，获取模块100以无人机作为空中平台，控制机载设备，例如：高分辨率数码相机、轻型光学相机，拍摄地面图像。

作为一种实施方式，获取模块100可以通过无线信号传输或卫星信号传输获取拍摄的图像，进行实时处理；也可以通过读取无人机上的存储设备获取拍摄的图像，进行静态处理。

聚类模块200，用于将所述图像进行特征聚类，获取特征聚类后的图像。

具体地，在获取模块100获取到拍摄的图像后，首先，聚类模块200根据图像的颜色空间选择颜色特征组，用以表征图像，得到颜色特征组。

然后，聚类模块200获取图像的元素集合，计算得到元素集合的均值和元素集合的协方差矩阵最大特征向量，其中，元素集合的协方差矩阵最大特征向量由元素集合的协方差矩阵计算得到。

之后，聚类模块200将颜色特征组、元素集合的均值和元素集合的协方差矩阵最大特征向量，代入图像元素分配准则进行计算，获取特征聚类过程中每次聚类的图像元素分配准则；基于该图像元素分配准则，并根据预设的图像颜色特征和预设的图像颜色特征数量，对元素集合进行特征聚类；获取特征聚类后的图像，特征聚类后的图像包括具有不同颜色特征的图像块，图像块的颜色特征与预设的图像颜色特征相对应，图像块的数量与预设的图像颜色特征数量相同。

聚类模块200对图像进行特征聚类可以将具有同一颜色特征的元素聚类到同一图像块中，由于图像的目标区域和背景区域具有不同的颜色特征，图像块的颜色特征与目标区域或背景区域的颜色特征相对应，因此根据图像块的颜色特征可以将其归类为图像的目标区域或背景区域。

分割模块300，用于将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域。

分割模块300使用最大流最小割算法，将特征聚类后的图像进行分割，得到包括目标区域和背景区域的二值图像。

最大流最小割算法对图像的分割原理如下：

将特征聚类后的图像设为由顶点和边来组成，顶点包括普通顶点和终端顶点。普通顶点，对应于图像中的每个像素，每两个邻域像素的顶点的连接就是一条边；终端顶点，包括S(source，源点)和T(sink，汇点)，每个普通顶点与这两个终端顶点S和T之间都有连接，组成边。每一条边都具有一个非负的权值，也可以解释为代价。

图像分割就是通过一个割，分割出图像中所有边的集合E中的一个子集C，以割开目标和背景，这个割的代价就是割集C中所有边的权值总和。发生在目标和背景的边界处的割，能够把图像中背景和目标连接的边割开，此时，割集中所有边的权值总和最小，也即这个割的代价最小，这个割称为最小割。在图像分割中，图像的最大流等于最小割的割集。因此，通过最大流最小割算法，计算出图像的最大流，得到最小割的割集，即可将图像中的目标和背景分割开，得到包括目标区域和背景区域的二值图像。

基于上述最大流最小割算法对图像的分割原理，首先，分割模块300计算特征聚类后图像的最大流，图像的最大流等于最小割的割集，从而得到最小割的割集。

然后，分割模块300根据最小割的割集对图像进行分割，割集中这些边的断开恰好可以使图像中具有不同颜色特征的图像块分割开，根据图像块的颜色特征将图像块归类为目标区域或背景区域，对目标区域和背景区域进行颜色分离，得到包括目标区域和背景区域的二值图像；获取二值图像中的目标区域。

在获取二值图像中的目标区域时，分割模块300可通过掩膜处理二值图像获得目标区域，屏蔽或删除背景区域，使背景区域不参与后续的图像处理，也可使用其他方法获取目标区域，可根据实际需要灵活设置。

提取模块400，用于从所述目标区域中提取路面目标区域。

提取模块400提取二值图像中目标区域的全部联通区域，判断每个联通区域为路面目标区域或非路面目标区域；删除所有为非路面目标区域的联通区域，即删除目标区域中的所有非路面目标区域；将得到的为路面目标区域的联通区域进行去干扰点操作，获得路面目标区域。本实施例中所称的联通区域也可称为联通分量。

在本实施例中，聚类模块200对获取模块100获取的图像进行特征聚类，得到特征聚类后的图像；分割模块300对特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域，目标区域为路面目标的初步定位区域；提取模块400提取目标区域中的路面目标区域，所得到路面目标区域为路面目标的精准定位区域；图像的整体处理速度快，效率高。本实施例实现了精准、快速的获得路面目标区域，提高了路面目标提取的效率，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图7，本发明图像处理装置第二实施例提供一种图像处理装置，基于上述图6所示的实施例，还包括颜色空间变换模块500：

颜色空间变换模块500，用于判断所述图像的颜色空间是否为Lab模式；若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

获取拍摄的图像后，首先，颜色空间变换模块500读取图像的配置文件，配置文件包括图像的颜色空间信息，图像的颜色空间信息包括图像当前的颜色空间模式。图像当前的颜色空间可以是RGB(Red-Green-Blue，红-绿-蓝)模式、Lab(Luminosity-a-b，颜色模型)模式，也可以是其他模式。

颜色空间变换模块500根据获得的图像当前的颜色空间模式，可判断图像当前的颜色空间是否为Lab模式。

然后，若图像当前的颜色空间不是Lab模式，则将图像当前的颜色空间直接转换或间接转换为Lab模式。

通常，拍摄获得的图像颜色空间多为RGB模式。RGB模式是依据人眼识别的颜色定义出的空间，可表示大部分颜色。本实施例以图像当前颜色空间为RGB模式举例如下：

当图像的颜色空间为RGB模式时，可以将图像从RGB模式先转换为XYZ模式，再从XYZ模式转换为Lab模式，XYZ模式为等能量的蓝、绿、红三原色分别作为X、Y、Z轴构成的颜色空间。RGB模式的图像也可以通过其他方法转换为Lab模式的图像。

Lab模式的每一幅图像都有对应的颜色特征，图像中的每一个像素都由对应的颜色特征L值、a值和b值表征。L值只表征亮度信息，没有任何颜色信息；L的值域由0到100，L＝0时，为纯黑色；L＝100时，为纯白色；L＝50时，为50％的黑；L值在50％以上，则a和b为正值；L值在50％以下，则a和b为负值。a值表示从洋红色至绿色的范围；a值的值域是由+127至-128，其中+127a是洋红色，渐渐过渡，到-128a的时候变成绿色。b值表示从黄色至蓝色的范围；b的值域是由+127至-128，+127b是黄色，渐渐过渡，到-128b是蓝色

对于本身为Lab模式的图像或经颜色空间变换模块500转换为Lab模式的图像，所有的颜色均以L值、a值和b值这三个值交互变化组成。例如，一个像素是粉红色，则这个像素的Lab值是L＝100，a＝30,b＝0。Lab模式色域宽阔，不仅包含了RGB模式的所有色域，还能表现出RGB模式不能表现的色彩。RGB模式在蓝色到绿色之间的过渡色彩过多，在绿色到洋红色之间又缺少黄色和其他色彩，而Lab模式弥补了RGB模式色彩分布不均的不足。

在本实施例中，获取模块100获取拍摄到的图像后，颜色空间变换模块500判断获得的图像颜色空间是否为Lab模式，将非Lab模式的图像转换为Lab模式，实现了在图像的处理中能够保留尽量宽阔的色域和丰富的色彩，为后续的图像处理、颜色分离，提供了更合适的颜色空间。

进一步的，参照图8，本发明图像处理装置第三实施例提供一种图像处理装置，基于上述图6或7图所示的任一实施例(本实施例以图7为例)，所述聚类模块200包括：

表征单元210，用于根据所述图像的颜色空间，选择颜色特征组表征所述图像。

获取的图像为Lab模式或被转换为Lab模式时，图像中的每个元素均可以用颜色特征L值、a值和b值表示。在本实施例中，表征单元210定义C1、C2和Lt，其中，取：

C1＝sqrt(a×a+b×b)；

C2＝atan(a，b)；

Lt为卷积核h与图像卷积的结果，Lt表征区域光滑程度，h为卷积核，本实施例中令：

$h=\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right],$ 需要说明的是，卷积核h也可以为其他值，可根据实际需要灵活设置；

得到表征图像中每个元素的颜色特征组：

f_i＝(C1_(i)，C2_(i)，Lt_(i))，其中，f表示图像中的元素，i表示图像中第i个元素；

因此，图像可用颜色特征组表征为：

F＝[f₁，f₂，f₃，......，f_n]，其中，F表示图像，n表示图像中元素的个数。

获取单元220，用于获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量。

根据得到的图像颜色特征组表征函数：

F＝[f₁，f₂，f₃，......，f_n]，

图像的元素集合C_m可表示为：

C_m＝{f₁，f₂，f₃，......，f_n}，其中m表示元素集合的个数；

当取m＝1时，C_m表示图像中所有元素的集合。

之后，计算元素集合C_m的均值M_u和协方差矩阵的最大特征向量V_m。

聚类单元230，用于根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

聚类单元230假设图像具有k个不同的颜色特征，k的数值可根据实际需要灵活设置；基于图像元素分配准则，并根据k个不同的颜色特征，聚类单元230对图像的元素集合进行k次特征聚类，得到特征聚类后的图像，特征聚类后的图像包括k个不同颜色特征的图像块。

具体的，本方案采用的图像元素分配准则可以用元素颜色特征组f_i、元素集合C_m的均值U_m和元素集合的协方差矩阵最大特征向量V_m表示为：

V_m×f_i≤V_m×U_m。

在进行图像特征聚类时，可以使用如下算法：

将Cm分裂成集合C_k＝{f_i∈C_m：V_m×f_i≤V_m×U_m，}，C_m＝C_m-C_k；Fork＝1，2，......，k。

在进行每次特征聚类时，聚类单元230将颜色特征组、元素集合的均值和元素集合的协方差矩阵最大特征向量代入图像元素分配准则进行计算，获取特征聚类过程中每次聚类时的图像元素分配准则。

根据上述图像特征聚类算法和图像元素分配准则，图像特征聚类具体过程可解释如下：

对C_m进行第一次特征聚类，得到C₁；

对C₁进行第二次特征聚类，将满足V_m×f_i≤V_m×U_m的元素分入C₂，否则留在C₁；其中，m＝1；

对C₁和C₂分别进行第三次特征聚类，将满足V_m×f_i≤V_m×U_m的元素全部分入C₃，否则留在C₁或C₂；其中，对C₁进行特征聚类时，m＝1；对C₂进行特征聚类时，m＝2；

对C₁、C₂和C₃分别进行第四次特征聚类，将满足V_m×f_i≤V_m×U_m的元素全部分入C₄，否则留在C₁、C₂或C₃；其中，对C₁进行特征聚类时，m＝1；对C₂进行特征聚类时，m＝2；对C₃进行特征聚类时，m＝3；

……

聚类单元230共进行k次特征聚类，得到特征聚类后的图像；特征聚类后的图像包括k个不同颜色特征的图像块。

在本实施例中，表征单元210选择颜色特征组表征图像，获取单元计算获得图像元素集合的数据，聚类单元230根据图像元素分配准则对图像进行特征聚类，特征聚类后的图像包括不同颜色特征的图像块，便于更精准、快速的进行图像分割，获得路面目标区域，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图9，本发明图像处理装置第四实施例提供一种图像处理装置，基于上述图6或图7所示的任一实施例(本实施例以图7为例)，所述提取模块400包括：

提取单元410，用于提取所述目标区域的联通区域。

二值图像是由黑和白这两种像素组成的点阵图像，取像素黑的值为0，取像素白的值为1。提取单元410将二值图像中目标区域中相互邻接的等值像素组合成联通区域，提取每个联通区域。

判断单元420，用于判断所述联通区域为路面目标区域或非路面目标区域。

判断单元420计算每个联通区域的直线元素，直线元素包括每个联通区域内的直线个数，和每个联通区域内每条直线的长度。判断单元420判断每个联通区域的直线元素是否满足阈值；判定直线元素满足阈值的联通区域为路面目标区域，判定直线元素不满足阈值的联通区域为非路面目标区域。

删除单元430，用于若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

删除单元430删除目标区域中的所有的非路面目标区域，即删除目标区域中所有被判定为非路面目标区域的联通区域；将目标区域中的所有被判定为路面目标区域的联通区域进行去干扰点操作，得到目标区域中的路面目标区域。

在本实施例中，通过提取单元410提取目标区域的联通区域，判断单元420判断联通区域是否为路面目标区域，删除单元430删除非路面目标区域，获得路面目标区域，实现了对目标区域的精细化筛选，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

进一步的，参照图10，本发明图像处理装置第五实施例提供一种图像处理装置，基于上述图9所示的实施例，所述判断单元420包括：

计算子单元421，用于获取所述联通区域的直线元素。

计算子单元421通过霍夫变换(HoughTransform)获取目标区域中每个联通区域的直线元素，每个联通区域的直线元素包括每个联通区域的直线个数和每个联通区域内每条直线的长度；根据所有联通区域的直线元素得到目标区域中所有联通区域的所有直线的最大长度D。

在本实施例中，具体采用如下方案：

首先，计算子单元421对联通区域上所有的点作霍夫变换，联通区域中的一个点对应霍夫空间系统参数平面中的一条直线，联通区域中的一条直线对应参数平面中的一个点。霍夫空间系统参数平面中直线相交最多的那个点即为所要检测的直线，获取检测出的直线。

其次，计算子单元421获取联通区域中的直线的个数和联通区域中每条直线的长度。汇总比较所有的联通区域中每条直线的长度，得到目标区域中所有联通区域的所有直线的最大长度D。

判断子单元422，用于判断所述联通区域的直线元素是否满足阈值；若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。

其中，作为一种实施方式，阈值可设置为：单个联通区域中的直线个数不少于2，且此联通区域的直线最大长度小于D/3。需要说明的是，D/3为根据现有大量经验值所得，也可以为其他数据，可根据实际需要灵活设置。

在判断子单元422判断联通区域的直线元素是否满足阈值时，具体过程如下：若联通区域的直线个数大于2，且此联通区域的直线最大长度小于D/3，则判断子单元422判定此联通区域的直线元素满足阈值；若联通区域的直线个数小于2，或联通区域的直线最大长度大于或等于D/3，则判断子单元422判定此联通区域的直线元素不满足阈值。

得到联通区域的直线元素是否满足阈值的判断结果后，若联通区域的直线元素满足阈值，则判断子单元422判定此联通区域包含路面目标，为路面目标区域；若联通区域的直线元素不满足阈值，则判断子单元422判定此联通区域不包含路面目标，为非路面目标区域。

在本实施例中，通过计算子单元421计算联通区域的直线元素，判断子单元422判断联通区域是否满足阈值，从而判断联通区域是否为路面目标区域，判定过程精准，实现了快速有效的排除非路面目标区域，提高了路面目标提取的精确性和处理速度，为后续的车辆检测等应用提供了高质量的图像基础。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

获取拍摄的图像；

将所述图像进行特征聚类，获取特征聚类后的图像；

将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；

从所述目标区域中提取路面目标区域。

2.如权利要求1所述的图像处理方法，其特征在于，所述获取拍摄的图像的步骤之后，还包括：

判断所述图像的颜色空间是否为彩色模型Lab模式；

若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

3.如权利要求1或2所述的图像处理方法，其特征在于，所述将所述图像进行特征聚类，获取特征聚类后的图像的步骤包括：

根据所述图像的颜色空间，选择颜色特征组表征所述图像；

获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量；

根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

4.如权利要求1或2所述的图像处理方法，其特征在于，所述从所述目标区域中提取路面目标区域的步骤包括：

提取所述目标区域的联通区域；

判断所述联通区域为路面目标区域或非路面目标区域；

若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

5.如权利要求4所述的图像处理方法，其特征在于，所述判断所述联通区域为路面目标区域或非路面目标区域的步骤包括：

获取所述联通区域的直线元素；

判断所述联通区域的直线元素是否满足阈值；

若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取拍摄的图像；

聚类模块，用于将所述图像进行特征聚类，获取特征聚类后的图像；

分割模块，用于将所述特征聚类后的图像进行分割，得到二值图像，获取二值图像中的目标区域；

提取模块，用于从所述目标区域中提取路面目标区域。

7.如权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括颜色空间变换模块，用于，

判断所述图像的颜色空间是否为Lab模式；若所述图像的颜色空间不是Lab模式，则将所述图像的颜色空间转换为Lab模式。

8.如权利要求6所述的图像处理装置，其特征在于，所述聚类模块包括：

表征单元，用于根据所述图像的颜色空间，选择颜色特征组表征所述图像；

获取单元，用于获取所述图像的元素集合，并计算得到所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量；

聚类单元，用于根据所述颜色特征组、所述元素集合的均值和所述元素集合的协方差矩阵最大特征向量，将所述图像的元素集合进行特征聚类，得到特征聚类后的图像。

9.如权利要求6所述的图像处理装置，其特征在于，所述提取模块包括：

提取单元，用于提取所述目标区域的联通区域；

判断单元，用于判断所述联通区域为路面目标区域或非路面目标区域；

删除单元，用于若所述联通区域为非路面目标区域，则删除所述非路面目标区域，得到所述目标区域中的路面目标区域。

10.如权利要求9所述的图像处理装置，其特征在于，所述判断单元包括：

计算子单元，用于获取所述联通区域的直线元素；

判断子单元，用于判断所述联通区域的直线元素是否满足阈值；若所述联通区域的直线元素满足所述阈值，则判定所述联通区域为路面目标区域；若所述联通区域的直线元素不满足所述阈值，则判定所述联通区域为非路面目标区域。