CN101299277A - 一种黑白图像彩色化处理的方法和系统 - Google Patents

Abstract

本发明公开了一种黑白图像彩色化处理的方法，包括：采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；对所述各目标区域的颜色进行标定得到彩色化模板，根据所述彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。本发明还同时公开了一种黑白图像彩色化处理的系统。本发明实施例的这种黑白图像彩色化处理的方法和系统，通过利用分水岭算法划分出封闭区域，然后利用区域聚类的方法得到目标区域，根据标定的颜色模板将各目标区域对应的颜色填充到所述各目标区域中去，实现了对黑白图像快速、自动的彩色化处理。

Description

一种黑白图像彩色化处理的方法和系统

技术领域

本发明涉及图像处理技术，具体涉及一种黑白图像彩色化处理的方法和系统。

背景技术

人们在日常生活中观察到的自然界，是由五彩缤纷的色彩组成的。丰富的色彩能够给人以愉悦的美学享受，同时色彩的应用又渗透在人们日常生活的方方面面，因此多样化的色彩已经成了人们生活的一种必要和习惯。

人眼对于彩色的分辨能力要远远高于对黑白灰度的分辨能力，因此由不同的黑白灰度构成的黑白图像，由于其色彩的缺失会对画面的表现力造成很大的制约。由于照相术和摄影术都是历经黑白影像时代后才逐渐发展到彩色时代，因此许多照片和电影等图像资料，由于其所处拍摄年代的技术条件的限制，都是黑白效果。

随着数字技术的发展，大量新产生的信息资源都是数字格式的，同时大量传统的信息资料也被转换成数字格式进行传播和存储；由于黑白图像相比对应的彩色图像，占用存储空间较小、传输带宽要求较低，更加便于存储和传输，因此，在诸如远程遥感拍摄、空间探测拍摄、或者医学领域比如医学X光片等方面，黑白图像仍然有着广泛的应用。

尽管由于上述工作环境或技术条件的限制，黑白图像仍然存在着广泛应用。但是，当人们对这些影像资料进行观赏，或进行科研分析时，常常还是要将它们转换成彩色图像，从而能够更准确地了解图像中反映出的具体环境或待观察目标的细节特征等等。因此，将黑白图像彩色化就日益成为一种具有实际需要的图像处理技术。

然而，目前对黑白图像的彩色化处理，仍然普遍采用传统的手工处理的方法，即：人通过主观判断确定出图像中各种物体的颜色和亮度等，然后在计算机上手动对图像进行上色处理，完成黑白图像的彩色化处理。

显然，上述人工处理的方法可以最大限度地保证彩色化的效果和质量，但是处理速度极慢，且没有标准操作流程；进一步地，当进行类似动画、电影等动态图像的彩色化处理时，就需要对每帧图像进行手工的上色操作，工作量极大，从而需要耗费大量的人力成本和时间成本，甚至会由于工作量过大而完全无法实现。

可见，现有技术无法实现对黑白图像的快速、自动化的彩色化处理。

发明内容

本发明实施例提供一种黑白图像彩色化处理的方法和系统，能够实现对黑白图像的快速、自动化的彩色化处理。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种黑白图像彩色化处理的方法，该方法包括：

采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；

对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；

对所述各目标区域的颜色进行标定得到彩色化模板，根据所述彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。

所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域的方法包括：

设定高斯算子模板对数字格式的黑白图像进行平滑处理，计算平滑处理后的图像中各像素点的梯度值；

将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；将梯度值大于等于预设阈值的最低的层中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照设定的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

利用得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

所述对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域的方法包括：

从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域为起始目标区域，计算该起始目标区域与相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限的所有相邻区域与所述起始目标区域合并；

以合并后的区域作为新的起始目标区域，返回继续执行所述计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到所述起始目标区域的灰度平均值与周围封闭区域的灰度平均值的差异大于等于合并门限为止，完成一个目标区域的确定；

返回继续执行所述选择起始目标区域并计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到将图像中的所有封闭区域处理完毕，得到进行彩色化处理的各目标区域。

所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域之前，该方法进一步包括：

判断当前帧是否为彩色化关键帧：

若是，继续执行所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域的步骤；

否则，从参考帧中获取与当前帧的各选定区域相匹配的匹配区域，将所述匹配区域的颜色传递到当前帧的选定区域，并保持亮度不变，所述参考帧为当前帧的前一帧；之后，判断当前帧是否为视频中最后一帧，若是，则结束本次处理流程，否则设定视频中下一帧为新的当前帧并返回执行所述判断当前帧是否为彩色化关键帧的步骤；

所述根据所述彩色化模板对各目标区域进行颜色填充，得到一帧彩色化处理完成的图像后，继续执行所述判断当前帧是否为视频中最后一帧的步骤。

所述从参考帧中获取与当前帧的各选定区域相匹配的匹配区域的方法包括：

预先设定每次进行区域匹配时搜索范围的大小，确定当前帧的各选定区域在参考帧中的对应位置，将所述对应位置作为第一次区域匹配计算的初始位置，以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，分别计算各目标位置与选定区域的匹配程度；将各目标位置中与选定区域的匹配程度最高的作为下一次区域匹配计算时的初始位置，返回执行以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，分别计算各目标位置与选定区域的匹配程度的步骤，所述区域匹配计算共进行三次，且搜索范围的大小逐次递减；

将第三次区域匹配计算得到的，与选定区域的匹配程度最高的位置作为与当前帧的所述各选定区域相匹配的匹配区域。

所述计算各目标位置与选定区域的匹配程度的方法包括：

利用平均绝对差的方法，将所述各目标位置中的各像素点的像素灰度值与当前帧选定区域中的对应像素点的像素灰度值分别做差，再将差值的绝对值相加求和，最后将得到的绝对值之和除以该选定区域的面积。

一种黑白图像彩色化处理的系统，该系统包括：区域分割模块，区域聚类模块，彩色化模板生成模块和颜色填充模块；

所述区域分割模块，用于采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；

所述区域聚类模块，用于对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；

所述彩色化模板生成模块，用于对所述各目标区域的颜色进行标定得到彩色化模板；

所述颜色填充模块，用于根据彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。

所述区域分割模块包括：平滑处理单元，梯度值计算单元，分层排序单元，标记单元和封闭区域生成单元；

所述平滑处理单元，用于设定高斯算子模板对数字格式的黑白图像进行平滑处理；

所述梯度值计算单元，用于计算平滑处理后的图像中各像素点的梯度值；

所述分层排序单元，用于将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；

所述标记单元，用于将梯度值大于等于预设阈值的最低的层中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照设定的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

所述封闭区域生成区域，用于将得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

所述区域聚类模块包括：选择单元，更新单元和聚类完成判定单元；

所述选择单元，用于从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域作为起始目标区域，并将该起始目标区域的信息通知更新单元；

所述更新单元，用于接收选择单元的通知，计算所述起始目标区域与各相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限的所有相邻区域与起始目标区域合并为新的起始目标区域，对所述新的起始目标区域重复执行计算所述起始目标区域与各相邻区域的灰度平均值差异并将所述差异值小于预设的合并门限的所有相邻区域与起始目标区域合并为新的起始目标区域的步骤，直到起始目标区域与周围封闭区域的灰度平均值的差异大于等于合并门限为止，完成一个目标区域的确定并通知所述聚类完成判定单元；

所述聚类完成判定单元，用于根据更新单元的通知，判断是否完成图像中所有封闭区域的处理，如果是，则将确定的各目标区域的信息提供给所述彩色化模板生成模块和颜色填充模块；否则，通知选择单元继续选择起始目标区域。

该系统中还包括：关键帧判定模块，区域匹配模块，颜色映射模块和帧尾判定模块；

所述关键帧判定模块，用于判断当前帧是否为彩色化关键帧，若是，通知所述区域分割模块；否则，通知区域匹配模块；

所述区域匹配模块，用于从参考帧中获取与当前帧的各选定区域相匹配的匹配区域后通知颜色映射模块，所述参考帧为当前帧的前一帧；

所述颜色映射模块，用于根据所述获取的匹配区域，将所述匹配区域的颜色传递到当前帧的选定区域并保持亮度不变，之后通知帧尾判定模块；

所述帧尾判定模块，用于判断当前帧是否为视频流中最后一帧，若是，结束本次处理流程，否则设定视频流中下一帧为新的当前帧并通知关键帧判定模块；

所述颜色填充模块，进一步用于在得到处理完成的彩色化关键帧后，通知帧尾判定模块。

所述区域匹配模块包括：搜索初始位置确定单元，搜索策略设定单元和匹配计算单元；

所述搜索初始位置确定单元，用于接收所述关键帧判定模块的通知，确定当前帧的各选定区域在参考帧中的对应位置，将所述对应位置作为第一次区域匹配计算的初始位置提供给匹配计算单元和搜索策略设定单元；还用于根据匹配计算单元返回的信息，将所述匹配程度最高的位置设为下一次匹配计算的初始位置；

所述搜索策略设定单元，用于确定每次进行区域匹配计算时搜索范围的大小，所述区域匹配计算共进行三次，且搜索范围的大小逐次递减；还用于接收搜索初始位置确定单元确定的进行区域匹配计算的初始位置，以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，将所述确定的目标位置的信息提供给匹配计算单元；

所述匹配计算单元，用于接收初始位置确定单元确定的进行区域匹配计算的初始位置的信息，利用平均绝对差的方法，将所述各目标位置中的各像素点的像素灰度值与当前帧选定区域中的对应像素点的像素灰度值分别做差，再将差值的绝对值相加求和，最后将得到的绝对值之和除以该选定区域的面积，得到搜索策略设定单元确定的各目标位置与选定区域的匹配程度；在第一次和第二次区域匹配计算时，将其中匹配程度最高的位置的信息返回给搜索初始位置确定单元；在第三次区域匹配计算时，则将匹配程度最高的位置作为与当前帧的所述各选定区域相匹配的匹配区域通知颜色映射模块。

由上述的技术方案可见，本发明实施例的这种黑白图像彩色化处理的方法和系统，通过利用分水岭算法划分出封闭区域，然后利用区域聚类的方法得到目标区域，根据标定的颜色模板将各目标区域对应的颜色填充到所述各目标区域中去，从而实现了对黑白图像快速、自动的彩色化处理。

附图说明

图1为本发明实施例中黑白图像彩色化处理的方法的流程示意图。

图2为本发明实施例中利用边缘算子计算梯度的原理示意图。

图3为本发明实施例中在参考帧中搜索匹配区域的方法示意图。

图4为本发明实施例中黑白图像彩色化处理的系统的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明实施例提供一种黑白图像彩色化处理的方法，其流程如图1所示，其中包括：

步骤101：采集黑白图像并将其转换成数字格式，对数字格式的图像进行预处理。

利用数码相机等影像采集工具得到数字格式的黑白图像，或者对于黑白照片或图样等，利用扫描仪等将其转换成数字格式，然后进行各种常用的图像预处理，例如：降低或消除图像中的噪点、必要时进行灰度变换以及进行亮度均衡的调整，对动态图像消除图像抖动等。本发明实施例步骤101中进行数字格式的转换和图像预处理的方法，可以采用各种现有成熟的技术，且与本发明没有直接关系。此外，对已经以数字方式存在的图像或视频流资料，本步骤也可以省略，不再赘述。

步骤102：采用分水岭分割的方法将图像分成多个封闭区域；

图像中的颜色按照不同区域分布，图像中不同区域之间形成的边缘通常是颜色变化的临界位置，为了对图像进行彩色化，准确得到这些边缘信息并进而进行图像区域分割是基本前提。进行图像分割的方法有很多种，本发明实施例中采用分水岭分割方法，该方法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测绘学上的拓扑地貌，图像中每一像素点的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭，因此每一个分水岭就能够在图像中圈出一个封闭区域。

现有的分水岭算法种类较多，此处仅举一例，本领域技术人员可以根据该例所展示的基于过度分割的核心思想进行替换使用，本发明实施例中采用基于Vincent和Soille提出的浸水模型的方法，具体包括如下步骤：

步骤102a：设定高斯算子模板对步骤101得到的图像进行平滑处理；

高斯算子在抑制噪声干扰的同时，会减弱对图像中既有微弱边缘的响应能力，为了寻求平衡，选择合适的高斯算子模板就非常的关键。根据实际应用的经验，本发明实施例提出一种高斯算子模板：

$H=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

进行所述的平滑处理，但同样可以采取其他模板，本发明实施例不作具体限定。

步骤102b：计算平滑处理后的图像中各像素点的梯度值；

本发明实施例采用sobel边缘算子分别计算各像素点的水平梯度(也称为水平边缘EH)和垂直梯度(也称为垂直边缘EV)，所述的sobel边缘算子包括计算水平边缘的S₁和计算垂直边缘的S₂两个模板：

$S_1=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_2=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

计算EH和EV时，将上述模板作为“框架”套在每一个待计算的像素点上，例如图2所示的矩形ABCD是图像中的某个区域，其中每小格表示一个像素点，各像素点的灰度值为a_i，i为自然数且i∈[1，9]。当计算图2中编号为P₁的像素点(即图中黑色粗实线框标出的像素点)的梯度值(也称为边缘强度)时，首先利用模板S₁计算水平边缘：

EH(P1)＝(-1)a₁+0·a₂+1·a₃+(-2)a₄+0·a₅+2a₆+(-1)a₇+0·a₈+1·a₉；类似地，利用模板S₂计算得到垂直边缘EV(P1)；

最后利用公式 $\mathrm{EI}=\sqrt{{\mathrm{EH}}^2+{\mathrm{EV}}^2}$ 计算边缘强度，即可得到所述像素点P₁的梯度值。

利用上述方法遍历图像的所有像素点，则可以得到全部像素点的梯度值。

步骤102c：将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；

在实际应用时，可以将所有梯度值小于预设阈值的像素点的梯度值重置为0，大于等于所述阈值的像素点的梯度值保持不变，之后将像素点按照重置后的梯度值进行排序，所有梯度值相等的像素点作为一层像素点。其中，本发明实施例所采用的阈值为15，所述阈值可以根据实际需要进行调整。

步骤102d：将梯度值大于等于预设阈值的最低的层(即梯度值不为0且最低的层)中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照从上到下、自左向右的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点(包括该层和所有梯度值更低的层的已标识点)，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

需要说明的是，上述步骤102d中，进行像素点标记是分层进行的。例如：步骤102c中设定的阈值为15时，首先标记梯度为15的层，然后选择梯度值高于15的一层(比如梯度值为16的层，如果存在的话)，按照步骤102d所述的方法进行从上到下、从左向右的遍历，对不同的层进行遍历时标记出的像素点的标识不同。此外，所述从上到下、从左向右的遍历方式仅为举例，在实际应用中，只要保证对每一层的像素点遍历时采用的方式相同即可，例如也可以采用从上到下、自右向左等遍历方式，本发明实施例不做具体限定。

步骤102e：利用得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

步骤103：将区域分割后的各封闭区域进行区域聚类，得到进行彩色化处理的各目标区域。

由于分水岭算法对于微弱边缘的良好感应能力，步骤102分割后得到的各封闭区域是过度分割的，因此需要对区域分割后的各封闭区域进行聚类，具体包括：

从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域为起始目标区域，计算该起始目标区域与相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限T的所有相邻区域与所述起始目标区域合并；较佳地，本发明实施例所采用的T取值为15。

以合并后的区域作为新的起始目标区域，返回继续执行所述计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到所述起始目标区域的灰度平均值与周围封闭区域的灰度平均值的差异大于等于合并门限T为止，即完成了一个目标区域的确定；

返回继续执行所述选择起始目标区域并计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到将图像中的所有封闭区域处理完毕。

步骤104：对所述各目标区域的颜色进行标定得到彩色化模板，使用标定的颜色对所述各目标区域进行颜色填充，得到彩色化处理完成的图像。

可见，本发明实施例提供的方法通过利用分水岭算法划分出封闭区域，然后利用区域聚类的方法得到目标区域，根据预先设定的颜色模板将各目标区域对应的颜色填充到所述各目标区域中去，从而实现了对黑白图像的彩色化。

上述流程可以实现对黑白图像快速准确的彩色化处理。较佳地，本发明实施例还可以进一步用于对包含多帧黑白图像的黑白视频流影像的彩色化。此时，步骤101和步骤102之间进一步包括：

步骤1011：判断当前帧是否为彩色化关键帧，若是，则继续执行步骤102，否则执行步骤105；

镜头是进行视频流检测处理的常用单位，一个镜头中包含有限多帧。由于一个镜头中包含的多帧内容之间具有较强的相关性，本发明实施例将每个镜头的首帧作为彩色化关键帧，首先将该帧进行彩色化，而后利用该镜头中后续各帧之间的相关性，采用颜色传递的方法实现对后续各帧的彩色化。

步骤1011中判断当前帧是否为彩色化关键帧的具体方法为本领域已公开技术，本发明实施例中的彩色化关键帧检测方法可以采用《(用于镜头突变切换检测的像素点匹配法》(东南大学无线电工程系，作者：刘谦雷、杨绿溪、邹采荣)，也可以采用其他本领域技术人员通常使用的各种镜头检测方法，此处不再详细说明。

步骤105：从参考帧中获取与当前帧的各选定区域相匹配的匹配区域，将所述匹配区域的颜色传递到当前帧的各选定区域，并保持亮度不变，继续执行步骤106；

在本发明实施例中，选择当前帧的前一帧作为参考帧。由于每个镜头中的第一帧都被作为彩色化关键帧进行彩色化处理，因此该帧可以作为后一帧的参考帧，如此依次执行下去，最终可以实现一个镜头中所有各帧的彩色化。

其中，所述从参考帧中获取与当前帧的选定区域相匹配的匹配区域可以采用各种区域匹配的算法。本发明实施例中采用的是块匹配的方法，同时为了减少区域匹配时的计算量，采用了三步搜索的策略进行块匹配，图3示出了在参考帧中获取所述匹配区域的过程的示意图，图中：

标识#0的块为当前帧的其中一个选定区域(下文称为A区域)在参考帧中的对应位置；

以#0块的面积大小为单位，在以#0块为中心的9×9单位范围内，分别对位于#0块左上、上、右上、左、右、左下、下和右下共8个与#0块大小相同的块(即图中标识为#1的各位置)，利用平均绝对差分别计算各块与选定区域(即#0块)的匹配程度，从中选择匹配程度最高(也即平均绝对差最小)的位置作为下一次搜索的中心位置；假设此时得出右上方的块与#0块具有最高的匹配程度，为了便于说明，下文中称该块为A区域的第一次匹配块；

在以第一次匹配块为中心的5×5单位的范围内，分别对位于所述第一次匹配块左上、上、右上、左、右、左下、下和右下共8个与#0块大小相同的块(即图中标识为#2的各位置)，利用平均绝对差计算各块与选定区域(即#0块)的匹配程度，从中选择匹配程度最高的位置作为第三次搜索的中心位置，假设此时得出右下方的块与#0块具有最高的匹配程度，类似地，下文称其为A区域的第二次匹配块；

在以第二次匹配块为中心的3×3单位的范围内，分别对位于所述第二次匹配块上、下、左、右、左上、左下、右上和右下共8个与#0块大小相同的块(即图中标识为#3的各位置)，利用平均绝对差计算各块与选定区域(即#0块)的匹配程度，从中选择匹配程度最高的位置，即为最终确定的与当前帧的所述选定区域相匹配的匹配区域。

每次搜索过程中，所述利用平均绝对差判断各块与选定区域的匹配程度的方法包括：

利用公式 $\mathrm{MAD}(d_x,d_y)=\frac{1}{N_1\×N_2}\underset{(x,y)\∈R}{\mathrm{\Σ}}|I(x,y,k)-I(x+d_x,y+d_y,k+1)|$ 计算各块与选定区域的平均绝对差，得到的结果越小，表示该块与选定区域的匹配程度越高；

根据前文描述，可知进行判断的各块与选定区域的大小尺寸相同，公式中N₁，N₂分别表示选定区域的长和宽(同样也是表示进行判断的块的长和宽)，I(x，y，k)表示点(x，y)在k时刻(参考帧)的像素灰度值，I(x+d_x，y+d_y，k+1)表示点(x+d_x，y+d_y)在k+1时刻(即当前帧)的像素灰度值，R表示参考帧中选择的待判断的块；

上述公式所表示的含义是：将参考帧中待判断的块中的各像素点的像素灰度值与当前帧中选定区域中的对应像素点的像素灰度值分别做差后，再将差值的绝对值相加求和，将得到的绝对值之和除以该选定区域/待判断的块的面积(一般使用该区域包含多少像素点为面积单位)。

需要指出，上述搜索过程仅为示例，在具体应用中，只要保证三次搜索的范围大小按照递减方式进行即可，本发明实施例并不限定各次搜索范围的具体大小。

然后，将所述匹配区域的颜色传递到当前帧的选定区域，实现对当前帧中该选定区域的彩色化处理；最后，对于当前帧的其他各选定区域，重复执行上述过程，即可最终实现对当前帧完全的彩色化处理。

对于视频流的彩色化处理，由于视频流中存在多帧图像，因此在步骤105之后，所述黑白图像彩色化处理的方法中还进一步包括：

步骤106：判断当前帧是否为视频流中最后一帧，若是，则结束本次处理流程，否则设定视频流中下一帧为新的当前帧并返回步骤1011。

相应的，在进行视频流的彩色化处理时，步骤104完成后，继续执行步骤106。

由上可见，本发明的较佳实施例利用视频流中的镜头，通过对每个镜头的首帧进行关键帧彩色化处理，然后利用后续各帧与首帧间的相关性进行区域匹配和颜色传递，能够实现对视频流的快速彩色化处理。

容易理解，对当前帧是否是尾帧的判断也可以在其他位置执行，比如在步骤1011中先判断当前帧是否为尾帧，如果是，则在步骤105之后直接终止处理流程；而如果不是，则将下一帧图像设定为新的当前帧并返回步骤1011。此外，还可以根据本领域技术人员的惯用手段在其他位置设置所述当前帧是否是尾帧的判断，即该步骤在处理流程中的不同位置都应包含在本发明的保护范围内。

本发明实施例还提供一种黑白图像彩色化处理的系统，组成结构如图4所示，其中包括：区域分割模块410，区域聚类模块420，彩色化模板生成模块430和颜色填充模块440；

所述区域分割模块410，用于采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；

所述区域聚类模块420，用于对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；

所述彩色化模板生成模块430，用于对所述各目标区域的颜色进行标定得到彩色化模板；

所述颜色填充模块440，用于根据彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。

所述区域分割模块410中包括平滑处理单元411，梯度值计算单元412，分层排序单元413，标记单元414和封闭区域生成单元415；

所述平滑处理单元411，用于设定高斯算子模板对数字格式的黑白图像进行平滑处理；

根据实际应用的经验，本发明实施例使用 $H=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$ 进行所述的平滑处理，但同样可以采取其他模板，本发明实施例不作具体限定。

所述梯度值计算单元412，用于计算平滑处理后的图像中各像素点的梯度值；

采用sobel边缘算子分别计算各像素点的水平边缘EH和垂直边缘EV，所述的sobel边缘算子包括计算水平边缘的S₁和计算垂直边缘的S₂两个模板：

$S_1=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_2=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

计算EH和EV时，可以将上述模板作为“框架”套在每一个待计算的像素点上，最后利用公式 $\mathrm{EI}=\sqrt{{\mathrm{EH}}^2+{\mathrm{EV}}^2}$ 计算边缘强度，即可得到所述像素点P₁的梯度值。具体过程与前文图2部分说明相同，此处不再赘述。

利用上述方法遍历图像的所有像素点，则可以得到全部像素点的梯度值。

所述分层排序单元413，用于将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；

所述标记单元414，用于将梯度值大于等于预设阈值的最低的层中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照设定的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

所述封闭区域生成区域415，用于将得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

所述区域聚类模块420中包括选择单元421，更新单元422和聚类完成判定单元423；

所述选择单元421，用于从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域作为起始目标区域，并将该起始目标区域的信息通知更新单元422；

所述更新单元422，用于接收选择单元421的通知，计算所述起始目标区域与各相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限T的所有相邻区域与起始目标区域合并为新的起始目标区域，对所述新的起始目标区域重复执行计算所述起始目标区域与各相邻区域的灰度平均值差异并将所述差异值小于预设的合并门限T的所有相邻区域与起始目标区域合并为新的起始目标区域的步骤，直到起始目标区域与周围封闭区域的灰度平均值的差异大于等于合并门限T为止，完成一个目标区域的确定并通知所述聚类完成判定单元423；其中，本发明实施例中T的值取为15；

所述聚类完成判定单元423，用于根据更新单元422的通知，判断是否完成图像中所有封闭区域的处理，如果是，则将确定的各目标区域的信息提供给所述彩色化模板生成模块430和颜色填充模块440；否则，通知选择单元421继续选择起始目标区域。

可见，本发明实施例提供的系统通过利用分水岭算法划分出封闭区域，然后利用区域聚类的方法得到目标区域，根据预先设定的颜色模板将各目标区域对应的颜色填充到所述各目标区域中去，从而实现了对黑白图像的彩色化。

较佳地，本发明实施例还可以进一步用于对包含多帧黑白图像的黑白视频流影像的彩色化。此时，所述黑白图像彩色化处理的系统中还包括：关键帧判定模块450，区域匹配模块460，颜色映射模块470和帧尾判定模块480；

所述关键帧判定模块450，用于判断当前帧是否为彩色化关键帧，若是，通知所述区域分割模块410；否则，通知区域匹配模块460；

所述区域匹配模块460，用于从参考帧中获取与当前帧的各选定区域相匹配的匹配区域后通知颜色映射模块470，所述参考帧为当前帧的前一帧；

所述颜色映射模块470，用于根据所述获取的匹配区域，将所述匹配区域的颜色传递到当前帧的选定区域并保持亮度不变，之后通知帧尾判定模块480；

所述帧尾判定模块480，用于判断当前帧是否为视频流中最后一帧，若是，结束本次处理流程，否则设定视频流中下一帧为新的当前帧并通知关键帧判定模块450。

相应地，此时所述颜色填充模块440，进一步用于在得到处理完成的彩色化关键帧后，通知帧尾判定模块480。

彩色化关键帧处理完成后，需要该关键帧是否为帧尾，如果所述帧尾判定模块480判定还有后续帧，则系统继续处理，否则表示本次彩色化处理完成。

所述区域匹配模块460中包括搜索初始位置确定单元461，搜索策略设定单元462和匹配计算单元463；

所述搜索初始位置确定单元461，用于接收所述关键帧判定模块450的通知，确定当前帧的各选定区域在参考帧中的对应位置，将所述对应位置作为第一次区域匹配计算的初始位置提供给匹配计算单元463和搜索策略设定单元462；还用于根据匹配计算单元463返回的信息，将所述匹配程度最高的位置设为下一次匹配计算的初始位置；

所述搜索策略设定单元462，用于确定每次进行区域匹配计算时搜索范围的大小，所述区域匹配计算共进行三次，且搜索范围的大小逐次递减；还用于接收搜索初始位置确定单元461确定的进行区域匹配计算的初始位置，以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，将所述确定的目标位置的信息提供给匹配计算单元463；

所述匹配计算单元463，用于接收初始位置确定单元确定的进行区域匹配计算的初始位置的信息，利用平均绝对差的方法，将所述各目标位置中的各像素点的像素灰度值与当前帧选定区域中的对应像素点的像素灰度值分别做差，再将差值的绝对值相加求和，最后将得到的绝对值之和除以该选定区域的面积，得到搜索策略设定单元462确定的各目标位置与选定区域的匹配程度；在第一次和第二次区域匹配计算时，将其中匹配程度最高的位置的信息返回给搜索初始位置确定单元461；在第三次区域匹配计算时，则将匹配程度最高的位置作为与当前帧的所述各选定区域相匹配的匹配区域通知颜色映射模块470。

其中，平均绝对差的计算公式为：

$\mathrm{MAD}(d_x,d_y)=\frac{1}{N_1\×N_2}\underset{(x,y)\∈R}{\mathrm{\Σ}}|I(x,y,k)-I(x+d_x,y+d_y,k+1)|$

公式中计算结果越小，表示该块与选定区域的匹配程度越高；N₁，N₂分别表示选定区域的长和宽(同样也是表示进行区域匹配计算时目标位置的长和宽)，I(x，y，k)表示点(x，y)在k时刻(参考帧)的像素灰度值，I(x+d_x，y+d_y，k+1)表示点(x+d_x，y+d_y)在k+1时刻(即当前帧)的像素灰度值，R表示参考帧中选择的待判断的块；

需要指出，在具体应用中，只要保证三次区域匹配计算时，搜索范围的大小按照递减方式进行即可，本发明实施例并不限定各次搜索范围的具体大小。

因此，容易理解，以上所述仅为本发明的较佳实施例，并非用于限定本发明的精神和保护范围，任何熟悉本领域的技术人员所做出的等同变化或替换，都应视为涵盖在本发明的保护范围之内。

Claims (11)

1、一种黑白图像彩色化处理的方法，其特征在于，该方法包括：

采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；

对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；

对所述各目标区域的颜色进行标定得到彩色化模板，根据所述彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。

2、根据权利要求1所述的方法，其特征在于，所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域的方法包括：

设定高斯算子模板对数字格式的黑白图像进行平滑处理，计算平滑处理后的图像中各像素点的梯度值；

将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；将梯度值大于等于预设阈值的最低的层中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照设定的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

利用得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

3、根据权利要求1所述的方法，其特征在于，所述对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域的方法包括：

从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域为起始目标区域，计算该起始目标区域与相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限的所有相邻区域与所述起始目标区域合并；

以合并后的区域作为新的起始目标区域，返回继续执行所述计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到所述起始目标区域的灰度平均值与周围封闭区域的灰度平均值的差异大于等于合并门限为止，完成一个目标区域的确定；

返回继续执行所述选择起始目标区域并计算该起始目标区域与相邻区域的灰度平均值差异的步骤，直到将图像中的所有封闭区域处理完毕，得到进行彩色化处理的各目标区域。

4、根据权利要求1至3中任一项所述的方法，其特征在于，所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域之前，该方法进一步包括：

判断当前帧是否为彩色化关键帧：

若是，继续执行所述采用分水岭分割将数字格式的黑白图像分割成多个封闭区域的步骤；

否则，从参考帧中获取与当前帧的各选定区域相匹配的匹配区域，将所述匹配区域的颜色传递到当前帧的选定区域，并保持亮度不变，所述参考帧为当前帧的前一帧；之后，判断当前帧是否为视频中最后一帧，若是，则结束本次处理流程，否则设定视频中下一帧为新的当前帧并返回执行所述判断当前帧是否为彩色化关键帧的步骤；

所述根据所述彩色化模板对各目标区域进行颜色填充，得到一帧彩色化处理完成的图像后，继续执行所述判断当前帧是否为视频中最后一帧的步骤。

5、根据权利要求4所述的方法，其特征在于，所述从参考帧中获取与当前帧的各选定区域相匹配的匹配区域的方法包括：

预先设定每次进行区域匹配时搜索范围的大小，确定当前帧的各选定区域在参考帧中的对应位置，将所述对应位置作为第一次区域匹配计算的初始位置，以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，分别计算各目标位置与选定区域的匹配程度；将各目标位置中与选定区域的匹配程度最高的作为下一次区域匹配计算时的初始位置，返回执行以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，分别计算各目标位置与选定区域的匹配程度的步骤，所述区域匹配计算共进行三次，且搜索范围的大小逐次递减；

将第三次区域匹配计算得到的，与选定区域的匹配程度最高的位置作为与当前帧的所述各选定区域相匹配的匹配区域。

6、根据权利要求5所述的方法，其特征在于，所述计算各目标位置与选定区域的匹配程度的方法包括：

利用平均绝对差的方法，将所述各目标位置中的各像素点的像素灰度值与当前帧选定区域中的对应像素点的像素灰度值分别做差，再将差值的绝对值相加求和，最后将得到的绝对值之和除以该选定区域的面积。

7、一种黑白图像彩色化处理的系统，其特征在于，该系统包括：区域分割模块，区域聚类模块，彩色化模板生成模块和颜色填充模块；

所述区域分割模块，用于采用分水岭分割将数字格式的黑白图像分割成多个封闭区域；

所述区域聚类模块，用于对分割后的封闭区域进行区域聚类，得到进行彩色化处理的各目标区域；

所述彩色化模板生成模块，用于对所述各目标区域的颜色进行标定得到彩色化模板；

所述颜色填充模块，用于根据彩色化模板对各目标区域进行颜色填充，得到彩色化处理完成的图像。

8、根据权利要求7所述的系统，其特征在于，所述区域分割模块包括：平滑处理单元，梯度值计算单元，分层排序单元，标记单元和封闭区域生成单元；

所述平滑处理单元，用于设定高斯算子模板对数字格式的黑白图像进行平滑处理；

所述梯度值计算单元，用于计算平滑处理后的图像中各像素点的梯度值；

所述分层排序单元，用于将所有大于等于预设阈值的像素点中，梯度值相等的作为一层；

所述标记单元，用于将梯度值大于等于预设阈值的最低的层中所有像素点标记为该层的已标识点；然后根据梯度值的升序，分别按照设定的顺序遍历图像中的各层像素点，如果当前像素点的上下左右四个相邻像素点中不存在已标识点，则将当前像素点标记为该层的已标识点；如果当前像素点的上下左右四个相邻像素点中只存在一个已标识点，则将当前像素点标记为与所述已标识点相同的已标识点；如果当前像素点的上下左右四个相邻像素点中存在两个或以上不同的已标识点，则将当前像素点标记为分水岭点；

所述封闭区域生成区域，用于将得到的分水岭点连接成分水岭线，并由所述分水岭线将图像分割成多个封闭区域。

9、根据权利要求7所述的系统，其特征在于，所述区域聚类模块包括：选择单元，更新单元和聚类完成判定单元；

所述选择单元，用于从图像中已确定的目标区域外剩余的区域中，任选一个分割得到的封闭区域作为起始目标区域，并将该起始目标区域的信息通知更新单元；

所述更新单元，用于接收选择单元的通知，计算所述起始目标区域与各相邻区域的灰度平均值差异，将所述差异值小于预设的合并门限的所有相邻区域与起始目标区域合并为新的起始目标区域，对所述新的起始目标区域重复执行计算所述起始目标区域与各相邻区域的灰度平均值差异并将所述差异值小于预设的合并门限的所有相邻区域与起始目标区域合并为新的起始目标区域的步骤，直到起始目标区域与周围封闭区域的灰度平均值的差异大于等于合并门限为止，完成一个目标区域的确定并通知所述聚类完成判定单元；

所述聚类完成判定单元，用于根据更新单元的通知，判断是否完成图像中所有封闭区域的处理，如果是，则将确定的各目标区域的信息提供给所述彩色化模板生成模块和颜色填充模块；否则，通知选择单元继续选择起始目标区域。

10、根据权利要求7至9中任一项所述的系统，其特征在于，该系统中还包括：关键帧判定模块，区域匹配模块，颜色映射模块和帧尾判定模块；

所述关键帧判定模块，用于判断当前帧是否为彩色化关键帧，若是，通知所述区域分割模块；否则，通知区域匹配模块；

所述区域匹配模块，用于从参考帧中获取与当前帧的各选定区域相匹配的匹配区域后通知颜色映射模块，所述参考帧为当前帧的前一帧；

所述颜色映射模块，用于根据所述获取的匹配区域，将所述匹配区域的颜色传递到当前帧的选定区域并保持亮度不变，之后通知帧尾判定模块；

所述帧尾判定模块，用于判断当前帧是否为视频流中最后一帧，若是，结束本次处理流程，否则设定视频流中下一帧为新的当前帧并通知关键帧判定模块；

所述颜色填充模块，进一步用于在得到处理完成的彩色化关键帧后，通知帧尾判定模块。

11、根据权利要求10所述的系统，其特征在于，所述区域匹配模块包括：搜索初始位置确定单元，搜索策略设定单元和匹配计算单元；

所述搜索初始位置确定单元，用于接收所述关键帧判定模块的通知，确定当前帧的各选定区域在参考帧中的对应位置，将所述对应位置作为第一次区域匹配计算的初始位置提供给匹配计算单元和搜索策略设定单元；还用于根据匹配计算单元返回的信息，将所述匹配程度最高的位置设为下一次匹配计算的初始位置；

所述搜索策略设定单元，用于确定每次进行区域匹配计算时搜索范围的大小，所述区域匹配计算共进行三次，且搜索范围的大小逐次递减；还用于接收搜索初始位置确定单元确定的进行区域匹配计算的初始位置，以所述初始位置为中心，按照预先设定的搜索范围，将位于所述初始位置上、下、左、右、左上、右上、左下和右下共8个与所述选定区域面积大小相同的块确定为计算匹配程度的目标位置，将所述确定的目标位置的信息提供给匹配计算单元；

所述匹配计算单元，用于接收初始位置确定单元确定的进行区域匹配计算的初始位置的信息，利用平均绝对差的方法，将所述各目标位置中的各像素点的像素灰度值与当前帧选定区域中的对应像素点的像素灰度值分别做差，再将差值的绝对值相加求和，最后将得到的绝对值之和除以该选定区域的面积，得到搜索策略设定单元确定的各目标位置与选定区域的匹配程度；在第一次和第二次区域匹配计算时，将其中匹配程度最高的位置的信息返回给搜索初始位置确定单元；在第三次区域匹配计算时，则将匹配程度最高的位置作为与当前帧的所述各选定区域相匹配的匹配区域通知颜色映射模块。

Images