CN112073596B - 特定黑白视频信号的仿真彩色处理方法及系统 - Google Patents

Abstract

本发明提供一种特定黑白视频信号的仿真色彩处理系统及处理方法。该系统和方法通过对特定对象进行学习，获得特定对象色彩对应关系，仿真彩色信息生成器对待处理的视频信号进行特定对象的提取以及色彩对应关系的查找，最终通过仿真彩色合成器合成输出彩色视频信号。本发明针对黑白视频信号，添加仿真彩色信号，而非伪彩色信号，提高对特定图像信号内容的识别和判断。

Description

特定黑白视频信号的仿真彩色处理方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种特定黑白视频信号的仿真彩色处理方法及系统。

背景技术

超远距离的光学电视、红外热成像输出等电视信号，通常是无彩色的黑白电视信号或人为构成的伪彩色电视信号。伪彩色电视信号虽然在某些方面比黑白电视信号增加了一定的辨识能力，但从信息量角度，较真彩色仍然存在较大的信息量丢失。根据三基色原理和大面积着色原理，黑白(或伪彩色)电视信号比真彩色电视信号大约丢失15％～20％的综合信息量，这对电视信号的识别和判断以及某些对于真彩色有较高要求的场合，会带来较大的不利影响。因此，将黑白电视信号变为真彩色信号或接近真彩色信号十分重要。

发明内容

本发明的目的在于解决上述技术问题，提供一种对黑白视频信号进行仿真彩色处理的方法及系统，可解决现有技术中黑白电视信号缺少真色彩信息的技术问题。

为实现上述目的，本发明采用的技术方案是：

一种特定黑白视频信号的仿真色彩处理系统，包括：

图像学习模块：用于根据特定对象的彩色图像和同类特定对象的黑白图像进行学习，输出特定对象的图像色彩对应关系；

仿真彩色信息生成器：输入端连接图像学习模块，以及，待处理的黑白视频信号；提取黑白视频信号中的特定对象图像，识别特定图像，并提取图像时序与同步信息；基于图像学习模块查找特定对象对应的图像色彩对应关系，输出针对特定对象仿真色彩信息，所述仿真色彩信息包括色彩、像素位置的对应关系；

仿真彩色合成器：输入端连接仿真彩色信息生成器，以及，待处理的黑白视频信号，提取图像时序与同步信息，基于仿真彩色信息生成器输出，与该输出的时序和同步信息对应匹配，对黑白视频信号着色处理。

本发明一些实施例中：

所述仿真彩色信息生成器进一步提取黑白视频信号的时序与同步信息，基于时序和同步信息定位并提取图像帧，基于图像帧识别黑白视频信号中的特定对象；

所述仿真彩色合成器进一步提取黑白视频信号的时序与同步信息；所述仿真彩色合成器进一步基于时序和同步信息对黑白视频信号着色处理。

本发明一些实施例中，所述仿真色彩处理系统进一步包括学习对象数据库，所述学习对象数据库按对象类型分组存储特定对象的彩色图像及黑白图像。

本发明一些实施例中，每组特定对象的图像包括：不同场景下特定对象的彩色图像及对应的黑白图像。

本发明一些实施例中，进一步包括视频输出装置，所述视频输出装置包括彩色视频显示装置，或彩色视频显示装置和黑白视频显示装置的组合；所述彩色视频显示装置与仿真彩色合成器的输出端连接，黑白视频显示装置连接至待处理的黑白视频信号。

本发明一些实施例中，进一步提供一种特定黑白视频信号的仿真色彩处理方法，包括以下步骤:

S1：基于特定对象的黑白图像及彩色图像进行学习，输出针对特定对象的图像色彩对应关系；所述图像色彩对应关系包括了像素位置，及像素位置对应的色彩信息；

S2：根据待处理的黑白视频，按顺序提取视频段，并在视频段内提取单帧视频图像，识别图像中的特定对象，并查找该特定对象对应的图像色彩对应关系；

S3：将单帧视频图像与特定对象对应的图像色彩对应关系合成处理，输出彩色视频；

S4：重复步骤S2至S3，直至黑白视频图像所有视频段均处理完毕。

本发明一些实施例中，所述方法进一步包括：步骤S2中，按等时间长度提取视频段。

本发明一些实施例中：

步骤S2中，对提取的视频段逐帧提取视频图像，识别图形中的特定对象，并查找该特定对象对应的图像色彩对应关系；

步骤S3中，逐帧对视频图像与该图像对应的图像色彩对应关系进行合成处理，输出彩色视频。

本发明一些实施例中，所述图像色彩对应关系包括：特定黑白图像像素位置，对应的特定彩色图像相同像素位置的色彩信息；所述色彩信息进一步包括亮度信息Y和色差信息(R-Y)、(B-Y)。

本发明一些实施例中，所述处理方法进一步包括：

将特定黑白图像中全部像素的亮度信息替换为新的亮度信息；

按G-Y＝-0.51(R-Y)-0.19(B-Y)恢复出(G-Y)，再将色差信息(R-Y)、(G-Y)和(B-Y)和分别与Y相加得到R、G、B三基色系数；

按R、G、B三基色系数对特定黑白图像进行色彩着色。

本发明提供的系统及方法的有益效果在于：

本发明可以将特定黑白视频信号变为仿真彩色信号，有助于更直观地观察特定图像信号的内容，提高对特定图像信号内容的识别和判断。针对黑白视频图像，添加仿真彩色信号，而非伪彩色信号，仿真彩色信号较伪彩色信号的色彩更加逼真。可实现特定监视目标的仿真彩色还原，获得更多检测目标的视频图像信息以便更好的鉴别目标。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明仿真色彩处理系统逻辑结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种特定黑白视频信号的仿真彩色处理方法，可用于对特定图像信号的着色处理。本发明所述的特定图像信号，是指某一类物品的图像信号，例如：以海上监控视频图像的处理为例，巡洋舰、集装箱货船、散装货船等，某种类型的舰船均作为一类特定信号，某一系统视其学习能力，可以对一类或几类特定信号进行着色处理。

为实现上述目的，本发明采用的技术方案如下。

一种特定黑白视频信号的仿真色彩处理系统，包括图像学习模块、仿真彩色信息生成器、仿真彩色合成器。

图像学习模块：用于根据特定对象的彩色图像和同类特定对象的黑白图像进行学习，输出特定对象的图像色彩对应关系；图像学习模块的作用在于根据设定的学习算法(例如，可采用卷积神经网络算法)，针对特定图像的黑白图像和彩色图像大量的数据进行监督式深度学习训练，获得目标图像黑白和色彩图像的对应参数。所述的对应参数包括：特定的对象信息(例如，巡洋舰或驱逐舰)、特定对象在正副图像中所处的像素区域，以及，包含各像素位置上应对应的仿真色彩。

仿真彩色信息生成器：输入端连接图像学习模块，以及，待处理的黑白视频信号；提取黑白视频信号中的特定对象图像，识别特定图像，并提取图像时序与同步信息；基于图像学习模块查找特定对象对应的图像色彩对应关系，输出针对特定对象仿真色彩信息，所述仿真色彩信息包括色彩、像素位置的对应关系。图像处理系统的目的是对特定黑白视频信号进行着色处理，由于学习模块中的学习对象为静态的特定对象的图像，因此，仿真彩色信息生成器接入待处理的特定黑白视频信号后，首先需要提取静态图像，并识别图像中的特定对象。

仿真彩色合成器：输入端连接仿真彩色信息生成器，以及，待处理的黑白视频信号，提取图像时序与同步信息，基于仿真彩色信息生成器输出，与该输出的时序和同步信息对应匹配，对黑白视频信号着色处理。仿真彩色合成器输出的着色处理后的彩色视频图像。

本发明一些实施例中，为了使学习输出结果更好的与待处理的视频图像向匹配，所述仿真彩色信息生成器进一步提取黑白视频信号的时序与同步信息，基于时序和同步信息定位并提取图像帧，基于图像帧识别黑白视频信号中的特定对象；

所述仿真彩色合成器进一步提取黑白视频信号的时序与同步信息；所述仿真彩色合成器进一步基于时序和同步信息对黑白视频信号着色处理。

更进一步的，为了规范化学习数据的管理，使图像学习模块输出更准确的学习参数，本发明一些实施例中，所述仿真色彩处理系统进一步包括学习对象数据库，所述学习对象数据库按对象类型分组存储特定对象的彩色图像及黑白图像。例如，数据库中包括的多组数据图像，针对巡洋舰的图像数据为一组，针对驱逐舰的图像数据为一组。

更进一步的，每组特定对象的图像包括：不同场景下特定对象的彩色图像及对应的黑白图像。例如，特定对象为巡洋舰，则该组数据中，包括了巡洋舰各个视角角度的图像，每个相同视角的图像，均对应包括一幅彩色图像和一幅黑白图像。为例能够获得更精确的学习结果，图像应尽可能的多。

本发明一些实施例中，进一步包括视频输出装置，所述视频输出装置包括括彩色视频显示装置(例如可采用色彩监视器)，或彩色视频显示装置和黑白视频显示装置的组合。其中彩色视频显示装置与仿真彩色合成器的输出端链接，黑白视频显示装置直接连接输入的黑白视频信号。基于这种结构，视频监控装置可以选择输出黑白视频信号，或者输出彩色视频信号。

基于上述图像处理系统，本发明一些实施例中，进一步提供一种特定黑白视频信号的仿真色彩处理方法，包括以下步骤:

S1：基于特定对象的黑白图像及彩色图像进行学习，输出针对特定对象的图像色彩对应关系；

S2：根据待处理的黑白视频，按顺序提取视频段，并在视频段内提取单帧视频图像，识别图像中的特定对象，并查找该特定对象对应的图像色彩对应关系；

S3：将单帧视频图像与特定对象对应的图像色彩对应关系合成处理，为图像各像素位置着色，输出彩色视频；

S4：重复步骤S2至S3，直至黑白视频图像所有视频段均处理完毕。

本发明一些实施例中，所述方法进一步包括：步骤S2中，按等时间长度提取视频段。所述的视频段为特定时间长度的视频，由多帧图像组成。理论上讲，如果这个时间长度选取的足够短，对视频段内的一帧或部分帧图像进行着色处理后，再将连续视频段的视频输出，视觉上将感受到的为连续的彩色视频图像。

本发明一些实施例中，为了进一步提高视频处理的效果：

步骤S2中，对提取的视频段逐帧提取视频图像，识别图形中的特定对象，并查找该特定对象对应的图像色彩对应关系；所述图像色彩对应关系包括了像素位置，及像素位置对应的色彩信息；

步骤S3中，逐帧对视频图像与该图像对应的图像色彩对应关系进行合成处理，输出彩色视频。

这种方法可以对整个视频段进行完整的着色处理，进而对整段视频进行完整的着色处理，输出高质量的彩色图像。

更进一步的，由于视频图像中可能包括多个特定对象，可针对视频图像中的每个特定对象均采用上述的处理方法，形成完整的彩色视频输出。例如，海上舰船视频图像可能会包括两类特定图像：舰船图像和海洋图像，可以分别对舰船图像或海洋图像进行识别，与学习算法输出结果合并输出彩色视频图像；再入，海上舰船视频图像可能还会包括三类或更多的特定图像：巡洋舰图像、驱逐舰图像和海洋图像，可以分别对三类图像进行识别，与学习算法输出结果合并输出彩色视频图像。

本发明一些实施例中，所述图像色彩对应关系包括：特定黑白图像像素位置，对应的特定彩色图像相同像素位置的色彩信息；所述色彩信息进一步包括亮度信息Y和色差信息(R-Y)、(B-Y)。

本发明一些实施例中，所述处理方法进一步包括：

将特定黑白图像中全部像素的亮度信息替换为新的亮度信息；

按G-Y＝-0.51(R-Y)-0.19(B-Y)恢复出(G-Y)，再将色差信息(R-Y)、(G-Y)和(B-Y)和分别与Y相加得到R、G、B三基色系数；

按R、G、B三基色系数对特定黑白图像进行色彩着色。

举例说明算法的具体实施步骤。

已获取的黑白舰船(特定对象)图像及对应彩色舰船图像的数据库信息，将其输入到监督式深度学习算法，得到算法学习参数，深度学习算法输出包含特定对象名称，以及特定对象与其色彩信息的对应关系。例如，通过算法训练得到舰船(特定对象)与其RGB色彩信息相对应、海面(特定对象)与其RGB色彩信息相对应等等。此处的色彩信息为三基色系数，代表该特定对象的颜色是由配色方程式F＝R(R)+G(G)+B(B)所形成的彩色量。其中，F为特定对象的彩色量，(R)、(G)、(B)分别为红(波长700nm)、绿(波长546.1nm)、蓝(波长435.8nm)三基色的单位量，1(R)＝1流明，1(G)＝4.5907流明，1(B)＝0.0601流明；R、G、B分别为三基色系数。

更进一步的，为了进一步提高彩色视频图像的输出效果，在视频图像处理过程中，仿真彩色信息生成器和仿真彩色合成器均提取图像的时序信息和同步信息。基于前文提取的目的是获取黑白电视信号的时序与同步信息，对仿真彩色信息进行定位，使该仿真彩色信息的信息格式，同步方式和时序等与黑白电视信号保持一致。同步信息包含行同步和场同步信息，在对输入的黑白全电视信号采取同步分离电路后形成复合同步信号，再分别采用微分电路和积分电路输出行同步和场同步信息；

同步处理后，对各帧特定黑白图像，进行仿真色彩合成处理；按时序拼合各帧图像，生成彩色图像视频信号。

基于上述像素、亮度及色度信息，进行仿真着色处理。仿真彩色填充是综合利用彩色电视的三基色原理和大面积着色原理、黑白图像特殊频段的信息提取等手段实现的。学习数据输出的亮度、色度、位置信号与黑白电视信号输出的黑白图像信号在进行仿真合成后，被测目标的仿真彩色输出显示在外接设备上，同时可提供相关的信息数据输出。

着色过程利用大面积着色原理，可以用较小的带宽实现在原黑白电视图像中特定对象部分所在全部像素中插入已经习得的仿真彩色信息。具体而言，将该帧图像的色度信号(约1.3MHz)调制到副载波上，该副载波的选择使得调制后得色度信号谱线正好安插在亮度信号谱线的间隔内，从而在添加彩色信息的同时达到压缩频带的目的。

对本系统和方法进行实验验证，结果显示，采用远距离光学成像设备进行目标黑白图像的获取，使用镜头的焦距为1000mm，有效孔径为100mm，目标距离为14公里，目标海岛、海面、天空图像丢失的彩色信息可完全准确的完成仿真彩色处理，输出仿真彩色图像。除视频摄像机拍摄形成的黑白电视信号外，本方法和系统对于热成像仪等输出的热成像黑白电视信号同样适用

本发明提供的系统和方法可应用于均是领域，将本提案的技术形成的装置安装在海防、军舰的视频监视系统上，可增强目标跟踪能力，提高作战能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种特定黑白视频信号的仿真色彩处理系统，其特征在于，包括：

图像学习模块：用于根据特定对象的彩色图像和同类特定对象的黑白图像进行学习，输出特定对象的图像色彩对应关系；

仿真彩色信息生成器：输入端连接图像学习模块，以及，待处理的黑白视频信号；提取黑白视频信号中的特定对象图像，识别特定图像，并提取图像时序与同步信息；基于图像学习模块查找特定对象对应的图像色彩对应关系，输出针对特定对象仿真色彩信息，所述仿真色彩信息包括色彩、像素位置的对应关系；

仿真彩色合成器：输入端连接仿真彩色信息生成器，以及，待处理的黑白视频信号，提取图像时序与同步信息，基于仿真彩色信息生成器输出，与该输出的时序和同步信息对应匹配，对黑白视频信号着色处理。

2.如权利要求1所述的特定黑白视频信号的仿真色彩处理系统，其特征在于：

所述仿真彩色信息生成器进一步提取黑白视频信号的时序与同步信息，基于时序和同步信息定位并提取图像帧，基于图像帧识别黑白视频信号中的特定对象；

所述仿真彩色合成器进一步提取黑白视频信号的时序与同步信息；所述仿真彩色合成器进一步基于时序和同步信息对黑白视频信号着色处理。

3.如权利要求1所述的特定黑白视频信号的仿真色彩处理系统，其特征在于，所述仿真色彩处理系统进一步包括学习对象数据库，所述学习对象数据库按对象类型分组存储特定对象的彩色图像及黑白图像。

4.如权利要求3所述的特定黑白视频信号的仿真色彩处理系统，其特征在于，每组特定对象的图像包括：不同场景下特定对象的彩色图像及对应的黑白图像。

5.如权利要求1所述的特定黑白视频信号的仿真色彩处理系统，其特征在于，进一步包括视频输出装置，所述视频输出装置包括彩色视频显示装置，或彩色视频显示装置和黑白视频显示装置的组合；所述彩色视频显示装置与仿真彩色合成器的输出端连接，黑白视频显示装置连接至待处理的黑白视频信号。

6.一种特定黑白视频信号的仿真色彩处理方法，其特征在于，包括以下步骤:

S1：基于特定对象的黑白图像及彩色图像进行学习，输出针对特定对象的图像色彩对应关系；所述图像色彩对应关系包括了像素位置，及像素位置对应的色彩信息；

S2：根据待处理的黑白视频，按顺序提取视频段，并在视频段内提取单帧视频图像，识别图像中的特定对象，提取图像时序和同步信息，并查找该特定对象对应的图像色彩对应关系；

S3：将单帧视频图像与特定对象对应的图像色彩对应关系合成处理，输出彩色视频；

S4：重复步骤S2至S3，直至黑白视频图像所有视频段均处理完毕。

7.如权利要求6所述的特定黑白视频信号的仿真色彩处理方法，其特征在于，所述方法进一步包括：步骤S2中，按等时间长度提取视频段。

8.如权利要求6或7所述的特定黑白视频信号的仿真色彩处理方法，其特征在于：

步骤S2中，对提取的视频段逐帧提取视频图像，识别图形中的特定对象，并查找该特定对象对应的图像色彩对应关系；

步骤S3中，逐帧对视频图像与该特定对象对应的图像色彩对应关系进行合成处理，输出彩色视频。

9.如权利要求8所述的特定黑白视频信号的仿真色彩处理方法，其特征在于，所述图像色彩对应关系包括：特定黑白图像像素位置，对应的特定彩色图像相同像素位置的色彩信息；所述色彩信息进一步包括亮度信息Y和色差信息(R-Y)、(B-Y)。

10.如权利要求9所述的特定黑白视频信号的仿真色彩处理方法，其特征在于，所述处理方法进一步包括：

将特定黑白图像中全部像素的亮度信息替换为新的亮度信息；

按G-Y=-0.51(R-Y)-0.19(B-Y)恢复出(G-Y)，再将色差信息(R-Y)、(G-Y)和(B-Y)和分别与Y相加得到R、G、B三基色系数；

按R、G、B三基色系数对特定黑白图像进行色彩着色。

Images