CN114581344B - 一种视频图像紫边校正方法 - Google Patents

Abstract

本发明提供一种视频图像紫边校正方法，包括如下步骤：读入YUV格式视频图像，将视频图像依通道拆分得到原始的明亮度Y图像、色度U图像及色度V图像；将各个通道图像取滑动处理窗；确认滑动处理窗内的紫边点，并确认其周围是否存在高亮点；对紫边点及其周围高亮点分别进行个数统计；根据紫边点统计对紫边点分级并进行紫边点预修正，得到紫边点的预校正值；根据紫边点周围高亮点的统计对紫边点进行处理，得到颜色保护校正后的色度U图像及色度V图像；将原始的色度U图像及色度V图像与颜色保护校正后的色度U图像及色度V图像进行权重融合和过校正保护得到紫边校正后的色度U图像及色度V图像。结合明亮度Y图像合并后获得紫边校正后的YUV格式图像。

Description

一种视频图像紫边校正方法

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种视频图像紫边校正方法。

背景技术

通常在拍摄视频或照片的时候，当逆光拍摄或所拍摄的范围存在明显的明暗对比场景时，会在物体边缘或明暗交界处呈现紫色、浅蓝色或洋红色的伪色亮边，此类伪色亮边统称为紫边。紫边的形成是镜头色差、光学衍射以及图像数字化共同作用的结果。一般根据镜头规格的不同、镀膜的差异、实际拍摄角度差异的影响，紫边的具体颜色会有所不同。而消除紫边的方法分为硬件和软件两方面，硬件的话一般选择像差小的镜头及感光尺寸更大的感测器组件，软件则在后期对紫边进行校正消除，例如PS软件等等。视频图像的紫边消除要求实时性去除，硬件无法替换的前提下需要相应的处理算法来解决紫边校正的问题。

目前在图像处理领域用到的紫边校正实现方法有以下几种：

中国专利CN106651946A “图像紫边消除系统和方法”采用遍历图像并计算色相，统计紫色色相及邻近紫色色相像素点在图像的比率得到紫色检测阈值；创建与图像获取模块获取的图像同等大小的模板图，进一步统计紫色区域的像素点。用绿色强度值校正紫色区域的红色强度值和蓝色强度值，最终输出无紫边图像。该方法是在RGB域对紫边进行校正，创建模板相对比较复杂，且没有考虑到实际紫色被误校正的情况。中国专利CN111979449A “图像处理方法、装置、终端及计算机可读存储介质”提出通过对输入图像进行模糊处理，得到模糊图像，对模糊图像进行紫边检测得到紫边区域，对模糊图像进行图像校正，得到校正图像。然后利用校正图像、模糊图像的紫边区域对输入图像进行去紫边处理，得到去紫边图像。该方法虽然能够对紫边的检测提高精度，但是同样并未对误判的紫边进行有效的处理，容易产生新的伪色。

中国专利CN111080559A “一种图像紫边消除装置及方法”提出将图像转换为亮度和色度空间，在紫边消除单元，对亮度空间的亮度域和色度空间的色度域进行处理，通过饱和度和亮度差阈值处理判断紫边点，通过滤波操作进行紫边点的消除。该方法可以区分紫色物体和紫边，但是无法解决紫边去不干净和去除紫边过度不自然问题。中国专利CN105335979A “一种图像处理的方法及装置”提出首先获取图像边缘区域的标记图，然后在RGB三通道中对所述图像边缘区域标记图的边缘像素点进行滤波去除紫边等假色。该方法对紫边会有误判且如果紫边边缘较大时无法有效去除紫边。中国专利CN111199524A “一种针对可调光圈光学系统的图像紫边校正方法”提出采用两种不同光圈的相机对存在紫边现象的高反差场景进行拍摄获得大光圈图像和小光圈图像；对两幅图像配准；检测大光圈图像过曝区域对大光圈图像整幅图像进行灰度分级提取边缘并扩张得到紫边候补区域；将匹配的两幅图像变换到YCbCr颜色空间；以小光圈图像的紫边区域Cb、Cr通道分别替换大光圈图像中，保留Y通道亮度数据不变。该方法优势在于能够复原紫边缺失的颜色，但是硬件上要两次采集图像，对于视频图像的紫边校正显然是无法满足需求。

以上的方案针对紫边的校正普遍存在如下几个问题，1. 实际紫色被误校正；2.无法解决紫边去不干净和去除紫边过度不自然；3.硬件代价较大，不易于视频图像去除紫边。本提案方法目的是不附加硬件镜头组件的前提下能够对各类紫边进行有效校正，同时保证紫边校正后颜色的自然过渡。

发明内容

为了解决上述技术问题，本发明提供一种视频图像紫边校正方法，主要是根据紫边产生的特性，从准确判断紫边开始，通过高亮区域和紫边颜色的位置关系，对紫边进行分等级校正。同时引入颜色保护机制避免正常紫色被误校正。

为了实现上述发明目的，本发明中提供一种视频图像紫边校正方法，其特征在于，包括如下步骤：步骤100，读入YUV格式视频图像，将所述视频图像依通道拆分得到原始的明亮度Y图像、原始的色度U图像及原始的色度V图像；步骤200，将所述原始的明亮度Y图像、所述原始的色度U图像及所述原始的色度V图像取滑动处理窗；步骤300，结合所述原始的明亮度Y图像、所述原始的色度U图像及所述原始的色度V图像判断所述滑动处理窗内的紫边点，并确认紫边点周围是否存在高亮点；步骤400，对所述紫边点和所述紫边点周围存在的高亮点进行个数统计；步骤500，根据所述紫边点统计情况对所述紫边点分级并进行所述紫边点预修正，得到所述紫边点的预校正值；步骤600，根据预设Y、U和V三通道高亮点的判断条件对所述滑动处理窗内紫边点周围存在的高亮点个数统计情况对所述紫边点分级进行颜色保护校正，得到颜色保护校正后的色度U图像及色度V图像；步骤700，将原始的色度U图像及原始的色度V图像与颜色保护校正后的色度U图像及色度V图像进行权重融合和过校正保护后得到紫边校正后的色度U图像和色度V图像结果。

优选地，在所述步骤200中，所述原始的色度U图像和所述原始的色度V图像取M*N大小的滑动处理窗时，所述原始的明亮度Y图像取(2*M-1)*(2*N-1)大小的滑动处理窗，其中M, N为奇数。

优选地，在所述步骤300中，依照标准色度图的XYZ坐标标示紫边像素所处色坐标范围，利用RGB和YUV的转换原理，判断所述紫边点。

优选地，在所述步骤500中，根据所述紫边点统计情况对所述紫边点分级并进行所述紫边点预修正时，依照所述滑动处理窗的中心点是所述紫边点的情况进行分级，统计所述滑动处理窗内的所述紫边点数量，划分各预校正等级及其对应的预校正修正系数，依照所述预校正修正系数对该中心点的像素进行预校正，得到所述紫边点的预校正值。

优选地，其中所述预校正修正系数的取值范围是0至1间。

优选地，在所述步骤600中，依照所述滑动处理窗内高亮点个数统计结果进行分级，划分各高亮等级及其对应的高亮等级修正系数，对窗内非高亮点进行中值滤波得到其中值，依照所述预校正值和所述中值，使用所述高亮等级修正系数进行加权对紫边点的像素进行颜色保护校正，得到颜色保护校正值。

优选地，其中所述高亮等级修正系数的取值范围是0至1间。

优选地，在所述步骤700中，将原始的色度U图像及原始的色度V图像与颜色保护校正后的色度U图像及色度V图像，以预设比例系数进行加权平均得到色度U图像及色度V图像的输出结果，其中图像中明亮度Y差异越大，预设比例系数选择越大。

优选地，步骤600更包括，若当前像素被判断为紫边并进行了紫边预校正和颜色保护校正后，将滑动窗内中心像素进行回写和回标记，使得该像素作为正常颜色对后续的像素点进行校正。

优选地，在步骤700中进行过校正保护时，如果校正前的值与校正后的值跨越128，则将所述输出校正结果的值设定为128。

优选地，包括步骤800，将所述紫边校正后的色度U图像和色度V图像结果与所述明亮度Y图像结合，输出紫边校正后的视频图像。

附图说明

图1是本实施例中视频图像紫边校正的处理流程图S100~S400。

图2是本实施例中视频图像紫边校正的处理流程图S500~S800。

图3是根据本发明其中一个实施例视频图像转换的示意图。

图4是根据本发明实施例Y, U, V通道滑动视窗的示意图。

图5是根据本发明实施例紫边校正回写和回标记功能的示意图。

图6为根据本发明实施例确认紫边点的流程图。

具体实施方式

以下配合图式及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。

图1至2是本实施例中视频图像紫边校正的处理流程图。现对流程图按照处理步骤简单做如下介绍：

步骤S100：读入视频图像，将视频图像依通道拆分得到原始的明亮度Y图像、色度U图像及色度V图像。

本发明的视频图像紫边校正方法支持YUV444、YUV422、YUV420、NV12等各种格式的8位YUV视频图像处理。本实施例以YUV420格式为例进行说明，其中每4个明亮度Y值(Y)对应1个色度值(U)及1个色度值(V)。参照图3，图3中为本发明的其中一个实施例，表示对色度U图像和色度V图像均需要校正的情况。步骤S100中系统读入YUV格式的视频图像源100，将每帧图像进行通道分离，分为明亮度Y图像、色度U图像及色度V图像三个通道图像y_input,u_input, v_input，并分别对三个通道的图像进行镜像翻边。

步骤S200：将明亮度Y图像、色度U图像及色度V图像取滑动处理窗。

本发明需要M*N（M和N皆为奇数）大小的U和V通道滑动处理窗，以及（2*M-1）*（2*N-1）大小的Y通道滑动处理窗作为输入进行计算。如图4所示，将滑动窗依水平方向依序滑动进行遍历扫描。以下实施例采用5*9的U、V通道滑动处理窗，9*17的Y通道滑动窗进行说明。滑动处理窗可根据视频图像中紫边区域的尺寸大小进行设定，这样不仅能确保各种场景紫边区域的判断，也可以保证不同分辨率视频源的紫边校正。这也是本方法可以普遍适用于各种紫边场景的基础。

步骤300：结合明亮度Y图像、色度U图像及色度V图像判断滑动处理窗内的紫边点和高亮点。

根据紫边产生的原理，可知视频图像呈现的紫边不是单一的紫色，实际测试中确认紫边像素其实包含紫偏蓝、蓝偏紫、紫色、红偏紫、紫红色等颜色。因此在紫边判断过程中，为了尽可能完全的覆盖紫边像素区域，需要将紫边像素可能呈现的颜色充分考虑在内。根据CIE 1931-XYZ色彩空间色度图（标准观察者2度视场角下），紫边颜色范围在色度图上的位置位于蓝紫红三个色块交界处，如此将可得到紫边对应的三色刺激值。根据XYZ坐标和RGB转换关系，以及RGB和YUV的转换规则，可以对应的确定紫边区域的Y、U、V三分量的取值范围。

如图6所示，于一实施例中，步骤300可更包含以下步骤：

步骤301, 判断滑动窗中心像素点是否属于紫边点像素；

步骤302, 判断该中心像素滑动窗内周边点是否符合高亮区域的像素；

步骤303，确定该中心像素为紫边像素。

举例而言，于CIE 1931-XYZ色彩空间中标出紫边颜色区域，依照其XYZ坐标转换RGB关系，并依RGB转换YUV规则，将Y、U、V三个通道图像的滑动窗中心像素设为待处理像素y_input、u_input和v_input，首先通过三个通道的预设条件判断该像素点是否为属于紫边颜色的像素点，如上所述，依据紫边颜色范围标记确定紫边区域的U和V的取值范围，若该中心像素属于紫边点像素，那么以该中心像素为中心在该滑动窗内搜索周围符合高亮区域的像素点，若该滑动窗内存在高亮区域像素点(高亮点)，则判断该中心点为紫边点，确定该中心像素为紫边像素，需要统计该滑动窗内高亮点的数量和紫边像素点的数量。需要说明的是高亮点是通过预设条件根据该点Y、U、V值判断确认。

步骤400：对紫边点和高亮点进行个数统计。

通过预设的参数作为判断条件，结合Y、U、V三通道滑动处理窗数据确定滑动窗内的紫边点和高亮区域点后，并对窗内紫边点和高亮点的个数进行统计。

步骤500：根据紫边点统计情况对紫边点分级并进行紫边点预修正。

根据滑动窗内紫边点的个数统计结果，对滑动窗中心点是紫边像素点的情况进行分等级处理，进行U、V预校正，得到该点预校正后的u_corr1和v_corr1。

具体来说，此时在5*9的U和V通道处理窗以及9*17的Y通道处理窗中，统计得到的紫边点个数，根据滑动窗内紫边点的个数统计结果，对中心点是紫边点的滑动窗情况进行等级划分成Plev1-Plev5。一般认为滑动窗内的紫边点数量越多，代表整个区域的紫边区域越明显，因此本实施例中等级划分是根据滑动窗内的紫边点数量进行，采用预设四个判断阈值参数P_thr1-P_thr4,其中P_thr1<P_thr2≤P_thr3<P_thr4，P_thr1-P_thr4划分出五个预校正等级Plev1-Plev5，依照该滑动窗的预校正等级Plev1-Plev5对应预校正修正系数p_ratio1-p_ratio5,取值范围是（0-1），通过预校正修正系数得到该窗内中心像素的预校正结果u_corr1和v_corr1，计算公式如下：

其中u_input和v_input分别为U、V通道滑动处理窗中心像素，p_ratio依照该滑动窗内的紫边点数等级属于何者判断阈值来决定其等级Plev1-Plev5，以及各等级所对应的预校正修正系数p_ratio1-p_ratio5。举例而言，当滑动窗内的紫边点个数介于判断阈值参数P_thr1, P_thr2之间时，该滑动窗判定为Plev2等级，Plev2等级的预校正修正系数为p_ratio2。因此，该像素的预校正结果则为

步骤600：根据高亮点个数统计情况对紫边点分级进行颜色保护校正，得到颜色保护校正后的色度U图像及色度V图像。

进一步，根据滑动窗内高亮点的个数统计结果，对该紫边点校正后的u_corr1、v_corr1再进行颜色保护校正，分情况进行修正点颜色保护处理，处理的原则是，越靠近高亮区域的像素，受紫边影响越严重，越倾向于采用降饱和的方式处理紫边。相反远离高亮区域的像素，周围本身有正常颜色，越倾向于采用周围像素颜色保护的方式处理紫边。这样可以保证去紫边的同时减少对正常紫色的误校正，得到颜色保护后的u_protect和v_protect。

一般认为滑动窗内高亮点数越多，紫边点越接近高亮区域，反之则越远离高亮区域，因此本实施例根据滑动区域内高亮区域点个数统计结果对于高亮等级划分采用预设三个判断阈值参数H_thr1-H_thr3对滑动窗进行高亮等级划分，划分4个等级Hlev1、Hlev2…Hlev4,其中H_thr1<H_thr2<H_thr3。

此外，对该U和V通道滑动窗内非高亮像素点进行中值滤波，得到U通道滑动窗和V通道滑动窗的中值med_u和med_v。将该预校正结果u_corr1和v_corr1依照U和V通道滑动窗各自的中值med_u和med_v与高亮等级修正系数h_ratio进行加权，得到紫边的颜色保护校正值：

其中，h_ratio是依照该滑动窗的高亮度等级对应的亮度调整参数，取值对应Hlev1…Hlev4的高亮等级修正系数h_ratio1-h_ratio4，取值范围是（0-1）。

如此，依序判断紫边像素点，对紫边像素点进行预校正和颜色保护校正，得到该像素点的预校正值和颜色保护校正值。

值得注意的是，于本发明一实施例中，若当前像素被判断为紫边点并进行了紫边预校正和颜色保护校正后，可以重新作为正常点对后续的像素点进行校正。在步骤S600提出对该U和V滑动窗内非高亮像素点进行中值滤波，于本发明一实施例中，使用滑动窗内中心像素的回写和回标记功能，如图5所示，以5*9窗作为说明实例，滑动窗内存在紫边，利用步骤S100~S600中心点C上方和左侧的像素点已经做了紫边校正。这样在进行中值滤波时，灰色块区域用校正后的回写值作为中值滤波的输入参与C点的校正。这样处理的好处是，在校正新的滑动窗内的紫边时，因为左上方和上方的紫边像素已经在前序滑动窗内校正好，可以防止校正紫边出现过度不自然的情况同时有效的保护正常的紫色。

步骤700，将原始的色度图像、原始的色度U图像和原始的色度V图像与颜色保护校正后的色度U图像及色度V图像进行权重融合和过校正保护得到色度U图像及色度V图像的紫边校正结果。本步骤中通过预设的校正比例系数color_ratio，控制颜色保护后的u_protect和v_protect和原始输入的u_input和v_input融合比例，输出融合后的u_out和v_out。一般场景亮度差别越大，紫边颜色偏差越严重，校正比例系数color_ratio预设越大；反之，场景亮度差别越小，校正比例系数color_ratio预设越小。并且对u_out和v_out判断颜色是否存在过校正，如果存在则需要过校正保护。

将U, V通道的颜色保护校正值u_protect和v_protect与输入的u_input和v_input进行权重融合，预设一个校正比例系数color_ratio (0-1)进行加权平均，一般亮度差异越大的场景，紫边的颜色越重，校正比例系数color_ratio值选择的越大，即颜色保护校正值的权重越大；反之亮度差异越小的的场景，紫边的颜色偏差小，校正比例系数color_ratio值越小，原始像素值的权重越大。

值得注意的是，有时在紫边的U或V通道校正后，会出现跨越128的情况，即从一种颜色变成另一种颜色，如从偏红色变成了偏蓝色。为了避免这种过校正，即通过过校正保护，将出现跨越现象的值，最多校正成灰色128。

最终的校正输出值，为了避免过校正，规定不能跨越饱和度为0的情况（U=128，V=128），如果校正前的值与校正后的值跨越128，即原始图像的像素点u或v值与输出结果的像素点u或v值若其中一大于128且另一小于128，则将所述输出结果的像素值设定为128。

步骤800，将色度U图像及色度V图像的紫边校正结果与原始明亮度Y图像结合，输出紫边校正后的视频图像。

如此，得到校正输出的u_out和v_out,作为紫边校正的结果，与Y通道对应的输入y_input，共同组成紫边校正后的YUV视频图像200。

综上所述，本发明提供的视频图像紫边校正方法根据XYZ、RGB及 YUV的转换规则，通过紫边Y、U、V取值限定确保覆盖各种类型紫边像素，利用处理窗内的高亮区域的判定进一步确认紫边区域，为保证兼顾各种紫边处理采用对紫边进行分等级预校正，并依据高亮区域分等级对预校正后的紫边区域校正结果进一步进行颜色保护。在颜色保护方面，通过使用对前序滑动处理窗中心点像素紫边校正点的回写和回标记，作为后续滑动处理窗中心点像素校正时的输入组成部分。既能保证颜色保护的有效性又可以防止紫边校正后出现颜色过度不自然的情况。如此，通过本发明方法在不附加硬件镜头组件的前提下能够对各类紫边进行有效校正，同时保证紫边校正后颜色的自然过渡。

以上所述仅是本发明的优选实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以优选实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本实用发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (11)

1.一种视频图像紫边校正方法，其特征在于，包括如下步骤：

步骤100，读入YUV格式视频图像，将所述视频图像依通道拆分得到原始的明亮度Y图像、原始的色度U图像及原始的色度V图像；

步骤200，将所述原始的明亮度Y图像、所述原始的色度U图像及所述原始的色度V图像取滑动处理窗；

步骤300，结合所述原始的明亮度Y图像、所述原始的色度U图像及所述原始的色度V图像判断所述滑动处理窗内的紫边点，并通过预设Y、U和V三通道高亮点的判断条件确认所述滑动处理窗内是否存在高亮点；

步骤400，对所述滑动处理窗内的所述紫边点和所述高亮点进行个数统计；

步骤500，根据所述紫边点统计情况对所述滑动处理窗口中心的所述紫边点分级并进行所述滑动处理窗内中心的所述紫边点预修正，得到所述滑动处理窗内中心的所述紫边点的预校正值；

步骤600，根据所述滑动处理窗内所述高亮点个数统计情况对所述滑动处理窗内中心的所述紫边点分级进行颜色保护校正，得到颜色保护校正后的色度U图像及色度V图像；

步骤700，将原始的色度U图像及原始的色度V图像与颜色保护校正后的色度U图像及色度V图像进行权重融合和过校正保护后得到紫边校正后的色度U图像和色度V图像结果。

2.如权利要求1所述的视频图像紫边校正方法，其特征在于，在所述步骤200中，所述原始的色度U图像和所述原始的色度V图像取M*N大小的滑动处理窗时，所述原始的明亮度Y图像取(2*M-1)*(2*N-1)大小的滑动处理窗，其中M, N为奇数。

3.如权利要求1所述的视频图像紫边校正方法，其特征在于，在所述步骤300中，依照标准色度图的XYZ坐标标示紫边像素所处色坐标范围，利用RGB和YUV的转换规则，判断所述紫边点。

4.如权利要求1所述的视频图像紫边校正方法，其特征在于，在所述步骤500中，根据所述紫边点统计情况对所述滑动处理窗口中心的所述紫边点分级并进行所述滑动处理窗内中心的所述紫边点预修正，依照所述滑动处理窗的中心点是所述紫边点的情况进行分级，统计所述滑动处理窗内的所述紫边点数量，划分各预校正等级及其对应的预校正修正系数，依照所述预校正修正系数对该中心点的像素进行预校正，得到所述滑动处理窗内中心的所述紫边点的预校正值。

5.如权利要求4所述的视频图像紫边校正方法，其特征在于，其中所述预校正修正系数的取值范围是0至1间。

6.如权利要求1所述的视频图像紫边校正方法，其特征在于，在所述步骤600中，依照预设Y、U和V三通道高亮点的判断条件对所述滑动处理窗内高亮点个数统计结果进行分级，划分各高亮等级及其对应的高亮等级修正系数，对窗内非高亮点进行中值滤波得到其中值，依照所述预校正值和所述中值，使用所述高亮等级修正系数进行加权对所述滑动处理窗内中心的紫边点的像素进行颜色保护校正，得到颜色保护校正值。

7.如权利要求6所述的视频图像紫边校正方法，其特征在于，其中所述高亮等级修正系数的取值范围是0至1间。

8.如权利要求1所述的视频图像紫边校正方法，其特征在于，在所述步骤700中，将原始的色度U图像及原始的色度V图像与颜色保护校正后的色度U图像及色度V图像，以预设比例系数进行加权平均得到色度U图像及色度V图像的输出结果。

9.如权利要求1所述的视频图像紫边校正方法，其特征在于，步骤600更包括，若当前像素被判断为紫边并进行了紫边预校正和颜色保护校正后，将滑动窗内中心像素进行回写和回标记，使得该像素作为正常颜色对后续的像素点进行校正。

10.如权利要求8所述的视频图像紫边校正方法，其特征在于，在步骤700中进行过校正保护时，如果校正前的值与校正后的值跨越128，则将所述输出结果的值设定为128。

11.如权利要求1所述的视频图像紫边校正方法，其特征在于，包括步骤800，将所述紫边校正后的色度U图像和色度V图像结果与所述明亮度Y图像结合，输出紫边校正后的视频图像。

Images