CN113038093B - 视频图像闪烁抑制处理的系统、方法、装置及其存储介质 - Google Patents

Abstract

本发明涉及一种基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统，其中，所述的系统包括参数设定模块，用于设定系统所需的参数；第一像素空间转换模块，用于进行像素RGB空间到YUV空间转换；运动状态属性判断模块，用于判断物体运动属性；物体特征计算调整模块，用于计算像素均衡参与帧数量并调节像素亮度；第二像素空间转换模块，用于进行像素YUV空间到RGB空间转换。本发明还涉及一种相应的方法、装置、处理器及存储介质。采用了本发明的相应的系统、方法、装置、处理器及存储介质，建立在传统视频图像闪烁处理帧间亮度均衡算法的基础上，有效克服了传统视频闪烁抑制算法处理视频中运动物体时引起的运动物体边缘模糊问题。

Description

视频图像闪烁抑制处理的系统、方法、装置及其存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及行车设备安全监控和图像处理交叉技术领域，具体是指一种基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统、方法、装置、处理器及其计算机可读存储介质。

背景技术

视频闪烁现象就是指视频显示的影像全部区域或部分区域亮度随时间呈快速、重复的变化，使得视频图像光源跳动和不稳定。行车场景中智能流媒体后视镜显示画面在行车场景中闪烁可能会导致驾驶员的判断错误从而产生安全隐患。此外，智能流媒体后视镜显示画面闪烁可能造成驾驶员间接知觉伤害，比如导致驾驶员眼部肌肉的持续紧张(虽然人脑没有主动意识到)，从而引发驾驶员头疼、眼疲劳和身心疲倦等现象，导致行车隐患。

在智能流媒体后视镜摄像机采集视频图像时，通常假定场景中存在某种照明光源。视频闪烁现象的成因主要可以分为两种典型场景并表现出不同的视频闪烁效果：第一种是行车场景背景光源周期和智能流媒体后视镜视频采集设备的采集帧率不匹配引起的视频图像整体闪烁；第二种是在行车场景下，智能流媒体后视镜视频采集设备视野范围内部分发光物体的闪烁周期与视频采集设备的采集帧率不匹配引起的视频局部图像闪烁，例如在拍摄信号灯屏幕时，由于信号灯周期与摄像头图像采集周期不成倍数关系，而导致视频中的信号灯区域呈现闪烁现象。

现有的减弱闪烁方法大多是通过硬件电路来实现的。一种硬件方法是设置摄像机的曝光时间，将曝光时间设为日光灯峰值周期的整数倍。当摄像机采集时，不管起始点的电压值大小，采集到的光强度都相等，从而克服闪烁的形成。另一种硬件方法是提高摄像头扫描频率，例如将摄像头频率提高到75Hz或100Hz，则背景光源周期和采集帧率不匹配影响可以得到极大降低，从而减弱视频闪烁效果。但是这些通过硬件电路设计抑制闪烁的方法都存在系统复杂、成本高昂的瓶颈；此外，基于硬件的闪烁处理方法普遍对视频图像的亮度进行整体调节，对智能流媒体后视镜图像的局部闪烁现象抑制作用并不明显。近年来国内外研究者也提出了一些其他方法，利用视频处理软件算法进行闪烁抑制：Nicolai Behmann等在论文(Selective LED flicker detection and mitigation algorithm for non-HDRvideo sequences，ICCE)中提出通过均衡相邻帧间的像素亮度均值的方法降低视频图像中的整体闪烁；黄维等在论文(一种视频序列中背景亮度闪烁消除新算法，电视技术)中提出将视频图像进行空间分块处理，并通过在每一个区域块中进行连续帧间亮度均衡化操作实现视频图像中的局部闪烁抑制。这些算法都具有成本和复杂度较低的特点，但是应用这些算法在智能流媒体后视镜算法场景中，因为它们没有很好解决视频中运动物体对图像造成的影响，往往会造成运动物体边缘像素由于帧间均衡而出现模糊现象。当视频中物体运动速度较快时，这些模糊现象将变得更为明显。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种硬件成本低、实现简单、可同时抑制视频图像整体闪烁与局部闪烁的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统、方法、装置、处理器及其计算机可读存储介质。

为了实现上述目的，本发明的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统、方法、装置、处理器及其计算机可读存储介质如下：

该基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统，其主要特点是，所述的系统包括：

参数设定模块，用于根据智能流媒体后视镜的实际工作场景设定系统所需的各项参数；

第一像素空间转换模块，与所述的参数设定模块相连接，用于将所述的系统的视频图像像素由像素RGB空间转换为像素YUV空间；

运动状态属性判断模块，与所述的第一像素空间转换模块相连接，用于根据物体的视频图像帧对比情况，判断所述的物体的真实状态属性；

物体特征计算调整模块，与所述的运动状态属性判断模块相连接，用于根据所述的运动状态属性判断模块判断出的所述的物体的真实状态属性结果，对所述的物体的相关特征进行相应的计算和调整；以及

第二像素空间转换模块，与所述的物体特征计算调整模块相连接，用于根据所述的物体特征计算调整模块的计算和调整结果，将调整转换后的所述的物体的视频图像帧像素由像素YUV空间转换为像素RGB空间。

较佳地，所述的运动状态属性判断模块，包括：

非运动物体判断单元，用于判断所述的物体是否为非运动物体，并根据判断结果进行相应的物体特征调整；以及

运动物体判断单元，用于判断所述的物体是否为运动物体，并根据判断结果进行相应的物体特征计算和调整。

较佳地，所述的物体特征计算调整模块，包括：

像素亮度调整单元，用于根据所述的运动状态属性判断模块的判断结果，对所述的物体的像素亮度进行相应的调整；以及

均衡参与帧计算单元，用于在所述的系统的当前处理图像帧的前T帧历史帧中计算出运动物体距离所述的当前处理图像帧的跨度最大的图像帧，并将其记录为均衡参与帧数量t。

该实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其主要特点是，所述的方法包括以下步骤：

(1)根据具体行车视频处理场景，设定系统所需的各项参数；

(2)将当前视频图像的处理图像帧的像素由像素RGB空间转换为像素YUV空间；

(3)根据当前所述的视频图像的处理图像帧的像素色度与饱和度在视频相邻图像帧间的数值变化，判断当前视频图像的运动状态属性；

(4)根据物体的运动状态属性判断结果，判断是否需要计算该视频图像的像素均衡参与帧；

(5)根据物体的运动状态属性判断结果，判断是否需要调整该视频图像的像素亮度；

(6)将处理完成后的所述的视频图像的处理图像帧的像素由像素YUV空间转换为像素RGB空间。

较佳地，所述的步骤(1)具体为：

根据具体行车视频处理场景设定所述系统的历史均衡参考帧时间长度T、物体属性判断像素色度以及物体饱和度差异阈值Φ，且所述的系统通过算法记录所述的物体的当前的视频图像的前T帧历史图像。

较佳地，所述的步骤(2)具体为：

利用像素RGB表示与像素YUV之间相互转换公式，将所述的当前的视频图像的处理图像帧的像素中所有像素的红、绿、蓝三基色灰度值，转换成像素亮度数值、色度数值以及饱和度数值，具体转换公式如下：

Y＝2.299×R+0.587×G+0.114×B；

U＝－0.169×2－0.331×G+0.5×B+128；

V＝0.5×R－0.419×G－0.081×B+128；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

较佳地，所述的步骤(3)具体为：

(3.1)设定t＝T；

(3.2)比较当前视频图像的处理图像帧中的特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(3.3)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(3.5)，否则，则进入步骤(3.4)；

(3.4)设定t＝t－1，如果t≥1，则返回所述的步骤(3.2)执行后续操作，否则，则进入步骤(3.6)；

(3.5)判断该当前视频图像的处理图像帧中的特定像素属于非运动物体像素；

(3.6)判断该当前视频图像的处理图像帧中的特定像素属于运动物体像素；

其中，t为历史参考帧的序号，T为历史参考帧的总长度。

较佳地，所述的步骤(4)具体为：

在当前视频图像的处理图像帧前T帧历史图像帧中寻找距当前处理图像帧跨度最大的图像帧，在跨度最大的历史图像帧中，与当前图像帧的特定像素处于相同位置的像素被判定为属于相同物体。

较佳地，所述的步骤(4)具体包括以下步骤：

(4.1)如果当前所述的处理图像帧的特定像素属于非运动物体像素，则直接进入步骤(4.7)，否则，进入步骤(4.2)；

(4.2)设定t＝T；

(4.3)比较当前所述的视频图像的处理图像帧中特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(4.4)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(4.6)，否则，进入步骤(4.5)；

(4.5)设定t＝t－1，并返回步骤(4.3)执行后续操作；

(4.6)设定当前所述的视频图像的处理图像帧的特定像素的均衡参与帧数量等于t；

(4.7)该当前所述的视频图像的处理图像帧的特定像素不参与亮度均衡。

较佳地，所述的步骤(5)具体为：

如果所述的当前处理图像帧的特定像素属于非运动物体像素，则该像素亮度保持不变；否则，在完成所述的均衡参与帧数量t计算之后，利用当前处理图像帧之前的t帧图像帧相同位置的像素亮度值，对当前处理图像帧的特定像素亮度值进行均衡化处理，具体计算公式如下：

其中，(i，j)为图像二维坐标，t^c为当前处理帧号，t为历史参考帧的序号，T为历史参考帧的总长度，Y为亮度值。

较佳地，所述的步骤(6)具体为：

利用像素YUV表示与像素RGB表示相互转换公式，将当前处理图像帧的特定像素中各像素亮度数值、色度数值以及饱和度数值，计算像素红、绿、蓝三基色灰度值，具体转换公式如下：

R＝1.155×Y+1.605×V-224；

G＝1.168×Y－0.331×U－823×V+135.7；

B＝1.168×Y+2.028×U－277.8；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

更佳地，所述的视频图像经转换处理后，将当前处理图像帧存储为三维矩阵，所述的三维矩阵的维度分别对应于所述的视频图像的处理帧的长、宽、及RGB空间。

该用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的装置，其主要特点是，所述的装置包括：

处理器，被配置成执行计算机可执行指令；

存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

该用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

采用了本发明的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统、方法、装置、处理器及其计算机可读存储介质，针对智能流媒体后视镜视频图像闪烁处理中存在的性能、成本和适应性方面的瓶颈问题，在传统视频图像闪烁处理帧间亮度均衡算法的基础上，通过将视频图像转换至YUV空间，利用像素色度与饱和度变化判别像素运动属性，并针对未处于运动物体区域像素进行亮度均衡，达到视频图像闪烁抑制的目的。该技术方案具有硬件成本低、实现简单、可同时抑制视频图像整体闪烁与局部闪烁的特性。

相比于现有技术，具有如下具体优点：

1、本发明相比于现有的基于硬件的闪烁处理方法具有显著的成本优势，并且具有布署、维护和更新方便的优点。

2、本发明对智能流媒体后视镜视频图像进行像素级亮度均衡处理，虽然增加了一定的运行复杂度，但可以同时抑制视频图像的全局性闪烁与局部性闪烁，适用于行车环境下的复杂闪烁场景。

3、本发明相比于近年来提出的其他基于均衡相邻帧间像素亮度均值或均衡相邻帧间分区内像素亮度均值的闪烁抑制算法，引入基于像素色度与饱和度的运动属性判别方法，有效避免视频内由于物体运动导致的帧间像素亮度误均衡，解决了传统闪烁抑制算法处理视频图像中运动物体边缘模糊化的问题。

附图说明

图1为本发明的针对的典型包含运动物体闪烁视频应用场景的示意图。

图2为本发明的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的处理流程示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

在详细说明根据本发明的实施例前，应该注意到的是，在下文中，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。

该基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统，其中，所述的系统包括：

参数设定模块，用于根据智能流媒体后视镜的实际工作场景设定系统所需的各项参数；

第一像素空间转换模块，与所述的参数设定模块相连接，用于将所述的系统的视频图像像素由像素RGB空间转换为像素YUV空间；

运动状态属性判断模块，与所述的第一像素空间转换模块相连接，用于根据物体的视频图像帧对比情况，判断所述的物体的真实状态属性；

物体特征计算调整模块，与所述的运动状态属性判断模块相连接，用于根据所述的运动状态属性判断模块判断出的所述的物体的真实状态属性结果，对所述的物体的相关特征进行相应的计算和调整；以及

第二像素空间转换模块，与所述的物体特征计算调整模块相连接，用于根据所述的物体特征计算调整模块的计算和调整结果，将调整转换后的所述的物体的视频图像帧像素由像素YUV空间转换为像素RGB空间。

作为本发明的优选实施方式，所述的运动状态属性判断模块，包括：

非运动物体判断单元，用于判断所述的物体是否为非运动物体，并根据判断结果进行相应的物体特征调整；以及

运动物体判断单元，用于判断所述的物体是否为运动物体，并根据判断结果进行相应的物体特征计算和调整。

作为本发明的优选实施方式，所述的物体特征计算调整模块，包括：

像素亮度调整单元，用于根据所述的运动状态属性判断模块的判断结果，对所述的物体的像素亮度进行相应的调整；以及

均衡参与帧计算单元，用于在所述的系统的当前处理图像帧的前T帧历史帧中计算出运动物体距离所述的当前处理图像帧的跨度最大的图像帧，并将其记录为均衡参与帧数量t。

请参阅图2所示，该实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其中，所述的方法包括以下步骤：

(1)根据具体行车视频处理场景，设定系统所需的各项参数；

(2)将当前视频图像的处理图像帧的像素由像素RGB空间转换为像素YUV空间；

(3)根据当前所述的视频图像的处理图像帧的像素色度与饱和度在视频相邻图像帧间的数值变化，判断当前视频图像的运动状态属性；

(4)根据物体的运动状态属性判断结果，判断是否需要计算该视频图像的像素均衡参与帧；

(5)根据物体的运动状态属性判断结果，判断是否需要调整该视频图像的像素亮度；

(6)将处理完成后的所述的视频图像的处理图像帧的像素由像素YUV空间转换为像素RGB空间。

作为本发明的优选实施方式，所述的步骤(1)具体为：

根据具体行车视频处理场景设定所述系统的历史均衡参考帧时间长度T、物体属性判断像素色度以及物体饱和度差异阈值Φ，且所述的系统通过算法记录所述的物体的当前的视频图像的前T帧历史图像。

作为本发明的优选实施方式，所述的步骤(2)具体为：

利用像素RGB表示与像素YUV之间相互转换公式，将所述的当前的视频图像的处理图像帧的像素中所有像素的红、绿、蓝三基色灰度值，转换成像素亮度数值、色度数值以及饱和度数值，具体转换公式如下：

Y＝2.299×R+0.587×G+0.114×B；

U＝－0.169×2－0.331×G+0.5×B+128；

V＝0.5×R－0.419×G－0.081×B+128；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

作为本发明的优选实施方式，所述的步骤(3)具体为：

(3.1)设定t＝T；

(3.2)比较当前视频图像的处理图像帧中的特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(3.3)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(3.5)，否则，则进入步骤(3.4)；

(3.4)设定t＝t－1，如果t≥1，则返回所述的步骤(3.2)执行后续操作，否则，则进入步骤(3.6)；

(3.5)判断该当前视频图像的处理图像帧中的特定像素属于非运动物体像素；

(3.6)判断该当前视频图像的处理图像帧中的特定像素属于运动物体像素；

其中，t为历史参考帧的序号，T为历史参考帧的总长度。

作为本发明的优选实施方式，所述的步骤(4)具体为：

在当前视频图像的处理图像帧前T帧历史图像帧中寻找距当前处理图像帧跨度最大的图像帧，在跨度最大的历史图像帧中，与当前图像帧的特定像素处于相同位置的像素被判定为属于相同物体。

作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：

(4.1)如果当前所述的处理图像帧的特定像素属于非运动物体像素，则直接进入步骤(4.7)，否则，进入步骤(4.2)；

(4.2)设定t＝T；

(4.3)比较当前所述的视频图像的处理图像帧中特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(4.4)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(4.6)，否则，进入步骤(4.5)；

(4.5)设定t＝t－1，并返回步骤(4.3)执行后续操作；

(4.6)设定当前所述的视频图像的处理图像帧的特定像素的均衡参与帧数量等于t；

(4.7)该当前所述的视频图像的处理图像帧的特定像素不参与亮度均衡。

作为本发明的优选实施方式，所述的步骤(5)具体为：

如果所述的当前处理图像帧的特定像素属于非运动物体像素，则该像素亮度保持不变；否则，在完成所述的均衡参与帧数量t计算之后，利用当前处理图像帧之前的t帧图像帧相同位置的像素亮度值，对当前处理图像帧的特定像素亮度值进行均衡化处理，具体计算公式如下：

其中，(i，j)为图像二维坐标，t^c为当前处理帧号，t为历史参考帧的序号，T为历史参考帧的总长度，Y为亮度值。

作为本发明的优选实施方式，所述的步骤(6)具体为：

利用像素YUV表示与像素RGB表示相互转换公式，将当前处理图像帧的特定像素中各像素亮度数值、色度数值以及饱和度数值，计算像素红、绿、蓝三基色灰度值，具体转换公式如下：

R＝1.155×Y+1.605×V-224；

G＝1.168×Y－0.331×U－823×V+135.7；

B＝1.168×Y+2.028×U－277.8；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

作为本发明的优选实施方式，所述的视频图像经转换处理后，将当前处理图像帧存储为三维矩阵，所述的三维矩阵的维度分别对应于所述的视频图像的处理帧的长、宽、及RGB空间。

该用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的装置，其中，所述的装置包括：

处理器，被配置成执行计算机可执行指令；

存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

该用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

在本发明的一具体实施方式中，本发明提出的基于运动物体检测的智能流媒体后视镜视频图像闪烁抑制方法借助时间上连续的多个图像帧进行当前帧中各像素的亮度调整实现闪烁抑制目的。同时，该方法利用像素色度与饱和度的帧间变化检测物体运动，避免像素亮度误均衡。具体实现方法由以下六个步骤组成：

(1)参数设定；

(2)像素RGB空间到YUV空间转换；

(3)像素运动物体属性判断；

(4)像素均衡参与帧数量计算；

(5)像素亮度变换；

(6)像素YUV空间到RGB空间转换。

所述参数设定，是根据智能流媒体后视镜实际工作场景，设定历史均衡参考帧时间长度T，与运动物体属性判断像素色度、饱和度差异阈值Φ。参数设定完毕后，算法将记录视频图像当前帧前T帧历史图像。

所述像素RGB空间到YUV空间转换，是利用像素RGB表示与像素YUV表示相互转换公式，将当前处理图像帧中各像素红、绿、蓝三基色灰度值，计算像素亮度、色度与饱和度。并将当前处理图像帧存储为三维矩阵，该矩阵维度分别对应于图像帧长、宽、及YUV空间。

所述像素运动物体属性判断，是将当前处理图像帧中每一个像素色度与饱和度数值与历史T帧视频图像帧中相同像素色度与饱和度数值进行比对。当历史T帧视频图像帧中每一帧相同像素色度与饱和度与当前帧像素色度与饱和度差异至少存在一项大于阈值Φ时，则判断该像素属于运动物体；否则，判断该像素未受运动物体影响。该步骤属于本方法的关键步骤之一。

所述像素均衡参与帧数量计算，是在当前处理图像帧前T帧历史帧中寻找距当前图像帧跨度最大的图像帧。在该跨度最大的历史图像帧中，与当前图像帧特定像素处于相同位置的像素被判定为属于相同物体。即该像素在两帧中色度差异与饱和度差异同时小于阈值Φ。则该最大跨度记为均衡参与帧数量t。

所述像素亮度变换，是在完成均衡参与帧数量t计算之后，利用当前处理图像处理帧之前的t帧图像帧相同位置像素亮度值，对当前处理帧图像特定像素亮度值进行均衡化处理。该步骤属于本方法的关键步骤之一。

所述像素YUV空间到RGB空间转换，是利用像素YUV表示与像素RGB表示相互转换公式，将当前处理图像帧中各像素亮度、色度与饱和度数值，计算像素红、绿、蓝三基色灰度值。并将当前处理图像帧存储为三维矩阵，该矩阵维度分别对应于图像帧长、宽、及RGB空间。

在本发明的一具体实施方式中，该闪烁抑制方法的处理流程如图2所示，具体包括参数设定、像素RGB空间到YUV空间转换、像素运动物体属性判断、像素均衡参与帧数量计算、像素亮度变换、以及像素YUV空间到RGB空间转换共六个步骤。

(1)参数设定：根据具体行车视频处理场景，设定本发明闪烁抑制方法的实际使用参数历史均衡参考帧时间长度T，与运动物体属性判断像素色度、饱和度差异阈值Φ。在本实施例中，由于视频中局部闪烁区域像素亮度变化周期较快，闪烁周期中像素色度与饱和度数值变化较大，且运动物体与背景物体色度与饱和度数值差异较大，选取参数T应具有较小数值以降低方法计算开销，参数Φ应具有较大数值以避免闪烁与运动像素间的相互误判。

(2)像素RGB空间到YUV空间转换：是利用像素RGB表示与像素YUV表示相互转换公式，将当前处理图像帧中所有像素红、绿、蓝三基色灰度值，转换成像素亮度、色度与饱和度数值。具体转换公式如下：

Y＝0.299·R+0.587·G+0.114·B

U＝-0.169·R-0.331·G+0.5·B+128

V＝0.5·R-0.419·G-0.081·B+128

同一物体像素在视频连续图像帧中被认为色度与饱和度数值保持一致，而亮度数值反映了像素的闪烁现象。经转换后，将当前处理图像帧存储为三维矩阵，该矩阵维度分别对应于图像帧长、宽、及YUV空间。

(3)像素运动物体属性判断：像素运动属性判断主要基于像素色度与饱和度在视频相邻图像帧间的数值变化。具体包含以下子步骤：

1)设定t＝T；

2)比较当前处理视频帧中特定像素色度与饱和度数值与当前处理帧之前第t帧历史图像帧相同像素色度与饱和度数值差异；

3)如果像素色度数值差异与饱和度数值差异同时小于Φ，跳转至子步骤5)，否则跳转至子步骤4)；

4)t＝t－1，如果t≥1，跳转至子步骤2)，否则跳转至子步骤6)；

5)判断该像素属于非运动物体像素；

6)判断该像素属于运动物体像素；

(4)像素均衡参与帧数量计算：在当前处理图像帧前T帧历史帧中寻找距当前图像帧跨度最大的图像帧。在该跨度最大的历史图像帧中，与当前图像帧特定像素处于相同位置的像素被判定为属于相同物体。具体包含以下子步骤：

1)如果该像素属于非运动物体像素，跳转至子步骤7)，否则跳转至子步骤2)；

2)设定t＝T；

3)比较当前处理视频帧中特定像素色度与饱和度数值与当前处理帧之前第t帧历史图像帧相同像素色度与饱和度数值差异；

4)如果像素色度数值差异与饱和度数值差异同时小于Φ，跳转至子步骤6)，否则跳转至子步骤5)；

5)t＝t－1，跳转至子步骤3)；

6)设定当前处理图像帧特定像素均衡参与帧数量等于t；

7)该像素不参与亮度均衡；

(5)像素亮度变换：如果当前处理视频帧特定像素属于非运动物体像素，则该像素亮度保持不变。否则，在完成均衡参与帧数量t计算之后，利用当前处理图像处理帧之前的t帧图像帧相同位置像素亮度值，对当前处理帧图像特定像素亮度值进行均衡化处理，具体计算公式如下：

(6)像素YUV空间到RGB空间转换：是利用像素YUV表示与像素RGB表示相互转换公式，将当前处理图像帧中各像素亮度、色度与饱和度数值，计算像素红、绿、蓝三基色灰度值。具体转换公式如下：

R＝1.155·Y+1.605·V-224

G＝1.168·Y-0.393·U-0.823·V+135.7

B＝1.168·Y+2.028·U-277.8

经转换后，将当前处理图像帧存储为三维矩阵，该矩阵维度分别对应于图像帧长、宽、及RGB空间。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”、“实施方式”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

请参阅图1所示，采用了本发明的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统、方法、装置、处理器及其计算机可读存储介质，针对智能流媒体后视镜视频图像闪烁处理中存在的性能、成本和适应性方面的瓶颈问题，在传统视频图像闪烁处理帧间亮度均衡算法的基础上，通过将视频图像转换至YUV空间，利用像素色度与饱和度变化判别像素运动属性，并针对未处于运动物体区域像素进行亮度均衡，达到视频图像闪烁抑制的目的。该技术方案具有硬件成本低、实现简单、可同时抑制视频图像整体闪烁与局部闪烁的特性。相比于现有技术，具有如下具体优点：

1、本发明相比于现有的基于硬件的闪烁处理方法具有显著的成本优势，并且具有布署、维护和更新方便的优点。

2、本发明对智能流媒体后视镜视频图像进行像素级亮度均衡处理，虽然增加了一定的运行复杂度，但可以同时抑制视频图像的全局性闪烁与局部性闪烁，适用于行车环境下的复杂闪烁场景。

3、本发明相比于近年来提出的其他基于均衡相邻帧间像素亮度均值或均衡相邻帧间分区内像素亮度均值的闪烁抑制算法，引入基于像素色度与饱和度的运动属性判别方法，有效避免视频内由于物体运动导致的帧间像素亮度误均衡，解决了传统闪烁抑制算法处理视频图像中运动物体边缘模糊化的问题。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其特征在于，所述的方法包括以下步骤：

(1)根据具体行车视频处理场景，设定系统所需的各项参数；

(2)将当前视频图像的处理图像帧的像素由像素RGB空间转换为像素YUV空间；

(3)根据当前所述的视频图像的处理图像帧的像素色度与饱和度在视频相邻图像帧间的数值变化，判断当前视频图像的运动状态属性；

(4)根据物体的运动状态属性判断结果，判断是否需要计算该视频图像的像素均衡参与帧；

(5)根据物体的运动状态属性判断结果，判断是否需要调整该视频图像的像素亮度；

(6)将处理完成后的所述的视频图像的处理图像帧的像素由像素YUV空间转换为像素RGB空间；

所述的步骤(1)具体为：

根据具体行车视频处理场景设定所述系统的历史均衡参考帧时间长度T、物体属性判断像素色度以及物体饱和度差异阈值Φ，且所述的系统通过算法记录所述的物体的当前的视频图像的前T帧历史图像；

所述的步骤(3)具体为：

(3.1)设定t＝T；

(3.2)比较当前视频图像的处理图像帧中的特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(3.3)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(3.5)，否则，则进入步骤(3.4)；

(3.4)设定t＝t－1，如果t≥1，则返回所述的步骤(3.2)执行后续操作，否则，则进入步骤(3.6)；

(3.5)判断该当前视频图像的处理图像帧中的特定像素属于非运动物体像素；

(3.6)判断该当前视频图像的处理图像帧中的特定像素属于运动物体像素；

其中，t为历史参考帧的序号，T为历史参考帧的总长度；

所述的步骤(4)具体为：

在当前视频图像的处理图像帧前T帧历史图像帧中寻找距当前处理图像帧跨度最大的图像帧，在跨度最大的历史图像帧中，与当前图像帧的特定像素处于相同位置的像素被判定为属于相同物体；

所述的步骤(4)具体包括以下步骤：

(4.1)如果当前所述的处理图像帧的特定像素属于非运动物体像素，则直接进入步骤(4.7)，否则，进入步骤(4.2)；

(4.2)设定t＝T；

(4.3)比较当前所述的视频图像的处理图像帧中特定像素色度数值和饱和度数值与当前处理视频帧之前第t帧历史图像帧相同像素色度数值差异与饱和度数值差异；

(4.4)如果所述的像素色度数值差异与饱和度数值差异同时小于Φ，则进入步骤(4.6)，否则，进入步骤(4.5)；

(4.5)设定t＝t－1，并返回步骤(4.3)执行后续操作；

(4.6)设定当前所述的视频图像的处理图像帧的特定像素的均衡参与帧数量等于t；

(4.7)该当前所述的视频图像的处理图像帧的特定像素不参与亮度均衡；

所述的步骤(5)具体为：

如果当前处理图像帧的特定像素属于非运动物体像素，则该像素亮度保持不变；否则，在完成所述的均衡参与帧数量t计算之后，利用当前处理图像帧之前的t帧图像帧相同位置的像素亮度值，对当前处理图像帧的特定像素亮度值进行均衡化处理，具体计算公式如下：

其中，(i，j)为图像二维坐标，t^c为当前处理帧号，t为历史参考帧的序号，T为历史参考帧的总长度，Y为亮度值。

2.根据权利要求1所述的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其特征在于，所述的步骤(2)具体为：

利用像素RGB表示与像素YUV之间相互转换公式，将所述的当前的视频图像的处理图像帧的像素中所有像素的红、绿、蓝三基色灰度值，转换成像素亮度数值、色度数值以及饱和度数值，具体转换公式如下：

Y＝2.299×R+0.587×G+0.114×B；

U＝－0.169×2－0.331×G+0.5×B+128；

V＝0.5×R－0.419×G－0.081×B+128；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

3.根据权利要求1所述的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其特征在于，所述的步骤(6)具体为：

利用像素YUV表示与像素RGB表示相互转换公式，将当前处理图像帧的特定像素中各像素亮度数值、色度数值以及饱和度数值，计算像素红、绿、蓝三基色灰度值，具体转换公式如下：

R＝1.155×Y+1.605×V-224；

G＝1.168×Y－0.331×U－823×V+135.7；

B＝1.168×Y+2.028×U－277.8；

其中，R为红色灰度值，G为绿色灰度值，B为蓝色灰度值，Y表示亮度数值，U表示二维色度数值，V表示饱和度数值。

4.根据权利要求3所述的基于运动物体检测实现针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法，其特征在于，所述的视频图像经转换处理后，将当前处理图像帧存储为三维矩阵，所述的三维矩阵的维度分别对应于所述的视频图像的处理帧的长、宽、及RGB空间。

5.一种利用权利要求1所述的方法实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的系统，其特征在于，所述的系统包括：

参数设定模块，用于根据智能流媒体后视镜的实际工作场景设定系统所需的各项参数，其中，所需的各项参数包括历史均衡参考帧时间长度T、物体属性判断像素色度以及物体饱和度差异阈值Φ；

第一像素空间转换模块，与所述的参数设定模块相连接，用于将所述的系统的视频图像像素由像素RGB空间转换为像素YUV空间；

运动状态属性判断模块，与所述的第一像素空间转换模块相连接，用于根据物体的视频图像帧对比情况，判断所述的物体的真实状态属性；

物体特征计算调整模块，与所述的运动状态属性判断模块相连接，用于根据所述的运动状态属性判断模块判断出的所述的物体的真实状态属性结果，对所述的物体的像素亮度特征以及均衡参与帧特征进行相应的计算和调整；以及

第二像素空间转换模块，与所述的物体特征计算调整模块相连接，用于根据所述的物体特征计算调整模块的计算和调整结果，将调整转换后的所述的物体的视频图像帧像素由像素YUV空间转换为像素RGB空间；

所述的运动状态属性判断模块，包括：

非运动物体判断单元，用于判断所述的物体是否为非运动物体，并根据判断结果进行非运动物体像素特征的调整；以及

运动物体判断单元，用于判断所述的物体是否为运动物体，并根据判断结果进行运动物体像素特征的计算和调整；

所述的物体特征计算调整模块，包括：

像素亮度调整单元，用于根据所述的运动状态属性判断模块的判断结果，对所述的物体的像素亮度进行相应的调整；以及

均衡参与帧计算单元，用于在所述的系统的当前处理图像帧的前T帧历史帧中计算出运动物体距离所述的当前处理图像帧的跨度最大的图像帧，并将跨度最大的图像帧记录为均衡参与帧数量t。

6.一种用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的装置，其特征在于，所述的装置包括：

处理器，被配置成执行计算机可执行指令；

存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求1～4中任一项所述的基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

7.一种用于实现基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～4中任一项所述的基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1～4中任一项所述的基于运动物体检测的针对智能流媒体后视镜进行视频图像闪烁抑制处理的方法的各个步骤。

Images