CN114202519A - 视频闪烁确定方法、装置、设备及存储介质 - Google Patents

视频闪烁确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114202519A
CN114202519A CN202111463264.7A CN202111463264A CN114202519A CN 114202519 A CN114202519 A CN 114202519A CN 202111463264 A CN202111463264 A CN 202111463264A CN 114202519 A CN114202519 A CN 114202519A
Authority
CN
China
Prior art keywords
image
current detection
video
detection image
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111463264.7A
Other languages
English (en)
Inventor
陈泽洲
刘兆祥
廉士国
胡欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, Unicom Big Data Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202111463264.7A priority Critical patent/CN114202519A/zh
Publication of CN114202519A publication Critical patent/CN114202519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种视频闪烁确定方法、装置、设备及存储介质，该方法包括：获取待检测视频中的当前检测图像；获取与当前检测图像相邻的至少N帧相邻的目标图像；对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。本申请能够采用傅里叶变换将亮度信息映射到频域，有效的解决了不同摄像头场景下待检测视频的图像具有的差异性。并且，能同时捕捉到单个图像的闪烁现象以及多个图像的渐变式闪烁现象，避免了视频闪烁的漏检和/或误检的问题，提高了视频闪烁判别的鲁棒性和准确率。

Description

视频闪烁确定方法、装置、设备及存储介质
技术领域
本申请涉及计算机领域，尤其涉及一种视频闪烁确定方法、装置、设备及存储介质。
背景技术
在摄像头获取视频的过程中，由于摄像机自身的不稳定性、拍摄视角的移动以及环境光照的变换等外部物理环境的干扰，会使摄像头获取的视频中，出现单点、局部或者整体的亮度巨变现象，进而使摄像头获得的视频在播放时会出现明显的闪烁现象，影响播放视频的质量。
为解决上述问题，目前采用的方式是获取视频中相邻两帧图像，采用帧差法确定对应的图像是否存在闪烁现象。但是该方法存在闪烁漏检和/或闪烁误检的问题，从而影响播放视频的质量。
发明内容
本申请提供一种视频闪烁确定方法、装置、设备及存储介质，以解决现有技术确定视频具有闪烁现象时，存在漏检和误检的问题。
第一方面，本申请提供一种视频闪烁确定方法，包括：
获取待检测视频中的当前检测图像；
获取与当前检测图像相邻的至少N帧相邻的目标图像，N为大于2的正整数；
对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；
若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。
可选地，对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，包括：
根据目标图像的个数，确定频率；
根据当前检测图像以及N帧目标图像的亮度信息以及频率，采用预设一维傅里叶变换公式，确定各频率对应的频谱幅度；
根据频率和频谱幅度，确定频谱图。
可选地，目标图像为当前检测图像前后相邻的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000021
其中，上式中
Figure BDA0003389419380000022
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。
可选地，目标图像为在当前检测图像前播放的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000023
其中，上式中
Figure BDA0003389419380000024
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-N，-N+1，-N+2，……，0。
可选地，获取与当前检测图像相邻的至少N帧相邻的目标图像，包括：
根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N帧图像，确定目标图像。
可选地，获取与当前检测图像相邻的至少N帧相邻的目标图像，包括：
根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N1帧图像，以及在当前检测图像后播放的N2帧图像，确定目标图像，N1和N2均为正整数，且N2+N2＝N。
可选地，视频闪烁确定方法，还包括：
在得到对应的频谱图之前，确定当前检测图像和目标图像中预设区域的灰度信息，各预设区域在所属的目标图像中的位置相同；
根据灰度信息，确定预设区域的亮度信息；
针对预设区域，执行对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图的步骤，以确定预设区域是否存在闪烁现象。
第二方面，本申请提供一种视频闪烁判别装置，包括：
第一获取模块，用于获取待检测视频中的当前检测图像；
第二获取模块，用于获取与当前检测图像相邻的至少N帧相邻的目标图像，N为大于2的正整数；
变换模块，用于对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；
确定模块，用于若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。
可选地，变换模块具体用于根据目标图像的个数，确定频率；根据当前检测图像以及N帧目标图像的亮度信息以及频率，采用预设一维傅里叶变换公式，确定各频率对应的频谱幅度；根据频率和频谱幅度，确定频谱图。
可选地，目标图像为当前检测图像前后相邻的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000031
其中，上式中
Figure BDA0003389419380000032
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。
可选地，目标图像为在当前检测图像前播放的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000033
其中，上式中
Figure BDA0003389419380000034
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1,2,3……，N+1，k为-N，-N+1，-N+2……，0。
可选地，第二获取模块具体用于根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N帧图像，确定目标图像。
可选地，第二获取模块具体用于根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N1帧图像，以及在当前检测图像后播放的N2帧图像，确定目标图像，N1和N2均为正整数，且N1+N2＝N。
可选地，视频闪烁确定装置还包括：
灰度确定模块，用于在得到对应的频谱图之前，确定当前检测图像和目标图像中预设区域的灰度信息，各预设区域在所属的目标图像中的位置相同；
亮度确定模块，用于根据灰度信息，确定预设区域的亮度信息；
执行模块，用于针对预设区域，执行对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图的步骤，以确定预设区域是否存在闪烁现象。
第三方面，本申请提供一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使电子设备能够执行本申请第一方面中任一项的视频闪烁确定方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请第一方面中任一项的视频闪烁确定方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请第一方面中任一项的视频闪烁确定方法。
本申请提供一种视频闪烁确定方法、装置、设备及存储介质，该视频闪烁确定方法包括：获取待检测视频中的当前检测图像；获取与当前检测图像相邻的至少N帧相邻的目标图像，N为大于2的正整数；对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。本申请能够采用傅里叶变换将亮度信息映射到频域，有效的解决了不同摄像头场景下待检测视频的图像具有的差异性。并且，采用多个图像得到的频谱图确定的频谱幅度，能同时捕捉到单个图像的闪烁现象以及多个图像的渐变式闪烁现象，避免了视频闪烁的漏检和/或误检的问题，提高了视频闪烁判别的鲁棒性和准确率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的视频闪烁确定方法的场景示意图；
图2为本申请提供的一种视频闪烁确定方法的流程图；
图3为本申请提供的另一种视频闪烁确定方法的流程图；
图4为本申请提供的各帧图像的预设区域的示意图；
图5为本申请提供的频谱图的示意图；
图6为本申请提供的视频闪烁判别装置的结构示意图；
图7为本申请一提供的电子设备的硬件结构示意图。
通过上述附图，已示出本申请明确的，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的是本申请一部分，而不是全部的。基于本申请中的，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的例如能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本申请提供的视频闪烁确定方法之前，首先对视频闪烁确定方法的应用场景进行简要介绍。
示例性的，图1为本申请一提供的视频闪烁确定方法的场景示意图，如图1所示，该场景包括，摄像机11，显示设备12。在视频监控系统中，例如，安防系统、智能交通监控系统等。摄像机11采集的内容会传输到对应的监控显示设备12上进行播放。但是摄像机11容易受到曝光时间、拍摄视角和自身故障的影响，会在显示设备12上显示出闪烁的画面。这些闪烁的画面严重了影响了视频图像的视觉效果和图像质量。并且摄像机11采集的带有闪烁的图像通常来说比特率较大，也不利于图像的传输以及存储，因此需要对带有闪烁的图像进行确定。
其中，在相邻两帧视频图像之间采用以下方式确定图像是否存在闪烁，首先从待检测视频中获取待检测视频图像，对该待检测视频图像与其前一帧视频图像之间的帧差图像进行二值化处理，得到二值化帧差图像；接着，采用扫描线算法，从该二值化帧差图像中排除不满足预设大小条件的区域，得到扫描处理后图像，分别确定该扫描处理后图像中各连通区域的区域密度，该区域密度表征连通区域中有效像素点所占比重；最后，根据该各连通区域的区域密度是否均小于预设密度阈值，确定该待检测视频是否是闪烁视频。可见上述方式主要是针对前一帧的图像，确定当前图像是否存在闪烁，这样需要前一帧图像和当前图像之间具有较大的差别，如果前一帧图像原本就是闪烁的图像，则基于上述方式无法确定当前图像是否为闪烁图像，进而上述方式存在漏检和/或误检的问题。
基于上述应用场景以及问题，本申请提供一种视频闪烁确定方法，能同时捕捉到单个图像的闪烁现象以及多个图像的渐变式闪烁现象，避免了视频闪烁的漏检和/或误检的问题，提高了视频闪烁判别的鲁棒性和准确率。下面以具体地对本申请的技术方案进行详细说明。下面这几个具体的可以相互结合，对于相同或相似的概念或过程可能在某些不再赘述。
图2为本申请一提供的视频闪烁确定方法的流程图。该视频闪烁确定方法具体包括如下步骤：
S201、获取待检测视频中的当前检测图像。
其中，待检测视频是指摄像机拍摄到的视频。其中，当前检测图像是指待检测视频中任一帧图像。
具体的，在对待检测视频的闪烁进行检测时，需要对待检测视频的每帧图像进行检测，进而确定存在闪烁现象的图像。本申请可以依次对待检测视频的每帧图像进行检测，当前需要检测的图像即为当前检测图像。
此外，闪烁可以是以点区域、局部或者整体的形式出现。其中，点是指一个或者多个像素出现闪烁的情况，局部是指一个区域的像素出现闪烁的情况，整体是指整个当前检测图像或者当前检测图像的大部分像素均出现闪烁的情况。
进一步的，当前一帧图像的亮度较暗，后一帧图像的亮度较亮就会产生闪烁的效果。或者，在多帧图像中，亮度渐变式变亮或者渐变式变暗也会产生闪烁的效果。
在本申请中，获取到当前检测图像，对当前检测图像相对于前一帧图像的亮度是否发生巨变，或者当前检测图像所在的几帧图像中是否存在亮度的渐变式变化进行确定。
S202、获取与当前检测图像相邻的至少N帧相邻的目标图像。
其中，N为大于2的正整数。此外，目标图像在待检测视频中是与当前检测图像是连续的。
示例性的，待检测视频中包括M帧图像，图像编号从1至M。则若获取到当前检测图像的编号为P，则目标图像可以是P-1，P-2，P-3，P-4，P-5，…。目标图像也可以是…，P-3，P-2，P-1，P+1，P+2，P+3，…。在本申请中，可以优选当前检测图像前的目标图像个数和当前检测图像后的目标图像个数相同。
在本申请中，利用当前检测图像前后多帧目标图像的亮度信息，能够为傅里叶转换后的频谱图的频率以及频谱幅度提供更多信息量的数据，多帧图像计算能够避免对一帧图像的小幅度灰度抖动误检闪烁，减少了不同摄像头场景下的视频的灰度强度本身差异带来的误检。
此外，本申请也可以通过其他方式确定目标图像，在此不加以限定。
S203、对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图。
其中，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度。
具体的，将当前检测图像的亮度信息和目标图像的亮度信息进行一维傅里叶变换。
S204、若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。
其中，阈值可根据实际需要设置。例如，若用户需要筛选出闪烁比较严重的图像，则阈值可以设置的较大。若用户需要将微小闪烁的图像也筛选出，则阈值可以设置的较小。
此外，若频谱幅度的均值小于或等于阈值，则确定当前检测图像不是闪烁图像。本申请可以采用上述方式对待检测视频的每帧图像进行检测，进而确定为闪烁图像的图像。
进一步的，对于当前检测图像和目标图像出现梯度式亮度提升时，得到的频谱幅度的均值大于阈值，可以检测出当前检测图像为闪烁图像。示例性的，参照表一，其中，图像的灰度值越大时，图像的亮度越亮。对于表一种的图像，当前图像P的灰度均值比较高，如果播放表一对应的视频时，从目标图像P-2播放到当前图像P，由于灰度均值从98变到215，会有明细的闪烁现象。但是如果只将当前图像P与前一帧目标图像P-1进行对比，由于灰度均值变化很小，因此是无法确定当前图像P是闪烁图像的。而通过本申请的方式，可以确定当前图像P为闪烁图像。
表一
Figure BDA0003389419380000081
此外，本申请能够应用在任意场景下的视频闪烁的检测，本申请能够同时捕捉到单个图像的闪烁现象以及多个图像的渐变式闪烁现象，避免了视频闪烁的漏检和/或误检的问题，提高了视频闪烁判别的鲁棒性和准确率。
图3为本申请另一提供的视频闪烁确定方法的流程图。该视频闪烁确定方法具体包括如下步骤：
S301，获取待检测视频中的当前检测图像。
其中，S301的具体实现方法参照S201，在此不再赘述。
S302，获取与当前检测图像相邻的至少N帧相邻的目标图像。
其中，N为大于2的正整数。
在一些方案中，获取与当前检测图像相邻的至少N帧相邻的目标图像，包括：根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N帧图像，确定目标图像。
在另一些方案中，获取与当前检测图像相邻的至少N帧相邻的目标图像，包括：根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N1帧图像，以及在当前检测图像后播放的N2帧图像，确定目标图像，N1和N2均为正整数，且N1+N2＝N。
在本申请中，可根据实际情况确定目标图像的个数以及选取方式。其中，可以只选择当前检测图像前，并与当前检测图像相邻的图像作为目标图像。也可以在当前检测图像前，并与当前检测图像相邻的N1个图像以及在当前检测图像后的N2个图像作为目标图像。
S303，确定当前检测图像和目标图像中预设区域的灰度信息。
其中，各预设区域在所属的目标图像中的位置相同。预设区域可以是整个目标图像，也可以是目标图像中的一部分区域。示例性的，参照图4，包括：当前检测图像P、目标图像P-1、目标图像P-2、目标图像P+1和目标图像P+2。其中，预设区域S在当前检测图像和各个目标图像中的位置是相同的。
具体确定灰度信息的方法包括：获取预设区域的RGB三通道像素值；将RGB三通道像素值转换成对应的灰度值；则灰度信息是指预设区域各个像素点对应的灰度值。
在本申请中，将目标图像和当前检测图像均分割成多个区域，通过获取其中一个区域作为预设区域，获取该预设区域的灰度信息，进而后续可以确定当前检测图像的预设区域是否存储闪烁现象，提高闪烁现象确定的精度。
S304，根据灰度信息，确定预设区域的亮度信息。
由上述，灰度信息为预设区域内各个像素的灰度值。亮度信息即为预设区域内各个灰度值的平均值。以此当前检测图像的预设区域具有一亮度信息、各个目标图像的预设区域具有对应的亮度信息。
S305，根据目标图像的个数，确定频率。
在一种方案中，若目标图像为当前检测图像前后相邻的至少N帧图像，则频率k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。示例性的，若N为8，则k为-3.5，-2.5，-1.5，-0.5，0.5，1.5，2.5，3.5，4.5。
在另一种方案中，若目标图像为当前检测图像前播放的至少N帧图像，则频率k为-N，-N+1，-N+2，……，0。示例性的，若N为8，则k为-8，-7，-6，-5，-4，-3，-2，-1，0。
在本申请中，还可以根据其他方式确定频率，在此不加以限定。
S306，根据当前检测图像以及N帧目标图像的亮度信息以及频率，采用预设一维傅里叶变换公式，确定各频率对应的频谱幅度。
在一种方案中，目标图像为当前检测图像前后相邻的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000101
其中，上式中
Figure BDA0003389419380000102
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。
示例性的，当N为8时，各频率k对应的频谱幅度
Figure BDA0003389419380000103
参照表二：
表二
Figure BDA0003389419380000104
在另一种方案中，目标图像为在当前检测图像前播放的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000105
其中，上式中
Figure BDA0003389419380000106
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-N，-N+1，-N+2，……，0。
示例性的，当N为8时，各频率k对应的频谱幅度
Figure BDA0003389419380000107
参照表三：
表三
Figure BDA0003389419380000111
S307，根据频率和频谱幅度，确定频谱图。
其中，频率k作为横坐标，频谱幅度
Figure BDA0003389419380000112
为纵坐标。示例性的，参照图5，为本申请通过一维傅里叶变换基于各个图像的亮度信息得到的频谱图。
S308，若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。
具体的，当亮度信息对应的是预设区域的亮度信息，则此处确定的是当前检测图像中预设区域是否存在闪烁现象。
其中，阈值可根据实际需要设置。例如，若用户需要筛选出闪烁比较严重的图像，则阈值可以设置的较大。若用户需要将微小闪烁的图像也筛选出，则阈值可以设置的较小。
在本申请中，频谱幅度的均值越大，表示闪烁强度越高。示例性的，如表二中的频谱幅度的均值为
Figure BDA0003389419380000113
Figure BDA0003389419380000114
如表三中的频谱幅度的均值为
Figure BDA0003389419380000115
Figure BDA0003389419380000116
进一步的，采用频谱幅度的均值，不同于常规的像素值帧差值，多帧图像的亮度信息得到的频谱图确定的频谱幅度，能同时捕捉到单帧闪烁现象和多帧渐变式闪烁现象，减少了图像的闪烁漏检，提高了闪烁图像的检出率和准确率。
本申请提供一种视频闪烁确定方法、装置、设备及存储介质，该视频闪烁确定方法包括：获取待检测视频中的当前检测图像；获取与当前检测图像相邻的至少N帧相邻的目标图像，N为大于2的正整数；对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。本申请能够采用傅里叶变换将亮度信息映射到频域，有效的解决了不同摄像头场景下待检测视频的图像具有的差异性。并且，采用多个图像得到的频谱图确定的频谱幅度，能同时捕捉到单个图像的闪烁现象以及多个图像的渐变式闪烁现象，避免了视频闪烁的漏检和/或误检的问题，提高了视频闪烁判别的鲁棒性和准确率。
图6为本申请一提供的视频闪烁判别装置60的结构框图。如图6所示，本申请提供的视频闪烁判别装置60包括：第一获取模块61、第二获取模块62、变换模块63以及确定模块64。其中：
第一获取模块61，用于获取待检测视频中的当前检测图像；
第二获取模块62，用于获取与当前检测图像相邻的至少N帧相邻的目标图像，N为大于2的正整数；
变换模块63，用于对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，频谱图的横坐标为频率，纵坐标为频率对应的频谱幅度；
确定模块64，用于若频谱幅度的均值大于阈值，则确定当前检测图像为闪烁图像。
可选地，变换模块63具体用于根据目标图像的个数，确定频率；根据当前检测图像以及N帧目标图像的亮度信息以及频率，采用预设一维傅里叶变换公式，确定各频率对应的频谱幅度；根据频率和频谱幅度，确定频谱图。
可选地，目标图像为当前检测图像前后相邻的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000121
其中，上式中
Figure BDA0003389419380000122
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。
可选地，目标图像为在当前检测图像前播放的至少N帧图像，预设的一维傅里叶变换公式如下：
Figure BDA0003389419380000123
其中，上式中
Figure BDA0003389419380000124
为频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，j为1，2，3，……，N+1，k为-N，-N+1，-N+2，……，0。
可选地，第二获取模块62具体用于根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N帧图像，确定目标图像。
可选地，第二获取模块62具体用于根据当前检测图像，在待检测视频中选取在当前检测图像前播放的N1帧图像，以及在当前检测图像后播放的N2帧图像，确定目标图像，N1和N2均为正整数，且N1+N2＝N。
可选地，视频闪烁确定装置60还包括：
灰度确定模块(未示出)，用于在得到对应的频谱图之前，确定当前检测图像和目标图像中预设区域的灰度信息，各预设区域在所属的目标图像中的位置相同；
亮度确定模块(未示出)，用于根据灰度信息，确定预设区域的亮度信息；
执行模块(未示出)，用于针对预设区域，执行对当前检测图像以及N帧目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图的步骤，以确定预设区域是否存在闪烁现象。
本申请提供的视频闪烁判别装置，用于执行前述图2和图3对应的方法中的技术方案，其实现原理和技术效果类似，在此不再赘述。
图7为本申请提供的电子设备的硬件结构示意图。如图7所示，本申请的电子设备60可以包括：至少一个处理器71(图7中仅示出了一个处理器)；以及，与至少一个处理器通信连接的存储器72。其中，存储器72存储有可被至少一个处理器71执行的指令，指令被至少一个处理器71执行，以使电子设备70能够执行前述任一方法中的技术方案。
可选的，存储器72既可以是独立的，也可以跟处理器71集成在一起。
当存储器72是独立于处理器71之外的器件时，电子设备70还包括：总线73，用于连接存储器72和处理器71。
本申请提供的电子设备可以执行前述任一方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序被处理器执行时用于实现前述任一方法中的技术方案。
本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一方法中的技术方案。
本申请还提供了一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法中的技术方案。
进一步地，该芯片还包括存储模块(如，存储器)，存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述方法中的技术方案。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备中。
最后应说明的是：以上各仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各技术方案的范围。

Claims (10)

1.一种视频闪烁确定方法，其特征在于，包括：
获取待检测视频中的当前检测图像；
获取与所述当前检测图像相邻的至少N帧相邻的目标图像，所述N为大于2的正整数；
对所述当前检测图像以及N帧所述目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，所述频谱图的横坐标为频率，纵坐标为所述频率对应的频谱幅度；
若所述频谱幅度的均值大于阈值，则确定所述当前检测图像为闪烁图像。
2.根据权利要求1所述的视频闪烁确定方法，其特征在于，所述对所述当前检测图像以及N帧所述目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，包括：
根据所述目标图像的个数，确定所述频率；
根据所述当前检测图像以及N帧所述目标图像的亮度信息以及所述频率，采用预设一维傅里叶变换公式，确定各所述频率对应的频谱幅度；
根据所述频率和所述频谱幅度，确定所述频谱图。
3.根据权利要求2所述的视频闪烁确定方法，其特征在于，所述目标图像为所述当前检测图像前后相邻的至少N帧图像，所述预设的一维傅里叶变换公式如下：
Figure FDA0003389419370000011
其中，上式中
Figure FDA0003389419370000012
为所述频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，所述j为1，2，3，……，N+1，所述k为-(N+1)/2+1，-(N+1)/2+2，……，(N+1)/2。
4.根据权利要求2所述的视频闪烁确定方法，其特征在于，所述目标图像为在所述当前检测图像前播放的至少N帧图像，所述预设的一维傅里叶变换公式如下：
Figure FDA0003389419370000013
其中，上式中
Figure FDA0003389419370000021
为所述频率对应的频谱幅度，h为2π/(N+1)，e为自然常数，uj为多个目标图像中第j个目标图像的亮度信息，所述j为1，2，3，……，N+1，所述k为-N，-N+1，-N+2……，0。
5.根据权利要求1至4中任一项所述的视频闪烁确定方法，其特征在于，所述获取与所述当前检测图像相邻的至少N帧相邻的目标图像，包括：
根据所述当前检测图像，在所述待检测视频中选取在所述当前检测图像前播放的N帧图像，确定所述目标图像。
6.根据权利要求1至4中任一项所述的视频闪烁确定方法，其特征在于，所述获取与所述当前检测图像相邻的至少N帧相邻的目标图像，包括：
根据所述当前检测图像，在所述待检测视频中选取在所述当前检测图像前播放的N1帧图像，以及在所述当前检测图像后播放的N2帧图像，确定所述目标图像，所述N1和N2均为正整数，且N1+N2＝N。
7.根据权利要求1至4中任一项所述的视频闪烁确定方法，其特征在于，还包括：
在得到对应的频谱图之前，确定所述当前检测图像和所述目标图像中预设区域的灰度信息，各所述预设区域在所属的目标图像中的位置相同；
根据所述灰度信息，确定所述预设区域的亮度信息；
针对所述预设区域，执行所述对所述当前检测图像以及N帧所述目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图的步骤，以确定所述预设区域是否存在闪烁现象。
8.一种视频闪烁判别装置，其特征在于，包括：
第一获取模块，用于获取待检测视频中的当前检测图像；
第二获取模块，用于获取与所述当前检测图像相邻的至少N帧相邻的目标图像，所述N为大于2的正整数；
变换模块，用于对所述当前检测图像以及N帧所述目标图像的亮度信息进行一维傅里叶变换，得到对应的频谱图，所述频谱图的横坐标为频率，纵坐标为所述频率对应的频谱幅度；
确定模块，用于若所述频谱幅度的均值大于阈值，则确定所述当前检测图像为闪烁图像。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行权利要求1至7中任一项所述的视频闪烁确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述视频闪烁确定方法。
CN202111463264.7A 2021-12-02 2021-12-02 视频闪烁确定方法、装置、设备及存储介质 Pending CN114202519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463264.7A CN114202519A (zh) 2021-12-02 2021-12-02 视频闪烁确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111463264.7A CN114202519A (zh) 2021-12-02 2021-12-02 视频闪烁确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114202519A true CN114202519A (zh) 2022-03-18

Family

ID=80650284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111463264.7A Pending CN114202519A (zh) 2021-12-02 2021-12-02 视频闪烁确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114202519A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390276A (zh) * 2022-03-23 2022-04-22 广东欧谱曼迪科技有限公司 一种自动化测试方法及系统
CN117156210A (zh) * 2023-02-07 2023-12-01 荣耀终端有限公司 闪屏检测方法和闪屏检测装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390276A (zh) * 2022-03-23 2022-04-22 广东欧谱曼迪科技有限公司 一种自动化测试方法及系统
CN117156210A (zh) * 2023-02-07 2023-12-01 荣耀终端有限公司 闪屏检测方法和闪屏检测装置

Similar Documents

Publication Publication Date Title
EP3449625B1 (en) Shift-and-match fusion of color and mono images
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
US9489726B2 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US8436910B2 (en) Image processing apparatus and image processing method
US20070242141A1 (en) Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
CN114202519A (zh) 视频闪烁确定方法、装置、设备及存储介质
US11671715B2 (en) High dynamic range technique selection for image processing
KR20090111136A (ko) 최적 영상 선택 방법 및 장치
TW200913687A (en) Moving body image extraction apparatus and program
US8768160B2 (en) Flicker band automated detection system and method
WO2021148057A1 (zh) 低比特位宽hdr图像的生成方法及装置、存储介质、终端
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
US9832395B2 (en) Information processing method applied to an electronic device and electronic device having at least two image capturing units that have the same image capturing direction
CN111741290A (zh) 图像频闪检测方法及装置、存储介质、终端
CN101304483A (zh) 通过使用存储的图像进行图像处理的方法和装置
CN116188279A (zh) 图像处理及模型训练方法及电子设备
JP5159647B2 (ja) 画像処理装置及び画像処理方法
CN110992883A (zh) 显示补偿方法、装置、设备和存储介质
CN112884659A (zh) 图像对比度增强方法、装置和显示设备
CN112055131A (zh) 一种视频处理系统及方法
US20230209210A1 (en) System and method for image banding detection
JP2017021467A (ja) 画像処理装置、その制御方法、および制御プログラム
CN117218039A (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination