CN113365103B - 坏帧自动检测方法、装置、设备、存储介质、程序产品 - Google Patents

坏帧自动检测方法、装置、设备、存储介质、程序产品 Download PDF

Info

Publication number
CN113365103B
CN113365103B CN202110615344.3A CN202110615344A CN113365103B CN 113365103 B CN113365103 B CN 113365103B CN 202110615344 A CN202110615344 A CN 202110615344A CN 113365103 B CN113365103 B CN 113365103B
Authority
CN
China
Prior art keywords
frame
picture
determining
interval
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110615344.3A
Other languages
English (en)
Other versions
CN113365103A (zh
Inventor
张民
吕德政
崔刚
张彤
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Frame Color Film And Television Technology Co ltd
Original Assignee
Shenzhen Frame Color Film And Television Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Frame Color Film And Television Technology Co ltd filed Critical Shenzhen Frame Color Film And Television Technology Co ltd
Priority to CN202110615344.3A priority Critical patent/CN113365103B/zh
Publication of CN113365103A publication Critical patent/CN113365103A/zh
Application granted granted Critical
Publication of CN113365103B publication Critical patent/CN113365103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种坏帧自动检测方法、装置、设备、存储介质、程序产品,涉及视频处理技术,包括:获取待检测视频中每一帧画面的信息,并根据每一帧画面的信息确定相邻帧之间的差异;根据预设模糊推理规则,对相邻帧之间的差异进行相关性分析得到帧间相关性结果;根据各帧画面之间的帧间相关性结果确定坏帧。本申请提供的方案可以实现坏帧的自动检测,提高了检测效率;而且,通过运用模糊推理技术对相邻帧的差异做相关性分析,其中相邻帧的差异是当前帧与前后帧之间的差异,通过这种方式可以有效避免如将视频中正常的镜头转换的视频帧误识别为坏帧的误判,进而提高视频帧自动检测效率。

Description

坏帧自动检测方法、装置、设备、存储介质、程序产品
技术领域
本申请涉及视频处理技术,尤其涉及一种坏帧自动检测方法、装置、设备、存储介质、程序产品。
背景技术
目前,随着电影的发展,无论是旧片修复还是新片制作,都面临着随着数据量的增加,CPU负荷的增大或者硬盘存储的不可靠等情况带来的随机出现的丢帧或者坏帧,这种坏帧一旦被打包成数字电影包进行放映,就会产生不可以接受的放映故障。
现有技术中检测坏帧的方法主要有两种,一种是可以通过人工方式,靠人眼仔细观察来挑出可能的坏帧;另一种是可以通过计算机自动检测坏帧,通过确定连续帧之间的差异确定坏帧。
但是,现有的人工检测坏帧方式工作疲劳强度极大,无法满足日益增长的电影发展需求,也严重影响工作效率。而现有的自动检测坏帧方式,容易将视频中正常的镜头转换的视频帧误识别为坏帧。
发明内容
本申请提供了一种坏帧自动检测方法、装置、设备、存储介质、程序产品,以解决现有技术中人工检测坏帧方式工作疲劳强度极大,无法满足日益增长的电影发展需求的问题,以及解决现有的自动检测坏帧方式中容易将视频中正常的镜头转换的视频帧误识别为坏帧的问题。
根据本申请第一方面,提供了一种坏帧自动检测方法,包括:
获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;
根据每一帧画面对应的信息隶属度确定帧间差异,其中,所述帧间差异包括相邻帧间的差异;
根据所述帧间差异在所述画面中确定坏帧。
根据本申请第二方面,提供了一种坏帧自动检测装置,包括:
获取单元,用于获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;
处理单元,用于根据每一帧画面对应的信息隶属度确定帧间差异,其中,所述帧间差异包括相邻帧间的差异;
确定单元,用于根据所述帧间差异在所述画面中确定坏帧。
根据本申请第三方面,提供了一种电子设备,包括存储器和处理器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于读取所述存储器存储的计算机程序,并根据所述存储器中的计算机程序执行如第一方面所述的坏帧自动检测方法。
根据本申请第四方面,提供了一种计算机可读存储介质,包括:所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面所述的坏帧自动检测方法。
根据本申请第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现如第一方面所述的坏帧自动检测方法。
本申请提供了一种坏帧自动检测方法、装置、设备、存储介质、程序产品,包括:获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;根据每一帧画面对应的信息隶属度确定帧间差异,其中,帧间差异包括相邻帧间的差异;根据帧间差异在所述画面中确定坏帧。
本申请提供的一种坏帧自动检测方法、装置、设备、存储介质、程序产品中,可以实现坏帧的自动检测,提高了检测效率;而且,通过运用模糊推理技术确定相邻帧之间的差异,其中相邻帧的差异是当前帧与前后帧之间的差异,通过这种方式可以有效避免如将视频中正常的镜头转换的视频帧误识别为坏帧的误判。
附图说明
图1为本申请一示例性实施例示出的坏帧自动检测方法的流程示意图;
图2为本申请一示例性实施例示出的坏帧自动检测方法的实际应用示意图;
图3为本申请另一示例性实施例示出的坏帧自动检测方法的流程示意图;
图4为本申请一示例性实施例示出的坏帧自动检测方法的工作流程示意图;
图5为本申请一示例性实施例示出的坏帧自动检测装置的结构图;
图6为本申请另一示例性实施例示出的坏帧自动检测装置的结构图;
图7为本申请一示例性实施例示出的电子设备的结构图。
具体实施方式
随着电影的发展,无论是旧片修复还是新片制作,都面临着随着数据量的增加,CPU(Central Processing Unit,中央处理器)负荷的增大或者硬盘存储的不可靠等情况带来的随机出现的丢帧或者坏帧,这种坏帧一旦被打包成数字电影包进行放映,就会产生不可以接受的放映故障。目前,检测坏帧的方法主要有两种,一种是可以通过人工方式,靠人眼仔细观察来挑出可能的坏帧;另一种是可以通过计算机自动检测坏帧,通过确定连续帧之间的差异确定坏帧。
但是,现有的人工检测坏帧方式工作疲劳强度极大,无法满足日益增长的电影发展需求。而现有的自动检测坏帧方式,容易将视频中正常的镜头转换的视频帧误识别为坏帧。
为了解决上述技术问题,本申请提供的方案中包括一种坏帧自动检测方法、装置、设备、存储介质、程序产品,一方面,自动检测方法提高了检测效率,另一方面,采用模糊推理技术确定当前帧与前后帧之间的差异,通过这种方式可以使当前帧与其前后帧都进行比较,可以有效避免如将视频中正常的镜头转换的视频帧误识别为坏帧的误判。
图1为本申请一示例性实施例示出的坏帧自动检测方法的流程示意图。
如图1所示,本实施例提供的坏帧自动检测方法包括:
步骤101,获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度。
其中,待检测视频可以是需要修复的旧电影也可以是正在制作的新电影,或者所有需要检测坏帧的视频。
其中,每一帧画面可以看作一张图片,执行本申请方法的电子设备可以获取待检测视频中每一帧画面的信息,比如可以获取每一帧画面的亮度、色度、直方图、运动向量、像素运动轨迹、光线变化等信息。
具体的,图片中可以包括多个像素点,可以先获取每一帧画面中各个像素点的信息,再根据画面中各个像素点的信息确定每一帧画面的信息。像素点的信息例如可以包括每个像素点的三原色光模式(Color Model,RGB)值。其中RGB是一种加色模型,将红(Red)、绿(Green)、蓝(Blue)三原色的色光以不同的比例相加,以合成产生各种色彩光。
其中,本方案应用了模糊推理技术,模糊推理技术指应用设置在模糊控制器中的模糊推理规则,通过电子设备运行该模糊控制器,进而执行模糊推理规则。具体来说该模糊推理过程可以包括三个主要环节,分别是输入模糊化、模糊推理和去模糊化。
进一步的,用于实现模糊推理规则的模糊控制器可以是预先搭建的模型。
实际应用中,可以把获取的待检测视频中每一帧画面的信息首先进行模糊化处理;接着按照模糊推理的规则进行推理;最后去模糊化,输出结果。
其中,推理过程就是在对相邻帧之间的每一信息做分析;输出结果就是相邻帧之间的帧间差异。
进一步的,把每一帧画面的每一信息进行模糊化处理的过程中,首先把每一帧画面的每一信息转化成机器语言,例如,每一帧的画面信息为一个数值,我们以输入信号为8位来说明,我们把输入0~255分为7段模糊区间,在对输入数值采取归一化之后,统称为:
NL:负大(0~47)
NM:负中(47~79)
NS:负小(79~111)
ZR:零(111~143)
PS:正小(143~175)
PM:正中(175~207)
PL:正大(207~255)
这样的话,经过这样一个模糊逻辑的运算,任何一个输入值,就不再是一个精确的数值了,而会变换为一个具有信息隶属度的一个变量。
进一步的,此模糊逻辑的运算可以是预先设置的映射关系。
其中,本申请提供的方法可以由具备计算能力的电子设备来执行,比如可以是计算机等设备。该电子设备能够获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度。
步骤102,根据每一帧画面对应的信息隶属度确定帧间差异,其中,帧间差异包括相邻帧间的差异。
其中,相邻帧可以表示直接相邻的两帧画面,比如当前帧与其前帧为相邻帧,当前帧与其后帧也是相邻帧。相邻帧之间的差异表示当前帧与其相邻帧之间的差异,比如当前帧与前帧的差异、当前帧与其后帧的差异。
可以通过获取的每一帧画面的信息来计算相邻帧之间的差异。
例如当前帧画面亮度x=105,由上述模糊区间分段可知,这个输入应该属于输入的信息隶属度“负小(NS)”,由此,我们在模糊逻辑上就有了描述这一输入变量的语言,即:
对于x=105而言,可以基于预设映射关系,确定其隶属度为“负小(NS)”。
可以预先设置模糊推理的规则。
比如说,某条规则如下:
If x=PL and y=NL than output=PM
该条规则用于表征当x为PL,且y为NL时,输出结果为PM。PL可以用来表征当前帧图像的亮度为较亮,NL表征该当前帧图像的邻帧图像的亮度为不亮,PM表征输出结果为从亮度角度分析帧间差异大。
步骤103,根据帧间差异在画面中确定坏帧。
通过模糊推理能够获取的相邻帧之间的差异结果,可以将该差异结果作为判断坏帧的标准。比如,如果当前帧与多个相邻帧之间的差异结果均为差异大,则可以确定当前帧为坏帧。
图2为本申请一示例性实施例示出的坏帧自动检测方法的实际应用示意图。
实际应用中,可使用本方案所提供的方法检测出如图2所示给出的一系列画面帧中的坏帧。如图2所示,比如存在画面帧201~画面帧209,可以基于本申请提供的方法将画面帧202、画面帧204、画面帧206、画面帧208识别为坏帧。
画面帧202的内容为全黑,而该帧的前后帧不是全黑。因此,可以基于每一帧画面的信息确定出该画面帧与前后帧的差异大;
画面帧204的内容为全白,而前后帧不是全白,因此,可以基于每一帧画面的信息确定出该画面帧与前后帧的差异大;
画面帧206和画面帧208中存在部分损坏,导致该画面帧与前后帧画面的差异大。
本申请提供的坏帧自动检测方法,包括:获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;根据每一帧画面对应的信息隶属度确定帧间差异,其中,帧间差异包括相邻帧间的差异;根据帧间差异在画面中确定坏帧。本申请提供的坏帧自动检测方法,运用模糊推理技术确定待检测视频中相邻帧之间的差异,并根据各帧画面之间的帧间差异结果确定坏帧。本申请提供的方案可以实现坏帧的自动检测,提高了检测效率。而且,运用模糊推理技术确定待检测视频中相邻帧之间的差异,其中相邻帧的差异是当前帧与前后帧之间的差异,通过这种方式可以有效避免如将视频中正常的镜头转换的视频帧误识别为坏帧的误判。
图3为本申请另一示例性实施例示出的坏帧自动检测方法的流程示意图。
如图3所示,本实施例提供的坏帧自动检测方法包括:
步骤301,获取每一帧画面的画面参数,并根据每一帧画面的画面参数,确定每一帧画面的以下任一种信息:
画面亮度、画面色度、直方图、画面运动向量、像素运动轨迹、光线变化。
其中,获取每一帧画面的画面参数。画面参数例如可以是画面中各个像素点的参数,比如各个像素点的RGB值等。
具体的,可以根据获取的每一帧画面的画面参数,确定每一帧画面的画面亮度、画面色度、直方图、画面运动向量、像素运动轨迹、光线变化等信息。
其中,画面亮度,指的是画面撇开颜色的明亮程度。
画面色度,指的是画面不包括亮度在内的颜色的性质。
直方图指的是画面中撇开颜色的亮度的的分布图。
画面亮度、画面色度、直方图都可以通过像素点的RGB值确定。
画面运动向量是描述宏块在视频帧中的位置相对于在参考帧中的偏移向量。具体的,运动向量信息是通过对每一帧图像的分析与计算得到的。
通过每一帧画面的画面参数可以确定每一帧画面的画面亮度、画面色度、直方图、画面运动向量等信息。
可以通过软件来分析每一帧画面中的像素的运动轨迹、光线变化。比如可以使用VCOpenCV软件。
步骤302A,基于预设映射关系确定画面亮度所属的亮度区间,并确定亮度区间对应的亮度隶属度。
步骤302A,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的亮度信息进行模糊化处理,基于预先设置的映射关系确定画面亮度对应的亮度隶属度。具体的,划分7段亮度区间,预先设置映射关系,基于预设的映射关系,确定画面亮度所属的亮度区间,并根据亮度区间确定对应的亮度隶属度。
步骤302B,基于预设映射关系确定画面色度所属的色度区间,并确定色度区间对应的色度隶属度。
步骤302B,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的色度信息进行模糊化处理,基于预先设置的映射关系确定画面色度对应的色度隶属度。具体的,划分7段色度区间,预先设置映射关系,基于预设的映射关系,确定画面色度所属的色度区间,并根据色度区间确定对应的色度隶属度。
步骤302C,基于预设映射关系确定直方图所属的直方图区间,并确定直方图区间对应的直方图隶属度。
步骤302C,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的直方图信息进行模糊化处理,基于预先设置的映射关系确定直方图对应的直方图隶属度。具体的,划分7段直方图区间,预先设置映射关系,基于预设的映射关系,确定直方图所属的直方图区间,并根据直方图区间确定对应的直方图隶属度。
步骤302D,基于预设映射关系确定画面运动向量所属的运动向量区间,并确定画面运动向量区间对应的运动向量隶属度。
步骤302D,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的运动向量信息进行模糊化处理,基于预先设置的映射关系确定画面运动向量对应的运动向量隶属度。具体的,划分7段运动向量区间,预先设置映射关系,基于预设的映射关系,确定画面运动向量所属的运动向量区间,并根据运动向量区间确定对应的运动向量隶属度。
步骤302E,基于预设映射关系确定像素运动轨迹所属的运动轨迹区间,并确定运动轨迹区间对应的运动轨迹隶属度。
步骤302E,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的运动轨迹信息进行模糊化处理,基于预先设置的映射关系确定画面运动轨迹对应的运动轨迹隶属度。具体的,划分7段运动轨迹区间,预先设置映射关系,基于预设的映射关系,确定画面运动轨迹所属的运动轨迹区间,并根据运动轨迹区间确定对应的运动轨迹隶属度。
步骤302F,基于预设映射关系确定光线变化所属的运动轨迹区间,并确定光线变化区间对应的光线变化隶属度。
步骤302F,与步骤101中相关内容的实现方式、原理类似。其中把每一帧画面的光线变化信息进行模糊化处理,基于预先设置的映射关系确定画面光线变化对应的光线变化隶属度。具体的,划分7段光线变化区间,预先设置映射关系,基于预设的映射关系,确定画面光线变化所属的光线变化区间,并根据光线变化区间确定对应的光线变化隶属度。
步骤303,根据第一帧画面的每一第一信息隶属度、第二帧画面的每一第二信息隶属度,确定与第一信息隶属度、第二信息隶属度对应的每一画面差异值。
其中,当前帧与前帧的亮度隶属度、色度隶属度、直方图隶属度、运动向量隶属度、运动轨迹隶属度、光线变化隶属度以及当前帧与后帧的亮度隶属度、色度隶属度、直方图隶属度、运动向量隶属度、运动轨迹隶属度、光线变化隶属度分别利用模糊推理技术,通过各自的预设推理规则进行分析,得到差异结果。
若根据亮度隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000081
Figure BDA0003097175700000091
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。亮度模糊推理规则的输入,x为当前帧的亮度隶属度,y为当前帧的前帧或后帧的亮度隶属度。可以根据x、y的值,基于上表确定帧间差异结果。
其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的亮度的值很小,NL2表征该当前帧图像的前帧图像或后帧图像的亮度的值很小,NS表征输出结果为从亮度角度分析帧间差异小。
若根据色度隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000092
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。色度模糊推理规则的输入,x为当前帧的色度隶属度,y为当前帧的前帧或后帧的色度隶属度。可以根据x、y的值,基于上表确定帧间差异结果。其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的色度的值为很小,NL2表征该当前帧图像的前帧图像或后帧图像的色度的值为很小,NS表征输出结果为从色度角度分析帧间差异小。
若根据直方图隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000101
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。直方图模糊推理规则的输入,x为当前帧的直方图隶属度,y为当前帧的前帧或后帧的直方图隶属度。可以根据x、y的值,基于上表确定帧间差异结果。其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的直方图的值为很小,NL2表征该当前帧图像的前帧图像或后帧图像的直方图的值为很小,NS表征输出结果为从直方图角度分析帧间差异小。
若根据运动向量隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000102
Figure BDA0003097175700000111
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。运动向量模糊推理规则的输入,x为当前帧的运动向量隶属度,y为当前帧的前帧或后帧的运动向量隶属度。可以根据x、y的值,基于上表确定帧间差异结果。其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的运动向量的值为很小,NL2表征该当前帧图像的前帧图像或后帧图像的运动向量的值为很小,NS表征输出结果为从运动向量角度分析帧间差异小。
若根据运动轨迹隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000112
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。运动轨迹模糊推理规则的输入,x为当前帧的运动轨迹隶属度,y为当前帧的前帧或后帧的运动轨迹隶属度。可以根据x、y的值,基于上表确定帧间差异结果。其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的运动轨迹的值为很小,NL2表征该当前帧图像的前帧图像或后帧图像的运动轨迹的值为很小,NS表征输出结果为从运动轨迹角度分析帧间差异小。
若根据光线变化隶属度确定帧间差异结果,则可以根据下表进行确定:
Figure BDA0003097175700000121
其中,上表是一组规则的集合,其中模糊分辨度为7个,总共包含49条规则。光线变化模糊推理规则的输入,x为当前帧的光线变化隶属度,y为当前帧的前帧或后帧的光线变化隶属度。可以根据x、y的值,基于上表确定帧间差异结果。其中表格中NL、NM、NS、ZR、PS、PM、PL值是用来表示差异结果的。ZR表示无差异;ZR、PS、PM、PL从左到右的顺序表示差异越来越大;ZR、NS、NM、NL从左到右的顺序表示差异越来越大。
比如表中可以有如下一条规则:
If x=NL1 and y=NL2 than output=NS
该条规则用于表征当x为NL1,且y为NL2时,输出结果为NS。NL1可以用来表征当前帧图像的光线变化的值为很小,NL2表征该当前帧图像的前帧图像或后帧图像的光线变化的值为很小,NS表征输出结果为从光线变化角度分析帧间差异小。
本方案考虑亮度、色度、直方图、运动向量、运动轨迹、光线变化这6个维度,每个维度有7个模糊分辨度,即有49条规则,所以总规则数为7*7*6条。当现有的6个维度再增加到M个维度,每个维度增加模糊分辨度到N个,那么总的规则数为N*N*M条。模糊分辨度越多规则越多,对系统特性的描述也越准确,相应的给电子设备带来的工作量也随之增加。
步骤304,根据与每一画面差异值对应的预设权重、第一帧画面与第二帧画面之间的每一画面差异值,确定第一帧画面与第二帧画面间的帧间差异。
其中,第一帧画面与第二帧画面之间的差异可以表示当前帧与前帧或者当前帧与后帧之间的差异。
每一画面差异值包括画面亮度差异值、画面色度差异值、直方图差异值、画面运动向量差异值、像素运动轨迹差异值、光线变化差异值。这六种差异值所对应的权重可以根据经验来预先设置,并存放在电子设备中。比如当前帧与前帧的帧间差异就是根据预先设置的权重由这六种差异值加权相加。
步骤305,根据一帧画面与其他帧画面之间的各差异,确定一帧画面是否为坏帧。
一种实施方式中,当前帧与前帧的帧间差异结果为差异大,并且同时当前帧与后帧的帧间差异结果为差异大,则可以确定当前帧为坏帧。
另一种实施方式中,可以将当前帧画面与其他帧画面间的差异相加,得到总差异,当总差异达到预设的阈值时,可以认为当前帧为坏帧。
在一种可选的实施方式中,获取待检测视频中每一帧画面的帧序号,并根据帧序号确定画面帧缺失信息。
其中,缺帧是指,比如在一系列有效帧之间,由于某种原因,其中某一帧不见了。比如,如下连续几帧:
2K_DCDM_00002157.tif
2K_DCDM_00002158.tif
2K_DCDM_00002160.tif
电子设备可以根据文件名得到帧序号信息,进而可以推断出,2K_DCDM_00002159.tif缺失。
在另一种可选的实施方案中,读取每一帧画面的帧数据,若无法正常读取,则确定无法正常读取的画面帧为故障帧。
无法读出的帧是指,比如,如下连续几帧:
2K_DCDM_00002157.tif
2K_DCDM_00002158.tif
2K_DCDM_00002159.tif
2K_DCDM_00002160.tif
虽然不缺帧,但是由于某种原因,其中一帧无法正常读出,如2K_DCDM_00002159.tif这一帧无法被正常读出,读出时系统报错。则此帧确定为故障帧。
图4为本申请一示例性实施例示出的坏帧自动检测方法的工作流程示意图。
如图4所示,步骤401,首先获取待检测视频文件的路径和文件名;如文件路径及文件名正确则继续,不正确则提示错误信息;
输入文件为DCDM序列帧,按帧号顺序,逐帧进行计算、判断。
步骤402,获取待检测视频文件的当前帧信息,包括RGB信息,计算当前帧亮度、色度、直方图、运动向量、运动轨迹、光线变化的信息,并显示当前检测帧帧号;
步骤403,根据计算得到的当前帧亮度、色度、直方图、运动向量、运动轨迹、光线变化的信息根据模糊推理技术与其前后帧的相关数据做比较,获得帧间每一信息差异结果,把这六种差异结果进行加权相加得到帧间差异结果。
无差异,则返回检测下一帧;
有差异,则判定当前帧为坏帧,显示坏帧编号、以及显示前一帧、当前帧、后一帧图像缩略图;同时提示是否继续检测,或者如判断出为明显坏帧,记录该帧号帧号,之后继续检测下一帧。
步骤404,若选择不继续检测或者检测完毕,则结束检测。结束检测时,系统显示总检测帧数;检测时长;是否正常;出错帧号,包括缺帧、无法读出的帧、读出坏帧;检测人;检测时间等内容。
进一步的,在判定当前帧为坏帧时,显示当前帧号,以及显示前一帧、当前帧、后一帧图像缩略图,还可以加入是否提请人工修复,人工修复后是否可以继续或者对当前帧重新检测,并加入检验员签字环节。
其中坏帧,有如下情况,比如:当前帧的内容为全白,而前后帧不是全白;当前帧的内容为全黑,而前后帧不是全黑;当前帧的内容为“花”的。
采用本申请提供的方法,可以有效避免以下情况的误判。
如遇到镜头切换时:假设镜头n,n与n+1相似度很好,n与n-1相似度不高时,此时n帧不是坏帧。
如遇到“快闪,例如闪白”时:通常快闪镜头不应该只有1帧,此时n帧也不是坏帧。
如遇到两组镜头“淡入淡出”时:这时,n与n-1和n+1都有很高的相似度,这时,n也不是坏帧。
因此,只有当n帧与n-1有明显不同,同时与n+1也有明显不同时,才会判定n帧可能为坏帧。
图5为本申请一示例性实施例示出的坏帧自动检测装置的结构图。
如图5所示,本申请提供的坏帧自动检测装置500,包括:
获取单元510,用于获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度。
处理单元520,用于根据每一帧画面对应的信息隶属度确定帧间差异,其中,帧间差异包括相邻帧间的差异。
确定单元530,用于根据帧间差异在画面中确定坏帧。
本申请提供的坏帧自动检测装置的原理、实现方式、技术效果与图1相似,不再赘述。
图6为本申请另一示例性实施例示出的坏帧自动检测装置的结构图。
如图6所示,在上述实施例基础上,本申请提供的坏帧自动检测装置600中,获取单元510,包括:
获取模块511,用于获取每一帧画面的画面参数,并根据每一帧画面的画面参数,确定每一帧画面的以下任一种信息:画面亮度、画面色度、直方图、画面运动向量、像素运动轨迹、光线变化。
获取单元510,还包括亮度模糊化处理模块512,用于基于预设映射关系确定画面亮度所属的亮度区间,并确定亮度区间对应的亮度隶属度。
获取单元510,还包括色度模糊化处理模块513,用于基于预设映射关系确定画面色度所属的色度区间,并确定色度区间对应的色度隶属度。
获取单元510,还包括直方图模糊化处理模块514,用于基于预设映射关系确定直方图所属的直方图区间,并确定直方图区间对应的直方图隶属度。
获取单元510,还包括运动向量模糊化处理模块515,用于基于预设映射关系确定画面运动向量所属的色度区间,并确定运动向量区间对应的运动向量隶属度。
获取单元510,还包括运动轨迹模糊化处理模块516,用于基于预设映射关系确定运动轨迹所属的色度区间,并确定运动轨迹区间对应的运动轨迹隶属度。
获取单元510,还包括光线变化模糊化处理模块517,用于基于预设映射关系确定光线变化所属的色度区间,并确定光线变化区间对应的光线变化隶属度。
处理单元520,包括:
差异确定模块521,用于根据第一帧画面的每一第一信息隶属度、第二帧画面的每一第二信息隶属度,确定与第一信息隶属度、第二信息隶属度对应的每一画面差异值;
结果确定模块522,用于根据第一帧画面与第二帧画面之间的每一画面差异值,确定帧间差异。
结果确定模块522具体用于:
根据与每一画面差异值对应的预设权重、第一帧画面与第二帧画面之间的每一画面差异值,确定第一帧画面与第二帧画面间的帧间差异。
确定单元530具体用于:
根据一帧画面与其他帧画面之间的各差异,确定一帧画面是否为坏帧。可选的,装置还包括:
缺帧确定单元540,用于获取待检测视频中每一帧画面的帧序号,并根据帧序号确定画面帧缺失信息。
可选的,装置还包括:
故障帧确定单元550,用于读取每一帧画面的帧数据,若无法正常读取,则确定无法正常读取的画面帧为故障帧。
图7为本申请一示例性实施例示出的电子设备的结构图。
如图7所示,本实施例提供的电子设备包括:
存储器701;
处理器702;以及
计算机程序;
其中,计算机程序存储在存储器701中,并配置为由处理器702执行以实现如上的任一种坏帧自动检测方法。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,
计算机程序被处理器执行以实现如上的任一种坏帧自动检测方法。
本实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现上述任一种坏帧自动检测方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种坏帧自动检测方法,其特征在于,包括:
获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;
根据每一帧画面对应的信息隶属度确定帧间差异,其中,所述帧间差异包括相邻帧间的差异;
根据所述帧间差异在所述待检测视频中确定坏帧;
所述获取待检测视频中每一帧画面的信息,包括:
获取每一帧画面的画面参数,并根据每一帧画面的画面参数,确定每一帧画面的以下信息:
画面亮度、画面色度、直方图、画面运动向量、像素运动轨迹和光线变化;
所述基于预设映射关系确定每一信息对应的信息隶属度,包括:
基于预设映射关系确定所述画面亮度所属的亮度区间,并确定所述亮度区间对应的亮度隶属度;
基于预设映射关系确定所述画面色度所属的色度区间,并确定所述色度区间对应的色度隶属度;
基于预设映射关系确定所述直方图所属的直方图区间,并确定所述直方图区间对应的直方图隶属度;
基于预设映射关系确定所述画面运动向量所属的运动向量区间,并确定所述运动向量区间对应的运动向量隶属度;
基于预设映射关系确定所述像素运动轨迹所属的运动轨迹区间,并确定所述运动轨迹区间对应的运动轨迹隶属度;
基于预设映射关系确定所述光线变化所属的光线变化区间,并确定所述光线变化区间对应的光线变化隶属度;
根据每一帧画面对应的信息隶属度确定帧间差异,包括:
根据第一帧画面的每一第一信息隶属度、第二帧画面的每一第二信息隶属度,确定与所述第一信息隶属度、所述第二信息隶属度对应的每一画面差异值;
根据与每一画面差异值对应的预设权重、所述第一帧画面与所述第二帧画面之间的每一画面差异值,确定所述第一帧画面与所述第二帧画面间的帧间差异。
2.根据权利要求1所述的方法,其特征在于,所述根据所述帧间差异在所述待检测视频中确定坏帧,包括:
根据一帧画面与其他帧画面之间的各差异,确定所述一帧画面是否为坏帧。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取待检测视频中每一帧画面的帧序号,并根据所述帧序号确定画面帧缺失信息;
读取每一帧画面的帧数据,若无法正常读取,则确定无法正常读取的画面帧为故障帧。
4.一种坏帧自动检测装置,其特征在于,包括:
获取单元,用于获取待检测视频中每一帧画面的信息,并基于预设映射关系确定每一信息对应的信息隶属度;
处理单元,用于根据每一帧画面对应的信息隶属度确定帧间差异,其中,所述帧间差异包括相邻帧间的差异;
确定单元,用于根据所述帧间差异在所述待检测视频中确定坏帧;
所述获取单元,具体用于获取每一帧画面的画面参数,并根据每一帧画面的画面参数,确定每一帧画面的以下信息:
画面亮度、画面色度、直方图、画面运动向量、像素运动轨迹和光线变化;
所述获取单元,具体用于基于预设映射关系确定所述画面亮度所属的亮度区间,并确定所述亮度区间对应的亮度隶属度;
基于预设映射关系确定所述画面色度所属的色度区间,并确定所述色度区间对应的色度隶属度;
基于预设映射关系确定所述直方图所属的直方图区间,并确定所述直方图区间对应的直方图隶属度;
基于预设映射关系确定所述画面运动向量所属的运动向量区间,并确定所述运动向量区间对应的运动向量隶属度;
基于预设映射关系确定所述像素运动轨迹所属的运动轨迹区间,并确定所述运动轨迹区间对应的运动轨迹隶属度;
基于预设映射关系确定所述光线变化所属的光线变化区间,并确定所述光线变化区间对应的光线变化隶属度;
所述处理单元,具体用于根据第一帧画面的每一第一信息隶属度、第二帧画面的每一第二信息隶属度,确定与所述第一信息隶属度、所述第二信息隶属度对应的每一画面差异值;
根据与每一画面差异值对应的预设权重、所述第一帧画面与所述第二帧画面之间的每一画面差异值,确定所述第一帧画面与所述第二帧画面间的帧间差异。
5.一种电子设备,其特征在于,包括存储器和处理器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于读取所述存储器存储的计算机程序,并根据所述存储器中的计算机程序执行上述权利要求1-3任一项所述的方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述权利要求1-3任一项所述的方法。
CN202110615344.3A 2021-06-02 2021-06-02 坏帧自动检测方法、装置、设备、存储介质、程序产品 Active CN113365103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110615344.3A CN113365103B (zh) 2021-06-02 2021-06-02 坏帧自动检测方法、装置、设备、存储介质、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110615344.3A CN113365103B (zh) 2021-06-02 2021-06-02 坏帧自动检测方法、装置、设备、存储介质、程序产品

Publications (2)

Publication Number Publication Date
CN113365103A CN113365103A (zh) 2021-09-07
CN113365103B true CN113365103B (zh) 2023-03-28

Family

ID=77531428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110615344.3A Active CN113365103B (zh) 2021-06-02 2021-06-02 坏帧自动检测方法、装置、设备、存储介质、程序产品

Country Status (1)

Country Link
CN (1) CN113365103B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156210A (zh) * 2023-02-07 2023-12-01 荣耀终端有限公司 闪屏检测方法和闪屏检测装置
CN116866665B (zh) * 2023-09-05 2023-11-14 中信建投证券股份有限公司 一种视频播放方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0452824A3 (en) * 1990-04-17 1992-12-02 Apt Instruments Corp. Approximate reasoning apparatus
CN103281559A (zh) * 2013-05-31 2013-09-04 于京 视频质量检测的方法及系统
CN106778357B (zh) * 2016-12-23 2020-02-07 北京神州绿盟信息安全科技股份有限公司 一种网页篡改的检测方法及装置
CN110830788A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种检测黑屏图像的方法及装置
CN110298869A (zh) * 2019-07-08 2019-10-01 威创集团股份有限公司 一种视频分析方法及系统
CN112788329A (zh) * 2020-12-24 2021-05-11 深圳创维-Rgb电子有限公司 视频静帧检测方法、装置、电视及存储介质

Also Published As

Publication number Publication date
CN113365103A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN113365103B (zh) 坏帧自动检测方法、装置、设备、存储介质、程序产品
CN102473291B (zh) 体育视频中的远视场景的检测和自适应视频处理方法
EP3467767A1 (en) Anomalous pixel detection
CN108509917B (zh) 基于镜头类相关性分析的视频场景分割方法和装置
WO2006039320A1 (en) Correction of blotches in component images
CN110807396B (zh) 基于光照方向一致性的换脸视频篡改检测方法及系统
CN110958467B (zh) 视频质量预测方法和装置及电子设备
CN109308711A (zh) 目标检测方法、装置及图像处理设备
CN114863236A (zh) 基于双重注意力机制的图像目标检测方法
WO2023221608A1 (zh) 口罩识别模型的训练方法、装置、设备及存储介质
CN116012579A (zh) 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN113066074A (zh) 一种基于双目视差偏移融合的视觉显著性预测方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN114419102B (zh) 一种基于帧差时序运动信息的多目标跟踪检测方法
CN114494931A (zh) 一种针对视频图像故障的智能分类处理方法和系统
CN115700737A (zh) 一种基于视频监控的溢油检测方法
Yuan et al. Salient Object Detection Based on Improved PoolNet.
Liu et al. Temporal-consistency-aware video color transfer
Fu et al. Full-reference Video quality assessment based on spatiotemporal visual sensitivity
CN116189058B (zh) 基于无监督深度学习的视频显著性目标检测方法及系统
Orti et al. Guided-Crop Image Augmentation for Small Defect Classification
CN112069967B (zh) 异源视频融合的夜视抗晕光行人检测及跟踪方法
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant