CN117201845A - 基于帧比对的直播节目首播和重播内容一致性监测方法 - Google Patents
基于帧比对的直播节目首播和重播内容一致性监测方法 Download PDFInfo
- Publication number
- CN117201845A CN117201845A CN202311188795.9A CN202311188795A CN117201845A CN 117201845 A CN117201845 A CN 117201845A CN 202311188795 A CN202311188795 A CN 202311188795A CN 117201845 A CN117201845 A CN 117201845A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- image
- head
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 239000012634 fragment Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于帧比对的直播节目首播和重播内容一致性监测方法，涉及电视直播节目监测技术领域，根据首播节目片头和片尾识别录制片头和片尾间的首播视频，提取首播视频场景转换帧序列；进行重播节目片头识别，将待检测的视频帧图像存入消息队列；重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；逐帧进行内容一致性判断，不一致则输出报警信号。通过模板匹配快速识别节目片头和片尾，获取首播节目的视频文件及重播节目的视频流，大幅减少了逐帧比对的计算量；通过实时比对重播视频流与首播视频片头场景转换帧序列实现帧对齐，最后实时逐帧比对首播重播视频画面，保证了比对的快速实时性，第一时间发现异常并报警。
Description
技术领域
本申请涉及电视直播节目监测技术领域，具体涉及一种基于帧比对的直播节目首播和重播内容一致性监测方法。
背景技术
电视台作为重要的信息传播媒介，具有广泛的影响力，直播节目的准确性和可信度是保障观众权益和信息安全的基石，任何对节目内容的篡改都可能导致社会公众的误解、恐慌或造成不良社会影响。在电视直播节目的监测领域，对于节目的首播和重播内容一致性进行监测是至关重要的，特别是新闻直播类节目，如果内容被篡改，可能会对社会稳定和公共秩序造成严重影响。
节目首播和重播内容一致性监测的常见的监测方案主要包括两种。一种是对直播码流进行数据加密，在服务端对直播信号进行加密，客户端播放时进行解密和校验，或者，将提取到的视频特征码与服务器端进行同步比较。这种方式虽然简单高效，但是在码流传输过程中，不少网络设备(如编转码设备、复用设备、IP流矩阵等)会对码流内容进行修改(例如：分辨率转换、插入PSI表格、更改音视频PID信息等)，这就会导致码流特征码发生变化，而节目内容本身（音频、视频）没有发生变化，从而造成校验失败而误告警。另一种是对节目视频内容进行校验，针对两段视频文件进行内容一致性比对，不支持对直播信号进行监测，且比对是以场景片段为单位，而非逐帧比对，不符合快速实时监测报警的要求。
因此，如何实现播节目首播和重播内容一致性监测的即时性是本领域亟待解决的技术问题。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种基于帧比对的直播节目首播和重播内容一致性监测方法，包括：
根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列；
基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频；
根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列；
基于模板匹配进行重播节目片头识别，将待检测的视频帧图像存入消息队列；
重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；
针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号。
在一种可能的实现方式中，所述根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列，包括：
创建UDP网络连接实时接收数据包并进行识别；
获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；
将图像帧进行缩放、过滤，处理后的图像存入消息队列。
在一种可能的实现方式中，所述基于模板匹配进行首播节目片头和片尾识别录制片头和片尾间的首播视频，包括：
首先从头消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；
识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；
当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；
当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用。
在一种可能的实现方式中，所述模板匹配具体为：
针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码；
逐帧比较直播视频图像与片头模版图像的差值哈希编码，计算汉明距离，包括：⊕/> ，其中：i=0,1,..n-1，x，y都是n位的编码，⊕表示异或；
当汉明距离小于设定的阈值，即认为匹配到了模板图像；
当匹配到所有的模板图像后，即认为实现了模板匹配。
在一种可能的实现方式中，所述针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码，包括：
将每帧图像缩小为固定的尺寸，并将其转换为灰度图像；
计算所述灰度图像相邻像素的差值，为右侧像素值减左侧像素值；
当差值大于等于0时对应二进制位为1，否则为0；
将所有像素的二进制位组合起来，得到图像的差值哈希编码。
在一种可能的实现方式中，所述根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列，包括：
提取首播视频第一时间窗口视频片段的每一帧图像，得到首播视频流列表 ；
针对 中所有相邻两帧，基于SSIM算法进行相似度比对；
相邻两帧计算SSIM相似度值小于设定阈值，即认为提取到了场景转换帧；
场景转换帧索引与相邻两个场景转换帧间的距离组成首播场景转换帧列表。
在一种可能的实现方式中，所述针对中所有相邻两帧，基于SSIM算法进行相似度比对，包括：
将中图像帧进行图像预处理统一待比对图像的分辨率和尺寸；
对图像进行分割局部比对或整图像比对；
分别计算相邻两帧RGB三通道图像的SSIM值，三通道SSIM均值作为图像比对相似度值，SSIM计算公式如下：
其中 和 />分别表示两幅图像x和y的像素平均值，用 />和 />分别表示两幅图像x和y的像素标准差，用/>表示两幅图像x和y的像素协方差， />和 />是为了避免分母为零而引入的常数。
在一种可能的实现方式中，所述重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐，包括：
基于SSIM算法将消息队列中的重播视频流列表 和 />进行相似度比对；
匹配相似度值大于设定阈值即认为找到了对齐帧，当中找到连续两帧对齐帧，且帧间隔与/>中相应两个对齐帧间隔相同，即认为实现帧对齐；
将相邻两个对齐帧中后一个帧认为是最终对齐帧，删除各自队列中对齐帧前的视频帧，实现视频同步。
在一种可能的实现方式中，所述针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号，包括：
基于PSNR算法将对齐后的 和 />逐帧进行相似度比对；
当比对PSNR值大于设定阈值，即认为图像内容一致；
利用错位比对机制错位比对后判定内容一致，具体为：如重播视频丢帧可将中图像帧序列右移n次与 />重新对齐继续比对，首播视频丢帧则将/>图像帧序列左移n次与重新对齐比对，其中n为丢帧数。
在一种可能的实现方式中，所述基于PSNR算法将对齐后的和/>逐帧进行相似度比对，包括:
统一待比对图像的分辨率和尺寸；
将读取到的视频RGB图像转换为灰度图像；
计算两副图像的均方误差MSE值，MSE表征两幅图像每个位置像素值差异的度量，计算公式如下：
根据MSE计算PSNR值，计算公式如下：
其中， 是原始图像的第i个像素值，/>是待比较图像的第i个像素值，m是图像像素的总数，MAX是图像像素值的最大可能取值。
在本申请实施例中，通过模板匹配快速识别节目片头和片尾，获取首播节目视频文件及重播节目视频流，大幅减少了逐帧比对的计算量；通过实时比对重播视频流与首播视频片头场景转换帧序列实现帧对齐；最后实时逐帧比对首播重播视频画面，在兼顾一定准确度的同时保证了比对的快速实时性，实现第一时间发现异常并报警。
附图说明
图1为本申请实施例提供的一种基于帧比对的直播节目首播和重播内容一致性监测方法流程示意图；
图2为本申请实施例提供的内容一致性比对流程示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种基于帧比对的直播节目首播和重播内容一致性监测方法流程示意图。参见图1，本实施例中的基于帧比对的直播节目首播和重播内容一致性监测方法，包括：
S101，根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列。
创建UDP网络连接，设置组播地址（如udp://@237.1.1.100:1111）实时接收数据包，使用ffprobe获取视频信息，视频传输协议为H.264，分辨率为1080P，码率为8.0Mbps，帧率为25fps。通过ffmpeg将视频流拆分成图像帧序列，并将图像进行缩放，缩放比为0.5，将处理后的视频帧图像存入消息队列。
S102，基于模板匹配进行首播节目片头和片尾识别录制片头和片尾间的首播视频。
首先从头消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头。识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾。当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件。当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用。
模板匹配具体为：针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码；逐帧比较直播视频图像与片头模版图像的差值哈希编码，计算汉明距离，包括：⊕/> ，其中：i=0,1,..n-1，x，y都是n位的编码，⊕表示异或；当汉明距离小于设定的阈值，即认为匹配到了模板图像；当匹配到所有的模板图像后，即认为实现了模板匹配。模板匹配后要及时开启或停止视频录制，要求匹配过程快速准确，符合差值哈希算法特点，算法基本原理是对图像降采样，然后求像素间差值，计算过程简单因此处理速度很快。
所述针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码，包括：将每帧图像缩小为固定的尺寸，并将其转换为灰度图像；计算所述灰度图像相邻像素的差值，为右侧像素值减左侧像素值；当差值大于等于0时对应二进制位为1，否则为0；将所有像素的二进制位组合起来，得到图像的差值哈希编码。
本实施例中，具体地截取近期新闻视频片头片尾各第二时间窗口的TS片段，通过ffmpeg将片段拆分为图像帧序列，各250帧，作为片头片尾模板。所述首播节目识别，将首播消息队列Ai中的每一帧图像与片头模板进行匹配，基于差值哈希算法进行图像比对。原图像分辨率为1080P缩放0.5后像素点和信息量依然非常大，首先将待比对图像缩小为9*8像素，通过OpenCV灰度化图像，计算其差值哈希编码，一幅图像共8行，每行9个像素，同行相邻像素求差，产生8个差值，8bit组成一个byte，如果前一个像素颜色强度大于第二个像素，差值设置为True(也就是1)，反之设置为False(0)，从左上到右下逐步进行相邻像素求差，得到图像最终的差值哈希编码dHash。然后逐帧比较首播视频图像与片头模版图像的差值哈希编码，计算它们的汉明距离，汉明距离是统计dHash差异值的位数，如dHash为0110与1111的汉明距离为2。通过实验数据分析，这里我们设定汉明距离阈值为5，当比对图像汉明距离小于5时，认为图像画面一致，即匹配成功。当完成了整个片头模板匹配，开始直播视频的录制，新闻视频持续25分钟后，匹配片尾模版，结束录制。
S103，根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列。
提取首播视频第一时间窗口视频片段的每一帧图像，得到首播视频流列表 ；针对 />中所有相邻两帧，基于SSIM算法进行相似度比对；相邻两帧计算SSIM相似度值小于设定阈值，即认为提取到了场景转换帧；场景转换帧索引与相邻两个场景转换帧间的距离组成首播场景转换帧列表/>。
基于SSIM算法进行相似度比对，包括：
将中图像帧进行图像预处理统一待比对图像的分辨率和尺寸；
对图像进行分割局部比对或整图像比对；
分别计算相邻两帧RGB三通道图像的SSIM值，三通道SSIM均值作为图像比对相似度值，SSIM计算公式如下：
其中： 和 />分别表示两幅图像x和y的像素平均值，用 />和 />分别表示两幅图像x和y的像素标准差，用 />表示两幅图像x和y的像素协方差， />和 />是为了避免分母为零而引入的常数。SSIM的取值范围在-1到1之间，取值越大相似性越高，越小相似性越低。场景转换帧是视频画面转换时的图像，具备比较明显的特征，识别度高，因此这里采用SSIM算法，SSIM不仅能从技术上反映图像间的像素差异，更能反映人眼对图像的感知，是对亮度、对比度和结构等因素的综合评估。
本实施例中，具体地在首播视频录制结束，对视频文件进行处理。截取视频文件片头片尾第二时间窗口的片段拆分为图像帧替换原模板图像，以保证模板图像总是最新的。截取视频文件片头第一时间窗口的TS片段，通过ffmpeg将片段拆分为图像帧序列，得到图像列表 。以下，基于SSIM算法提取 />列表中的场景转换帧，首先对/>列表中图像进行预处理，重要参数选择，图像缩放比为0.2，阈值为0.6，计算列表中相邻两帧的SSIM相似度值，当值小于0.6时，即认为提取到了场景转换帧，帧索引为/>，相邻两个场景转换帧的距离，即帧间隔为/>，(/>,/>)组成场景转换帧列表/>的基本元素，场景转换帧列表/>的格式为[( />,),( />, />)...,( />,/>)]。
S104，基于模板匹配进行重播节目片头识别，将待检测的视频帧图像存入消息队列。
实时读取重播UDP组播流的视频帧，将待检测的视频帧图像存入消息队列，将消息队列中的每一帧图像与片头模板进行匹配，基于差值哈希算法进行图像比对，计算过程同步骤2。当完成了整个片头模板的匹配，重播节目开始。
S105，重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐。
基于SSIM算法将消息队列中的重播视频流列表和 />进行相似度比对；匹配相似度值大于设定阈值即认为找到了对齐帧，当 />中找到连续两帧对齐帧，且帧间隔与 />中相应两个对齐帧间隔相同，即认为实现帧对齐；将相邻两个对齐帧中后一个帧认为是最终对齐帧，删除 />各自队列中对齐帧前的视频帧，实现视频同步。帧对齐是实时帧与场景转换帧间的比对，结合上文对SSIM算法的分析，此处帧对齐仍采用SSIM算法。
重播节目开始，将消息队列 中的每一帧图像，基于SSIM算法与 />中的图像逐帧比对，首先统一比对图像的分辨率和尺寸，即将 />中图像按0.2比例进行缩放，SSIM阈值为0.8，计算比对图像的SSIM相似度值，当值大于0.8时，即认为找到了对齐帧，当/>中存在连续两帧 />和/>分别与重播视频帧队列 />中的帧/>和 />相似度值大于0.8且它们的帧间隔相同，即k-j= />（允许差别1-2帧）时，以/>和 />为最终对齐帧，删除首播视频帧列表中 />之前的视频帧，删除视频帧列表 />中 />之前的视频帧，实现视频同步。
S106，针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号。
基于PSNR算法将对齐后的 和 />逐帧进行相似度比对。当比对PSNR值大于设定阈值，即认为图像内容一致；利用错位比对机制错位比对后判定内容一致，具体为：如重播视频丢帧可将 />中图像帧序列右移n次与 />重新对齐继续比对，首播视频丢帧则将/>图像帧序列左移n次与 />重新对齐比对，其中n为丢帧数。
所述基于PSNR算法将对齐后的和/>逐帧进行相似度比对，包括:统一待比对图像的分辨率和尺寸；将读取到的视频RGB图像转换为灰度图像；计算两副图像的均方误差MSE值，MSE表征两幅图像每个位置像素值差异的度量，计算公式如下：
根据MSE计算PSNR值，计算公式如下：
其中，是原始图像的第i个像素值，/>是待比较图像的第i个像素值，m是图像像素的总数， MAX是图像像素值的最大可能取值。PSNR计算方法相对简单，适用于快速计算和批处理，且计算基于均方误差MSE计算的，属于数学上严格的度量，因此此处逐帧比对一致性采用PSNR。
本实施例中，针对对齐后的首播视频 列表与重播视频流/>列表，将每个消息队列中的每一帧图像，首先进行图像的预处理，通过OpenCV灰度化图像，根据PSNR计算公式计算图像之间的均方误差MSE和PSNR值，PSNR值越高，表示两幅画面之间的差异越小，画面一致性越好，通常来说，PSNR大于20dB为优秀，大于25dB为非常优秀，如果大于30dB，则可以称之为“无失真”，此处PSNR阈值设定为25dB。现实环境中，因网络波动，转码异常等造成帧缺失是实际存在的，因此引入错位比对机制，当比对内容不一致时，左移和右移/>列表n帧，重新与 />列表比对，错位比对后判定内容一致时，认为图像比对一致，否则为不一致，推送告警信号。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a, b, c, a-b,a-c, b-c,或a-b-c，其中a, b, c可以是单个，也可以是多个。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，包括：
根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列；
基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频；
根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列；
基于模板匹配进行重播节目片头识别，将待检测的视频帧图像存入消息队列；
重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；
针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号。
2.根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列，包括：
创建UDP网络连接实时接收数据包并进行识别；
获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；
将图像帧进行缩放、过滤，处理后的图像存入消息队列。
3.根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频，包括：
首先将消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；
识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；
当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；
当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用。
4.根据权利要求3所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述模板匹配具体为：
针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码；
逐帧比较直播视频图像与片头模版图像的差值哈希编码，计算汉明距离，包括：⊕/>，其中：/>=0,1,..n-1，/>,/>都是n位的编码，⊕表示异或；
当汉明距离小于设定的阈值，即认为匹配到了模板图像；
当匹配到所有的模板图像后，即认为实现了模板匹配。
5.根据权利要求4所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码，包括：
将每帧图像缩小为固定的尺寸，并将其转换为灰度图像；
计算所述灰度图像相邻像素的差值，为右侧像素值减左侧像素值；
当差值大于等于0时对应二进制位为1，否则为0；
将所有像素的二进制位组合起来，得到图像的差值哈希编码。
6.根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列，包括：
提取首播视频第一时间窗口视频片段的每一帧图像，得到首播视频流列表；
针对中所有相邻两帧，基于SSIM算法进行相似度比对；
相邻两帧计算SSIM相似度值小于设定阈值，即认为提取到了场景转换帧；
场景转换帧索引与相邻两个场景转换帧间的距离组成首播场景转换帧列表。
7.根据权利要求6所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述针对中所有相邻两帧，基于SSIM算法进行相似度比对，包括：
将中图像帧进行图像预处理，统一待比对图像的分辨率和尺寸；
对图像进行分割局部比对或整图像比对；
分别计算相邻两帧RGB三通道图像的SSIM值，将三通道SSIM均值作为图像比对相似度值，SSIM计算公式如下：
其中：和/>分别表示两幅图像x和y的像素平均值，用/>和/>分别表示两幅图像x和y的像素标准差，用/>表示两幅图像x和y的像素协方差，/>和/>是为了避免分母为零而引入的常数。
8.根据权利要求7所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐，包括：
基于SSIM算法将消息队列中的重播视频流列表和/>进行相似度比对；
匹配相似度值大于设定阈值即认为找到了对齐帧，当中找到连续两帧对齐帧，且帧间隔与/>中相应两个对齐帧间隔相同，即认为实现帧对齐；
将相邻两个对齐帧中后一个帧认为是最终对齐帧，删除各自队列中对齐帧前的视频帧，实现视频同步。
9.根据权利要求8所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号，包括：
基于PSNR算法将对齐后的和/>逐帧进行相似度比对；
当比对PSNR值大于设定阈值，即认为图像内容一致；
利用错位比对机制错位比对后判定内容一致，具体为：如重播视频丢帧可将中图像帧序列右移n次与/>重新对齐继续比对，首播视频丢帧则将/>图像帧序列左移n次与/>重新对齐比对，其中n为丢帧数。
10.根据权利要求9所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述基于PSNR算法将对齐后的和/>逐帧进行相似度比对，包括:
统一待比对图像的分辨率和尺寸；
将读取到的视频RGB图像转换为灰度图像；
计算两副图像的均方误差MSE值，MSE表征两幅图像每个位置像素值差异的度量，计算公式如下：
根据MSE计算PSNR值，计算公式如下：
其中，是原始图像的第/>个像素值，/>是待比较图像的第/>个像素值，/>是图像像素的总数，/>是图像像素值的最大可能取值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311188795.9A CN117201845A (zh) | 2023-09-15 | 2023-09-15 | 基于帧比对的直播节目首播和重播内容一致性监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311188795.9A CN117201845A (zh) | 2023-09-15 | 2023-09-15 | 基于帧比对的直播节目首播和重播内容一致性监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117201845A true CN117201845A (zh) | 2023-12-08 |
Family
ID=88984685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311188795.9A Pending CN117201845A (zh) | 2023-09-15 | 2023-09-15 | 基于帧比对的直播节目首播和重播内容一致性监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117201845A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117640925A (zh) * | 2024-01-26 | 2024-03-01 | 海看网络科技(山东)股份有限公司 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006498A (zh) * | 2010-12-10 | 2011-04-06 | 北京中科大洋科技发展股份有限公司 | 基于视音频比对的安全播出监测方法 |
| CN108769731A (zh) * | 2018-05-25 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种检测视频中目标视频片段的方法、装置及电子设备 |
| CN112423010A (zh) * | 2020-11-16 | 2021-02-26 | 广东省广播电视局 | 一种广播电视直转播监测系统及监测方法 |
| KR102221792B1 (ko) * | 2019-08-23 | 2021-03-02 | 한국항공대학교산학협력단 | 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법 |
| CN112866800A (zh) * | 2020-12-31 | 2021-05-28 | 四川金熊猫新媒体有限公司 | 视频内容相似性检测方法、装置、设备及存储介质 |
| WO2022121186A1 (zh) * | 2020-12-11 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于目标匹配的油气管道巡检方法、装置、设备及介质 |
| CN115914676A (zh) * | 2022-12-21 | 2023-04-04 | 湖南广播影视集团有限公司 | 一种超高清视频信号的实时监测比对方法及系统 |
-
2023
- 2023-09-15 CN CN202311188795.9A patent/CN117201845A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006498A (zh) * | 2010-12-10 | 2011-04-06 | 北京中科大洋科技发展股份有限公司 | 基于视音频比对的安全播出监测方法 |
| CN108769731A (zh) * | 2018-05-25 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种检测视频中目标视频片段的方法、装置及电子设备 |
| KR102221792B1 (ko) * | 2019-08-23 | 2021-03-02 | 한국항공대학교산학협력단 | 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법 |
| CN112423010A (zh) * | 2020-11-16 | 2021-02-26 | 广东省广播电视局 | 一种广播电视直转播监测系统及监测方法 |
| WO2022121186A1 (zh) * | 2020-12-11 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于目标匹配的油气管道巡检方法、装置、设备及介质 |
| CN112866800A (zh) * | 2020-12-31 | 2021-05-28 | 四川金熊猫新媒体有限公司 | 视频内容相似性检测方法、装置、设备及存储介质 |
| CN115914676A (zh) * | 2022-12-21 | 2023-04-04 | 湖南广播影视集团有限公司 | 一种超高清视频信号的实时监测比对方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117640925A (zh) * | 2024-01-26 | 2024-03-01 | 海看网络科技(山东)股份有限公司 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11023618B2 (en) | Systems and methods for detecting modifications in a video clip | |
| CN108933935B (zh) | 视频通信系统的检测方法、装置、存储介质和计算机设备 | |
| US8009861B2 (en) | Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures | |
| US10354354B2 (en) | Content synchronization using watermark timecodes | |
| TWI442773B (zh) | 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術 | |
| US6246803B1 (en) | Real-time feature-based video stream validation and distortion analysis system using color moments | |
| CN117201845A (zh) | 基于帧比对的直播节目首播和重播内容一致性监测方法 | |
| WO2007148290A2 (en) | Generating fingerprints of information signals | |
| KR20170021384A (ko) | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 | |
| HUE028719T2 (en) | Procedure and apparatus for temporarily synchronizing the input bit stream of a video decoder with the processed video sequence decoded by the video decoder | |
| US9860594B2 (en) | Method and apparatus for image frame identification and video stream comparison | |
| JP4789212B2 (ja) | 映像品質評価方法および装置 | |
| CN112839244B (zh) | 一种基于码流级别的监控视频分级加解密方法及系统 | |
| GB2352915A (en) | A method of retrieving text data from a broadcast image | |
| US20100026813A1 (en) | Video monitoring involving embedding a video characteristic in audio of a video/audio signal | |
| US11638051B2 (en) | Real-time latency measurement of video streams | |
| CN117640925A (zh) | 一种多路视频画面一致性检测方法、系统及电子设备 | |
| CN116939197A (zh) | 基于音视频的直播节目首播和重播内容一致性监测方法 | |
| CN111954071B (zh) | 一种端到端全链路的视频播放加密技术和权限控制方法 | |
| CN113014953A (zh) | 视频防篡改检测方法及视频防篡改检测系统 | |
| CN109194965B (zh) | 处理方法、处理装置、显示方法和显示装置 | |
| KR20180028588A (ko) | 입력 시점이 다른 동영상 데이터의 장면기반 핑거프린트를 이용한 적응적 프레임 동기화 방법 및 장치 | |
| CN116051477A (zh) | 一种超高清视频文件的图像噪声检测方法及装置 | |
| TW591952B (en) | Intelligent video stream processing method and system thereof | |
| CN112954448A (zh) | 直播内容图像特征码提取方法及直播内容一致性比对方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |