CN117640925A - 一种多路视频画面一致性检测方法、系统及电子设备 - Google Patents
一种多路视频画面一致性检测方法、系统及电子设备 Download PDFInfo
- Publication number
- CN117640925A CN117640925A CN202410107600.1A CN202410107600A CN117640925A CN 117640925 A CN117640925 A CN 117640925A CN 202410107600 A CN202410107600 A CN 202410107600A CN 117640925 A CN117640925 A CN 117640925A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- frames
- scene
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000007704 transition Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000007619 statistical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种多路视频画面一致性检测方法、系统及电子设备，涉及IPTV技术领域，包括：将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。经过视频帧对齐实现多路信号同步，在此前提下逐帧进行画面一致性比对，将实时比对数据及截图等进行保存，最后将分析结果进行图像展示或推送异常告警。结合IPTV信源系统的特点，通过画面一致性比对手段进行信号异常监测，弥补了常规监测能力的不足，提高了IPTV播出系统运行的稳定性。
Description
技术领域
本申请涉及IPTV技术领域，具体涉及一种多路视频画面一致性检测方法、系统及电子设备。
背景技术
IPTV（Internet Protocol Television，互联网协议电视）是通过互联网传输视频和电视节目的一种技术。过去近十年间，国内的IPTV在政策支持、用户需求和技术发展的推动下，得到了迅速普及，高清晰度、丰富多样的内容选择以及跨平台观看体验等因素都推动了IPTV业务的普及和发展，为了给用户提供良好的观看体验，IPTV的安全播出保障和信号异常监测有着非常重要的意义。
目前生产环境中IPTV系统信号异常监测多是针对信号画面本身的常规异态监测，比如断流、静帧、马赛克，黑场等，对某些非常规异态比如跳帧、画面抖动等受限于监测软件的数据集范围，有时会无法检出。
针对于上述问题，结合IPTV系统链路特点，通过多路视频一致性的比对可以实现全面的异常检测。传统的多路一致性比对技术中，根据基准信号和比对信号的时间戳获取时间偏移量进行信号同步，但是IPTV平台中多路视频流的时间偏移量会受较多因素影响，系统中部署设备分多品牌，时间戳生成策略不同，并且不同的设备可能存在时钟漂移，另外视频流经过网络传输可能存在传输延迟、丢包或乱序等问题，这些因素都可能导致多路视频流的时间偏移量发生变化，根据偏移量进行对齐同步不够准确，进而无法实现画面一致性的准确检测。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种多路视频画面一致性检测方法，包括：
将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；
确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；
确定所述对齐帧后舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
在一种可能的实现方式中，所述将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中，包括：
将所述多路视频流进行数据预处理获取视频流TS片段；
基于ffmpeg对视频流TS片段进行识别转码获取参数信息，所述参数信息包括：视频格式、分辨率、码率和帧率；
视频流TS片段识别转码后拆分为视频帧序列；
读取所述视频帧序列中的每一帧数据，对每一帧数据进行缩放、去噪、分割和增强处理；
将最终处理完的帧数据写入内存队列，缓存视频流的每一帧图像。
在一种可能的实现方式中，所述确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步，包括：
将存储到内存队列中的视频帧序列的RGB图像转换为灰度图像；
然后将每一帧的灰度图像计算为灰度直方图；
分别对每个视频帧序列中相邻两帧的灰度直方图进行求差，如果大于第一预设阈值，则提取视频帧序列中的场景转换帧加入到场景转换帧列表中；
对不同场景转换帧列表中的场景转换帧进行两两相似度比对，如果大于第二预设阈值则提取对齐帧。
在一种可能的实现方式中，所述对不同场景转换帧列表中的场景转换帧进行两两相似度比对，如果大于第二预设阈值则提取对齐帧，包括：
选取第一场景转换帧列表中的第一场景转换帧作为参考帧；
将其他场景转换帧列表中的场景转换帧与所述参考帧进行比较，计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，所述PSNR值越高表示场景转换帧与参考帧的画面差异越小；
确定出其他场景转换帧列表中与所述参考帧PSNR值最大的第二场景转换帧作为与所述参考帧的对齐帧。
在一种可能的实现方式中，所述计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，包括：
其中，MAX是图像像素值的最大取值， MSE是均方误差，表征两幅图像每个位置像素值差异的度量；
xi是原始图像的第i个像素值,yi是待比较图像的第i个像素值，m是图像像素的总数。
在一种可能的实现方式中，如果从场景转换帧列表中确定出连续两个对齐帧，且两个对齐帧在所述场景转换帧列表中索引连续时，提取后一个对齐帧为作为最终对齐帧。
在一种可能的实现方式中，所述确定所述对齐帧后舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测，包括：
确定对齐帧后，删除视频帧序列中对齐帧之前所有帧，实现信号同步；
基于SSIM结构相似性算法对所述视频帧序列中对齐帧之后的所有视频帧逐帧进行相似性比对；
如果比对结果大于第三预设阈值则认定画面一致，或者如果比对结果小于第三预设阈值，则进行错位比对，如果错位比对后比对结果大于第三预设阈值则认定画面一致。
在一种可能的实现方式中，所述如果比对结果小于第三预设阈值，则进行错位比对，包括：
将比对结果小于第三预设阈值的两个视频帧确定为比对参考视频帧和错位移动视频帧；
如果所述参考视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向左移动n次与所述参考视频帧重新进行比对；或者，如果所述错位移动视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向右移动n次与所述参考视频帧重新进行比对，其中n为丢帧数，n值根据网络环境确定。
第二方面，本申请实施例提供了一种多路视频画面一致性检测系统，包括：
视频处理模块，用于将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；
视频流同步模块，用于确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；
一致性检测模块，用于确定所述对齐帧后舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
第三方面，本申请实施例提供了一种电子设备，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面任一可能实现方式所述的的多路视频画面一致性检测方法。
在本申请实施例中，读取实时视频流数据并转码结构化解析写入内存队列，经过视频帧对齐，实现多路信号同步，在此前提下逐帧进行画面一致性比对，将实时比对数据及截图等进行保存，最后将分析结果进行图像展示或推送异常告警。结合IPTV信源系统的特点，通过画面一致性比对手段进行信号异常监测，弥补了常规监测能力的不足，提高了IPTV播出系统运行的稳定性。
附图说明
图1为本申请实施例提供的IPTV信源系统典型的链路示意图；
图2为本申请实施例提供的一种多路视频画面一致性检测方法的流程示意图；
图3为本申请实施例提供的视频帧对齐示意图；
图4为本申请实施例提供的A图像帧示意图；
图5为本申请实施例提供的B图像帧示意图
图6为本申请实施例提供的A、B视频场景转换帧示意图；
图7为本申请实施例提供的画面一致性检测示意图；
图8为本申请实施例提供的第一组统计分析SSIM阈值示意图；
图9为本申请实施例提供的第二组统计分析SSIM阈值示意图；
图10为本申请实施例提供的第三组统计分析SSIM阈值示意图；
图11为本申请实施例提供的错位比对示意图；
图12为本申请实施例提供的一种多路视频画面一致性检测系统的模块化示意图；
图13为本申请实施例提供的一种电子设备的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
本申请实施例提供的多路视频画面一致性检测方法主要对多路IPTV组播流比对，检测画面异常告警。以IPTV信源系统典型的链路为例，如图1所示，对转码前主信源A、转码前备信源B和转码后C三节点两两比对，通过两两判断画面一致性发现问题和锁定故障环节，如比对主备信源A、B不一致时，必然有一路信号异常，判断异常画面，将转码切换到正常一路信源，保证输出信号正常。比对A、C或者B、C信号发现不一致时，说明转码环节出现问题，排查处理。下面以比对A、B信号为例进行说明。
参见图2，本实施例提供的一种多路视频画面一致性检测方法，包括：
S101，将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中。
本实施例中首先将所述多路视频流进行数据预处理获取视频流TS片段；基于ffmpeg对视频流TS片段进行识别转码获取参数信息，所述参数信息包括：视频格式、分辨率、码率和帧率；视频流TS片段识别转码后拆分为视频帧序列；读取所述视频帧序列中的每一帧数据，对每一帧数据进行缩放、去噪、分割和增强处理；将最终处理完的帧数据写入内存队列，缓存视频流的每一帧图像。
具体地，本实施例中针对IPTV系统特点，采集信号类型包含但不限于两大类：SDI信号和IP信号，IP流信号传输协议包含但不限于MPEG2、H.264、AVS+等。使用ffprobe获取视频信息，两路视频均为H.264传输协议，分辨率为1080P，码率为8.0Mbps，帧率为25fps。再通过ffmpeg将视频流拆分成图像存入帧序列并读取到内存队列，具体参数为：图像缩放比为0.5，适当的缩放比例可以减少计算次数和提高运算效率；RGB帧图像颜色通道数为3；设定每250帧图像保存为一组PNG图像；创建视频标签，用于日志记录，程序循环异步运行ffmpeg读取UDP流拆成图像帧序列，基于OpenCV调整帧图像大小，将处理后的帧数据与一些元数据（URL、帧索引和分辨率）保存为PNG图像，每经过250帧，将图像保存在之前创建的目录中，循环进行直到终止读取UDP流，记录每250帧图像的处理时间。
S102，确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步。
多路视频流往往因为网络延迟、丢包，及主备转码效率差异等因素导致视频画面不同步，而画面一致性检测是基于信号间的逐帧比对，是在视频流完全同步的情况下进行，故比对的前提是先进行视频帧对齐。
参见图3，将步骤S1读入内存队列中的A、B图像帧序列RGB图像转为灰度图像，然后将每一帧的灰度图像计算为灰度直方图。A图像帧序列中相邻两帧的灰度直方图求差，大于第一阈值α提取A图像序列中的场景转换帧加入场景转换帧列表L1，B图像帧序列中相邻两帧的灰度直方图求差，大于第一阈值α提取B图像序列中的场景转换帧加入场景转换帧列表L2。基于PSNR算法对列表L1、L2元素两两进行相似度比对，大于第二阈值β则提取对齐帧，当找到的A图像帧序列中的两个对齐帧在场景转换帧列表中索引连续时，提取后一个对齐帧为最终对齐帧，连续两个对齐帧判定帧对齐可以提高对齐准确度。
本实施例中分析处理图像帧列表，将彩色图像转换为灰度图，然后计算其直方图，使用均值绝对差计算前后两帧的直方图差值，差值越大表示帧之间的差异越明显，当差值大于第一阈值2000时将当前帧索引加入到场景转换帧列表中，打印该帧的索引和直方图差异值，表示找到了场景转换帧，循环执行完队列中的帧列表，返回场景转换帧列表，图4中的A图像帧和图5中的B图像帧的视频场景转换帧如图6所示。
为了准确提取到对齐帧，选取第一场景转换帧列表中的第一场景转换帧作为参考帧；将其他场景转换帧列表中的场景转换帧与所述参考帧进行比较，计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，所述PSNR值越高表示场景转换帧与参考帧的画面差异越小。确定出其他场景转换帧列表中与所述参考帧PSNR值最大的第二场景转换帧作为与所述参考帧的对齐帧。
PSNR峰值信噪比是一种用于衡量图像或视频质量的指标，常用于评估图像或视频与原始参考图像之间的失真程度，也可以用于判断多路画面的一致性。在多路画面的情况下，可以将其中一路画面作为参考画面，将其他多路画面与该参考画面进行比较，计算各画面与参考画面之间的PSNR值，PSNR值越高，表示两幅画面之间的差异越小，画面一致性越好。通常来说，PSNR大于20dB为优秀，大于25dB为非常优秀，如果大于30dB，则可以称之为“无失真”。
具体地，基于PSNR逐一比较视频流A、B中的场景转换帧，设定PSNR相似度第二阈值为25dB，通过计算两幅图像的PSNR值，得到大于阈值的一对场景转换帧，当找到在场景转换帧列表中索引连续的2对PSNR值大于阈值的帧后，则认为找到了对齐帧，记录后一个连续帧的索引，认为此帧即对齐帧。如果一组帧中找不到对齐帧，则从帧队列中删除这组帧并记录日志。为避免无限循环，如比较次数超出一定限制，记录寻找对齐帧失败并跳出循环。
本实施例中，计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，包括：
其中，MAX是图像像素值的最大取值， MSE是均方误差，表征两幅图像每个位置像素值差异的度量；
xi是原始图像的第i个像素值,yi是待比较图像的第i个像素值，m是图像像素的总数。
S103，舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
参见图7，找到视频对齐帧后，删除A、B视频帧序列中对齐帧之前所有帧，实现信号同步。在此基础上基于SSIM结构相似性算法对A、B图像帧序列所有帧逐帧进行相似性比对，大于第三阈值γ时认为画面一致，否则认定为画面不一致。但在现实环境中这种比对往往不够准确，容易受到比如网络波动、丢包导致的视频帧缺失影响，因此画面一致性检测中加入了错位判断机制，错位比对后画面判断一致则仍然认定为画面一致，否则判定为不一致。
其中，SSIM结构相似性指数是一种广泛应用于图像质量评估和图像处理的指标,用于测量两幅图像之间相似性，它考虑了亮度、对比度和结构三个方面的相似性，具体为：
亮度指的是图像的整体亮暗程度，由图像的像素值的平均值来表示,用和/>分别表示两幅图像x和y的像素平均值;对比度是图像中像素值变化的程度，较高的对比度表示明显的颜色或亮度变化，而较低的对比度表示颜色或亮度较为均匀,用/>和/>分别表示两幅图像x和y的像素标准差;结构指的是图像中的边缘和纹理等高频信息，反映了图像的细节,用/>表示两幅图像x和y的像素协方差。
SSIM的计算公式是：
其中，和/>是为了避免分母为零而引入的常数。SSIM的取值范围在[-1, 1]之间，值越大代表两幅图像相似度越接近，可设置阈值进行画面一致性的判断。
由于比对运算量较大且判断准确度受算法参数直接影响，程序通过多次测试、统计分析、参数不断调优，选定几个重要参数：原图缩放比0.5，SSIM缩放比0.1，SSIM阈值0.6，其中原图缩放比具体为视频采集阶段视频帧序列加入内存队列时执行的图像缩放比，SSIM缩放比具体为两幅图像进行SSIM相似度算法比对时执行的图像缩放比，SSIM阈值0.6表示两幅图像SSIM相似度计算值大于0.6时认为画面一致，否则认为不一致。图8-图10为统计分析实验数据，图8-图10中纵轴是帧数，横轴是ssim值，min-max是从实验中得出的ssim的范围，比如（0.9997,10000）就表示有10000个帧它们的ssim相似度是0.9997。其中图8（a）、图9（a）和图10（a）分别为统计A、B视频帧ssim相似度和两视频比对帧数的关系，ssim越接近1表述两视频画面越相似。图8（b）、图9（b）和图10（b）分别是图8（a）、图9（a）和图10（a）的细节放大图，横坐标没变，纵坐标变小，对帧数细节进行显现。从图8到图10中可以看出图9中的在运算效率和判断精度方面最佳，统计图像显示SSIM阈值为0.8还是有些偏大，0.6比较理想。
本实施例中进行错位比对时，将对比结果小于第三预设阈值的两个视频帧确定为对比参考视频帧和错位移动视频帧。如果所述参考视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向左移动n次与所述参考视频帧重新进行比对；或者，如果所述错位移动视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向右移动n次与所述参考视频帧重新进行比对，其中n为丢帧数，n值根据网络环境确定。
本实施例中，当比对不一致时，首先判断不一致的帧索引是否连续，如果连续帧数量达到5帧，如An\An+1\An+2和Bn\Bn+1\Bn+2，将B视频帧队列前后错位1或2帧，例如An\An+1\An+2和Bn-1\Bn\Bn+1、Bn+1\Bn+2\Bn+3分别比较，若对齐了，说明遇到了错位，则进一步判断是A队列还是B队列发生了错位偏移，然后对其重新对齐，对齐之后继续进行画面一致性检测，图与7所示。
图11中，A视频帧为对比参考视频帧，B视频帧为错位移动视频帧。如B视频丢帧可通过B图像帧序列右移n次与A图像帧序列重新对齐继续比对，A视频丢帧可通过B图像帧序列左移n次与A图像帧序列重新对齐继续比对。错位比对一致后认为A、B视频仍一致，否则认为A、B视频不一致。
如果最终视频画面比对不一致，推送告警到网管，支持通过邮件、短信或微信等方式推送告警到手机端、web网页端。
与上述实施例提供的一种多路视频画面一致性检测方法相对应，本申请还提供了一种多路视频画面一致性检测系统的实施例。
参见图12，多路视频画面一致性检测系统20，包括：
视频处理模块201，用于将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；
视频流同步模块202，用于确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；
一致性检测模块203，用于舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
与上述实施例相对应，本申请还提供了一种电子设备，用于实现IPTV播放系统的画面一致性检测。
参见图13，为本申请实施例提供的一种电子设备的结构示意图。
如图13所示，该电子设备300可以包括：处理器301、存储器302及通信单元303。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的电子设备结构并不构成对本申请实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，通信单元303，用于建立通信信道，从而使电子设备可以与其它IPTV设备进行通信。
处理器301，为电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器301可以仅包括中央处理器(centralprocessing unit，CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
存储器302，用于存储处理器301的执行指令，存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
当存储器302中的执行指令由处理器301执行时，使得电子设备300能够执行上述方法实施例中的部分或全部步骤。
与上述实施例相对应，本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，其中，在程序运行时可控制计算机可读存储介质所在设备执行上述方法实施例中的部分或全部步骤。具体实现中，该计算机可读存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。
与上述实施例相对应，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包含可执行指令，当可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，简称ROM）、随机存取存储器（random access memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a, b, c, a-b,a-c, b-c,或a-b-c，其中a, b, c可以是单个，也可以是多个。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种多路视频画面一致性检测方法，其特征在于，包括：
将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；
确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；
舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
2.根据权利要求1所述的多路视频画面一致性检测方法，其特征在于，所述将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中，包括：
将所述多路视频流进行数据预处理获取视频流TS片段；
基于ffmpeg对视频流TS片段进行识别转码获取参数信息，所述参数信息包括：视频格式、分辨率、码率和帧率；
视频流TS片段识别转码后拆分为视频帧序列；
读取所述视频帧序列中的每一帧数据，对每一帧数据进行缩放、去噪、分割和增强处理；
将最终处理完的帧数据写入内存队列，缓存视频流的每一帧图像。
3.根据权利要求1所述的多路视频画面一致性检测方法，其特征在于，所述确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步，包括：
将存储到内存队列中的视频帧序列的RGB图像转换为灰度图像；
然后将每一帧的灰度图像计算为灰度直方图；
分别对每个视频帧序列中相邻两帧的灰度直方图进行求差，如果大于第一预设阈值，则提取视频帧序列中的场景转换帧加入到场景转换帧列表中；
对不同场景转换帧列表中的场景转换帧进行两两相似度比对，如果大于第二预设阈值则提取对齐帧。
4.根据权利要求3所述的多路视频画面一致性检测方法，其特征在于，所述对不同场景转换帧列表中的场景转换帧进行两两相似度比对，如果大于第二预设阈值则提取对齐帧，包括：
选取第一场景转换帧列表中的第一场景转换帧作为参考帧；
将其他场景转换帧列表中的场景转换帧与所述参考帧进行比较，计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，所述PSNR值越高表示场景转换帧与参考帧的画面差异越小；
确定出其他场景转换帧列表中与所述参考帧PSNR值最大的第二场景转换帧作为与所述参考帧的对齐帧。
5.根据权利要求4所述的多路视频画面一致性检测方法，其特征在于，所述计算各场景转换帧与所述参考帧时间的峰值信噪比PSNR，包括：
其中，MAX是图像像素值的最大取值， MSE是均方误差，表征两幅图像每个位置像素值差异的度量；
xi是原始图像的第i个像素值,yi是待比较图像的第i个像素值，m是图像像素的总数。
6.根据权利要求3-5任一项所述的多路视频画面一致性检测方法，其特征在于，如果从场景转换帧列表中确定出连续两个对齐帧，且两个对齐帧在所述场景转换帧列表中索引连续时，提取后一个对齐帧为作为最终对齐帧。
7.根据权利要求1所述的多路视频画面一致性检测方法，其特征在于，所述舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测，包括：
确定对齐帧后，删除视频帧序列中对齐帧之前所有帧，实现信号同步；
基于SSIM结构相似性算法对所述视频帧序列中对齐帧之后的所有视频帧逐帧进行相似性比对；
如果比对结果大于第三预设阈值则认定画面一致，或者如果比对结果小于第三预设阈值，则进行错位比对，如果错位比对后比对结果大于第三预设阈值则认定画面一致。
8.根据权利要求7所述的多路视频画面一致性检测方法，其特征在于， 所述如果比对结果小于第三预设阈值，则进行错位比对，包括：
将比对结果小于第三预设阈值的两个视频帧确定为比对参考视频帧和错位移动视频帧；
如果所述参考视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向左移动n次与所述参考视频帧重新进行比对；或者，如果所述错位移动视频帧所在的视频帧序列丢帧，则将所述错位移动视频帧向右移动n次与所述参考视频帧重新进行比对，其中n为丢帧数，n值根据网络环境确定。
9.一种多路视频画面一致性检测系统，其特征在于，包括：
视频处理模块，用于将实时采集的多路视频流拆分为视频帧序列并存储到内存队列中；
视频流同步模块，用于确定所述视频帧序列中的场景转换帧，通过所述场景转换帧寻找对齐帧，实现多路视频流的同步；
一致性检测模块，用于舍弃所述对齐帧之前的所有视频帧，逐帧比对所述对齐帧之后的视频帧进行画面一致性检测。
10.一种电子设备，其特征在于，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行权利要求1至8中任意一项的多路视频画面一致性检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107600.1A CN117640925A (zh) | 2024-01-26 | 2024-01-26 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107600.1A CN117640925A (zh) | 2024-01-26 | 2024-01-26 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117640925A true CN117640925A (zh) | 2024-03-01 |
Family
ID=90025566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410107600.1A Pending CN117640925A (zh) | 2024-01-26 | 2024-01-26 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117640925A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014296A (zh) * | 2010-12-10 | 2011-04-13 | 北京中科大洋科技发展股份有限公司 | 一种基于自适应边缘匹配及局部流处理算法的视频一致性监测技术 |
| CN104079924A (zh) * | 2014-03-05 | 2014-10-01 | 北京捷成世纪科技股份有限公司 | 一种视频错播的检测方法和装置 |
| CN106713963A (zh) * | 2016-11-28 | 2017-05-24 | 天脉聚源（北京）科技有限公司 | 一种对齐视频流的播放进度的方法及装置 |
| CN109743591A (zh) * | 2019-01-04 | 2019-05-10 | 广州虎牙信息科技有限公司 | 视频帧对齐的方法 |
| CN112714309A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频质量评估方法、装置、设备、介质及程序产品 |
| CN113316001A (zh) * | 2021-05-25 | 2021-08-27 | 上海哔哩哔哩科技有限公司 | 视频对齐方法及装置 |
| US20210352341A1 (en) * | 2020-05-06 | 2021-11-11 | At&T Intellectual Property I, L.P. | Scene cut-based time alignment of video streams |
| CN114640881A (zh) * | 2020-12-15 | 2022-06-17 | 武汉Tcl集团工业研究院有限公司 | 视频帧对齐方法、装置、终端设备及计算机可读存储介质 |
| CN115941939A (zh) * | 2022-11-03 | 2023-04-07 | 咪咕视讯科技有限公司 | 视频帧对齐方法、装置、设备及存储介质 |
| CN117037009A (zh) * | 2022-04-28 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
| CN117152660A (zh) * | 2023-08-31 | 2023-12-01 | 维沃移动通信有限公司 | 图像显示方法及其装置 |
| CN117156125A (zh) * | 2023-10-25 | 2023-12-01 | 帕科视讯科技(杭州)股份有限公司 | 基于人工智能的iptv直播流实时监测方法及服务器 |
| CN117201845A (zh) * | 2023-09-15 | 2023-12-08 | 海看网络科技(山东)股份有限公司 | 基于帧比对的直播节目首播和重播内容一致性监测方法 |
| CN117278776A (zh) * | 2023-04-23 | 2023-12-22 | 青岛尘元科技信息有限公司 | 多通道视频内容实时比对方法和装置、设备及存储介质 |
-
2024
- 2024-01-26 CN CN202410107600.1A patent/CN117640925A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014296A (zh) * | 2010-12-10 | 2011-04-13 | 北京中科大洋科技发展股份有限公司 | 一种基于自适应边缘匹配及局部流处理算法的视频一致性监测技术 |
| CN104079924A (zh) * | 2014-03-05 | 2014-10-01 | 北京捷成世纪科技股份有限公司 | 一种视频错播的检测方法和装置 |
| CN106713963A (zh) * | 2016-11-28 | 2017-05-24 | 天脉聚源（北京）科技有限公司 | 一种对齐视频流的播放进度的方法及装置 |
| CN109743591A (zh) * | 2019-01-04 | 2019-05-10 | 广州虎牙信息科技有限公司 | 视频帧对齐的方法 |
| US20210352341A1 (en) * | 2020-05-06 | 2021-11-11 | At&T Intellectual Property I, L.P. | Scene cut-based time alignment of video streams |
| CN114640881A (zh) * | 2020-12-15 | 2022-06-17 | 武汉Tcl集团工业研究院有限公司 | 视频帧对齐方法、装置、终端设备及计算机可读存储介质 |
| CN112714309A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频质量评估方法、装置、设备、介质及程序产品 |
| CN113316001A (zh) * | 2021-05-25 | 2021-08-27 | 上海哔哩哔哩科技有限公司 | 视频对齐方法及装置 |
| CN117037009A (zh) * | 2022-04-28 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
| CN115941939A (zh) * | 2022-11-03 | 2023-04-07 | 咪咕视讯科技有限公司 | 视频帧对齐方法、装置、设备及存储介质 |
| CN117278776A (zh) * | 2023-04-23 | 2023-12-22 | 青岛尘元科技信息有限公司 | 多通道视频内容实时比对方法和装置、设备及存储介质 |
| CN117152660A (zh) * | 2023-08-31 | 2023-12-01 | 维沃移动通信有限公司 | 图像显示方法及其装置 |
| CN117201845A (zh) * | 2023-09-15 | 2023-12-08 | 海看网络科技(山东)股份有限公司 | 基于帧比对的直播节目首播和重播内容一致性监测方法 |
| CN117156125A (zh) * | 2023-10-25 | 2023-12-01 | 帕科视讯科技(杭州)股份有限公司 | 基于人工智能的iptv直播流实时监测方法及服务器 |
Non-Patent Citations (3)
| Title |
|---|
| 董譞: "基于深度学习的底层计算机视觉算法的研究与实现", 31 May 2022, pages: 87 - 88 * |
| 邓中亮，段大高等: "基于H.264的视频编/解码与控制技术", 31 July 2010, pages: 88 * |
| 韩冰: "数字音视频处理", 31 October 2018, pages: 190 - 191 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423942B2 (en) | Reference and non-reference video quality evaluation | |
| Wang et al. | YouTube UGC dataset for video compression research | |
| US20090051814A1 (en) | Information processing device and information processing method | |
| Dou et al. | Edge computing-enabled deep learning for real-time video optimization in IIoT | |
| CN109714623B (zh) | 图像展示方法、装置、电子设备及计算机可读存储介质 | |
| CN110493638B (zh) | 视频帧对齐方法、装置、电子设备及可读存储介质 | |
| US20210274231A1 (en) | Real-time latency measurement of video streams | |
| KR20100071803A (ko) | 영상의 전송 에러 복원 방법 및 그 장치 | |
| CN117201845A (zh) | 基于帧比对的直播节目首播和重播内容一致性监测方法 | |
| CN117640925A (zh) | 一种多路视频画面一致性检测方法、系统及电子设备 | |
| WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
| EP2736261A1 (en) | Method For Assessing The Quality Of A Video Stream | |
| Dosselmann et al. | A prototype no-reference video quality system | |
| Grbić et al. | Real-time video freezing detection for 4K UHD videos | |
| CN113014953A (zh) | 视频防篡改检测方法及视频防篡改检测系统 | |
| US20220232275A1 (en) | Adaptive bitrate video testing from screen recording | |
| Su et al. | A source video identification algorithm based on motion vectors | |
| Xu et al. | What you see is what you get: measure ABR video streaming QoE via on-device screen recording | |
| Babić et al. | Real-time no-reference histogram-based freezing artifact detection algorithm for UHD videos | |
| JP4573301B2 (ja) | 映像信号のフレーム同期方式 | |
| EP4104450A1 (en) | Distributed measurement of latency and synchronization delay between audio/video streams | |
| Chen et al. | No-reference video quality assessment on mobile devices | |
| US8976186B2 (en) | Image processing apparatus and method thereof | |
| JP4013024B2 (ja) | 動画処理装置、動画処理方法、および記録媒体 | |
| CN117612482B (zh) | Led显示屏网络播放方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |