CN112954408B - 超高清视频信号的异常监测方法及相应装置 - Google Patents

超高清视频信号的异常监测方法及相应装置 Download PDF

Info

Publication number
CN112954408B
CN112954408B CN202110096356.XA CN202110096356A CN112954408B CN 112954408 B CN112954408 B CN 112954408B CN 202110096356 A CN202110096356 A CN 202110096356A CN 112954408 B CN112954408 B CN 112954408B
Authority
CN
China
Prior art keywords
characteristic values
video signals
channel
ultra
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110096356.XA
Other languages
English (en)
Other versions
CN112954408A (zh
Inventor
黄振川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Media Group
Original Assignee
China Media Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Media Group filed Critical China Media Group
Priority to CN202110096356.XA priority Critical patent/CN112954408B/zh
Publication of CN112954408A publication Critical patent/CN112954408A/zh
Application granted granted Critical
Publication of CN112954408B publication Critical patent/CN112954408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例提供了一种超高清视频信号的异常监测方法及相应装置,该监测方法包括:获取第一线路的超高清视频信号,该超高清视频信号是由K个单路视频信号交织得到;对超高清视频信号进行解交织处理,得到K个单路视频信号;计算K个单路视频信号在当前帧各自对应的一组单路特征值;根据K个单路视频信号对应的K组单路特征值监测超高清视频信号是否存在异常。在本技术方案中,基于超高清视频信号的技术原理,对获得的超高清视频信号进行解交织处理,并提取对应的K组单路特征值,最终通过K组单路特征值辨识出超高清视频信号自身所存在的信号异常,弥补了现有技术中对超高清视频信号的异常监测的空白,有利于超高清视频信号的安全播出。

Description

超高清视频信号的异常监测方法及相应装置
技术领域
本申请涉及广播电视技术领域,具体地,涉及一种超高清视频信号的异常监测方法及相应装置。
背景技术
近年来,随着电视及视频媒体的飞速发展,用户对超高清视频的需求日益增加。在广播电视领域,对于超高清视频与普通视频均具有较为严格的安全播出要求。出于安全播出的考虑,需要在较短时间内准确发现视频信号的异常并进行及时处理。在现有的技术中,仅针对标清、高清、超清等普通视频部署有信号异常的监测系统,但由于超高清视频的播出属于新技术,目前还没有对超高清视频信号进行异常监测的方法。
发明内容
本申请实施例提供一种超高清视频信号的异常监测方法及相应装置,以解决如何对超高清视频信号进行异常监测的问题。
根据本申请实施例的第一个方面,提供了一种超高清视频信号的异常监测方法,包括:获取第一线路的超高清视频信号,所述超高清视频信号是由K个单路视频信号交织得到;对所述超高清视频信号进行解交织处理,得到K个单路视频信号;计算所述K个单路视频信号在当前帧各自对应的一组单路特征值;根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常。
根据本申请实施例的第二个方面,提供了一种超高清视频信号的异常监测装置,包括:超高清信号获取模块,用于获取第一线路的超高清视频信号,所述超高清视频信号是由K个单路视频信号交织得到;解交织处理模块,用于对所述超高清视频信号进行解交织处理,得到K个单路视频信号;单路特征值计算模块,用于计算所述K个单路视频信号在当前帧各自对应的一组单路特征值;第一异常监测模块,用于根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常。
根据本申请实施例的第三个方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一个方面所述的异常监测方法。
根据本申请实施例的第四个方面,提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如第一个方面所述的异常监测方法。
本申请提供的超高清视频信号的异常监测方法,基于超高清视频信号的技术原理,对获得的超高清视频信号进行解交织处理,还原出组成该超高清视频信号的K个单路视频信号,然后分别提取每个单路视频信号的一组单路特征值,每组单路特征值表征对应的一个单路视频信号的视频特征,最终通过K组单路特征值辨识出超高清视频信号自身所存在的信号异常,根据发现出的信号异常,可进一步采用相对应的线路管理策略对该异常进行及时应对,弥补了现有技术中对超高清视频信号的异常监测的空白,有利于超高清视频信号的安全播出。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的超高清视频信号的异常监测方法的流程图;
图2示出了基于2SI模式得到的超高清视频信号的图像格式示意图;
图3示出了在2SI模式下,4根信号线上传输的单路视频信号的图像格式示意图;
图4示出了本申请实施例中步骤S130的具体流程图;
图5示出了在合并基础特征值时四个相邻基础图元的位置分布示意图;
图6示出了本申请实施例中几种一致性比对结果的示意图;
图7示出了本申请实施例提供的超高清视频信号的异常监测方法中,对两条线路间相对应的两个单路视频信号的内容是否一致进行监测的流程图;
图8示出了本申请实施例中步骤S240的具体流程图;
图9示出了本申请实施例中步骤S320的具体流程图;
图10示出了本申请实施例中第一缓冲队列和第二缓冲队列的示意图;
图11示出了本申请实施例中步骤S240的另一具体流程图;
图12示出了本申请实施例提供的超高清视频信号的异常检测方法的另一流程图;
图13示出了本申请实施例中步骤S540的具体流程图;
图14示出了本申请实施例提供的超高清视频信号的异常检测方法的另一流程图;
图15示出了本申请实施例中步骤S640的具体流程图;
图16示出了本申请实施例提供的超高清视频信号的异常检测装置的示意图;
图17示出了本申请实施例提供的电子设备的示意图。
具体实施方式
以下结合附图对本申请的示例性实施例进行详细说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例提供一种超高清视频信号的异常监测方法,其中,超高清视频信号是指分辨率在4K(3840*2160像素)及4K以上(如8K,7680*4320像素)的视频信号。为便于阐述,下文基于4K(即3840*2160像素)分辨率的超高清视频信号对本实施例的技术方案进行说明。
图1示出了本实施例提供的超高清视频信号的异常监测方法的流程图,请参照图1,该方法包括:
步骤S110:获取第一线路的超高清视频信号。
步骤S120:对超高清视频信号进行解交织处理,得到K个单路视频信号。
步骤S130:计算K个单路视频信号在当前帧各自对应的一组单路特征值。
步骤S140:根据K个单路视频信号对应的K组单路特征值监测超高清视频信号是否存在异常。
上述步骤S110~S140的具体实施方式如下:
在步骤S110中,对基于2SI(二取样交织)模式输入的SDI信号进行解嵌采集,获得来自第一线路的3840*2160分辨率的超高清视频信号,并可同时获得来自第二线路的3840*2160分辨率的超高清视频信号。其中,超高清视频信号是由K个单路视频信号交织得到。
图2示出了基于2SI模式得到的超高清视频信号的图像格式示意图。在2SI模式下,通过4根信号线传输视频信号,每根信号线传输一个单路视频信号,单路视频信号的视频分辨率为1920*1080,4根信号线的视频数据按图2所示的方式交织成分辨率为3840*2160的超高清视频信号。在图2所示的图像格式中,1代表第一根信号线的视频数据,2代表第二根信号线的视频数据,依此类推。图3示出了4根信号线上传输的单路视频信号的图像格式示意图,其中,(a)代表第一根信号线上传输的视频数据,(b)代表第二根信号线上传输的视频数据,(c)代表第三根信号线上传输的视频数据,(d)代表第四根信号线上传输的视频数据。
在步骤S120中,对超高清视频信号进行解交织处理,从超高清视频信号中提取出4组对应于4根信号线的视频数据,得到4(K=4)个单路视频信号。
在步骤S130中,根据第一线路的超高清视频信号的K个单路视频信号计算出K组单路特征值,每组单路特征值表征对应的一个单路视频信号在当前帧的视频特征。
图4示出了步骤S130的具体实施方式的流程图,请参照图4,对K个单路视频信号中的每个单路视频信号分别进行如下处理:
步骤S131:将单路视频信号当前帧的视频数据划分为多个基础图元。
在步骤S131中,将一帧视频数据按m*n的方式划分为m*n个基础图元。在一种实施例中,m*n为40*36。
步骤S132:分别计算各基础图元在预设颜色格式的三个通道上的基础特征值。
其中,预设颜色格式可以为YUV格式。YUV是现代彩色电视摄像系统中采用的一种颜色格式,“Y”表示亮度,“U”和“V”分别表示色度和浓度。
按照YUV颜色格式中的Y、U、V三个通道,将各基础图元在Y通道上的Y值取均值,得到各基础图元在Y通道上的基础特征值,将各基础图元在U通道上的U值取均值,得到各基础图元在U通道上的基础特征值,将各基础图元在V通道上的V值取均值,得到各基础图元在V通道上的基础特征值。每个基础图元共得到一个Y通道上的基础特征值、一个U通道上的基础特征值和一个V通道上的基础特征值。
步骤S133:将各通道中的每i个基础特征值合并为一个矢量特征值。
基于步骤S132得到的基础特征值,按照不同的通道,将各通道中的每i个基础特征值合并为一个矢量特征值,矢量特征值的数目为基础特征值数目的1/i。其中,i为大于1的正整数且i不大于对应通道中的基础特征值的总数。
在一种实施例中,步骤S133包括:在各通道中依次取j*j个基础特征值,统计在j*j个基础特征值中X方向上的变化值以及Y方向上的变化值,其中,j*j=i,j为大于1的正整数;根据X方向上的变化值以及Y方向上的变化值将j*j个基础特征值转换为矢量特征值。
可选的,j*j为2*2。以Y通道为例,在Y通道上,取四个相邻基础图元的基础特征值,分别为
Figure BDA0002914151730000051
四个相邻基础图元的位置分布如图5所示。计算
Figure BDA0002914151730000052
中X方向上的变化值和Y方向上的变化值,其中,X方向上的变化值可能是
Figure BDA0002914151730000053
Figure BDA0002914151730000054
的差值,或者
Figure BDA0002914151730000055
Figure BDA0002914151730000056
的差值,Y方向上的变化值可能是
Figure BDA0002914151730000061
Figure BDA0002914151730000062
的差值,或者
Figure BDA0002914151730000063
Figure BDA0002914151730000064
的差值。
根据X方向上的变化值以及Y方向上的变化值将2*2个基础特征值转换为一个角度值,该角度值则为对应的矢量特征值。具体的,计算X方向上的变化值与Y方向上的变化值的比值,利用反正切函数以及该比值求解对应的角度值,从而得到对应的矢量特征值。通过上述方式将每4个基础特征值转换为一个矢量特征值,在某一通道上,原本存在40*36个基础特征值,经转换后,该通道上共有20*18个矢量特征值。
可以理解的,由于每根信号线上传输的单路视频信号的亮度值(Y值)不一定完全一致,经转换后,能够对原本的基础特征值进行一定程度的模糊化处理,减少后续步骤中进行单路特征值比对时的误报率,同时,能够降低单路特征值的数据量。
当然,在其他实施例中,也可以取i个基础特征值的平均值作为矢量特征值,同样能够实现将i个基础特征值合并为一个矢量特征值。
步骤S134:将三个通道的矢量特征值进行加权融合,得到对应的一组单路特征值。
一般情况下,视频信号的比对主要是基于Y值的比对,由于视频信号在编解码、传输等链路过程的复杂性,基于Y值的比对往往存在比对误报。为降低误报率,提高后续步骤中进行比对时的准确性,本实施例对Y、U、V三个通道的矢量特征值进行加权融合处理,具体计算公式如下:
P=a*Y'+b*U'+c*V';
其中,P为融合后得到的特征值,Y’为Y通道的矢量特征值,U’为U通道的矢量特征值,V’为V通道的矢量特征值,a为Y通道的加权系数,b为U通道的加权系数,c为V通道的加权系数。若基于上述的示例,一组单路特征值中共包括20*18个特征值。
对K个单路视频信号中的每个单路视频信号分别进行上述步骤S131~134的处理,获得K个单路视频信号当前帧对应的K组单路特征值。
进一步的,超高清视频信号是采用4根信号线进行输入的,在正常状态下,4个单路视频信号应当是一致的,但在少数情况下,不排除由于故障原因导致4个单路视频信号不一致,因此需要对4根信号线上传输的每帧单路视频信号的一致性进行判断。
在步骤S140中,将K组单路特征值进行两两比对,得到一致性比对结果,该一致性比对结果表征对应的K个单路视频信号之间的内容一致性,然后,根据一致性比对结果监测对应的超高清视频信号是否存在异常。
可选的,将K组单路特征值进行两两比对并得到一致性比对结果的具体实施方式如下:
(1)从K组单路特征值中选择一组单路特征值作为当前基准特征。
(2)将K组单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符。
(3)将与当前基准特征不同的单路特征值作为剩余的单路特征值,从剩余的单路特征值中选择一组单路特征值作为当前基准特征。
(4)将剩余的单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符。
若仍存在与当前基准特征不同的单路特征值,则重复执行步骤(3)~(4)。
(5)直至K个单路视频信号均获得对应的标记符时,得到由K个标记符组成的一致性比对结果。
具体的,假设对第一线路的超高清视频信号进行解交织处理,得到单路视频信号A、单路视频信号B、单路视频信号C和单路视频信号D,并得到当前帧对应的4组单路特征值,分别为:单路视频信号A对应的一组单路特征值A’、单路视频信号B对应的一组单路特征值B’、单路视频信号C对应的一组单路特征值C’、单路视频信号D对应的一组单路特征值D’。
示例性的,从单路特征值A’、单路特征值B’、单路特征值C’和单路特征值D’中确定单路特征值A’,并将单路特征值A’作为当前基准特征。将单路特征值A’、单路特征值B’、单路特征值C’和单路特征值D’分别与单路特征值A’(当前基准特征)进行比对,若单路特征值A’和单路特征值B’均与单路特征值A’相同,则将单路特征值A’和单路特征值B’标记为“A”。从与单路特征值A’不同的单路特征值C’和单路特征值D’中确定单路特征值C’,并将单路特征值C’作为当前基准特征,将单路特征值C’和单路特征值D’分别与单路特征值C’(当前基准特征)进行比对,若仅有单路特征值C’与单路特征值C’相同,则将单路特征值C’标记为“C”。从与单路特征值C’不同的单路特征值D’中确定单路特征值D’,并将单路特征值D’作为当前基准特征,将单路特征值D’与单路特征值D’(当前基准特征)进行比对,由于单路特征值D’与单路特征值D’相同,将单路特征值D’标记为“D”。最终,得到由4个标记符组成的一致性比对结果,该一致性比对结果为“AACD”,通过该4个字符可以快速确定4个单路视频信号间的内容一致性。图6示出了通过上述方式获得的几种一致性比对结果的示意图,每4个小格表示4个单路视频信号的视频数据,下方是对应的一致性比对结果。
在获得由K个标记符组成的一致性比对结果后,检测该一致性比对结果中的K个标记符是否完全相同;若完全相同,表明K个单路视频信号的内容一致,若不完全相同,表明K个单路视频信号中至少存在一个单路视频信号的内容与其余的单路视频信号的内容不一致,于是,确定第一线路的超高清视频信号中存在K个单路视频信号的内容不一致的异常。
可选的,该方法还包括:对第一线路上的超高清视频信号进行内容层报警检测,得到内容层报警检测结果;其中,内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;根据该内容层报警检测结果监测第一线路上的超高清视频信号是否存在异常。
可选的,该方法还包括:对第一线路上的K个单路视频信号分别进行内容层报警检测,得到内容层报警检测结果;其中,内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;根据该内容层报警检测结果监测第一线路上的K个单路视频信号是否存在异常。
可选的,该方法还包括:对第二线路上的超高清视频信号进行内容层报警检测,得到内容层报警检测结果;其中,内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;根据该内容层报警检测结果监测第二线路上的超高清视频信号是否存在异常。
其中,第一线路和第二线路为播出线路上的主、备两条线路,若第一线路为主路,则第二线路为备路,若第一线路为备路,则第一线路为主路。
可选的,该方法还包括:对第二线路上的K个单路视频信号分别进行内容层报警检测,得到内容层报警检测结果;其中,内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;根据该内容层报警检测结果监测第二线路上的K个单路视频信号是否存在异常。
在完成内容层报警检测后,获得相应的内容层报警检测结果,内容层报警检测结果中包括所进行检测的各检测项中是否存在内容层报警的结果,如在对第一线路上的某单路视频信号进行静帧检测时,检测出该单路视频信号的某帧为静帧,则内容层报警检测结果中包括静帧检测的内容层报警。
上文罗列的各检测项的检测原理简单介绍如下:
(1)静帧检测
根据内容检测模板,对模板屏蔽区域外的所有区域的前后帧视频数据进行对比,当前后帧的视频数据的差异小于预设差异时,如果当前已经处于静帧状态,则后续帧的视频数据均和进入静帧状态的首帧的视频数据进行对比;如果当前不处于静帧状态,则将前帧数据缓存,作为静帧状态的首帧,并作为后续帧的参考依据,同时进入静帧状态,并得到静帧检测的内容层报警。
(2)黑场检测
根据内容检测模板,获取模板屏蔽区域外的所有区域的Y值,若模板屏蔽区域外的Y值中小于等于Y值阈值的区域面积占总面积(去除模板屏蔽区域)的百分比大于黑场面积百分比阈值,可判定此帧视频画面处于黑场状态,得到黑场检测的内容层报警。
(3)彩场检测
根据内容检测模板,检测模板屏蔽区域外的所有区域的单路特征值是否一致,且Y值是否大于Y值阈值。如果符合条件的区域面积占总面积(去除模板屏蔽区域)的百分比大于彩场面积百分比阈值,可判定该单路视频信号的此帧视频画面处于彩场状态,得到彩场检测的内容层报警。
在进行彩场检测时,可以通过对时钟区、台标区、字幕区等特殊区域进行屏蔽,生成内容检测模板。即如果时钟区、台标区、字幕区等特殊区域的画面内容处于非彩场状态,而其他区域符合彩场检测的判定标准,也会将此情况判断为彩场。
(4)彩条检测
根据内容检测模板,检测模板屏蔽区域外的所有区域的单路特征值。如果单路特征值的变化符合彩条特征,可判定该单路视频信号的此帧视频画面处于彩条状态,得到彩条检测的内容层报警。
在进行彩条检测时,可支持多种彩条模版,包括100%彩条、75%彩条,也可支持定制特殊彩条模版,扩展支持包括叠加的旋转图形、叠加的字符(如演播室1)等类型的彩条。
(5)黑白画面检测
当从超高清视频信号中提取的YUV视频数据中只有Y数据有效,没有U数据和V数据时,得到黑白画面检测的内容层报警。
(6)雪花噪点检测
当所有图元的单路特征值的均值均在一个小范围内波动,且所有图元的单路特征值的均值大于预设阈值时,即认定该单路视频信号的此帧视频画面处于雪花噪点状态,得到雪花噪点检测的内容层报警。
当然,以上内容仅是简单说明上述几种检测的检测原理,实际实施时可以有更加具体的方式完成相应的检测。
进一步的,以上内容是针对单条线路上的K个单路视频信号的异常监测,而在超高清视频播出时,主备两条线路间的视频内容是否一致也是监测的重点。
图7示出了对主备两条线路间相对应的两个单路视频信号的内容是否一致进行监测的流程图,请参照图7,在步骤S130后,该方法还包括:
步骤S210:获取第二线路在当前帧的K组单路特征值。
步骤S220:获取第一线路和第二线路中相对应的两个单路视频信号间的第一同步关系,该第一同步关系包括该相对应的两个单路视频信号间的帧差。
其中,第一线路和第二线路中相对应的两个单路视频信号是指:
若对第一线路的超高清视频信号进行解交织处理,得到单路视频信号A1、单路视频信号B1、单路视频信号C1和单路视频信号D1;若对第二线路的超高清视频信号进行解交织处理,得到单路视频信号A2、单路视频信号B2、单路视频信号C2和单路视频信号D2;则第一线路的单路视频信号A1与第二线路的单路视频信号A2对应,第一线路的单路视频信号B1与第二线路的单路视频信号B2对应,第一线路的单路视频信号C1与第二线路的单路视频信号C2对应,第一线路的单路视频信号D1与第二线路的单路视频信号D2对应。
在步骤S230~S240中,按照第一同步关系确定相对应的两个单路视频信号中的同一帧,并将对应于同一帧的两组单路特征值进行比对。
步骤S230:根据第一同步关系确定待比对的两组单路特征值,并对该两组单路特征值进行比对,该两组单路特征值分别对应于两个单路视频信号中的同一帧。
步骤S240:根据两组单路特征值的比对结果监测第一线路和第二线路之间相对应的两个单路视频信号的内容是否一致。
其中,请参照图8,步骤S240具体包括:
步骤S310:若两组单路特征值的比对结果为不一致,将x加一,并判断x是否超过报警门限,若x超过报警门限,执行步骤S320。
其中,x为两组单路特征值的比对结果为不一致的个数累加值,且x在第一同步关系更新后被清零。
可选的,每组单路特征值中包括20*18个特征值,当将两组视频特征值进行比对时,若两组视频特征值之差所形成的20*18个差值中,有少于q个的差值小于阈值p,此时,可以认为两组视频特征值一致,否则,认为两组视频特征值不一致。
步骤S320:根据对应的第一缓冲队列中的N个第一缓冲数据和对应的第二缓冲队列中的N个第二缓冲数据,重新计算该相对应的两个单路视频信号间的第一同步关系;若当前未能计算出第一同步关系,执行步骤S330,若当前计算出第一同步关系,执行步骤S340。
其中,第一缓冲队列用于存储第一线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第一缓冲数据,第二缓冲队列用于存储第二线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第二缓冲数据。预先按照第一线路和第二线路各自建立FIFO(First Input First Output,先进先出)队列,以进行单路特征值的缓存,分别定义为第一缓冲队列和第二缓冲队列。在第一线路中,存在K个第一缓冲队列,在第二线路中,存在K个第二缓冲队列,同一单路视频信号的各帧的单路特征值缓存在同一缓存队列中。
步骤S330:生成该两组单路特征值所对应的两个单路视频信号的内容不一致的异常告警。
可以理解的,在检测到两组单路特征值不一致时,并非立即产生异常告警,而是在不一致个数x超过报警门限时才触发下一步动作,在不一致个数x超过报警门限时,首先考虑是否是两个单路视频信号间的同步关系发生变化,比如,原本的同步关系是第一线路的单路视频信号A1的视频数据比第二线路的单路视频信号A2的视频数据快一帧,但由于单路视频信号A1的视频数据丢失一帧或其他原因使得A1与A2的视频数据变化为完全同步,导致按照原有的同步关系进行单路特征值比对时将会频繁得到比对不一致的结果,因此,先重新计算两个单路视频信号间的同步关系,若未能计算出两个单路视频信号间的同步关系,才产生异常告警。
步骤S340:更新该第一同步关系。
可选的,请参照图9所示的流程图,步骤S320中计算第一同步关系的过程包括:
步骤S321:获取帧差分别为0至(S-1)时的第一假设情况下的第一比对结果RA[0]至RA[S-1]和第二假设情况下的第二比对结果RB[0]至RB[S-1]。
其中,第一假设情况表示同一帧视频画面,第一线路会先于第二线路播出,第二假设情况表示同一帧视频画面,第二线路会先于第一线路播出,RA[S-1]和RB[S-1]分别表示在第一假设情况下和第二假设情况下,第一缓冲队列中的各第一缓冲数据与第二缓冲队列中的与该第一缓冲数据间的帧差为(S-1)的第二缓冲数据进行比对所形成的多个子比对结果,每个子比对结果包括进行比对的两个缓冲数据形成的多个差值。
由于无法确定具体是第一线路的视频画面会先播出还是第二线路的视频画面会先播出,因此,在步骤S321中,作出两种假设,并针对两种假设情况均进行分析。
步骤S322:根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足找同步条件的第一同步帧差RA_best,得到第一判断结果。
步骤S323:根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足找同步条件的第二同步帧差RB_best,得到第二判断结果。
在步骤S322~S323中,设置的找同步条件为:存在某一帧差,在该帧差对应的第一比对结果或者对应的第二比对结果中,有连续的M个子比对结果,该M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个。其中,M为大于1且小于N的整数,q不大于子比对结果中所包含的多个差值的总数。
步骤S324:根据第一判断结果和第二判断结果确定第一同步关系。
为便于理解上述步骤S321~S324,以下基于初始化阶段第一同步关系的计算步骤进行说明,在初始化阶段,尚未收到任何单路特征值,各缓冲队列中尚无缓冲数据。
可以理解,同步的标准为连续M帧相同,同时,假设两个单路视频信号间的实际帧差为S,S由管理平台设置;例如,在第一线路与第二线路不同时播出的情况下,第二线路的视频画面比第一线路的视频画面晚10秒播出,按照一秒25帧,实际帧差S被设置为250帧。
如图10所示的示意图,在第一缓冲队列中可缓存N个第一缓冲数据,即第一线路对应的N组单路特征值,在第二缓冲队列中可缓存N个第二缓冲数据,即第二线路对应的N组单路特征值,N=M+S。
分别统计在第一假设情况下,帧差为0~(S-1)的两组单路特征值的第一比对结果,并分别记录为RA[0]~RA[S-1]。其中,RA[0]为帧差为0时的第一比对结果,RA[S-1]为帧差为(S-1)时的第一比对结果。
分别统计在第二假设情况下,帧差为0~(S-1)的两组单路特征值的第二比对结果,并分别记录为RB[0]~RB[S-1]。其中,RB[0]为帧差为0时的第二比对结果,RB[S-1]为帧差为(S-1)时的第二比对结果。
(1)第1帧
第1帧的两组单路特征值a[1]和b[1]到来时,第一缓冲队列和第二缓冲队列中各有一组单路特征值:
统计a[1]和b[1]的比对结果,并分别记录在RA[0]和RB[0]中,RA[0]和RB[0]中各有1对数据的子比对结果。
(2)第2帧
第2帧的两组单路特征值a[2]和b[2]到来时,第一缓冲队列和第二缓冲队列中各有两组单路特征值:
统计a[2]和b[2]的比对结果,分别记录在RA[0]和RB[0]中,RA[0]和RB[0]各有2对数据的子比对结果;
统计a[1]和b[2]的比对结果,记录在RA[1]中,RA[1]中有1对数据的子比对结果;
统计a[2]和b[1]的比对结果,记录在RB[1]中,RB[1]中有1对数据的子比对结果。
(3)第3帧
第3帧的两组单路特征值a[3]和b[3]到来时,第一缓冲队列和第二缓冲队列中各有三组单路特征值:
统计a[3]和b[3]的比对结果,分别记录在RA[0]和RB[0]中,RA[0]和RB[0]中各有3对数据的子比对结果;
统计a[2]和b[3]的比对结果,记录在RA[1]中,RA[1]中有2对数据的子比对结果;
统计a[3]和b[2]的比对结果,记录在RB[1]中,RB[1]中有2对数据的子比对结果;
统计a[1]和b[3]的比对结果,记录在RA[2]中,RA[2]中有1对数据的子比对结果;
统计a[3]和b[1]的比对结果,记录在RB[2]中,RB[2]中有1对数据的子比对结果。
(4)第M帧
第M帧的两组单路特征值a[M]和b[M]到来时,第一缓冲队列和第二缓冲队列中各有M组单路特征值:
统计a[M]和b[M]的比对结果,分别记录在RA[0]和RB[0]中,RA[0]和RB[0]中各有M对数据的子比对结果;
此时,若帧差为0时的第一比对结果RA[0]满足找同步条件,即RA[0]中的M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个,则根据RA[0]得到第一同步帧差RA_best,即第一同步帧差RA_best为0帧;
此时,若帧差为0时的第二比对结果RB[0]满足找同步条件,即RB[0]中的M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个,则根据RB[0]得到第二同步帧差RB_best,即第二同步帧差RB_best为0帧;
统计a[M-1]和b[M]的比对结果,记录在RA[1]中,RA[1]中有M-1对数据的子比对结果;
统计a[M]和b[M-1]的比对结果,记录在RB[1]中,RB[1]中有M-1对数据的子比对结果;
依此类推,直至:
统计a[1]和b[M]的比对结果,记录在RA[M-1]中,RA[M-1]中有1对数据的子比对结果;
统计a[M]和b[1]的比对结果,记录在RB[M-1]中,RB[M-1]中有1对数据的子比对结果。
(5)第N帧(N=M+S)
第N帧的两组单路特征值a[N]和b[N]到来时,第一缓冲队列和第二缓冲队列中各有N组单路特征值:
统计a[N]和b[N]的比对结果,分别记录在RA[0]和RB[0]中,并删除之前获得的旧比对结果,此时,RA[0]和RB[0]中各有M对数据的子比对结果;
此时,若RA[0]满足找同步条件,且RA[0]优于当前RA_best对应的第一比对结果,则用当前的RA[0]对应的帧差覆盖RA_best;
此时,若RB[0]满足找同步条件,且RB[0]优于当前RB_best对应的第二比对结果,则用当前的RB[0]对应的帧差覆盖RB_best;
可选的,将RA[0]中的M个子比对结果中的所有差值之和与当前RA_best对应的M个子比对结果的所有差值之和进行比较,若RA[0]中的M个子比对结果中的所有差值之和小于当前RA_best对应的M个子比对结果的所有差值之和,则认为RA[0]优于当前RA_best对应的第一比对结果,否则,得到相反结论。判断RB[0]是否优于当前RB_best对应的第二比对结果的方式同上。
统计a[N-S-1]和b[N]的比对结果,记录在RA[S-1]中,并删除之前获得的旧比对结果,此时,RA[S-1]中有M对数据的子比对结果;
此时,若RA[S-1]满足找同步条件,且RA[S-1]优于当前RA_best对应的第一比对结果,则用当前的RA[S-1]对应的帧差覆盖RA_best。
当不断有下一帧的两组单路特征值到来时,不断重复上述比对过程,更新RA[0]~RA[S-1]和RB[0]~RB[S-1]。
在步骤S324中,根据第一判断结果和第二判断结果确定第一同步关系包括以下几种情况:
(1)若RA_best和RB_best都存在,将RA_best或RB_best所对应的帧差作为表征两个单路视频信号间第一同步关系的目标同步帧差。
若RA_best和RB_best都存在,选择RA_best和RB_best中更优的帧差作为目标同步帧差。可选的,将第一同步帧差RA_best对应的所有子比对结果的所有差值之和与第二同步帧差RB_best对应的所有子比对结果的所有差值之和进行比较,若RA_best对应的所有差值之和小于RB_best对应的所有差值之和,则认为RA_best优于RB_best,取RA_best作为目标同步帧差,反之,取RB_best作为目标同步帧差。
或者,可以随机从RA_best和RB_best中确定出目标同步帧差。
若RA_best是根据RA[0]得到的,且RB_best也是根据RB[0]得到的,RA_best和RB_best均为0帧,那么,可以进一步判断当前找同步的所有帧是否均是静帧、黑场、彩场、彩条中的一种,若是,复位相关记录,重新执行步骤S321~S324,否则,取RA_best作为目标同步帧差。
若目标同步帧差为根据第一同步帧差RA_best得到的,RA_best对应于第一假设情况,假设RA_best为5帧,则第一同步关系为:对于该相对应的两个单路视频信号,第一线路的视频画面会比第二线路的视频画面快5帧播出,于是,在步骤S220中按照此同步关系逐帧对单路特征值进行比对。
(2)若RA_best存在、RB_best不存在,将RA_best所对应的帧差作为目标同步帧差。
(3)若RA_best不存在、RB_best存在,将RB_best所对应的帧差作为目标同步帧差。
RB_best对应于第二假设情况,假设RB_best为3帧,则第一同步关系为:对于该相对应的两个单路视频信号,第二线路的视频画面会比第一线路的视频画面快3帧播出,于是,在步骤S220中按照此同步关系逐帧对单路特征值进行比对。
(4)若RA_best和RB_best都不存在,则根据辅助信息进行下一步的判定。
对于上述第(4)种情况中所述的辅助信息,可通过如下方式获得:
根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足比对条件的第一比对结果;若存在满足比对条件的第一比对结果,则定义在第一假设情况下能够得到RA_best,否则,定义在第一假设情况下不能够得到RA_best。
根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足比对条件的第二比对结果;若存在满足比对条件的第二比对结果,则定义在第二假设情况下能够得到RB_best,否则,定义在第二假设情况下不能够得到RB_best。
其中,上述比对条件为:存在某一第一比对结果或者某一第二比对结果,在该第一比对结果或所述第二比对结果中,有连续的M’个子比对结果,该M’个子比对结果中的每个子比对结果中的小于阈值o的差值的数目均少于r个;M’为大于1且不大于M的整数,o大于p,r大于q且不大于子比对结果中所包含的多个差值的总数。
在上述第(4)种情况中,若RA_best和RB_best都不存在,且未定义在第一假设情况下能够得到RA_best以及未定义在第二假设情况下能够得到RB_best,则确定当前未能计算出第一同步关系,此时,跳转至步骤S330,生成对应的异常告警,并向监测管理平台上报该异常告警。
在一种实施例中,找同步条件为:存在某一帧差,在该帧差对应的第一比对结果或者对应的第二比对结果中,有连续的30个子比对结果,30个子比对结果中的每个子比对结果中的小于阈值3的差值的数目均少于15个。
在一种实施例中,比对条件为:存在某一第一比对结果或者某一第二比对结果,在该第一比对结果或该第二比对结果中,有连续的15个子比对结果,15个子比对结果中的每个子对比结果中的小于阈值5的差值的数目均少于40个。
需要说明的是,M’小于M,o大于p,r大于q,也就是说,找同步条件相较比对条件更加严格。在一种应用场景下,当第一线路和第二线路中的两个单路视频信号仅存在细微不同时,按照找同步条件可能无法得出第一同步关系,但按照比对条件又认为可以得到对应的第一同步关系。通过设置比对条件,可以减少由于设置严格的找同步条件而未能计算出第一同步关系,导致生成错误的异常告警的情况,进而减少误报,同时,第一同步关系又是基于严格的找同步条件而得到的,在减少误报的基础上可以得到特别准确的同步关系。
进一步的,请参照图11,步骤S240具体包括:
步骤S410:若两组单路特征值的比对结果为一致,判断在预设时长内是否生成过表征相对应的两个单路视频信号的内容不一致的异常告警;若在预设时长内生成过异常告警,执行步骤S420。
步骤S420:将x’加一,并判断x’是否超过恢复门限;若x’超过恢复门限,执行步骤S430。
其中,x’为两组单路特征值的比对结果为一致的个数累加值且x’在异常告警生成后被清零。
步骤S430:生成该两组单路特征值所对应的两个单路视频信号的内容恢复一致的恢复告警。
以上内容是对第一线路与第二线路间相对应的两个单路视频信号进行内容一致性的异常监测的说明。
进一步的,图12示出了本实施例提供的异常监测方法的另一流程图,请参照图12,在步骤S110之后,该方法还包括:
步骤S510:获取第一线路的超高清视频信号在当前帧的一组整体特征值,以及获取第二线路的超高清视频信号在当前帧的一组整体特征值。
在步骤S510中,分别计算第一线路和第二线路的两个超高清视频信号各自对应的一组整体特征值,整体特征值的计算方式与单路特征值的计算方式基本一致,具体可参照附图4及步骤S131~S134实施。
可选的,在步骤S131之前,将3840*2160分辨率的超高清视频信号当前帧的视频数据抽点为一帧1920*1080分辨率的视频数据,使超高清视频信号的分辨率降至与单路视频信号的分辨率一致。在完成抽点后,基于一帧1920*1080分辨率的视频数据执行步骤S131~S134,得到对应的一组整体特征值。
步骤S520:获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,该第二同步关系包括两个超高清视频信号间的帧差。
步骤S530:根据第二同步关系确定待比对的两组整体特征值,并对两组整体特征值进行比对,该两组整体特征值分别对应于两个超高清视频信号中的同一帧。
步骤S540:根据该两组整体特征值的比对结果监测第一线路和第二线路上的两个超高清视频信号的内容是否一致。
其中,请参照图13,上述步骤S540的具体实施方式包括:
步骤S541:若两组整体特征值的比对结果为不一致,将y加一,并判断y是否超过报警门限,若y超过报警门限,执行步骤S542。
其中,y为两组整体特征值的比对结果为不一致的个数累加值,且y在第二同步关系更新后被清零。
步骤S542:根据对应的第三缓冲队列中的N个第三缓冲数据和对应的第四缓冲队列中的N个第四缓冲数据,重新计算两个超高清视频信号间的第二同步关系;若当前未能计算出第二同步关系,执行步骤S543,若当前计算出第二同步关系,执行步骤S544。
其中,第三缓冲队列用于存储第一线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第三缓冲数据,第四缓冲队列用于存储第二线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第四缓冲数据。
步骤S543:生成两个超高清视频信号的内容不一致的异常告警。
步骤S544:更新该第二同步关系。
需要说明的是,监测第一线路与第二线路中的两个超高清视频信号的内容是否一致的过程与监测两个单路视频信号的方式相同,为简要描述,对两个超高清视频信号进行监测的具体实施方式可以参照前述实施例中关于单路视频信号监测的介绍以及参照附图8~11的有关内容。
进一步的,图14示出了本实施例提供的异常监测方法的另一流程图,请参照图14,在步骤S110之后,该方法还包括:
步骤S610:获取第一线路的超高清视频信号在当前帧的L组特殊区域特征值,以及获取第二线路的超高清视频信号在当前帧的L组特殊区域特征值。
其中,特殊区域特征值的获取方式如下:分别从第一线路和第二线路的超高清视频信号中提取L个预设的特殊区域当前帧的视频数据,其中,预设的特殊区域包括但不限于:台标区、时钟区、字幕区、高清标区、二维码区等区域;根据提取的视频数据计算每个特殊区域当前帧对应的一组特殊区域特征值,得到L个特殊区域对应的L组特殊区域特征值。需要说明的是,特殊区域特征值的计算方式与单路特征值的计算方式基本一致,其中,对每帧视频数据划分出的基础图元的数目可以与计算单路特征值时所划分的基础图元的数目不同,具体可参照附图4及步骤S131~S134实施。
第一线路和第二线路各对应的L组特殊区域特征值用于进行特殊区域的比对,特殊区域特征值相较于整体特征值更加细腻,能够更容易辨识出第一线路与第二线路间是否存在某特殊区域不一致(如台标区不一致或时钟区不一致等)的细微异常。
步骤S620:获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,该第二同步关系包括两个超高清视频信号间的帧差。
步骤S630:根据第二同步关系确定待比对的两组特殊区域特征值,并对两组特殊区域特征值进行比对,该两组特殊区域特征值分别对应于两个超高清视频信号中的同一帧且对应于同一特殊区域。
步骤S640:根据该两组特殊区域特征值的比对结果监测第一线路和第二线路上相对应的两个特殊区域的内容是否一致。
其中,请参照图15,上述步骤S640的具体实施方式包括:
步骤S710:若两组特殊区域特征值的比对结果为不一致,将z加一,并判断z是否超过报警门限;若z超过报警门限,执行步骤S720。
其中,z为两组特殊区域特征值的比对结果为不一致的个数累加值,且z在第二同步关系更新后被清零。
步骤S720:根据对应的第五缓冲队列中的N个第五缓冲数据和对应的第六缓冲队列中的N个第六缓冲数据,重新计算两个超高清视频信号间的第二同步关系;若当前未能计算出第二同步关系,执行步骤S730。
其中,第五缓冲队列用于存储第一线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第五缓冲数据,第二缓冲队列用于存储第二线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第六缓冲数据。在第一线路中,存在L个第五缓冲队列,同样的,在第二线路中,存在L个第六缓冲队列。
步骤S730:生成该两组特殊区域特征值所对应的两个特殊区域的内容不一致的异常告警。
根据上述介绍,在出现两个超高清视频信号的内容不一致、任一相对应的两个单路视频信号的内容不一致、任一相对应的两个特殊区域的内容不一致中的任一种情况,均会生成异常告警。
可选的,基于第一线路和第二线路的一致性比对结果、第一线路和第二线路的内容层报警检测结果、第一线路和第二线路间的单路视频信号的内容一致性的监测结果、第一线路和第二线路间的超高清视频信号的内容一致性的监测结果、第一线路和第二线路间的特殊区域的内容一致性的监测结果,可以确定出当前的线路管理策略,有效应对各种异常状况。
具体的,线路管理策略包括但不限于以下示例:
(1)当第一线路与第二线路比对正常,第一线路与第二线路均无内容层报警,第一线路与第二线路的四线内容均一致,判定主备两路工作正常,线路管理策略可能是:保持现状。
第一线路与第二线路比对正常表明未收到任何异常告警。第一线路与第二线路均无内容层报警表示在第一线路的内容层报警检测结果中未出现内容层报警,且在第二线路的内容层报警检测结果中也未出现内容层报警。第一线路与第二线路的四线内容均一致表示第一线路的4根信号线所传输的4个单路视频信号的内容一致,且第二线路的4根信号线所传输的4个单路视频信号的内容也一致。
(2)当第一线路与第二线路比对正常,第一线路与第二线路有相同的内容层报警(例如:第一线路与第二线路的某单路视频信号同时静帧),第一线路与第二线路的四线内容均一致,线路管理策略可能是:向工作人员同时上报第一线路与第二线路的内容层报警。
(3)当第一线路与第二线路比对正常,第一线路与第二线路均无内容层报警,第一线路的四线内容不一致和/或第二线路的四线内容不一致,则线路管理策略可能是:向工作人员上报对应线路的四线内容不一致的报警。
(4)当第一线路与第二线路比对异常,第一线路与第二线路均无内容层报警,第一线路与第二线路的四线内容均一致,线路管理策略可能是:向工作人员上报第一线路与第二线路的视频内容不一致的报警。
第一线路与第二线路比对异常表明收到异常告警,该异常告警可能表征第一线路与第二线路间两个相对应的单路视频信号不一致,或者第一线路与第二线路间的两个超高清视频信号不一致,或者第一线路与第二线路间的两个相对应的特殊区域不一致。
(5)当第一线路与第二线路比对异常,第一线路或第二线路出现内容层报警(例如:第一线路出现静帧),判定出现内容层报警的该路故障,线路管理策略可能是:将播出线路切换至未故障的一路并向工作人员上报报警(如提示第一线路出现静帧)。
(6)当第一线路与第二线路比对异常,第一线路或第二线路出现单路视频信号的内容层报警(例如:第一线路出现某单路视频信号静帧),出现内容层报警的该路四线内容不一致,那么,可判定该路故障,线路管理策略可能是:将播出线路切换至未故障的一路并向工作人员上报报警(如提示第一线路某单路视频信号静帧)。
(7)当第一线路与第二线路比对异常,且第一线路与第二线路均无内容层报警,第一线路或第二线路的四线内容不一致,那么,可判定四线内容不一致的该路故障,线路管理策略可能是:将播出线路切换至未故障的一路并向工作人员上报报警(如提示某路的四线内容不一致)。
可以理解的,根据主备两条线路的异常告警、内容层报警检测结果和一致性比对结果可以快速定位故障节点,例如,当主备两条线路比对异常时,若某路存在内容层报警和/或四线不一致,显然可以直接判定该路为故障节点,迅速基于线路管理策略将播出线路切换至未故障的一路,保障超高清视频信号的安全播出,减少播出事故。此外,还可以及时向工作人员上报主路与备路的视频内容不一致的报警,工作人员可以基于该报警确认是否存在台标未添加、时钟未添加等异常问题。
基于同一发明构思,本申请实施例提供一种超高清视频信号的处理装置,请参照图16,该装置包括:超高清信号获取模块810、解交织处理模块820、单路特征值计算模块830以及第一异常监测模块840。
其中,超高清信号获取模块810用于获取第一线路的超高清视频信号,所述超高清视频信号是由K个单路视频信号交织得到;解交织处理模块820用于对所述超高清视频信号进行解交织处理,得到K个单路视频信号;单路特征值计算模块830用于计算所述K个单路视频信号在当前帧各自对应的一组单路特征值;第一异常监测模块840用于根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常。
可选的,单路特征值计算模块830用于对所述K个单路视频信号中的每个单路视频信号分别进行如下处理:将所述单路视频信号当前帧的视频数据划分为多个基础图元;分别计算各基础图元在预设颜色格式的三个通道上的基础特征值;将各通道中的每i个基础特征值合并为一个矢量特征值,其中,i为大于1的正整数且i不大于对应通道中的基础特征值的总数;将所述三个通道的矢量特征值进行加权融合,得到对应的一组单路特征值。
可选的,单路特征值计算模块830用于:在各通道中依次取j*j个基础特征值,统计在j*j个基础特征值中X方向上的变化值以及Y方向上的变化值,其中,j*j=i,j为大于1的正整数;根据所述X方向上的变化值以及所述Y方向上的变化值将所述j*j个基础特征值转换为矢量特征值。
可选的,第一异常监测模块840用于:将所述K组单路特征值进行两两比对,得到一致性比对结果,所述一致性比对结果表征对应的K个单路视频信号之间的内容一致性;根据所述一致性比对结果监测所述超高清视频信号是否存在异常。
可选的,第一异常监测模块840用于:从所述K组单路特征值中选择一组单路特征值作为当前基准特征;将所述K组单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;将与当前基准特征不同的单路特征值作为剩余的单路特征值,从剩余的单路特征值中选择一组单路特征值作为当前基准特征;将剩余的单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;直至所述K组单路特征值均获得对应的标记符时,得到由K个标记符组成的一致性比对结果。
可选的,第一异常监测模块840用于:检测所述一致性比对结果中的K个标记符是否完全相同;若不完全相同,则确定所述超高清视频信号中存在K个单路视频信号的内容不一致的异常。
可选的,该装置还包括:内容层报警检测模块和第二异常监测模块。其中,内容层报警检测模块用于对所述K个单路视频信号分别进行内容层报警检测,得到内容层报警检测结果,内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;第二异常监测模块用于根据所述内容层报警检测结果监测所述超高清视频信号是否存在异常。
可选的,该装置还包括:线路间第一比对模块和第三异常监测模块。
其中,线路间第一比对模块用于获取第二线路在当前帧的K组单路特征值;获取第一线路和第二线路中相对应的两个单路视频信号间的第一同步关系,所述第一同步关系包括两个单路视频信号间的帧差;根据所述第一同步关系确定待比对的两组单路特征值,并对所述两组单路特征值进行比对,所述两组单路特征值分别对应于所述相对应的两个单路视频信号中的同一帧。
其中,第三异常监测模块用于根据所述两组单路特征值的比对结果监测第一线路和第二线路之间所述相对应的两个单路视频信号的内容是否一致。
可选的,第三异常监测模块包括:
第一累加模块,用于在两组单路特征值的比对结果为不一致时,将x加一,并判断x是否超过报警门限,其中,x为两组单路特征值的比对结果为不一致的个数累加值,且x在第一同步关系更新后被清零;
第一同步重计算模块,用于在x超过报警门限时,根据对应的第一缓冲队列中的N个第一缓冲数据和对应的第二缓冲队列中的N个第二缓冲数据,重新计算所述相对应的两个单路视频信号间的第一同步关系,其中,第一缓冲队列用于存储第一线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第一缓冲数据,第二缓冲队列用于存储第二线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第二缓冲数据;
单路异常告警模块,用于在当前未能计算出所述第一同步关系时,生成所述两组单路特征值所对应的两个单路视频信号的内容不一致的异常告警。
可选的,该装置还包括:第一同步关系更新模块,用于在计算出所述第一同步关系时,更新所述相对应的两个单路视频信号间的第一同步关系。
可选的,第一同步重计算模块包括:
比对结果获取模块,用于获取帧差分别为0至(S-1)时的第一假设情况下的第一比对结果RA[0]至RA[S-1]和第二假设情况下的第二比对结果RB[0]至RB[S-1];其中,所述第一假设情况表示同一帧视频画面,第一线路会先于第二线路播出,所述第二假设情况表示同一帧视频画面,第二线路会先于第一线路播出,所述RA[S-1]和所述RB[S-1]分别表示在第一假设情况下和第二假设情况下,第一缓冲队列中的各第一缓冲数据与第二缓冲队列中的与该第一缓冲数据间的帧差为(S-1)的第二缓冲数据进行比对所形成的多个子比对结果,每个子比对结果包括进行比对的两个缓冲数据形成的多个差值;
第一找同步模块,用于根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足找同步条件的第一同步帧差RA_best,得到第一判断结果;
第二找同步模块,用于根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足找同步条件的第二同步帧差RB_best,得到第二判断结果;
其中,找同步条件为:存在某一帧差,在所述帧差对应的第一比对结果或者第二比对结果中,有连续的M个子比对结果,所述M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个;M为大于1且小于N的整数,q不大于所述子比对结果中所包含的所述多个差值的总数;
同步关系确定模块,用于根据所述第一判断结果和所述第二判断结果确定所述相对应的两个单路视频信号间的第一同步关系。
可选的,同步关系确定模块用于:在RA_best和RB_best都存在时,将RA_best或RB_best所对应的帧差作为表征所述两个单路视频信号间第一同步关系的目标同步帧差;在RA_best存在、RB_best不存在时,将RA_best所对应的帧差作为目标同步帧差;在RA_best不存在、RB_best存在时,将RB_best所对应的帧差作为目标同步帧差。
可选的,该装置还包括:第一比对判断模块和第二比对判断模块。
其中,第一比对判断模块用于根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足比对条件的第一比对结果;若存在满足比对条件的第一比对结果,则定义在第一假设情况下能够得到RA_best。
其中,第二比对判断模块用于根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足比对条件的第二比对结果;若存在满足比对条件的第二比对结果,则定义在第二假设情况下能够得到RB_best。
其中,所述比对条件为:存在某一第一比对结果或者某一第二比对结果,在所述第一比对结果或所述第二比对结果中,有连续的M’个子比对结果,所述M’个子比对结果中的每个子比对结果中的小于阈值o的差值的数目均少于r个;M’为大于1且不大于M的整数,o大于p,r大于q且不大于所述子比对结果中所包含的所述多个差值的总数。
同步关系确定模块还用于在RA_best和RB_best都不存在,且未定义在第一假设情况下能够得到RA_best以及未定义在第二假设情况下能够得到RB_best时,确定当前未能计算出所述第一同步关系。
可选的,第三异常监测模块包括:
第二累加模块,用于在两组单路特征值的比对结果为一致时,判断在预设时长内是否生成过表征相对应的两个单路视频信号的内容不一致的异常告警;
恢复门限判断模块,用于若在预设时长内生成过所述异常告警,将x’加一,并判断x’是否超过恢复门限,其中,x’为两组单路特征值的比对结果为一致的个数累加值且x’在所述异常告警生成后被清零;
单路恢复告警模块,用于在x’超过恢复门限时,生成所述两组单路特征值所对应的两个单路视频信号的内容恢复一致的恢复告警。
可选的,该装置还包括:
整体特征值获取模块,用于获取第一线路的超高清视频信号在当前帧的一组整体特征值;以及获取第二线路的超高清视频信号在当前帧的一组整体特征值;
线路间第二比对模块,用于获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;根据所述第二同步关系确定待比对的两组整体特征值,并对所述两组整体特征值进行比对,所述两组整体特征值分别对应于所述两个超高清视频信号中的同一帧;
第四异常监测模块,用于根据所述两组整体特征值的比对结果监测第一线路和第二线路上的两个超高清视频信号的内容是否一致。
可选的,第四异常监测模块包括:
第三累加模块,用于在两组整体特征值的比对结果为不一致时,将y加一,并判断y是否超过报警门限,其中,y为两组整体特征值的比对结果为不一致的个数累加值,且y在第二同步关系更新后被清零;
第二同步重计算模块,用于在y超过报警门限时,根据对应的第三缓冲队列中的N个第三缓冲数据和对应的第四缓冲队列中的N个第四缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第三缓冲队列用于存储第一线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第三缓冲数据,第四缓冲队列用于存储第二线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第四缓冲数据;
整体异常告警模块,用于在当前未能计算出所述第二同步关系时,生成所述两个超高清视频信号的内容不一致的异常告警。
可选的,该装置还包括:
特殊区域特征值获取模块,用于获取第一线路的超高清视频信号在当前帧的L组特殊区域特征值,以及获取二线路的超高清视频信号在当前帧的L组特殊区域特征值;其中,所述L组特殊区域特征值是根据对应的超高清视频信号中提取的L个预设的特殊区域在当前帧的视频数据计算得到;
线路间第三比对模块,用于获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;根据所述第二同步关系确定待比对的两组特殊区域特征值,并对所述两组特殊区域特征值进行比对,所述两组特殊区域特征值分别对应于所述两个超高清视频信号中的同一帧且对应于同一特殊区域;
第五异常监测模块,用于根据所述两组特殊区域特征值的比对结果监测第一线路和第二线路上相对应的两个特殊区域的内容是否一致。
可选的,第五异常监测模块包括:
第四累加模块,用于在两组特殊区域特征值的比对结果为不一致时,将z加一,并判断z是否超过报警门限,其中,z为两组特殊区域特征值的比对结果为不一致的个数累加值且z在第二同步关系更新后被清零;
第三同步重计算模块,用于在z超过报警门限时,根据对应的第五缓冲队列中的N个第五缓冲数据和对应的第六缓冲队列中的N个第六缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第五缓冲队列用于存储第一线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第五缓冲数据,第二缓冲队列用于存储第二线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第六缓冲数据;
区域异常告警模块,用于在当前未能计算出所述第二同步关系时,生成所述两组特殊区域特征值所对应的两个特殊区域的内容不一致的异常告警。
可以理解,本实施例中的超高清视频信号的异常监测装置,其实现原理及产生的技术效果在前述方法实施例中已经介绍,为简要描述,该超高清视频信号的异常监测装置中未提及之处可以参照超高清视频信号的异常监测方法中的相应描述。
图17示出了本申请实施例提供的电子设备900的一种可能的结构。请参照图17,电子设备900包括:处理器910、存储器920以及通信接口930,这些组件通过通信总线940和/或其他形式的连接机构(未示出)互连并相互通讯。
其中,存储器920包括一个或多个(图中仅示出一个),其可以是,但不限于,随机存取存储器(Random Access Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory,简称EEPROM)等。处理器910以及其他可能的组件可对存储器920进行访问,读和/或写其中的数据。
处理器910包括一个或多个(图中仅示出一个),其可以是一种集成电路芯片,具有信号的处理能力。上述的处理器910可以是通用处理器,包括中央处理器(CentralProcessing Unit,简称CPU)、微控制单元(Micro Controller Unit,简称MCU)、网络处理器(Network Processor,简称NP)或者其他常规处理器;还可以是专用处理器,包括图形处理器(Graphics Processing Unit,GPU)、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuits,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且,在处理器910为多个时,其中的一部分可以是通用处理器,另一部分可以是专用处理器。
通信接口930包括一个或多个(图中仅示出一个),可以用于和其他设备进行直接或间接地通信,以便进行视频数据的交互。通信接口930可以包括进行有线和/或无线通信的接口。
在存储器920中可以存储一个或多个计算机程序指令,处理器910可以读取并运行这些计算机程序指令,以实现本申请实施例提供的超高清视频信号的异常监测方法以及其他期望的功能。
可以理解,图17所示的结构仅为示意,电子设备900还可以包括比图17中所示更多或者更少的组件,或者具有与图17所示不同的配置。图17中所示的各组件可以采用硬件、软件或其组合实现。电子设备900可能是PC机、笔记本电脑、平板电脑、服务器、嵌入式设备等,电子设备900不限于单台设备,也可以是多台设备的组合或者大量设备构成的集群。
本申请实施例还提供一种计算机可读存储介质,包括但不限于磁盘存储器、CD-ROM、光学存储器等,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被计算机的处理器读取并运行时,执行本申请实施例提供的超高清视频信号的异常监测方法。例如,计算机可读存储介质可以实现为图17中电子设备900中的存储器920。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (34)

1.一种超高清视频信号的异常监测方法,其特征在于,包括:
获取第一线路的超高清视频信号,所述超高清视频信号是由K个单路视频信号交织得到;
对所述超高清视频信号进行解交织处理,得到K个单路视频信号;
计算所述K个单路视频信号在当前帧各自对应的一组单路特征值;
根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常;
在计算所述K个单路视频信号在当前帧各自对应的一组单路特征值之后,所述方法还包括:
获取第二线路在当前帧的K组单路特征值;
获取第一线路和第二线路中相对应的两个单路视频信号间的第一同步关系,所述第一同步关系包括两个单路视频信号间的帧差;
根据所述第一同步关系确定待比对的两组单路特征值,并对所述两组单路特征值进行比对,所述两组单路特征值分别对应于所述相对应的两个单路视频信号中的同一帧;
根据所述两组单路特征值的比对结果监测第一线路和第二线路之间所述相对应的两个单路视频信号的内容是否一致;
所述根据所述两组单路特征值的比对结果监测第一线路和第二线路之间所述相对应的两个单路视频信号的内容是否一致,包括:
若两组单路特征值的比对结果为不一致,则将x加一,并判断x是否超过报警门限,其中,x为两组单路特征值的比对结果为不一致的个数累加值,且x在第一同步关系更新后被清零;
若x超过报警门限,则根据对应的第一缓冲队列中的N个第一缓冲数据和对应的第二缓冲队列中的N个第二缓冲数据,重新计算所述相对应的两个单路视频信号间的第一同步关系,其中,第一缓冲队列用于存储第一线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第一缓冲数据,第二缓冲队列用于存储第二线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第二缓冲数据;
若当前未能计算出所述第一同步关系,则生成所述两组单路特征值所对应的两个单路视频信号的内容不一致的异常告警。
2.根据权利要求1所述的方法,其特征在于,所述计算所述K个单路视频信号在当前帧各自对应的一组单路特征值,包括:
对所述K个单路视频信号中的每个单路视频信号分别进行如下处理:
将所述单路视频信号当前帧的视频数据划分为多个基础图元;
分别计算各基础图元在预设颜色格式的三个通道上的基础特征值;
将各通道中的每i个基础特征值合并为一个矢量特征值,其中,i为大于1的正整数且i不大于对应通道中的基础特征值的总数;
将所述三个通道的矢量特征值进行加权融合,得到对应的一组单路特征值。
3.根据权利要求2所述的方法,其特征在于,所述将各通道中的每i个基础特征值合并为一个矢量特征值,包括:
在各通道中依次取j*j个基础特征值,统计在j*j个基础特征值中X方向上的变化值以及Y方向上的变化值,其中,j*j=i,j为大于1的正整数;
根据所述X方向上的变化值以及所述Y方向上的变化值将所述j*j个基础特征值转换为矢量特征值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常,包括:
将所述K组单路特征值进行两两比对,得到一致性比对结果,所述一致性比对结果表征对应的K个单路视频信号之间的内容一致性;
根据所述一致性比对结果监测所述超高清视频信号是否存在异常。
5.根据权利要求4所述的方法,其特征在于,所述将所述K组单路特征值进行两两比对,得到一致性比对结果,包括:
从所述K组单路特征值中选择一组单路特征值作为当前基准特征;
将所述K组单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;
将与当前基准特征不同的单路特征值作为剩余的单路特征值,从剩余的单路特征值中选择一组单路特征值作为当前基准特征;
将剩余的单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;
直至所述K组单路特征值均获得对应的标记符时,得到由K个标记符组成的一致性比对结果。
6.根据权利要求5所述的方法,其特征在于,所述根据所述一致性比对结果监测所述超高清视频信号是否存在异常,包括:
检测所述一致性比对结果中的K个标记符是否完全相同;
若不完全相同,则确定所述超高清视频信号中存在K个单路视频信号的内容不一致的异常。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述K个单路视频信号分别进行内容层报警检测,得到内容层报警检测结果;其中,所述内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;
根据所述内容层报警检测结果监测所述超高清视频信号是否存在异常。
8.根据权利要求1所述的方法,其特征在于,在计算所述相对应的两个单路视频信号间的第一同步关系之后,所述方法还包括:
若计算出所述第一同步关系,则更新所述相对应的两个单路视频信号间的第一同步关系。
9.根据权利要求1所述的方法,其特征在于,所述根据对应的第一缓冲队列中的N个第一缓冲数据和对应的第二缓冲队列中的N个第二缓冲数据,计算所述相对应的两个单路视频信号间的第一同步关系,包括:
获取帧差分别为0至(S-1)时的第一假设情况下的第一比对结果RA[0]至RA[S-1]和第二假设情况下的第二比对结果RB[0]至RB[S-1];其中,所述第一假设情况表示同一帧视频画面,第一线路会先于第二线路播出,所述第二假设情况表示同一帧视频画面,第二线路会先于第一线路播出,所述RA[S-1]和所述RB[S-1]分别表示在第一假设情况下和第二假设情况下,第一缓冲队列中的各第一缓冲数据与第二缓冲队列中的与该第一缓冲数据间的帧差为(S-1)的第二缓冲数据进行比对所形成的多个子比对结果,每个子比对结果包括进行比对的两个缓冲数据形成的多个差值;
根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足找同步条件的第一同步帧差RA_best,得到第一判断结果;
根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足找同步条件的第二同步帧差RB_best,得到第二判断结果;
其中,找同步条件为:存在某一帧差,在所述帧差对应的第一比对结果或者第二比对结果中,有连续的M个子比对结果,所述M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个;M为大于1且小于N的整数,q不大于所述子比对结果中所包含的所述多个差值的总数;
根据所述第一判断结果和所述第二判断结果确定所述相对应的两个单路视频信号间的第一同步关系。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一判断结果和所述第二判断结果确定所述相对应的两个单路视频信号间的第一同步关系,包括:
若RA_best和RB_best都存在,将RA_best或RB_best所对应的帧差作为表征所述两个单路视频信号间第一同步关系的目标同步帧差;
若RA_best存在、RB_best不存在,将RA_best所对应的帧差作为目标同步帧差;
若RA_best不存在、RB_best存在,将RB_best所对应的帧差作为目标同步帧差。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足比对条件的第一比对结果;若存在满足比对条件的第一比对结果,则定义在第一假设情况下能够得到RA_best;
根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足比对条件的第二比对结果;若存在满足比对条件的第二比对结果,则定义在第二假设情况下能够得到RB_best;
其中,所述比对条件为:存在某一第一比对结果或者某一第二比对结果,在所述第一比对结果或所述第二比对结果中,有连续的M’个子比对结果,所述M’个子比对结果中的每个子比对结果中的小于阈值o的差值的数目均少于r个;M’为大于1且不大于M的整数,o大于p,r大于q且不大于所述子比对结果中所包含的所述多个差值的总数;
所述根据所述第一判断结果和所述第二判断结果确定所述相对应的两个单路视频信号间的第一同步关系,还包括:
若RA_best和RB_best都不存在,且未定义在第一假设情况下能够得到RA_best以及未定义在第二假设情况下能够得到RB_best,则确定当前未能计算出所述第一同步关系。
12.根据权利要求1所述的方法,其特征在于,所述根据所述两组单路特征值的比对结果监测第一线路和第二线路之间所述相对应的两个单路视频信号的内容是否一致,包括:
若两组单路特征值的比对结果为一致,则判断在预设时长内是否生成过表征相对应的两个单路视频信号的内容不一致的异常告警;
若在预设时长内生成过所述异常告警,则将x’加一,并判断x’是否超过恢复门限,其中,x’为两组单路特征值的比对结果为一致的个数累加值且x’在所述异常告警生成后被清零;
若x’超过恢复门限,则生成所述两组单路特征值所对应的两个单路视频信号的内容恢复一致的恢复告警。
13.根据权利要求1所述的方法,其特征在于,在获取第一线路的超高清视频信号之后,所述方法还包括:
获取第一线路的超高清视频信号在当前帧的一组整体特征值;
获取第二线路的超高清视频信号在当前帧的一组整体特征值;
获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;
根据所述第二同步关系确定待比对的两组整体特征值,并对所述两组整体特征值进行比对,所述两组整体特征值分别对应于所述两个超高清视频信号中的同一帧;
根据所述两组整体特征值的比对结果监测第一线路和第二线路上的两个超高清视频信号的内容是否一致。
14.根据权利要求13所述的方法,其特征在于,所述根据所述两组整体特征值的比对结果监测第一线路和第二线路上的两个超高清视频信号的内容是否一致,包括:
若两组整体特征值的比对结果为不一致,则将y加一,并判断y是否超过报警门限,其中,y为两组整体特征值的比对结果为不一致的个数累加值,且y在第二同步关系更新后被清零;
若y超过报警门限,则根据对应的第三缓冲队列中的N个第三缓冲数据和对应的第四缓冲队列中的N个第四缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第三缓冲队列用于存储第一线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第三缓冲数据,第四缓冲队列用于存储第二线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第四缓冲数据;
若当前未能计算出所述第二同步关系,则生成所述两个超高清视频信号的内容不一致的异常告警。
15.根据权利要求1所述的方法,其特征在于,在获取第一线路的超高清视频信号之后,所述方法还包括:
获取第一线路的超高清视频信号在当前帧的L组特殊区域特征值;
获取第二线路的超高清视频信号在当前帧的L组特殊区域特征值;
其中,所述L组特殊区域特征值是根据对应的超高清视频信号中提取的L个预设的特殊区域在当前帧的视频数据计算得到;
获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;
根据所述第二同步关系确定待比对的两组特殊区域特征值,并对所述两组特殊区域特征值进行比对,所述两组特殊区域特征值分别对应于所述两个超高清视频信号中的同一帧且对应于同一特殊区域;
根据所述两组特殊区域特征值的比对结果监测第一线路和第二线路上相对应的两个特殊区域的内容是否一致。
16.根据权利要求15所述的方法,其特征在于,所述根据所述两组特殊区域特征值的比对结果监测第一线路和第二线路上相对应的两个特殊区域的内容是否一致,包括:
若两组特殊区域特征值的比对结果为不一致,则将z加一,并判断z是否超过报警门限,其中,z为两组特殊区域特征值的比对结果为不一致的个数累加值,且z在第二同步关系更新后被清零;
若z超过报警门限,则根据对应的第五缓冲队列中的N个第五缓冲数据和对应的第六缓冲队列中的N个第六缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第五缓冲队列用于存储第一线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第五缓冲数据,第二缓冲队列用于存储第二线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第六缓冲数据;
若当前未能计算出所述第二同步关系,则生成所述两组特殊区域特征值所对应的两个特殊区域的内容不一致的异常告警。
17.一种超高清视频信号的异常监测装置,其特征在于,包括:
超高清信号获取模块,用于获取第一线路的超高清视频信号,所述超高清视频信号是由K个单路视频信号交织得到;
解交织处理模块,用于对所述超高清视频信号进行解交织处理,得到K个单路视频信号;
单路特征值计算模块,用于计算所述K个单路视频信号在当前帧各自对应的一组单路特征值;
第一异常监测模块,用于根据所述K个单路视频信号对应的K组单路特征值监测所述超高清视频信号是否存在异常;
所述装置还包括:
线路间第一比对模块,用于获取第二线路在当前帧的K组单路特征值;获取第一线路和第二线路中相对应的两个单路视频信号间的第一同步关系,所述第一同步关系包括两个单路视频信号间的帧差;根据所述第一同步关系确定待比对的两组单路特征值,并对所述两组单路特征值进行比对,所述两组单路特征值分别对应于所述相对应的两个单路视频信号中的同一帧;
第三异常监测模块,用于根据所述两组单路特征值的比对结果监测第一线路和第二线路之间所述相对应的两个单路视频信号的内容是否一致;
第三异常监测模块包括:
第一累加模块,用于在两组单路特征值的比对结果为不一致时,将x加一,并判断x是否超过报警门限,其中,x为两组单路特征值的比对结果为不一致的个数累加值,且x在第一同步关系更新后被清零;
第一同步重计算模块,用于在x超过报警门限时,根据对应的第一缓冲队列中的N个第一缓冲数据和对应的第二缓冲队列中的N个第二缓冲数据,重新计算所述相对应的两个单路视频信号间的第一同步关系,其中,第一缓冲队列用于存储第一线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第一缓冲数据,第二缓冲队列用于存储第二线路上对应的单路视频信号的单路特征值,并将每组单路特征值分别作为一个第二缓冲数据;
单路异常告警模块,用于在当前未能计算出所述第一同步关系时,生成所述两组单路特征值所对应的两个单路视频信号的内容不一致的异常告警。
18.根据权利要求17所述的装置,其特征在于,单路特征值计算模块用于对所述K个单路视频信号中的每个单路视频信号分别进行如下处理:
将所述单路视频信号当前帧的视频数据划分为多个基础图元;
分别计算各基础图元在预设颜色格式的三个通道上的基础特征值;
将各通道中的每i个基础特征值合并为一个矢量特征值,其中,i为大于1的正整数且i不大于对应通道中的基础特征值的总数;
将所述三个通道的矢量特征值进行加权融合,得到对应的一组单路特征值。
19.根据权利要求18所述的装置,其特征在于,单路特征值计算模块用于:
在各通道中依次取j*j个基础特征值,统计在j*j个基础特征值中X方向上的变化值以及Y方向上的变化值,其中,j*j=i,j为大于1的正整数;
根据所述X方向上的变化值以及所述Y方向上的变化值将所述j*j个基础特征值转换为矢量特征值。
20.根据权利要求17所述的装置,其特征在于,第一异常监测模块用于:
将所述K组单路特征值进行两两比对,得到一致性比对结果,所述一致性比对结果表征对应的K个单路视频信号之间的内容一致性;
根据所述一致性比对结果监测所述超高清视频信号是否存在异常。
21.根据权利要求20所述的装置,其特征在于,第一异常监测模块用于:
从所述K组单路特征值中选择一组单路特征值作为当前基准特征;
将所述K组单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;
将与当前基准特征不同的单路特征值作为剩余的单路特征值,从剩余的单路特征值中选择一组单路特征值作为当前基准特征;
将剩余的单路特征值分别与当前基准特征进行比对,并为与当前基准特征相同的单路特征值赋予与当前基准特征相同的标记符;
直至所述K组单路特征值均获得对应的标记符时,得到由K个标记符组成的一致性比对结果。
22.根据权利要求21所述的装置,其特征在于,第一异常监测模块用于:
检测所述一致性比对结果中的K个标记符是否完全相同;
若不完全相同,则确定所述超高清视频信号中存在K个单路视频信号的内容不一致的异常。
23.根据权利要求17所述的装置,其特征在于,所述装置还包括:
内容层报警检测模块,用于对所述K个单路视频信号分别进行内容层报警检测,得到内容层报警检测结果;其中,所述内容层报警检测包括静帧检测、黑场检测、彩场检测、彩条检测、黑白画面检测、雪花噪点检测中的至少一项检测;
第二异常监测模块,用于根据所述内容层报警检测结果监测所述超高清视频信号是否存在异常。
24.根据权利要求17所述的装置,其特征在于,所述装置还包括:
第一同步关系更新模块,用于在计算出所述第一同步关系时,更新所述相对应的两个单路视频信号间的第一同步关系。
25.根据权利要求17所述的装置,其特征在于,第一同步重计算模块包括:
比对结果获取模块,用于获取帧差分别为0至(S-1)时的第一假设情况下的第一比对结果RA[0]至RA[S-1]和第二假设情况下的第二比对结果RB[0]至RB[S-1];其中,所述第一假设情况表示同一帧视频画面,第一线路会先于第二线路播出,所述第二假设情况表示同一帧视频画面,第二线路会先于第一线路播出,所述RA[S-1]和所述RB[S-1]分别表示在第一假设情况下和第二假设情况下,第一缓冲队列中的各第一缓冲数据与第二缓冲队列中的与该第一缓冲数据间的帧差为(S-1)的第二缓冲数据进行比对所形成的多个子比对结果,每个子比对结果包括进行比对的两个缓冲数据形成的多个差值;
第一找同步模块,用于根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足找同步条件的第一同步帧差RA_best,得到第一判断结果;
第二找同步模块,用于根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足找同步条件的第二同步帧差RB_best,得到第二判断结果;
其中,找同步条件为:存在某一帧差,在所述帧差对应的第一比对结果或者第二比对结果中,有连续的M个子比对结果,所述M个子比对结果中的每个子比对结果中的小于阈值p的差值的数目均少于q个;M为大于1且小于N的整数,q不大于所述子比对结果中所包含的所述多个差值的总数;
同步关系确定模块,用于根据所述第一判断结果和所述第二判断结果确定所述相对应的两个单路视频信号间的第一同步关系。
26.根据权利要求25所述的装置,其特征在于,同步关系确定模块用于:
在RA_best和RB_best都存在时,将RA_best或RB_best所对应的帧差作为表征所述两个单路视频信号间第一同步关系的目标同步帧差;
在RA_best存在、RB_best不存在时,将RA_best所对应的帧差作为目标同步帧差;
在RA_best不存在、RB_best存在时,将RB_best所对应的帧差作为目标同步帧差。
27.根据权利要求26所述的装置,其特征在于,所述装置还包括:
第一比对判断模块,用于根据RA[0]至RA[S-1],判断在第一假设情况下是否存在满足比对条件的第一比对结果;若存在满足比对条件的第一比对结果,则定义在第一假设情况下能够得到RA_best;
第二比对判断模块,用于根据RB[0]至RB[S-1],判断在第二假设情况下是否存在满足比对条件的第二比对结果;若存在满足比对条件的第二比对结果,则定义在第二假设情况下能够得到RB_best;
其中,所述比对条件为:存在某一第一比对结果或者某一第二比对结果,在所述第一比对结果或所述第二比对结果中,有连续的M’个子比对结果,所述M’个子比对结果中的每个子比对结果中的小于阈值o的差值的数目均少于r个;M’为大于1且不大于M的整数,o大于p,r大于q且不大于所述子比对结果中所包含的所述多个差值的总数;
同步关系确定模块还用于:在RA_best和RB_best都不存在,且未定义在第一假设情况下能够得到RA_best以及未定义在第二假设情况下能够得到RB_best时,确定当前未能计算出所述第一同步关系。
28.根据权利要求17所述的装置,其特征在于,第三异常监测模块包括:
第二累加模块,用于在两组单路特征值的比对结果为一致时,判断在预设时长内是否生成过表征相对应的两个单路视频信号的内容不一致的异常告警;
恢复门限判断模块,用于若在预设时长内生成过所述异常告警,将x’加一,并判断x’是否超过恢复门限,其中,x’为两组单路特征值的比对结果为一致的个数累加值且x’在所述异常告警生成后被清零;
单路恢复告警模块,用于在x’超过恢复门限时,生成所述两组单路特征值所对应的两个单路视频信号的内容恢复一致的恢复告警。
29.根据权利要求17所述的装置,其特征在于,所述装置还包括:
整体特征值获取模块,用于获取第一线路的超高清视频信号在当前帧的一组整体特征值;以及获取第二线路的超高清视频信号在当前帧的一组整体特征值;
线路间第二比对模块,用于获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;根据所述第二同步关系确定待比对的两组整体特征值,并对所述两组整体特征值进行比对,所述两组整体特征值分别对应于所述两个超高清视频信号中的同一帧;
第四异常监测模块,用于根据所述两组整体特征值的比对结果监测第一线路和第二线路上的两个超高清视频信号的内容是否一致。
30.根据权利要求29所述的装置,其特征在于,第四异常监测模块包括:
第三累加模块,用于在两组整体特征值的比对结果为不一致时,将y加一,并判断y是否超过报警门限,其中,y为两组整体特征值的比对结果为不一致的个数累加值,且y在第二同步关系更新后被清零;
第二同步重计算模块,用于在y超过报警门限时,根据对应的第三缓冲队列中的N个第三缓冲数据和对应的第四缓冲队列中的N个第四缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第三缓冲队列用于存储第一线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第三缓冲数据,第四缓冲队列用于存储第二线路的超高清视频信号的整体特征值,并将一组整体特征值作为一个第四缓冲数据;
整体异常告警模块,用于在当前未能计算出所述第二同步关系时,生成所述两个超高清视频信号的内容不一致的异常告警。
31.根据权利要求17所述的装置,其特征在于,所述装置还包括:
特殊区域特征值获取模块,用于获取第一线路的超高清视频信号在当前帧的L组特殊区域特征值,以及获取二线路的超高清视频信号在当前帧的L组特殊区域特征值;其中,所述L组特殊区域特征值是根据对应的超高清视频信号中提取的L个预设的特殊区域在当前帧的视频数据计算得到;
线路间第三比对模块,用于获取第一线路和第二线路中的两个超高清视频信号间的第二同步关系,所述第二同步关系包括两个超高清视频信号间的帧差;根据所述第二同步关系确定待比对的两组特殊区域特征值,并对所述两组特殊区域特征值进行比对,所述两组特殊区域特征值分别对应于所述两个超高清视频信号中的同一帧且对应于同一特殊区域;
第五异常监测模块,用于根据所述两组特殊区域特征值的比对结果监测第一线路和第二线路上相对应的两个特殊区域的内容是否一致。
32.根据权利要求31所述的装置,其特征在于,第五异常监测模块包括:
第四累加模块,用于在两组特殊区域特征值的比对结果为不一致时,将z加一,并判断z是否超过报警门限,其中,z为两组特殊区域特征值的比对结果为不一致的个数累加值且z在第二同步关系更新后被清零;
第三同步重计算模块,用于在z超过报警门限时,根据对应的第五缓冲队列中的N个第五缓冲数据和对应的第六缓冲队列中的N个第六缓冲数据,重新计算所述两个超高清视频信号间的第二同步关系,其中,第五缓冲队列用于存储第一线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第五缓冲数据,第二缓冲队列用于存储第二线路上对应的特殊区域的特殊区域特征值,并将每组特殊区域特征值分别作为一个第六缓冲数据;
区域异常告警模块,用于在当前未能计算出所述第二同步关系时,生成所述两组特殊区域特征值所对应的两个特殊区域的内容不一致的异常告警。
33.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-16任一项所述的异常监测方法。
34.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1-16任一项所述的异常监测方法。
CN202110096356.XA 2021-01-25 2021-01-25 超高清视频信号的异常监测方法及相应装置 Active CN112954408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110096356.XA CN112954408B (zh) 2021-01-25 2021-01-25 超高清视频信号的异常监测方法及相应装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110096356.XA CN112954408B (zh) 2021-01-25 2021-01-25 超高清视频信号的异常监测方法及相应装置

Publications (2)

Publication Number Publication Date
CN112954408A CN112954408A (zh) 2021-06-11
CN112954408B true CN112954408B (zh) 2023-05-12

Family

ID=76236434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096356.XA Active CN112954408B (zh) 2021-01-25 2021-01-25 超高清视频信号的异常监测方法及相应装置

Country Status (1)

Country Link
CN (1) CN112954408B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979780B (zh) * 2022-07-27 2022-11-11 成都卓元科技有限公司 一种数字电视播出系统视音频信号异态检测及质量比对方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338349A (zh) * 2013-05-31 2013-10-02 广东威创视讯科技股份有限公司 基于vw的海量视频信号智能筛选和显示接入方法及系统
CN105791769A (zh) * 2016-03-11 2016-07-20 广东威创视讯科技股份有限公司 拼接墙的超高清视频显示方法和系统
CN107105185A (zh) * 2017-04-18 2017-08-29 深圳创维-Rgb电子有限公司 视频信号的传输方法及装置
CN107277500A (zh) * 2017-06-27 2017-10-20 中央电视台 视频比对的处理方法和装置
CN108600003A (zh) * 2018-04-19 2018-09-28 中国科学院信息工程研究所 一种面向视频监控网络的入侵检测方法、装置及系统
CN110519637A (zh) * 2019-08-27 2019-11-29 西北工业大学 基于音频视频监控结合的异常监测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338349A (zh) * 2013-05-31 2013-10-02 广东威创视讯科技股份有限公司 基于vw的海量视频信号智能筛选和显示接入方法及系统
CN105791769A (zh) * 2016-03-11 2016-07-20 广东威创视讯科技股份有限公司 拼接墙的超高清视频显示方法和系统
CN107105185A (zh) * 2017-04-18 2017-08-29 深圳创维-Rgb电子有限公司 视频信号的传输方法及装置
CN107277500A (zh) * 2017-06-27 2017-10-20 中央电视台 视频比对的处理方法和装置
CN108600003A (zh) * 2018-04-19 2018-09-28 中国科学院信息工程研究所 一种面向视频监控网络的入侵检测方法、装置及系统
CN110519637A (zh) * 2019-08-27 2019-11-29 西北工业大学 基于音频视频监控结合的异常监测方法

Also Published As

Publication number Publication date
CN112954408A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN110324626B (zh) 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
US8144255B2 (en) Still subtitle detection apparatus and image processing method therefor
KR101624210B1 (ko) 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
US8559670B2 (en) Moving object detection detection within a video stream using object texture
JPH11243543A (ja) 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置
CN105430384A (zh) 一种视频质量诊断方法和系统
US9230166B2 (en) Apparatus and method for detecting camera tampering using edge image
CN100471282C (zh) 错误隐藏设备和方法
CN112954408B (zh) 超高清视频信号的异常监测方法及相应装置
US8724708B2 (en) Image decoding device, image decoding system, image decoding method, and integrated circuit
CN114913599A (zh) 基于自动编码器的视频异常行为检测方法及系统
JP5449401B2 (ja) 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
EP4191521A1 (en) Machine learning device and image processing device
US11393091B2 (en) Video image processing and motion detection
CN104539944B (zh) 数字电视信号传输故障自动判断方法
EP3029942B1 (en) Method and device for inserting a graphical overlay in a video stream
CN111613162B (zh) 故障检测方法、装置、led显示器及存储介质
US9076220B2 (en) Method of processing an image based on the determination of blockiness level
JP6406886B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
KR101617428B1 (ko) 디지털 영상에서 손상 영역을 검출하는 방법 및 장치
KR102629594B1 (ko) 객체 및 배경 구분 방법
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
JPH0622300A (ja) フレ−ム間又はフィ−ルド間予測符号化方法
CN111586348B (zh) 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备
US7212675B2 (en) Method of finding orphan blocks in block based image compression schemes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant