CN117278776A - 多通道视频内容实时比对方法和装置、设备及存储介质 - Google Patents

多通道视频内容实时比对方法和装置、设备及存储介质 Download PDF

Info

Publication number
CN117278776A
CN117278776A CN202310441706.0A CN202310441706A CN117278776A CN 117278776 A CN117278776 A CN 117278776A CN 202310441706 A CN202310441706 A CN 202310441706A CN 117278776 A CN117278776 A CN 117278776A
Authority
CN
China
Prior art keywords
content
frame
frames
sequence
content frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310441706.0A
Other languages
English (en)
Other versions
CN117278776B (zh
Inventor
刘世章
汪昭辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chenyuan Technology Information Co ltd
Original Assignee
Qingdao Chenyuan Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Chenyuan Technology Information Co ltd filed Critical Qingdao Chenyuan Technology Information Co ltd
Priority to CN202310441706.0A priority Critical patent/CN117278776B/zh
Publication of CN117278776A publication Critical patent/CN117278776A/zh
Application granted granted Critical
Publication of CN117278776B publication Critical patent/CN117278776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种多通道视频内容实时比对方法和装置、设备及存储介质。该方法包括：实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；获取源频道内容帧序列；获取目标频道内容帧序列，将目标频道内容帧序列中的第一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧匹配的内容帧，如果是则第一个内容帧记为第一个匹配帧；判断若干匹配帧的序号是否连续，且对应的源频道内的内容帧序列序号是否连续，且若干匹配帧对应的时长满足时长条件，确定源频道和目标频道的视频内容一致。解决了相关技术中检测多通道的视频内容时准确率低和时效性差的技术问题。

Description

多通道视频内容实时比对方法和装置、设备及存储介质
技术领域
本发明涉及视频处理技术领域，具体而言，涉及一种多通道视频内容实时比对方法和装置、设备及存储介质。
背景技术
相关技术中对多通道中视频内容的一致性检测，普遍采用基于人工智能的机器学习模型来检测，即通过对视频样本库进行标注后加以训练，进一步来判断两路或多路视频信号是否为相同的视频信号，但通过机器学习模型严重依赖样本库以及人的经验和对信息应用空间的理解，难以实现视频内容比对的自适应性和实时性，因此会造成多通道中视频内容的一致性检测准确度较低，而且训练成本较大、浪费计算资源。此外广播电视节目的视频内容在播出前是无法预先获取的，而且电视节目的内容每日都在变化，因此无法通过提前学习的方式来进行实时比对。
发明内容
本发明实施例提供了一种多通道视频内容实时比对方法和装置、设备及存储介质，以至少解决相关技术中检测多通道的视频内容时准确率低和时效性差的技术问题。
根据本发明实施例的一个方面，提供了一种多通道视频内容比对方法，包括：实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；提取所述原始视频帧序列的内容帧，得到源频道内容帧序列；提取所述比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的所述源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，所述中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于第一预设阈值时得到；所述内容帧包括镜头帧，所述镜头帧包括所述首帧和尾帧；将所述目标频道内容帧序列中的第一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，判断所述源频道内容帧序列中是否存在与所述第一个内容帧匹配的内容帧，如果是则所述第一个内容帧记为第一个匹配帧，所述匹配帧是在目标频道内容帧序列中，与所述源频道内容帧序列中某一帧的差异率小于等于第二预设阈值的内容帧；如果否，则继续将所述目标频道内容帧序列的下一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；判断所述若干匹配帧是否为在所述目标频道内容帧序列内序号连续的内容帧，且与所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号是否连续；若都连续，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的所述若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
根据本发明实施例的另一方面，还提供了一种多通道视频内容比对装置，包括：获取单元，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；提取单元，用于提取所述原始视频帧序列的内容帧，得到源频道内容帧序列；提取所述比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的所述源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，所述中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于第一预设阈值时得到；所述内容帧包括镜头帧，所述镜头帧包括所述首帧和尾帧；比对单元，用于将所述目标频道内容帧序列中的第一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，判断所述源频道内容帧序列中是否存在与所述第一个内容帧匹配的内容帧，如果是则所述第一个内容帧记为第一个匹配帧，所述匹配帧是在目标频道内容帧序列中，与所述源频道内容帧序列中某一帧的差异率小于第二预设阈值的内容帧；如果否，则继续将所述目标频道内容帧序列的下一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；判断单元，用于判断所述若干匹配帧是否为在所述目标频道内容帧序列内序号连续的内容帧，且与所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号是否连续；若都连续，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的所述若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的多通道视频内容比对方法。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述多通道视频内容比对方法。
在本发明实施例中，通过采用能表征镜头内容的内容帧，无需将源频道和目标频道的所有帧进行比对，即可确定源频道和目标频道的视频内容一致，且不需要构建视频内容比对的机器学习模型，摆脱对样本库的依赖，实现检测过程的适应性和实时性，降低了实施成本，提升了多通道的视频内容检测的准确性，而且提高了多通道的视频内容检测的效率，进而解决了相关技术中检测多通道的视频内容时准确率低和时效性差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的多通道视频内容实时比对方法的应用环境的示意图；
图2是根据本发明实施例的另一种可选的多通道视频内容实时比对方法的应用环境的示意图；
图3是根据本发明实施例的一种可选的多通道视频内容实时比对方的流程示意图；
图4是根据本发明实施例的一种可选的多通道视频的视频帧序列的粒化处理示意图；
图5是根据本发明实施例的另一种可选的多通道视频的视频帧序列中内容帧的展示示意图；
图6是根据本发明实施例的另一种可选的多通道视频内容实时比对方法的流程示意图；
图7是根据本发明实施例的一种可选的多通道视频内容比对方法的镜头比对示意图；
图8是根据本发明实施例的另一种可选的多通道视频内容比对方法的镜头比对示意图；
图9是根据本发明实施例的一种可选的多通道视频内容实时比对装置的结构示意图；
图10是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种多通道视频内容比对方法，作为一种可选地实施方式，上述多通道视频内容比对方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有多通道视频内容比对应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示视频帧序列；处理器1024用于获取源频道的原始视频帧序列和目标频道的比对视频帧序列。存储器1026用于存储上述源频道的原始视频帧序列和目标频道的比对视频帧序列。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述源频道的原始视频帧序列和目标频道的比对视频帧序列。处理引擎1064用于：实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；提取原始视频帧序列的内容帧，得到源频道内容帧序列；提取比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于第一预设阈值时得到；内容帧包括镜头帧，镜头帧包括首帧和尾帧；将目标频道内容帧序列中的第一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧匹配的内容帧，如果是则第一个内容帧记为第一个匹配帧，匹配帧是在目标频道内容帧序列中，与源频道内容帧序列中某一帧的差异率小于等于第二预设阈值的内容帧；如果否，则继续将目标频道内容帧序列的下一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；判断若干匹配帧是否为在目标频道内容帧序列内序号连续的内容帧，且与若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号是否连续；若都连续，判断序号连续的若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
在一个或多个实施例中，本申请上述多通道视频内容比对方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，确定源频道和目标频道的视频内容一致。
可选地，上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机，车载电子设备，可穿戴设备等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
相关技术中对多通道中视频内容的一致性检测时，通过采用基于机器学习模型来比对多个通道中的视频内容；首先，机器学习模型对样本库存在依赖问题；样本库的建立和标注需要投入大量人员且容易出现数据漂移问题，会导致大量视频无法有效处理；很多常见的视频平台通常基于大量人员在机器学习模型中对视频进行标注和审核处理。
其次，采用机器学习的成本较高，且效率不高。无论是神经网络的层数还是样本库的大小，且依赖人的经验和对信息应用空间的理解在已知数据集上不断尝试来调整参数，因此在生产环境中无法实现视频内容的自适应检测。例如，GPT-3模型，训练一次需要约5000台设备运行1个月，耗电19万度，而且训练效果在一定程度上不能满足用户需求。
再次，广播电视节目的视频内容在播出前是无法预先获取的，而且电视节目的内容每日都在变化，因此无法通过提前学习的方式来进行实时比对。
为了解决上述技术问题，作为一种可选地实施方式，如图3所示，本发明实施例提供了一种多通道视频内容比对方法，包括如下步骤：
S302，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列。
具体的，本申请中所指的目标频道为转播源频道播放视频的频道。在一个示例性场景中，源频道为某频道，目标频道为各个地方电视台，在每天的7点钟，某频道播放新闻节目，各个地方电视台进行转播。由于黄金时段的广告费价格昂贵，有的地方电视台可能会延迟切入或提前切出。本申请实施例提供的内容一致性比对方法，可以实时检测各个地方电视台是否按时转播新闻节目，对视频播放内容进行一致性检测，实时判断各个地方电视台的切入切出情况，可以精确到毫秒级别。
在一个或多个实施例中，上述实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列之后，还包括：分别确定目标频道的比对视频帧序列对应的镜头集合，以及源频道的原始视频帧序列对应的镜头集合，镜头集合中每个镜头对应的帧序列为内容连续的一组帧序列。
具体地，本申请的镜头包括摄影机在一次开机到停机之间所拍摄的连续画面片段，是视频构成的基本单位。
S304，提取原始视频帧序列的内容帧，得到源频道内容帧序列；提取比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于第一预设阈值时得到；内容帧包括镜头帧，镜头帧包括首帧和尾帧。
在一个实施例中，确定镜头集合中每个镜头对应的内容帧，包括：对于镜头集合中的每个镜头，将各镜头的首尾两帧图像作为各镜头的内容帧；将各镜头中除首帧和尾帧之外的所有子帧顺序与其前一个内容帧进行差异率计算；在得到的差异率大于第一预设阈值时，将该子帧作为中间内容帧：将首帧、尾帧和中间内容帧组成各镜头的内容帧。
其中，将镜头中的子帧与其前一个内容帧进行差异计算，在得到的差异率大于第一预设阈值时，将该子帧作为中间内容帧，包括：确定当前子帧的第一特征矩阵和第一特征矩阵的模；确定当前子帧的前一内容帧的第二特征矩阵和第二特征矩阵的模；当第一特征矩阵的模大于第三预设阈值时，基于预设差异率计算公式确定第一特征矩阵和第二特征矩阵之间的差异率；当差异率大于第一预设阈值时，确定当前子帧为中间内容帧。具体的差异率阈值可根据实际情况自行设定。
在一个可选地实施例中，可以基于图像的Uniform LBP特征计算差异率，也可以采用其他现有技术中的方法计算差异率，本申请不做具体限定。
可选地，基于公式（1）获取前一个内容帧和当前计算的子帧中每个像素点的每个邻域和/>的特征值。
(1)
其中，c为中心像素，i为邻域内的特征点，pixel为像素值。
基于邻域特征值获取前一个内容帧和当前计算的子帧对应的预设位数的LBP特征，进而得到Uniform LBP特征；计算前一个内容帧和当前计算的子帧YUV分量中所有像素对应的Uniform LBP特征，得到YUV分量下的第一特征矩阵和第二特征矩阵。
在一个或多个实施例中，确定第一特征矩阵对应的第一模值和第二特征矩阵对应的第二模值，包括：
通过公式（2）分别确定第一模值和第二模值；
其中，i为YUV分量，wi和hi为分量下的宽高，为像素点的横纵坐标，m和n均为非负整数，/>为/>像素坐标点在v维度下的特征值，/>。
在一个或多个实施例中，确定前一个内容帧和当前计算的子帧在YUV分量下对应的特征差异值，包括：
通过公式（3）分别确定前一个内容帧和当前计算的子帧中的坐标位置相同的各个像素点在YUV分量下对应的特征差异值；
其中，，m<w i，n<h i且m，n均为非负整数；/>为前一个内容帧和当前计算的子帧中的坐标点/>的像素点在YUV分量下对应的特征差异值；
根据公式（4）确定前一个内容帧和当前计算的子帧在YUV分量下对应的特征差异值；
其中，分别代表前一个内容帧和当前计算的子帧。
在一个或多个实施例中，基于第一模值、第二模值和特征差异值确定前一个内容帧和当前计算的子帧的差异率，包括：
根据公式（5）确定前一个内容帧和当前计算的子帧的差异率；
其中，均不为0。
在本申请实施例中，在获取内容帧过程中，先提取视频帧序列中的每帧图像的图像特征，统计每帧图像的图像特征数量。其中，本申请实施例提取的图像特征数量可以为特征矩阵中非零特征的数量，或为图像的特征向量集合中非零向量的数量，或为特征向量的模，或为特征矩阵的模。
进一步地，判断子帧的图像特征数量是否小于预设的最小特征数量阈值；在子帧的图像特征数量小于最小特征数量阈值时，确定子帧不是内容帧。其中，最小特征数量阈值的具体取值可根据实际情况自行设定，本申请实施例不做限制。图像特征数量较少时，可能为纯色帧，这类图像没有特征从而无法表达视频内容。通过对特征数量较少的图像过滤，提取的内容帧可以明确的表达视频的内容。
在一个实施例中，可以提取图像的特征矩阵，例如UniformLBP 特征组成的矩阵，或者直方图特征矩阵，hog特征矩阵，sift特征矩阵等，本申请实施例不做限定。然后计算特征矩阵的模，当特征矩阵的模小于第三预设阈值时，确定当前子帧不是内容帧。
在子帧的图像特征数量大于等于预设最小特征数量阈值（第三预设阈值）时，对除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于上述第一预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。
若所有子帧与其前一个内容帧的差异率都小于等于第一预设阈值，则所有子帧都不是内容帧，仅提取镜头的首尾两帧作为内容帧。例如，夜晚的监控视频，可能提取的一段视频帧序列中的画面没有变化，则仅取镜头的首尾两帧作为该镜头的内容帧序列。
如图4所示，视频内容是由连续帧序列组成的，按照视频内容的连续性可将连续帧序列分为多组，每组连续帧序列即为一个镜头。通过分析视频镜头中内容的差异，从连续帧序列中选取少量的帧来表示镜头的内容，这些帧即为内容帧。内容帧至少包括镜头的首尾两帧（镜头帧），所以一个镜头内容帧数量至少为2个。
如图5所示，首帧是第一个内容帧，然后计算第2、第3帧.....与其差异率，直到大于预设阈值，假如第2、3与首帧的差异率小于预设阈值，而第4帧大于预设阈值，则第4帧就是第二个内容帧。然后计算第5、第6....与第4帧的差异率，直到大预设阈值，假如第5、6、7帧与首帧的差异率小于预设阈值，而第8帧大于预设阈值，则第8帧就是第三个内容帧。依次类推，计算出所有首帧和尾帧之间的所有子帧中的内容帧。尾帧直接选定为最后一个内容帧，而不必计算与其前一个内容帧之间的差异率。
例如一个监控视频，夜晚期间人少车少，视频画面变化很小，那内容帧会很少，例如在10个小时内仅提取个位数个内容帧。而白天人多车多，视频画面里面人和物的变化频繁，按照上面方法计算出来的内容帧会比晚上多很多。由此，内容帧相对于关键帧来说，保证了不丢失镜头视频的所有内容信息，因为关键帧有可能丢失部分镜头内容。而相对于视频每一帧都要计算和考虑的方案，内容帧的选取由于只选取了部分视频图像帧，在不丢失内容的前提下，极大了减少了图像计算量。
这里，假设服务器的缓存中只存储连续30秒的视频帧序列，例如当前时刻为19点零30秒，那么19点0秒至19点零29秒源频道内容帧序列的各内容帧保存在服务器的缓存；例如当前时刻为19点零40秒，此时19点10秒至19点零39秒源频道内容帧序列的各内容帧保存在服务器的缓存。
S306，将目标频道内容帧序列中的第一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧匹配的内容帧，如果是则第一个内容帧记为第一个匹配帧，匹配帧是在目标频道内容帧序列中，与源频道内容帧序列中某一帧的差异率小于等于预设阈值的内容帧；如果否，则继续将目标频道内容帧序列的下一个内容帧与源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧。
具体地，当目标频道的视频接入服务器后，将目标频道内容帧序列中的第一个内容帧V1与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧的差异率小于等于第二预设阈值的内容帧，如果是则第一个内容帧V1记为第一个匹配帧P1，（存在多个第一个匹配帧时取与目标图像特征差异率最小的内容帧为第一匹配帧），如果否，则继续将目标频道内容帧序列的下一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行逐帧比对，直到找到第一个匹配帧P1；以此类推，得到若干匹配帧。
在一个或多个实施例中，根据预设图像差异函数计算原始视频帧序列的镜头帧与比对视频帧序列的镜头帧的第一差异率，第一差异率小于等于预设差异率时，确定原始视频帧序列的镜头帧与比对视频帧序列的镜头帧相匹配。
根据预设差异函数计算原始视频帧序列的中间内容帧与比对视频帧序列的中间内容帧的第二差异率，并根据第二差异率小于等于预设差异率时，确定原始视频帧序列的中间内容帧与比对视频帧序列的中间内容帧相匹配。
具体地，这里的预设差异率函数包括但不限于图像特征差异率Dis函数，图像直方图距离函数，基于特征点的图像相似度计算函数等。如果两帧待比对的帧图像的帧差异率小于等于预设差异率，可认为相比对的两帧图像为相同帧图像，根据预设差异率的变化，可以调整判断两帧图像相匹配的标准。
S308，判断若干匹配帧是否为在目标频道内容帧序列内序号连续的内容帧，且与若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号是否连续；若都连续，判断序号连续的若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
在一个实施例中，假设得到若干匹配帧为{ P1，P2，P3}，且与若干匹配帧{ P1，P2，P3}相匹配的源频道内容帧序列的各内容帧为{ Q1，Q2，Q3}，{ Q1，Q2，Q3}在源频道内容帧序列内序号连续。则说明源频道和目标频道的视频内容开始一致，并且可以确定开始一致的目标视频内容帧P1的序号。根据开始一致的目标视频内容帧P1对应的时间信息，精确得到目标频道切入待转播视频的时间信息。
在确定出若干匹配帧的序号连续，且与其对应的源频道内的内容帧序列的序号也连续时，可以说明视频内容开始匹配了，为了精确确认视频内容是否全部匹配，还需判断序号连续的若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
在一个实施例中，判断序号连续的若干匹配帧对应的时长是否大于等于第一预设时长，包括：到当前时刻之前，在序号连续的若干匹配帧对应的镜头个数大于等于第一预设个数阈值时，确定序号连续的若干匹配帧对应的时长满足预设时长条件。
可选地，当序号连续的若干匹配帧位于多个镜头内时，可以判断连续匹配的镜头个数是否大于等于第一预设个数阈值，连续匹配的镜头为序号连续的若干匹配帧对应的镜头，当连续匹配的镜头个数大于等于第一预设个数阈值时，说明多个镜头都匹配，因此，不必再计算对应的时长。其中，第一预设个数阈值可根据实际情况自行设定，本申请实施例不做限制。
在一个实施例中，若序号连续的若干匹配帧仅位于一个镜头内时，例如一镜到底的拍摄方式，也可以判断镜头内序号连续的若干匹配帧对应的时长是否大于等于第一预设时长，在当前时刻与序号连续的若干匹配帧中第一个匹配帧对应时间的时间差大于等于第一预设时长时，确定序号连续的若干匹配帧满足预设的时长条件。若序号连续的若干匹配帧位于多个镜头时，也可以通过判断镜头内序号连续的若干匹配帧对应的时长是否大于等于第一预设时长来判断。
具体地，假设这里设置的第一预设个数阈值为10个，第一预设时长为30秒；在当前时刻之前，目标频道内容帧序列内序号连续的若干匹配帧对应的镜头数量大于等于10个时，则确定当前时刻源频道和目标频道的视频内容一致；或在当前时刻之前，目标频道内容帧序列内序号连续的若干匹配帧对应的时长大于等于30秒时，则确定当前时刻源频道和目标频道的视频内容一致。
通过本申请的方法，可以准确检测多个通道的视频内容是否一致，什么时候开始一致，在电视节目直转播场景中，可以精确识别其他目标频道转播源频道的视频内容以及切入时间。
在一个示例性场景中，得到其他目标频道的切入时间之后，还需判断目标频道的切出时间。在某电视节目直转播时，有的电视台为了多播放一些广告，提前切出，违背了相关规定。因此，本申请的方法在检测到视频播放内容一致后，还可以检测什么时候开始不一致。
在一个或多个实施例中，多通道视频内容比对方法，还包括：当若干匹配帧在目标频道内容帧序列内序号为非连续的内容帧，和/或，若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号非连续时，确定源频道和目标频道的视频内容不一致。
具体地，例如得到若干匹配帧为{ P1，P3，P4}，则确定源频道和目标频道的视频内容不一致；又如得到若干匹配帧为{ P1，P2，P3}，与若干匹配帧{ P1，P2，P3}相匹配的源频道内容帧序列的各内容帧为{ Q1，Q3，Q2}，则确定源频道和目标频道的视频内容不同一致。
在一个或多个实施例中，在当前时刻确定源频道和目标频道的视频内容不一致，包括：在第一时刻至当前时刻，当连续不匹配的镜头个数大于等于第二预设个数阈值时，则确定当前时刻源频道和目标频道的视频内容不一致；连续不匹配的镜头包括：在目标频道内容帧序列内序号非连续的若干匹配帧，或若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号非连续时对应的各镜头；第一时刻为当前时刻之前已确定为内容比对一致的时刻。
或者，在第一时刻至当前时刻，当内容帧连续不匹配时长大于等于第二预设时长时，则确定当前时刻源频道和目标频道的视频内容不一致；内容帧连续不匹配时长包括：在目标频道内容帧序列内序号非连续的若干匹配帧，或若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号非连续时对应的时长。
具体地，在本申请实施例中，例如在第一时刻19点30秒为已确定为内容比对一致的时刻，第二预设个数阈值为5，第二预设时长为6秒，在此之后至当前时刻，若当连续不匹配的镜头个数大于等于5时，或当内容帧连续不匹配时长大于等于6秒时，确定当前时刻确定源频道和目标频道的视频内容不一致，并且可以确定开始不一致的目标频道的内容帧序号。根据开始不一致的目标频道的内容帧序号对应的时间信息，得到目标频道切出待转播视频的时间信息。
根据本申请提供的视频内容一致性比对方法，通过采用能表征镜头内容的内容帧，无需将源频道和目标频道的所有帧进行比对，即可确定源频道和目标频道的视频内容一致，且不需要构建视频内容比对的机器学习模型，不仅提升了多通道的视频内容检测的准确性，而且提高了多通道的视频内容检测的效率，进而解决了相关技术中检测多通道的视频内容时准确率低和时效性差的技术问题。
在本申请一应用实施例中，多通道视频内容一致性实时检测技术不是采用传统的逐帧比对的方法，而是通过比较镜头帧和中间内容帧的确定视频内容的一致性。如图6所示，多通道视频内容一致性比对流程包括如下步骤：
步骤1：分别对源频道和目标频道的帧序列进行镜头检测，找到镜头帧和中间内容帧，对源频道的帧序列和目标频道的帧序列同时进行以下操作：
a)判断源频道当前帧是否为镜头帧或中间内容帧，如果是则放入服务器的缓存中。
b)判断目标频道当前帧是否为镜头帧或中间内容帧，如果不是则重新执行步骤1。
步骤2：如果当前时刻确定目标频道与源频道播放内容一致，转到步骤5，否则执行步骤3。
步骤3：根据差异函数计算目标频道当前镜头帧和中间内容帧与源频道缓存中的镜头帧和中间内容帧的差异值，根据该差异值找出匹配的镜头帧或中间内容帧。
步骤4：判断源频道和目标频道镜头匹配状态，判断条件包括：
1)源与目标频道的镜头帧相匹配；
2)源与目标频道的中间内容帧相匹配；
3)若干匹配帧在目标频道内容帧序列内序号连续的内容帧，且与若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号连续；
4)满足条件a)和b)其中一：
a)若干匹配帧对应的连续匹配镜头个数不小于MatchShotCount（预设阈值）；
b)若干匹配帧对应的连续匹配时长不小于MatchSecs（预设阈值，单位为秒）；
当同时满足上面四个条件时，源频道和目标频道的视频内容一致，否则源频道和目标频道的视频内容不一致。
步骤5：确定当前时刻目标频道视频播放内容与源频道已一致，因此根据时序确定当前时刻的后续时刻是否源频道与目标视频内容一致，只需计算目标视频镜头帧或中间内容帧与源视频在缓存中的对应的镜头帧或内容帧是否匹配。如果匹配，源频道与目标频道内容仍然一致，否则如果满足以下条件之一：
a)源频道与目标频道的内容帧连续不匹配镜头个数超过MissShotCount（预设阈值）；
b)源频道与目标频道的内容帧连续不匹配时长超过MissSecs（预设阈值，单位为秒）；
则确定源与目标视频内容不再一致。
如图7所示，源镜头序列（源频道对应的镜头序列）镜头中，镜头1与目标镜头序列（目标频道对应的镜头序列）的当前镜头对应的内容帧匹配，但时序不一致，确定镜头1和当前镜头的内容不一致。
如图8所示，源镜头序列（源频道对应的镜头序列）镜头中，镜头1与目标镜头序列（目标频道对应的镜头序列）的当前镜头对应的内容帧匹配，时序也一致，确定镜头1和当前镜头的内容一致。
本发明实施例还具有以下有益效果：
1.本发明实施例采用Uniform LBP 特征作为图像描述基本特征，该特征对于图像纹理变化相比其他特征表现出更好的敏感性，而对于移动变化则表现出同其他特征类似的稳定性。在差异度构造上将采用图模型，这样可以在突出不同图像间差异的同时减小异常扰动。
2.本发明实施例基于图像区域动态划分的像素域特征进行分析，采用滑动窗口对前后帧的特征空间进行扫描分析，计算前后帧的区域特征变化，找到视频内容变化的突变点，确定镜头分界，实现无样本自主学习，使海量媒体视频镜头内容帧处理的速度、效率、准确率等性能指标的数量级提升。其中镜头与内容帧提取算力超过160000帧/秒，计算过程使用主频为3.0GHz的一个CPU核，准确率可达95%以上。
3.两台服务器即可支持100路转播流与直播流进行实时内容对比，秒级响应，能力和能耗均达到国际先进水平。可以在后台实时监测各个目标频道转播源频道视频内容的切入切出信息。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述多通道视频内容比对方法的多通道视频内容比对装置。如图9所示，该装置包括：
获取单元902，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；
提取单元904，用于提取原始视频帧序列的内容帧，得到源频道内容帧序列；提取比对原始视频 帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于第一预设阈值时得到；内容帧包括镜头帧，镜头帧包括首帧和尾帧；
比对单元906，用于将目标频道内容帧序列中的第一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧匹配的内容帧，如果是则第一个内容帧记为第一个匹配帧，匹配帧是在目标频道内容帧序列中，与源频道内容帧序列中某一帧的差异率小于第二预设阈值的内容帧；如果否，则继续将目标频道内容帧序列的下一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；
判断单元908，用于判断若干匹配帧是否为在目标频道内容帧序列内序号连续的内容帧，且与若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号是否连续；若都连续，判断序号连续的若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
在本发明实施例中，通过采用能表征镜头内容的内容帧，无需将源频道和目标频道的所有帧进行比对，即可确定源频道和目标频道的视频内容一致，且不需要构建视频内容比对的机器学习模型，不仅提升了多通道的视频内容检测的准确性，而且提高了多通道的视频内容检测的效率，进而解决了相关技术中检测多通道的视频内容时准确率低和时效性差的技术问题。
根据本发明实施例的又一个方面，还提供了一种用于实施上述多通道视频内容比对方法的电子设备，该电子设备可以是图10所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图10所示，该电子设备包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；
S2，提取原始视频帧序列的内容帧，得到源频道内容帧序列；提取比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于第一预设阈值时得到；内容帧包括镜头帧，镜头帧包括首帧和尾帧；
S3，将目标频道内容帧序列中的第一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，判断源频道内容帧序列中是否存在与第一个内容帧匹配的内容帧，如果是则第一个内容帧记为第一个匹配帧，匹配帧是在目标频道内容帧序列中，与源频道内容帧序列中某一帧的差异率小于等于第二预设阈值的内容帧；如果否，则继续将目标频道内容帧序列的下一个内容帧与缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；
S4，判断若干匹配帧是否为在目标频道内容帧序列内序号连续的内容帧，且与若干匹配帧相匹配的源频道内容帧序列的各内容帧在源频道内容帧序列内序号是否连续；若都连续，判断序号连续的若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图10其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图10中所示更多或者更少的组件（如网络接口等），或者具有与图10所示不同的配置。
其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的多通道视频内容比对方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的多通道视频内容比对方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储镜头帧和内容帧等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述多通道视频内容比对装置中的分割单元1702、获取单元1704与第一确定单元1706。此外，还可以包括但不限于上述多通道视频内容比对装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1008，用于显示上述账单子任务的处理结果；和连接总线1010，用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述多通道视频内容比对方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；
S2，提取所述原始视频帧序列的内容帧，得到源频道内容帧序列；提取所述比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的所述源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，所述中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于第一预设阈值时得到；所述内容帧包括镜头帧，所述镜头帧包括所述首帧和尾帧；
S3，将所述目标频道内容帧序列中的第一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，判断所述源频道内容帧序列中是否存在与所述第一个内容帧匹配的内容帧，如果是则所述第一个内容帧记为第一个匹配帧，所述匹配帧是在目标频道内容帧序列中，与所述源频道内容帧序列中某一帧的差异率小于等于第二预设阈值的内容帧；如果否，则继续将所述目标频道内容帧序列的下一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；
S4，判断所述若干匹配帧是否为在所述目标频道内容帧序列内序号连续的内容帧，且与所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号是否连续；若都连续，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种多通道视频内容实时比对方法，其特征在于，包括：
实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；
提取所述原始视频帧序列的内容帧，得到源频道内容帧序列；提取所述比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的所述源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，所述中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于第一预设阈值时得到；所述内容帧包括镜头帧，所述镜头帧包括所述首帧和尾帧；
将所述目标频道内容帧序列中的第一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，判断所述源频道内容帧序列中是否存在与所述第一个内容帧匹配的内容帧，如果是则所述第一个内容帧记为第一个匹配帧，所述匹配帧是在目标频道内容帧序列中，与所述源频道内容帧序列中某一帧的差异率小于等于第二预设阈值的内容帧；如果否，则继续将所述目标频道内容帧序列的下一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；
判断所述若干匹配帧是否为在所述目标频道内容帧序列内序号连续的内容帧，且与所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号是否连续；若都连续，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的所述若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
2.根据权利要求1所述的方法，其特征在于，所述实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列之后，还包括：
分别确定目标频道的比对视频帧序列对应的镜头集合，以及源频道的原始视频帧序列对应的镜头集合，镜头集合中每个镜头对应的帧序列为内容连续的一组帧序列。
3.根据权利要求2所述的方法，其特征在于，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件，包括：
到当前时刻之前，在序号连续的所述若干匹配帧对应的镜头个数大于等于第一预设个数阈值时，确定序号连续的所述若干匹配帧对应的时长满足预设的时长条件；或，
在当前时刻与序号连续的所述若干匹配帧中第一个匹配帧对应时间的时间差大于等于第一预设时长时，确定序号连续的所述若干匹配帧对应的时长满足预设的时长条件。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述若干匹配帧在所述目标频道内容帧序列内序号为非连续的内容帧，和/或，所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号非连续时，确定源频道和目标频道的视频内容不一致。
5.根据权利要求4所述的方法，其特征在于，在当前时刻确定源频道和目标频道的视频内容不一致，包括：
在第一时刻至当前时刻，当连续不匹配的镜头个数大于等于第二预设个数阈值时，则确定所述当前时刻源频道和目标频道的视频内容不一致；所述连续不匹配的镜头包括：在所述目标频道内容帧序列内序号非连续的所述若干匹配帧，或所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号非连续时对应的各镜头；所述第一时刻为当前时刻之前已确定为内容比对一致的时刻；或者，
在所述第一时刻至当前时刻，当内容帧连续不匹配时长大于等于第二预设时长时，则确定所述当前时刻源频道和目标频道的视频内容不一致；所述内容帧连续不匹配时长包括：在所述目标频道内容帧序列内序号非连续的所述若干匹配帧，或所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号非连续时对应的时长。
6.根据权利要求2所述的方法，其特征在于，确定所述镜头集合中每个镜头对应的内容帧，包括：
对于所述镜头集合中的每个镜头，将各镜头的首尾两帧图像作为各镜头的内容帧；
将各镜头中除首帧和尾帧之外的所有子帧顺序与其前一个内容帧进行差异率计算；
在得到的差异率大于第一预设阈值时，将该子帧作为所述中间内容帧：
将所述首帧、尾帧和所述中间内容帧组成各镜头的内容帧。
7.根据权利要求6所述的方法，其特征在于，将镜头中的子帧与其前一个内容帧进行差异计算，在得到的差异率大于第一预设阈值时，将该子帧作为所述中间内容帧，包括：
确定当前子帧的第一特征矩阵和所述第一特征矩阵的模；
确定当前子帧的前一内容帧的第二特征矩阵和所述第二特征矩阵的模；
当所述第一特征矩阵的模大于第三预设阈值时，基于预设差异率计算公式确定所述第一特征矩阵和所述第二特征矩阵之间的差异率；
当所述差异率大于所述第一预设阈值时，确定所述当前子帧为所述中间内容帧。
8.根据权利要求1所述的方法，其特征在于，所述确定源频道和目标频道的视频内容一致之前，还包括：
根据预设图像差异函数计算所述原始视频帧序列的镜头帧与所述比对视频帧序列的镜头帧的第一差异率，所述第一差异率小于等于预设差异率时，确定所述原始视频帧序列的镜头帧与所述比对视频帧序列的镜头帧相匹配；
根据所述预设差异函数计算所述原始视频帧序列的中间内容帧与所述比对视频帧序列的中间内容帧的第二差异率，并根据所述第二差异率小于等于所述预设差异率时，确定所述原始视频帧序列的中间内容帧与所述比对视频帧序列的中间内容帧相匹配。
9.一种多通道视频内容实时比对装置，其特征在于，包括：
获取单元，实时同步获取源频道传入的原始视频帧序列，以及目标频道传入的比对视频帧序列；
提取单元，用于提取所述原始视频帧序列的内容帧，得到源频道内容帧序列；提取所述比对视频帧序列的内容帧，得到目标频道内容帧序列，将当前时刻之前的所述源频道内容帧序列的各内容帧按时间段依次放入服务器的缓存；其中，内容帧为表征镜头内容的帧，包括首帧、尾帧、和N个中间内容帧，N为自然数，所述中间内容帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于第一预设阈值时得到；所述内容帧包括镜头帧，所述镜头帧包括所述首帧和尾帧；
比对单元，用于将所述目标频道内容帧序列中的第一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，判断所述源频道内容帧序列中是否存在与所述第一个内容帧匹配的内容帧，如果是则所述第一个内容帧记为第一个匹配帧，所述匹配帧是在目标频道内容帧序列中，与所述源频道内容帧序列中某一帧的差异率小于第二预设阈值的内容帧；如果否，则继续将所述目标频道内容帧序列的下一个内容帧与所述缓存中源频道内容帧序列的各内容帧依次进行比对，直到找到第一个匹配帧；以此类推，得到若干匹配帧；
判断单元，用于判断所述若干匹配帧是否为在所述目标频道内容帧序列内序号连续的内容帧，且与所述若干匹配帧相匹配的源频道内容帧序列的各内容帧在所述源频道内容帧序列内序号是否连续；若都连续，判断序号连续的所述若干匹配帧对应的时长是否满足预设的时长条件；在序号连续的所述若干匹配帧对应的时长满足预设时长条件时，确定源频道和目标频道的视频内容一致。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
11.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至8任一项中所述的方法。
CN202310441706.0A 2023-04-23 2023-04-23 多通道视频内容实时比对方法和装置、设备及存储介质 Active CN117278776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310441706.0A CN117278776B (zh) 2023-04-23 2023-04-23 多通道视频内容实时比对方法和装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310441706.0A CN117278776B (zh) 2023-04-23 2023-04-23 多通道视频内容实时比对方法和装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117278776A true CN117278776A (zh) 2023-12-22
CN117278776B CN117278776B (zh) 2024-09-03

Family

ID=89220231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310441706.0A Active CN117278776B (zh) 2023-04-23 2023-04-23 多通道视频内容实时比对方法和装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117278776B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640925A (zh) * 2024-01-26 2024-03-01 海看网络科技(山东)股份有限公司 一种多路视频画面一致性检测方法、系统及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054645A1 (en) * 2011-08-23 2013-02-28 Sitaram Bhagavathy Content identification using fingerprint matching
US20140003523A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for encoding video using higher rate video sequences
CN104079924A (zh) * 2014-03-05 2014-10-01 北京捷成世纪科技股份有限公司 一种视频错播的检测方法和装置
CN111246178A (zh) * 2020-02-05 2020-06-05 浙江大华技术股份有限公司 视频处理方法和装置、存储介质及电子装置
CN111950653A (zh) * 2020-08-24 2020-11-17 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子设备
US20220027634A1 (en) * 2020-11-27 2022-01-27 Beijing Baidu Netcom Science Technology Co., Ltd. Video processing method, electronic device and storage medium
US20220172477A1 (en) * 2020-01-08 2022-06-02 Tencent Technology (Shenzhen) Company Limited Video content recognition method and apparatus, storage medium, and computer device
US20220237400A1 (en) * 2021-01-27 2022-07-28 Boe Technology Group Co., Ltd. Video processing method and apparatus, computing device and medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054645A1 (en) * 2011-08-23 2013-02-28 Sitaram Bhagavathy Content identification using fingerprint matching
US20140003523A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for encoding video using higher rate video sequences
CN104079924A (zh) * 2014-03-05 2014-10-01 北京捷成世纪科技股份有限公司 一种视频错播的检测方法和装置
US20220172477A1 (en) * 2020-01-08 2022-06-02 Tencent Technology (Shenzhen) Company Limited Video content recognition method and apparatus, storage medium, and computer device
CN111246178A (zh) * 2020-02-05 2020-06-05 浙江大华技术股份有限公司 视频处理方法和装置、存储介质及电子装置
CN111950653A (zh) * 2020-08-24 2020-11-17 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子设备
US20220027634A1 (en) * 2020-11-27 2022-01-27 Beijing Baidu Netcom Science Technology Co., Ltd. Video processing method, electronic device and storage medium
US20220237400A1 (en) * 2021-01-27 2022-07-28 Boe Technology Group Co., Ltd. Video processing method and apparatus, computing device and medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640925A (zh) * 2024-01-26 2024-03-01 海看网络科技(山东)股份有限公司 一种多路视频画面一致性检测方法、系统及电子设备

Also Published As

Publication number Publication date
CN117278776B (zh) 2024-09-03

Similar Documents

Publication Publication Date Title
CN112565825B (zh) 一种视频数据处理方法、装置、设备以及介质
EP3761187A1 (en) Method and apparatus for matching multimedia resource, and storage medium and electronic device
CN117278776B (zh) 多通道视频内容实时比对方法和装置、设备及存储介质
WO2020037881A1 (zh) 运动轨迹绘制方法、装置、设备和存储介质
CN109120949B (zh) 视频集合的视频消息推送方法、装置、设备及存储介质
CN111340101B (zh) 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN103870559A (zh) 一种基于播放的视频获取信息的方法及设备
CN108540817B (zh) 视频数据处理方法、装置、服务器及计算机可读存储介质
CN105574896A (zh) 一种面向高分辨率视频的高效背景建模方法
CN113515998A (zh) 一种视频数据处理方法、设备以及可读存储介质
CN107392883A (zh) 影视戏剧冲突程度计算的方法及系统
CN114286171A (zh) 视频处理方法、装置、设备及存储介质
CN111047622A (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN111263183A (zh) 唱歌状态识别方法及装置
WO2022041182A1 (zh) 音乐推荐方法和装置
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN108881119A (zh) 一种视频浓缩的方法、装置和系统
WO2016161899A1 (zh) 一种多媒体信息处理方法、设备及计算机存储介质
CN117014649A (zh) 视频处理方法、装置及电子设备
CN104866818A (zh) 一种用于搜索包含人脸的图片的方法和装置
CN115243073A (zh) 一种视频处理方法、装置、设备及存储介质
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN116600070B (zh) 全息视频的存储方法、装置、设备及存储介质
CN117177012B (zh) 视频播出监测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant