CN117156125A - 基于人工智能的iptv直播流实时监测方法及服务器 - Google Patents

基于人工智能的iptv直播流实时监测方法及服务器 Download PDF

Info

Publication number
CN117156125A
CN117156125A CN202311388265.9A CN202311388265A CN117156125A CN 117156125 A CN117156125 A CN 117156125A CN 202311388265 A CN202311388265 A CN 202311388265A CN 117156125 A CN117156125 A CN 117156125A
Authority
CN
China
Prior art keywords
key frame
live stream
stream key
original
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311388265.9A
Other languages
English (en)
Inventor
桑于彭
边祥国
付强
吴晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paco Video Technology Hangzhou Co ltd
Original Assignee
Paco Video Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paco Video Technology Hangzhou Co ltd filed Critical Paco Video Technology Hangzhou Co ltd
Priority to CN202311388265.9A priority Critical patent/CN117156125A/zh
Publication of CN117156125A publication Critical patent/CN117156125A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Abstract

本申请提供一种基于人工智能的IPTV直播流实时监测方法及服务器，通过实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合；进一步进行关键帧对齐，得到对齐的关键帧组；将关键帧组输入至预设的监测模型中，对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。利用人工智能的技术，将原始直播流关键帧和播出直播流关键帧进行相似度比对，从而进行播出直播流的篡改实时监测，可以扩展到多路直播流的同步监测，效率高、误差小，大大降低人力投入成本，且不受限于人的能力极限。

Description

基于人工智能的IPTV直播流实时监测方法及服务器
技术领域
本申请涉及IPTV监测技术领域，具体而言，涉及一种基于人工智能的IPTV直播流实时监测方法及服务器。
背景技术
在IPTV领域中，对直播安全播放的要求非常高，不允许出现播放的直播流被篡改的情况，因此对播放直播流的实时监测就变得非常重要。当监测到直播流异常时可以马上采取应急策略进行处置。
一般在IPTV领域中对直播流监测的常规方法是：采集原始直播流和播出直播流接入到监播室的两个屏幕，安排专门的值班人员24小时观看两块屏幕比对异常。这种方式已经使用很多年，已经比较成熟，但对值班监测人员要求比较高，一个人最多监测几路频道，效率较低。可能由于人员状态导致监测过程的误差，需要安排额外人员交叉检查，比较耗费人力成本。因此，传统的监测方式非常耗费人力，依赖人员的监测状态和能力，效率低，人力成本高。
目前也有直播流监测硬件系统，但主要监测直播流的黑场，花屏等问题，无法实时监测直播流的篡改问题。
发明内容
本申请实施例的目的在于提供一种基于人工智能的IPTV直播流实时监测方法及服务器，以通过人工智能的技术，高效、准确、可靠地实现对IPTV直播流的实时监测。
为了实现上述目的，本申请的实施例通过如下方式实现：
第一方面，本申请实施例提供一种基于人工智能的IPTV直播流实时监测方法，包括：步骤S10：实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合，其中，原始直播流关键帧集合与播出直播流关键帧集合采用同一关键帧采集策略；步骤S20：基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组，其中，每个关键帧组包含一张原始直播流关键帧和一张对应的播出直播流关键帧；步骤S30：将关键帧组输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。
结合第一方面，在第一方面的第一种可能的实现方式中，预设的监测模型包括第一比对单元、第二比对单元和评分计算单元，步骤S30中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，包括：步骤S31：通过第一比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行图像比对，得到图像相似度分值；步骤S32：通过第二比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行结构比对，得到结构相似度分值；步骤S33：通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，第一比对单元采用SimGNN，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的图相似度，得到图像相似度分值。
结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，第二比对单元采用SSIM模型，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的结构相似度，得到结构相似度分值。
结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，步骤S33中，通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分，包括：获取原始直播流的类型；基于原始直播流的类型对应的评分权重参数；基于评分权重参数、图像相似度分值和结构相似度分值，计算关键帧组对应的相似度评分。
结合第一方面，在第一方面的第五种可能的实现方式中，步骤S20中，基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组，包括：步骤S21：判断当前的原始直播流关键帧是否位于校正节点，其中，校正节点表示需要以当前的原始直播流关键帧为基准对播出直播流关键帧进行对齐；步骤S22：若当前的原始直播流关键帧位于校正节点，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组；步骤S23：若当前的原始直播流关键帧不位于校正节点，基于当前的原始直播流关键帧的前一锚点关键帧组、原始直播流关键帧集合和播出直播流关键帧集合确定出当前的原始直播流关键帧对应的关键帧组。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，当前的原始直播流关键帧为原始直播流关键帧集合中的起始关键帧时，步骤S22中，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组，包括：将原始直播流关键帧集合中的起始关键帧和播出直播流关键帧集合中的起始关键帧，确定为此校正节点对应的锚点关键帧组。
结合第一方面的第五种可能的实现方式，在第一方面的第七种可能的实现方式中，当前的原始直播流关键帧不为原始直播流关键帧集合中的起始关键帧时，步骤S22中，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组，包括：步骤S221：基于当前的原始直播流关键帧，确定出尺寸为m的时间窗，时间窗覆盖m个连续的关键帧，作为用于校正此校正节点的原始直播流关键帧片段；步骤S222：以校正节点的前一组关键帧组之后的第一个播出直播流关键帧为起点，将时间窗覆盖的m个播出直播流关键帧作为一组待定播出直播流关键帧片段；步骤S223：基于原始直播流关键帧片段和待定播出直播流关键帧片段，计算其中的每个原始直播流关键帧与对应的播出直播流关键帧之间的相似度评分，共计m个相似度评分；步骤S224：若m个相似度评分均达到设定值，将原始直播流关键帧片段中的起始关键帧和此待定播出直播流关键帧片段的起始关键帧确定为此校正节点对应的锚点关键帧组；步骤S225：若并非m个相似度评分均达到设定值，则将覆盖于播出直播流关键帧的时间窗向后滑动一个步长，确定出下一组待定播出直播流关键帧片段，跳转执行步骤S223。
结合第一方面的第五种可能的实现方式，在第一方面的第八种可能的实现方式中，步骤S21中，生成校正节点的方式为以下方式一、方式二和方式三中的任一项，或者方式一与方式三的结合，或者方式二与方式三的结合：方式一：与前一锚点关键帧组间隔设定时长时，生成校正节点；方式二：与前一锚点关键帧组间隔设定关键帧数量时，生成校正节点；方式三：检测到产生网络波动时，以网络波动产生的时间点之后的第一个原始直播流关键帧所在的节点为校正节点。
第二方面，本申请实施例提供一种服务器，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任一项所述的基于人工智能的IPTV直播流实时监测方法。
有益效果：
1.本方案通过实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合；基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组（每个关键帧组包含一张原始直播流关键帧和一张对应的播出直播流关键帧）；将关键帧组输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。这样的方式可以利用人工智能的技术，将原始直播流关键帧和播出直播流关键帧进行相似度比对，从而进行播出直播流的篡改实时监测。且本方案可以扩展到多路直播流（不同的频道各自对应一路直播流）的同步监测（例如100路直播流的监测），通过集成到服务器便可同时实现对每一路直播流的实时监测，效率高、误差小，大大降低人力投入成本，且不受限于人的能力极限（一般人同时监测几路便比较吃力）。
2.本方案设计的监测模型，采用了两个比对单元，以不同的方式对原始直播流关键帧和播出直播流关键帧进行不同侧重的比对：第一比对单元采用SimGNN，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的图相似度，得到图像相似度分值；而第二比对单元采用SSIM模型，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的结构相似度，得到结构相似度分值。然后利用评分计算单元对图像相似度分值和结构相似度分值进行加权计算（甚至不同类型的直播可以设计不同的权重），计算出关键帧组对应的相似度评分。这样能够更准确、更全面地实现对原始直播流关键帧和播出直播流关键帧的相似度比对，保证直播流监测结果的可靠性。并且，随着监测对象的积累可以让比对效果越来越好。而结合了图相似度和结构相似度的图片比对算法，以及设计了时间窗校正方案，能够有效降低监测模型在学习训练中的过拟合、欠拟合和网络抖动对计算结果的干扰。
3.为了提高监测的可靠性，本方案还设计了原始直播流关键帧集合和播出直播流关键帧集合的关键帧对齐方案，以应对网络波动、滞后等干扰，提高监测的准确性和可靠性。在关键帧对齐时，设计锚点关键帧连带后续部分关键帧的对齐方案（即，锚点关键帧确定后，可以在后续一部分关键帧对齐时，保证准确性）。而校正节点的生成方式（例如间隔设定时长、间隔设定关键帧数量、网络波动产生时等）确保了关键帧对齐校正的进行，校正后即可生成一组锚点关键帧组，又可以在后续一部分关键帧对齐时，保证准确性。因此，本方案能够非常可靠地保证关键帧的对齐，从而保证对直播流实时监测的可靠性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于人工智能的IPTV直播流实时监测方法的流程图。
图2为步骤S20的子步骤流程图。
图3为步骤S22的子步骤流程图。
图4为本申请实施例提供的一种服务器的结构框图。
图标：10-服务器；11-存储器；12-通信模块；13-总线；14-处理器。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
为了实现对IPTV直播流的实时监测（监测是否存在直播流篡改问题），可以采用服务器运行基于人工智能的IPTV直播流实时监测方法来实现。由于实际的IPTV直播场景中，不同直播节目所涉及的频道数量不同，可能涉及多路直播流的监测，因此可以将基于人工智能的IPTV直播流实时监测方法集成到服务器，实现对多路直播流的同时监测（例如100路直播流），每路直播流的监测可以是相互独立的。
为便于描述，本方案以对一路直播流的实时监测为例进行说明，请参阅图1，图1为本申请实施例提供的一种基于人工智能的IPTV直播流实时监测方法的流程图。基于人工智能的IPTV直播流实时监测方法可以包括步骤S10、步骤S20和步骤S30。
首先，服务器可以运行步骤S10。
步骤S10：实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合，其中，原始直播流关键帧集合与播出直播流关键帧集合采用同一关键帧采集策略。
在本实施例中，服务器可以实时采集IPTV的原始直播流关键帧（来自于原始直播流）和播出直播流关键帧（来自于一路播出的直播流），分别形成原始直播流关键帧集合和播出直播流关键帧集合。此处，原始直播流和播出直播流采用同样的关键帧采集策略进行关键帧抽取。而原始直播流关键帧集合则是经实时采集的原始直播流关键帧形成，播出直播流关键帧集合则是经实时采集的播出直播流关键帧形成。
需要说明的是，在基于人工智能的IPTV直播流实时监测方法的运行过程中，原始直播流关键帧集合中包含的原始直播流关键帧的数量是一个动态的，因为实时采集的原始直播流关键帧会加入到这个原始直播流关键帧集合中。另外，已经对齐的关键帧组，则可以进行标记（标记为已对齐、已识别或已监测等），一些应用场景下，已经对齐的关键帧组（其中的原始直播流关键帧）甚至可以从这个原始直播流关键帧集合中释放出去（本实施例不以这种情况为例另行介绍），此处不作限定。对应的，播出直播流关键帧集合也是如此，此处不再赘述。另外，为了便于方法的顺利运行，一般在原始直播流关键帧集合中存在2m帧原始直播流关键帧时开始运行步骤S20，但不作限定。
步骤S20：基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组，其中，每个关键帧组包含一张原始直播流关键帧和一张对应的播出直播流关键帧。
在本实施例中，服务器可以基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐。请参阅图2，图2为步骤S20的子步骤流程图。步骤S20可以包括步骤S21、步骤S22和步骤S23。
为了进行关键帧对齐，服务器可以运行步骤S21。
步骤S21：判断当前的原始直播流关键帧是否位于校正节点，其中，校正节点表示需要以当前的原始直播流关键帧为基准对播出直播流关键帧进行对齐。
示例性的，本实施例中生成校正节点的方式可以为以下方式一、方式二和方式三中的任一项，或者方式一与方式三的结合，或者方式二与方式三的结合：
方式一：与前一锚点关键帧组间隔设定时长时，生成校正节点。例如，与前一锚点关键帧组间隔60秒时生成一个校正节点（以便产生新的锚点关键帧组），至于锚点关键帧组，在后文详细介绍。
方式二：与前一锚点关键帧组间隔设定关键帧数量时，生成校正节点。例如，与前一锚点关键帧组间隔150（或300）帧关键帧时生成一个校正节点（以便产生新的锚点关键帧组）。
方式三：检测到产生网络波动时，以网络波动产生的时间点之后的第一个原始直播流关键帧所在的节点（可以理解为时间节点）为校正节点。
基于此，服务器可以判断当前的原始直播流关键帧是否位于校正节点。位于校正节点时，需要以当前的原始直播流关键帧为基准对播出直播流关键帧进行对齐，以便产生一个锚点关键帧组。
对于当前的原始直播流关键帧位于校正节点的情况，服务器可以运行步骤S22。
步骤S22：若当前的原始直播流关键帧位于校正节点，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组。
当前的原始直播流关键帧位于校正节点时，服务器可以基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组。
示例性的，当前的原始直播流关键帧为原始直播流关键帧集合中的起始关键帧时，服务器可以将原始直播流关键帧集合中的起始关键帧和播出直播流关键帧集合中的起始关键帧，确定为此校正节点对应的锚点关键帧组。
而当前的原始直播流关键帧不为原始直播流关键帧集合中的起始关键帧时，服务器可以采用本方案设计的时间窗校正方案来实现关键帧对齐，以便确定出此校正节点对应的锚点关键帧组。
请参阅图3，图3为步骤S22的子步骤流程图。步骤S22可以包括步骤S221、步骤S222、步骤S223、步骤S224、步骤S225。
首先，服务器可以运行步骤S221。
步骤S221：基于当前的原始直播流关键帧，确定出尺寸为m的时间窗，时间窗覆盖m个连续的关键帧，作为用于校正此校正节点的原始直播流关键帧片段。
在本实施例中，服务器可以基于当前的原始直播流关键帧，确定出尺寸为m的时间窗，时间窗覆盖m个连续的关键帧，作为用于校正此校正节点的原始直播流关键帧片段。本实施例中的m取值可以为8、10、15、20、30等，本实施例以20为例，那么，原始直播流关键帧片段就包含20原始直播流关键帧。
确定出时间窗后，服务器可以运行步骤S222。
步骤S222：以校正节点的前一组关键帧组之后的第一个播出直播流关键帧为起点，将时间窗覆盖的m个播出直播流关键帧作为一组待定播出直播流关键帧片段。
在本实施例中，服务器可以以校正节点的前一组关键帧组之后的第一个播出直播流关键帧为起点，将时间窗覆盖的m个播出直播流关键帧作为一组待定播出直播流关键帧片段。例如，此待定播出直播流关键帧片段包含20帧播出直播流关键帧。
确定出待定播出直播流关键帧片段后，服务器可以运行步骤S223。
步骤S223：基于原始直播流关键帧片段和待定播出直播流关键帧片段，计算其中的每个原始直播流关键帧与对应的播出直播流关键帧之间的相似度评分，共计m个相似度评分。
在本实施例中，服务器可以基于原始直播流关键帧片段和待定播出直播流关键帧片段，计算其中的每个原始直播流关键帧与对应的播出直播流关键帧之间的相似度评分。需要说明的是，相似度评分的计算方式是利用监测模型来实现的，具体计算方式后文详细介绍。
计算得到m个相似度评分后，服务器可以进行判断，若m个相似度评分均达到设定值，运行步骤S224；若并非m个相似度评分均达到设定值，运行步骤S225。当然，此处的判断条件还可以根据实际情况进行调整，并非限定于此种条件，例如，是否存在连续n（1＜n＜m）个相似度评分达到设定值。
对于m个相似度评分均达到设定值的情况，服务器可以运行步骤S224。
步骤S224：若m个相似度评分均达到设定值，将原始直播流关键帧片段中的起始关键帧和此待定播出直播流关键帧片段的起始关键帧确定为此校正节点对应的锚点关键帧组。
此种情况下，服务器可以将原始直播流关键帧片段中的起始关键帧和此待定播出直播流关键帧片段的起始关键帧确定为此校正节点对应的锚点关键帧组。
对于并非m个相似度评分均达到设定值的情况，服务器可以运行步骤S225。
步骤S225：若并非m个相似度评分均达到设定值，则将覆盖于播出直播流关键帧的时间窗向后滑动一个步长，确定出下一组待定播出直播流关键帧片段，跳转执行步骤S223。
此种情况下，服务器可以将覆盖于播出直播流关键帧的时间窗向后滑动一个步长，确定出下一组待定播出直播流关键帧片段，跳转执行步骤S223。直到确定出锚点关键帧组，或者达到设定的循环终止条件。循环终止条件：例如循环50次仍未确定出锚点关键帧组，则以前一锚点关键帧组之后确定的连续达标关键帧组（即相似度评分达到设定值的连续的多组关键帧组，且多组关键帧组中无对应的校正节点）的最后一组确定出校正节点，以便确定出锚点关键帧组。
对于当前的原始直播流关键帧不位于校正节点的情况，服务器可以运行步骤S23。
步骤S23：若当前的原始直播流关键帧不位于校正节点，基于当前的原始直播流关键帧的前一锚点关键帧组、原始直播流关键帧集合和播出直播流关键帧集合确定出当前的原始直播流关键帧对应的关键帧组。
当前的原始直播流关键帧不位于校正节点时，服务器可以以当前的原始直播流关键帧的前一锚点关键帧组为基准，从播出直播流关键帧集合中确定出当前的原始直播流关键帧（位于原始直播流关键帧集合中）对应的播出直播流关键帧，并将此原始直播流关键帧和对应的播出直播流关键帧确定为一组关键帧组，即当前的原始直播流关键帧对应的关键帧组。
确定出关键帧组（或锚定关键帧组）后，服务器可以运行步骤S30。
步骤S30：将关键帧组输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。
在本实施例中，服务器可以将确定出的关键帧组（或锚定关键帧组）输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分。
为了便于理解，此处对监测模型进行介绍。
在本实施例中，预设的监测模型可以包括第一比对单元、第二比对单元和评分计算单元。
第一比对单元主要用于对关键帧组中的原始直播流关键帧和播出直播流关键帧进行图像比对，得到图像相似度分值。例如，第一比对单元可以采用SimGNN（SimilarityGraph Neural Network，相似图神经网络），用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的图相似度，得到图像相似度分值。本方案采用现有成熟的相似图神经网络技术实现原始直播流关键帧和播出直播流关键帧之间的图相似度计算，此处不做赘述。
第二比对单元主要用于对关键帧组中的原始直播流关键帧和播出直播流关键帧进行结构比对，得到结构相似度分值。例如，第二比对单元可以采用SSIM（StructuralSimilarity Index，结构相似性指数）模型，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的结构相似度，得到结构相似度分值。本方案采用现有成熟的SSIM算法实现原始直播流关键帧和播出直播流关键帧之间的结构相似度计算，此处不做赘述。
而评分计算单元主要用于对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分。例如，评分计算单元可以利用原始直播流的类型（具有对应的评分权重参数，例如1：1），以便基于评分权重参数、图像相似度分值和结构相似度分值，计算关键帧组对应的相似度评分。
而监测模型需要进行训练，可以获取数据集，数据集可以包含原始直播流关键帧数据集（例如包含1万帧原始直播流关键帧）和多路（例如100路）播出直播流关键帧数据集（每个播出直播流关键帧数据集包含1万帧播出直播流关键帧），并将每个播出直播流关键帧数据集按照70%、15%、15%划分为训练集、测试集和验证集，然后合并每一路播出直播流关键帧的训练集（作为监测模型的训练集），合并每一路播出直播流关键帧的测试集（作为监测模型的测试集），以及，合并每一路播出直播流关键帧的验证集（作为监测模型的验证集）。然后利用训练集、测试集和验证集对监测模型进行训练、测试和验证，从而完成监测模型的构建和训练。
那么，在将关键帧组输入预设的监测模型后，监测模型可以通过步骤S31、步骤S32和步骤S33实现对原始直播流关键帧和播出直播流关键帧的相似度比对。
首先，可以运行步骤S31。
步骤S31：通过第一比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行图像比对，得到图像相似度分值。
在本实施例中，可以通过第一比对单元（SimGNN）对关键帧组中的原始直播流关键帧和播出直播流关键帧进行图像比对，得到图像相似度分值。
同时，可以运行步骤S32。
步骤S32：通过第二比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行结构比对，得到结构相似度分值。
在本实施例中，可以通过第二比对单元（SSIM）对关键帧组中的原始直播流关键帧和播出直播流关键帧进行结构比对，得到结构相似度分值。
得到图像相似度分值和结构相似度分值后，可以运行步骤S33。
步骤S33：通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分。
在本实施例中，可以通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分。
具体的，评分计算单元可以获取原始直播流的类型（例如时政新闻直播、体育赛事直播、综艺节目直播、会议直播等），然后基于原始直播流的类型对应的评分权重参数（一般情况下，不同类型对应不同的评分权重参数），并基于评分权重参数、图像相似度分值和结构相似度分值，计算关键帧组对应的相似度评分（进行加权求和即可）。
当然，也可以不区分原始直播流的类型，直接按照相等的权重（图像相似度分值和结构相似度分值的权重各占0.5），对图像相似度分值和结构相似度分值进行加权求和，计算出关键帧组对应的相似度评分，此处不作限定。
计算出关键帧组对应的相似度评分后，服务器可以基于相似度评分生成监测结果并输出。
例如，对于相似度评分达到设定值（例如90分）的关键帧组，可以认定为正常（未受篡改）。对于未达到设定值（90分），但达到了告警底线值（例如70分）的，可以确定为疑似异常，对于疑似异常的关键帧组，可以联合多个结果综合判断是否存在篡改，此处不做赘述。而对于未达到告警底线值的关键帧组，服务器可以确定关键帧组对应的直播流被篡改，从而发出告警信息。
本实施例还提供一种服务器10，通过运行基于人工智能的IPTV直播流实时监测方法，以实现对直播流的实时监测。请参阅图4，图4为本申请实施例提供的一种服务器10的结构框图。
示例性的，服务器10可以包括：通过网络与外界连接的通信模块12、用于执行程序指令的一个或多个处理器14、总线13和不同形式的存储器11，例如，磁盘、ROM、或RAM，或其任意组合。存储器11、通信模块12、处理器14之间可以通过总线13连接。
示例性的，存储器11中存储有程序。处理器14可以从存储器11调用并运行这些程序，从而便可以通过运行程序而实现基于人工智能的IPTV直播流实时监测方法。
综上所述，本申请实施例提供一种基于人工智能的IPTV直播流实时监测方法及服务器：
1.通过实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合；基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组（每个关键帧组包含一张原始直播流关键帧和一张对应的播出直播流关键帧）；将关键帧组输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。这样的方式可以利用人工智能的技术，将原始直播流关键帧和播出直播流关键帧进行相似度比对，从而进行播出直播流的篡改实时监测。且本方案可以扩展到多路直播流（不同的频道各自对应一路直播流）的同步监测（例如100路直播流的监测），通过集成到服务器便可同时实现对每一路直播流的实时监测，效率高、误差小，大大降低人力投入成本，且不受限于人的能力极限（一般人同时监测几路便比较吃力）。
2.设计的监测模型采用了两个比对单元，以不同的方式对原始直播流关键帧和播出直播流关键帧进行不同侧重的比对：第一比对单元采用SimGNN，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的图相似度，得到图像相似度分值；而第二比对单元采用SSIM模型，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的结构相似度，得到结构相似度分值。然后利用评分计算单元对图像相似度分值和结构相似度分值进行加权计算（甚至不同类型的直播可以设计不同的权重），计算出关键帧组对应的相似度评分。这样能够更准确、更全面地实现对原始直播流关键帧和播出直播流关键帧的相似度比对，保证直播流监测结果的可靠性。并且，随着监测对象的积累可以让比对效果越来越好。而结合了图相似度和结构相似度的图片比对算法，以及设计了时间窗校正方案，能够有效降低监测模型在学习训练中的过拟合、欠拟合和网络抖动对计算结果的干扰。
3.为了提高监测的可靠性，还设计了原始直播流关键帧集合和播出直播流关键帧集合的关键帧对齐方案，以应对网络波动、滞后等干扰，提高监测的准确性和可靠性。在关键帧对齐时，设计锚点关键帧连带后续部分关键帧的对齐方案（即，锚点关键帧确定后，可以在后续一部分关键帧对齐时，保证准确性）。而校正节点的生成方式（例如间隔设定时长、间隔设定关键帧数量、网络波动产生时等）确保了关键帧对齐校正的进行，校正后即可生成一组锚点关键帧组，又可以在后续一部分关键帧对齐时，保证准确性。因此，本方案能够非常可靠地保证关键帧的对齐，从而保证对直播流实时监测的可靠性。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的IPTV直播流实时监测方法，其特征在于，包括：
步骤S10：实时采集IPTV的原始直播流关键帧和播出直播流关键帧，分别形成原始直播流关键帧集合和播出直播流关键帧集合，其中，原始直播流关键帧集合与播出直播流关键帧集合采用同一关键帧采集策略；
步骤S20：基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组，其中，每个关键帧组包含一张原始直播流关键帧和一张对应的播出直播流关键帧；
步骤S30：将关键帧组输入至预设的监测模型中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，以基于相似度评分生成监测结果并输出。
2.根据权利要求1所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，预设的监测模型包括第一比对单元、第二比对单元和评分计算单元，步骤S30中，通过监测模型对关键帧组中的原始直播流关键帧和播出直播流关键帧进行相似度比对，得到关键帧组对应的相似度评分，包括：
步骤S31：通过第一比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行图像比对，得到图像相似度分值；
步骤S32：通过第二比对单元对关键帧组中的原始直播流关键帧和播出直播流关键帧进行结构比对，得到结构相似度分值；
步骤S33：通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分。
3.根据权利要求2所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，第一比对单元采用SimGNN，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的图相似度，得到图像相似度分值。
4.根据权利要求2所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，第二比对单元采用SSIM模型，用于计算关键帧组中的原始直播流关键帧和播出直播流关键帧之间的结构相似度，得到结构相似度分值。
5.根据权利要求2所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，步骤S33中，通过评分计算单元对图像相似度分值和结构相似度分值进行加权计算，计算出关键帧组对应的相似度评分，包括：
获取原始直播流的类型；
基于原始直播流的类型对应的评分权重参数；
基于评分权重参数、图像相似度分值和结构相似度分值，计算关键帧组对应的相似度评分。
6.根据权利要求1所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，步骤S20中，基于原始直播流关键帧集合和播出直播流关键帧集合进行关键帧对齐，得到对齐的关键帧组，包括：
步骤S21：判断当前的原始直播流关键帧是否位于校正节点，其中，校正节点表示需要以当前的原始直播流关键帧为基准对播出直播流关键帧进行对齐；
步骤S22：若当前的原始直播流关键帧位于校正节点，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组；
步骤S23：若当前的原始直播流关键帧不位于校正节点，基于当前的原始直播流关键帧的前一锚点关键帧组、原始直播流关键帧集合和播出直播流关键帧集合确定出当前的原始直播流关键帧对应的关键帧组。
7.根据权利要求6所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，当前的原始直播流关键帧为原始直播流关键帧集合中的起始关键帧时，步骤S22中，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组，包括：
将原始直播流关键帧集合中的起始关键帧和播出直播流关键帧集合中的起始关键帧，确定为此校正节点对应的锚点关键帧组。
8.根据权利要求6所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，当前的原始直播流关键帧不为原始直播流关键帧集合中的起始关键帧时，步骤S22中，基于原始直播流关键帧集合和播出直播流关键帧集合确定出此校正节点对应的锚点关键帧组，包括：
步骤S221：基于当前的原始直播流关键帧，确定出尺寸为m的时间窗，时间窗覆盖m个连续的关键帧，作为用于校正此校正节点的原始直播流关键帧片段；
步骤S222：以校正节点的前一组关键帧组之后的第一个播出直播流关键帧为起点，将时间窗覆盖的m个播出直播流关键帧作为一组待定播出直播流关键帧片段；
步骤S223：基于原始直播流关键帧片段和待定播出直播流关键帧片段，计算其中的每个原始直播流关键帧与对应的播出直播流关键帧之间的相似度评分，共计m个相似度评分；
步骤S224：若m个相似度评分均达到设定值，将原始直播流关键帧片段中的起始关键帧和此待定播出直播流关键帧片段的起始关键帧确定为此校正节点对应的锚点关键帧组；
步骤S225：若并非m个相似度评分均达到设定值，则将覆盖于播出直播流关键帧的时间窗向后滑动一个步长，确定出下一组待定播出直播流关键帧片段，跳转执行步骤S223。
9.根据权利要求6所述的基于人工智能的IPTV直播流实时监测方法，其特征在于，步骤S21中，生成校正节点的方式为以下方式一、方式二和方式三中的任一项，或者方式一与方式三的结合，或者方式二与方式三的结合：
方式一：与前一锚点关键帧组间隔设定时长时，生成校正节点；
方式二：与前一锚点关键帧组间隔设定关键帧数量时，生成校正节点；
方式三：检测到产生网络波动时，以网络波动产生的时间点之后的第一个原始直播流关键帧所在的节点为校正节点。
10.一种服务器，其特征在于，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现权利要求1至9中任一项所述的基于人工智能的IPTV直播流实时监测方法。
CN202311388265.9A 2023-10-25 2023-10-25 基于人工智能的iptv直播流实时监测方法及服务器 Pending CN117156125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311388265.9A CN117156125A (zh) 2023-10-25 2023-10-25 基于人工智能的iptv直播流实时监测方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311388265.9A CN117156125A (zh) 2023-10-25 2023-10-25 基于人工智能的iptv直播流实时监测方法及服务器

Publications (1)

Publication Number Publication Date
CN117156125A true CN117156125A (zh) 2023-12-01

Family

ID=88897066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311388265.9A Pending CN117156125A (zh) 2023-10-25 2023-10-25 基于人工智能的iptv直播流实时监测方法及服务器

Country Status (1)

Country Link
CN (1) CN117156125A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640925A (zh) * 2024-01-26 2024-03-01 海看网络科技(山东)股份有限公司 一种多路视频画面一致性检测方法、系统及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028147A (zh) * 2016-06-23 2016-10-12 北京华兴宏视技术发展有限公司 视频信号监测方法及视频信号监测系统
CN107124626A (zh) * 2017-04-05 2017-09-01 广东有线广播电视网络有限公司 一种机顶盒广告实时监控方法及系统
CN107318041A (zh) * 2017-06-29 2017-11-03 深圳市茁壮网络股份有限公司 一种视频安全播放的方法及系统
CN108777688A (zh) * 2018-06-07 2018-11-09 中国联合网络通信集团有限公司 视频安全监测方法及系统
CN109862383A (zh) * 2019-02-26 2019-06-07 山东浪潮商用系统有限公司 一种基于帧特征实现视频播放监测的方法及系统
CN112995708A (zh) * 2021-04-21 2021-06-18 湖南快乐阳光互动娱乐传媒有限公司 一种多视频同步方法及装置
CN113014953A (zh) * 2019-12-20 2021-06-22 山东云缦智能科技有限公司 视频防篡改检测方法及视频防篡改检测系统
CN113051984A (zh) * 2019-12-26 2021-06-29 北京中科闻歌科技股份有限公司 视频拷贝检测方法和装置、存储介质和电子装置
CN113992943A (zh) * 2021-10-25 2022-01-28 上海佰贝科技发展股份有限公司 一种监测播出服务器信号异态或劣化的方法及系统
CN115690775A (zh) * 2021-07-23 2023-02-03 青岛海尔科技有限公司 基于图像的冰箱食材放取识别方法、装置和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028147A (zh) * 2016-06-23 2016-10-12 北京华兴宏视技术发展有限公司 视频信号监测方法及视频信号监测系统
CN107124626A (zh) * 2017-04-05 2017-09-01 广东有线广播电视网络有限公司 一种机顶盒广告实时监控方法及系统
CN107318041A (zh) * 2017-06-29 2017-11-03 深圳市茁壮网络股份有限公司 一种视频安全播放的方法及系统
CN108777688A (zh) * 2018-06-07 2018-11-09 中国联合网络通信集团有限公司 视频安全监测方法及系统
CN109862383A (zh) * 2019-02-26 2019-06-07 山东浪潮商用系统有限公司 一种基于帧特征实现视频播放监测的方法及系统
CN113014953A (zh) * 2019-12-20 2021-06-22 山东云缦智能科技有限公司 视频防篡改检测方法及视频防篡改检测系统
CN113051984A (zh) * 2019-12-26 2021-06-29 北京中科闻歌科技股份有限公司 视频拷贝检测方法和装置、存储介质和电子装置
CN112995708A (zh) * 2021-04-21 2021-06-18 湖南快乐阳光互动娱乐传媒有限公司 一种多视频同步方法及装置
CN115690775A (zh) * 2021-07-23 2023-02-03 青岛海尔科技有限公司 基于图像的冰箱食材放取识别方法、装置和存储介质
CN113992943A (zh) * 2021-10-25 2022-01-28 上海佰贝科技发展股份有限公司 一种监测播出服务器信号异态或劣化的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640925A (zh) * 2024-01-26 2024-03-01 海看网络科技(山东)股份有限公司 一种多路视频画面一致性检测方法、系统及电子设备

Similar Documents

Publication Publication Date Title
Yan et al. Learning in situ: a randomized experiment in video streaming
US10880181B2 (en) Methods and apparatus for analysing performance of a telecommunications network
CN117156125A (zh) 基于人工智能的iptv直播流实时监测方法及服务器
CN107197331A (zh) 一种实时监测直播内容的方法及装置
CN107222780A (zh) 一种直播平台综合状态感知和内容实时监管方法及系统
CN107566781A (zh) 视频监控方法和视频监控设备
CN109525865B (zh) 基于区块链的收视率监测方法和计算机可读存储介质
Zhang et al. Learning influence among interacting Markov chains
CN104853244B (zh) 用于管理音视频、音频或视频内容的方法和装置
CN110943874B (zh) 一种家庭宽带网络的故障检测方法、装置和可读介质
CN110049373B (zh) 机顶盒卡顿检测方法、系统及存储介质
CN109451352A (zh) 一种视频播放流量预测方法及装置
Sinno et al. Large scale subjective video quality study
CN103385000A (zh) 用于测量视频质量的方法和装置
Chen et al. Unsupervised curriculum domain adaptation for no-reference video quality assessment
CN111882338A (zh) 在线人数的异常检测方法、装置及电子设备
CN109889905A (zh) 一种主播综合价值评估方法、存储介质、设备及系统
CN110245696A (zh) 基于视频的违法事件监控方法、设备及可读存储介质
Tran et al. An LSTM-based approach for overall quality prediction in HTTP adaptive streaming
CN116361130A (zh) 基于虚拟现实人机交互系统的评价方法
CN116016468A (zh) 会话问题诊断方法、装置、介质和电子设备
CN112804566A (zh) 节目推荐方法、设备及计算机可读存储介质
CN115527080A (zh) 生成视频动作识别模型的方法及电子设备
CN104410873A (zh) 电视频道用户数的检测方法和装置
CN111970484B (zh) 适于视频监控设备的运维系统和运维方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination