CN114820042A - 一种广告节目实时替换方法、设备、芯片及存储介质 - Google Patents

一种广告节目实时替换方法、设备、芯片及存储介质 Download PDF

Info

Publication number
CN114820042A
CN114820042A CN202210348823.8A CN202210348823A CN114820042A CN 114820042 A CN114820042 A CN 114820042A CN 202210348823 A CN202210348823 A CN 202210348823A CN 114820042 A CN114820042 A CN 114820042A
Authority
CN
China
Prior art keywords
image
program
frame
feature
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210348823.8A
Other languages
English (en)
Inventor
李英斌
王玉全
崔文聪
李烨
杨娜
高鑫翼
孙雨甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Media Group
Original Assignee
China Media Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Media Group filed Critical China Media Group
Priority to CN202210348823.8A priority Critical patent/CN114820042A/zh
Publication of CN114820042A publication Critical patent/CN114820042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种广告节目实时替换方法、装置、电子设备、芯片及计算机可读存储介质，其中，所述方法包括：构建并训练图像特征提取网络；利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，并将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。

Description

一种广告节目实时替换方法、设备、芯片及存储介质
技术领域
本申请涉及视频处理技术领域，尤其涉及一种广告节目实时替换方法、装置、电子设备、芯片及计算机可读存储介质。
背景技术
在电视节目向新媒体节目进行转播的过程中，存在对广告内容进行实时替换的需求。目前，对于广告节目的实时替换主要有手动替换和自动替换两种方式。手动替换通过相关人员对待处理节目进行观察，查找可替换时段，发现被替代广告时进行广告内容切换。面对海量节目内容，这种依靠人工的替换方式，一方面会耗费大量人力成本，一方面难以保证替换的准确性和替换效率，可能导致播出的效益损失甚至安全隐患。自动替换主要基于对特定标识或特征的检测实现，准确率低、稳定性差，易出现漏替、错替等情况，且一般无法满足实时替换需求。
发明内容
为解决上述技术问题，本申请实施例提供了一种广告节目实时替换方法、装置、电子设备、芯片及计算机可读存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种广告节目实时替换方法，所述广告节目实时替换方法包括：
构建并训练图像特征提取网络；
利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，并将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；
若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；
基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
第二方面，本申请实施例提供了一种广告节目实时替换的装置，所述装置包括：
构建模块：用于构建并训练图像特征提取网络；
提取模块：利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取；
匹配模块：用于将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；
确定模块：用于若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；
替换模块：基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
第三方面，本申请提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行本申请实施例所提供的任意一种广告节目实时替换方法。
第四方面，本申请提供一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行本申请实施例所提供的任意一种广告节目实时替换方法。
第五方面，本申请提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行本申请实施例所提供的任意一种广告节目实时替换方法。
本申请实施例所提供的技术方案，一方面，借助深度卷积神经网络技术，实现了帧级特征的实时提取，效率更高。同时，通过卷积神经网络提取到的特征有效性更强，匹配准确度更高。同时，由于使用帧级匹配策略，广告替换的精准度更好，出现漏替、错替帧的概率更小。
附图说明
图1是本申请实施例所提供的广告节目实时替换方法的流程示意图；
图2是本申请实施例所提供的可靠性判定示意图；
图3是本申请所提供的广告节目实时替换方法的应用实例一示意图；
图4是本申请所提供应用实例一中帧图像特征实时提取的流程示意图；
图5是本申请所提供应用实例一中帧图像特征快速匹配的流程示意图；
图6是本申请实施例所提供的广告节目实时替换装置的示意结构图；
图7是本申请实施例提供的一种电子设备示意性结构图；
图8是本申请实施例的芯片的示意性结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请实施例中，字符“/”，一般表示前后关联对象是一种“或”的关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明，以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
观看电视节目是人们日常生活中的主要娱乐方式之一。传统广播电视节目一般由电视台发出，传送到各地进行播放。随着互联网和多媒体技术的发展，网络、手机等多种新媒体快速兴起，视听传播渠道变得更加丰富，用户群体越来越大，用户兴趣也更加多元化。传统的广电媒体与新媒体逐渐走向融合发展的新阶段。新媒体作为与广播电视相互独立运营的通道，节目源中包含了大量电视节目的内容，这催生了广告节目替换的需求。例如，替换电视节目中的广告内容，以开展新媒体侧的广告独立运营，更换或增加合作广告商，或根据用户兴趣进行定向广告投放等。广告节目替换主要有手动和自动替换两种途径。手动替换依靠人工观察、查找，完成替换。针对当前海量的节目内容，特别是对于新媒体领域中同一节目可能具有多种分辨率、码率形式，依靠手动替换节目片段会耗费大量人力资源，效率低，且无法保证替换的准确性。因此，实现节目片段的自动替换是十分必要的。以下介绍几种广告节目自动替换方案：
方案A：基于对特定标识(如黑白帧、静止帧、台标、商标等)的检测。例如，对于广告内容，往往在首尾处出现黑帧、白帧或静止帧。通过统计亮度和色度等颜色特征可检测出黑白帧位置；通过计算帧间差信息可检测出静止帧位置，以此作为依据确定广告内容的起止。再比如，电视台在播放正常节目时，会显示台标信息，而当播放广告时，会将台标隐藏起来。基于这一规律，可通过检测台标来判断是否为广告内容。对台标的检测可通过累计帧差或边缘检测等方法实现。
方案B：基于对传统视音频特征的检测。例如，广告内容为了吸引观众的注意力，通常具有色彩艳丽、镜头切换快等特点。并且在广告制作过程中也会加入一些渲染效果。因此，这类方法一般先利用边界检测技术对视频进行镜头切割，提取出关键帧，并对关键帧的空间特征(平均亮度、颜色直方图等)和时域特征(镜头切变率、帧间差等)进行提取。更复杂地，可利用手动设计的特征算子，如尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法，实现多尺度信息提取。之后，通过设置合适的阈值参数来区分正常视频内容和目标视频内容。音频特征主要包括时域特征(如短时能量、短时过零率等)和频域特征(如频谱、功率谱等)。
方案C：基于目标识别，借助机器学习或深度学习技术，识别人脸、文字、商品等目标。例如，通过识别广告中的商品等来判断是否为替换内容。这类方法需要根据实际应用背景选择不同的识别模型。通过搜集大量目标相关的图像数据，搭建合适的识别网络，训练出一个高精度的目标识别器。待处理节目通过目标识别器，返回每帧或关键帧是否含有特定目标，以指导节目片段的替换。
上述方案存在的缺陷如下：
方案A：该方法的缺点是所依赖的标识通用性差。首先，黑白帧、静止帧等标识很容易被电视台移除，并且一些正常节目(如电视剧、电影)中也可能包含黑白帧、静止帧；其次，对于台标而言，目前许多电视台在播出广告时已经不隐藏台标，并且台标、商标的制作手法和表现形式的复杂化(如透明度、动画效果等)给检测带来更大的挑战，进而很难保证识别的准确性。因此，基于特定标识识别的方法并不适用于所有电视台、电视节目的替换。
方案B：电视节目的镜头切换形式除了简单的硬切换外，还包括渐变切换形式(如淡入、淡出、溶解等)，镜头切割及关键帧提取无法做到完全准确；对于提取到的特征，一般会通过设置多个阈值参数的方式来进行判断，如镜头切变率高于阈值则认为是广告。许多特征对阈值参数较为敏感，一般很难找到一个统一的阈值来适应各种各样的节目内容；对于手动设计的复杂特征，计算过程复杂耗时，很难满足实时性要求。
方案C：当正常节目中出现类似目标时，容易发生错误替换；目标识别器需要预先完成训练，每当添加新目标时，需要重新搜集大量训练数据，并且重新完成训练，时间成本高，灵活性差。
针对上述相关技术存在的缺陷，提出了本申请实施例的以下技术方案。
为了能够更加详尽地了解本申请的特点与技术内容，下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。
图1为本申请实施例提供的一种广告节目实时替换方法的实现流程示意图，如图1所示，本申请实施例提供一种广告节目实时替换方法，所述方法包括：
步骤101：构建并训练图像特征提取网络。
这里，可以利用视觉几何组网络(Visual Geometry Group Network，VGG)模型、残差网络(Residual Network,ResNet)模型、MobileNet模型构建图像特征提取网络，可以根据实际需要通过其他网络构建图像特征提取网络，此处不再赘述，构建图像特征提取网络之后，可以通过现有的广告节目对其进行训练，直至其提取精度满足预设提取精度。
步骤102：利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，并将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果。
这里，目标节目可以是电视台进行直播、转播的电视节目，也可以是现有存储好的电视节目，特征库可以使用现有的特征库，也可以根据实际需要构建符合当前应用场景的特征库。
具体的，本申请一实施例所提供的广告节目实时替换方法，在利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取之前之前，还包括：
利用所述图像特征提取网络提取所有被替换广告节目的每一帧图像特征；
基于所述所有被替换广告节目的每一帧图像特征，构建所述特征库。
进一步的，本申请另一实施例所提供的广告节目实时替换方法，在提取所有被替换广告节目的每一帧图像特征之前，还包括：
对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作，使所述每个被替换广告节目的每一帧图像都符合所述图像特征提取网络的输入格式。
这里，依据不同的算法或神经网络构建的图像特征提取网络对于输入视频格式要求不同，所以，对输入图像特征提取网络的视频先进行预处理操作，使其可以适配于图像特征提取网络。预处理操作包括但不限于颜色空间转换、下采样操作。
这里，可以利用图像特征提取网络对经过预处理后的被替换广告节目的图像数据进行前向推理、最大池化降维处理，提取一维特征矢量。
基于此，本申请又一实施例所提供的广告节目实时替换方法，所述利用所述图像特征提取网络提取所有被替换广告节目的每一帧图像特征，包括：对输入所述图像特征提取网络的每个经过预处理的被替换广告节目的图像数据进行处理，提取每一帧图像的一维特征矢量。
得到所有被替换广告节目的每一帧图像的一维特征矢量后，基于提取的所有被替换广告节目的每一帧图像的一维特征矢量，构建特征库。
通过本申请实施例所提供的方案构建的特征库仅包含所有被替换广告节目的特征，避免不必要的匹配流程，提高匹配效率。
进一步的，可以利用聚类方法对特征库中的特征进行聚类，得到原子特征集合，每个原子特征对应若干个图像特征形成的聚类。这里聚类方法可以采用k均值(K-Means)聚类算法、均值漂移聚类方法、凝聚层次聚类方法等，本申请对此并不做限定。
基于此，本申请一实施例所提供的广告节目实时替换方法，在构建所述特征库后，将所述特征库中的所有图像特征进行特征聚类，得到N个原子特征集合，每个原子特征对应若干个图像特征形成的聚类；其中，N为正整数。
本申请实施例所提供的广告节目实时替换方法按照目标节目时域依次连续进行帧图像提取，并对提取到的帧图像与特征库进行匹配，得到匹配结果。当提取到的帧图像与特征库进行匹配后没有匹配结果，那么就表明当前帧不属于被替换节目。当提取到的帧图像与特征库进行匹配后有匹配结果，那么就表明当前帧属于被替换节目中的其中一个被替换节目，进一步的，当连续M个匹配结果均满足预设的条件，就判断当前节目存在第一被替换节目。比如，当M＝5，即连续5帧的匹配结果满足预设的条件时，就可以判断当前的目标节目中存在第一被替换广告节目，就可以执行后续的广告节目替换操作，提高识别效率。所述预设条件可以是：连续M帧图像的匹配结果都属于所述第一被替换广告节目和/或连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一被替换广告节目的时序一样。
基于此，本申请又一实施例所提供的广告节目实时替换方法，所述预设的条件包括以下至少一种条件：
第一条件，所述第一条件为所述连续M帧图像的匹配结果都属于所述第一被替换广告节目；
第二条件，所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一被替换广告节目的时序一样。
本申请又一实施例所提供的广告节目实时替换方法，在利用所述图像特征提取网络连续对目标节目的每帧图像进行图像特征提取之前，还包括：
对提取到的所述目标节目的帧图像进行预处理操作，使提取到的所述目标节目的帧图像符合所述图像特征提取网络的输入格式。
这里，依据不同的算法或神经网络构建的图像特征提取网络对于输入视频格式要求不同，所以，对输入图像特征提取网络的视频先进行预处理操作，使其可以适配于图像特征提取网络。预处理操作包括但不限于颜色空间转换、下采样操作。
这里，可以利用图像特征提取网络对经过预处理后的输入视频的图像数据进行前向推理、最大池化降维处理，提取一维特征矢量。
基于此，本申请又一实施例所提供的广告节目实时替换方法，所述利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，包括：
利用所述图像特征提取网络连续对每个经过预处理的所述提取到的所述目标节目的帧图像进行处理，提取每一帧图像的一维特征矢量。
具体的，在得到所述目标节目的帧图像的待匹配图像特征后，将其中的每个待匹配图像特征与特征库先进行粗匹配，包括：将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似性度量计算结果都小于预设的第一阈值，则判定该帧图像不属于被替换广告节目；
再进行精匹配，具体的，若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到K个图像特征相似性度量计算结果，若所述K个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第二阈值，则判定该帧图像不属于被替换广告节目；若K个图像特征相似性度量计算结果中存在大于或等于预设的第二阈值的计算结果，则判定该帧图像属于被替换广告节目，K个图像特征相似性度量计算结果中大于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，K为正整数。
这里，预设的第一阈值与预设的第二阈值满足预设第一阈值小于预设的第二阈值的关系，预设第二阈值是为了消除粗匹配误差，并得到一个高度匹配的匹配结果，因为满足粗匹配条件的帧图像可能不属于被替代广告。对于上述相似性度量的计算方式可以基于余弦相似度进行计算。也可以基于其他距离公式进行计算，本申请对此并不限定。
基于此，本申请一实施例所提供的广告节目实时替换方法，所述将所述每一帧图像的待匹配图像特征与特征库进行匹配，包括：
将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似性度量计算结果都小于预设的第一阈值，则判定该帧图像不属于被替换广告节目；
若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到K个图像特征相似性度量计算结果，若所述K个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第二阈值，则判定该帧图像不属于被替换广告节目；若K个图像特征相似性度量计算结果中存在大于或等于预设的第二阈值的计算结果，则判定该帧图像属于被替换广告节目，K个图像特征相似性度量计算结果中大于或等于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，K为正整数。
进一步的，在得到所述目标节目的帧图像的待匹配图像特征后，将其中的每个待匹配图像特征与特征库先进行粗匹配，包括：将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似性度量计算结果都大于预设的第三阈值，则判定该帧图像不属于被替换广告节目；
再进行精匹配，具体的，若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到J个图像特征相似性度量计算结果，若所述J个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都大于预设的第四阈值，则判定该帧图像不属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值的计算结果，则判定该帧图像属于被替换广告节目，J个图像特征相似性度量计算结果中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，J为正整数。
这里，预设的第三阈值与预设的第四阈值满足预设第四阈值小于预设的第三阈值的关系，预设第四阈值是为了消除粗匹配误差，并得到一个高度匹配的匹配结果，因为满足粗匹配条件的帧图像可能不属于被替代广告。对于上述相似性度量的计算方式可以基于曼哈顿距离(Manhattan Distance)、欧氏距离(Euclidean Distance)等，本申请对此并不限定。以欧式距离为例，欧式距离的计算公式如下：
Figure BDA0003578383770000111
其中，x，y为待匹配特征矢量和目标特征矢量，均为长度为Q的一维矢量，xj和yj为矢量的第j个分量。
基于此，本申请一实施例所提供的广告节目实时替换方法，所述将所述每一帧图像的待匹配图像特征与特征库进行匹配，包括：
将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似性度量计算结果都大于预设的第三阈值，则判定该帧图像不属于被替换广告节目；
若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到J个图像特征相似性度量计算结果，若所述J个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都大于预设的第四阈值，则判定该帧图像不属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值的计算结果，则判定该帧图像属于被替换广告节目，J个图像特征相似性度量计算结果中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，J为正整数。
步骤103：若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数。
经过步骤102中的图像特征匹配后，可以基本确定目标节目的当前帧是否为被替代广告节目的某一帧，但仍然有小概率发生匹配错误的情况，此外，节目内容丰富多样，有较小概率存在不属于被替代广告的某一帧内容与被替代广告某一帧非常相似的情况，从而导致误检。因此，单帧的图像特征提取和匹配仍然有较小概率发生漏检和错检。
为此，需要对M个匹配结果的可靠性进行判定，参考图2，图2是本申请一实施例所提供的可靠性判定示意图，如图2所示，基于当前帧前后若干帧的匹配结果来判断当前帧匹配结果的可靠性，具体的：当单独一帧或短促的连续几帧的匹配结果与其前后的所属被替代节目片段不一致时，可以判定当前帧的匹配结果为不可靠匹配结果；当单独一帧或短促的连续几帧的对应到被替代广告中的时序与其前后的时序不一致，出现逆序或时序间隔不符，可以判定当前帧的匹配结果为不可靠匹配结果。比如，a＝2时，当匹配结果经过第T帧时，依据处于第T-1帧，第T-2帧，第T+1帧，第T+2帧的匹配结果及所述第T-1帧，第T-2帧，第T+1帧，第T+2帧的匹配结果在被替代广告中的时序对在第T帧的匹配结果进行可靠性判定。这样，通过缓存的少量帧就可以做时域优化。
基于此，本申请又一实施例所提供的广告节目实时替换方法，所述对所述K个匹配结果进行可靠性判定，包括：
当单独一帧或连续i帧待匹配图像的匹配结果与其前后所述被替代节目片段不一致时，则判定其为不可靠匹配结果；
当单独一帧或连续i帧的匹配结果对应到被替代广告中的时序与其前后的时序不一致时，则判定其为不可靠匹配结果；其中i为正整数。
进一步的，本申请又一实施例所提供的的广告节目实时替换方法，在当前帧的匹配结果被判定为不可靠匹配结果后，根据预设的修正策略修正其匹配结果。
具体的，对于判定为不可靠匹配结果的帧图像，将其前面或后面的帧图像的可靠匹配结果代替其匹配结果。
基于此，本申请又一实施例所提供的的广告节目实时替换方法，所述根据预设的修正策略修正其匹配结果，包括：
将所述不可靠匹配结果的前面或后面的帧图像的可靠匹配结果代替其匹配结果。
步骤104：基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
这里，在预设的替换规则中，新广告节目与被替换广告之间可以是一对一的对应关系，可以是一对多的对应关系，也可以利用广告替换映射表规定新广告节目与被替换广告节目之间的对应关系，新广告节目中的每个新广告节目与其对应的被替换广告节目满足帧数一致关系，即帧一一对应。
基于此，本申请一实施例所提供的的广告节目实时替换方法，在所述预设的替换规则中，新广告节目与被替换广告节目具有对应关系，且所述新广告节目中的每个新广告节目与其对应的被替换广告节目的图像帧一一对应。
本申请实施例所提供的广告节目实时替换方法，主要优点体现在广告替换的高效性与准确性。一方面，借助深度卷积神经网络技术，实现了帧级特征的实时提取，与传统手动设计的特征提取方法相比，效率更高。同时，通过特征降维、聚类等一系列优化手段加速了特征匹配效率。另一方面，通过卷积神经网络提取到的特征有效性更强，匹配准确度更高。同时，由于使用帧级匹配策略和时域校正操作，广告替换的精准度更好，与传统通过镜头切割、关键帧提取方式完成的替换相比，出现漏替、错替帧的概率更小。
本申请实施例所提供的广告节目实时替换方法，首先，对输入节目的视频内容进行帧级特征提取，并将提取到的特征在预设特征库中进行快速匹配；之后，结合相邻帧的匹配结果完成时域校正，提升匹配准确性；最后，根据预先设定的替换规则，完成广告节目替换。该方法主要涉及图像特征提取、特征快速匹配等关键技术。其中，图像特征提取环节应保证提取到的特征具有高区分性，上述所有技术环节满足实时性要求。另外，本申请实施例选择通用的图像特征提取网络模型，只针对图像本身，与所在场景无关，通用性强。
参考图3，图3是本申请所提供的广告节目实时替换方法的应用实例一示意图，如图3所示，针对正在播放的目标节目，连续对目标节目进行帧图像特征提取，对输入的目标节目视频的帧图像实时进行特征提取，然后，对提取到的帧图像特征向量，与预设特征库进行快速匹配；接下来，帧图像匹配结果在时域上进行优化，以滤除一些误检和漏检的情况；最后，基于最终的匹配结果，判定是否进行广告替换，若最终的匹配结果表征为目标节目中没有被替换广告，则不进行广告替换，若匹配结果表征为目标节目中有被替换广告，按照预设的替换规则完成广告的替换，即用新广告片段替换待替代广告，得到已处理节目，这样，便实现了对电视节目中的广告节目实时替换。
参考图4，图4是本申请上述应用实例一中帧图像特征实时提取的流程示意图，如图4所示，将输入视频的帧图像先进行图像预处理流程，使其满足图像特征提取网络的输入格式，接着对经过预处理的帧图像进行图像特征提取，得到帧图像特征矢量。
参考图5，图5是本申请上述应用实例所提供的帧图像特征快速匹配的流程示意图，如图5所示，预设特征库中存储了所有被替代广告的所有帧的图像特征，这些图像特征被进行了聚类，形成了原子特征集合，每一个原子特征对应若干个图像特征形成的聚类。将对输入的目标节目提取到的每一个帧图像特征矢量先与原子特征集合进行粗匹配，若存在高度匹配的原子特征，再将待匹配特征与原子特征对应聚类中的特征进行精细匹配，得到帧图像匹配结果。其中，匹配过程可以通过相似性度量进行匹配，对于相似性度量的计算方式可以采用闵可夫斯基距离(Minkowski Distance)、曼哈顿距离(Manhattan Distance)、欧氏距离(Euclidean Distance)。
为了实现本申请应用实施例所述的广告节目实时替换方法，本申请实施例还提供了一种广告节目实时替换的装置600；图6为本申请实施例提供的广告节目实时替换的装置600的结构示意图，如图6所示，本申请应用实施例提供的广告节目实时替换的装置600，包括：
构建模块601：用于构建并训练图像特征提取网络；
提取模块602：用于利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取；
匹配模块603：将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；
确定模块604：若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；
替换模块605：用于基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
其中，在所述预设的替换规则中，新广告节目与被替换广告节目具有对应关系，且所述新广告节目中的每个新广告节目与其对应的被替换广告节目的图像帧一一对应。
在本申请其他实施例中，所述预设的条件包括以下至少一种条件：第一条件，所述第一条件为所述连续M帧图像的匹配结果都属于所述第一被替换广告节目；第二条件，所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一被替换广告节目的时序一样。
在本申请其他实施例中，所述提取模块602，还用于利用所述图像特征提取网络，提取所有被替换广告节目的每一帧图像特征；所述构建模块601：还用于基于所述所有被替换广告节目的每一帧图像特征，构建所述特征库。
在本申请其他实施例中，所述提取模块602：还用于对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作，使所述每个被替换广告节目的每一帧图像都符合所述图像特征提取网络的输入格式。
在本申请其他实施例中，所述提取模块602：还用于对输入所述图像特征提取网络的每个经过预处理的被替换广告节目的图像数据进行处理，提取每一帧图像的一维特征矢量。
在本申请其他实施例中，所述构建模块601：还用于在构建所述特征库后，将所述特征库中的所有图像特征进行特征聚类，得到N个原子特征集合，每个原子特征对应若干个图像特征形成的聚类；其中，N为正整数。
在本申请其他实施例中，所述提取模块602：还用于对提取到的所述目标节目的帧图像进行预处理操作，使所述提取到的所述目标节目的帧图像符合所述图像特征提取网络的输入格式。
在本申请其他实施例中，所述匹配模块603：具体用于将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似性度量计算结果都小于预设的第一阈值，则判定该帧图像不属于被替换广告节目；若N个原子特征相似性度量计算结果中存在大于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到K个图像特征相似性度量计算结果，若所述K个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第二阈值，则判定该帧图像不属于被替换广告节目；若K个图像特征相似性度量计算结果中存在大于预设的第二阈值的计算结果，则判定该帧图像属于被替换广告节目，K个图像特征相似性度量计算结果中大于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，K为正整数。
在本申请其他实施例中，所述匹配模块603：具体还用于将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似性度量计算结果都大于预设的第三阈值，则判定该帧图像不属于被替换广告节目；
若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到J个图像特征相似性度量计算结果，若所述J个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都大于预设的第四阈值，则判定该帧图像不属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值的计算结果，则判定该帧图像属于被替换广告节目，J个图像特征相似性度量计算结果中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，J为正整数。
在本申请其他实施例中，所述确定模块604：还用于对所述匹配结果进行可靠性判定。
在本申请其他实施例中，所述确定模块604：还具体用于当单独一帧或连续i帧待匹配图像的匹配结果与其前后所述被替代节目片段不一致时，则判定其为不可靠匹配结果；当单独一帧或连续i帧的匹配结果对应到被替代广告中的时序与其前后的时序不一致时，则判定其为不可靠匹配结果；其中i为正整数。
在本申请其他实施例中，所述确定模块604：还用于在判定匹配结果为不可靠匹配结果后，根据预设的修正策略修正其匹配结果。
在本申请其他实施例中，所述确定模块604：具体用于将所述不可靠匹配结果的前面或后面的帧图像的可靠匹配结果代替其匹配结果。
本领域技术人员应当理解，图6所示的广告节目实时替换装置中的各单元的实现功能可参照前述方法的相关描述而理解。图6所示的广告节目实时替换装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
图7是本申请实施例提供的一种电子设备700示意性结构图。图7所示的电子设备700包括处理器710，处理器710可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图7所示，电子设备700还可以包括存储器720。其中，处理器710可以从存储器720中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器720可以是独立于处理器710的一个单独的器件，也可以集成在处理器710中。
可选地，如图7所示，电子设备700还可以包括收发器730，处理器710可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。
其中，收发器730可以包括发射机和接收机。收发器730还可以进一步包括天线，天线的数量可以为一个或多个。
该电子设备700具体可为本申请实施例的广告节目实时替换装置，并且该电子设备700可以实现本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为了简洁，在此不再赘述。
图8是本申请实施例的芯片的示意性结构图。图8所示的芯片800包括处理器810，处理器810可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图8所示，芯片800还可以包括存储器820。其中，处理器810可以从存储器820中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器820可以是独立于处理器810的一个单独的器件，也可以集成在处理器810中。
可选地，该芯片800还可以包括输入接口830。其中，处理器810可以控制该输入接口830与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该芯片800还可以包括输出接口840。其中，处理器810可以控制该输出接口840与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
该芯片可应用于本申请实施例中的广告节目实时替换装置，并且该芯片可以实现本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于本申请实施例中的广告节目实时替换装置，并且该计算机程序使得计算机执行本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。该计算机程序产品可应用于本申请实施例中的广告节目实时替换装置，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。该计算机程序可应用于本申请实施例中的广告节目实时替换装置，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，)ROM、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (22)

1.一种广告节目实时替换方法，其特征在于，包括：
构建并训练图像特征提取网络；
利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，并将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；
若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；
基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
2.根据权利要求1所述的广告节目实时替换方法，其特征在于，在利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取之前，还包括：
利用所述图像特征提取网络提取所有被替换广告节目的每一帧图像特征；
基于所述所有被替换广告节目的每一帧图像特征，构建所述特征库。
3.根据权利要求2所述的广告节目实时替换方法，其特征在于，在提取所有被替换广告节目的每一帧图像特征之前，还包括：
对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作，使所述每个被替换广告节目的每一帧图像都符合所述图像特征提取网络的输入格式。
4.根据权利要求3所述的广告节目实时替换方法，其特征在于，所述利用所述图像特征提取网络提取所有被替换广告节目的每一帧图像特征，包括：
对输入所述图像特征提取网络的每个经过预处理的被替换广告节目的图像数据进行处理，提取每一帧图像的一维特征矢量。
5.根据权利要求2-4任一项所述的广告节目实时替换方法，其特征在于，所述方法还包括：
在构建所述特征库后，将所述特征库中的所有图像特征进行特征聚类，得到N个原子特征集合，每个原子特征对应若干个图像特征形成的聚类；其中，N为正整数。
6.根据权利要求5所述的广告节目实时替换方法，其特征在于，所述预设的条件包括以下至少一种条件：
第一条件，所述第一条件为所述连续M帧图像的匹配结果都属于所述第一被替换广告节目；
第二条件，所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一被替换广告节目的时序一样。
7.根据权利要求6所述的广告节目实时替换方法，其特征在于，在利用所述图像特征提取网络连续对目标节目的每帧图像进行图像特征提取之前，还包括：
对提取到的所述目标节目的帧图像进行预处理操作，使提取到的所述目标节目的帧图像符合所述图像特征提取网络的输入格式。
8.根据权利要求3或7所述的广告节目实时替换方法，其特征在于，所述预处理操作包括以下至少一种操作：颜色空间转换、下采样。
9.根据权利要求7所述的广告节目实时替换方法，其特征在于，所述利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取，包括：
利用所述图像特征提取网络连续对每个经过预处理的所述提取到的所述目标节目的帧图像进行处理，提取每一帧图像的一维特征矢量。
10.根据权利要求9所述的广告节目实时替换方法，其特征在于，所述将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果，包括：
将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似性度量计算结果都小于预设的第一阈值，则判定该帧图像不属于被替换广告节目；
若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到K个图像特征相似性度量计算结果，若所述K个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第二阈值，则判定该帧图像不属于被替换广告节目；若K个图像特征相似性度量计算结果中存在大于或等于预设的第二阈值的计算结果，则判定该帧图像属于被替换广告节目，K个图像特征相似性度量计算结果中大于或等于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，K为正整数。
11.根据权利要求9所述的广告节目实时替换方法，其特征在于，所述将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果，包括：
将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似性度量计算结果都大于预设的第三阈值，则判定该帧图像不属于被替换广告节目；
若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性度量计算，得到J个图像特征相似性度量计算结果，若所述J个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都大于预设的第四阈值，则判定该帧图像不属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值的计算结果，则判定该帧图像属于被替换广告节目，J个图像特征相似性度量计算结果中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，其中，J为正整数。
12.根据权利要求10、11任一项所述的广告节目实时替换方法，其特征在于，在得到所述帧图像的匹配结果之后，还包括：
对所述匹配结果进行可靠性判定。
13.根据权利要求12所述的广告节目实时替换方法，其特征在于，所述对所述匹配结果进行可靠性判定，包括：
当单独一帧或连续i帧待匹配图像的匹配结果与其前后所属被替换广告节目片段不一致时，则判定其为不可靠匹配结果；
当单独一帧或连续i帧的匹配结果对应到被替换广告节目中的时序与其前后的时序不一致时，则判定其为不可靠匹配结果；其中i为正整数。
14.根据权利要求13所述的广告节目实时替换方法，其特征在于，
在判定匹配结果为不可靠匹配结果后，根据预设的修正策略修正其匹配结果。
15.根据权利要求14所述的广告节目实时替换方法，其特征在于，所述根据预设的修正策略修正其匹配结果，包括：
将所述不可靠匹配结果的前面或后面的帧图像的可靠匹配结果代替其匹配结果。
16.根据权利要求1-4、6-7、9-11、13-15任一项所述的广告节目实时替换方法，其特征在于，在所述预设的替换规则中，新广告节目与被替换广告节目具有对应关系，且所述新广告节目中的每个新广告节目与其对应的被替换广告节目的图像帧一一对应。
17.一种广告节目实时替换装置，其特征在于，所述装置包括：
构建模块：用于构建并训练图像特征提取网络；
提取模块：利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取；
匹配模块：用于将提取到的所述帧图像的待匹配图像特征与特征库进行匹配，得到所述帧图像的匹配结果；
确定模块：用于若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一被替换广告节目，其中，M为正整数；
替换模块：用于基于预设的替换规则，将所述第一被替换广告节目替换为第一新广告节目。
18.根据权利要求17所述的广告节目实时替换装置，其特征在于，
所述提取模块，还用于利用所述图像特征提取网络，提取所有被替换广告节目的每一帧图像特征；
所述构建模块，还用于基于所述所有被替换广告节目的每一帧图像特征，构建所述特征库。
19.根据权利要求17、18任一项所述的广告节目实时替换装置，其特征在于，
所述提取模块：还用于对提取到的每一帧图像进行预处理操作，使所述每一帧图像符合所述图像特征提取网络的输入格式。
20.一种电子设备，其特征在于，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1-4、6-7、9-11、13-15中任一项所述的广告节目实时替换方法。
21.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-4、6-7、9-11、13-15中任一项所述的广告节目实时替换方法。
22.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-4、6-7、9-11、13-15中任一项所述的广告节目实时替换方法。
CN202210348823.8A 2022-04-01 2022-04-01 一种广告节目实时替换方法、设备、芯片及存储介质 Pending CN114820042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210348823.8A CN114820042A (zh) 2022-04-01 2022-04-01 一种广告节目实时替换方法、设备、芯片及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210348823.8A CN114820042A (zh) 2022-04-01 2022-04-01 一种广告节目实时替换方法、设备、芯片及存储介质

Publications (1)

Publication Number Publication Date
CN114820042A true CN114820042A (zh) 2022-07-29

Family

ID=82532417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210348823.8A Pending CN114820042A (zh) 2022-04-01 2022-04-01 一种广告节目实时替换方法、设备、芯片及存储介质

Country Status (1)

Country Link
CN (1) CN114820042A (zh)

Similar Documents

Publication Publication Date Title
US9980009B2 (en) Method and apparatus for identifying television channel information
CN109657100B (zh) 视频集锦生成方法及装置、电子设备及存储介质
CN108353208B (zh) 优化媒体指纹保持以提高系统资源利用率
CN110381366B (zh) 赛事自动化报道方法、系统、服务器及存储介质
CN113542777B (zh) 直播视频剪辑方法、装置及计算机设备
CA3041557C (en) Estimating and displaying social interest in time-based media
US20100095326A1 (en) Program content tagging system
CN112153483B (zh) 信息植入区域的检测方法、装置及电子设备
CN103514293A (zh) 在视频模板库中进行视频匹配的方法
CN104063883A (zh) 一种基于对象和关键帧相结合的监控视频摘要生成方法
CN111861572B (zh) 广告投放方法、装置、电子设备及计算机可读存储介质
CN102890778A (zh) 基于内容的视频检测方法及装置
CN102467661A (zh) 多媒体设备及其控制方法
CN106792005B (zh) 一种基于音视频结合的内容检测方法
CN111488487B (zh) 一种面向全媒体数据的广告检测方法及检测系统
CN109871490A (zh) 媒体资源匹配方法、装置、存储介质和计算机设备
CN103607635A (zh) 一种字幕识别方法、装置和终端
US11930251B2 (en) Accelerated television advertisement identification
CN110166795A (zh) 一种视频截图方法及装置
CN103544467B (zh) 一种台标检测识别的方法及其装置
CN111738042A (zh) 识别方法、设备及存储介质
US11631251B2 (en) Method and system for jockey and horse recognition and tracking
CN108985244B (zh) 一种电视节目类型识别方法及装置
CN110099298B (zh) 多媒体内容处理方法及终端设备
CN101241553A (zh) 一种识别特定信息起点和终点的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination