CN113382290B - 一种广告视频替换的方法 - Google Patents

一种广告视频替换的方法 Download PDF

Info

Publication number
CN113382290B
CN113382290B CN202110673279.XA CN202110673279A CN113382290B CN 113382290 B CN113382290 B CN 113382290B CN 202110673279 A CN202110673279 A CN 202110673279A CN 113382290 B CN113382290 B CN 113382290B
Authority
CN
China
Prior art keywords
video
frame
advertisement
image
replacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110673279.XA
Other languages
English (en)
Other versions
CN113382290A (zh
Inventor
高冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Shouyao New Energy Technology Development Co ltd
Original Assignee
Liaoning Shouyao New Energy Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Shouyao New Energy Technology Development Co ltd filed Critical Liaoning Shouyao New Energy Technology Development Co ltd
Priority to CN202110673279.XA priority Critical patent/CN113382290B/zh
Publication of CN113382290A publication Critical patent/CN113382290A/zh
Application granted granted Critical
Publication of CN113382290B publication Critical patent/CN113382290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种广告视频替换的方法。本发明中，载入需要进行视频替换的广告视频，先进行视频边界的检测，然后基于内容的视频进行检索研究，此时可以先将视频数据在结构上分层；以若干种镜头特征：帧间差、镜头切变率、字幕帧比率和文字特征的为提取方法进行了详细的提取判断分析，从而可以精准的判断广告视频是否需要进行替换，从而避免了人工进行判断时出现的误删，误替换的情况的发生，提高了该方法的准确性，同时多角度的特征提取分析，也可以加快广告视频的分析，也提高了该方法在进行广告视频替换时候的工作效率，减轻了工作人员的劳动负担。

Description

一种广告视频替换的方法
技术领域
本发明属于视频处理技术领域，具体为一种广告视频替换的方法。
背景技术
视频广告是指在移动设备内进行的插播视频的模式。视频广告分为传统视频广告和移动视频广告两类。传统视频广告是在视频内的广告进行设置和投放，而移动视频广告分为传统贴片广告和In-App视频广告。这些广告在门日常观看正常视频的过程中，给我们带来了麻烦，因此需要对其进行查找替换。
但是常见的广告视频在进行替换时，不能准确的对广告片段进行分析判断，从而使得替换的效率不够高，同时也降低了人们的工作效率。
发明内容
本发明的目的在于：为了解决上述提出的问题，提供一种广告视频替换的方法。
本发明采用的技术方案如下：一种广告视频替换的方法，所述一种广告视频替换的方法包括以下步骤：
S1:载入需要进行视频替换的广告视频，先进行视频边界的检测，然后基于内容的视频进行检索研究，此时可以先将视频数据在结构上分层；
S2:进行镜头切割，此时广告视频内部分层好的图像为帧序列找到每个镜头的边界；
S3:切割结束之后先计算每个镜头的镜头切变率，定义FN是视频中的第N帧，则该帧的镜头切变率是指统计其前后帧范围内镜头边界点的数目，而镜头的切变率用镜头内所有倾的镜头切变率的均值来表示；
S4:再准备计算字幕帧比率，此时先提取的是镜头内的数量特征，之后再提取的是文字区域的数量特征，提取公式为：
Figure GDA0003807024570000021
S5:根据步骤S3和S4中的提取分析判断得出该视频含有广告的部分之后开始进行视频的替换；
S6:输入步骤S5中，判断出含有广告的视频，选择并打开视频数据，同时使用系统视频播放器插件来显示原始视频，可以实现视频的播放、快进功能，以此便于用户查看原始视频数据；
S7:获取视频的首帧，保存并显示，之后再获取首帧的三分图；
S8:打开广告视频，使用视频抠中获取三分图的功能，输入的图像进行标记三分图，而且不需要标记前景或者背景,只需要对未知区域进行标记即可，系统会根据用户标记的未知区域来自动生成一个三分图，标记的时候由选择“添加未知区域”按钮，然后针对含有广告片段进行删除就可以；
S9:根据对广告视频进行替换的要求喜好，选择需要进行替换的广告片段，并将其与提取的不透明度序列合成一段新的视频序列，由于每一步都保存了当前结果，之后选取新的视频帧片段，最后点击替换即可完成整个广告视频的替换。
在一优选的实施方式中，所述步骤S1中，自下而上分别将视频分为视频帧、镜头、视频场景及视频序列。
在一优选的实施方式中，所述步骤S2中，进行切割时采用基于运动矢量的方法来检测渐变镜头，在广告视频的镜头内，运动矢量相对是连续的，而当识别出广告视频的镜头间运动矢量相对是不连续的，就对镜头边界进行分割。
在一优选的实施方式中，所述步骤S3中，非广告视频的镜头切换率的通常在FN0.5次/S,而广告的镜头切变率在FN2～～4次/S。
在一优选的实施方式中，所述步骤S4中，M和N分别为图像的宽和高，I(x,y,t)表明第t帧像素坐标为(x,y)的像素点是否为文字区域，若是为1，否则为0；XC是图像横坐标的中心，yC是图像纵坐标的中心。反映了文字区域参照图像中心的分布情况。若文字区域集中在图像中心附近，则P(t)值大于0.5；若文字区域分布在图像各个角落，则小于0.5。
在一优选的实施方式中，所述步骤S8之前，需要对输入视频进行预处理，预处理包括提取视频首帧，标记首帧三分图以及计算首帧不透明度，预处理的整个过程其实是对视频首帧进行图像抠图。
在一优选的实施方式中，所述步骤S8中，为了提高系统的抠图质量，添加了引导滤波器优化功能，并提供了可供用户调节的参数。
在一优选的实施方式中，所述可供用户调节的参数初始设置参数滤波半径r＝12,规则化参数e＝0.00001,二值化参数q＝0.25,在使用导向滤波优化后，便得到优化后的结果，对前景不透明度的边缘地方进行优化。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明中，在进行广告视频的替换之前，先以镜头为单位提取特征，同时以若干种镜头特征：帧间差、镜头切变率、字幕帧比率和文字特征的为提取方法进行了详细的提取判断分析，从而可以精准的判断广告视频是否需要进行替换，从而避免了人工进行判断时出现的误删，误替换的情况的发生，提高了该方法的准确性，同时多角度的特征提取分析，也可以加快广告视频的分析，也提高了该方法在进行广告视频替换时候的工作效率，减轻了工作人员的劳动负担。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
一种广告视频替换的方法，所述一种广告视频替换的方法包括以下步骤：
S1:载入需要进行视频替换的广告视频，先进行视频边界的检测，然后基于内容的视频进行检索研究，此时可以先将视频数据在结构上分层；步骤S1中，自下而上分别将视频分为视频帧、镜头、视频场景及视频序列；
S2:进行镜头切割，此时广告视频内部分层好的图像为帧序列找到每个镜头的边界；步骤S2中，进行切割时采用基于运动矢量的方法来检测渐变镜头，在广告视频的镜头内，运动矢量相对是连续的，而当识别出广告视频的镜头间运动矢量相对是不连续的，就对镜头边界进行分割；
S3:切割结束之后先计算每个镜头的镜头切变率，定义FN是视频中的第N帧，则该帧的镜头切变率是指统计其前后帧范围内镜头边界点的数目，而镜头的切变率用镜头内所有倾的镜头切变率的均值来表示；步骤S3中，非广告视频的镜头切换率的通常在FN0.5次/S,而广告的镜头切变率在FN2～～4次/S；
S4:再准备计算字幕帧比率，此时先提取的是镜头内的数量特征，之后再提取的是文字区域的数量特征，提取公式为：
Figure GDA0003807024570000051
步骤S4中，M和N分别为图像的宽和高，I(x,y,t)表明第t帧像素坐标为(x,y)的像素点是否为文字区域，若是为1，否则为0；XC是图像横坐标的中心，yC是图像纵坐标的中心。反映了文字区域参照图像中心的分布情况。若文字区域集中在图像中心附近，则P(t)值大于0.5；若文字区域分布在图像各个角落，则小于0.5；
S5:根据步骤S3和S4中的提取分析判断得出该视频含有广告的部分之后开始进行视频的替换；
S6:输入步骤S5中，判断出含有广告的视频，选择并打开视频数据，同时使用系统视频播放器插件来显示原始视频，可以实现视频的播放、快进等功能，以此便于用户查看原始视频数据；
S7:获取视频的首帧，保存并显示，之后再获取首帧的三分图；
S8:打开广告视频，使用视频抠中获取三分图的功能，输入的图像进行标记三分图，而且不需要标记前景或者背景,只需要对未知区域进行标记即可，系统会根据用户标记的未知区域来自动生成一个三分图，标记的时候由选择“添加未知区域”按钮，然后针对含有广告片段进行删除就可以；步骤S8之前，需要对输入视频进行预处理，预处理包括提取视频首帧，标记首帧三分图以及计算首帧不透明度，预处理的整个过程其实是对视频首帧进行图像抠图；步骤S8中，为了提高系统的抠图质量，添加了引导滤波器优化功能，并提供了可供用户调节的参数；可供用户调节的参数初始设置参数滤波半径r＝12,规则化参数e＝0.00001,二值化参数q＝0.25,在使用导向滤波优化后，便得到优化后的结果，对前景不透明度的边缘地方进行优化；
S9:根据对广告视频进行替换的要求喜好，选择需要进行替换的广告片段，并将其与提取的不透明度序列合成一段新的视频序列，由于每一步都保存了当前结果，之后选取新的视频帧片段，最后点击替换即可完成整个广告视频的替换；在进行广告视频的替换之前，先以镜头为单位提取特征，同时以若干种镜头特征：帧间差、镜头切变率、字幕帧比率和文字特征的为提取方法进行了详细的提取判断分析，从而可以精准的判断广告视频是否需要进行替换，从而避免了人工进行判断时出现的误删，误替换的情况的发生，提高了该方法的准确性，同时多角度的特征提取分析，也可以加快广告视频的分析，也提高了该方法在进行广告视频替换时候的工作效率，减轻了工作人员的劳动负担。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种广告视频替换的方法，其特征在于：所述一种广告视频替换的方法包括以下步骤：
S1:载入需要进行视频替换的广告视频，先进行视频边界的检测，然后基于内容的视频进行检索研究，此时先将视频数据在结构上分层；
S2:进行镜头切割，此时广告视频内部分层好的图像为帧序列找到每个镜头的边界；
S3:切割结束之后先计算每个镜头的镜头切变率，定义FN是视频中的第N帧,则该帧的镜头切变率是指统计其前后帧范围内镜头边界点的数目，而镜头的切变率用镜头内所有倾的镜头切变率的均值来表示；
S4:再准备计算字幕帧比率，此时先提取的是镜头内的数量特征，之后再提取的是文字区域的数量特征，提取公式为：
Figure FDA0003988998150000011
步骤S4中，M和N分别为图像的宽和高，I(x,y,t)表明第t帧像素坐标为(x,y)的像素点是否为文字区域，若是为1，否则为0；XC是图像横坐标的中心，yC是图像纵坐标的中心；反映了文字区域参照图像中心的分布情况；若文字区域集中在图像中心附近，则P(t)值大于0.5；若文字区域分布在图像各个角落，则小于0.5；
S5:根据步骤S3和S4中的提取分析判断得出该视频含有广告的部分之后开始进行视频的替换；
S6:输入步骤S5中，判断出的含有广告的视频，选择并打开视频数据，同时使用系统视频播放器插件来显示原始视频；
S7:获取视频的首帧，保存并显示，之后再获取首帧的三分图；
S8:打开广告视频，使用视频抠中获取三分图的功能，输入的图像进行标记三分图，此时需要对未知区域进行标记即可，系统会根据用户标记的未知区域来自动生成一个三分图，标记的时候由选择“添加未知区域”按钮，然后针对含有广告片段进行删除；
S9:根据对广告视频进行替换的要求喜好，选择需要进行替换的广告片段，并将其与提取的不透明度序列合成一段新的视频序列，由于每一步都保存了当前结果，之后选取新的视频帧片段，最后点击替换即可完成整个广告视频的替换。
2.如权利要求1所述的一种广告视频替换的方法，其特征在于：所述步骤S1中，自下而上分别将视频分为视频帧、镜头、视频场景及视频序列。
3.如权利要求1所述的一种广告视频替换的方法，其特征在于：所述步骤S2中，进行切割时采用基于运动矢量的方法来检测渐变镜头，在广告视频的镜头内，运动矢量相对是连续的，而当识别出广告视频的镜头间运动矢量相对是不连续的，就对镜头边界进行分割。
4.如权利要求1所述的一种广告视频替换的方法，其特征在于：所述步骤S3中，非广告视频的镜头切换率FN通常在0.5次/S,而广告的FN镜头切变率在2～4次/S。
5.如权利要求1所述的一种广告视频替换的方法，其特征在于：所述步骤S8之前，需要对输入视频进行预处理，预处理包括提取视频首帧，标记首帧三分图以及计算首帧不透明度，预处理的整个过程是对视频首帧进行图像抠图。
CN202110673279.XA 2021-06-17 2021-06-17 一种广告视频替换的方法 Active CN113382290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110673279.XA CN113382290B (zh) 2021-06-17 2021-06-17 一种广告视频替换的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110673279.XA CN113382290B (zh) 2021-06-17 2021-06-17 一种广告视频替换的方法

Publications (2)

Publication Number Publication Date
CN113382290A CN113382290A (zh) 2021-09-10
CN113382290B true CN113382290B (zh) 2023-06-09

Family

ID=77577448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110673279.XA Active CN113382290B (zh) 2021-06-17 2021-06-17 一种广告视频替换的方法

Country Status (1)

Country Link
CN (1) CN113382290B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937855B (zh) * 2023-03-10 2023-06-06 四川语璐科技有限公司 一种基于大数据的智能设备控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080028A (zh) * 2006-05-25 2007-11-28 北大方正集团有限公司 一种广告视频检测的方法
CN101162470A (zh) * 2007-11-16 2008-04-16 北京交通大学 一种基于分层匹配的视频广告识别方法
CN101241553A (zh) * 2008-01-24 2008-08-13 北京六维世纪网络技术有限公司 一种识别特定信息起点和终点的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707189B1 (ko) * 2005-04-29 2007-04-13 삼성전자주식회사 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US8369686B2 (en) * 2009-09-30 2013-02-05 Microsoft Corporation Intelligent overlay for video advertising

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080028A (zh) * 2006-05-25 2007-11-28 北大方正集团有限公司 一种广告视频检测的方法
CN101162470A (zh) * 2007-11-16 2008-04-16 北京交通大学 一种基于分层匹配的视频广告识别方法
CN101241553A (zh) * 2008-01-24 2008-08-13 北京六维世纪网络技术有限公司 一种识别特定信息起点和终点的方法和装置

Also Published As

Publication number Publication date
CN113382290A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111161243B (zh) 基于样本增强的工业产品表面缺陷检测方法
US8848985B2 (en) Face-image registration device, face-image registration method, face-image registration program, and storage medium
CN107665351B (zh) 基于难样本挖掘的机场检测方法
EP1382017B1 (en) Image composition evaluation
US7949188B2 (en) Image processing apparatus, image processing method, and program
KR101626231B1 (ko) 화상 검사 장치의 검사 영역 설정 방법
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
CN110321769A (zh) 一种多尺寸货架商品检测方法
CN106454064A (zh) 图像处理装置以及图像处理方法
US8462211B2 (en) Method of detecting objects
CN103714314B (zh) 一种结合边缘和颜色信息的电视视频台标识别方法
CN113382290B (zh) 一种广告视频替换的方法
CN111625687B (zh) 一种在媒资视频库中通过人脸快速搜索人物的方法及系统
CN106445424A (zh) 信息处理方法及信息处理装置
CN111428590B (zh) 一种视频聚类切分方法和系统
El Khoury et al. A database with reference for image dehazing evaluation
CN113298809A (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113221976A (zh) 基于时空光流网络的多视频帧黑烟柴油车检测方法及系统
JP2011008509A (ja) 重要情報抽出方法および装置
CN113485615B (zh) 基于计算机视觉的典型应用智能图文教程制作的方法及系统
CN113313692B (zh) 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法
JP7027101B2 (ja) 情報処理装置、制御方法、及びプログラム
CN112883797A (zh) 一种基于Yolo V3模型的烟丝杂物检测方法
CN107784269A (zh) 一种3d视频帧特征点提取的方法及系统
CN103051923A (zh) 一种用于高速准确拆条的镜头检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230517

Address after: No. 18-18, Zhenxing 10th Street, Hutai New City, Xinmin City, Shenyang City, Liaoning Province, 110000

Applicant after: Liaoning Shouyao New Energy Technology Development Co.,Ltd.

Address before: 110300 No. 34-12, Zhenxing Fifth Street, Hutai Town, Xinmin City, Shenyang City, Liaoning Province

Applicant before: Liaoning yunxun Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant