CN111179315A - 一种视频目标区域跟踪方法和视频平面广告植入方法 - Google Patents

一种视频目标区域跟踪方法和视频平面广告植入方法 Download PDF

Info

Publication number
CN111179315A
CN111179315A CN201911403257.0A CN201911403257A CN111179315A CN 111179315 A CN111179315 A CN 111179315A CN 201911403257 A CN201911403257 A CN 201911403257A CN 111179315 A CN111179315 A CN 111179315A
Authority
CN
China
Prior art keywords
video
frame
target
image
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911403257.0A
Other languages
English (en)
Inventor
宋施恩
卢海波
肖恺吟
刘禹轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Original Assignee
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Happly Sunshine Interactive Entertainment Media Co Ltd filed Critical Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority to CN201911403257.0A priority Critical patent/CN111179315A/zh
Publication of CN111179315A publication Critical patent/CN111179315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频目标区域跟踪方法和视频平面广告植入方法,其中视频目标区域跟踪方法包括:获取待植入视频片段;从视频片段中选取任意一帧产品露出较全的图像作为标注帧图像;圈选出标注帧图像的广告植入坐标位置;将视频片段拆成帧序列图像,将每一帧图像设为目标帧图像;提取标注帧图像及各目标帧图像中的特征点并匹配特征点;基于匹配特征点,计算变换矩阵;基于变换矩阵及标注帧图像的坐标点,计算目标帧植入位置坐标点,对目标区域进行跟踪。本发明对标注帧的位置没有特殊要求;在目标区域和相邻区域无明显区别时,也能够对目标区域进行有效跟踪计算;有效提升变换矩阵计算的准确性,改善了抖动问题,提升了视频广告植入效率。

Description

一种视频目标区域跟踪方法和视频平面广告植入方法
技术领域
本发明属于视频目标区域追踪领域,特别涉及一种视频目标区域跟踪方法和视频平面广告植入方法。
背景技术
视频广告植入是指,指定视频片段中的广告植入区域,将广告图片、广告视频等素材植入对应区域。视频片段中的植入区域,会随着视频拍摄镜头变换,对应的植入位置会发生仿射变换。视频广告植入的关键问题,在于计算视频帧序列中植入位置的平面坐标,即视频目标区域跟踪。
常用的视频平面广告植入方法,是选择视频片段的第一帧,标注植入目标区域,提取目标区域,在视频帧序列中对进行视频目标区域跟踪,完成目标区域跟踪后,将广告素材投影到对应目标区域。
现有的视频目标区域跟踪方法和视频平面广告植入方法具有以下缺点:
第一,对标注帧位置有要求,一般需要标注视频片段的第一帧,对分割视频片段完整性要求比较严格,同时逐帧计算变换矩阵,如果帧序列中的某一帧出现异常,后面的异常会被放大,不能稳定跟踪目标区域。
第二,对于目标区域和临近区域无明显区别的场景,无法对目标区域进行有效跟踪计算。
第三,如果标注帧中含有和植入目标区域特征点间存在相对位移的较多的特征点,则会影响变换矩阵计算的准确性,导致抖动比较明显,影响观看效果。
发明内容
本发明的目的在于,针对上述现有技术的不足,提供一种视频目标区域跟踪方法和视频平面广告植入方法。
为解决现有技术中对标注帧位置有要求及在目标区域和临近区域无明显区别时无法对目标区域进行有效跟踪计算的技术问题,本发明所采用的技术方案是:
一种视频目标区域跟踪方法,包括:
步骤A,获取待植入视频片段;
其特点是还包括:
步骤B,从所述视频片段中选取任意一产品露出较全的帧图像作为标注帧图像;
步骤C,使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置;
步骤D,将视频片段拆成帧序列图像,将帧序列图像的每一帧图像设为目标帧图像;
步骤E,提取标注帧图像及各目标帧图像中的特征点;
步骤F,对标注帧图像及各目标帧图像中的特征点进行匹配;
步骤G,基于匹配特征点,计算变换矩阵;
步骤H,基于变换矩阵及标注帧图像的坐标点,计算目标帧植入位置坐标点,对目标区域进行跟踪。
进一步地,为提升变换矩阵的计算精确度,本发明采用的方案是:
所述步骤C与步骤D间还包括:
获得标注帧图像中与目标区域间可能存在相对位移的区域U;
所述步骤F与步骤G间还包括:
过滤匹配特征点中标注帧图像中位于区域U中的特征点。
作为一种优选方式,所述视频片段来源于广告场景识别或人工选择。
作为一种优选方式,所述步骤B中,由人工从所述视频片段中选取露出植入产品较全的任意一帧图像作为标注帧图像。
作为一种优选方式,获得区域U的方法包括:
使用图像语义分割方法,自动将识别到的标注帧图像中的人、动物、交通工具所在的区域作为区域U。
进一步地,自动识别到的区域经人工确认再作为区域U。
进一步地,区域U中包括由人工添加指定的标注帧图像中的存在相对位移的区域。
基于同一个发明构思,本发明还提供了一种视频平面广告植入方法,包括:
首先,采用所述的视频目标区域跟踪方法对目标区域进行跟踪;
然后,基于被跟踪的目标区域,对目标帧植入位置坐标点进行位置移动并投影广告。
进一步地,在目标帧植入位置坐标点位置移动的过程中,对移动的位移做平滑处理,可以改善抖动问题。
与现有技术相比,本发明提升了视频广告植入效率,具有以下有益效果:
第一,对标注帧的位置没有特殊要求,可以选择视频片段中的任意一帧图像作为标注帧。
第二,直接计算标注帧和目标帧的变换矩阵,能够解决目标检测任务,在目标区域和相邻区域无明显区别(如目标区域为白墙中的某个区域位置)时,也能够对目标区域进行有效跟踪计算。
第三,采用图像语义分割方法识别和/或人工添加在标注帧中与植入区域可能存在相对位移的区域,并在计算转换矩阵之前过滤匹配特征点对中标注帧中存在相对位移区域的坐标点,可以有效提升变换矩阵计算的准确性。
第四,在目标帧植入位置坐标点位置移动的过程中,对移动的位移做平滑处理,改善抖动问题。
附图说明
图1为本发明视频目标区域跟踪方法流程图。
图2为本发明视频平面广告植入方法流程图。
具体实施方式
考虑视频广告植入场景,往往持续时间为3~15秒,拍摄场景和角度变化不大的情况,整体可以考虑选择视频片段中的任意一帧露出植入产品较全的图像,并标注植入位置,该帧为标注帧;将视频片段拆分成目标帧序列,通过提取计算标注帧和目标帧的特征点,通过特征点匹配,计算变换矩阵。采用帧与帧之间特征点匹配计算变换矩阵,能够解决目标区域和临近区域一致的场景中,目标区域检测问题。
如图1所示,本发明所述视频目标区域跟踪方法包括:
步骤1,获取待植入视频片段;其中,所述视频片段来源于广告场景识别或人工选择。
步骤2,由人工或其它方式从所述视频片段中选取任意一帧露出植入产品较全的图像图像作为标注帧图像。
步骤3,使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置,确认参考平面植入的四个坐标点。四边形区域圈定工具初始为矩形框,支持矩形框整体移动及4个角坐标单独位置调整,并能够获取到标注植入区域的4个角坐标。
步骤4,获得标注帧图像中与目标区域间可能存在相对位移的区域U;获得区域U的方法包括:
使用图像语义分割方法,自动识别标注帧图像中的人、动物、交通工具所在的区域,自动识别到的区域经人工确认后作为区域U。同时,区域U中还可以包括由人工添加指定的标注帧图像中的存在相对位移的区域。
步骤5,将视频片段拆成帧序列图像,将帧序列图像的每一帧图像设为目标帧图像,待确认植入坐标位置。
步骤6,采用目标检测的方法,使用opencv集成方法,如akaza等,提取标注帧图像及各目标帧图像中的特征点。
步骤7,采用FLANN匹配器,对标注帧图像及各目标帧图像中的特征点进行匹配。
步骤8,过滤匹配特征点中标注帧图像中位于区域U中的特征点。
步骤9,基于匹配特征点,计算变换矩阵。
为了提升变换矩阵计算精确度,需要对标注帧进行处理,挑选出和标注植入区域存在相对位移的区域。本发明采用图像语义分割的方法,找出候选可能与目标区域存在相对位移的区域,如人、动物、交通工具等,人工对候选区域进行确认和新增。在计算变换矩阵时,从标注帧和目标帧之间的特征点匹配对中过滤掉标注帧中存在相对位移区域的特征点。使用该方法可以有效提升计算出变换矩阵精度。
步骤10,基于变换矩阵及标注帧图像的坐标点,计算目标帧植入位置坐标点,对目标区域进行跟踪。
如图2所示,本发明所述视频平面广告植入方法,包括:
首先,采用所述的视频目标区域跟踪方法对目标区域进行跟踪。
然后,基于被跟踪的目标区域,对目标帧植入位置坐标点进行位置移动并投影广告。在目标帧植入位置坐标点位置移动的过程中,使用savgol filter对移动的位移做平滑处理,以改善抖动问题。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是局限性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护范围之内。

Claims (9)

1.一种视频目标区域跟踪方法,包括:
步骤A,获取待植入视频片段;
其特征在于,还包括:
步骤B,从所述视频片段中选取任意一帧图像作为标注帧图像;
步骤C,使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置;
步骤D,将视频片段拆成帧序列图像,将帧序列图像的每一帧图像设为目标帧图像;
步骤E,提取标注帧图像及各目标帧图像中的特征点;
步骤F,对标注帧图像及各目标帧图像中的特征点进行匹配;
步骤G,基于匹配特征点,计算变换矩阵;
步骤H,基于变换矩阵及标注帧图像的坐标点,计算目标帧植入位置坐标点,对目标区域进行跟踪。
2.如权利要求1所述的视频目标区域跟踪方法,其特征在于,
所述步骤C与步骤D间还包括:
获得标注帧图像中与目标区域间可能存在相对位移的区域U;
所述步骤F与步骤G间还包括:
过滤匹配特征点中标注帧图像中位于区域U中的特征点。
3.如权利要求1或2所述的视频目标区域跟踪方法,其特征在于,所述步骤A中,所述视频片段来源于广告场景识别或人工选择。
4.如权利要求1或2所述的视频目标区域跟踪方法,其特征在于,所述步骤B中,由人工从所述视频片段中选取任意一帧图像作为标注帧图像。
5.如权利要求2所述的视频目标区域跟踪方法,其特征在于,获得区域U的方法包括:
使用图像语义分割方法,自动将识别到的标注帧图像中的人、动物、交通工具所在的区域作为区域U。
6.如权利要求5所述的视频目标区域跟踪方法,其特征在于,自动识别到的区域经人工确认再作为区域U。
7.如权利要求2,5,6之一所述的视频目标区域跟踪方法,其特征在于,区域U中包括由人工添加指定的标注帧图像中的存在相对位移的区域。
8.一种视频平面广告植入方法,其特征在于,包括:
首先,采用如权利要求1至7任一项所述的视频目标区域跟踪方法对目标区域进行跟踪;
然后,基于被跟踪的目标区域,对目标帧植入位置坐标点进行位置移动并投影广告。
9.如权利要求8所述的视频平面广告植入方法,其特征在于,在目标帧植入位置坐标点位置移动的过程中,对移动的位移做平滑处理。
CN201911403257.0A 2019-12-31 2019-12-31 一种视频目标区域跟踪方法和视频平面广告植入方法 Pending CN111179315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403257.0A CN111179315A (zh) 2019-12-31 2019-12-31 一种视频目标区域跟踪方法和视频平面广告植入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403257.0A CN111179315A (zh) 2019-12-31 2019-12-31 一种视频目标区域跟踪方法和视频平面广告植入方法

Publications (1)

Publication Number Publication Date
CN111179315A true CN111179315A (zh) 2020-05-19

Family

ID=70650558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403257.0A Pending CN111179315A (zh) 2019-12-31 2019-12-31 一种视频目标区域跟踪方法和视频平面广告植入方法

Country Status (1)

Country Link
CN (1) CN111179315A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738769A (zh) * 2020-06-24 2020-10-02 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置
CN112613473A (zh) * 2020-12-31 2021-04-06 湖南快乐阳光互动娱乐传媒有限公司 一种广告植入方法及系统
CN113259713A (zh) * 2021-04-23 2021-08-13 深圳信息职业技术学院 视频处理方法、装置、终端设备及存储介质
CN113676775A (zh) * 2021-08-27 2021-11-19 苏州因塞德信息科技有限公司 一种利用人工智能在视频和游戏中进行广告植入的方法
CN114024944A (zh) * 2021-11-02 2022-02-08 广州虎牙科技有限公司 媒体内容植入方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044683A1 (en) * 1999-04-08 2002-04-18 Sanjay Deshpande Method and apparatus for including virtual ads in video presentations
CN104735467A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 视频画中画广告生成方法及装置
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN108154520A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于光流与帧间匹配的运动目标检测方法
CN108846856A (zh) * 2018-06-12 2018-11-20 广州视源电子科技股份有限公司 图片特征点的跟踪方法和跟踪装置
US20190034700A1 (en) * 2016-02-03 2019-01-31 Goertek Inc. Method and device for face tracking and smart terminal
CN109461174A (zh) * 2018-10-25 2019-03-12 北京陌上花科技有限公司 视频目标区域跟踪方法和视频平面广告植入方法及系统
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法
CN110084836A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于深度卷积特征分层响应融合的目标跟踪方法
CN110163894A (zh) * 2019-05-14 2019-08-23 中国科学院半导体研究所 基于特征匹配的亚像素级目标跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044683A1 (en) * 1999-04-08 2002-04-18 Sanjay Deshpande Method and apparatus for including virtual ads in video presentations
CN104735467A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 视频画中画广告生成方法及装置
US20190034700A1 (en) * 2016-02-03 2019-01-31 Goertek Inc. Method and device for face tracking and smart terminal
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN108154520A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于光流与帧间匹配的运动目标检测方法
CN108846856A (zh) * 2018-06-12 2018-11-20 广州视源电子科技股份有限公司 图片特征点的跟踪方法和跟踪装置
CN109461174A (zh) * 2018-10-25 2019-03-12 北京陌上花科技有限公司 视频目标区域跟踪方法和视频平面广告植入方法及系统
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法
CN110084836A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于深度卷积特征分层响应融合的目标跟踪方法
CN110163894A (zh) * 2019-05-14 2019-08-23 中国科学院半导体研究所 基于特征匹配的亚像素级目标跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738769A (zh) * 2020-06-24 2020-10-02 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置
CN111738769B (zh) * 2020-06-24 2024-02-20 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置
CN112613473A (zh) * 2020-12-31 2021-04-06 湖南快乐阳光互动娱乐传媒有限公司 一种广告植入方法及系统
CN112613473B (zh) * 2020-12-31 2024-04-23 湖南快乐阳光互动娱乐传媒有限公司 一种广告植入方法及系统
CN113259713A (zh) * 2021-04-23 2021-08-13 深圳信息职业技术学院 视频处理方法、装置、终端设备及存储介质
CN113676775A (zh) * 2021-08-27 2021-11-19 苏州因塞德信息科技有限公司 一种利用人工智能在视频和游戏中进行广告植入的方法
CN114024944A (zh) * 2021-11-02 2022-02-08 广州虎牙科技有限公司 媒体内容植入方法、装置、电子设备及存储介质
CN114024944B (zh) * 2021-11-02 2024-03-29 广州虎牙科技有限公司 媒体内容植入方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111179315A (zh) 一种视频目标区域跟踪方法和视频平面广告植入方法
Seo et al. Where are the ball and players? Soccer game analysis with color-based tracking and image mosaick
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
US20100128927A1 (en) Image processing apparatus and image processing method
KR101923177B1 (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
JP2009500752A (ja) ビデオオブジェクトのカットアンドペースト
WO2012084703A1 (en) Detection and tracking of moving objects
JP2014178957A (ja) 学習データ生成装置、学習データ作成システム、方法およびプログラム
US20150319373A1 (en) Method and device to compose an image by eliminating one or more moving objects
CN111860352A (zh) 一种多镜头车辆轨迹全跟踪系统及方法
Linger et al. Aerial image registration for tracking
CN113223050B (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
CN103955494A (zh) 目标对象的搜索方法、装置及终端
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110809766A (zh) 高级驾驶员辅助系统和方法
Diego et al. Vision-based road detection via on-line video registration
JP2008033818A (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
TWI479857B (zh) PTZ camera automatic tracking method
CN112767452B (zh) 摄像机主动感知方法及系统
CN115132370A (zh) 一种基于机器视觉和深度学习的流调辅助方法及装置
CN113435412A (zh) 一种基于语义分割的水泥布料区域检测方法
CN110706251B (zh) 一种行人跨镜头跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination