CN106686404B - 一种视频分析平台、匹配方法、精准投放广告方法及系统 - Google Patents

一种视频分析平台、匹配方法、精准投放广告方法及系统 Download PDF

Info

Publication number
CN106686404B
CN106686404B CN201611169731.4A CN201611169731A CN106686404B CN 106686404 B CN106686404 B CN 106686404B CN 201611169731 A CN201611169731 A CN 201611169731A CN 106686404 B CN106686404 B CN 106686404B
Authority
CN
China
Prior art keywords
video
picture
advertisement
service
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611169731.4A
Other languages
English (en)
Other versions
CN106686404A (zh
Inventor
张鹏程
刘勇
张家明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201611169731.4A priority Critical patent/CN106686404B/zh
Publication of CN106686404A publication Critical patent/CN106686404A/zh
Priority to PCT/CN2017/108384 priority patent/WO2018107914A1/zh
Application granted granted Critical
Publication of CN106686404B publication Critical patent/CN106686404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种匹配方法、精准投放广告方法及系统以及一种视频分析平台,该匹配方法包括:获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;获取第二视频资源,从所述第二视频资源中提取图片,获得第二图片集合;将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。本申请提供的技术方案能通过图像处理,根据相似度自动关联,减少人工干预,关联效率高。

Description

一种视频分析平台、匹配方法、精准投放广告方法及系统
技术领域
本发明涉及影像处理技术,尤指一种视频分析平台、匹配方法、精准投放广告方法及系统。
背景技术
在点播视频播放的过程中,插播广告视频、广告图片,是目前常见的应用系统广告手段。在用户观看时,投放用户需要的广告会获得用户的高认可度,也越能使广告的目标得到实现。如果随机给用户投放广告,不但会引起用户的反感,而且可能引发用户对应用系统本身的排斥。
在用户点播视频时投放广告,目前常用的精准投放技术包括:
第一种方案:分析获取到的用户资料、用户行为,投放用户可能需要的广告。该方案需要存储每个用户的信息,在用户比较多的情况下,占用大量空间。
第二种方案:进行人工干预,在视频的固定时间点定制插播广告。该方案对每个视频都需要人工干预,比较耗费人力,在视频量比较大时效率比较低。
发明内容
本发明提供了一种匹配方法、精准投放广告方法及系统,以及一种视频分析平台,能够实现视频匹配,且降低空间占用、减少人工干预。
为了达到本发明目的,本发明提供了一种匹配方法,包括:
获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;
获取第二视频资源,根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;
将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;
当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
可选的,从所述待匹配资源中提取图片或者从所述第二视频资源中提取图片包括:
将所述待匹配资源中的待匹配视频或者所述第二视频资源作为输入视频,对所述输入视频进行解码后,将所述解码后的输入视频作为待提取视频;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,所述从所述待匹配资源中提取图片包括:当所述待匹配资源中包括待匹配图片时,提取所述待匹配图片加入所述第一图片集合。
可选的,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中一种或多种判断场景是否切换;
在所述输入视频中发生场景切换的位置进行分割。
可选的,所述根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
可选的,所述将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
本发明实施例还提供一种视频分析平台,包括数据获取模块、视频图片分析处理层,其中:
所述数据获取模块用于,获取所述待匹配资源,以及,获取第二视频资源;
所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述视频处理模块用于,从所述待匹配资源中提取图片,获得第一图片集合;根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;
所述图片分析模块用于,将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
可选的,所述视频分析平台还包括视频解码层,用于将所述待匹配资源中的待匹配视频资源解码后作为输入视频传输至所述视频图片分析处理层,以及,对所述第二视频资源解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述待匹配资源中或所述第二视频资源中提取图片包括:
将所述的输入视频作为待提取视频;或者,将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,所述视频处理模块从所述待匹配资源中提取图片包括:当所述待匹配资源中包括待匹配图片时,提取所述待匹配图片加入所述第一图片集合。
可选的,所述视频处理模块包括视频分割单元,用于根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割;以及,将各分割视频进行比较获取所述分割视频集合。
可选的,所述视频分割单元根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述视频处理模块包括多模态提取关键帧单元,用于根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
可选的,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据所述特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度,当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
本发明实施例还提供一种精准投放广告方法,包括:
获取广告素材,从所述广告素材中提取图片,获得广告图片集合;
获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
可选的,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频作为输入视频,对所述输入视频进行解码后,将所述解码后的输入视频作为待提取视频;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
可选的,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换;在所述输入视频中发生场景切换的位置进行分割。
可选的,所述根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
可选的,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
可选的,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
可选的,所述方法还包括:
对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
可选的,所述方法还包括:
对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
可选的,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
可选的,所述方法还包括:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的业务第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
本发明实施例还提供一种视频分析平台,包括数据获取模块、视频图片分析处理层,所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述数据获取模块用于,获取广告素材,以及,获取业务视频;
所述视频处理模块用于,从所述广告素材中提取图片,获得广告图片集合;以及,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
所述图片分析模块用于,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
可选的,所述视频分析平台还包括视频解码层,用于将所述广告素材中的广告视频进行解码作为输入视频传输至所述视频图片分析处理层,以及,对所述业务视频进行解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述的输入视频作为待提取视频;或者,将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,所述视频处理模块从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
可选的,所述视频处理模块包括视频分割单元,用于根据所述输入视频中的背景、声音中一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割。
可选的,所述视频分割单元根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述视频处理模块包括多模态提取关键帧单元,用于根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
可选的,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧作为提取的图片;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
可选的,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
可选的,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
可选的,所述视频处理模块还包括:背景建模单元和目标检测单元,其中:
所述背景建模单元用于,对所述业务视频进行背景建模;
所述目标检测单元用于,对所述业务视频进行目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
可选的,所述背景建模单元还用于,对所述广告素材中的广告视频进行背景建模;
所述目标检测单元还用于,对所述广告素材中的广告视频进行目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
所述图片分析模块还用于,当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
可选的,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
可选的,所述图片分析模块还用于:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
本发明实施例还提供一种视频分析平台,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;获取第二视频资源,根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
可选的,所述从所述待匹配资源中提取图片或者从所述第二视频资源中提取图片包括:
将所述待匹配资源中的待匹配视频或者所述第二视频资源作为输入视频,对所述输入视频进行解码后,将所述解码后的输入视频作为待提取视频;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中一种或多种判断场景是否切换;
在所述输入视频中发生场景切换的位置进行分割。
可选的,所述根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
可选的,所述将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
本发明实施例还提供一种视频分析平台,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取广告素材,从所述广告素材中提取图片,获得广告图片集合;获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
可选的,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频作为输入视频,对所述输入视频进行解码后,将所述解码后的输入视频作为待提取视频;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
可选的,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换;在所述输入视频中发生场景切换的位置进行分割。
可选的,所述根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
可选的,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
可选的,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
可选的,,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
可选的,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
可选的,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
可选的,所述处理器执行所述程序,还用于:
对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
可选的,所述处理器执行所述程序,还用于:
对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
可选的,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
可选的,所述处理器执行所述程序,还用于:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的业务第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
本发明实施例还提供一种精准投放广告系统,包括视频分析平台、数据库、门户、数据同步接口模块和关联信息同步接口模块,其中,
所述视频分析平台用于:通过所述数据同步接口模块从广告平台同步广告素材同步信息,根据所述广告素材同步信息获取广告素材,从所述广告素材中提取图片,获得广告图片集合;通过所述数据同步接口模块从业务平台同步业务视频同步信息,根据所述业务视频同步信息获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息,将所述关联信息通过所述关联信息同步接口模块同步到所述广告平台和所述业务平台;
所述数据库,用于存储所述广告素材和业务视频的相关信息;
所述门户,用于实现用户与所述数据库、视频分析平台的交互;
所述数据同步接口模块,将广告素材同步信息从所述广告平台同步到所述视频分析平台;用于将业务视频同步信息从所述业务平台同步到所述视频分析平台;
所述关联信息同步接口模块,用于将所述关联信息从所述视频分析平台同步到所述广告平台和所述业务平台。
可选的,所述视频分析平台还用于,对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联,将所述广告素材目标对象存入数据库中的广告素材目标对象表,将其状态设置为未审核;以及,对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联,将所述业务视频目标对象存入数据库中的业务视频目标对象表,将其状态设置为未审核;
所述门户用于实现用户与所述数据库、视频分析平台的交互包括:根据用户操作向所述数据库查询未审核的广告素材目标对象,根据用户操作为未审核的所述广告素材目标对象配置广告对象标识并修改广告素材目标对象表中其状态为已审核未关联;
所述视频分析平台将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
所述视频分析平台向所述数据库查询已审核未关联的广告素材目标对象,接收所述数据库返回的已审核未关联的广告素材目标对象,获取该已审核未关联的广告素材目标对象所关联的广告图片,将其与所述业务图片集合中的业务图片进行比较,获取相似度;
所述视频分析平台还用于,当所述业务图片集合中的第二业务图片与所述已审核未关联的广告素材目标对象所关联的广告图片的相似度满足所述第一预设条件时,获取所述已审核未关联的广告素材目标对象被配置的广告对象标识,为所述第二业务图片所关联的第二业务视频目标对象配置与所述已审核未关联的广告素材目标对象被相同的广告对象标识,修改数据库中所述已审核未关联的广告素材目标对象的状态为已关联,修改数据库中所述第二业务视频目标对象的状态为已关联。
可选的,所述门户还用于,向所述数据库查询已审核未关联的广告素材目标对象,获取所述已审核未关联的广告素材目标对象后,向所述视频分析平台发起查询请求,接收所述视频分析平台返回的业务图片子集合,以及,根据用户操作从所述业务图片子集合中选择第三业务图片,将所选的第三业务图片关联的第三业务视频目标对象配置与所述已审核未关联的广告素材目标对象相同的广告对象标识,修改数据库中所述第三业务视频目标对象的状态为已关联,修改所述已审核未关联的广告素材目标对象的状态为已关联;
所述视频分析平台还用于,接收到所述门户发送的查询请求后,确定与该查询请求中携带的广告素材目标对象关联的第三广告图片,在所述业务图片集合中查找与所述第三广告图片的相似度满足第四预设条件的所述业务图片子集合,将所述业务图片子集合发送给所述门户。
与现有技术相比,本发明实施例中,通过对业务视频、广告视频进行切割、提取关键帧、提取图片特征值,关联相似度高的业务视频和广告素材,业务平台和广告平台获得业务视频及其关联的广告素材,业务平台在播放业务视频的同时,播放广告素材(广告视频和/或广告图片),以达到精准投放业务视频相关的广告的效果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例精准投放广告系统框图;
图2为本发明实施例视频分析平台数据结构示意图;
图3为本发明实施例精准投放广告方法流程图;
图4为本发明实施例单机方式实现的精准投放广告系统框图;
图5为本发明实施例单机方式实现的精准投放广告系统业务流程图;
图6为本发明实施例分布式方式实现的精准投放广告系统框图;
图7为本发明实施例分布式方式实现的精准投放广告系统业务流程图;
图8为本发明实施例IPTV精准投放广告系统架构图;
图9为本发明实施例IPTV精准投放广告业务流程图;
图10为本发明实施例视频播放软件精准投放广告系统架构图;
图11为本发明实施例视频播放软件精准投放广告业务流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例中,利用视频分析和图像处理技术对业务视频和广告素材(视频和/或图片)进行处理,获取相似度信息,根据相似度对业务视频和广告素材进行关联,实现自动关联。
本发明实施例提供一种匹配方法,包括:
获取待匹配资源,从所述待匹配资源中提取图片获得第一图片集合;
获取第二视频资源,从所述第二视频资源中提取图片组成第二图片集合;
将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;
当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
其中,待匹配资源可能包括多个待匹配视频资源和/或待匹配图片,第二视频资源可能包括多个视频资源。从所述待匹配资源中提取第一图片集合包括:如果所述待匹配资源中包括待匹配视频资源,从所述待匹配视频资源中提取视频帧加入第一图片集合,如果所述待匹配资源包括待匹配图片,则直接将所述待匹配图片加入所述第一图片集合。
在本发明一实施例中,所述待匹配资源中也可能只包括待匹配图片,则从待匹配资源中提取图片时,只需直接待匹配图片获得第一图片集合。
在本发明的一实施例中,从所述待匹配资源中提取图片或者从所述第二视频资源中提取图片包括:
将所述待匹配资源或者所述第二视频资源作为输入视频,对所述输入视频进行解码后,直接从解码后的输入视频中提取图片;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较获取分割视频集合,从所述分割视频集合中的分割视频提取图片,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件。
即,本发明实施例中,可以直接从待匹配资源中的待匹配视频资源中提取视频帧,也可以将待匹配视频资源按照场景进行分割获得分割视频后,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,从分割视频集合中的分割视频中提取视频帧。可以直接从第二视频资源中提取视频帧,也可以将第二视频资源按照场景进行分割获得分割视频后,将各分割视频进行比较,根据比较结果获取分割视频集合,从分割视频集合中的分割视频提取视频帧。
在本发明的一实施例中,所述待匹配资源中包括待匹配图片时,从所述待匹配资源中提取图片包括:提取所述待匹配图片加入所述第一图片集合。
下面说明一下如何根据场景进行视频分割。一个视频中通常会包含多个场景,可以通过背景或者声音来判断场景是否变换。比如,从室内换到室外,场景发生切换,又比如,背景音从街道噪音转换为工厂噪音,则发生场景切换,从汽车噪音转换为会场噪音,则发生场景切换。在本发明的一实施例中,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割。
即,可以只通过背景来判断场景是否变换,也可以通过声音来判断场景是否变换,或者,通过背景和声音来判断场景是否变换。
在本发明的一实施例中,根据背景判断场景是否切换包括:对输入视频进行背景估计,背景更新处理,比较相邻的背景图片判断是否为同一场景。其中,提取背景估计时,可以根据输入视频的几个连续帧进行背景估计,比如,可以使用3个连续视频帧进行背景估计,比较背景图片时,可以提取背景图片的全局特征,获取相邻的两个背景图片的全局特征的汉明距离,来判断相邻背景图片是否为同一场景。其中,可以使用混合高斯模型(GMM)算法实现所述背景估计、背景图片更新等过程。该方法仅为示例,可以根据需要采取其他判断其他方式提取背景,判断背景是否变化,比如,比较背景图片时,也可以使用其他比较算法,判断背景图片是否为同一场景。本申请对此不作限定。
在本发明的一实施例中,所述根据所述输入视频中的声音判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足,根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。相邻的极大值或极小值可能距离很小,在进行场景分割时,只提取距离大于第一距离阈值的极大值和极小值,进行场景分割,距离小于第一距离阈值的极大值和极小值忽略。其中,将音频信号从时域转换到频域时,采取抑制语音所在频段信号的处理。当然,此处根据声音判断场景是否切换的实现方式仅为一示例,也可以采用其他方式对音频进行处理来判断场景是否切换,比如,提取音频中的背景音,通过背景音判断场景是否变化。
在本发明的一实施例中,将各分割视频进行比较获取分割视频集合的一种实现方式为:从分割视频中提取背景图片(背景图片可以根据前面根据场景进行分割时进行背景估计、背景更新过程中获得),比较各分割视频的背景图片获得相似程度,如果两个分割视频的背景图片的相似程度满足第二预设条件,则判断两个分割视频的场景不相似,如果两个分割视频的背景图片的相似程度不满足第二预设条件,则判断两个分割视频场景相似,可以删除场景相似的两个分割视频中的一个,对全部分割视频进行比较并且只保留两个相似的分割视频中的一个,保留下来的分割视频也需要互相比较,最终得到分割视频集合,从而使得分割视频集合中的分割视频均满足第二预设条件。该方案可以合并相似的场景,减少分割视频的数量,从而减少最终提取的视频帧的数量,提高系统处理速度,降低存储需求。当然,在本发明的其他实施例中,也可以不采用背景图片来进行分割视频的比较,采取其他方式对分割视频进行比较从而判断分割视频是否相似。另外,也可以在后续已提取视频帧之后,用各分割视频中提取的视频帧进行比较来判断分割视频是否相似。第二预设条件可以根据需要设定,第二预设条件的设定关系到分割视频的数量。如果希望分割视频少一些,则判断分割视频是否相似的条件可以宽泛一些,从而被判断为相似的分割视频数量增加,提取到分割视频集合中的分割视频数量减少。如果希望分割视频多一些,则判断分割视频是否相似的条件可以严格一些,从而被判断为相似的分割视频数量减少,提取到分割视频集合中的分割视频数量增多。具体可根据需要设定第二预设条件。
当然,在本发明的其他实施例中,也可以不进行分割,直接从待匹配视频资源和第二视频资源中提取视频帧进行后续处理。在提取视频帧之后再进行合并处理,以减少提取的视频帧的数量。
在提取视频帧时,可以根据图像、声音、或字幕来提取代表性的视频帧,将提取的视频帧称为关键帧。在本发明的一实施例中,所述直接从解码后的输入视频中提取图片或者从所述分割视频集合中的分割视频提取图片包括:
将所述解码后的输入视频或者所述分割视频集合中的分割视频作为待提取视频,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
在本发明的一实施例中,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;其中,初始时,将该待处理视频的起始帧作为当前关键帧。
在本发明的一实施例中,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
在本发明的一实施例中,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取该字幕对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。其中,关键词预先设定。比如,需要对篮球进行广告时,可设定篮球、三分球、扣篮等为关键词。该方法可作为一辅助手段。
在本发明的一实施例中,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。当然,第一预设条件也可以根据需要设定为其他条件。
在本发明的一实施例中,所述将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值,将所述第一特征值和第二特征值进行比较,获取相似度。对图片进行比较获取相似度可以使用很多算法,此处仅为示例,也可根据需要使用其他方法获取相似度。
在本发明一实施例中,还可对所述待匹配资源中的待匹配视频进行背景建模,检测运动的目标,存储运动目标所在位置,并关联包含该运动目标的图片;以及,对第二视频资源进行背景建模,检测运动的目标,存储运动目标所在位置,以及,目标在第二视频资源中的出现时间和消失时间,并关联包含该运动目标的图片,在根据特征模型提取图片的特征值时,在图片的目标所在区域和背景区域分别使用相应的特征提取器进行特征提取。比如,运动的目标通常包括人脸,所以在目标区域可以使用人脸检测器来进行特征提取。如果未进行运动目标检测,则对图片的所有区域使用全部特征提取器进行特征提取,如果已进行运动目标检测,可以在静止的背景区域使用通常用于背景区域的特征提取器进行特征提取,在运动的目标所在区域使用通常用于运动目标的特征提取器进行特征提取,从而减少了特征提取时的运算量。
上述匹配方法的一个应用是在广告插播中的应用。可以找出广告视频或广告图片与业务视频中哪些位置的内容比较相似,进行关联,从而在业务视频中对应的位置插播广告视频或广告图片。当需要对广告视频进行插播时,在与该广告视频有关的业务视频中插播,比随意在某个业务视频中插播,用户接受度更好,从而广告效果更好。比如,将某明星代言的产品广告在该明星主演的电视或电影中插播,又比如,将某产品的广告在电视或电影中主角使用类似的产品时进行插播,用户的接受度和广告效应好于将广告随意在某个电视电影中插播。另外,该匹配方法也可以用在图像搜索中。比如,用户想查找某个电影片段,但不知道具体电影名称,只知道大概内容,则可以找一张与该电影片段类似的图片,在电影库中进行匹配,查找到对应的电影。又比如,用户想要查找所有有圣诞场景的电影,也可以使用一段圣诞视频或圣诞图片在电影库中进行匹配,查找出所有有圣诞场景的电影。上述应用仅为示例,本申请可以应用到各种需要对视频进行匹配的场景中。
本发明实施例还提供一种视频分析平台,包括数据获取模块、视频图片分析处理层,其中:
所述数据获取模块用于,获取所述待匹配资源,以及,获取第二视频资源;
所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述视频处理模块用于,从所述待匹配资源中提取图片,获得第一图片集合;根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;
所述图片分析模块用于,将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
在本发明的一实施例中,所述视频分析平台还包括视频解码层,用于将所述待匹配资源中的待匹配视频资源解码后作为输入视频传输至所述视频图片分析处理层,以及,对所述第二视频资源解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述待匹配资源中或所述第二视频资源中提取图片包括:
将所述的输入视频作为待提取视频;或者,将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;第二预设条件可以根据需要设定。
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
在本发明的一实施例中,所述视频处理模块从所述待匹配资源中提取图片包括:当所述待匹配资源中包括待匹配图片时,提取所述待匹配图片加入所述第一图片集合。
在本发明的一实施例中,所述视频处理模块包括视频分割单元,用于根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割;以及,将各分割视频进行比较获取所述分割视频集合。
在本发明的一实施例中,所述视频分割单元根据所述输入视频中的声音判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足,根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
在本发明的一实施例中,所述视频处理模块包括多模态提取关键帧单元,用于将所述输入视频或者所述分割视频集合中的分割视频作为待提取视频,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
在本发明的一实施例中,所述多模态提取关键帧单元根据所述待提取视频的图像提取视频帧包括:
提取所述待处理视频中的一视频帧,将其作为当前关键帧,通过如下方式提取下一视频帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一视频帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
在本发明的一实施例中,所述多模态提取关键帧单元根据所述待提取视频的声音提取视频帧包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
在本发明的一实施例中,所述多模态提取关键帧单元根据所述待提取视频的字幕提取视频帧包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取该字幕对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
在本发明的一实施例中,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
在本发明的一实施例中,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据所述特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度,当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
将上述匹配方法应用到广告插播,本发明实施例提供一种精准投放广告方法,包括:
获取广告素材,从所述广告素材中提取图片,获得广告图片集合;
获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
在本发明的一实施例中,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频作为输入视频,对所述输入视频进行解码后,将所述解码后的输入视频作为待提取视频;或者,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
在本发明的一实施例中,从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
在本发明的一实施例中,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换;在所述输入视频中发生场景切换的位置进行分割。
其中,根据背景判断场景是否切换见前述匹配方法中根据背景判断场景是否切换的相关叙述。
在本发明的一实施例中,所述根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
在本发明的一实施例中,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待处理视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待处理视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从该待处理视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将该待处理视频的起始帧作为当前关键帧。
在本发明的一实施例中,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
在本发明的一实施例中,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
在本发明的一实施例中,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
在本发明的一实施例中,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
在本发明的一实施例中,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
在本发明的一实施例中,所述方法还包括:
对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
其中,进行目标检测的方法可以是:使用滑动窗口扫描视频帧,确定运动的前景目标所在位置。
在本发明的一实施例中,所述方法还包括:
对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
在本发明的一实施例中,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
在本发明的一实施例中,所述方法还包括:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的业务第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
本发明实施例还提供一种视频分析平台,如图1所示,包括数据获取模块、视频图片分析处理层,所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述数据获取模块用于,获取广告素材,以及,获取业务视频;
所述视频处理模块用于,从所述广告素材中提取图片,获得广告图片集合;以及,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
所述图片分析模块用于,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
所述视频分析平台还包括视频解码层,用于将所述广告素材中的广告视频进行解码作为输入视频传输至所述视频图片分析处理层,以及,对所述业务视频进行解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述的输入视频作为待提取视频;或者,将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
在本发明的一实施例中,所述视频处理模块从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
在本发明的一实施例中,所述视频处理模块包括视频分割单元、多模态提取关键帧单元,其中:
所述分割单元用于,根据所述输入视频中的背景、声音中一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割。
多模态提取关键帧单元,用于根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
在本发明的一实施例中,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
在本发明的一实施例中,所述图片分析模块包括还包括特征索引生成/合并单元,所述特征索引生成/合并单元用于,进行索引生成和索引合并,索引生成包括:对提取出来的特征集合按照预设规则构建树状索引,加速目标检索过程;索引合并包括:对不同特征集合并行构建的索引文件进行合并,用于进行索引增量更新。其中,索引文件包括:特征提取出的原始特征文件,和根据原始特征文件生成的树状结构描述文件。索引生成根据特征提取的原始特征文件,生成树状结构描述文件。合并就是根据原始特征文件,更新索引即树状结构描述文件,相当于重新生成一个新的索引。可以定时更新,根据原始特征文件集合更新索引,也可约定进行实时更新特征索引。
在本发明的一实施例中,所述视频处理模块还包括:背景建模单元和目标检测单元,其中:
所述背景建模单元用于,对所述业务视频进行背景建模;对所述广告素材中的广告视频进行背景建模;
所述目标检测单元用于,对所述业务视频进行目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;以及,对所述广告素材中的广告视频进行目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
所述图片分析模块还用于,当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
在本发明的一实施例中,所述图片分析模块还用于:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。第四预设条件可以是:相似度位于第二相似度阈值和第一相似度阈值之间,且第二相似度阈值小于第一相似度阈值。
在本发明的一实施例中,所述视频分析平台还包括存储层,所述存储层用于,存储业务视频、广告视频的相关信息。也可以将部分信息存储到数据库。
可选的,所述存储层包括:结构化存储模块和非结构化存储模块,其中非结构化存储模块用于储存素材库相关实体文件,结构化存储模块用于保存和管理对应的表结构信息。
具体存储的信息参考图2,包括:1、业务视频目录;2、广告素材目录(视频和/或图片);3、第三方图片;4、广告对象;5、广告素材目标对象(POI)6、业务视频POI。上述信息也可以存储在一数据库中,与视频分析平台独立。
上述视频分析平台中各模块的处理细节可参考精准投放广告方法中的相关描述,此处不再赘述。
本发明实施例还提供一种精准投放广告方法,参考图3,包括:
步骤301,视频分析平台通过业务视频/广告视频数据同步接口从广告平台获取广告视频同步信息,其中,所述广告视频同步信息中携带操作类型、广告视频编号以及广告视频所在地址等信息,还可携带广告视频名称信息、类型信息(指示当前为广告视频还是业务视频),对所述广告视频同步信息进行解析,包括:
获取操作类型,如果是新增操作,则在本地的广告视频目录信息中新增一条广告视频条目,并根据广告视频同步信息中相关字段提供的地址下载该广告视频;如果是删除操作,则在本地的广告视频目录信息中删除对应的广告视频条目,并将广告素材POI表和关键帧图片表中与该广告视频相关的记录删除;
其中,本地存储的广告视频目录信息中的每条广告视频条目对应一个广告视频,每条广告视频条目包括如下信息:该广告视频条目对应的广告视频的广告视频编号、广告视频名称,还可包括广告视频下载地址、该广告视频条目的创建时间等。还可根据需要存储其他信息。
业务视频/广告视频数据同步接口的一种实现方式如下:
同步方向:业务平台、广告平台——>视频分析平台;
同步格式:可根据需要设定,比如为文件方式;
文件类型:可根据需要设定,比如为dat类型;
数据文件说明:为业务视频、广告视频实体数据信息,增量数据可以定时生成(比如每天定时生成)。首次全量。只同步发布成功的内容。
同步方式:每隔预设时间(预设时间可配置)增量同步(首次全量),由业务平台、广告平台上传到指定服务器(可以为FTP服务器),支持人工触发立即同步。比如,预设时间可以为1天,本申请对此不作限定。
文件格式:字段间可采用预设分隔符分隔,或其他约定方式;其中,预设分隔符比如为“|#”。
步骤302,视频分析平台通过广告图片数据同步接口从广告平台获取广告图片同步信息,其中,所述广告图片同步信息中携带操作类型、广告图片编号以及广告图片下载地址信息,对所述广告图片同步信息进行解析,包括:
获取操作类型,如果是新增操作,则在本地的广告图片目录信息中新增一条广告图片条目,并根据广告图片同步信息中相关字段提供的地址下载该广告图片;如果是删除操作,则在本地的广告图片目录信息中删除对应的广告图片条目,并将广告素材POI表中与该广告图片相关的记录删除;
其中,本地的广告图片目录信息中存储的每条广告图片条目对应一个广告图片,每条广告图片条目包括如下信息:该广告图片条目对应的广告图片的广告图片编号、广告图片名称。还可包括其他信息,比如广告图片下载地址等。
其中,广告图片数据同步接口的一种实现方式如下:
同步方向:广告平台——>视频分析平台;
同步格式:可根据需要设定,比如为文件方式;
文件类型:可根据需要设定,比如为dat类型;
数据文件说明:为广告图片实体数据信息,增量数据每天定时生成。全量手工生成。只同步发布成功的内容。
同步方式:每隔预设时间(预设时间可配置)增量同步(首次全量),由广告平台上传到指定服务器(可以是FTP服务器),支持人工触发立即同步。视频分析平台去指定服务器下载该广告图片同步信息即可。
文件格式:字段间用预设分隔离分离,或其他约定方式;其中,预设分隔符比如为“|#”。
步骤303,视频分析平台对广告视频进行分析,包括:对广告视频进行解码,按帧输出,分割广告视频,抽取关键帧,进行目标检测,记录目标位置信息;提取关键帧的特征值,生成特征索引;
步骤304,视频分析平台将广告视频相关信息写入关键帧图片表和广告素材POI表中,广告素材POI表中该数据的默认状态为“未审核”;
具体的,包括:
视频分析平台将提取的关键帧的相关信息写入关键帧图片表,包括:为每个关键帧建立一个关键帧图片标识(imageid),并记录关键帧来源(此处为来源于广告视频);记录关键帧的保存路径、以及,关键帧的访问地址;还可包括关键帧所属的广告视频编号。
视频分析平台将检测到的目标的相关信息写入广告素材目标对象(POI)表包括:将该目标作为一个新的广告素材目标对象或新的广告素材POI,在广告素材POI表为该目标建立一个条目,记录如下信息:为该目标创建一个唯一标识,目标对象标识,该目标所关联的关键帧的关键帧图片标识,该目标的状态(此处为未审核),该目标所属的广告视频的广告视频编号、广告视频名称,该目标对象创建时间、修改时间;该目标在关联的关键帧图片中的位置信息。
步骤305,视频分析平台对广告图片进行分析,包括:进行目标检测,记录目标位置信息;提取广告图片的特征值,生成特征索引;
步骤306,视频分析平台将检测到的广告图片的目标的相关信息写入广告素材POI表中;
将目标的相关信息写入广告素材POI表具体包括:
对检测到的每个目标,在广告素材POI表中为该目标建立一个条目,记录如下信息:为该目标创建一个唯一标识,目标对象标识,该目标所在的广告图片的图片标识,该目标的状态(此处为默认值:“未审核”),该目标所属的广告图片的广告图片编号、广告图片名称,该目标创建时间、修改时间;该目标在所属的广告图片的位置信息。其中,广告图片编号和广告图片名称可以是一致的,也可以不一致。
视频分析平台将广告图片的相关信息写入关键帧图片表,包括:为每个广告图片建立一个关键帧图片标识(imageid),并记录关键帧来源(此处为来源于广告图片);记录广告图片的保存路径、以及,广告图片的访问地址。
步骤307,门户接收到用户的查询请求后,向数据库发起查询请求,查询广告素材POI表中未审核的广告素材POI,并接收数据库返回的未审核的广告素材POI;
步骤308,门户根据用户的操作,为未审核的广告素材POI配置广告对象信息,并在广告对象表新增一条广告对象数据;
广告对象标识(objectid)的一个作用是标识该广告素材针对什么作广告主题,比如,为针对某品牌汽车作广告的广告素材POI设置一个objectid,为针对某种食品作广告的广告素材POI设置另一个objectid,另一个作用是作为一个关联标记使用,将业务视频图片和广告图片进行比较,满足关联条件时,为业务视频图片关联的业务视频POI配置与广告图片关联的广告素材POI相同的objectid,从而达到二者关联的目的。在后续生成关联信息时,除了携带关联的业务视频的业务视频编号、广告素材的广告素材编号外还携带广告对象标识。一个业务视频可能关联多个广告素材,在后续进行业务视频播放的时候,可以通过objectid决定插播那些广告素材,比如,需要为某品牌汽车作广告时,只插播广告对象标识为该品牌汽车的objectid的广告素材,而不插播该业务视频关联的其他广告素材。在本发明的其他实施例中,也可以增加一个标识信息作为关联标记,而不使用objectid作为关联标记,将业务视频图片和广告图片进行比较,比较结果满足关联条件时,为业务视频图片相关的业务视频POI与广告图片相关的广告素材POI配置相同的关联标识信息,表示二者已关联,objectid只标识该广告素材针对什么作广告,不再用于标记业务视频和广告素材的关联关系。
具体的,在广告对象表中为该广告素材POI新建一条广告对象数据,该广告对象数据包括如下信息:创建一个唯一的广告对象标识(objectid)对应该广告素材POI,广告对象名称、设置广告对象类型,广告对象对应的图片存储路径、广告对象创建时间、广告对象修改时间;还可包括广告对象品牌、广告对象厂家等信息。
步骤309,门户修改广告素材POI表中该广告素材POI的状态为“已审核未关联”,将新创建的广告对象的对象标识写入该广告素材POI的信息中,比如,将广告素材POI表中该广告素材POI的objectid字段值刷新为新增的广告对象数据的objectid字段值并将修改后的广告素材POI的相关信息发送给数据库;
步骤310,视频分析平台通过业务视频/广告视频数据同步接口从业务平台获取业务视频同步信息,其中,业务视频同步信息中携带操作类型、业务视频编号以及业务视频所在地址等信息,还可携带业务视频名称等信息,对所述业务视频同步信息进行解析,包括:
获取操作类型,如果是新增操作,则在本地的业务视频目录信息中新增一条业务视频条目,并根据业务视频同步信息中的相关字段提供的地址下载该业务视频;如果是删除操作,则在本地的业务视频目录信息中删除对应的业务视频条目,并将业务视频POI表和关键帧图片表中与与该业务视频相关的记录删除;
其中,本地的业务视频目录信息中存储的每条业务视频条目对应一个业务视频,该业务视频条目中包括如下信息:该业务视频条目对应的业务视频的业务视频编号、业务视频名称,还可包括其他信息,比如业务视频下载地址、该业务视频条目的创建时间等。
步骤311,视频分析平台对业务视频进行分析,包括:对业务视频进行解码,按帧输出,分割业务视频,抽取关键帧,进行目标检测,记录目标位置信息;提取关键帧图片特征值,生成特征索引;具体实现过程参见装置实施例中对视频分析平台的描述,此处不再赘述。
步骤312,视频分析平台将相关信息写入关键帧图片表和业务视频POI表中,业务视频POI表中该数据的默认状态为“未关联”;
具体的,包括:
视频分析平台将提取的业务视频的关键帧的相关信息写入关键帧图片表,包括:为每个关键帧建立一个关键帧图片标识(imageid),并记录关键帧来源,此处为来源于业务视频;记录关键帧的保存路径、以及,关键帧的访问地址;还可包括关键帧所属的业务视频编号。还可根据需要记录其他信息。
视频分析平台将检测到的目标的相关信息写入业务视频目标对象(POI)表包括:将该目标作为一个新的业务视频POI,在业务视频POI表为该目标建立一个条目,记录如下信息:为该目标创建一个唯一标识,目标对象标识,该目标所关联的关键帧的关键帧图片标识,该目标的状态(此处为未审核),该目标所属的业务视频的业务视频编号、业务视频名称,该目标对象创建时间、修改时间;该目标在关联的关键帧图片中的位置信息。
其中,关键帧图片表的一种实现参见步骤304;
步骤313,视频分析平台查询数据库的广告素材POI表,接收数据库返回的“已审核未关联”的广告素材POI;
步骤314,视频分析平台对接收到的每个已审核未关联的广告素材POI,执行如下操作:
对每个广告素材POI,查询本地的特征索引,找出与此广告素材POI所关联的广告图片(可能是广告视频中抽取的关键帧,也可能是广告图片)相似度大于第一相似度阈值的所有业务视频关键帧,进行自动关联,将与查找到的业务视频关键帧对应的业务视频POI的广告对象字段设置为该广告素材POI的广告对象字段值,并将该业务视频POI状态修改为“已关联”,以及,将广告素材POI表中该广告素材POI的状态修改为“已关联”;
步骤315,视频分析平台与数据库交互,修改业务视频POI表相关的业务视频POI的广告对象字段值以及状态,修改广告素材POI表相关的广告素材POI的状态;
步骤316,门户根据用户的操作,向数据库发起查询操作,查询“已审核未关联”的广告素材POI,接收数据库返回的已审核未关联的广告素材POI信息;
对接收到的每条广告素材POI,执行步骤317至步骤321;
步骤317,门户根据用户的操作,选择一条广告素材POI,向视频分析平台发送查询关联图像的请求消息;
步骤318,视频分析平台查询本地的特征索引,查找与此广告素材POI关联的广告图片的相似度位于第二相似度阈值和第一相似度阈值之间的所有业务视频关键帧图片;其中,第二相似度阈值小于第一相似度阈值;
步骤319,视频分析平台将查找到的业务视频的关键帧图片返回给门户;
步骤320,门户向用户展示返回的业务视频关键帧图片,根据用户的操作,将业务视频关键帧图片与广告图片进行关联;
步骤321,门户根据用户的操作,刷新数据库中业务视频POI表中对应的业务视频POI的objectid字段为关联的广告素材POI的object字段值,并将已关联的业务视频POI的状态更新为“已关联”,已关联的广告视频POI的状态更新为“已关联”;
步骤322,视频分析平台生成增量的关联信息同步文件:
视频分析平台初始生成的关联信息同步文件为全量,即初始时关联信息同步文件中包括所有已关联的业务视频和广告素材的关联信息,后续则在该基础上,生成关联关系发生变化的业务视频和广告素材的关联信息,比如,解除关联关系,或者,修改关联关系等,或者,生成新关联的业务视频和广告素材的关联信息。
视频分析平台根据如下方式生成关联信息同步文件:
查找业务视频POI表和广告素材POI表中具有相同objectid的业务视频POI和广告素材POI,将具有相同objectid的业务视频POI和广告素材POI分别称为第一业务视频POI和第一广告素材POI,获取第一业务视频POI所属的第一业务视频的标识信息、获取第一广告素材POI所属的第一广告素材的标识信息,以及,获取所述第一业务视频POI在第一业务视频中的出现时间作为第一广告素材在第一业务视频中的插播位置,获取第一广告素材POI的objectid,生成所述关联信息同步文件。其中,插播位置与可以是第一业务视频POI在第一业务视频中的消失时间,或者为第一业务视频POI在第一业务视频中的出现时间何消失时间之间的一个位置,或者,为其他位置,比如第一业务视频POI在第一业务视频中的消失时间之后的一个位置,或者,第一业务视频POI在第一业务视频中的出现时间之前的一个位置,等等。
在本发明的另一实施例中,也可以不检测目标位置,不提取广告素材POI和业务视频POI,直接使用广告视频关键帧、广告图片、业务视频关键帧,对广告视频关键帧和/或广告图片配置广告对象标识,查找与广告视频关键帧和/或广告图片相似度大于第一相似度阈值的业务视频关键帧,为查找到的业务视频关键帧配置与广告视频关键帧和/或广告图片相同的广告对象标识,即具有相同的广告对象标识的业务视频关键帧所属的业务视频与广告视频关键帧和/或广告图片所属的广告素材关联。广告素材在业务视频中的插播位置根据业务视频关键帧的位置决定。
在本发明的另一实施例中,也可以检测目标位置,但不提取广告素材POI和业务视频POI,直接使用广告视频关键帧、广告图片、业务视频关键帧,对广告视频关键帧和/或广告图片配置广告对象标识,查找与广告视频关键帧和/或广告图片相似度大于第一相似度阈值的业务视频关键帧,为查找到的业务视频关键帧配置与广告视频关键帧和/或广告图片相同的广告对象标识,即具有相同的广告对象标识的业务视频关键帧所属的业务视频与广告视频关键帧和/或广告图片所属的广告素材关联。广告素材在业务视频中的插播位置根据业务视频关键帧的位置决定,也可以根据与业务视频关键帧关联的目标出现时间和目标消失时间决定。
关联信息同步文件中包括业务视频标识信息(比如业务视频编号)、与业务视频关联的广告素材标识信息(比如广告视频编号、广告图片编号或广告图片名称),以及,广告素材在业务视频中的插播位置。
关联信息同步文件可以定时生成,也可以在被触发的时候生成。
步骤323,视频分析平台通过关联信息同步接口将关联信息同步文件发送给广告平台;
步骤324,视频分析平台通过关联信息同步接口将关联信息同步文件发送给业务平台。
下面给出一种关联信息同步接口的实现方式,需要说明的是,该实现方式仅为示例,可根据需要使用其他实现方式。在本发明的一个实施例中,关联信息同步接口的一种实现方式如下:
同步方向:视频分析平台——>业务平台、广告平台;
同步格式:可根据需要设定,比如为文件方式;
文件类型:可根据需要设定,比如为txt类型;
数据文件说明:为业务视频和广告素材的关联信息,增量数据可以每天定时生成。首次为全量。
同步频率:每隔预设时间(预设时间可配置)增量同步(首次全量),由业务平台、广告平台到指定服务器(指定服务器可以是FTP服务器)下载,支持人工触发立即下载。比如,预设时间可以为1天,本申请对此不作限定。
文件格式:字段间可采用预设分隔符分离,或其他约定方式;其中,预设分隔符比如为“|#”;
其中,关联信息同步文件可包括如下信息:操作类型(新增关联信息、修改关联信息或者删除关联信息)、业务视频编号、关联的广告素材编号、广告素材在业务视频中的插播位置、广告对象标识,还可包括广告对象类型和广告对象名称。
下面通过具体实施例进一步说明本发明。
实施例一单机部署精准投放广告系统
实施例一提供了单机部署精准投放广告系统的实现方案。该方案可以节省硬件成本。如图4所示,单机部署的精准投放广告系统包括视频分析平台、与视频分析平台相连的数据库、数据同步接口、关联信息同步接口,以及与数据库相连的门户。
图5为基于图4所示的单机部署精准投放广告系统的方法实现流程图。如图5所示,包括:
步骤501,视频分析平台通过数据同步接口同步广告素材同步信息,进行解析;
具体解析方法参见步骤301-302;
步骤502,视频分析平台对广告素材进行分析,对视频进行解码,按帧输出,抽取视频关键帧,进行目标检测,记录目标位置信息,提取特征值,生成特征索引;
参考步骤303,步骤305中的分析过程;
步骤503,视频分析平台将相关信息写入视频关键帧表和广告素材POI表中,广告素材POI表中对应数据的默认状态为“未审核”;
参考步骤304,步骤306;
步骤504,门户接收到用户的查询请求后,向数据库发起查询请求,查询广告素材POI表中未审核的广告素材POI,并接收数据库返回的未审核的广告素材POI;
步骤505,门户根据用户的操作,为未审核的广告素材POI配置广告对象信息,并在广告对象表新增一条广告对象数据;
步骤506,门户修改广告素材POI表中该广告素材POI的状态为“已审核未关联”,将新创建的广告对象的对象标识写入该广告素材POI的信息中,比如,将广告素材POI表中该广告素材POI的objectid字段值刷新为新增的广告对象数据的objectid字段值并将修改后的广告素材POI的相关信息发送给数据库;
步骤507,视频分析平台通过数据同步接口获取业务视频同步信息,进行解析。解析过程参考步骤310;
步骤508,视频分析平台对业务视频进行分析,包括:对视频进行解码,按帧输出,抽取视频关键帧,进行目标检测,记录目标位置信息,提取关键帧图片特征值,生成索引;
步骤509,视频分析平台将相关信息写入视频关键帧表和业务视频POI表中,业务视频POI表中该数据的默认状态为“未关联”;具体参考步骤312;
步骤510,视频分析平台查询数据库的广告素材POI表,接收数据库返回的“已审核未关联”的广告素材POI;
步骤511,视频分析平台对接收到的每个已审核未关联的广告素材POI,执行如下操作:
对每个广告素材POI,查询本地的特征索引,找出与此广告素材POI所关联的广告图片(可能是广告视频中抽取的关键帧,也可能是广告图片)相似度大于第一相似度阈值的所有业务视频关键帧,进行自动关联,将与查找到的业务视频关键帧对应的业务视频POI的广告对象字段设置为该广告素材POI的广告对象字段值,并将该业务视频POI状态修改为“已关联”,以及,将广告素材POI表中该广告素材POI的状态修改为“已关联”;
步骤512,视频分析平台与数据库交互,修改业务视频POI表相关的业务视频POI的广告对象字段值以及状态,修改广告素材POI表相关的广告素材POI的状态;
步骤513,门户根据用户的操作,向数据库发起查询操作,查询“已审核未关联”的广告素材POI,接收数据库返回的已审核未关联的广告素材POI信息;
对接收到的每条广告素材POI,执行步骤914至步骤918;
步骤514,门户根据用户的操作,选择一条广告素材POI,向视频分析平台发送查询关联图像的请求消息;
步骤515,视频分析平台查询本地的特征索引,查找与此广告素材POI关联的广告图片的相似度位于第二相似度阈值和第一相似度阈值之间的所有业务视频关键帧图片;其中,第二相似度阈值小于第一相似度阈值;
步骤516,视频分析平台将查找到的业务视频的关键帧图片返回给门户;
步骤517,门户向用户展示返回的业务视频关键帧图片,根据用户的操作,将业务视频关键帧图片与广告图片进行关联;
步骤518,门户根据用户的操作,刷新数据库中业务视频POI表中对应的业务视频POI的objectid字段为关联的广告素材POI的object字段值,并将已关联的业务视频POI的状态更新为“已关联”,已关联的广告视频POI的状态更新为“已关联”;
步骤519,视频分析平台生成增量的关联信息同步文件,首次为全量;
步骤520,视频分析平台将关联信息同步文件同步到关联信息同步接口。
实施例二分布式部署精准投放广告系统
实施例二为分布式部署的精准投放广告系统的实现方案,当存在大量大视频的分析时,为了提高视频分析处理的效率,可使用分布式的部署方式,这种部署方式处理视频效率高,可用于实时的视频处理分析。其组网结构参考图6。如图6所示,分布式部署的精准投放广告系统包括由多个视频分析服务器组成的视频分析平台、数据同步接口、关联信息同步接口、数据库以及门户。
图7为基于图6所示架构的精准投放广告方法实现流程图,如图7所示,实施例二提供的精准投放广告方法包括:
步骤701,视频分析平台通过数据同步接口同步广告素材同步信息,进行解析;
具体解析方法参见步骤301-302;
步骤702,视频分析平台将广告视频切割成多个子广告视频,每个视频分析服务器分析处理一个子广告视频,具体包括:对子广告视频进行解码,按帧输出,抽取视频关键帧,进行目标检测,记录目标位置信息,提取特征值,生成特征索引;参考步骤303,步骤305中的处理过程;
步骤703,视频分析平台将相关信息写入视频关键帧表和广告素材POI表中,广告素材POI表中对应数据的默认状态为“未审核”;
参考步骤304,步骤306;
步骤704,门户接收到用户的查询请求后,向数据库发起查询请求,查询广告素材POI表中未审核的广告素材POI,并接收数据库返回的未审核的广告素材POI;
步骤705,门户根据用户的操作,为未审核的广告素材POI配置广告对象信息,并在广告对象表新增一条广告对象数据;
步骤706,门户修改广告素材POI表中该广告素材POI的状态为“已审核未关联”,将新创建的广告对象的对象标识写入该广告素材POI的信息中,比如,将广告素材POI表中该广告素材POI的objectid字段值刷新为新增的广告对象数据的objectid字段值并将修改后的广告素材POI的相关信息发送给数据库;
步骤707,视频分析平台通过数据同步接口获取业务视频同步信息,进行解析。解析过程参考步骤310;
步骤708,视频分析平台对业务视频进行分析,包括:将业务视频切割成多个子业务视频,每台视频分析服务器对一个子业务视频进行如下处理:解码,按帧输出,抽取视频关键帧,进行目标检测,记录目标位置信息,提取关键帧图片特征值,生成索引;
步骤709,视频分析平台将相关信息写入视频关键帧表和业务视频POI表中,业务视频POI表中该数据的默认状态为“未关联”;具体参考步骤312;
步骤710,视频分析平台查询数据库的广告素材POI表,接收数据库返回的“已审核未关联”的广告素材POI;
步骤711,视频分析平台对接收到的每个已审核未关联的广告素材POI,执行如下操作:
对每个广告素材POI,查询本地的特征索引,找出与此广告素材POI所关联的广告图片(可能是广告视频中抽取的关键帧,也可能是广告图片)相似度大于第一相似度阈值的所有业务视频关键帧,进行自动关联,将与查找到的业务视频关键帧对应的业务视频POI的广告对象字段设置为该广告素材POI的广告对象字段值,并将该业务视频POI状态修改为“已关联”,以及,将广告素材POI表中该广告素材POI的状态修改为“已关联”;
步骤712,视频分析平台与数据库交互,修改业务视频POI表相关的业务视频POI的广告对象字段值以及状态,修改广告素材POI表相关的广告素材POI的状态;
步骤713,门户根据用户的操作,向数据库发起查询操作,查询“已审核未关联”的广告素材POI,接收数据库返回的已审核未关联的广告素材POI信息;
对接收到的每条广告素材POI,执行步骤1114至步骤1118;
步骤714,门户根据用户的操作,选择一条广告素材POI,向视频分析平台发送查询关联图像的请求消息;
步骤715,视频分析平台查询本地的特征索引,查找与此广告素材POI关联的广告图片的相似度位于第二相似度阈值和第一相似度阈值之间的所有业务视频关键帧图片;其中,第二相似度阈值小于第一相似度阈值;
步骤716,视频分析平台将查找到的业务视频的关键帧图片返回给门户;
步骤717,门户向用户展示返回的业务视频关键帧图片,根据用户的操作,将业务视频关键帧图片与广告图片进行关联;
步骤718,门户根据用户的操作,刷新数据库中业务视频POI表中对应的业务视频POI的objectid字段为关联的广告素材POI的object字段值,并将已关联的业务视频POI的状态更新为“已关联”,已关联的广告视频POI的状态更新为“已关联”;
步骤719,视频分析平台生成增量的关联信息同步文件,首次为全量;
步骤720,视频分析平台将关联信息同步文件同步到关联信息同步接口。
实施例三IPTV精准投放广告系统
实施例三是精准投放广告系统与IPTV结合应用的实施例,其系统架构图参考图8。如图8所示,本发明实施例提供的IPTV精准投放广告系统包括精准投放广告系统、多个机顶盒、IPTV业务平台和广告平台。
图9为基于图8所示架构的精准投放广告方法流程图,如图9所示,实施例一所示的精准投放广告方法包括:
步骤901,精准投放广告系统从广告平台获取广告视频;
获取方法参考步骤301;
步骤902,所述精准投放广告系统从所述广告平台获取广告图片;
获取方法参考步骤302;
其中,步骤901,902的执行顺序不限,可以先执行步骤901,然后执行步骤902,也可先执行步骤902,再执行步骤901,或者二者同时执行;
步骤903,所述精准投放广告系统对所述广告视频进行分析;
分析过程参考步骤303-304;
步骤904,所述精准投放广告系统对所述广告图片进行分析;
分析过程参考步骤305-306;
其中,步骤903,904的执行顺序不限,可以先执行步骤903,然后执行步骤904,也可先执行步骤904,再执行步骤903,或者二者同时执行;
步骤905,所述精准投放广告系统从所述IPTV业务平台获取业务视频;
获取方法参考步骤310;
步骤906,所述精准投放广告系统对所述业务视频进行分析,对业务视频和广告视频、广告图片进行关联;
分析方法参考步骤311-312,关联过程参考步骤313-321;
步骤907,所述精准投放广告系统定时生成增量的关联信息同步文件;
步骤908,所述精准投放广告系统通过关联信息同步接口将所述增量的关联信息同步文件同步给所述IPTV业务平台;
步骤909,所述精准投放广告系统通过关联信息同步接口将所述增量的关联信息同步文件同步给所述广告平台;
其中,步骤908,步骤909之间无前后顺序关系;也可以先执行步骤909,再执行步骤908,或者,二者同时执行;本申请对此不作限定。
步骤910,机顶盒接收到用户通过电视终端发起的业务视频点播请求;
步骤911,所述机顶盒将业务视频点播请求发送到所述IPTV业务平台;
步骤912,所述IPTV业务平台接收到所述业务视频点播请求后,根据关联信息,从所述广告平台获取与被点播的业务视频关联的广告素材;所述广告素材包括广告视频和/或广告图片;
步骤913,所述IPTV业务平台将所述关联的广告素材推送到机顶盒;
步骤914,所述机顶盒在在播放所述用户点播的业务视频时,插播关联的广告素材。
实施例二视频播放软件精准投放广告系统
实施例二是精准投放广告系统与视频播放软件结合应用的实施例,实施例二的系统架构图参考图10。如图10所示,本实施例提供的视频播放软件精准投放广告系统包括多个视频播放软件客户端、点播视频业务平台、精准投放广告系统和广告平台。
图11为基于图10所示系统架构实现的精准投放广告方法。如图11所示,实施例二提供的精准投放广告方法包括:
步骤1101,精准投放广告系统从广告平台获取广告视频;
获取方法参考步骤301;
步骤1102,所述精准投放广告系统从所述广告平台获取广告图片;
获取方法参考步骤302;
步骤1103,所述精准投放广告系统对所述广告视频进行分析;
分析过程参考步骤303-304;
步骤1104,所述精准投放广告系统对所述广告图片进行分析;
分析过程参考步骤305-306;
步骤1105,所述精准投放广告系统从所述点播视频业务平台获取业务视频;
步骤1106,所述精准投放广告系统对所述业务视频进行分析,对业务视频和广告视频、广告图片进行关联;
分析方法参考步骤311-312,关联过程参考步骤313-321;
步骤1107,所述精准投放广告系统定时生成增量的关联信息同步文件;
步骤1108,所述精准投放广告系统通过关联信息同步接口将所述增量的关联信息同步文件同步给所述点播视频业务平台;
步骤1109,所述精准投放广告系统通过关联信息同步接口将所述增量的关联信息同步文件同步给所述广告平台;
步骤1110,所述点播视频业务平台接收到视频播放软件客户端发送的业务视频点播请求;
步骤1111,所述点播视频业务平台接收到所述业务视频点播请求后,根据关联信息,从所述广告平台获取与被点播的业务视频关联的广告素材;所述广告素材包括广告视频和/或广告图片;
步骤1112,所述点播视频业务平台将所述广告素材推送到所述点播视频软件客户端;
步骤1113,所述点播视频软件客户端在播放点播的业务视频时,插播所述广告素材;所述广告素材包括广告视频和/或广告图片。
本发明实施例对业务视频以及广告素材进行处理分析,通过对业务图片和广告图片比较,自动关联业务视频和广告素材,减少了人工干预,在播放业务视频时播放关联的广告素材,达到投放广告与用户观看内容紧密相关的效果,实现精准投放广告。比如,业务视频中出现了刘德华时,插播刘德华代言的广告;业务视频中出现奔驰汽车时,插播奔驰汽车的广告。本发明实施例能自动的完成视频分析处理、关联工作,减少人工干预。
本发明实施例还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令被执行时实现上述匹配方法。
本发明实施例还提供一种视频分析平台,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;获取第二视频资源,根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
本发明实施例还提供一种视频分析平台,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取广告素材,从所述广告素材中提取图片,获得广告图片集合;获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
本发明实施例还提供一种匹配系统,包括视频分析平台、数据库、门户、数据同步接口模块和关联信息同步接口模块,所述视频分析平台包括存储器和处理器,其中,
所述存储器,用于存放程序;
所述处理器,用于执行所述程序,以用于,通过所述数据同步接口模块从第一平台获取待匹配资源同步信息,根据所述待匹配资源同步信息获取待匹配资源,所述待匹配资源包括待匹配视频资源和/或待匹配图片,从所述待匹配资源中提取图片,获得第一图片集合;通过所述数据同步接口模块从第二平台获取第二视频资源同步信息,根据所述第二视频同步信息获取第二视频资源,从所述第二视频资源中提取图片,获得第二图片集合;将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联,生成关联信息;以及,通过所述关联信息同步接口模块将所述关联信息同步到所述第一平台和所述第二平台;
所述数据库,用于存储待匹配资源和第二视频资源的相关信息;
所述门户,用于实现用户与所述数据库、视频分析平台的交互;
所述数据同步接口模块,将待匹配资源同步信息从所述第一平台同步到所述视频分析平台;用于将第二视频资源同步信息从所述第二平台同步到所述视频分析平台;
所述关联信息同步接口模块,用于将所述关联信息从所述视频分析平台同步到所述第一平台和所述第二平台。
其中,第一平台可以是广告平台,第二平台可以是业务平台。
本发明实施例还提供一种精准投放广告系统,包括视频分析平台、数据库、门户、数据同步接口模块和关联信息同步接口模块,其中,
所述视频分析平台用于:通过所述数据同步接口模块从广告平台同步广告素材同步信息,根据所述广告素材同步信息获取广告素材,从所述广告素材中提取图片,获得广告图片集合;通过所述数据同步接口模块从业务平台同步业务视频同步信息,根据所述业务视频同步信息获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息,将所述关联信息通过所述关联信息同步接口模块同步到所述广告平台和所述业务平台;
所述数据库,用于存储所述广告素材和业务视频的相关信息;
所述门户,用于实现用户与所述数据库、视频分析平台的交互;
所述数据同步接口模块,将广告素材同步信息从所述广告平台同步到所述视频分析平台;用于将业务视频同步信息从所述业务平台同步到所述视频分析平台;
所述关联信息同步接口模块,用于将所述关联信息从所述视频分析平台同步到所述广告平台和所述业务平台。
在本发明的一实施例中,所述视频分析平台还用于,对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述第一图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联,将所述广告素材目标对象存入数据库中的广告素材目标对象表,将其状态设置为未审核;以及,对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联,将所述业务视频目标对象存入数据库中的业务视频目标对象表,将其状态设置为未审核;
所述门户用于实现用户与所述数据库、视频分析平台的交互包括:根据用户操作向所述数据库查询未审核的广告素材目标对象,根据用户操作为未审核的所述广告素材目标对象配置广告对象标识并修改广告素材目标对象表中其状态为已审核未关联;
所述视频分析平台将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
所述视频分析平台向所述数据库查询已审核未关联的广告素材目标对象,接收所述数据库返回的已审核未关联的广告素材目标对象,获取该已审核未关联的广告素材目标对象所关联的广告图片,将其与所述业务图片集合中的业务图片进行比较,获取相似度;
所述视频分析平台还用于,当所述业务图片集合中的第二业务图片与所述已审核未关联的广告素材目标对象所关联的广告图片的相似度满足所述第一预设条件时,获取所述已审核未关联的广告素材目标对象被配置的广告对象标识,为所述第二业务图片所关联的第二业务视频目标对象配置与所述已审核未关联的广告素材目标对象被相同的广告对象标识,修改数据库中所述已审核未关联的广告素材目标对象的状态为已关联,修改数据库中所述第二业务视频目标对象的状态为已关联。
在本发明的一实施例中,所述门户还用于,向所述数据库查询已审核未关联的广告素材目标对象,获取所述已审核未关联的广告素材目标对象后,向所述视频分析平台发起查询请求,接收所述视频分析平台返回的业务图片子集合,以及,根据用户操作从所述业务图片子集合中选择第三业务图片,将所选的第三业务图片关联的第三业务视频目标对象配置与所述已审核未关联的广告素材目标对象相同的广告对象标识,修改数据库中所述第三业务视频目标对象的状态为已关联,修改所述已审核未关联的广告素材目标对象的状态为已关联;
所述视频分析平台还用于,接收到所述门户发送的查询请求后,确定与该查询请求中携带的广告素材目标对象关联的第三广告图片,在所述业务图片集合中查找与所述第三广告图片的相似度满足第四预设条件的所述业务图片子集合,将所述业务图片子集合发送给所述门户。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (72)

1.一种匹配方法,包括:
获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;
获取第二视频资源,根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;
将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;
当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联;
其中,从所述待匹配资源中提取图片或者从所述第二视频资源中提取图片包括:
将所述待匹配资源中的待匹配视频或者所述第二视频资源作为输入视频,对所述输入视频进行解码后,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
2.如权利要求1所述的方法,其特征在于,所述从所述待匹配资源中提取图片包括:当所述待匹配资源中包括待匹配图片时,提取所述待匹配图片加入所述第一图片集合。
3.如权利要求1所述的方法,其特征在于,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中一种或多种判断场景是否切换;
在所述输入视频中发生场景切换的位置进行分割。
4.如权利要求3所述的方法,其特征在于,所述根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
5.如权利要求1所述的方法,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
6.如权利要求1所述的方法,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
7.如权利要求1所述的方法,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
8.如权利要求1所述的方法,其特征在于,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
9.如权利要求1所述的方法,其特征在于,所述将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
10.一种视频分析平台,包括数据获取模块、视频图片分析处理层,其中:
所述数据获取模块用于,获取待匹配资源,以及,获取第二视频资源;
所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述视频处理模块用于,从所述待匹配资源中提取图片,获得第一图片集合;根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;
所述图片分析模块用于,将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联;
其中,所述视频分析平台还包括视频解码层,用于将所述待匹配资源中的待匹配视频资源解码后作为输入视频传输至所述视频图片分析处理层,以及,对所述第二视频资源解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述待匹配资源中或所述第二视频资源中提取图片包括:
将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
11.如权利要求10所述的视频分析平台,其特征在于,所述视频处理模块从所述待匹配资源中提取图片包括:当所述待匹配资源中包括待匹配图片时,提取所述待匹配图片加入所述第一图片集合。
12.如权利要求10所述的视频分析平台,其特征在于,所述视频处理模块包括视频分割单元,用于根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割;以及,将各分割视频进行比较获取所述分割视频集合。
13.如权利要求12所述的视频分析平台,其特征在于,所述视频分割单元根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
14.如权利要求10所述的视频分析平台,其特征在于,所述视频处理模块包括多模态提取关键帧单元,用于根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
15.如权利要求14所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
16.如权利要求14所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
17.如权利要求14所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
18.如权利要求10所述的视频分析平台,其特征在于,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
19.如权利要求10所述的视频分析平台,其特征在于,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据所述特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度,当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联。
20.一种精准投放广告方法,包括:
获取广告素材,从所述广告素材中提取图片,获得广告图片集合;
获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息;
其中,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频作为输入视频,对所述输入视频进行解码后,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
21.如权利要求20所述的方法,其特征在于,从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
22.如权利要求20所述的方法,其特征在于,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换;在所述输入视频中发生场景切换的位置进行分割。
23.如权利要求22所述的方法,其特征在于,所述根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
24.如权利要求20所述的方法,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
25.如权利要求20所述的方法,其特征在于,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
26.如权利要求20所述的方法,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
27.如权利要求20所述的方法,其特征在于,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
28.如权利要求20所述的方法,其特征在于,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
29.如权利要求20所述的方法,其特征在于,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
30.如权利要求20所述的方法,其特征在于,所述方法还包括:
对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
31.如权利要求30所述的方法,其特征在于,所述方法还包括:
对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述广告图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
32.如权利要求31所述的方法,其特征在于,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
33.如权利要求31所述的方法,其特征在于,所述方法还包括:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的业务第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
34.一种视频分析平台,包括数据获取模块、视频图片分析处理层,所述视频图片分析处理层包括视频处理模块和图片分析模块,其中:
所述数据获取模块用于,获取广告素材,以及,获取业务视频;
所述视频处理模块用于,从所述广告素材中提取图片,获得广告图片集合;以及,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;
所述图片分析模块用于,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息;
其中,所述视频分析平台还包括视频解码层,用于将所述广告素材中的广告视频进行解码作为输入视频传输至所述视频图片分析处理层,以及,对所述业务视频进行解码后作为输入视频传输至所述视频图片分析处理层;
所述视频处理模块从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述输入视频根据场景进行分割,获取分割视频,将各场景的分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
35.如权利要求34所述的视频分析平台,其特征在于,所述视频处理模块从所述广告素材中提取图片包括:当所述广告素材中包括广告图片时,提取所述广告图片加入所述广告图片集合。
36.如权利要求34所述的视频分析平台,其特征在于,所述视频处理模块包括视频分割单元,用于根据所述输入视频中的背景、声音中一种或多种判断场景是否切换,在所述输入视频中发生场景切换的位置进行分割。
37.如权利要求36所述的视频分析平台,其特征在于,所述视频分割单元根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
38.如权利要求34所述的视频分析平台,其特征在于,所述视频处理模块包括多模态提取关键帧单元,用于根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片。
39.如权利要求38所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
40.如权利要求38所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
41.如权利要求38所述的视频分析平台,其特征在于,所述多模态提取关键帧单元根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧作为提取的图片;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
42.如权利要求34所述的视频分析平台,其特征在于,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
43.如权利要求34所述的视频分析平台,其特征在于,所述图片分析模块包括深度学习特征模型单元、关键帧特征提取单元和特征匹配关联单元,其中:
所述深度学习特征模块单元用于,通过深度学习算法对已标注样本进行学习,获得特征模型;
所述关键帧特征提取单元用于,根据特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值;
所述特征匹配关联单元用于,将所述第一特征值和所述第二特征值进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息。
44.如权利要求34所述的视频分析平台,其特征在于,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
45.如权利要求34所述的视频分析平台,其特征在于,所述视频处理模块还包括:背景建模单元和目标检测单元,其中:
所述背景建模单元用于,对所述业务视频进行背景建模;
所述目标检测单元用于,对所述业务视频进行目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
46.如权利要求45所述的视频分析平台,其特征在于,
所述背景建模单元还用于,对所述广告素材中的广告视频进行背景建模;
所述目标检测单元还用于,对所述广告素材中的广告视频进行目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述广告图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
所述图片分析模块还用于,当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
47.如权利要求46所述的视频分析平台,其特征在于,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
48.如权利要求46所述的视频分析平台,其特征在于,所述图片分析模块还用于:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
49.一种视频分析平台,其特征在于,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取待匹配资源,从所述待匹配资源中提取图片,获得第一图片集合;获取第二视频资源,根据所述第二视频资源的图像、声音和字幕其中一种或多种从所述第二视频资源中提取图片,获得第二图片集合;将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度;当所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件时,将所述第一图片所属的待匹配资源和所述第二图片所属的第二视频资源进行关联;
其中,所述从所述待匹配资源中提取图片或者从所述第二视频资源中提取图片包括:
将所述待匹配资源中的待匹配视频或者所述第二视频资源作为输入视频,对所述输入视频进行解码后,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
50.如权利要求49所述的视频分析平台,其特征在于,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中一种或多种判断场景是否切换;
在所述输入视频中发生场景切换的位置进行分割。
51.如权利要求50所述的视频分析平台,其特征在于,所述根据所述输入视频中的背景、声音中一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
52.如权利要求49所述的视频分析平台,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
53.如权利要求49所述的视频分析平台,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧。
54.如权利要求49所述的视频分析平台,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
55.如权利要求49所述的视频分析平台,其特征在于,所述第一图片集合中的第一图片和所述第二图片集合中的第二图片的相似度满足第一预设条件是指:
所述第一图片和所述第二图片的相似度大于第一相似度阈值。
56.如权利要求49所述的视频分析平台,其特征在于,所述将所述第一图片集合中的图片和所述第二图片集合的图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述第一图片集合中图片的第一特征值,根据所述特征模型提取所述第二图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
57.一种视频分析平台,包括:存储器和处理器,其中:
所述存储器,用于存放程序;
所述处理器,执行所述程序,以用于:获取广告素材,从所述广告素材中提取图片,获得广告图片集合;获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息;
其中,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频作为输入视频,对所述输入视频进行解码后,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
58.如权利要求57所述的视频分析平台,其特征在于,所述将解码后的输入视频根据场景进行分割包括:
根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换;在所述输入视频中发生场景切换的位置进行分割。
59.如权利要求58所述的视频分析平台,其特征在于,所述根据所述输入视频中的背景、声音中的一种或多种判断场景是否切换包括:将所述输入视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,作为发生场景切换的位置,且满足:根据所述能量曲线获取的相邻两个发生场景切换的位置其距离大于第一距离阈值。
60.如权利要求57所述的视频分析平台,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
提取所述待提取视频中的一视频帧作为关键帧,称为当前关键帧,通过如下方式提取下一关键帧:依次将所述待提取视频中当前关键帧之后的视频帧与所述当前关键帧进行比较获取第二相似度,如果存在第二视频帧与所述当前关键帧之间的第二相似度满足第三预设条件且与该当前关键帧的距离最近,提取该第二视频帧,将该第二视频帧作为当前关键帧,按照相同方式提取下一关键帧;如果不存在与所述当前关键帧之间的第二相似度满足第三预设条件的视频帧,则从所述待提取视频提取图片的过程结束,将提取的关键帧作为提取的图片;
其中,初始时,将所述待提取视频的起始帧作为当前关键帧。
61.如权利要求57所述的视频分析平台,其特征在于,根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
将所述待提取视频中的音频信号从时域转换到频域,获取所述音频信号的能量曲线,获取所述能量曲线的极大值和极小值所在位置,提取所述极大值和极小值位置对应的视频帧作为提取的图片。
62.如权利要求57所述的视频分析平台,其特征在于,所述根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取视频帧作为提取的图片包括:
在所述待提取视频的字幕进行搜索,如果搜索到预设的关键词,则提取包含该关键词的字幕所对应的视频帧;其中,所述待提取视频的字幕从所述待提取视频自带的字幕文件中获取或者对所述待提取视频的音频进行语音识别获取。
63.如权利要求57所述的视频分析平台,其特征在于,所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件是指:
所述第一广告图片和所述第一业务图片的相似度大于第一相似度阈值。
64.如权利要求57所述的视频分析平台,其特征在于,将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
根据通过深度学习算法获得的特征模型提取所述广告图片集合中图片的第一特征值,根据所述特征模型提取所述业务图片集合中图片的第二特征值,将所述第一特征值和所述第二特征值进行比较,获取相似度。
65.如权利要求57所述的视频分析平台,其特征在于,所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片在所述第一业务视频中的位置决定。
66.如权利要求57所述的视频分析平台,其特征在于,所述处理器执行所述程序,还用于:
对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联;
所述关联信息中还包括,所述第一广告素材在所述第一业务视频播放时进行插播的插播位置信息,所述插播位置信息根据所述第一业务图片关联的第一业务视频目标对象在所述第一业务视频中的出现时间和消失时间决定。
67.如权利要求66所述的视频分析平台,其特征在于,所述处理器执行所述程序,还用于:
对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述广告图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联;
当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足所述第一预设条件时,获取所述第一广告图片所关联的第一广告素材目标对象被配置的广告对象标识,为所述第一业务图片所关联的第一业务视频目标对象配置与所述第一广告素材目标对象相同的广告对象标识,从而指示所述第一广告图片所属的第一广告素材与所述第一业务图片所属的第一业务视频相关联,其中,所述广告对象标识指示所述第一广告素材目标对象所针对的广告主题。
68.如权利要求67所述的视频分析平台,其特征在于,所述关联信息中还包括所述第一广告素材目标对象被配置的广告对象标识。
69.如权利要求67所述的视频分析平台,其特征在于,所述处理器执行所述程序,还用于:
接收到门户发送的查询请求后,确定与该查询请求中携带的第二广告素材目标对象关联的第二广告图片,在所述业务图片集合中查找与所述第二广告图片的相似度满足第四预设条件的业务图片子集合,将所述业务图片子集合发送给所述门户,以使得所述门户根据用户操作从所述业务图片子集合中选择第二业务图片,将所选的第二业务图片关联的业务第二业务视频目标对象配置与所述第二广告素材目标对象相同的广告对象标识,从而指示所述第二广告素材目标对象所属的第二广告素材与所述第二业务视频目标对象所属的第二业务视频相关联。
70.一种精准投放广告系统,其特征在于,包括视频分析平台、数据库、门户、数据同步接口模块和关联信息同步接口模块,其中,
所述视频分析平台用于:通过所述数据同步接口模块从广告平台同步广告素材同步信息,根据所述广告素材同步信息获取广告素材,从所述广告素材中提取图片,获得广告图片集合;通过所述数据同步接口模块从业务平台同步业务视频同步信息,根据所述业务视频同步信息获取业务视频,根据所述业务视频的图像、声音和字幕其中一种或多种从所述业务视频中提取图片,获得业务图片集合;将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度;当所述广告图片集合中的第一广告图片和所述业务图片集合中的第一业务图片的相似度满足第一预设条件时,将所述第一广告图片所属的第一广告素材和所述第一业务图片所属的第一业务视频进行关联,并生成关联信息,所述关联信息中包括:所述第一业务视频的标识信息、所述第一广告素材的标识信息,将所述关联信息通过所述关联信息同步接口模块同步到所述广告平台和所述业务平台;
所述数据库,用于存储所述广告素材和业务视频的相关信息;
所述门户,用于实现用户与所述数据库、视频分析平台的交互;
所述数据同步接口模块,将广告素材同步信息从所述广告平台同步到所述视频分析平台;用于将业务视频同步信息从所述业务平台同步到所述视频分析平台;
所述关联信息同步接口模块,用于将所述关联信息从所述视频分析平台同步到所述广告平台和所述业务平台;
其中,从所述广告素材中提取图片或者从所述业务视频中提取图片包括:
将所述广告素材中的广告视频或者所述业务视频资源作为输入视频,对所述输入视频进行解码后,将解码后的输入视频根据场景进行分割,获取分割视频,将各分割视频进行比较,根据比较结果获取分割视频集合,将所述分割视频集合中的分割视频作为待提取视频,其中,所述分割视频集合中的任意两个分割视频的比较结果满足第二预设条件;
根据所述待提取视频的图像、声音和字幕其中一种或多种从所述待提取视频中提取图片。
71.如权利要求70所述的精准投放广告系统,其特征在于,
所述视频分析平台还用于,对所述广告素材中的广告视频进行背景建模和目标检测,提取运动的目标获得广告素材目标对象,并将所述广告素材目标对象与所述广告图片集合中包含该广告素材目标对象的图片进行关联,将所述广告素材中的广告图片作为广告素材目标对象并与其所属的广告图片进行关联,将所述广告素材目标对象存入数据库中的广告素材目标对象表,将其状态设置为未审核;以及,对所述业务视频进行背景建模和目标检测,提取运动的目标获得业务视频目标对象,确定所述业务视频目标对象在其所属的业务视频中的出现时间和消失时间,将所述业务视频目标对象与所述业务图片集合中包含该业务视频目标对象的图片进行关联,将所述业务视频目标对象存入数据库中的业务视频目标对象表,将其状态设置为未审核;
所述门户用于实现用户与所述数据库、视频分析平台的交互包括:根据用户操作向所述数据库查询未审核的广告素材目标对象,根据用户操作为未审核的所述广告素材目标对象配置广告对象标识并修改广告素材目标对象表中其状态为已审核未关联;
所述视频分析平台将所述广告图片集合中的广告图片和所述业务图片集合中的业务图片进行比较,获取相似度包括:
所述视频分析平台向所述数据库查询已审核未关联的广告素材目标对象,接收所述数据库返回的已审核未关联的广告素材目标对象,获取该已审核未关联的广告素材目标对象所关联的广告图片,将其与所述业务图片集合中的业务图片进行比较,获取相似度;
所述视频分析平台还用于,当所述业务图片集合中的第二业务图片与所述已审核未关联的广告素材目标对象所关联的广告图片的相似度满足所述第一预设条件时,获取所述已审核未关联的广告素材目标对象被配置的广告对象标识,为所述第二业务图片所关联的第二业务视频目标对象配置与所述已审核未关联的广告素材目标对象被相同的广告对象标识,修改数据库中所述已审核未关联的广告素材目标对象的状态为已关联,修改数据库中所述第二业务视频目标对象的状态为已关联。
72.如权利要求71所述的精准投放广告系统,其特征在于,
所述门户还用于,向所述数据库查询已审核未关联的广告素材目标对象,获取所述已审核未关联的广告素材目标对象后,向所述视频分析平台发起查询请求,接收所述视频分析平台返回的业务图片子集合,以及,根据用户操作从所述业务图片子集合中选择第三业务图片,将所选的第三业务图片关联的第三业务视频目标对象配置与所述已审核未关联的广告素材目标对象相同的广告对象标识,修改数据库中所述第三业务视频目标对象的状态为已关联,修改所述已审核未关联的广告素材目标对象的状态为已关联;
所述视频分析平台还用于,接收到所述门户发送的查询请求后,确定与该查询请求中携带的广告素材目标对象关联的第三广告图片,在所述业务图片集合中查找与所述第三广告图片的相似度满足第四预设条件的所述业务图片子集合,将所述业务图片子集合发送给所述门户。
CN201611169731.4A 2016-12-16 2016-12-16 一种视频分析平台、匹配方法、精准投放广告方法及系统 Active CN106686404B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611169731.4A CN106686404B (zh) 2016-12-16 2016-12-16 一种视频分析平台、匹配方法、精准投放广告方法及系统
PCT/CN2017/108384 WO2018107914A1 (zh) 2016-12-16 2017-10-30 一种视频分析平台、匹配方法、精准投放广告方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611169731.4A CN106686404B (zh) 2016-12-16 2016-12-16 一种视频分析平台、匹配方法、精准投放广告方法及系统

Publications (2)

Publication Number Publication Date
CN106686404A CN106686404A (zh) 2017-05-17
CN106686404B true CN106686404B (zh) 2021-02-02

Family

ID=58871095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169731.4A Active CN106686404B (zh) 2016-12-16 2016-12-16 一种视频分析平台、匹配方法、精准投放广告方法及系统

Country Status (2)

Country Link
CN (1) CN106686404B (zh)
WO (1) WO2018107914A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686404B (zh) * 2016-12-16 2021-02-02 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
KR102312999B1 (ko) * 2017-05-31 2021-10-13 삼성에스디에스 주식회사 광고 편성 장치 및 방법
CN107392666A (zh) * 2017-07-24 2017-11-24 北京奇艺世纪科技有限公司 广告数据处理方法、装置及广告投放方法和装置
CN107423429A (zh) * 2017-08-03 2017-12-01 李雪萍 一种广告营销类语言信息的识别装置
CN109688436A (zh) * 2017-10-18 2019-04-26 中兴通讯股份有限公司 一种智能广告投放的方法及装置
CN109040775A (zh) * 2018-08-24 2018-12-18 深圳创维-Rgb电子有限公司 视频关联方法、装置及计算机可读存储介质
CN110880120A (zh) * 2018-09-06 2020-03-13 阿里巴巴集团控股有限公司 一种广告方法和广告系统以及识别装置
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术(北京)有限公司 基于视频的信息获取方法和装置
CN109460151B (zh) * 2018-11-13 2020-04-10 江西师范大学 手形输入法
CN111327927B (zh) * 2018-12-13 2023-05-02 北京沃东天骏信息技术有限公司 视频广告生成方法、装置、设备及存储介质
CN111368106B (zh) * 2018-12-26 2024-04-26 中兴通讯股份有限公司 野广告处理方法、装置以及计算机可读存储介质
CN109600635B (zh) * 2019-01-24 2021-04-27 四川长虹电器股份有限公司 一种根据智能电视视频按需推送信息的系统及方法
CN110163649B (zh) * 2019-04-03 2023-10-17 平安科技(深圳)有限公司 广告推送方法、装置、电子设备及存储介质
CN111866443A (zh) * 2019-04-25 2020-10-30 黄河 视频流数据存储方法、装置、系统和存储介质
CN110134829B (zh) * 2019-04-28 2021-12-07 腾讯科技(深圳)有限公司 视频定位方法和装置、存储介质及电子装置
CN111915337B (zh) * 2019-05-07 2023-09-05 百度在线网络技术(北京)有限公司 信息投放方法、装置、设备和介质
CN111949819A (zh) * 2019-05-15 2020-11-17 北京字节跳动网络技术有限公司 用于推送视频的方法和装置
CN110446118B (zh) * 2019-07-01 2021-08-20 创新先进技术有限公司 视频资源预处理方法及装置、视频资源下载方法及装置
CN110446061B (zh) * 2019-07-04 2023-04-07 深圳壹账通智能科技有限公司 视频数据获取方法、装置、计算机设备及存储介质
CN110489685A (zh) * 2019-08-19 2019-11-22 腾讯科技(武汉)有限公司 一种网页显示方法、系统和相关装置及存储介质
CN110688892B (zh) * 2019-08-20 2023-01-03 武汉烽火众智数字技术有限责任公司 一种基于数据融合技术的人像识别告警方法及系统
CN112579837A (zh) * 2019-09-27 2021-03-30 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN111080341B (zh) * 2019-11-26 2023-04-07 微梦创科网络科技(中国)有限公司 一种特定人物动态卡片的创建方法及装置
CN110798736B (zh) * 2019-11-28 2021-04-20 百度在线网络技术(北京)有限公司 视频播放方法、装置、设备和介质
CN111526242B (zh) * 2020-04-30 2021-09-07 维沃移动通信有限公司 音频处理方法、装置和电子设备
CN111563726A (zh) * 2020-04-30 2020-08-21 平安国际智慧城市科技股份有限公司 企业整改监管方法、装置、设备及计算机可读存储介质
CN113938751B (zh) * 2020-06-29 2023-12-22 抖音视界有限公司 视频转场类型确定方法、设备及存储介质
CN112235632A (zh) * 2020-09-09 2021-01-15 北京达佳互联信息技术有限公司 视频处理方法、装置及服务器
CN112199538B (zh) * 2020-09-30 2023-12-12 北京达佳互联信息技术有限公司 图片处理方法、装置、电子设备、系统及存储介质
CN112182167B (zh) * 2020-11-06 2023-12-22 平安科技(深圳)有限公司 一种文本匹配方法、装置、终端设备和存储介质
CN112565825B (zh) * 2020-12-02 2022-05-13 腾讯科技(深圳)有限公司 一种视频数据处理方法、装置、设备以及介质
CN112637685B (zh) * 2020-12-11 2024-01-30 上海连尚网络科技有限公司 视频的处理方法和装置
CN112633129A (zh) * 2020-12-18 2021-04-09 深圳追一科技有限公司 视频分析方法、装置、电子设备及存储介质
CN112699787B (zh) * 2020-12-30 2024-02-20 湖南快乐阳光互动娱乐传媒有限公司 一种广告插入时间点的检测方法及装置
CN112866800A (zh) * 2020-12-31 2021-05-28 四川金熊猫新媒体有限公司 视频内容相似性检测方法、装置、设备及存储介质
CN112949538B (zh) * 2021-03-16 2023-08-04 杭州海康威视数字技术股份有限公司 一种目标关联方法、装置、电子设备及机器可读存储介质
CN113822195B (zh) * 2021-09-23 2023-01-24 四川云恒数联科技有限公司 一种基于视频分析的政务平台用户行为识别反馈方法
CN114070955B (zh) * 2021-11-29 2023-06-20 杭州逗酷软件科技有限公司 一种同步判断方法及装置、存储介质
CN114565814A (zh) * 2022-02-25 2022-05-31 平安国际智慧城市科技股份有限公司 一种特征检测方法、装置及终端设备
CN114827665B (zh) * 2022-05-31 2023-10-10 北京奇艺世纪科技有限公司 视频分析方法、装置、设备及存储介质
CN115471263A (zh) * 2022-09-16 2022-12-13 深圳掌屿软件有限公司 广告的生成方法、装置、设备及存储介质
CN115858855B (zh) * 2023-02-28 2023-05-05 江西师范大学 一种基于情景特征的视频数据查询方法
CN116206227B (zh) * 2023-04-23 2023-07-25 上海帜讯信息技术股份有限公司 5g富媒体信息的图片审查系统、方法、电子设备及介质
CN116343103B (zh) * 2023-05-31 2023-08-15 江西省自然资源事业发展中心 一种基于三维gis场景与视频融合的自然资源监管方法
CN117459665B (zh) * 2023-10-25 2024-05-07 杭州友义文化传媒有限公司 视频剪辑方法、系统与存储介质
CN117217831B (zh) * 2023-11-08 2024-01-30 湖南快乐阳光互动娱乐传媒有限公司 广告投放方法及装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024479A (zh) * 2012-12-17 2013-04-03 深圳先进技术研究院 视频内容中自适应投放广告的方法及系统
CN103218734A (zh) * 2013-04-01 2013-07-24 天脉聚源(北京)传媒科技有限公司 一种广告信息的推送方法及装置
CN105872588A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 视频中加载广告的方法及装置
CN105872740A (zh) * 2016-04-28 2016-08-17 黑龙江八农垦大学 信息整合方法和信息整合装置
CN105956878A (zh) * 2016-04-25 2016-09-21 广州出益信息科技有限公司 一种网络广告推送的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI247239B (en) * 2004-06-18 2006-01-11 Via Tech Inc Advertising detection method and related system for detecting advertising according to specific beginning/ending images of advertising sections
TWI375177B (en) * 2008-09-10 2012-10-21 Univ Nat Taiwan System and method for inserting advertising content
CN103780944A (zh) * 2012-10-17 2014-05-07 三亚中兴软件有限责任公司 广告播放方法、装置、系统及匹配信息建立装置
CN104581430B (zh) * 2013-10-21 2018-06-19 华为技术有限公司 视频播放中的广告插播方法和设备
CN106686404B (zh) * 2016-12-16 2021-02-02 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024479A (zh) * 2012-12-17 2013-04-03 深圳先进技术研究院 视频内容中自适应投放广告的方法及系统
CN103218734A (zh) * 2013-04-01 2013-07-24 天脉聚源(北京)传媒科技有限公司 一种广告信息的推送方法及装置
CN105872588A (zh) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 视频中加载广告的方法及装置
CN105956878A (zh) * 2016-04-25 2016-09-21 广州出益信息科技有限公司 一种网络广告推送的方法及装置
CN105872740A (zh) * 2016-04-28 2016-08-17 黑龙江八农垦大学 信息整合方法和信息整合装置

Also Published As

Publication number Publication date
CN106686404A (zh) 2017-05-17
WO2018107914A1 (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
CN106686404B (zh) 一种视频分析平台、匹配方法、精准投放广告方法及系统
JP6972260B2 (ja) メディアセグメント識別効率向上のために探索索引を区分するためのシステムおよび方法
CA2924065C (en) Content based video content segmentation
CN108235141B (zh) 直播视频转碎片化点播的方法、装置、服务器和存储介质
US10200748B2 (en) System and method for commercial detection in digital media environments
US8516119B2 (en) Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US20030123850A1 (en) Intelligent news video browsing system and method thereof
JP6903653B2 (ja) 共通メディアセグメントの検出
KR20030007736A (ko) 스트리밍 비디오 북마크들
KR20050057578A (ko) 상업 광고 추천기
JP2003511934A (ja) コマーシャル及び他のビデオコンテンツの標識に基づく自動的突き止め、習得及び抽出
CN104216956B (zh) 一种图片信息的搜索方法和装置
CN105230035A (zh) 用于选择的时移多媒体内容的社交媒体的处理
RU2413990C2 (ru) Способ и устройство для обнаружения границ элемента контента
KR20100108117A (ko) 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
KR20130100994A (ko) 3d 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치
US20240062581A1 (en) Obtaining artist imagery from video content using facial recognition
US20140115626A1 (en) Method and system for enhancing redistributed audio/video content
KR20220077120A (ko) 지각 프레임 해싱을 통한 동영상 메타데이터 식별 및 검색
CN107241618B (zh) 收录方法和收录装置
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
KR20030030304A (ko) 주문형 동영상 요약 서비스 시스템 및 그 방법
JP2014130536A (ja) 情報管理装置、サーバ及び制御方法
KR101749420B1 (ko) 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant