CN108377419B - 一种直播流中新闻标题的定位方法及装置 - Google Patents

一种直播流中新闻标题的定位方法及装置 Download PDF

Info

Publication number
CN108377419B
CN108377419B CN201810167606.2A CN201810167606A CN108377419B CN 108377419 B CN108377419 B CN 108377419B CN 201810167606 A CN201810167606 A CN 201810167606A CN 108377419 B CN108377419 B CN 108377419B
Authority
CN
China
Prior art keywords
tracking
video frame
preset
area
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810167606.2A
Other languages
English (en)
Other versions
CN108377419A (zh
Inventor
刘楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201810167606.2A priority Critical patent/CN108377419B/zh
Publication of CN108377419A publication Critical patent/CN108377419A/zh
Application granted granted Critical
Publication of CN108377419B publication Critical patent/CN108377419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种直播流中新闻标题的定位方法及装置，当检测到直播流中的视频帧包含标题候选区域时，对直播流中的视频帧进行跟踪，并记录开始时间位置；当跟踪的视频帧满足第一跟踪条件时，在第一线程中对直播流中视频帧进行后向跟踪，并在第二线程中从预设的缓存区中对视频帧进行前向跟踪，依据后向跟踪和前向跟踪确定跟踪结束时的视频帧在直播流中的第一结束时间位置和第二结束时间位置；依据第一结束时间位置和第二结束时间位置计算视频帧跟踪的时间长度，若视频帧跟踪的时间长度大于等于预设的时间阈值，则直播流中的第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。这样，避免漏掉含有新闻标题的视频帧，提高了视频帧的处理效率。

Description

一种直播流中新闻标题的定位方法及装置
技术领域
本发明涉及视频处理领域，尤其涉及一种直播流中新闻标题的定位方法及装置。
背景技术
新闻视频中蕴含着大量的最新资讯信息，对于视频网站和新闻类的应用来说有着重要的价值。视频网站或者新闻类的应用需要对每日播出的整条新闻进行拆分、上线，供用户对于其中感兴趣的每条新闻进行点击观看。由于全国的电视台数量众多，除卫视台外还存在各类地方台，如果需要对所有的新闻进行分割的话，需要耗费大量的人力进行切分，对切分好的新闻输入标题，上线到发布系统中。另一方面，由于新闻的时效性，对于新闻视频的处理速度的要求也是十分严格的，为了保证时效性，需要在规定的时间内尽快将整个的新闻节目切割成独立的新闻条目，而不能采用积压任务后期处理的方式进行生产。因此，自动的新闻视频拆分、分析技术就成为解决这一问题的关键技术。新闻标题对新闻视频拆分具有重要的语义线索，例如：对于长新闻拆分算法来讲，新闻标题的出现、结束、重复往往意味着不同的信息，预示着新闻的结构。因此，新闻中标题出现的时间点位以及对应的状态对于新闻拆分十分关键。
针对于直播流来说，由于直播流存在数据无法回溯的问题，对算法的实时性要求较高，但是，现有技术中针对于直播流的新闻标题的识别，无法做到精准的新闻标题定位。
发明内容
有鉴于此，本发明实施例提供了一种直播流中新闻标题的定位方法及装置，实现了在直播流中对新闻标题的精确定位。
本发明实施例公开了一种直播流中新闻标题的定位方法，包括：
当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
计算所述第一时间位置和所述第二时间位置对应时刻的差值，得到视频帧跟踪的时间长度；
将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。
可选的，所述对所述直播流中的视频帧进行跟踪，包括：
在跟踪的视频帧的标题候选区域中确定跟踪区域；
判断是否第一次跟踪到所述跟踪区域的图像；
若是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的参考特征；所述预设的参考特征为所述跟踪区域的图像的二值图像和/或直方图；
若不是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第一特征；所述预设的第一特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设的第一特征与所述预设的参考特征进行比对，得到第一特征变化量；
判断所述第一特征变化量是否超过了第一变化量阈值；
若所述第一特征变化量未超过所述第一变化量阈值，将第一跟踪帧数加1；所述第一跟踪帧数为跟踪的直播流中第一特征变化量未超过第一变化量阈值的视频帧的帧数。
可选的，所述第一跟踪条件为：
所述第一跟踪帧数等于预设的第一帧数阈值。
可选的，所述在第一线程中对所述直播流中的视频帧进行后向跟踪，以确定后向跟踪结束时的第一目标视频帧，包括：
在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设特征与所述预设的参考特征进行比对，得到特征变化量；
在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
可选的，在所述预设的缓存区中缓存的所述直播流的视频帧，包括：
当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
可选的，所述在第二线程中对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧包括：
在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
在所述第三特征变化量未超过所述第三变化量阈值的情况下，将所述第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
判断所述第二丢失帧数是否超过了预设的第二丢失帧数阈值；
若所述第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前的视频帧相邻且在所述当前的视频帧之前缓存的视频帧；
若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
本发明实施例还公开了一种直播流中新闻标题的定位装置，包括：
跟踪单元，用于当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
双向跟踪单元，用于当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
第一确定单元，用于确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
第二确定单元，用于确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
计算单元，用于计算所述第一时间位置和所述第二时间位置对应时刻的差值，得到视频帧跟踪的时间长度；
比较单元，用于将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
第三确定单元，用于若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。
可选的，所述双向跟踪单元，包括：
第二跟踪区域确定子单元，用于在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
第二预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
第二比对子单元，用于将所述预设特征与所述预设的参考特征进行比对，得到特征变化量；
第二跟踪帧数累加子单元，用于在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
第一丢失帧数累加子单元，用于在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
第二判断子单元，用于判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
第一返回单元，用于若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
后向跟踪结束子单元，用于若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
第一目标视频帧确定子单元，用于将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
可选的，还包括：
视频帧长度计算单元，用于当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断单元，用于判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
第一缓存单元，用于若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
第二缓存单元，用于若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
可选的，所述双向跟踪单元，包括：
第三跟踪区域确定子单元，用于在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
第三预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
第三比对子单元，用于将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
第三跟踪帧数累加子单元，用于在所述第三特征变化量未超过所述第三变化量阈值的情况下，将所述第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
第二丢失帧数累加子单元，用于在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
第三判断子单元，用于判断第二丢失帧数是否超过了预设的第二丢失帧数阈值；
第二返回单元，用于若第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前的视频帧相邻且在所述当前的视频帧之前缓存的视频帧
前向跟踪结束子单元，用于若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
第二目标视频帧确定子单元，用于将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
本发明实施例公开了一种直播流中新闻标题的定位方法及装置，包括：当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；当跟踪的视频帧满足第一跟踪条件时，在第一线程中对直播流中的视频帧进行后向跟踪，并在第二线程中从预设的缓存区中对视频帧进行前向跟踪，并依据前向跟踪和后向跟踪确定跟踪结束时的第一目标视频帧和第二目标视频帧，并确定第一目标视频帧在直播流中的时间位置以及第二目标视频帧在所述直播流中的第二结束时间位置；计算第一结束时间位置和第二结束时间位置之间的时刻差值，即视频帧跟踪的时间长度，并将视频帧跟踪的时间长度与预设的时间阈值进行比较，若视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。这样，通过对缓存的视频进行前向跟踪，避免了漏掉含有标题的视频帧的问题，准确的定位到标题结束时的视频帧。而且，通过不同的线程执行前向跟踪和后向跟踪，提高了处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种直播流中新闻标题的定位方法的流程示意图；
图2示出了本发明实施例提供的视频帧中标题候选区域的获取过程；
图3示出了本发明实施例提供的后向跟踪的流程示意图；
图4示出了本发明实施例提供的前向跟踪的流程示意图；
图5示出了本发明实施例提供的一种直播流中新闻标题的定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例提供的一种直播流中新闻标题的定位方法的流程示意图，在本实施例中，该方法包括：
S101：对直播流中正在播放的视频帧进行缓存；
本实施例中，在对新闻标题定位的过程中，为了可以对视频帧进行前向跟踪，可以在视频直播的过程中，对视频帧进行缓存，具体的，S101包括：
当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
本实施例中，缓存区中可以缓存一定长度的视频帧，当在某一时刻，在缓存区中缓存了新的视频帧后，若当前缓存区中视频帧的长度超过了预设的缓存帧数，则将最先缓存到缓存区中的视频帧移出缓存区。
举例说明：假设缓存区中预设的缓存帧数为M(M为缓存队列的长度)，当前缓存区的视频帧队列的长度为m，当在某一时刻接收到一个视频帧后，若m+1>M，则将缓存区中最先缓存的视频帧移出所述缓存区，并将直播流中正在直播的视频帧加到缓存区中视频帧队列的最后一位；若m+1<M，直接将直播流中正在直播的视频帧加到缓存区中视频帧队列的最后一位。
S102：当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
本实施例中，新闻视频中标题一般会出现在特定的位置，并将该位置表示为标题候选区域，在执行S102之前，技术人员需要确定出标题候选区域的位置，当在目标视频中识别是否存在新闻标题时，可以先判断该目标视频中是否包含标题候选区域，具体的，包括：
1、依据预设的第一区域坐标，在所述目标视频帧中提取出第一区域；
举例说明：新闻标题中出现的位置一般为底部区域，因此可以预先设置出视频帧中可能出现标题的底部区域的位置。假设视频帧的宽为W、高为H，底部区域为Rect(rect.x,rect.y,rect.h)，具体的：
rect.x＝0；
rect.y＝H*cut_ratio；
rect.w＝W；
rect.h＝H*(1-cut_ratio)。
2、获取所述第一区域的边缘图像；
本实施例中，边缘图像的获取通过在第一区域的图像中提取出边缘特征，根据边缘特征得到敏感区域的边缘图像，具体的，包括：
2-1)计算所述第一区域的图像的边缘强度图；
例如，首先，可以采用水平方向的边缘梯度算子和垂直方向的边缘梯度算子与第一区域的图像进行卷积得到水平边缘图Eh和垂直边缘图Ev；然后，依据水平边缘图Eh和垂直边缘图Ev，计算第一区域的图像的边缘强度图Eall；
具体的，第一区域的图像的边缘强度图Eall通过如下的公式1)计算：
1)Eall(x,y)＝sqrt(Ev(x,y)2+Eh(x,x)2)。
2-2)将所述第一区域的图像的边缘强度图和预设的第一边缘强度阈值进行对比，得到第一区域的二值化图像；
具体的，假设预设的第一边缘强度阈值为Thel，如果Eall(x,y)>The1则E(x,y)＝1；否则Eall(x,y)＝0。
其中，针对于2-1)和2-2)的步骤，还可以是根据2-1)的方法，分别计算第一区域图像在R、G、B每个通道的边缘强度图像；并将Er，Eg，Eb分别和预先设定的阈值The2进行比对，得到第一区域的图像的边缘图像；
具体的，如果ER(x,y)>The2，则ER(x,y)＝1；否则ER(x,y)＝0；
如果EG(x,y)>The2，则EG(x,y)＝1；否则EG(x,y)＝0；
如果EB(x,y)>The2，则EB(x,y)＝1；否则EB(x,y)＝0。
其中，The2和The1可以相同也可以不同，一般情况下The2<The1。
2-3)对所述第一区域的边缘图像进行边缘加强；
本实施例中，为了防止字幕区域出现渐变导致检测失败，可以将边缘图像进行边缘加强，其中，可以对其中任何一个通道进行边缘加强，或者也可以对其中的两个或者三个通道进行边缘加强。
3、依据所述第一区域的图像的边缘图像，在所述第一区域的图像中提取出第二区域的水平边界和垂直边界；
具体的，包括：
3-1)对第一区域的图像的边缘图像进行水平方向的投影，得到水平直方图；
具体的3-1)包括：对第一区域的边缘图像进行水平方向的投影；统计该边缘图像中每一行中满足第一预设条件的像素点的个数Numedge1；判断每一行的像素点的个数Numedge1与第一边缘像素阈值Thnum的关系，若Numedge1>Thnum，则直方图H[i]＝1，否则H[i]＝0。
其中，第一预设条件为：像素点的边缘值为1；其中，若像素点或者像素点的上下左右中存在至少一个像素点为1的值，则认为该像素点的边缘值为1。
3-2)计算水平直方图的行间距，并依据所述行间距和预设的间距阈值，判断是否存在第一阶段候选区域；
具体的，对水平直方图进行遍历，计算水平直方图的各个行间距；针对每个行间距，判断该行间距是否大于预设的行间距阈值；若水平直方图的行间距大于预设的行间距阈值，将这两行之间的边缘图像区域作为第一阶段的候选区域；
3-3)若存在第一阶段候选区域，对所述第一阶段候选区域的图像进行垂直方向的投影，得到垂直直方图；
具体的，3-3)包括：
对第一阶段候选区域的图像进行垂直方向的投影；统计每一列中满足第一预设条件的像素个数Numedge2；判断每一列的Numedge2与第二边缘像素阈值Thnum的关系，若Numedge2>Thnum，则直方图V[i]＝1，否则V[i]＝0。
3-4)依据垂直直方图，在敏感区域的边缘图中确定出第一垂直边界，并将该第一垂直边界组成的区域作为第二阶段的候选区域；
具体的，设置V[0]＝1且V[W-1]＝1；
将V[i]＝＝1且V[j]＝＝1且V[k]k∈(i,j)＝＝0&&argmax(i-j)的区域作为敏感区域的边缘图像的第一垂直边界；
3-5)依据得到的第一垂直边界，在第一区域的图像中得到第二候选区域；
3-6)寻找第二候选区域内的左右边界，以一定长度的滑动窗口扫描第二阶段区域的图像，并计算每一个窗口内的颜色直方图，同时统计每一个窗口内的颜色直方图中非0的个数；
3-7)依据每一个窗口内颜色直方图中非0的个数和预设的第一颜色阈值和第二颜色阈值的关系，得到第二垂直边界；
具体的，假设统计得到的每一个窗口内的颜色直方图中非0的个数为numcolor；若numcolor<Thcolor1||numcolor>Thcolor2，即该区域为单色区域或者颜色复杂的背景区域的位置，将将符合该条件的窗口的中心位置，作为第二垂直边界。
3-8)将第一阶段候选区域的上下边界和第二垂直边界作为第二区域；
4)判断第二区域是否在预设的区域范围内；
举例说明：可以通过如下的两个条件判断第二区域是否属于预设的区域范围，条件一)第二区域的起点是否在预设的起点范围内；条件二：第二区域的高度是否在一定的范围内；若是均符合以上条件一和条件二，则表示第二区域在预设的区域范围内。
5)若所述第二区域在预设的区域范围内，所述第二区域为标题候选区域。
举例说明：如图2所示，从当前的视频帧中，按照预设的第一区域坐标，提取出第一区域；并计算该第一区域的图像的边缘强度图；然后，第一区域的图像的边缘图像进行水平方向的投影处理，在第一区域中确定上下边界，得到第一阶段候选区域；并对第一阶段候选区域的图像进行垂直投影处理，在第一阶段候选区域中确定出垂直边界，得到第二阶段候选区域，即第二区域；并判断第二区域是否在预设的区域范围内。
本实施例中，若视频帧中包含标题候选区域，对该区域进行跟踪，也可以说对具有该区域的视频帧进行跟踪，在对视频帧进行跟踪时，记录跟踪到的第一个视频帧在直播流中的时间位置。
对视频帧进行跟踪时，为了对标题进行更具有针对性的跟踪，可以在标题候选区域中选取更加准确的跟踪区域，例如，设输入的视频帧的标题候选区域的位置为CandidateRect(x,y,w,h)(视频帧中的起始点(x,y)以及对应的宽高wh),设定跟踪区域track(x,y,w,h)为:
track.x＝CandidateRect.x+CandidateRect.w*Xratio1；
track.y＝CandidateRect.y+CandidateRect.h*Yratio1；
track.w＝CandidateRect.w*Xratio2；
track.h＝CandidateRect.h*Yratio2；
其中，Xratio1,Xratio2,Yratio1,Yratio2均为预先设定的参数。
具体的，S102包括：
S201：在跟踪的视频帧的标题候选区域中确定跟踪区域；
S202：判断是否第一次跟踪到所述跟踪区域的图像；
S203:若是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的参考特征；所述预设的参考特征为所述跟踪区域的图像的二值图像和/或直方图；
S204:若不是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第一特征；所述预设的第一特征为所述跟踪区域的图像的二值图像和/或直方图；
S205:将所述预设的第一特征与所述预设的参考特征进行比对，得到第一特征变化量；
S206:判断所述第一特征变化量是否超过了第一变化量阈值；
S207:若所述第一特征变化量未超过所述第一变化量阈值，将第一跟踪帧数加1；所述第一跟踪帧数为跟踪的直播流中第一特征变化量未超过第一变化量阈值的视频帧的帧数。
本实施例中，若是第一次跟踪到跟踪区域的图像，从当前跟踪的视频帧的跟踪区域的图像中获取的二值图像或者直方图，作为参考特征，其中，假设得到的二值参考图像为Bref，跟踪区域的图像的参考直方图为Href，若不是第一次跟踪到跟踪区域的图像时，从当前跟踪的视频帧的跟踪区域的图像中获取二值图像或者直方图，作为预设的特征。
其中，对于S205中第一特征变化量的计算，
针对于二值图像来说：
将待跟踪视频帧的二值化图像Bcur和参考二值化图像Bref进行逐点差分，并计算差分的平均值Diffbinary，其中，差分的平均值Diffbinary可以通过以下的公式5)进行计算：
Figure BDA0001584908690000131
其中，W和H是跟踪区域图像的宽，高。
针对于跟踪区域的直方图来说：
计算待跟踪视频帧的颜色直方图Hcur与参考直方图Href的距离Diffcolor；
其中，待跟踪视频帧的预设特征可以是跟踪区域的图像的二值图像和跟踪区域的图像的直方图中的任意一个或者多个。
其中，假设预设特征为跟踪区域的图像的二值图像和跟踪区域的图像的直方图，在Diffbinary<Thbinary&&Diffcolor<Thcolor的情况下，将第一跟踪帧数加1。
本实施例中，在对待跟踪视频帧的跟踪区域跟踪的过程中，特征变化量可能超过了第一变化量阈值，则表示当前的目标视频帧不存在参考特征，此时需要将丢失帧数加1，具体的，包括：
若所述特征变化量超过了第一变化量阈值，将第三丢失帧数加1；
判断所述第三丢失帧数是否超过了预设的丢失帧数阈值；
若所述丢失帧数超过了预设的丢失帧数阈值，则停止对所述跟踪区域图像进行跟踪。
本实施例中，在丢失帧数超过了预设的丢失帧数阈值时，则停止对跟踪区域的图像进行跟踪，并重新返回执行S102。。
本实施例中，循环执行S201-S207的步骤，直到第一跟踪帧数等于预设的第一帧数阈值时，执行S103，也就是说，当第一跟踪帧数等于预设的第一帧数阈值时，对直播流的视频帧进行前向跟踪和后向跟踪。
S103：当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
本实施例中，S103包含两个方面，第一方面为：对直播流的视频帧进行后向跟踪，第二方面为:对直播流的视频帧进行前向跟踪。其中，在本实施例中，后向跟踪可以表示为对直播流中开始时刻之后的播放的视频帧进行跟踪；前向跟踪可以表示为对缓存区中保存的、开始时时刻之前的视频帧进行跟踪。
并且，为了加快标题检测的速度，也为了不影响对直播流中其它标题的检测，对于直播流的视频帧的后向跟踪和前向跟踪，采用不同的线程对视频帧进行跟踪，其中可以通过第一线程即主线程对直播流中的视频帧进行后向跟踪，通过第二线程对直播流中的视频帧进行后向跟踪。
针对于第一方面(后向跟踪)，参考图3，包括：
S301：在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
S302：从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
S303：将所述预设特征与所述预设的参考特征进行比对，得到特征变化量；
S304：在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
S305：在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
S306：判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
S307：若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
S308：若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
S309：将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
本实施例中，S303中提到的预设的参考特征与S203中提到的预设的参考特征是一致的。
针对于第二方面(前向跟踪)，参考图4，包括：
S401:在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
S402:从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
S403:将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
S404:在所述第三特征变化量未超过所述第三变化量阈值的情况下，将所述第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
S405:在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
S406:判断第二丢失帧数是否超过了预设的第二丢失帧数阈值；
S407:若第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前的视频帧相邻且在所述当前的视频帧之前缓存的视频帧；
S409:若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
S410:将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
举例说明：从缓冲区中取出所有缓存的视频帧，从这些视频帧中找到S102中提到的开始时间位置对应的视频帧，并对该开始时间位置之前的多个视频跟进行前向跟踪，假设S102中提到的开始时间位置为Tini，并一帧一帧[Tini-1,Tini-2,Tini-3…]对反向视频帧进行跟踪，直到丢失的视频帧超过了预设的第二丢失帧数。
其中，第二丢失帧数可以理解为跟踪的视频帧中不包含参考特征的视频帧的数量。
本实施例中，通过后向跟踪和前向跟踪确定了对于直播流中新闻标题的第一目标视频帧和第二目标视频帧后，可以根据第一目标视频帧和第二目标视频帧确定标题出现的时间长度，并根据该标题出现的时间长度判断直播流的视频帧中是否包含新闻标题，具体的参见如下的S104-S107：S104：确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
S105：确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
S106：计算所述第一时间位置和所述第二时间位置对应的时刻差值，得到视频帧跟踪的时间长度；
S107：将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
S108：若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。
举例说明：假设第一结束时间位置为Tend，第二结束时间位置为Tstart，Thtracking_num为预设的时间阈值，则将Tend-Tstart与预设的时间阈值进行比较，Tend-Tstart>＝Thtracking_num，则跟踪的视频帧中，即直播流中第一结束时间位置和第二结束时间位置之间的视频帧包含新闻标题，在该种情况下，Tstart为直播流中标题开始的时间位置，Tend为直播流中标题结束的时间位置。
本实施例中，当检测到直播流中的视频帧包含标题候选区域时，对直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；当跟踪的视频帧满足第一跟踪条件时，在第一线程中对直播流中的视频帧进行后向跟踪，并在第二线程中从预设的缓存区中对视频帧进行前向跟踪，并依据前向跟踪和后向跟踪确定跟踪结束时的第一目标视频帧和第二目标视频帧，并确定第一目标视频帧在直播流中的时间位置以及第二目标视频帧在所述直播流中的第二结束时间位置；计算第一结束时间位置和第二结束时间位置之间的时刻差值，即视频帧跟踪的时间长度，并将视频帧跟踪的时间长度与预设的时间阈值进行比较，若视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。这样，通过对缓存的视频进行前向跟踪，避免了漏掉含有标题的视频帧的问题，准确的定位到标题结束时的视频帧。而且，通过不同的线程执行前向跟踪和后向跟踪，提高了处理效率。
参考图5，示出了本发明实施例提供的一种直播流中新闻标题的定位装置的结构示意图，在本实施例中，该装置包括：
跟踪单元501，用于当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
双向跟踪单元502，用于当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
第一确定单元503，用于确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
第二确定单元504，用于确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
计算单元505，用于计算所述第一时间位置和所述第二时间位置对应时刻的差值，得到视频帧跟踪的时间长度；
比较单元506，用于将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
第三确定单元507，用于若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一时间位置和所述第二时间位置之间的视频帧包含新闻标题。
可选的，跟踪单元，包括：
第一跟踪区域确定子单元，用于在跟踪的视频帧的标题候选区域中确定跟踪区域；
第一判断子单元，用于判断是否第一次跟踪到所述跟踪区域的图像；
参考特征获取子单元，用于若是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的参考特征；所述预设的参考特征为所述跟踪区域的图像的二值图像和/或直方图；
第一预设特征获取子单元，用于若不是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第一特征；所述预设的第一特征为所述跟踪区域的图像的二值图像和/或直方图；
第一比对子单元，用于将所述预设的第一特征与所述预设的参考特征进行比对，得到第一特征变化量；
第二判断子单元，用于判断所述第一特征变化量是否超过了第一变化量阈值；
第一跟踪帧数累加子单元，用于若所述第一特征变化量未超过所述第一变化量阈值，将第一跟踪帧数加1；所述第一跟踪帧数为跟踪的直播流中第一特征变化量未超过第一变化量阈值的视频帧的帧数。
可选的，所述第一跟踪条件为：所述第一跟踪帧数等于预设的第一帧数阈值。
可选的，双向跟踪单元，包括：
第二跟踪区域确定子单元，用于在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
第二预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
第二比对子单元，用于将所述预设特征与所述预设的参考特征进行比对，得到特征变化量；
第二跟踪帧数累加子单元，用于在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
第一丢失帧数累加子单元，用于在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
第二判断子单元，用于判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
第一返回单元，用于若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
后向跟踪结束子单元，用于若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
第一目标视频帧确定子单元，用于将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
可选的，还包括：
视频帧长度计算单元，用于当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断单元，用于判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
第一缓存单元，用于若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
第二缓存单元，用于若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
可选的，所述双向跟踪单元，包括：
第三跟踪区域确定子单元，用于在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
第三预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
第三比对子单元，用于将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
第三跟踪帧数累加子单元，用于在所述第三特征变化量未超过所述第三变化量阈值的情况下，将所述第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
第二丢失帧数累加子单元，用于在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
第三判断子单元，用于判断第二丢失帧数是否超过了预设的第二丢失帧数阈值；
第二返回单元，用于若第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前的视频帧相邻且在所述当前的视频帧之前缓存的视频帧
前向跟踪结束子单元，用于若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
第二目标视频帧确定子单元，用于将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
通过本实施例的装置，通过对缓存的视频进行前向跟踪，避免了漏掉含有标题的视频帧的问题，准确的定位到标题结束时的视频帧。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种直播流中新闻标题的定位方法，其特征在于，包括：
当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
计算所述第一结束时间位置和所述第二结束时间位置对应时刻的差值，得到视频帧跟踪的时间长度；
将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一结束 时间位置和所述第二结束 时间位置之间的视频帧包含新闻标题。
2.根据权利要求1所述的方法，其特征在于，所述对所述直播流中的视频帧进行跟踪，包括：
在跟踪的视频帧的标题候选区域中确定跟踪区域；
判断是否第一次跟踪到所述跟踪区域的图像；
若是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的参考特征；所述预设的参考特征为所述跟踪区域的图像的二值图像和/或直方图；
若不是第一次跟踪到所述跟踪区域的图像，从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第一特征；所述预设的第一特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设的第一特征与所述预设的参考特征进行比对，得到第一特征变化量；
判断所述第一特征变化量是否超过了第一变化量阈值；
若所述第一特征变化量未超过所述第一变化量阈值，将第一跟踪帧数加1；所述第一跟踪帧数为跟踪的直播流中第一特征变化量未超过第一变化量阈值的视频帧的帧数。
3.根据权利要求2所述的方法，其特征在于，所述第一跟踪条件为：
所述第一跟踪帧数等于预设的第一帧数阈值。
4.根据权利要求2所述的方法，其特征在于，所述在第一线程中对所述直播流中的视频帧进行后向跟踪，以确定后向跟踪结束时的第一目标视频帧，包括：
在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设的第二特征与所述预设的参考特征进行比对，得到第二特征变化量；
在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
5.根据权利要求2所述的方法，其特征在于，在所述预设的缓存区中缓存的所述直播流的视频帧，包括：
当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
6.根据权利要求5所述的方法，其特征在于，所述在第二线程中对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧包括：
在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
在所述第三特征变化量未超过第三变化量阈值的情况下，将第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
判断所述第二丢失帧数是否超过了预设的第二丢失帧数阈值；
若所述第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前跟踪的视频帧相邻且在所述当前跟踪的视频帧之前缓存的视频帧；
若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
7.一种直播流中新闻标题的定位装置，其特征在于，包括：
跟踪单元，用于当检测到直播流中的视频帧包含标题候选区域时，对所述直播流中的视频帧进行跟踪，并记录开始时间位置；所述开始时间位置为跟踪开始时跟踪的直播流中的视频帧的时间位置；
双向跟踪单元，用于当跟踪的视频帧满足第一跟踪条件时，在第一线程中对所述直播流中的视频帧进行后向跟踪，确定后向跟踪结束时的第一目标视频帧，并在第二线程中从预设的缓存区中获取所述开始时间位置之前的多个视频帧，对所述多个视频帧进行前向跟踪，确定前向跟踪结束时的第二目标视频帧；所述预设的缓存区中保存有所述直播流中已播放的视频帧；
第一确定单元，用于确定所述第一目标视频帧在所述直播流中的第一结束时间位置；
第二确定单元，用于确定所述第二目标视频帧在所述直播流中的第二结束时间位置；
计算单元，用于计算所述第一结束时间位置和所述第二结束时间位置对应时刻的差值，得到视频帧跟踪的时间长度；
比较单元，用于将所述视频帧跟踪的时间长度与预设的时间阈值进行比较；
第三确定单元，用于若所述视频帧跟踪的时间长度大于等于所述预设的时间阈值时，则所述直播流中第一结束 时间位置和所述第二结束 时间位置之间的视频帧包含新闻标题。
8.根据权利要求7所述的装置，其特征在于，所述双向跟踪单元，包括：
第二跟踪区域确定子单元，用于在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
第二预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第二特征；所述预设的第二特征为所述跟踪区域的图像的二值图像和/或直方图；
第二比对子单元，用于将所述预设的第二特征与预设的参考特征进行比对，得到第二特征变化量，所述预设的参考特征为第一次跟踪到所述跟踪区域时，从所述跟踪区域中获取的图像的二值图像和/或直方图；
第二跟踪帧数累加子单元，用于在所述第二特征变化量未超过预设的第二变化量阈值的情况下，将第二跟踪帧数加1；所述第二跟踪帧数为后向跟踪的直播流中所述第二特征变化量未超过预设的第二变化量阈值的视频帧的帧数；
第一丢失帧数累加子单元，用于在所述第二特征变化量超过了所述第二变化量阈值的情况下，将第一丢失帧数加1；所述第一丢失帧数为后向跟踪的直播流中所述第二特征变化量超过了预设的第二变化量阈值的视频帧的帧数；
第二判断子单元，用于判断所述第一丢失帧数是否超过了预设的第一丢失帧数阈值；
第一返回单元，用于若所述第一丢失帧数未超过预设的第一丢失帧数阈值，继续对所述直播流中的视频帧进行后向跟踪，并返回执行在当前跟踪的直播流的视频帧的标题候选区域中确定跟踪区域；
后向跟踪结束子单元，用于若所述第一丢失帧数超过了预设的第一丢失帧数阈值，结束后向跟踪；
第一目标视频帧确定子单元，用于将后向跟踪结束时跟踪的所述直播流的视频帧作为第一目标视频帧。
9.根据权利要求8所述的装置，其特征在于，还包括：
视频帧长度计算单元，用于当所述预设的缓存区接收到对直播流中正在播放的视频帧进行缓存的指令时，将当前缓存区中视频帧的长度加1，得到缓存视频帧长度；
判断单元，用于判断所述缓存的视频帧的缓存队列的长度是否超过了预设的队列长度；
第一缓存单元，用于若所述缓存队列的长度超过了预设的缓存长度，将所述直播流中正在播放的视频帧缓存到所述预设的缓存区的缓存队列中，并剔除所述缓存队列中最早缓存的视频帧；所述缓存队列中的视频帧是按照缓存的时间的先后顺序进行排列的；
第二缓存单元，用于若所述缓存视频帧长度未超过预设的缓存长度，将所述直播流中正在直播的视频帧缓存到所述缓存区的缓存队列中。
10.根据权利要求9所述的装置，其特征在于，所述双向跟踪单元，包括：
第三跟踪区域确定子单元，用于在当前跟踪的视频帧的标题候选区域中确定跟踪区域；所述当前跟踪的视频帧为所述预设的缓存区中所述开始时间位置之前的多个视频帧中任意一个；
第三预设特征获取子单元，用于从当前跟踪的视频帧的所述跟踪区域的图像中获取预设的第三特征；所述预设的第三特征为所述跟踪区域的图像的二值图像和/或直方图；
第三比对子单元，用于将所述预设的第三特征与所述预设的参考特征进行比对，得到第三特征变化量；
第三跟踪帧数累加子单元，用于在所述第三特征变化量未超过第三变化量阈值的情况下，将第三跟踪帧数加1；所述第三跟踪帧数为前向跟踪的预设的缓存区中第三特征变化量未超过预设的第三变化量阈值的视频帧的帧数；
第二丢失帧数累加子单元，用于在所述第三特征变化量超过了所述第三变化量阈值的情况下，将第二丢失帧数加1；所述第二丢失帧数为前向跟踪的预设的缓存区中第三特征变化量超过了预设的第三变化量的视频帧的帧数；
第三判断子单元，用于判断第二丢失帧数是否超过了预设的第二丢失帧数阈值；
第二返回单元，用于若第二丢失帧数未超过预设的第二丢失帧数阈值时，对下一视频帧进行跟踪，并返回执行在当前后向跟踪的视频帧的标题候选区域中确定跟踪区域；所述下一视频帧为在预设的缓存区的缓存队列中与所述当前的视频帧相邻且在所述当前的视频帧之前缓存的视频帧
前向跟踪结束子单元，用于若所述第二丢失帧数超过了预设的第二丢失帧数阈值，结束前向跟踪；
第二目标视频帧确定子单元，用于将前向跟踪结束时跟踪的视频帧作为第二目标视频帧。
CN201810167606.2A 2018-02-28 2018-02-28 一种直播流中新闻标题的定位方法及装置 Active CN108377419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810167606.2A CN108377419B (zh) 2018-02-28 2018-02-28 一种直播流中新闻标题的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810167606.2A CN108377419B (zh) 2018-02-28 2018-02-28 一种直播流中新闻标题的定位方法及装置

Publications (2)

Publication Number Publication Date
CN108377419A CN108377419A (zh) 2018-08-07
CN108377419B true CN108377419B (zh) 2021-01-22

Family

ID=63018128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810167606.2A Active CN108377419B (zh) 2018-02-28 2018-02-28 一种直播流中新闻标题的定位方法及装置

Country Status (1)

Country Link
CN (1) CN108377419B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677651B (zh) * 2022-05-30 2022-09-27 山东极视角科技有限公司 一种基于低画质低帧率视频的客流统计方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990047501A (ko) * 1997-12-04 1999-07-05 정선종 뉴스 비디오 자막 추출 및 인식 방법
CN103546667A (zh) * 2013-10-24 2014-01-29 中国科学院自动化研究所 一种面向海量广播电视监管的自动新闻拆条方法
CN103856689A (zh) * 2013-10-31 2014-06-11 北京中科模识科技有限公司 面向新闻视频的人物对话字幕提取方法
CN106162223A (zh) * 2016-05-27 2016-11-23 北京奇虎科技有限公司 一种新闻视频切分方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100836197B1 (ko) * 2006-12-14 2008-06-09 삼성전자주식회사 동영상 자막 검출 장치 및 그 방법
KR101478620B1 (ko) * 2008-04-22 2015-01-05 삼성전자주식회사 녹화된 뉴스 프로그램을 기사별로 구분하는 방법 및 이를위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990047501A (ko) * 1997-12-04 1999-07-05 정선종 뉴스 비디오 자막 추출 및 인식 방법
CN103546667A (zh) * 2013-10-24 2014-01-29 中国科学院自动化研究所 一种面向海量广播电视监管的自动新闻拆条方法
CN103856689A (zh) * 2013-10-31 2014-06-11 北京中科模识科技有限公司 面向新闻视频的人物对话字幕提取方法
CN106162223A (zh) * 2016-05-27 2016-11-23 北京奇虎科技有限公司 一种新闻视频切分方法和装置

Also Published As

Publication number Publication date
CN108377419A (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN108769731B (zh) 一种检测视频中目标视频片段的方法、装置及电子设备
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
JP5420199B2 (ja) 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム
CN108924586B (zh) 一种视频帧的检测方法、装置及电子设备
US8947600B2 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
US7312819B2 (en) Robust camera motion analysis for home video
CN111695540B (zh) 视频边框识别方法及裁剪方法、装置、电子设备及介质
US20160063343A1 (en) Method for selecting frames from video sequences based on incremental improvement
EP3251053B1 (en) Detecting of graphical objects to identify video demarcations
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
CN108256508B (zh) 一种新闻主副标题检测方法及装置
CN108446603B (zh) 一种新闻标题检测方法及装置
CN114708287A (zh) 一种镜头边界检测方法、设备及存储介质
CN112489076A (zh) 一种多目标跟踪方法与系统
CN108377419B (zh) 一种直播流中新闻标题的定位方法及装置
CN108810569B (zh) 一种视频新闻分割方法和装置
Lu et al. An effective post-refinement method for shot boundary detection
CN102737383A (zh) 视频中的摄像机运动分析方法及装置
CN108388872B (zh) 一种基于字体颜色的新闻标题识别方法及装置
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
CN105830437A (zh) 一种监控系统中背景识别的方法及系统
CN115080792A (zh) 一种视频关联方法、装置、电子设备及存储介质
CN108304824B (zh) 一种基于区域颜色的新闻标题的识别方法及装置
CN110933520A (zh) 一种基于螺旋摘要的监控视频展示方法及存储介质
CN116055816A (zh) 视频片头、片尾检测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant