CN107135421B - 视频特征检测方法及装置 - Google Patents

视频特征检测方法及装置 Download PDF

Info

Publication number
CN107135421B
CN107135421B CN201710443330.1A CN201710443330A CN107135421B CN 107135421 B CN107135421 B CN 107135421B CN 201710443330 A CN201710443330 A CN 201710443330A CN 107135421 B CN107135421 B CN 107135421B
Authority
CN
China
Prior art keywords
video
target
frame
line segments
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710443330.1A
Other languages
English (en)
Other versions
CN107135421A (zh
Inventor
殷松迁
张洋
姜卫平
李国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bohui Technology Inc
Original Assignee
Beijing Bohui Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bohui Technology Inc filed Critical Beijing Bohui Technology Inc
Priority to CN201710443330.1A priority Critical patent/CN107135421B/zh
Publication of CN107135421A publication Critical patent/CN107135421A/zh
Application granted granted Critical
Publication of CN107135421B publication Critical patent/CN107135421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例是关于一种视频检测方法及装置，其方法包括：监测终端中播放的视频，判断所述视频中是否存在包含视频信息框的目标视频帧；如果所述视频中存在包含视频信息框的目标视频帧，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；根据所述附加信息框的位置信息提取所述附加信息框中的内容信息。这样通过检测视频中被加载的视频信息框，来确定附加信息框，并获取附加信息框的位置信息，以便在检测到附加信息框中的内容信息不是预先设置的内容信息时，可以采取有效措施，进而可以及时阻止附加信息框中显示的非法内容信息。

Description

视频特征检测方法及装置
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种视频特征检测方法及装置。
背景技术
电视机是家庭很重要的家电设备，很多用户都有经常看电视的习惯。随着电视机越来越智能化及可供播放视频节目的种类不断增多，例如，目前很多电视机支持通过电视盒子等设备联网获取视频的功能，用户在观看电视节目时，可以在线观看直播的视频，还可以点播自己想看的视频节目。
在很多情况下，电视机或电视盒子的运营商为了增加广告收入，会在电视机播放的视频中插入广告。示例性的，如图1所示，用户在通过遥控器控制电视机切换所需观看的电视节目时，会在视频中弹出视频信息框，视频信息框100可以显示电视机正在播放的视频信息等内容。在视频信息框100的右侧还有附加信息框200，附加信息框200用户加载所需显示广告的内容。一般情况下，附加信息框200的大小会随着加载的广告内容的信息容量稍微有所调整。
然而，发明人在实现本发明的过程中发现，虽然将电视机联网播放视频节目可以给用户带来很大的方便，但是由于目前电视机和电视盒子等设备的网络防御力较低，一旦受到某种非法的网络攻击，附加信息框200中可能会被加载非预置的内容，比如非法的宣传信息等，这会给用户及社会带来严重的不良影响。因此，需要实时提取附加信息框200中的加载的信息，以便监管。
发明内容
为克服相关技术中存在的相关问题，本发明实施例提供一种视频特征检测方法及装置。
根据本发明实施例的第一方面，提供一种视频特征检测方法，包括：
监测终端中播放的视频，判断所述视频中是否存在包含视频信息框的目标视频帧；
如果所述视频中存在包含视频信息框的目标视频帧，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；
根据所述附加信息框的位置信息提取所述附加信息框中的内容信息。
在本发明实施例提供的一种可能的设计方式中，所述监测终端中播放的视频，包括：
判断是否接收到用户触发产生的预设信号；
如果接收到用户触发产生的预设信号，执行所述判断所述视频中是否存在包含视频信息框的目标视频帧的步骤。
在本发明实施例提供的一种可能的设计方式中，所述判断所述视频中是否存在包含视频信息框的目标视频帧，包括：
获取所述视频信息框的预设位置信息，所述预设位置信息为在所述目标视频帧中对应的第一图像区域；
提取所述第一图像区域中的目标特征；
通过感知哈希方式判断所述目标特征是否与预设模板特征匹配，所述预设模板特征通过所述感知哈希方式得到；
如果所述目标特征与预设模板特征匹配，确定所述视频中存在包含视频信息框的目标视频帧。
在本发明实施例提供的一种可能的设计方式中，所述获取所述目标视频帧中附加信息框的位置信息，包括：
提取所述目标视频帧的第二图像区域，所述第二图像区域是与所述视频信息框相邻的预设区域；
判断所述第二图像区域是否包含预设数量的目标线段；
如果所述第二图像区域包含预设数量的目标线段，判断所述预设数量的目标线段的空间关系是否为矩形；
如果所述预设数量的目标线段的空间关系为矩形，获取包含所述目标线段所在区域的位置信息，并将所述包含所述目标线段所在区域的位置信息作为所述附加信息框的位置信息。
在本发明实施例提供的一种可能的设计方式中，所述判断所述预设数量的目标线段的空间关系是否为矩形，包括：
分别提取所述第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域，所述子目标图像区域分别位于所述第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，所述子目标图像区域为矩形区域，且所述四个子目标图像区域的面积之和小于所述第二图像区域中预设数量的目标线段构成的图像区域的面积；
判断所述四个子目标图像区域中包含的所述目标线段是否满足预设关系，所述预设关系包括：所述相邻的所述目标线段相互垂直，相对的所述目标线段相互平行；
如果所述四个子目标图像区域中包含的所述目标线段满足预设关系，确定所述预设数量的目标线段的空间关系为矩形。
根据本发明实施例的第二方面，提供一种视频特征检测装置，包括：
监测单元，用于监测终端中播放的视频；
判断单元，用于判断所述视频中是否存在包含视频信息框的目标视频帧；
获取单元，用于在所述视频中存在包含视频信息框的目标视频帧时，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；
提取单元，用于根据所述附加信息框的位置信息提取所述附加信息框中的内容信息。
在本发明实施例提供的一种可能的设计方式中，所述监测单元，包括信号接收判断模块；
所述信号接收判断模块，用于判断是否接收到用户触发产生的预设信号；
所述判断单元，还用于在接收到用户触发产生的预设信号时，判断所述视频中是否存在包含视频信息框的目标视频帧。
在本发明实施例提供的一种可能的设计方式中，所述判断单元，包括：
信息获取模块，用于获取所述视频信息框的预设位置信息，所述预设位置信息为在所述目标视频帧中对应的第一图像区域；
特征提取模块，用于提取所述第一图像区域中的目标特征；
特征匹配判断模块，用于通过感知哈希方式判断所述目标特征是否与预设模板特征匹配，所述预设模板特征通过所述感知哈希方式得到；
视频帧确定模块，用于在所述目标特征与预设模板特征匹配时，确定所述视频中存在包含视频信息框的目标视频帧。
在本发明实施例提供的一种可能的设计方式中，所述获取单元，包括：
图像区域提取模块，用于提取所述目标视频帧的第二图像区域，所述第二图像区域是与所述视频信息框相邻的预设区域；
线段判断模块，用于判断所述第二图像区域是否包含预设数量的目标线段；
矩形判断模块，用于在所述第二图像区域包含预设数量的目标线段时，判断所述预设数量的目标线段的空间关系是否为矩形；
位置信息获取模块，用于在所述预设数量的目标线段的空间关系为矩形时，获取包含所述目标线段所在区域的位置信息；
第一位置信息确定模块，用于将所述包含所述目标线段所在区域的位置信息作为所述附加信息框的位置信息。
在本发明实施例提供的一种可能的设计方式中，所述矩形判断模块，包括：
目标图像提取模块，用于分别提取所述第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域，所述子目标图像区域分别位于所述第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，所述子目标图像区域为矩形区域，且所述四个子目标图像区域的面积之和小于所述第二图像区域中预设数量的目标线段构成的图像区域的面积；
目标线段判断模块，用于判断所述四个子目标图像区域中包含的所述目标线段是否满足预设关系，所述预设关系包括：所述相邻的所述目标线段相互垂直，相对的所述目标线段相互平行；
矩形确定模块，用于在所述四个子目标图像区域中包含的所述目标线段满足预设关系时，确定所述预设数量的目标线段的空间关系为矩形。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例提供的视频特征检测方法及装置，通过监测终端播放的视频，判断该视频中是否存在包含视频信息框的目标视频，如果存在，获取目标视频帧中附加信息框的位置信息，并根据附加信息框的位置信息提取附加信息框中的内容信息。由于视频信息框和附加信息框会被同时加载到视频画面中，并且视频信息框更容易被检测到，因此，本发明实施例通过检测视频中被加载的视频信息框，来确定附加信息框，并获取附加信息框的位置信息，以便在检测到附加信息框中的内容信息不是预先设置的内容信息时，可以采取有效措施，进而可以及时阻止附加信息框中显示的非法内容信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明实施例的原理。
图1是本发明实施例中提供的一种场景示意图；
图2是根据本发明一示例性实施例示出的一种视频特征检测方法的流程图；
图3是图2中步骤S210的流程图；
图4是图2中步骤S220的流程图；
图5是图2中步骤S230的流程图；
图6是图5中步骤S233的流程图；
图7是本发明实施例提供的附加信息框检测示意图；
图8是根据本发明一示例性实施例示出的一种视频特征检测装置的结构示意图；
图9是图8中监测单元10的示意图；
图10是图8中判断单元20的示意图；
图11是图8中获取单元30的示意图；
图12是图11中矩形判断模块33的示意图；
图13是根据本发明一示例性实施例示出的一种终端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
如图1所示，为防止因电视盒子或者电视机等受到非法网络攻击而造成附加信息框200被加载非法内容信息，本发明实施例首先提供了一种视频特征检测方法，如图2所示，在方法可以包括如下步骤：
在步骤S210中，监测终端中播放的视频。
在本发明提供的实施例中，终端可以是图1所示的电视机，另外，终端还可以是如电脑、手机之类的视频播放设备，本发明实施例不限于此。
以图1为例，由于图1中电视播放的视频画面中，信息框100和附加信息框200一般是在用户切换频道或需要查看视频信息时等情况下才会显示，正常情况下，电视机在播放视频时，一般不会弹出视频信息框100和附加信息框200。因此，为了提高检测效率，无需实时对附加信息框200所在的图像区域进行识别，以判断附加信息框200中的内容是否为预置内容。
因此，本发明实施例在监测终端播放的视频过程中，例如可以通过获取用户产生的触发信号等方式，来判断用户是否执行切换电视频道等操作，以便在附加信息框200在视频画面出现时，再提取广告框中的内容信息，避免因附加信息框200还未出现在视频画面时提取相关信息而造成的误报问题，进而可以大大提高识别的准确性。
在步骤S220中，判断视频中是否存在包含视频信息框的目标视频帧。
如果终端播放的视频画面中出现视频信息框，那么可以将视频中包含视频信息框的视频帧作为目标视频帧。
如图1例所述，一般情况下，视频信息框100被加载到视频画面时，视频信息框100的大小固定，并且在视频画面中位置也固定，并且视频信息框100还具有某些固定的特征。因此，本发明实施例通过利用视频信息框100的这些特性，可以快速识别视频中是否包含视频信息框100。例如，本发明实施例可以通过识别视频画面中是否包含视频信息框100的特征，来确定当前视频帧是否为目标视频帧。
如果视频中存在包含视频信息框的目标视频帧，在步骤S230中，获取目标视频帧中附加信息框的位置信息。
其中，视频信息框和附加信息框同时包含在目标视频帧中。
本发明实施例中的附加信息框相当于图1中的附加信息框200。由于视频信息框100具有固定的特征，并且在视频画面中的位置不变，因此，视频信息框100相对于附加信息框200而言更容易检测，由于视频信息框100与附加信息框200会被同时加载到视频画面中，因此，本发明实施例可以通过检测视频信息框100来确定附加信息框200是否被加载到视频画面中。
另外，本发明实施例获取目标视频帧中附加信息框的位置信息可以至少包括几种方式，方式一是根据视频信息框的位置信息来确定附加信息框的位置信息。以图1为例，由于附加信息框200位于视频信息框的右侧，并且二者相邻，因此在确定视频信息框100被加载到视频画面当中时，可以确定附加信息框200也会同时被加载到视频画面中，这时可以利用视频信息框100与附加信息框200之间的相对位置关系，来确定附加信息框200的位置信息。
然而，在某些情况下，如果附加信息框200中包含的信息内容增加或减少，附加信息框200的大小可能会发生变化，这时先根据视频信息框100和附加信息框200之间的相对位置关系，截取附加信息框200所在的大致区域，然后通过边缘检测的方式确定附加信息框200的位置信息。
在步骤S240中，根据附加信息框的位置信息提取附加信息框中的内容信息。
本发明实施例在获取到附加信息框的位置信息后，就可以提取该位置信息在视频画面中对应的图像区域，可以利用光学字符识别(Optical Character Recognition，OCR)等方式识别出该图像区域的内容信息是否为预设信息。
本发明实施例提供的视频特征检测方法，通过监测终端播放的视频，判断该视频中是否存在包含视频信息框的目标视频，如果存在，获取目标视频帧中附加信息框的位置信息，并根据附加信息框的位置信息提取附加信息框中的内容信息。由于视频信息框和附加信息框会被同时加载到视频画面中，并且视频信息框更容易被检测到，因此，本发明实施例通过检测视频中被加载的视频信息框，来确定附加信息框，并获取附加信息框的位置信息，以便在检测到附加信息框中的内容信息不是预先设置的内容信息时，可以采取有效措施，进而可以及时阻止附加信息框中显示的非法内容信息。
为了详述如何监测终端播放的视频，以判断视频中是否存在包含视频信息框的目标视频帧，作为图2方法的细化，结合上述各实施例，在本发明提供的又一实施例中，如图3所示，步骤S210还可以包括如下步骤：
在步骤S211中，判断是否接收到用户触发产生的预设信号。
如果接收到用户触发产生的预设信号，执行步骤S220。也就是说，如果接收到用户触发产生的预设信号，再执行所述判断所述视频中是否存在包含视频信息框的目标视频帧的步骤。
如上所述，以图1为例，由于图1中电视播放的视频画面中，信息框100和附加信息框200一般是在用户切换频道或需要查看视频信息时等情况下才会显示，正常情况下，电视机在播放视频时，一般不会弹出视频信息框100和附加信息框200。因此，本发明实施例监测终端中播放视频的过程，可以是监测是否获取到用户触发产生预设信号的过程，例如，该预设信号可以是用户通过触发遥控器切换频道时产生的遥控信号等。
为了详述终端播放的当前视频帧是否为包含视频信息框的目标视频帧，作为图2或图3方法的细化，在本发明提供的又一实施例中，如图4所示，步骤S220还可以包括如下步骤：
在步骤S221中，获取所述视频信息框的预设位置信息。
其中，预设位置信息在目标视频帧中对应的第一图像区域。
结合图1所示，由于视频信息框100在视频画面中加载的位置固定，并且视频信息框100的具有某些固定的特征，如视频信息框100的大小和形状不变，及视频信息框100中特定的位置会显示相应的信息等。
在步骤S222中，提取第一图像区域中的目标特征。
在步骤S223中，通过感知哈希方式判断目标特征是否与预设模板特征匹配。
如果目标特征与预设模板特征匹配，在步骤S224中，确定视频中存在包含视频信息框的目标视频帧。
如果目标特征与预设模板特征不匹配，在步骤S225中，确定视频中不存在包含视频信息框的目标视频帧。
由于视频信息框的预设位置信息对应目标视频帧中的第一图像区域，因此可以通过提取该第一图像区域中的特征，并通过哈希方式判断该特征是否与预设模板特征匹配，如果匹配，就可以确定视频中存在包含视频信息的目标视频帧；否则，可以确定视频中不存在包含视频信息的目标视频帧
其中，本发明实施例通过感知哈希(Perceptual Hashing)的方式进行特征提取，另外本发明实施例中的预设模板特征，可以是通过感知哈希方式得到。由于感知哈希是多媒体数据集到感知摘要集的一类单向映射，即将具有相同感知内容的多媒体数字表示唯一地映射为一段数字摘要，使得本发明实施例在识别的过程中可以满足感知鲁棒性和安全性。
示例性的，图1中的视频信息框100中，左侧有台号频道名右侧有节目等。这些结构特征可以保证感知哈希算法提取出明显的特征用于匹配。
本发明提供的实施例中，附加信息框200主要用来加载广告，由于广告可能在不同时期会有所变化，因此，附加信息框中加载的广告内容可能会有所改变，在加载的广告内容较多时，附加信息框200可能会适应性变大，反之会适应性变小，即附加信息框200的边界可能会改变，因此，为了详述如何准确获取目标视频帧中附加信息框的位置信息，作为图2或图3方法的细化，在本发明提供的又一实施例中，如图5所示，步骤S230还可以包括如下步骤：
在步骤S231中，提取目标视频帧的第二图像区域。
其中，第二图像区域是与所述视频信息框相邻的预设区域。
由于视频信息框与附加信息框会被同时加载到视频当中，并且视频信息框与附加信息之间的位置关系相对一定，因此，根据视频信息框的位置信息，可以确定一个包括附加信息框的第二图像区域。
在步骤S232中，判断第二图像区域是否包含预设数量的目标线段。
结合图1，由于附加信息框200具有边缘线条粗大的特点，因此本发明实施例可以通过边缘检测的方式来确定第二图像区域是否包含附加信息框200。
如果第二图像区域包含预设数量的目标线段，在步骤S233中，判断预设数量的目标线段的空间关系是否为矩形，如果所述预设数量的目标线段的空间关系为矩形，获取包含目标线段所在区域的位置信息，并将包含目标线段所在区域的位置信息作为附加信息框的位置信息。
示例性的，本发明实施例中可以通过高斯滤波器平滑处理第二图像区域，并通过Canny算子处理平滑处理后的第二图像区域。通过判断Canny算子处理后的第二图像区域中是否存在预设数量的目标线段，如果存在，还需要进一步判断这些线段的空间位置关系，由于本发明实施例中的附加信息框为矩形，在这些目标线段构成的空间位置关系为矩形时，很可能说明这些目标线段为附加信息框的边，进而可以确定第二图像区域为附加信息框所在的区域。其中，目标线段与视频信息框相邻。将目标线段包含的图像区域确定为附加信息框所在的区域，并将获取到的目标线段对应的位置信息作为附加信息框的位置信息。
需要说明的是，本发明实施例在对第二图像区域进行识别处理的过程中，需要对第二图像区域中的像素进行滤波等处理，使得识别出相邻的两个目标线段很可能不直接相连，即这些目标线段无法直接构成矩形，因此，可以获取这些目标线段所在的直线，判断这些直线构成的封闭的空间关系是否为矩形，如果是，可以确定这些线段构成的空间关系为矩形。
本发明提供的该实施例通过利用附加信息框的特点，通过边缘检测的方式来确定附加信息框所在的具体区域，进而通过提取该区域中的内容信息，来识别是否为预置的内容信息，避免因非法网络攻击等原因造成附加信息框中显示非法内容的问题。
为了详述如何判断预设数量的目标线段的空间关系是否为矩形，作为图6方法的细化，在本发明提供的又一实施例中，如图6所示，步骤S233还可以包括如下步骤：
在步骤S2331中，分别提取第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域。
其中，该子目标图像区域分别位于第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，子目标图像区域为矩形区域，且四个子目标图像区域的面积之和小于第二图像区域中预设数量的目标线段构成的图像区域的面积。另外，子目标图像区域分别位于第二图像区域中的边缘区域，子目标图像区域为矩形区域，且四个子目标图像区域的面积之和小于预设图像区域的面积。本发明实施例中的边缘区域，是指同时包含第二图像区域内和第二图像区域外的部分区域，以便确定附件信息框的边界位置。
在步骤S2332中，判断所述四个子目标图像区域中包含的目标线段是否满足预设关系。
其中，预设关系包括：相邻的所述目标线段相互垂直，相对的目标线段相互平行。
如果四个子目标图像区域中包含的目标线段满足预设关系，在步骤S2333中，确定预设数量的目标线段的空间关系为矩形。
示例性的，如图7所示，通过视频信息框所在目标视频帧的位置，可以大致确定附加信息框所在目标视频帧中的位置区域。通过分别提取该区域中边缘的四个子图像，来确定该区域是否包含附加信息框。其中，图7中标号200表示附加信息框所在区域，标号201表示子图像的所在区域。
需要说明的是，本发明实施例中检测到的目标线段，其空间关系为矩形，即相邻两个线段所在的直线相互垂直，相对的线段相互平行，但是由于在对第二图像区域进行图像处理过程中，可能包含有多个满足该空间关系的线段，使得不确定哪些是属于附加信息框的目标线段，因此，在本发明实施例中，结合图1所示，可以根据视频信息框100和附加信息框200的位置关系来进一步确定。例如，本发明实施例中，视频信息框100与附加信息框200相邻，那么视频信息框100最右侧的边与附加信息框最左端的边重叠或者相邻较近，又例如，视频信息框100和附加信息框200最低端的位置在同一条直线上等等，因此，可以根据这种关系来确定出目标线段。在本发明提供的其他实施例中，还可以选取第二图像区域中构成的矩形面积最大的线段作为目标线段，以便可以完成提取出附加信息框中包含的内容信息，进而对该内容信息进行识别。
本发明提供的该实施例通过利用附加信息框边缘特征较为明显的特点，通过边缘检测的方式可以确定附加信息框的所在区域，即便附件信息框因加载内容的多少使得附加信息框的大小有所变化，本发明实施例还可以通过上述方式快速准确确定附加信息框的位置信息，进而提取附加信息框中的内容信息，以便判断该内容信息是否为预先设置的内容信息，避免因非法网络攻击等原因造成附加信息框中显示非法内容的问题。
通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另外，作为对上述各实施例的实现，本发明实施例还提供了一种视频特征检测装置，该装置位于终端中，如图8所示，该装置包括：
监测单元10，用于监测终端中播放的视频；
判断单元20，用于判断所述视频中是否存在包含视频信息框的目标视频帧；
获取单元30，用于在所述视频中存在包含视频信息框的目标视频帧时，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；
提取单元40，用于根据所述附加信息框的位置信息提取所述附加信息框中的内容信息。
在本发明又一实施例中，基于图8，如图9所示，所述监测单元10，包括信号接收判断模块11；
所述信号接收判断模块11，用于判断是否接收到用户触发产生的预设信号；
所述判断单元20，还用于在接收到用户触发产生的预设信号时，判断所述视频中是否存在包含视频信息框的目标视频帧。
在本发明又一实施例中，基于图8或图9，如图10所示，所述判断单元20，包括：
信息获取模块21，用于获取所述视频信息框的预设位置信息，所述预设位置信息为在所述目标视频帧中对应的第一图像区域；
特征提取模块22，用于提取所述第一图像区域中的目标特征；
特征匹配判断模块23，用于通过感知哈希方式判断所述目标特征是否与预设模板特征匹配，所述预设模板特征通过所述感知哈希方式得到；
视频帧确定模块24，用于在所述目标特征与预设模板特征匹配时，确定所述视频中存在包含视频信息框的目标视频帧。
在本发明又一实施例中，基于图8或图9，如图11所示，所述获取单元30，包括：
图像区域提取模块31，用于提取所述目标视频帧的第二图像区域，所述第二图像区域是与所述视频信息框相邻的预设区域；
线段判断模块32，用于判断所述第二图像区域是否包含预设数量的目标线段；
矩形判断模块33，用于在所述第二图像区域包含预设数量的目标线段时，判断所述预设数量的目标线段的空间关系是否为矩形；
位置信息获取模块34，用于在所述预设数量的目标线段的空间关系为矩形时，获取包含所述目标线段所在区域的位置信息；
第一位置信息确定模块35，用于将所述包含所述目标线段所在区域的位置信息作为所述附加信息框的位置信息。
在本发明又一实施例中，基于图11，如图12所示，所述矩形判断模块33，包括：
目标图像提取模块331，用于分别提取所述第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域，所述子目标图像区域分别位于所述第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，所述子目标图像区域为矩形区域，且所述四个子目标图像区域的面积之和小于所述第二图像区域中预设数量的目标线段构成的图像区域的面积；
目标线段判断模块332，用于判断所述四个子目标图像区域中包含的所述目标线段是否满足预设关系，所述预设关系包括：所述相邻的所述目标线段相互垂直，相对的所述目标线段相互平行；
矩形确定模块333，用于在所述四个子目标图像区域中包含的所述目标线段满足预设关系时，确定述预设数量的目标线段的空间关系为矩形。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供的视频特征检测装置，通过监测终端播放的视频，判断该视频中是否存在包含视频信息框的目标视频，如果存在，获取目标视频帧中附加信息框的位置信息，并根据附加信息框的位置信息提取附加信息框中的内容信息。由于视频信息框和附加信息框会被同时加载到视频画面中，并且视频信息框更容易被检测到，因此，本发明实施例通过检测视频中被加载的视频信息框，来确定附加信息框，并获取附加信息框的位置信息，以便在检测到附加信息框中的内容信息不是预先设置的内容信息时，可以采取有效措施，进而可以及时阻止附加信息框中显示的非法内容信息。
本发明实施例还提供一种终端，如图13所示，该终端210包括：至少一个处理器211、至少一个总线212、至少一个通信接口213和至少一个存储器214，其中，
存储器214用于存储计算机执行指令；存储器214可以包括只读存储器和随机存取存储器，并向处理器211提供指令和数据。存储器214的一部分还可以包括非易失性随机存取存储器(NVRAM，Non-Volatile Random Access Memory)；
处理器211与通信接口213、存储器214通过总线212相连接；
在本发明一个实施例中，当计算机运行时，处理器211执行存储器214中存储的计算机执行指令，处理器211可以执行上述实施例中图2至图6所示实施例中的视频特征检测方法的步骤。
可以理解的是，本发明实施例可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里公开的发明实施例后，将容易想到本发明实施例的其它实施方案。本申请旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求来限制。

Claims (8)

1.一种视频特征检测方法，其特征在于，包括：
监测终端中播放的视频，判断所述视频中是否存在包含视频信息框的目标视频帧；
如果所述视频中存在包含视频信息框的目标视频帧，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；
根据所述附加信息框的位置信息提取所述附加信息框中的内容信息；
其中，所述获取所述目标视频帧中附加信息框的位置信息，包括：
提取所述目标视频帧的第二图像区域，所述第二图像区域是与所述视频信息框相邻的预设区域；
判断所述第二图像区域是否包含预设数量的目标线段；
如果所述第二图像区域包含预设数量的目标线段，判断所述预设数量的目标线段的空间关系是否为矩形；
如果所述预设数量的目标线段的空间关系为矩形，获取包含所述目标线段所在区域的位置信息，并将所述包含所述目标线段所在区域的位置信息作为所述附加信息框的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述监测终端中播放的视频，包括：
判断是否接收到用户触发产生的预设信号；
如果接收到用户触发产生的预设信号，执行所述判断所述视频中是否存在包含视频信息框的目标视频帧的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述判断所述视频中是否存在包含视频信息框的目标视频帧，包括：
获取所述视频信息框的预设位置信息，所述预设位置信息为在所述目标视频帧中对应的第一图像区域；
提取所述第一图像区域中的目标特征；
通过感知哈希方式判断所述目标特征是否与预设模板特征匹配，所述预设模板特征通过所述感知哈希方式得到；
如果所述目标特征与预设模板特征匹配，确定所述视频中存在包含视频信息框的目标视频帧。
4.根据权利要求1所述的方法，其特征在于，所述判断所述预设数量的目标线段的空间关系是否为矩形，包括：
分别提取所述第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域，所述子目标图像区域分别位于所述第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，所述子目标图像区域为矩形区域，且所述四个子目标图像区域的面积之和小于所述第二图像区域中预设数量的目标线段构成的图像区域的面积；
判断所述四个子目标图像区域中包含的所述目标线段是否满足预设关系，所述预设关系包括：所述相邻的所述目标线段相互垂直，相对的所述目标线段相互平行；
如果所述四个子目标图像区域中包含的所述目标线段满足预设关系，确定所述预设数量的目标线段的空间关系为矩形。
5.一种视频特征检测装置，其特征在于，包括：
监测单元，用于监测终端中播放的视频；
判断单元，用于判断所述视频中是否存在包含视频信息框的目标视频帧；
获取单元，用于在所述视频中存在包含视频信息框的目标视频帧时，获取所述目标视频帧中附加信息框的位置信息，所述视频信息框和所述附加信息框同时包含在所述目标视频帧中；
提取单元，用于根据所述附加信息框的位置信息提取所述附加信息框中的内容信息；
其中，所述获取单元，包括：
图像区域提取模块，用于提取所述目标视频帧的第二图像区域，所述第二图像区域是与所述视频信息框相邻的预设区域；
线段判断模块，用于判断所述第二图像区域是否包含预设数量的目标线段；
矩形判断模块，用于在所述第二图像区域包含预设数量的目标线段时，判断所述预设数量的目标线段的空间关系是否为矩形；
位置信息获取模块，用于在所述预设数量的目标线段的空间关系为矩形时，获取包含所述目标线段所在区域的位置信息；
第一位置信息确定模块，用于将所述包含所述目标线段所在区域的位置信息作为所述附加信息框的位置信息。
6.根据权利要求5所述的装置，其特征在于，所述监测单元，包括信号接收判断模块；
所述信号接收判断模块，用于判断是否接收到用户触发产生的预设信号；
所述判断单元，还用于在接收到用户触发产生的预设信号时，判断所述视频中是否存在包含视频信息框的目标视频帧。
7.根据权利要求5或6所述的装置，其特征在于，所述判断单元，包括：
信息获取模块，用于获取所述视频信息框的预设位置信息，所述预设位置信息为在所述目标视频帧中对应的第一图像区域；
特征提取模块，用于提取所述第一图像区域中的目标特征；
特征匹配判断模块，用于通过感知哈希方式判断所述目标特征是否与预设模板特征匹配，所述预设模板特征通过所述感知哈希方式得到；
视频帧确定模块，用于在所述目标特征与预设模板特征匹配时，确定所述视频中存在包含视频信息框的目标视频帧。
8.根据权利要求5所述的装置，其特征在于，所述矩形判断模块，包括：
目标图像提取模块，用于分别提取所述第二图像区域中预设数量的目标线段构成的图像区域中的四个子目标图像区域，所述子目标图像区域分别位于所述第二图像区域中预设数量的目标线段构成的图像区域中的边缘区域，所述子目标图像区域为矩形区域，且所述四个子目标图像区域的面积之和小于所述第二图像区域中预设数量的目标线段构成的图像区域的面积；
目标线段判断模块，用于判断所述四个子目标图像区域中包含的所述目标线段是否满足预设关系，所述预设关系包括：所述相邻的所述目标线段相互垂直，相对的所述目标线段相互平行；
矩形确定模块，用于在所述四个子目标图像区域中包含的所述目标线段满足预设关系时，确定所述预设数量的目标线段的空间关系为矩形。
CN201710443330.1A 2017-06-13 2017-06-13 视频特征检测方法及装置 Active CN107135421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710443330.1A CN107135421B (zh) 2017-06-13 2017-06-13 视频特征检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710443330.1A CN107135421B (zh) 2017-06-13 2017-06-13 视频特征检测方法及装置

Publications (2)

Publication Number Publication Date
CN107135421A CN107135421A (zh) 2017-09-05
CN107135421B true CN107135421B (zh) 2020-08-07

Family

ID=59734263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710443330.1A Active CN107135421B (zh) 2017-06-13 2017-06-13 视频特征检测方法及装置

Country Status (1)

Country Link
CN (1) CN107135421B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110173752B (zh) * 2018-06-19 2021-04-13 安徽新大陆特种涂料有限责任公司 智能化加湿式取暖器
CN110662113B (zh) * 2019-09-25 2021-06-11 腾讯音乐娱乐科技（深圳）有限公司 视频播放方法、装置和计算机可读存储介质
CN111556336B (zh) * 2020-05-12 2023-07-14 腾讯科技（深圳）有限公司 一种多媒体文件处理方法、装置、终端设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313142A (zh) * 2013-05-26 2013-09-18 中国传媒大学 面向三网融合的视频内容安全责任认定方法
CN103336954A (zh) * 2013-07-08 2013-10-02 北京捷成世纪科技股份有限公司 一种视频中的台标识别方法和装置
CN104581431A (zh) * 2014-11-28 2015-04-29 安科智慧城市技术（中国）有限公司 一种视频认证方法及装置
CN105554348A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 基于视频信息的图像显示方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543096A (zh) * 2003-04-30 2004-11-03 ���µ�����ҵ��ʽ���� 自动检测电视广告的装置及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313142A (zh) * 2013-05-26 2013-09-18 中国传媒大学 面向三网融合的视频内容安全责任认定方法
CN103336954A (zh) * 2013-07-08 2013-10-02 北京捷成世纪科技股份有限公司 一种视频中的台标识别方法和装置
CN104581431A (zh) * 2014-11-28 2015-04-29 安科智慧城市技术（中国）有限公司 一种视频认证方法及装置
CN105554348A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 基于视频信息的图像显示方法及装置

Also Published As

Publication number Publication date
CN107135421A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
US11425454B2 (en) Dynamic video overlays
CN106254933B (zh) 字幕提取方法及装置
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
US20140201773A1 (en) Systems and methods for on-screen graphics detection
US9082181B2 (en) Image processing method and apparatus
CN110083740B (zh) 视频指纹提取及视频检索方法、装置、终端及存储介质
CN107135421B (zh) 视频特征检测方法及装置
KR20070112130A (ko) 그래픽 객체를 검출하기 위한 방법 및 전자 디바이스
CN111666907B (zh) 一种视频中对象信息的识别方法、装置及服务器
CN108615030B (zh) 一种标题一致性检测方法、装置及电子设备
JP7331146B2 (ja) サブタイトルのクロスボーダーの処理方法、装置及び電子装置
CN110009555B (zh) 图像虚化方法、装置、存储介质及电子设备
CN109271228A (zh) 应用的界面功能识别方法、装置及电子设备
CN107203638B (zh) 监控视频处理方法、装置及系统
CN111339368B (zh) 基于视频指纹的视频检索方法、装置和电子设备
CN109543628B (zh) 一种人脸解锁、底库录入方法、装置和电子设备
WO2018000699A1 (zh) 一种电视频道识别方法、装置及电视机、服务器
CN108090391B (zh) 二维码的识别方法及装置
CN117745589A (zh) 水印去除方法、装置及设备
KR20180025754A (ko) 디스플레이장치 및 그 제어방법
CN111586427B (zh) 直播平台的主播识别方法、装置、电子设备及存储介质
CN111091118A (zh) 图像的识别方法、装置及电子设备和存储介质
CN113596354B (zh) 图像处理方法、装置、计算机设备及存储介质
CN117351391A (zh) 一种视频处理方法、装置及设备
CN113947745A (zh) 一种数据处理方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant