CN110290426B - 展示资源的方法、装置、设备及存储介质 - Google Patents

展示资源的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110290426B
CN110290426B CN201910550282.5A CN201910550282A CN110290426B CN 110290426 B CN110290426 B CN 110290426B CN 201910550282 A CN201910550282 A CN 201910550282A CN 110290426 B CN110290426 B CN 110290426B
Authority
CN
China
Prior art keywords
sub
video
optical flow
target
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910550282.5A
Other languages
English (en)
Other versions
CN110290426A (zh
Inventor
生辉
孙昌
黄东波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910550282.5A priority Critical patent/CN110290426B/zh
Publication of CN110290426A publication Critical patent/CN110290426A/zh
Priority to JP2021544837A priority patent/JP7210089B2/ja
Priority to PCT/CN2020/097192 priority patent/WO2020259412A1/zh
Priority to EP20831534.1A priority patent/EP3989591A4/en
Priority to US17/372,107 priority patent/US20210335391A1/en
Application granted granted Critical
Publication of CN110290426B publication Critical patent/CN110290426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了展示资源的方法、装置、设备及存储介质，属于计算机技术领域。方法包括：获取目标视频的一个或多个目标子视频，每个目标子视频包括多个图像帧；基于任一目标子视频的图像帧获取任一目标子视频的关键帧；根据颜色聚类将任一目标子视频的任一关键帧划分为多个区域，将多个区域中满足面积要求的区域作为任一关键帧的可选区域；在可选区域中选择目标区域，在目标区域展示资源。通过将关键帧以颜色聚类的方式自动划分成多个区域，然后在满足面积要求的可选区域中选择目标区域来展示资源，实现了自动检索以确定展示资源的合适位置，展示资源的效率较高，且能够节省时间和降低人工成本。

Description

展示资源的方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种展示资源的方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，在视频中展示资源的方式越来越多。例如，以展示广告资源为例，一种新型的展示广告资源的方式是：在视频内的桌面、墙面、相框或者广告牌等合适的位置展示平面或者实物广告资源。
在相关技术展示资源的过程中，由专业的设计人员在视频中通过人工检索，确定能够展示资源的位置，然后在该位置展示资源。
在实现本申请实施例的过程中，发明人发现相关技术至少存在以下问题：
相关技术中，由专业的设计人员在视频中通过人工检索，确定能够展示资源的位置，人工检索的效率较低，耗费大量的时间和人工精力，从而降低展示资源的效率。
发明内容
本申请实施例提供了一种展示资源的方法、装置、设备及存储介质，可用于解决相关技术中的问题。所述技术方案如下：
一方面，本申请实施例提供了一种展示资源的方法，所述方法包括：
获取目标视频的一个或多个目标子视频，每个目标子视频包括多个图像帧；
基于任一目标子视频的图像帧获取所述任一目标子视频的关键帧；
根据颜色聚类将所述任一目标子视频的任一关键帧划分为多个区域，将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域；
在所述可选区域中选择目标区域，在所述目标区域展示资源。
在一种可能实现方式中，所述获取目标视频的一个或多个目标子视频，包括：
对于所述目标视频中的任一子视频，获取所述任一子视频的光流信息；
当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频。
在一种可能实现方式中，所述光流信息包括光流密度；所述任一子视频的光流信息，包括所述任一子视频的每两个相邻图像帧之间的光流密度和所述任一子视频的平均光流密度；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值时，将所述任一子视频删除。
在一种可能实现方式中，所述光流信息包括光流角度；所述任一子视频的光流信息，包括所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
在一种可能实现方式中，所述光流信息包括光流密度和光流角度；所述任一子视频的光流信息，包括所述任一子视频的每两个相邻图像帧之间的光流密度、所述任一子视频的平均光流密度、所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值，并且第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
在一种可能实现方式中，所述将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域，包括：
当所述多个区域中的任一区域的面积与所述任一关键帧的面积的比值超过第三阈值时，将所述任一区域作为所述任一关键帧的可选区域。
在一种可能实现方式中，所述获取目标视频的一个或多个目标子视频，包括：将目标视频按照镜头进行分割，在分割得到的子视频中获取一个或多个目标子视频。
一方面，提供了一种展示资源的装置，所述装置包括：
第一获取模块，用于获取目标视频的一个或多个目标子视频，每个目标子视频包括多个图像帧；
第二获取模块，用于基于任一目标子视频的图像帧获取所述任一目标子视频的关键帧；
划分模块，用于根据颜色聚类将所述任一目标子视频的任一关键帧划分为多个区域；
选择模块，用于将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域，在所述可选区域中选择目标区域；
展示模块，用于在所述目标区域展示资源。
在一种可能实现方式中，所述第一获取模块，用于对于所述目标视频中的任一子视频，获取所述任一子视频的光流信息；当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频。
在一种可能实现方式中，所述光流信息包括光流密度；所述任一子视频的光流信息，包括所述任一子视频的每两个相邻图像帧之间的光流密度和所述任一子视频的平均光流密度；
所述第一获取模块，用于当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值时，将所述任一子视频删除。
在一种可能实现方式中，所述光流信息包括光流角度；所述任一子视频的光流信息，包括所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述第一获取模块，用于当第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
在一种可能实现方式中，所述光流信息包括光流密度和光流角度；所述任一子视频的光流信息，包括所述任一子视频的每两个相邻图像帧之间的光流密度、所述任一子视频的平均光流密度、所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述第一获取模块，用于当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值，并且第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
在一种可能实现方式中，所述选择模块，用于当所述多个区域中的任一区域的面积与所述任一关键帧的面积的比值超过第三阈值时，将所述任一区域作为所述任一关键帧的可选区域。
在一种可能实现方式中，所述第一获取模块，用于基于目标视频，将所述目标视频按照镜头进行分割，在分割得到的子视频中获取一个或多个目标子视频。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现上述任一所述的展示资源的方法。
另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现上述任一所述的展示资源的方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
将关键帧根据颜色聚类的方法自动划分成多个区域，然后在满足面积要求的可选区域中选择目标区域来展示资源。通过自动检索的方法，确定展示资源的合适位置，自动检索的效率较高，能够节省时间和降低人工成本，从而提高展示资源的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种展示资源的方法流程图；
图3是本申请实施例提供的一种检索展示资源合适位置的过程示意图；
图4是本申请实施例提供的一种光流信息示意图；
图5是本申请实施例提供的一种根据颜色聚类划分区域的示意图；
图6是本申请实施例提供的一种确定可选区域的示意图；
图7是本申请实施例提供的一种在目标区域展示资源的示意图；
图8是本申请实施例提供的一种展示资源的装置示意图；
图9是本申请实施例提供的一种展示资源的设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例实施方式作进一步地详细描述。
随着计算机技术的发展，在视频中展示资源的方式越来越多。例如，以展示广告资源为例，一种新型的展示广告资源的方式是：在视频内的桌面、墙面、相框或者广告牌等合适的位置展示平面或者实物广告资源。
对此，本申请实施例提供了一种展示资源的方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括：终端11和服务器12。
其中，终端11安装有能够展示资源的应用程序或者网页，该应用程序或者网页能够播放视频，当该应用程序或者网页中的视频需要展示资源时，可应用本申请实施例提供的方法在视频中检索展示资源的位置，然后在该位置展示资源。终端11可以获取需要展示资源的目标视频，然后将该目标视频发送至服务器12上进行存储。当然，终端11上也可以对该目标视频进行存储，从而在该目标视频需要进行资源展示时，应用本申请实施例提供的方法进行展示。
在一种可能实现方式中，终端11可以是诸如手机、平板电脑、个人计算机等的智能设备。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请实施例，也应包含在本申请实施例保护范围以内，并在此以引用方式包含于此。
基于上述图1所示的实施环境，本申请实施例提供一种展示资源的方法，以该方法应用于终端为例。如图2所示，本申请实施例提供的方法可以包括如下几个步骤：
在步骤201中，获取目标视频的一个或多个目标子视频，每个目标子视频包括多个图像帧。
视频泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过24帧画面以上时，根据视觉暂留原理，由于人眼无法辨别单幅的静态画面，因此，连续的画面播放时看上去是平滑连续的视觉效果，而这样连续的画面叫做视频。当某段视频需要进行资源展示时，终端获取该需要展示资源的视频，将该需要展示资源的视频作为目标视频。获取目标视频的方式可以是从服务器下载该目标视频或者从终端缓存的视频中提取该目标视频。由于视频包含的数据量极大而且复杂多样，在进行视频的相关处理时，通常遵循视频的层次结构特点将视频分割成多个子视频，每个子视频包括多个图像帧。
其中，视频的层次结构特点为：从底层到上层，视频的层次结构可以依次划分为帧、镜头、场景三个级别的逻辑单元。帧是视频数据最基本的组成要素，每一张图像就是一帧，一组图像帧按照特定的先后顺序和设定的速度依次连续播放就成为了视频；镜头是视频数据最小的语义单元，摄像机在一个镜头内拍摄的图像帧内容变化不大，同一个镜头中帧与帧之间是比较相似的；场景一般描述视频片段包含的高层语义内容，由几个语义相关且内容相似的镜头组成。
在一种可能实现方式中，遵循视频的层次结构特点将目标视频分割成多个子视频的方式可以是，将目标视频按照镜头进行分割，在分割得到的子视频中获取一个或多个目标子视频。
将视频按照镜头进行分割的基本原理是：通过一定的镜头边界检测算法，检测出视频中每个镜头的边界，然后在边界处将完整的视频分割成几个单独的镜头，也就是子视频。通常，将一段完整的视频按照镜头进行分割需要经过以下几个步骤：
步骤一：将视频分成图像帧，提取图像帧的特征，以图像帧的特征为基础衡量图像帧之间的内容是否发生变化。需要说明的是，此处图像帧的特征是指能够代表整个图像帧的特征。比较常用的图像帧的特征包括图像帧的颜色特征、图像帧的形状特征、图像帧的边缘轮廓特征或者图像帧的纹理特征等。本申请实施例对提取的图像帧的特征不加以限定。例如，提取图像帧的颜色特征，其中，图像帧的颜色特征是指该图像帧中出现次数最多的颜色。
步骤二：基于提取的图像帧的特征，通过一定的度量标准计算一系列的帧与帧之间的差值，帧与帧之间差值用于表示帧与帧之间的特征变化程度。例如，计算帧与帧之间的颜色特征之间的差值等。通常计算帧与帧之间的差值的度量标准为计算两幅图像帧的特征之间的距离，将该距离作为两幅图像帧之间的差值。常用的特征之间的距离的表示方式有欧式距离、马氏距离、二次距离等。本申请实施例对此不加以限定，可以根据图像帧的特征的类型灵活选择距离表示方式。
步骤三：设置一定的阈值，阈值可以根据经验设置，也可以根据视频内容进行调整。然后将一系列的帧与帧之间的差值与阈值进行比较，当某处帧与帧之间的差值超过阈值时，将此处标记为镜头边界，认定为在此处存在镜头变换，这两帧归属于不同的两个镜头；当某处帧与帧之间的差值不超过阈值时，将此处标记为镜头非边界，认定为在此处不存在镜头变换，这两帧归属于同一个镜头。
本申请实施例对镜头分割的具体方法不加以限定，只要能够将目标视频按照镜头分割成多个子视频即可。例如，利用pyDetectScene工具进行镜头分割等。在对目标视频按照镜头进行分割之后，即可对每个子视频进行处理，该过程可以如图3所示，首先获取目标视频，然后对目标视频按照镜头进行分割，得到多个子视频，接下来再在每个子视频中自动检索展示资源的合适位置。此外，子视频中可能包含一个或多个场景，例如，墙面场景、相框场景等，可以在子视频的任一场景中自动检索展示资源的合适位置，例如，在子视频的墙面场景中自动检索展示资源的合适位置。
在一种可能实现方式中，获取目标视频的一个或多个目标子视频，包括：对于目标视频中的任一子视频，获取任一子视频的光流信息；当任一子视频的光流信息不满足光流要求时，将任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频。
光流信息能够表示任一子视频的相邻图像帧之间的运动信息和任一子视频的每个图像帧的光线信息。光流信息包括光流密度、光流角度中的一种或多种。其中，光流密度表示相邻图像帧之间的运动变化，光流角度表示图像帧内的光线方向。在一种可能实现方式中，根据光流信息的不同，当任一子视频的光流信息不满足光流要求时，将任一子视频删除的具体情况也不同。具体情况包括但不限于以下三种：
情况一：光流信息包括光流密度；任一子视频的光流信息，包括任一子视频的每两个相邻图像帧之间的光流密度和任一子视频的平均光流密度；当任一子视频的任两个相邻图像帧之间的光流密度与任一子视频的平均光流密度的比值超过第一阈值时，将任一子视频删除。
光流密度表示两个相邻图像帧之间的运动变化，此处的两个相邻图像帧之间的运动变化是指按照子视频的播放顺序，从播放顺序靠前的图像帧到播放顺序靠后的相邻图像帧之间的运动变化。在同一个子视频中，两个相邻图像帧之间的光流密度越大，表示该相邻的两个图像帧之间的运动变化越大。根据任一子视频的每两个相邻图像帧之间的光流密度，可以得到该子视频的平均光流密度。将任两个相邻图像帧之间的光流密度与平均光流密度进行比对，若比值超过第一阈值，说明该子视频的帧间运动变化较大，不适合在该子视频的区域中展示资源，将该子视频删除。
在一种可能实现方式中，任一子视频的每两个相邻图像帧之间的光流密度可以是指任一子视频的每两个相邻图像帧的像素点之间的光流密度。例如，如图4(1)所示，该图的横坐标表示光流密度，纵坐标表示像素点数量。根据每个光流密度对应的像素点的数量，即可得到任一子视频的平均光流密度。
第一阈值可以根据经验设置，也可根据应用场景自由调整。例如，第一阈值可以设置为2，也就是在该子视频中，当存在某两个相邻图像帧之间的光流密度与平均光流密度的比值超过2时，将该子视频删除。
情况二：光流信息包括光流角度；任一子视频的光流信息，包括任一子视频的每个图像帧的光流角度、任一子视频的平均光流角度和任一子视频的光流角度标准差；当第一数值与任一子视频的光流角度标准差的比值超过第二阈值时，将任一子视频删除，第一数值表示任一子视频的任一图像帧的光流角度与任一子视频的平均光流角度的差值。
光流角度表示图像帧内的光线方向。根据任一子视频的所有图像帧的光流角度，可以得到该子视频的平均光流角度和该子视频的光流角度标准差。其中，光流角度标准差是指每个图像帧的光流角度与子视频的平均光流角度的差值的平方的算术平均数的平方根，它反映子视频内光流角度的离散程度。例如，若任一子视频中包含n个图像帧，这n个图像帧中任一图像帧的光流角度为ai，该子视频的平均光流角度为b，则该子视频的光流角度标准差c的计算公式如下：
Figure BDA0002105297210000091
将任一子视频的每个图像帧的光流角度与该子视频的平均光流角度求差值，然后将该差值的绝对值与该子视频的光流角度标准差进行比对，若比值超过第二阈值，说明该子视频中的光线跳变较大，不适合在该子视频的区域中展示资源，将该子视频删除。
在一种可能实现方式中，任一子视频的每个图像帧的光流角度可以是指任一子视频的每个图像帧的像素点的光流角度。例如，如图4(2)所示，该图的横坐标表示光流角度，纵坐标表示像素点数量。根据每个光流角度对应的像素点的数量，即可得到任一子视频的平均光流角度及任一子视频的光流角度标准差。
第二阈值可以根据经验设置，也可根据应用场景自由调整。例如，第二阈值可以设置为3，也就是在该子视频中，若存在某个图像帧的光流角度与平均光流角度的差值的绝对值，与光流角度标准差的比值超过3，则将该子视频删除。
情况三：光流信息包括光流密度和光流角度；任一子视频的光流信息，包括任一子视频的每两个相邻图像帧之间的光流密度、任一子视频的平均光流密度、任一子视频的每个图像帧的光流角度、任一子视频的平均光流角度和任一子视频的光流角度标准差；当任一子视频的任两个相邻图像帧之间的光流密度与任一子视频的平均光流密度的比值超过第一阈值，并且第一数值与任一子视频的光流角度标准差的比值超过第二阈值时，将任一子视频删除。第一数值表示任一子视频的任一图像帧的光流角度与任一子视频的平均光流角度的差值。
第一阈值和第二阈值可以根据经验设置，也可根据应用场景自由调整。例如，第一阈值可以设置为2，第二阈值可以设置为3，也就是在该子视频中，当存在某两个相邻图像帧之间的光流密度与平均光流密度的比值超过2，并且存在某个图像帧的光流角度与平均光流角度的差值的绝对值，与光流角度标准差的比值超过3时，则将该子视频删除。
在根据上述任意一种情况删除不满足光流要求的子视频之后，将未被删除的子视频中的一个或多个子视频作为目标子视频。
在步骤202中，基于任一目标子视频的图像帧获取任一目标子视频的关键帧。
将目标视频按照镜头进行分割后，一段完整的目标视频被分成了几个在语义上相对独立的镜头单元，也就是子视频。但是，每个子视频包含的数据量仍然庞大。接下来从每个子视频中提取合适数量的图像帧作为该子视频的关键帧，以减少数据处理量，从而提高在目标视频中检索展示资源的位置的效率。
关键帧是能描述视频关键内容的图像帧，通常指角色或者物体运动或变化中的关键动作所在的图像帧。在一个子视频中，图像帧与图像帧之间的内容变化不太大，所以可以提取最有代表性的一个图像帧或者多个图像帧作为整个该子视频的关键帧。
合适的关键帧提取方法应该能提取最有代表性的图像帧，同时又不产生太多冗余。常见的关键帧提取方法有基于镜头边界提取关键帧、基于视觉内容提取关键帧、基于运动分析提取关键帧、基于聚类提取关键帧等。本申请实施例对关键帧提取方法不加以限定，只要能够在根据镜头分割得到的子视频中提取出合适的关键帧即可。例如，对于视频内容相对简单、场景比较固定或者镜头活动较少的情况，可以采用基于镜头边界提取关键帧的方法提取关键帧，也就是将每个子视频的首帧、中间帧和末尾帧作为关键帧。再例如，对于视频内容相对复杂的情况，可以采用基于聚类提取关键帧的方法提取关键帧，也就是通过聚类分析将子视频的图像帧分成若干类，选取最靠近聚类中心的图像帧作为该子视频的关键帧。
在获取每一目标子视频的关键帧之后，在检索每个目标子视频中展示资源的位置时，可以只在关键帧中进行检索，提高检索效率。
在步骤203中，根据颜色聚类将任一目标子视频的任一关键帧划分为多个区域，将多个区域中满足面积要求的区域作为任一关键帧的可选区域。
关键帧是子视频中最具有代表性的图像帧，在每个关键帧中，有多种区域，例如，墙面区域、桌面区域、相框区域等。不同的区域具有不同的颜色。根据颜色聚类的方法，能够将每个关键帧划分为多个区域，同一区域内的颜色相近，不同区域内的颜色相差较大。例如，将如图5(1)所示的关键帧进行颜色聚类，可以得到如图5(2)所示的聚类结果，在聚类结果中包含多个区域，不同的区域的大小相差较大。
颜色聚类是指基于颜色特征进行的聚类。所以在聚类之前，需要提取关键帧中所有像素点的颜色特征。提取关键帧中所有像素点的颜色特征时需要选取合适的颜色特征空间。常用的颜色特征空间有RGB颜色空间、HSV颜色空间、Lab颜色空间和YUV颜色空间等。本申请实施例对选取的颜色空间不加以限定。例如，基于HSV颜色空间提取关键帧中所有像素点的颜色特征。HSV颜色空间中的H表示色调，S表示饱和度，V表示亮度。一般使用角度度量色调H，取值范围为[0,360]，它是最容易影响人的视觉感知的一种属性，可以反映光的不同颜色，且不会受到色彩明暗的影响。饱和度S的取值范围为[0,1]，它反映同一色调中白色所占的比例，值越大颜色越饱和。亮度V用来描述色彩明暗的灰度程度，取值范围为[0,225]。基于HSV颜色空间提取的关键帧中任一像素点的颜色特征可以用向量(hi,si,vi)表示。
在得到关键帧中所有像素点的颜色特征之后，对关键帧中的所有像素点进行颜色聚类，基于聚类结果将关键帧按照划分为多个区域。对关键帧中的所有像素点进行颜色聚类的基本步骤如下：
步骤1：设置颜色特征距离阈值d。将第一个像素点的颜色特征作为第一个集合S1的初始聚类中心C1，S1中像素点的数目N1＝1。通过调节颜色特征距离阈值d的大小，可以控制同一集合中的颜色复杂程度。
步骤2：在任一关键帧中，对每个像素点的颜色特征计算它与C1的颜色特征距离Di。对应任一像素点，若Di不超过颜色特征距离阈值d，则将该像素点添加到集合S1中，并修正集合S1的聚类中心和像素点数目；若Di超过颜色特征距离阈值d，则将该像素点作为新的集合S2的聚类中心C2，依次类推。
步骤3：对于每个集合Si，如果存在集合Sj，使得两集合的聚类中心的颜色特征距离小于颜色特征距离阈值d，则将集合Sj合并至集合Si中，并修正集合Si的聚类中心和像素点数目，并删除集合Sj。
步骤4：重复步骤2和步骤3，直到所有特征点都进入不同的集合中，此时，每个集合都收敛。
收敛之后的每个集合都处于一个区域，不同的集合处于不同的区域。通过上述过程，即可将任一关键帧划分为多个区域，在每个区域内的所有像素点的颜色特征相近。在多个区域中可能含有一些面积很小的区域，在一种可能实现方式中，将包含的像素点的数量小于数量阈值的区域删除。其中，数量阈值可以根据关键帧中的像素点的数量设置，也可以根据关键帧的内容进行调整。
实现颜色聚类的算法有多种，在一种可能实现方式中，采用Mean Shift(均值漂移)算法对关键帧进行颜色聚类。
在根据颜色聚类将任一关键帧划分为多个区域之后，将多个区域中满足面积要求的区域作为任一关键帧的可选区域。在一种可能实现方式中，将满足面积要求区域作为任一关键帧的可选区域，包括：当多个区域中的任一区域的面积与任一关键帧的面积的比值超过第三阈值时，将任一区域作为任一关键帧的可选区域。
具体而言，对于任一关键帧，在经过颜色聚类之后，得到多个区域。将每个区域的面积与该关键帧的面积进行比对。若某个区域的面积与该关键帧的面积的比值超过第三阈值，将该区域作为该关键帧的可选区域。此过程可以检索出面积较大的区域用于展示资源，从而提高展示资源的效果。第三阈值可以根据经验设置，也可根据应用场景自由调整。例如，当检索表示墙面的区域时，第三阈值可以设置为1/8，也就是要求可选区域的面积与关键帧面积的比值超过1/8，这样得到的可选区域表示墙面的可能性较大。如图6所示，将面积超过关键帧面积的1/8的区域作为该关键帧的可选区域。
在步骤204中，在可选区域中选择目标区域，在目标区域展示资源。
在获取每个关键帧的可选区域之后，即可得到每个关键帧能够展示资源的潜在位置，可以在该位置展示资源。例如，以资源为广告资源为例，对于如图7(1)所示的关键帧而言，在所有关键帧的可选区域中选择一个或多个可选区域作为目标区域来展示广告资源，展示结果如图7(2)所示。在同一子视频的不同关键帧可以展示相同的资源，也可以展示不同的资源。同样地，在不同的子视频的不同关键帧可以展示相同的资源，也可以展示不同的资源。在得到所有子视频的所有关键帧的可选区域之后，即可在所有子视频的所有关键帧的可选区域中选择目标区域来展示资源。例如，可以将所有可选区域均作为目标区域，也可以将可选区域中的部分可选区域作为目标区域。
在本申请实施例中，将关键帧根据颜色聚类的方法自动划分成多个区域，然后在满足面积要求的可选区域中选择目标区域来展示资源。通过自动检索的方法，确定展示资源的合适位置，自动检索的效率较高，能够节省时间和降低人工成本，从而提高展示资源的效率。
基于相同技术构思，参见图8，本申请实施例提供了一种展示资源的装置，该装置包括：
第一获取模块801，用于获取目标视频的一个或多个目标子视频，每个目标子视频包括多个图像帧；
第二获取模块802，用于基于任一目标子视频的图像帧获取任一目标子视频的关键帧；
划分模块803，用于对于任一关键帧，根据颜色聚类将任一关键帧划分为多个区域；
选择模块804，用于将多个区域中满足面积要求的区域作为任一关键帧的可选区域，在可选区域中选择目标区域；
展示模块805，用于在目标区域展示资源。
在一种可能实现方式中，第一获取模块801，用于对于目标视频中的任一子视频，获取任一子视频的光流信息；当任一子视频的光流信息不满足光流要求时，将任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频。
在一种可能实现方式中，光流信息包括光流密度；任一子视频的光流信息，包括任一子视频的每两个相邻图像帧之间的光流密度和任一子视频的平均光流密度；
第一获取模块801，用于当任一子视频的任两个相邻图像帧之间的光流密度与任一子视频的平均光流密度的比值超过第一阈值时，将任一子视频删除。
在一种可能实现方式中，光流信息包括光流角度；任一子视频的光流信息，包括任一子视频的每个图像帧的光流角度、任一子视频的平均光流角度和任一子视频的光流角度标准差；
第一获取模块801，用于当第一数值与任一子视频的光流角度标准差的比值超过第二阈值时，将任一子视频删除，第一数值表示任一子视频的任一图像帧的光流角度与任一子视频的平均光流角度的差值。
在一种可能实现方式中，光流信息包括光流密度和光流角度；任一子视频的光流信息，包括任一子视频的每两个相邻图像帧之间的光流密度、任一子视频的平均光流密度、任一子视频的每个图像帧的光流角度、任一子视频的平均光流角度和任一子视频的光流角度标准差；
第一获取模块801，用于当任一子视频的任两个相邻图像帧之间的光流密度与任一子视频的平均光流密度的比值超过第一阈值，并且第一数值与任一子视频的光流角度标准差的比值超过第二阈值时，将任一子视频删除，第一数值表示任一子视频的任一图像帧的光流角度与任一子视频的平均光流角度的差值。
在一种可能实现方式中，选择模块804，用于当多个区域中的任一区域的面积与任一关键帧的面积的比值超过第三阈值时，将任一区域作为任一关键帧的可选区域。
在一种可能实现方式中，第一获取模块801，用于将目标视频按照镜头进行分割，在分割得到的子视频中获取一个或多个目标子视频。
在本申请实施例中，将关键帧根据颜色聚类的方法自动划分成多个区域，然后在满足面积要求的可选区域中选择目标区域来展示资源。通过自动检索的方法，确定展示资源的合适位置，自动检索的效率较高，能够节省时间和降低人工成本，从而提高展示资源的效率。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种展示资源的设备结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请实施例中方法实施例提供的展示资源的方法。
在一些实施例中，终端还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一种可能实现方式中，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请实施例对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。在一种可能实现方式中，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件908可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端的前面板。接近传感器916用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行，以实现上述任一种展示资源的方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述任一种展示资源的方法。
在一种可能实现方式中，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请实施例的示例性实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (9)

1.一种展示资源的方法，其特征在于，所述方法包括：
对于目标视频中的任一子视频，获取所述任一子视频的光流信息；
当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频，每个目标子视频包括多个图像帧；
基于任一目标子视频的图像帧获取所述任一目标子视频的关键帧；
根据颜色聚类将所述任一目标子视频的任一关键帧划分为多个区域，将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域；
在所述可选区域中选择目标区域，在所述目标区域展示资源；
其中，所述不满足光流要求包括：所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值，和所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值与所述任一子视频的光流角度标准差的比值超过第二阈值中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述光流信息包括光流密度；所述任一子视频的光流信息包括所述任一子视频的每两个相邻图像帧之间的光流密度和所述任一子视频的平均光流密度；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值时，将所述任一子视频删除。
3.根据权利要求1所述的方法，其特征在于，所述光流信息包括光流角度；所述任一子视频的光流信息包括所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
4.根据权利要求1所述的方法，其特征在于，所述光流信息包括光流密度和光流角度；所述任一子视频的光流信息包括所述任一子视频的每两个相邻图像帧之间的光流密度、所述任一子视频的平均光流密度、所述任一子视频的每个图像帧的光流角度、所述任一子视频的平均光流角度和所述任一子视频的光流角度标准差；
所述当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，包括：
当所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值，且第一数值与所述任一子视频的光流角度标准差的比值超过第二阈值时，将所述任一子视频删除，所述第一数值表示所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值。
5.根据权利要求1-4任一所述的方法，其特征在于，所述将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域，包括：
当所述多个区域中的任一区域的面积与所述任一关键帧的面积的比值超过第三阈值时，将所述任一区域作为所述任一关键帧的可选区域。
6.根据权利要求1-4任一所述的方法，其特征在于，所述对于目标视频中的任一子视频，获取所述任一子视频的光流信息之前，还包括：
将目标视频按照镜头进行分割得到子视频。
7.一种展示资源的装置，其特征在于，所述装置包括：
第一获取模块，用于对于目标视频中的任一子视频，获取所述任一子视频的光流信息；当所述任一子视频的光流信息不满足光流要求时，将所述任一子视频删除，将未被删除的子视频中的一个或多个子视频作为目标子视频，每个目标子视频包括多个图像帧；
第二获取模块，用于基于任一目标子视频的图像帧获取所述任一目标子视频的关键帧；
划分模块，用于根据颜色聚类将所述任一目标子视频的任一关键帧划分为多个区域；
选择模块，用于将所述多个区域中满足面积要求的区域作为所述任一关键帧的可选区域，在所述可选区域中选择目标区域；
展示模块，用于在所述目标区域展示资源；
其中，所述不满足光流要求包括：所述任一子视频的任两个相邻图像帧之间的光流密度与所述任一子视频的平均光流密度的比值超过第一阈值，和所述任一子视频的任一图像帧的光流角度与所述任一子视频的平均光流角度的差值与所述任一子视频的光流角度标准差的比值超过第二阈值中的至少一种。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如权利要求1至6任一所述的展示资源的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如权利要求1至6任一所述的展示资源的方法。
CN201910550282.5A 2019-06-24 2019-06-24 展示资源的方法、装置、设备及存储介质 Active CN110290426B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910550282.5A CN110290426B (zh) 2019-06-24 2019-06-24 展示资源的方法、装置、设备及存储介质
JP2021544837A JP7210089B2 (ja) 2019-06-24 2020-06-19 リソースの表示方法、装置、機器及びコンピュータプログラム
PCT/CN2020/097192 WO2020259412A1 (zh) 2019-06-24 2020-06-19 展示资源的方法、装置、设备及存储介质
EP20831534.1A EP3989591A4 (en) 2019-06-24 2020-06-19 METHOD OF DISPLAYING RESOURCE, DEVICE, APPARATUS, AND STORAGE MEDIA
US17/372,107 US20210335391A1 (en) 2019-06-24 2021-07-09 Resource display method, device, apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910550282.5A CN110290426B (zh) 2019-06-24 2019-06-24 展示资源的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110290426A CN110290426A (zh) 2019-09-27
CN110290426B true CN110290426B (zh) 2022-04-19

Family

ID=68004686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910550282.5A Active CN110290426B (zh) 2019-06-24 2019-06-24 展示资源的方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20210335391A1 (zh)
EP (1) EP3989591A4 (zh)
JP (1) JP7210089B2 (zh)
CN (1) CN110290426B (zh)
WO (1) WO2020259412A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290426B (zh) * 2019-06-24 2022-04-19 腾讯科技（深圳）有限公司 展示资源的方法、装置、设备及存储介质
CN113676753B (zh) * 2021-10-21 2022-02-15 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
CN114283356B (zh) * 2021-12-08 2022-11-29 上海韦地科技集团有限公司 一种移动图像的采集分析系统及方法
CN116168045B (zh) * 2023-04-21 2023-08-18 青岛尘元科技信息有限公司 扫变镜头的分割方法和系统、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148919A (zh) * 2010-02-09 2011-08-10 新奥特（北京）视频技术有限公司 一种球类检测的方法及系统
JP2012015894A (ja) * 2010-07-02 2012-01-19 Jvc Kenwood Corp 色補正装置及び方法
CN103297811A (zh) * 2012-02-24 2013-09-11 北京明日时尚信息技术有限公司 一种智能嵌入式视频广告的实现方法
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN106340023A (zh) * 2016-08-22 2017-01-18 腾讯科技（深圳）有限公司 图像分割的方法和装置
CN108052876A (zh) * 2017-11-28 2018-05-18 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JP3781835B2 (ja) * 1996-10-04 2006-05-31 日本放送協会 動画像領域分割装置
US6778224B2 (en) * 2001-06-25 2004-08-17 Koninklijke Philips Electronics N.V. Adaptive overlay element placement in video
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
JP2012530287A (ja) * 2009-06-15 2012-11-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 代表的な画像を選択するための方法及び装置
US8369686B2 (en) * 2009-09-30 2013-02-05 Microsoft Corporation Intelligent overlay for video advertising
JPWO2012005242A1 (ja) * 2010-07-05 2013-09-02 日本電気株式会社 画像処理装置及び画像分割方法
CN103092963A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
US10586570B2 (en) * 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
JP6352126B2 (ja) * 2014-09-17 2018-07-04 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム
CN105513098B (zh) * 2014-09-26 2020-01-21 腾讯科技（北京）有限公司 一种图像处理的方法和装置
US10127945B2 (en) * 2016-03-15 2018-11-13 Google Llc Visualization of image themes based on image content
US10839573B2 (en) * 2016-03-22 2020-11-17 Adobe Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106503632A (zh) * 2016-10-10 2017-03-15 南京理工大学 一种基于视频分析的自动扶梯智能安全监测方法
JP6862905B2 (ja) * 2017-02-24 2021-04-21 沖電気工業株式会社 画像処理装置およびプログラム
CN107103301B (zh) * 2017-04-24 2020-03-10 上海交通大学 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
US10096169B1 (en) * 2017-05-17 2018-10-09 Samuel Chenillo System for the augmented assessment of virtual insertion opportunities
TWI651662B (zh) * 2017-11-23 2019-02-21 財團法人資訊工業策進會 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
US10699137B2 (en) * 2018-08-14 2020-06-30 Verizon Connect Ireland Limited Automatic collection and classification of harsh driving events in dashcam videos
CN110290426B (zh) * 2019-06-24 2022-04-19 腾讯科技（深圳）有限公司 展示资源的方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148919A (zh) * 2010-02-09 2011-08-10 新奥特（北京）视频技术有限公司 一种球类检测的方法及系统
JP2012015894A (ja) * 2010-07-02 2012-01-19 Jvc Kenwood Corp 色補正装置及び方法
CN103297811A (zh) * 2012-02-24 2013-09-11 北京明日时尚信息技术有限公司 一种智能嵌入式视频广告的实现方法
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN106340023A (zh) * 2016-08-22 2017-01-18 腾讯科技（深圳）有限公司 图像分割的方法和装置
CN108052876A (zh) * 2017-11-28 2018-05-18 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置

Also Published As

Publication number Publication date
WO2020259412A1 (zh) 2020-12-30
EP3989591A4 (en) 2022-08-17
JP7210089B2 (ja) 2023-01-23
JP2022519355A (ja) 2022-03-23
EP3989591A1 (en) 2022-04-27
CN110290426A (zh) 2019-09-27
US20210335391A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US11244170B2 (en) Scene segmentation method and device, and storage medium
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110059685B (zh) 文字区域检测方法、装置及存储介质
WO2020221012A1 (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
WO2020019873A1 (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
US11386586B2 (en) Method and electronic device for adding virtual item
CN110796248A (zh) 数据增强的方法、装置、设备及存储介质
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN111754386A (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN115497082A (zh) 判断视频中字幕的方法、设备和存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
CN111639639B (zh) 检测文本区域的方法、装置、设备及存储介质
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
WO2023066373A1 (zh) 确定样本图像的方法、装置、设备及存储介质
CN110662113B (zh) 视频播放方法、装置和计算机可读存储介质
CN110929675B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN110458289B (zh) 多媒体分类模型的构建方法、多媒体分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant