CN110381369B - 推荐信息植入位置的确定方法、装置、设备及存储介质 - Google Patents

推荐信息植入位置的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110381369B
CN110381369B CN201910655586.8A CN201910655586A CN110381369B CN 110381369 B CN110381369 B CN 110381369B CN 201910655586 A CN201910655586 A CN 201910655586A CN 110381369 B CN110381369 B CN 110381369B
Authority
CN
China
Prior art keywords
target video
region
target
video frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910655586.8A
Other languages
English (en)
Other versions
CN110381369A (zh
Inventor
生辉
黄东波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910655586.8A priority Critical patent/CN110381369B/zh
Publication of CN110381369A publication Critical patent/CN110381369A/zh
Priority to PCT/CN2020/096299 priority patent/WO2021012837A1/zh
Priority to US17/379,835 priority patent/US11928863B2/en
Application granted granted Critical
Publication of CN110381369B publication Critical patent/CN110381369B/zh
Priority to US18/434,655 priority patent/US20240177481A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种推荐信息植入位置的确定方法、装置、设备及存储介质，涉及人工智能领域，该方法包括：获取目标视频；根据目标视频的场景变化情况获取目标视频帧，目标视频帧用于进行位置检测；对目标视频帧进行图像识别，得到目标视频帧的蒙版信息，蒙版信息中包括目标类型的物体在目标视频帧中的第一区域；基于第一区域确定推荐信息在目标视频帧中的植入位置。通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中自动植入推荐信息的过程，提高了推荐信息植入的效率。

Description

推荐信息植入位置的确定方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种推荐信息植入位置的确定方法、装置、设备及存储介质。
背景技术
视频植入(Video-In)广告是一种较为新颖的广告形式，通过在视频内的桌面、墙面、相框和广告牌等位置植入平面广告或者实物从而对产品进行推广，也即在广告植入的过程中，首先需要对视频中的桌面、墙面、相框和广告牌等位置进行确定后，才能实现平面广告或者实物的准确植入。
相关技术中，由人工通过对目标视频进行观看，并在观看的过程中对每个场景中出现的能够植入广告的待植入位置进行标记后，根据标记位置由视频剪辑人员将广告内容进行植入，如：标记位置在视频中墙面A上，则视频剪辑人员将产品B的广告海报植入至视频中的该墙面A上。
然而，通过上述方式进行广告植入时，需要检测人员对目标视频进行完整的观看，并在观看的过程中对待植入位置进行观察并标记，完成对目标视频的标记工作所需时长通常达到目标视频总时长的1.5倍，标记工作量较大，标记的效率较低，从而广告植入的效率也较低。
发明内容
本申请实施例提供了一种推荐信息植入位置的确定方法、装置、设备及存储介质，可以解决对目标视频的标记工作所需时长通常较长，标记工作量较大，标记的效率较低，从而广告植入的效率也较低的问题。所述技术方案如下：
一方面，提供了一种推荐信息植入位置的确定方法，所述方法包括：
获取目标视频，所述目标视频为待植入推荐信息的视频；
根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，所述目标视频帧为用于对所述推荐信息的植入位置进行确定的视频帧，所述场景变化情况是根据所述目标视频中至少一组视频帧之间的相似度确定的；
对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，所述蒙版信息中包括至少两种类型的物体在所述目标视频帧中所对应的区域，其中包括目标类型的物体在所述目标视频帧中对应的第一区域；
基于所述第一区域确定所述推荐信息在所述目标视频帧中的植入位置。
一方面，提供了一种推荐信息植入位置的确定装置，所述装置包括：
获取模块，用于获取目标视频，所述目标视频为待植入推荐信息的视频；
所述获取模块，还用于根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，所述目标视频帧为用于对所述推荐信息的植入位置进行确定的视频帧，所述场景变化情况是根据所述目标视频中至少一组视频帧之间的相似度确定的；
识别模块，用于对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，所述蒙版信息中包括至少两种类型的物体在所述目标视频帧中所对应的区域，其中包括目标类型的物体在所述目标视频帧中对应的第一区域；
确定模块，用于基于所述第一区域确定所述推荐信息在所述目标视频帧中的植入位置。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的推荐信息植入位置的确定方法。
一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的推荐信息植入位置的确定方法。
一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述本申请实施例中提供的推荐信息植入位置的确定方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中以Video-In形式自动植入推荐信息的过程，减少了推荐信息植入过程的工作量，并提高了推荐信息植入的效率，节约时间资源以及人力资源。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的推荐信息植入效果的示意图；
图2是本申请一个示例性实施例提供的推荐信息植入位置的确定方法的流程图；
图3是基于图2示出的实施例提供的根据蒙版信息确定推荐信息植入位置的过程示意图；
图4是本申请一个示例性实施例提供的推荐信息植入位置的确定方法的过程示意图；
图5是本申请一个示例性实施例提供的推荐信息植入位置的确定方法的流程图；
图6是基于图5示出的实施例提供的第一区域的过滤过程示意图；
图7是基于图5示出的实施例提供的中心角色确定过程的示意图
图8是基于图5示出的实施例提供的推荐信息植入位置确定过程的示意图；
图9是本申请一个示例性实施例提供的推荐信息植入位置的确定方法的流程图；
图10是本申请一个示例性实施例提供的推荐信息植入位置的确定装置的结构框图；
图11是本申请另一个示例性实施例提供的推荐信息植入位置的确定装置的结构框图；
图12是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简单介绍：
蒙版：是指通过对版面区域进行覆盖从而对版面区域进行选择的方式，可选地，该选择方式可以是通过蒙版进行正向选择的方式，也可以是通过蒙版进行反向选择的方式，也即被覆盖区域可以是被选择的区域，也可以非覆盖区域是被选择的区域。可选地，针对需要选择的区域，通过有色半透明或不透明的色彩区域进行覆盖后，作为对该区域的选择。可选地，针对不同类型的区域，通过不同颜色的色彩区域进行覆盖，或，针对不同物体对应的区域，通过不同颜色的色彩区域进行覆盖。示意性的，针对图像识别结果对图像中的物体通过蒙版的形式进行展示时，识别得到图像中包括物体A、物体B以及物体C，则在图像中识别得到的物体A所在区域上方叠加红色半透明蒙版以表示该物体A在图像中的位置，在图像中识别得到的物体B所在区域上方叠加绿色半透明蒙版以表示该物体B在图像中的位置，在图像中识别得到的物体C所在区域上方叠加蓝色半透明蒙版以表示该物体C在图像中的位置。
示意性的，本申请涉及的应用场景至少包括如下场景：
服务器中包括推荐信息植入模块，通过服务器将产品a对应的推荐信息植入至目标视频中。
首先，服务器从该目标视频获取需要进行位置检测的目标视频帧，该推荐信息植入模块中包括实例分割模型，通过该实例分割模型对该目标视频帧进行图像识别，得到该目标视频帧中的物体类型以及物体类型对应的区域，如：通过实例分割模型识别得到目标视频帧中包括：桌面类型在区域b、角色类型在区域c和区域d、花瓶类型在区域e、杯子类型在区域f，根据实例分割模型的识别结果，在桌面类型对应的区域b中确定出需要植入推荐信息的位置，并将推荐信息植入至该目标推荐帧对应的场景片段中。
示意性的，以将牛奶对应的推荐信息植入至目标视频中为例进行说明，服务器获取该牛奶对应的三维模型后，取该三维模型的前景图像作为推荐信息。服务器获取目标视频后，将该目标视频以场景划分为多个视频片段，示意性的，目标视频的视频内容中包括如下场景：人物吃饭、人物交谈、人物走路以及人物开会，其中，人物吃饭的场景中包括正面拍摄的吃饭和侧面拍摄的吃饭，则获取正面拍摄的吃饭视频片段，并取出该视频片段中的首帧关键帧作为目标视频帧，对该目标视频帧进行图像识别后，得到桌面区域1、人物区域2、餐盒区域3、水杯区域4以及电子设备区域5，基于桌面区域1确定出推荐信息的植入位置后，将牛奶三维模型的前景图像植入至该植入位置。
示意性的，图1是本申请一个示例性实施例提供的推荐信息植入效果的示意图，如图1所示，目标视频帧100中包括人物110、桌面120以及水杯130，通过对该目标视频帧100进行图像识别，得到桌面120对应的区域后，将推荐信息140，也即牛奶的三维模型前景图像，对应该桌面120进行植入。
可选地，上述示意性的应用场景中，以推荐信息为牛奶的推荐信息为例进行说明，实际操作中，该推荐信息还可以是咖啡、花瓶、手机、耳机等产品的推荐信息，本申请实施例对此不加以限定。
可选地，上述示意性的应用场景中，以推荐信息为牛奶的三维模型的前景图像为例进行说明，实际操作中，该推荐信息还可以实现为产品的广告牌、产品在其他物体上的贴图信息等，本申请实施例对此不加以限定。
值得注意的是，上述应用场景仅为示意性的举例，在实际操作中，通过上述推荐信息植入模块确定推荐信息的植入位置的应用场景都可以使用本申请实施例中提供的推荐信息植入位置的确定方法，本申请实施例对此不加以限定。
图2是本申请一个示例性实施例提供的推荐信息植入位置的确定方法的流程图，以该方法应用于计算机设备中为例进行说明，其中，计算机设备可以是服务器，如图2所示，该方法包括：
步骤201，获取目标视频。
可选地，该目标视频为待植入推荐信息的视频。
可选地，该目标视频为服务器中已存储的视频，或，该目标视频为服务器接收到的终端发送的视频。
可选地，该目标视频包括电视剧、电影、短视频、社交平台中发布的视频、音乐短片(Music Video，MV)中的至少一种。
步骤202，根据目标视频的场景变化情况获取目标视频中的目标视频帧，该目标视频帧为用于对推荐信息的植入位置进行确定的视频帧。
可选地，根据场景变化情况对目标视频中的目标视频帧进行获取的方式包括如下方式中的至少一种：
第一，对目标视频的场景进行检测，并根据场景变化情况对目标视频进行视频分片，得到与场景变化情况对应的视频片段，获取视频片段中的关键帧作为目标视频帧；
可选地，该目标视频帧可以是视频片段中的第一帧关键帧，也可以是该目标视频片段中的所有关键帧，本申请实施例对此不加以限定。可选地，该目标视频帧用于对推荐信息在上述场景变化情况对应的视频片段中的植入位置进行确定。
可选地，该场景变化情况是根据目标视频中至少一组视频帧之间的相似度确定得到的。可选地，该场景变化情况可以根据目标视频中相邻两帧视频帧之之间的相似度确定，也即该至少一组视频帧中的每组视频帧包括该目标视频中的相邻两帧；也可以根据每隔预设帧数的视频帧之间的相似度确定，也即该至少一组视频帧中的每组视频帧中包括每隔预设帧数的两帧视频帧。可选地，当该至少一组视频帧之间的相似度低于预设相似度时，则该一组视频帧中时间戳靠前的视频帧对应当前场景之前一个场景，而该一组视频帧中时间戳靠后的视频帧对应当前场景。示意性的，确定目标视频中第i个视频帧和第i+1个视频帧之间的相似度低于预设相似度，则第i个视频帧对应第k个场景，也即对应第k段视频片段，第i+1个视频帧对应第k+1个场景，也即对应第k+1段视频片段。
可选地，该视频分片过程中，对视频进行拆分的规则是基于镜头切分算法实现的。
可选地，根据场景变化情况对目标视频进行视频分片时，根据场景变化情况对该目标视频进行视频分片，示意性的，当前分片得到的视频片段为第i个视频片段，当场景变化程度较大时，将当前视频帧作为第i+1个视频片段的第一帧视频帧，i为正整数。
示意性的，对该目标视频的场景进行检测后，根据场景变化情况将该目标视频分片得到k个视频片段，将该k个视频片段中每个视频片段的第一个关键帧作为目标视频帧，也即，共k个目标视频帧，k为正整数。
第二，对目标视频的场景进行检测，并根据场景变化情况的变化程度，将变化程度较大时的视频帧作为目标视频帧。
可选地，持续对目标视频中的连续视频帧进行场景变化程度的检测，并当被检测的两帧视频帧之间的场景变化程度较大时，将时间戳较为靠后的视频帧作为目标视频帧。其中，检测过程可以对相邻两帧视频帧进行检测，如：对第i帧视频帧与第i+1帧视频帧之间的场景变化程度进行检测，也可以对每隔预设数量的两帧视频帧进行检测，如：该预设数量为n时，对第i帧视频帧与第i+n帧视频帧之间的场景变化程度进行检测。
步骤203，对目标视频帧进行图像识别，得到目标视频帧的蒙版信息，该蒙版信息中包括目标类型的物体在目标视频帧中的第一区域。
可选地，该蒙版信息用于表示物体在目标视频帧中所对应的区域，可选地，该蒙版信息中包括至少两种类型的物体在目标视频帧中所对应的区域，其中包括目标类型的物体在目标视频帧中对应的第一区域。
可选地，服务器中包括实例分割模型，该实例分割模型为通过标注有物体类别的样本图像训练得到的模型。通过将该目标视频帧输入该实例分割模型，由该实例分割模型对该目标视频帧中的图像内容进行识别，并输出得到从该目标视频帧中识别得到的物体的类别，以及物体在目标视频帧中所占的区域。
可选地，该实例分割模型为基于实例分割(Instance segmentation)算法的MaskR-CNN模型。
可选地，通过实例分割模型对该目标视频帧进行识别后，还可以得到对目标视频帧中的蒙版结果集合，该蒙版结果集合中包括识别得到的每个物体的物体分类、物体区域以及置信度，其中，该置信度用于表示该物体的识别结果(物体分类和物体区域)的预测准确率。可选地，将蒙版结果集合中置信度小于置信度要求的结果去除后，得到过滤后的蒙版结果集合作为蒙版信息，也即保留置信度达到置信度要求的物体识别结果作为该目标视频帧的蒙版信息。
可选地，该目标类型包括桌面类型、地面类型、窗台类型、柜面类型中的至少一种。
步骤204，基于该第一区域确定推荐信息在目标视频帧中的植入位置。
可选地，当该第一区域为桌面、地面、窗台、柜面中的至少一种平面所在的区域时，该推荐信息的植入位置是通过对平面上的其他物体进行遮挡时所处的位置确定的。
可选地，从蒙版信息中确定关于该第一区域存在连通的目标子区域，将目标子区域所处的位置确定为推荐信息在目标视频帧中的植入位置。
可选地，与第一区域存在连通的目标子区域是指被该第一区域包围或者半包围的子区域，其中，当目标子区域被第一区域包围时，即该目标子区域对应的物体被放置于该第一区域对应的平面上(如：手机被放置于桌面上)，且该目标子区域对应的物体的放置范围在该第一区域对应的平面内，且显示范围在该第一区域的范围内；当该目标子区域被该第一区域半包围时，即该目标子区域对应的物体被放置于第一区域对应的平面上，且该目标子区域对应的物体的显示范围超出该第一区域的范围。
可选地，将目标子区域所处的位置确定为推荐信息的植入位置时，可以以该目标子区域的侧边或轮廓上的任意一点为基准作为推荐信息植入时的植入位置，示意性的，当以该目标子区域位于目标视频帧中最下方的侧边作为基准时，则该推荐信息植入时，推荐信息最下方的侧边与该目标子区域最下方的侧边对齐后的区域即为推荐信息的植入位置；当以该目标子区域位于目标视频帧中最下方的点作为基准时，则该推荐信息植入时，推荐信息最下方的点与该目标子区域最下方的点对齐后的区域即为推荐信息的植入位置。
可选地，该目标子区域为非角色类型的物体对应的区域。可选地，当目标视频帧中存在多个目标子区域与该第一区域连通时，包括如下目标子区域的选择方式：
第一，从该目标子区域中选定任意一个目标子区域所在位置作为推荐信息的植入位置；
第二，从多个目标子区域中选定区域面积最小的目标子区域，将该目标子区域所在的位置作为推荐信息的植入位置；
第三，该目标视频帧中还识别有中心角色，根据多个目标子区域与该中心角色之间的距离确定一个目标子区域，并将该目标子区域所在的位置作为推荐信息的植入位置。
示意性的，请参考图3，对图像300进行图像识别后，得到该图像300中的物体类型、物体区域以及置信度，置信度要求为0.5，故去除未达到置信度要求的图像识别结果，并保留达到置信度要求的蒙版信息，其中包括，桌面区域310(置信度0.990)、水杯区域320(置信度0.933)、花瓶区域330(置信度0.855)、手机区域340(置信度0.904)以及人物区域350(置信度0.999)，其中，水杯区域320、花瓶区域330以及手机区域340为与该桌面区域310连通的目标子区域，通过上述目标子区域的选定方法从该蒙版信息中确定水杯区域320所在的位置为推荐信息的植入位置，并将水杯区域320的最下方的侧边作为该推荐信息的植入区域360最下方的侧边。
综上所述，本实施例提供的推荐信息植入位置的确定方法，通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中以Video-In形式自动植入推荐信息的过程，减少了推荐信息植入过程的工作量，并提高了推荐信息植入的效率，节约时间资源以及人力资源。
示意性的，请参考图4，其示出了本申请一个示例性实施例提供的推荐信息植入位置的确定方法的过程示意图，如图4所示，该推荐信息植入位置的确定方法分为三个步骤：
步骤一，获取完整视频素材。
步骤二，单镜头视频分片。
可选地，根据视频场景对该视频素材进行视频分片，将该视频素材以场景变化为基础划分为视频片段，并从视频片段中获取目标视频帧作为进行位置检测的视频帧。
步骤三，通过广告位检测算法确定推荐信息的植入位置。
可选地，首先通过基于实例分割的MaskR-CNN模型对该目标视频帧中的实例进行检测，并从检测结果中确定推荐信息的植入位置。
在一个可选的实施例中，上述目标子区域是根据与第一区域存在连通的候选区域与中心角色之间的位置关系确定的，图5是本申请另一个示例性实施例提供的推荐信息植入位置的确定方法的流程图，以该方法应用于服务器中为例进行说明，如图5所示，该方法包括：
步骤501，获取目标视频。
可选地，该目标视频为待植入推荐信息的视频。
可选地，该目标视频包括电视剧、电影、短视频、社交平台中发布的视频、MV中的至少一种。
步骤502，根据目标视频的场景变化情况获取目标视频中的目标视频帧，该目标视频帧为用于对推荐信息的植入位置进行确定的视频帧。
可选地，该场景变化情况时根据目标视频中至少一组视频帧之间的相似度确定的。
可选地，根据场景变化情况对目标视频中的目标视频帧进行获取的方式包括如下方式中的至少一种：
第一，对目标视频的场景进行检测，并根据场景变化情况对目标视频进行视频分片，得到与场景变化情况对应的视频片段，获取视频片段中的关键帧作为目标视频帧；
第二，对目标视频的场景进行检测，并根据场景变化情况的变化程度，将变化程度较大时的视频帧作为目标视频帧。
步骤503，对目标视频帧进行图像识别，得到目标视频帧的蒙版信息，该蒙版信息中包括目标类型的物体在目标视频帧中的第一区域。
可选地，该蒙版信息用于表示物体在目标视频帧中所对应的区域。可选地，该蒙版信息中包括至少两种类型的物体在目标视频帧中所对应的区域，其中包括目标类型的物体在目标视频帧中的第一区域。
可选地，通过实例分割模型对该目标视频帧进行识别后，还可以得到对目标视频帧中的蒙版结果集合，该蒙版结果集合中包括识别得到的每个物体的物体分类、物体区域以及置信度，其中，该置信度用于表示该物体的识别结果(物体分类和物体区域)的预测准确率。可选地，将蒙版结果集合中置信度小于置信度要求的结果去除后，得到过滤后的蒙版结果集合作为蒙版信息，也即保留置信度达到置信度要求的物体识别结果作为该目标视频帧的蒙版信息。
可选地，该目标类型包括桌面类型、地面类型、窗台类型、柜面类型中的至少一种。
步骤504，从蒙版信息中确定与第一区域存在连通的n个候选区域，n为正整数。
可选地，与第一区域存在连通的目标子区域是指被该第一区域包围或者半包围的子区域，其中，当目标子区域被第一区域包围时，即该目标子区域对应的物体被放置于该第一区域对应的平面上，且显示范围在该第一区域的范围内(如：平置于桌面的手机)；当该目标子区域被该第一区域半包围时，即该目标子区域对应的物体被放置于第一区域对应的平面上，且该目标子区域对应的物体的显示范围超出该第一区域的范围(如：从斜上方拍摄的立于桌面的水瓶，水瓶的部分显示范围超出桌面的范围)，也即，该与第一区域存在连通的n个候选区域为放置于该第一区域对应平面上的n个物体的显示区域。
可选地，以该第一区域为桌面对应的区域为例，当桌面上摆放有n个物体时，则该蒙版信息中包括n个与该第一区域存在连通的候选区域，如：手机区域、水杯区域、花瓶区域等。
可选地，当该目标视频帧中包括至少两个属于目标类型的物体时，该第一区域中包括该目标类型的物体对应的至少两个候选子区域，则需要首先对该第一区域进行过滤后，从蒙版信息中确定与过滤后的第一区域存在连通的n个候选区域。可选地，通过保留该至少两个候选子区域中面积最大的候选子区域作为过滤后的第一区域，并删除其他候选子区域，从而实现对第一区域的过滤。
示意性的，图6是本申请一个示例性实施例提供的第一区域的过滤过程示意图，如图6所示，图像600中识别得到桌面类型对应的蒙版：候选子区域610和候选子区域620，对该候选子区域610和候选子区域620的区域面积进行比对后，保留候选子区域610作为过滤后的第一区域。
步骤505，从蒙版信息中确定与中心角色对应的第二区域。
可选地，当蒙版信息中仅包括一个角色类型对应的区域时，则将该角色类型对应的区域作为中心角色对应的第二区域；当蒙版信息中包括多个角色区域时，则，从蒙版信息中确定角色类型对应的m个角色区域，m为正整数，将该m个角色区域中区域面积最大的角色区域作为中心角色对应的第二区域，也即，该面积最大的角色区域即为中心角色在目标视频帧中对应的区域。
示意性的，图7是本申请一个示例性实施例提供的中心角色确定过程的示意图，如图7所示，图像700中识别得到角色类型对应的角色区域710、角色区域720和角色区域730，通过对该角色区域710、角色区域720和角色区域730的区域面积进行比对，保留该角色区域710、角色区域720和角色区域730中面积最大的角色区域710作为中心角色对应的第二区域。
步骤506，确定n个候选区域中每个候选区域与第二区域之间的距离。
可选地，该候选区域与第二区域之间的距离可以通过每个区域最左侧的边之间的距离确定，可以通过每个区域最右侧的边之间的距离确定，可以通过每个区域最上侧的边确定，可以通过每个区域最下侧的边确定，还可以通过每个区域中心点之间的距离确定，本申请实施例对此不加以限定。
可选地，该候选区域与第二区域之间的区域可以通过欧氏距离算法、马氏距离算法、余弦距离算法、汉明距离算法、曼哈顿距离算法等方式进行计算，本申请实施例中对此不加以限定。
步骤507，将n个候选区域中与第二区域之间的距离最大的区域作为目标子区域。
步骤508，将目标子区域所处的位置确定为推荐信息在目标视频帧中的植入位置。
可选地，该推荐信息通过覆盖该目标子区域的方式进行植入，故将该目标子区域的区域面积与预设倍数相乘后，作为推荐信息在目标视频帧中显示的目标面积，根据目标面积以及推荐信息的显示形状确定推荐信息在目标视频帧中对应的目标区域，以目标区域覆盖目标子区域时所处的位置作为推荐信息在目标视频帧中的植入位置。
示意性的，图8是本申请一个示例性实施例提供的推荐信息植入位置确定过程的示意图，如图8所示，在图像800中识别得到桌面对应的第一区域810后，分离与该第一区域810存在连通的候选区域821、候选区域822、候选区域823以及候选区域824，确定中心角色对应的第二区域830，将与该第二区域830距离最远的候选区域823确定为目标子区域，并在该目标子区域上设置区域面积为该候选区域823面积四倍大小的植入区域840。
综上所述，本实施例提供的推荐信息植入位置的确定方法，通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中以Video-In形式自动植入推荐信息的过程，减少了推荐信息植入过程的工作量，并提高了推荐信息植入的效率，节约时间资源以及人力资源。
本实施例提供的方法，通过在与第一区域连通的候选区域中选择与中心角色距离最远的候选区域作为目标子区域，并将该目标子区域所处的位置作为推荐信息的植入位置，从而避免推荐信息的植入对中心角色的表现存在遮挡的情况，影响视频内容正常显示的问题。
在一个可选的实施例中，上述目标视频帧是通过对视频进行分片得到的，可选地，上述蒙版信息是通过置信度进行过滤后得到的，图9是本申请另一个示例性实施例提供的推荐信息植入位置的确定方法的流程图，如图9所示，该方法包括：
步骤901，获取目标视频。
可选地，该目标视频为待植入推荐信息的视频。
可选地，该目标视频包括电视剧、电影、短视频、社交平台中发布的视频、MV中的至少一种。
步骤902，根据目标视频的场景变化情况，对目标视频进行视频分片，得到与场景变化情况对应的视频片段。
可选地，该视频分片过程中，对视频进行拆分的规则是基于镜头切分算法实现的。
可选地，根据场景变化情况对目标视频进行视频分片时，根据场景变化程度对该目标视频进行视频分片，示意性的，当前分片得到的视频片段为第i个视频片段，当场景变化程度较大时，将当前视频帧作为第i+1个视频片段的第一帧视频帧，i为正整数。
步骤903，获取视频片段中的第一个关键帧作为目标视频帧。
步骤904，对目标视频帧进行图像识别，得到目标视频帧中的蒙版结果集合。
该蒙版结果集合中包括识别得到的每个物体的物体分类、物体区域以及置信度，其中，该置信度用于表示该物体的识别结果(物体分类和物体区域)的预测准确率。
步骤905，将蒙版结果集合中置信度小于置信度要求的结果从蒙版结果集合中去除后，得到过滤后的蒙版结果集合作为目标视频帧的蒙版信息。
可选地，该蒙版信息用于表示物体在目标视频帧中所对应的区域，其中包括目标类型的物体在目标视频帧中的第一区域。
步骤906，基于该第一区域确定推荐信息在目标视频帧中的植入位置。
可选地，当该第一区域为桌面、地面、窗台、柜面中的至少一种平面所在的区域时，该推荐信息的植入位置是通过对平面上的其他物体进行遮挡时所处的位置确定的。
可选地，从蒙版信息中确定关于该第一区域存在连通的目标子区域，将目标子区域所处的位置确定为推荐信息在目标视频帧中的植入位置。
可选地，与第一区域存在连通的目标子区域是指被该第一区域包围或者半包围的子区域。
可选地，将目标子区域所处的位置确定为推荐信息的植入位置时，可以以该目标子区域的侧边或轮廓上的任意一点为基准作为推荐信息植入时的植入位置。
可选地，该目标子区域为非角色类型的物体对应的区域。可选地，当目标视频帧中存在多个目标子区域与该第一区域连通时，包括如下目标子区域的选择方式：
第一，从该目标子区域中选定任意一个目标子区域所在位置作为推荐信息的植入位置；
第二，从多个目标子区域中选定区域面积最小的目标子区域，将该目标子区域所在的位置作为推荐信息的植入位置；
第三，该目标视频帧中还识别有中心角色，根据多个目标子区域与该中心角色之间的距离确定一个目标子区域，并将该目标子区域所在的位置作为推荐信息的植入位置。
综上所述，本实施例提供的推荐信息植入位置的确定方法，通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中以Video-In形式自动植入推荐信息的过程，减少了推荐信息植入过程的工作量，并提高了推荐信息植入的效率，节约时间资源以及人力资源。
本实施例提供的方法，通过对蒙版结果集合中置信度较低的结果进行过滤，保留置信度达到置信要求的结果，从而得到蒙版信息，确保后续第一区域、第二区域等区域的识别准确度，以及推荐信息植入位置的准确度。
图10是本申请一个示例性实施例提供的推荐信息植入位置的确定装置的结构框图，以该推荐信息植入位置的确定装置应用于服务器中为例进行说明，如图10所示，该装置包括：获取模块1010、识别模块1020以及确定模块1030；
获取模块1010，用于获取目标视频，所述目标视频为待植入推荐信息的视频；
所述获取模块1010，还用于根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，所述目标视频帧为用于对所述推荐信息的植入位置进行确定的视频帧，所述场景变化情况是根据所述目标视频中至少一组视频帧之间的相似度确定的；
识别模块1020，用于对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，所述蒙版信息中包括至少两种类型的物体在所述目标视频帧中所对应的区域，其中包括目标类型的物体在所述目标视频帧中对应的第一区域；
确定模块1030，用于基于所述第一区域确定所述推荐信息在所述目标视频帧中的植入位置。
在一个可选的实施例中，所述确定模块1030，还用于从所述蒙版信息中确定与所述第一区域存在连通的目标子区域；将所述目标子区域所处的位置确定为所述推荐信息在所述目标视频帧中的植入位置。
在一个可选的实施例中，所述确定模块1030，还用于从所述蒙版信息中确定与所述第一区域存在连通的n个候选区域，n为正整数；从所述蒙版信息中确定与中心角色对应的第二区域；确定所述n个候选区域中每个候选区域与所述第二区域之间的距离；将所述n个候选区域中与所述第二区域之间的距离最大的区域作为所述目标子区域。
在一个可选的实施例中，所述确定模块1030，还用于从所述蒙版信息中确定角色类型对应的m个角色区域，m为正整数；将所述m个角色区域中区域面积最大的角色区域作为所述中心角色对应的所述第二区域。
在一个可选的实施例中，所述确定模块1030，还用于将所述目标子区域的区域面积与预设倍数相乘，作为所述推荐信息在所述目标视频帧中显示的目标面积；根据所述目标面积以及所述推荐信息的显示形状确定所述推荐信息在所述目标视频帧中对应的目标区域；以所述目标区域覆盖所述目标子区域时所处的位置作为所述推荐信息在所述目标视频帧中的植入位置。
在一个可选的实施例中，所述目标视频帧中包括至少两个属于所述目标类型的物体，所述第一区域中包括所述目标类型的物体对应的至少两个候选子区域；
如图11所示，所述装置，还包括：
过滤模块1040，用于保留所述至少两个候选子区域中面积最大的候选子区域作为过滤后的所述第一区域，并删除其他候选子区域。
在一个可选的实施例中，所述获取模块1010，还用于根据所述目标视频的场景变化情况，对所述目标视频进行视频分片，得到与场景变化情况对应的视频片段；获取所述视频片段中的第一个关键帧作为所述目标视频帧，所述目标视频帧用于对所述推荐信息在所述视频片段中的植入位置进行确定。
在一个可选的实施例中，所述识别模块1020，还用于对所述目标视频帧进行图像识别，得到所述目标视频帧中的蒙版结果集合，所述蒙版结果集合中包括识别得到的每个物体的物体分类、物体区域以及置信度；
所述装置还包括：
过滤模块1040，用于将所述蒙版结果集合中置信度小于置信度要求的结果从所述蒙版结果集合中去除后，得到过滤后的所述蒙版结果集合作为所述目标视频帧的所述蒙版信息。
在一个可选的实施例中，所述目标类型包括桌面类型、地面类型、窗台类型、柜面类型中的至少一种。
综上所述，本实施例提供的推荐信息植入位置的确定装置，通过从目标视频中获取目标视频帧，并对目标视频帧进行图像识别处理，得到该目标视频帧的蒙版信息，从而在目标类型的物体在目标视频帧中对应的第一区域基础上确定推荐信息在目标视频帧中的植入位置，从而实现了在目标视频中以Video-In形式自动植入推荐信息的过程，减少了推荐信息植入过程的工作量，并提高了推荐信息植入的效率，节约时间资源以及人力资源。
需要说明的是：上述实施例提供的推荐信息植入位置的确定装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的推荐信息植入位置的确定装置与推荐信息植入位置的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的推荐信息植入位置的确定方法。需要说明的是，该计算机设备可以是如下图12所提供的服务器。
请参考图12，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：所述服务器1200包括中央处理单元(CPU)1201、包括随机存取存储器(RAM)1202和只读存储器(ROM)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述服务器1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。
所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为服务器1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1201执行，一个或多个程序包含用于实现上述推荐信息植入位置的确定方法的指令，中央处理单元1201执行该一个或多个程序实现上述各个方法实施例提供的推荐信息植入位置的确定方法。
根据本发明的各种实施例，所述服务器1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本发明实施例提供的推荐信息植入位置的确定方法中由服务器所执行的步骤。
本申请实施例还提供一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并实现上述推荐信息植入位置的确定方法。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述推荐信息植入位置的确定方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的推荐信息植入位置的确定方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述推荐信息植入位置的确定方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种推荐信息植入位置的确定方法，其特征在于，所述方法包括：
获取目标视频，所述目标视频为待植入推荐信息的视频；
根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，所述目标视频帧为用于对所述推荐信息的植入位置进行确定的视频帧，所述场景变化情况是根据所述目标视频中至少一组视频帧之间的相似度确定的；
对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，所述蒙版信息中包括至少两种类型的物体在所述目标视频帧中所对应的区域，其中包括目标类型的物体在所述目标视频帧中对应的第一区域；
从所述蒙版信息中确定与所述第一区域存在连通的目标子区域；
将所述目标子区域所处的位置确定为所述推荐信息在所述目标视频帧中的植入位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述蒙版信息确定与所述第一区域存在连通的目标子区域，包括：
从所述蒙版信息中确定与所述第一区域存在连通的n个候选区域，n为正整数；
从所述蒙版信息中确定与中心角色对应的第二区域；
确定所述n个候选区域中每个候选区域与所述第二区域之间的距离；
将所述n个候选区域中与所述第二区域之间的距离最大的区域作为所述目标子区域。
3.根据权利要求2所述的方法，其特征在于，所述从所述蒙版信息中确定与中心角色对应的第二区域，包括：
从所述蒙版信息中确定角色类型对应的m个角色区域，m为正整数；
将所述m个角色区域中区域面积最大的角色区域作为所述中心角色对应的所述第二区域。
4.根据权利要求2或3所述的方法，其特征在于，所述将所述目标子区域所处的位置确定为所述推荐信息在所述目标视频帧中的植入位置，包括：
将所述目标子区域的区域面积与预设倍数相乘，作为所述推荐信息在所述目标视频帧中显示的目标面积；
根据所述目标面积以及所述推荐信息的显示形状确定所述推荐信息在所述目标视频帧中对应的目标区域；
以所述目标区域覆盖所述目标子区域时所处的位置作为所述推荐信息在所述目标视频帧中的植入位置。
5.根据权利要求2或3所述的方法，其特征在于，所述目标视频帧中包括至少两个属于所述目标类型的物体，所述第一区域中包括所述目标类型的物体对应的至少两个候选子区域；
所述从所述蒙版信息中确定与所述第一区域存在连通的目标子区域之前，还包括：
保留所述至少两个候选子区域中面积最大的候选子区域作为过滤后的所述第一区域，并删除其他候选子区域。
6.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，包括：
根据所述目标视频的场景变化情况，对所述目标视频进行视频分片，得到与场景变化情况对应的视频片段；
获取所述视频片段中的第一个关键帧作为所述目标视频帧，所述目标视频帧用于对所述推荐信息在所述视频片段中的植入位置进行确定。
7.根据权利要求1至3任一所述的方法，其特征在于，所述对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，包括：
对所述目标视频帧进行图像识别，得到所述目标视频帧中的蒙版结果集合，所述蒙版结果集合中包括识别得到的每个物体的物体分类、物体区域以及置信度；
将所述蒙版结果集合中置信度小于置信度要求的结果从所述蒙版结果集合中去除后，得到过滤后的所述蒙版结果集合作为所述目标视频帧的所述蒙版信息。
8.根据权利要求1至3任一所述的方法，其特征在于，
所述目标类型包括桌面类型、地面类型、窗台类型、柜面类型中的至少一种。
9.一种推荐信息植入位置的确定装置，其特征在于，所述装置包括：
获取模块，用于获取目标视频，所述目标视频为待植入推荐信息的视频；
所述获取模块，还用于根据所述目标视频的场景变化情况获取所述目标视频中的目标视频帧，所述目标视频帧为用于对所述推荐信息的植入位置进行确定的视频帧，所述场景变化情况是根据所述目标视频中至少一组视频帧之间的相似度确定的；
识别模块，用于对所述目标视频帧进行图像识别，得到所述目标视频帧的蒙版信息，所述蒙版信息中包括至少两种类型的物体在所述目标视频帧中所对应的区域，其中包括目标类型的物体在所述目标视频帧中对应的第一区域；
确定模块，用于从所述蒙版信息中确定与所述第一区域存在连通的目标子区域；将所述目标子区域所处的位置确定为所述推荐信息在所述目标视频帧中的植入位置。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于从所述蒙版信息中确定与所述第一区域存在连通的n个候选区域，n为正整数；从所述蒙版信息中确定与中心角色对应的第二区域；确定所述n个候选区域中每个候选区域与所述第二区域之间的距离；将所述n个候选区域中与所述第二区域之间的距离最大的区域作为所述目标子区域。
11.根据权利要求10所述的装置，其特征在于，所述确定模块，还用于从所述蒙版信息中确定角色类型对应的m个角色区域，m为正整数；将所述m个角色区域中区域面积最大的角色区域作为所述中心角色对应的所述第二区域。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的推荐信息植入位置的确定方法。
13.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的推荐信息植入位置的确定方法。
CN201910655586.8A 2019-07-19 2019-07-19 推荐信息植入位置的确定方法、装置、设备及存储介质 Active CN110381369B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910655586.8A CN110381369B (zh) 2019-07-19 2019-07-19 推荐信息植入位置的确定方法、装置、设备及存储介质
PCT/CN2020/096299 WO2021012837A1 (zh) 2019-07-19 2020-06-16 推荐信息植入位置的确定方法、装置、设备及存储介质
US17/379,835 US11928863B2 (en) 2019-07-19 2021-07-19 Method, apparatus, device, and storage medium for determining implantation location of recommendation information
US18/434,655 US20240177481A1 (en) 2019-07-19 2024-02-06 Method, apparatus, device, and storage medium for determining implantation location of recommendation information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910655586.8A CN110381369B (zh) 2019-07-19 2019-07-19 推荐信息植入位置的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110381369A CN110381369A (zh) 2019-10-25
CN110381369B true CN110381369B (zh) 2022-02-22

Family

ID=68254309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910655586.8A Active CN110381369B (zh) 2019-07-19 2019-07-19 推荐信息植入位置的确定方法、装置、设备及存储介质

Country Status (3)

Country Link
US (2) US11928863B2 (zh)
CN (1) CN110381369B (zh)
WO (1) WO2021012837A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381369B (zh) 2019-07-19 2022-02-22 腾讯科技（深圳）有限公司 推荐信息植入位置的确定方法、装置、设备及存储介质
CN111292280B (zh) * 2020-01-20 2023-08-29 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN113225587B (zh) * 2020-02-06 2023-04-28 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
CN111641870B (zh) * 2020-06-05 2022-04-22 北京爱奇艺科技有限公司 视频播放方法、装置、电子设备及计算机存储介质
CN112199582B (zh) * 2020-09-21 2023-07-18 聚好看科技股份有限公司 一种内容推荐方法、装置、设备及介质
CN112380894B (zh) * 2020-09-30 2024-01-19 北京智汇云舟科技有限公司 一种基于三维地理信息系统的视频重叠区域目标去重方法和系统
CN113259713A (zh) * 2021-04-23 2021-08-13 深圳信息职业技术学院 视频处理方法、装置、终端设备及存储介质
CN113923516B (zh) * 2021-09-29 2023-08-29 平安科技（深圳）有限公司 基于深度学习模型的视频处理方法、装置、设备以及存储介质
CN114786062A (zh) * 2022-03-07 2022-07-22 维沃移动通信有限公司 信息推荐方法、装置和电子设备
CN114979691B (zh) * 2022-05-23 2023-07-28 上海影谱科技有限公司 一种体育赛事转播权益广告统计分析方法及系统
US11889221B2 (en) 2022-05-27 2024-01-30 Motorola Mobility Llc Selective video conference segmentation
US11984998B2 (en) * 2022-05-27 2024-05-14 Motorola Mobility Llc Selective video conference segmentation
CN116962816B (zh) * 2023-09-20 2023-12-12 世优（北京）科技有限公司 设置植入标识的方法、装置、电子设备及存储介质
CN117714712B (zh) * 2024-02-01 2024-05-07 浙江华创视讯科技有限公司 视频会议的数据隐写方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635789A (zh) * 2003-12-30 2005-07-06 中国科学院自动化研究所 基于事件检测的体育节目中虚拟广告自动插入方法
CN101461235A (zh) * 2006-03-07 2009-06-17 美国索尼电脑娱乐公司 动态地替换及插入节目内容中的电影舞台道具
CN101529346A (zh) * 2006-09-18 2009-09-09 Rgb网络有限公司 管理覆盖内容到视频信号中的插入
CN102291607A (zh) * 2010-06-21 2011-12-21 埃森哲环球服务有限公司 精确到帧的内容插入系统
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
CN104967885A (zh) * 2015-03-27 2015-10-07 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
CN108632640A (zh) * 2017-03-24 2018-10-09 米利雅得广告公开股份有限公司 预测未来插入区域元数据

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) * 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
CN105590312B (zh) * 2014-11-12 2018-05-18 株式会社理光 前景图像分割方法和装置
CN104735465B (zh) * 2015-03-31 2019-04-12 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
CN104822069B (zh) 2015-04-30 2018-09-28 北京爱奇艺科技有限公司 一种图像信息检测方法及装置
CN106375858B (zh) * 2015-07-23 2019-06-18 Tcl集团股份有限公司 一种在视频中植入广告的方法、装置及系统
CN105120351B (zh) * 2015-09-30 2019-03-19 天脉聚源（北京）科技有限公司 在视频节目上显示互动入口的方法和装置
US10275892B2 (en) * 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
CN107734384A (zh) * 2016-08-10 2018-02-23 北京光子互动科技有限公司 图像处理方法及装置
CN107835403B (zh) * 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN110381369B (zh) * 2019-07-19 2022-02-22 腾讯科技（深圳）有限公司 推荐信息植入位置的确定方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1635789A (zh) * 2003-12-30 2005-07-06 中国科学院自动化研究所 基于事件检测的体育节目中虚拟广告自动插入方法
CN101461235A (zh) * 2006-03-07 2009-06-17 美国索尼电脑娱乐公司 动态地替换及插入节目内容中的电影舞台道具
CN101529346A (zh) * 2006-09-18 2009-09-09 Rgb网络有限公司 管理覆盖内容到视频信号中的插入
CN102291607A (zh) * 2010-06-21 2011-12-21 埃森哲环球服务有限公司 精确到帧的内容插入系统
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
CN104967885A (zh) * 2015-03-27 2015-10-07 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
CN108632640A (zh) * 2017-03-24 2018-10-09 米利雅得广告公开股份有限公司 预测未来插入区域元数据

Also Published As

Publication number Publication date
US11928863B2 (en) 2024-03-12
WO2021012837A1 (zh) 2021-01-28
CN110381369A (zh) 2019-10-25
US20240177481A1 (en) 2024-05-30
US20210350136A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN110381369B (zh) 推荐信息植入位置的确定方法、装置、设备及存储介质
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN108765278B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN112153483B (zh) 信息植入区域的检测方法、装置及电子设备
CN109409377B (zh) 图像中文字的检测方法及装置
CN110751215B (zh) 一种图像识别方法、装置、设备、系统及介质
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
CN111061898A (zh) 图像处理方法、装置、计算机设备及存储介质
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
CN110909640A (zh) 水位线的确定方法及装置、存储介质、电子装置
CN105868708A (zh) 一种图像目标识别方法及装置
CN111127307A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20100172587A1 (en) Method and apparatus for setting a lip region for lip reading
CN105684046A (zh) 生成图像组成
CN108764248B (zh) 图像特征点的提取方法和装置
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
CN113591433A (zh) 一种文本排版方法、装置、存储介质及计算机设备
CN110969602B (zh) 一种图像清晰程度检测方法及装置
CN113591827A (zh) 文本图像的处理方法、装置、电子设备及可读存储介质
CN112712051A (zh) 对象跟踪方法、装置、计算机设备及存储介质
CN107886513A (zh) 一种确定训练样本的装置
JP2012003358A (ja) 背景判別装置、方法及びプログラム
CN115346110A (zh) 餐盘识别方法、系统、电子设备和存储介质
CN108600864B (zh) 一种电影预告生成方法及装置
CN107678655B (zh) 一种图像要素提取方法及图像要素提取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant