CN112153429B - 在视频流中插入信息的方法和装置 - Google Patents

在视频流中插入信息的方法和装置 Download PDF

Info

Publication number
CN112153429B
CN112153429B CN201910570122.7A CN201910570122A CN112153429B CN 112153429 B CN112153429 B CN 112153429B CN 201910570122 A CN201910570122 A CN 201910570122A CN 112153429 B CN112153429 B CN 112153429B
Authority
CN
China
Prior art keywords
target
information
dimensional
scene model
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910570122.7A
Other languages
English (en)
Other versions
CN112153429A (zh
Inventor
张嘉霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910570122.7A priority Critical patent/CN112153429B/zh
Publication of CN112153429A publication Critical patent/CN112153429A/zh
Application granted granted Critical
Publication of CN112153429B publication Critical patent/CN112153429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种在视频流中插入信息的方法和装置，其中，方法包括：提取源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型；获取待插入信息的目标三维信息，并确定与目标三维信息对应的目标三维场景模型；根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中。由此，将信息以一种较为自然的方式融入视频中，插入信息和视频内容形成互动，解决了现有技术中，信息插入较为生硬导致用户对插入信息抵触的技术问题，提高了对插入信息的消费转化率。

Description

在视频流中插入信息的方法和装置
技术领域
本发明涉及信息处理技术领域，尤其涉及一种在视频流中插入信息的方法和装置。
背景技术
目前短视频内容呈爆发式的增长，短视频已经成为网民日常内容消费的巨大出口，并且消费短视频内容已经成为我国网民的一个习惯，其背后有着巨大的商业价值。
虽然网络视频呈现高速发展的态势，但与之相配套的信息插入，比如广告插入服务却已久停留在贴片等形式上，比如，直接将广告以贴片的形式显示在当前视频播放界面上，不仅形式较硬消费者容易产生抵触情绪，并且内容经常和视频内容无关，无法和视频内容形成互动。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种在视频流中插入信息的方法，将信息以一种较为自然的方式融入视频中，插入信息和视频内容形成互动，解决了现有技术中，信息插入较为生硬导致用户对插入信息抵触的技术问题，提高了对插入信息的消费转化率。
本发明的第二个目的在于提出一种在视频流中插入信息的装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种在视频流中插入信息的方法，包括以下步骤：提取源视频的多个视频帧，根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型；获取待插入信息的目标三维信息，在所有所述三维场景模型中确定与所述目标三维信息对应的目标三维场景模型；根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中。
另外，本发明实施例的在视频流中插入信息的方法，还具有如下附加的技术特征：
可选地，所述根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型，包括：根据预设图像识别算法提取所述每个视频帧包含的三维场景信息；根据所述每个视频帧包含的三维场景信息和预设构建模型构建所述每个视频帧对应的三维场景模型。
可选地，所述根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中，包括：计算所述目标三维信息与所述目标三维场景模型中每个场景元素的相关度，根据所述相关度确定所述目标三维信息最相关的目标场景元素；确定所述目标场景元素的位置信息，根据所述目标场景元素的位置信息确定所述目标三维信息的插入位置和插入姿态信息；根据所述插入位置将所述目标三维信息插入所述目标场景元素，并根据所述姿态信息调整所述目标三维信息的姿态。
可选地，还包括：获取所述目标场景元素的第一环境参数，并根据所述第一环境参数确定所述目标三维信息的第二环境参数；根据所述第二环境参数调节所述目标三维信息的环境因子。
可选地，还包括：根据插入所述目标三维信息的所述目标三维场景模型生成更新视频帧；根据所述更新视频帧更新所述源视频中与所述目标三维场景模型对应的目标视频帧，以生成新的视频流；将所述新的视频流提供给观看用户。
可选地，所述根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中，包括：将所述目标三维场景模型和所述目标三维信息在预设的信息投放平台显示；接收用户在所述信息投放平台上对所述目标三维信息的位置调整操作和环境参数调整操作；根据所述位置调整操作确定所述目标三维信息在所述目标三维场景模型中的目标插入位置和目标插入姿态，并根据所述目标插入位置和目标插入姿态将所述目标三维信息插入至所述目标三维场景模型，根据所述环境参数调整插入至所述目标三维场景模型的环境因子。
本发明第二方面实施例提出了一种在视频流中插入信息的装置，包括：模型构建模块，用于提取源视频的多个视频帧，根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型；第一确定模块，用于在所有所述三维场景模型中获取待插入信息的目标三维信息，并确定与所述目标三维信息对应的目标三维场景模型；第二确定模块，用于根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数；插入模块，用于根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中。
另外，本发明实施例的在视频流中插入信息的装置，还具有如下附加的技术特征：
可选地，所述模型构建模块，包括：提取单元，用于根据预设图像识别算法提取所述每个视频帧包含的三维场景信息；构建单元，用于根据所述每个视频帧包含的三维场景信息和预设构建模型构建所述每个视频帧对应的三维场景模型。
可选地，所述插入模块，包括：计算单元，用于计算所述目标三维信息与所述目标三维场景模型中每个场景元素的相关度；第一确定单元，用于确定所述目标场景元素的位置信息，根据所述目标场景元素的位置信息确定所述目标三维信息的插入位置和插入姿态信息；第一插入单元，用于根据所述插入位置将所述目标三维信息插入所述目标场景元素，并根据所述姿态信息调整所述目标三维信息的姿态。
可选地，还包括：第三确定模块，用于获取所述目标场景元素的第一环境参数，并根据所述第一环境参数确定所述目标三维信息的第二环境参数；调节模块，用于根据所述第二环境参数调节所述目标三维信息的环境因子。
可选地，还包括：生成模块，用于根据插入所述目标三维信息的所述目标三维场景模型生成更新视频帧；更新模块，用于根据所述更新视频帧更新所述源视频中与所述目标三维场景模型对应的目标视频帧，以生成新的视频流；提供模块，用于将所述新的视频流提供给观看用户。
可选地，所述插入模块，包括：显示单元，用于将所述目标三维场景模型和所述目标三维信息在预设的信息投放平台显示；接收单元，用于接收用户在所述信息投放平台上对所述目标三维信息的位置调整操作和环境参数调整操作；第二确定单元，用于根据所述位置调整操作确定所述目标三维信息在所述目标三维场景模型中的目标插入位置和目标插入姿态；第二插入单元，用于根据所述目标插入位置和目标插入姿态将所述目标三维信息插入至所述目标三维场景模型，根据所述环境参数调整插入至所述目标三维场景模型的环境因子。
本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面实施例所述的在视频流中插入信息的方法。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述的在视频流中插入信息的方法。
本发明实施例提供的技术方案可以包含如下的有益效果：
提取待插入信息的源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型，获取待插入信息的目标三维信息，并确定与目标三维信息对应的目标三维场景模型，进而，根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中。由此，将信息以一种较为自然的方式融入视频中，插入信息和视频内容形成互动，解决了现有技术中，信息插入较为生硬导致用户对插入信息抵触的技术问题，提高了对插入信息的消费转化率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的在视频流中插入信息的方法的流程图；
图2是根据本发明一个实施例的在视频流中插入信息的方法的应用场景示意图；
图3是根据本发明另一个实施例的在视频流中插入信息的方法的应用场景示意图；
图4是根据本发明另一个实施例的在视频流中插入信息的方法的流程图；
图5是根据本发明第一个实施例的在视频流中插入信息的装置的结构示意图；
图6是根据本发明第二个实施例的在视频流中插入信息的装置的结构示意图；
图7是根据本发明第三个实施例的在视频流中插入信息的装置的结构示意图；
图8是根据本发明第四个实施例的在视频流中插入信息的装置的结构示意图；
图9是根据本发明第五个实施例的在视频流中插入信息的装置的结构示意图；
图10是根据本发明第六个实施例的在视频流中插入信息的装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的在视频流中插入信息的方法和装置。
针对上述背景技术中提到的，现有的信息插入方式较为生硬，难以和视频内容形成互动的技术问题，本发明提出了一种可以将信息以较为自然的方式插入视频的方法，在该方式中，观看用户可以较为自然的接收对应的信息，且信息的消费转化率也得到有效提升。
具体而言，图1是根据本发明一个实施例的在视频流中插入信息的方法的流程图，如图1所示，该方法包括：
步骤101，提取源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型。
在本发明的实施例中，待插入信息的源视频可以是所有允许插入广告的视频，源视频对应的多个视频帧可以是源视频对应的所有视频帧，也可以是任意选择的源视频中的某一部分视频帧，还可以是预先根据待插入信息以及源视频的场景信息的相关度自动筛选出的多个视频帧等。
具体地，为了使得插入信息以一种较为自然的方式融入视频中，避免引起用户的反感，根据预设算法构建多个视频帧中每个视频帧对应的三维场景模型，以便于基于该三维场景模型将有关信息“没有痕迹”的插入，避免了贴片感等，基于深度信息进行插入，使得插入信息与视频内容自然融合在一起。
需要说明的是，在不同的应用场景中，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型的方式不同，示例如下：
第一种示例：
在本示例中，预先设置预设构建模型，该预设构建模型可以基于二维图像信息识别出匹配的三维场景。
具体而言，在本示例中，根据预设图像识别算法提取每个视频帧中包含的三维场景信息，比如，视频中的场景元素、场景元素之间的前后景关系、相对位置关系等，以及光照等环境信息，进而，基于每个视频帧包含的三维场景信息和预设构建模型构建每个视频帧对应的三维场景模型。
举例而言，识别当前场景中包含了一个建筑物和树木，根据预设的图像识别算法识别出建筑物在树木的前方，则树木为后景，建筑物为前景，因而，可以将树木和建筑物的二维信息以及二者的前后景关系输入预设构建模型，基于该模型中，根据当前树木和建筑物的二维坐标点以及前后景关系，对树木和建筑物的其他三维点进行坐标估算等，构建出三维场景模型。
第二种示例：
在本示例中，预先采集并存储不同的场景元素对应的三维模板，将每个视频帧中识别到的场景元素与预存的场景元素进行匹配，将匹配成功的场景元素对应的三维模板作为该场景元素对应的三维模型，由此，基于当前视频帧中每个场景元素匹配得到的三维模型构建当前视频帧对应的三维场景模型。
第三种示例：
在本示例中，识别当前视频帧中的场景元素，在多个视频帧中提取针对该场景元素的三维信息，比如二维坐标信息等，基于针对同一个场景元素的多个面的二维坐标信息，构建针对该场景元素对应的三维模型，由此，基于当前视频帧中每个场景元素匹配得到的三维模型构建当前视频帧对应的三维场景模型。
步骤102，获取待插入信息的目标三维信息，在所有三维场景模型中确定与目标三维信息对应的目标三维场景模型。
其中，待插入信息包括衣服、家电等广告产品信息，或者，广告宣传语等宣传信息等。
步骤103，根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中。
具体地，为了使得插入信息融入视频的效果比较自然，在本申请中，获取的待插入信息是三维形式的，在实际执行过程中，信息主可以基于结构光等技术获取待插入信息的目标三维信息，进而，为了使得插入目标三维信息后的三维场景模型也不具有生硬感，在本实施例中，需要基于目标三维信息确定与之具有相关度的目标三维场景模型，并根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中，其中，目标插入参数包括插入位置和插入姿态等。
作为一种可能的实现方式，计算目标三维信息与目标三维场景模型中每个场景元素的相关度，比如计算目标三维信息所属的产品类别以及目标三维场景模型中每个场景元素的类别，基于该类别相似度确定上述相似度，进而，根据所述相关度确定目标三维信息最相关的目标场景元素，确定目标场景元素的位置信息，即三维坐标信息，根据目标场景元素的位置信息确定目标三维信息的插入位置和插入姿态信息，通常该位置信息与目标插入位置较为邻近，插入位置与目标场景元素的位置信息的关系与目标场景元素有关，比如，当前目标场景元素为衣架，目标三维信息为衣服的三维信息，则显然，插入位置与目标场景元素的位置信息的深度信息一致，即Z轴坐标一致，X轴的坐标值的中心值和衣架的X轴的坐标值的中心值一致，Y轴的坐标值和衣架的Y轴的坐标值为向地面方向延伸等，该姿态信息为确保插入的目标三维信息与当前目标场景元素融合，比如，当前目标场景元素为衣架，目标三维信息为衣服的三维信息，则该衣服的姿态信息为与衣架实际挂衣服的姿态位置匹配，以营造出该衣服真实挂在对应衣架上的感觉，因而，根据插入位置将目标三维信息插入目标场景元素，并根据姿态信息调整目标三维信息的姿态，确保了目标三维信息插入目标场景元素的效果比较自然真实。
当然，在本实施例中，为了进一步提高目标三维信息插入目标场景元素的效果的自然感，还可以基于目标场景元素的环境参数调整目标三维信息的环境因子，该环境因子包括光照、风、雨等，可以基于图像识别技术获取到目标场景元素的第一环境参数，比如风向、风力、光照强度等，根据第一环境参数确定出目标三维信息的第二环境参数，比如，当前第一环境参数为光照强度为A，则基于目标三维信息的具体内容确定对应的光照强度为B，例如，当前目标场景元素为衣架，目标三维信息为衣服的三维信息，则由于衣服吸光等原因，确定的光照强度可能比衣架上实际光照的强度要小一些。又比如，当前第一环境参数为雨水强度，雨水强度为A，则基于目标三维信息的具体内容确定对应的雨水强度为B，雨水方向为适配目标三维信息的方向，例如，当前目标场景元素为墙面，目标三维信息为窗户的三维信息，则窗户的立体结构等原因，确定的雨水的方向和强度可能要适配窗户的立体结构。
作为另一种可能的实现方式，可以将上述信息插入方式在具体的信息投放平台上统一实现，从而，一方面，便于信息主对广告插入的直接控制，另一方面，插入效果比较直观。
具体而言，在本示例中，将目标三维场景模型和目标三维信息在预设的信息投放平台显示，接收用户在信息投放平台上对目标三维信息的位置调整操作和环境参数调整操作，该平台中可能具有一些环境参数调整控件等，基于对目标三维信息的拖拽、旋转，以及对环境参数调整控件的选择，可以实现对目标三维信息的人工插入，操作便捷直观，进而，根据位置调整操作确定目标三维信息在目标三维场景模型中的目标插入位置和目标插入姿态，并根据目标插入位置和目标插入姿态将目标三维信息插入至目标三维场景模型，根据环境参数调整插入至目标三维场景模型的环境因子。
在本示例中，如图2所示，当待插入的信息为广告时，可以将视频生产者的视频作为源视频存入对应的视频三维建模引擎，并且将广告主的广告素材对应的三维信息存入该视频三维建模引擎，视频三维建模引擎将获取到的广告素材和视频生产者的视频输入信息投放平台，信息投放平台针对广告素材整理成三维格式，并且对视频的每一个相关视频帧构建对应的三维场景模型，进而，如图3所示，广告主可以通过对三维格式的广告素材进行拖拽、旋转、光源的添加等模型编辑操作，将广告素材与视频帧对应的三维场景模型融合起来，得到插入广告素材的三维场景模型。这种插入方式由广告主主动控制，避免了广告主与视频生产商之间对广告插入位置等植入广告事宜的沟通过程，提高了广告植入效率。
进一步地，根据处理后的三维场景模型生成新的视频投放放到视频播放平台以供观看用户观看。
具体地，如图4所示，在上述步骤103之后，该方法还包括：
步骤201，根据插入目标三维信息的目标三维场景模型生成更新视频帧。
步骤202，根据更新视频帧更新源视频中与目标三维场景模型对应的目标视频帧，以生成新的视频流。
步骤203，将新的视频流提供给观看用户。
可以理解，根据插入目标三维信息的目标三维场景模型生成对应的二维的更新视频帧，根据更新视频帧更新源视频中与目标三维场景模型对应的目标视频帧，以生成新的视频流，也就是说，没有插入目标三维信息的的视频帧继续保留，插入目标三维信息的视频帧使用更新视频帧替换。进而，将新的视频流提供给观看用户，比如将新的视频流发送至视频提供平台等，观看用户在观看时不影响其原始视频提供的原始观感，且对植入信息的接受度更高。
综上，本发明实施例的在视频流中插入信息的方法，提取待插入信息的源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型，获取待插入信息的目标三维信息，并确定与目标三维信息对应的目标三维场景模型，进而，根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中。由此，将信息以一种较为自然的方式融入视频中，插入信息和视频内容形成互动，解决了现有技术中，信息插入较为生硬导致用户对插入信息抵触的技术问题，提高了对插入信息的消费转化率。
为了实现上述实施例，本发明还提出了一种在视频流中插入信息的装置。
图5是根据本发明一个实施例的在视频流中插入信息的装置的结构示意图，如图5所示，该在视频流中插入信息的装置包括模型构建模块10、第一确定模块20、第二确定模块30和插入模块40，其中，
模型构建模块10，用于提取源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型。
第一确定模块20，用于获取待插入信息的目标三维信息，并在所有三维场景模型中确定与目标三维信息对应的目标三维场景模型。
第二确定模块30，用于根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数。
插入模块40，用于根据目标插入参数将目标三维信息插入至目标三维场景模型中。
在本发明的一个实施例中，如图6所示，在如图5所示的基础上，模型构建模块10包括提取单元11和构建单元12，其中，
提取单元11，用于根据预设图像识别算法提取每个视频帧包含的三维场景信息。
构建单元12，用于根据每个视频帧包含的三维场景信息和预设构建模型构建每个视频帧对应的三维场景模型。
在本发明的一个实施例中，如图7所示，在如图5所示的基础上，插入模块40包括计算单元41、第一确定单元42、第一插入单元43，其中，
计算单元41，用于计算目标三维信息与目标三维场景模型中每个场景元素的相关度。
第一确定单元42，用于确定目标场景元素的位置信息，根据目标场景元素的位置信息确定目标三维信息的插入位置和插入姿态信息。
第一插入单元43，用于根据插入位置将目标三维信息插入目标场景元素，并根据姿态信息调整目标三维信息的姿态。
在本发明的一个实施例中，如图8所示，在如图7所示的基础上，该装置还包括第三确定模块50和调节模块60，其中，
第三确定模块50，用于获取目标场景元素的第一环境参数，并根据第一环境参数确定目标三维信息的第二环境参数。
调节模块60，用于根据第二环境参数调节目标三维信息的环境因子。
在本发明的一个实施例中，如图9所示，在如图5所示的基础上，该装置还包括生成模块70、更新模块80和提供模块90，其中，
生成模块70，用于根据插入目标三维信息的目标三维场景模型生成更新视频帧。
更新模块80，用于根据更新视频帧更新源视频中与目标三维场景模型对应的目标视频帧，以生成新的视频流。
提供模块90，用于将新的视频流提供给观看用户。
在本发明的一个实施例中，如图10所示，在如图5所示的基础上，插入模块40包括显示单元44、接收单元45、第二确定单元46和第二插入单元47，其中，
显示单元44，用于将目标三维场景模型和目标三维信息在预设的信息投放平台显示。
接收单元45，用于接收用户在信息投放平台上对目标三维信息的位置调整操作和环境参数调整操作。
第二确定单元46，用于根据位置调整操作确定目标三维信息在目标三维场景模型中的目标插入位置和目标插入姿态。
第二插入单元47，用于根据目标插入位置和目标插入姿态将目标三维信息插入至目标三维场景模型，根据环境参数调整插入至目标三维场景模型的环境因子。
需要说明的是，前述对在视频流中插入信息的方法实施例的解释说明也适用于该实施例的在视频流中插入信息的装置，此处不再赘述。
综上，本发明实施例的在视频流中插入信息的装置，提取待插入信息的源视频的多个视频帧，根据预设算法构建多个视频帧中的每个视频帧对应的三维场景模型，获取待插入信息的目标三维信息，并确定与目标三维信息对应的目标三维场景模型，进而，根据预设的匹配策略确定目标三维信息在目标三维场景模型中的目标插入参数，并根据目标插入参数将目标三维信息插入至目标三维场景模型中。由此，将信息以一种较为自然的方式融入视频中，插入信息和视频内容形成互动，解决了现有技术中，信息插入较为生硬导致用户对插入信息抵触的技术问题，提高了对插入信息的消费转化率。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述实施例所描述的在视频流中插入信息的方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所描述的在视频流中插入信息的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种在视频流中插入信息的方法，其特征在于，包括以下步骤：
提取源视频的多个视频帧，根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型；
获取待插入信息的目标三维信息，在所有所述三维场景模型中确定与所述目标三维信息对应的目标三维场景模型；
根据预设的匹配策略确定所述目标三维信息在对应的所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中；
其中，所述根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中，包括：
计算所述目标三维信息与所述目标三维场景模型中每个场景元素的相关度，根据所述相关度确定所述目标三维信息最相关的目标场景元素；
确定所述目标场景元素的位置信息，根据所述目标场景元素的位置信息确定所述目标三维信息的插入位置和插入姿态信息；
根据所述插入位置将所述目标三维信息插入所述目标场景元素，并根据所述姿态信息调整所述目标三维信息的姿态。
2.如权利要求1所述的方法，其特征在于，所述根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型，包括：
根据预设图像识别算法提取所述每个视频帧包含的三维场景信息；
根据所述每个视频帧包含的三维场景信息和预设构建模型构建所述每个视频帧对应的三维场景模型。
3.如权利要求1所述的方法，其特征在于，还包括：
获取所述目标场景元素的第一环境参数，并根据所述第一环境参数确定所述目标三维信息的第二环境参数；
根据所述第二环境参数调节所述目标三维信息的环境因子。
4.如权利要求1所述的方法，其特征在于，还包括：
根据插入所述目标三维信息的所述目标三维场景模型生成更新视频帧；
根据所述更新视频帧更新所述源视频中与所述目标三维场景模型对应的目标视频帧，以生成新的视频流；
将所述新的视频流提供给观看用户。
5.如权利要求1所述的方法，其特征在于，所述根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数，并根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中，包括：
将所述目标三维场景模型和所述目标三维信息在预设的信息投放平台显示；
接收用户在所述信息投放平台上对所述目标三维信息的位置调整操作和环境参数调整操作；
根据所述位置调整操作确定所述目标三维信息在所述目标三维场景模型中的目标插入位置和目标插入姿态，并根据所述目标插入位置和目标插入姿态将所述目标三维信息插入至所述目标三维场景模型，根据所述环境参数调整插入至所述目标三维场景模型的环境因子。
6.一种在视频流中插入信息的装置，其特征在于，包括：
模型构建模块，用于提取待插入信息的源视频的多个视频帧，根据预设算法构建所述多个视频帧中的每个视频帧对应的三维场景模型；
第一确定模块，用于获取待插入信息的目标三维信息，并在所有所述三维场景模型中确定与所述目标三维信息对应的目标三维场景模型；
第二确定模块，用于根据预设的匹配策略确定所述目标三维信息在所述目标三维场景模型中的目标插入参数；
插入模块，用于根据所述目标插入参数将所述目标三维信息插入至所述目标三维场景模型中；
其中，所述插入模块，包括：
计算单元，用于计算所述目标三维信息与所述目标三维场景模型中每个场景元素的相关度；
第一确定单元，用于确定所述目标场景元素的位置信息，根据所述目标场景元素的位置信息确定所述目标三维信息的插入位置和插入姿态信息；
第一插入单元，用于根据所述插入位置将所述目标三维信息插入所述目标场景元素，并根据所述姿态信息调整所述目标三维信息的姿态。
7.如权利要求6所述的装置，其特征在于，所述模型构建模块，包括：
提取单元，用于根据预设图像识别算法提取所述每个视频帧包含的三维场景信息；
构建单元，用于根据所述每个视频帧包含的三维场景信息和预设构建模型构建所述每个视频帧对应的三维场景模型。
8.如权利要求6所述的装置，其特征在于，还包括：
第三确定模块，用于获取所述目标场景元素的第一环境参数，并根据所述第一环境参数确定所述目标三维信息的第二环境参数；
调节模块，用于根据所述第二环境参数调节所述目标三维信息的环境因子。
9.如权利要求6所述的装置，其特征在于，还包括：
生成模块，用于根据插入所述目标三维信息的所述目标三维场景模型生成更新视频帧；
更新模块，用于根据所述更新视频帧更新所述源视频中与所述目标三维场景模型对应的目标视频帧，以生成新的视频流；
提供模块，用于将所述新的视频流提供给观看用户。
10.如权利要求6所述的装置，其特征在于，所述插入模块，包括：
显示单元，用于将所述目标三维场景模型和所述目标三维信息在预设的信息投放平台显示；
接收单元，用于接收用户在所述信息投放平台上对所述目标三维信息的位置调整操作和环境参数调整操作；
第二确定单元，用于根据所述位置调整操作确定所述目标三维信息在所述目标三维场景模型中的目标插入位置和目标插入姿态；
第二插入单元，用于根据所述目标插入位置和目标插入姿态将所述目标三维信息插入至所述目标三维场景模型，根据所述环境参数调整插入至所述目标三维场景模型的环境因子。
11.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一所述的在视频流中插入信息的方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的在视频流中插入信息的方法。
CN201910570122.7A 2019-06-27 2019-06-27 在视频流中插入信息的方法和装置 Active CN112153429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910570122.7A CN112153429B (zh) 2019-06-27 2019-06-27 在视频流中插入信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910570122.7A CN112153429B (zh) 2019-06-27 2019-06-27 在视频流中插入信息的方法和装置

Publications (2)

Publication Number Publication Date
CN112153429A CN112153429A (zh) 2020-12-29
CN112153429B true CN112153429B (zh) 2022-10-28

Family

ID=73868888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910570122.7A Active CN112153429B (zh) 2019-06-27 2019-06-27 在视频流中插入信息的方法和装置

Country Status (1)

Country Link
CN (1) CN112153429B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613473B (zh) * 2020-12-31 2024-04-23 湖南快乐阳光互动娱乐传媒有限公司 一种广告植入方法及系统
CN113923516B (zh) * 2021-09-29 2023-08-29 平安科技（深圳）有限公司 基于深度学习模型的视频处理方法、装置、设备以及存储介质
CN114022189A (zh) * 2021-10-19 2022-02-08 百果园技术(新加坡)有限公司 一种基于页面场景的广告展示方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007001796D1 (de) * 2006-03-10 2009-09-10 Hoffmann Marlit Sequenz von videoeinzelbildern, vorrichtung und verfahren zur bereitstellung eines szenenmodells, szenenmodell, vorrichtung und verfahren zum erzeugen einer menüstruktur und computerprogramm
CN106157358A (zh) * 2015-03-26 2016-11-23 成都理想境界科技有限公司 基于视频图像的对象融合方法及终端
CN107845142A (zh) * 2016-09-20 2018-03-27 星播网（深圳）信息有限公司 一种网络三维虚拟广告的自动生成及互动方法和系统
CN108650523B (zh) * 2018-05-22 2021-09-17 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质

Also Published As

Publication number Publication date
CN112153429A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112153429B (zh) 在视频流中插入信息的方法和装置
US10657652B2 (en) Image matting using deep learning
CN102246208B (zh) 图像分割
EP2933780A1 (en) Reality augmenting method, client device and server
CN105380575A (zh) 扫地机器人的控制方法、系统、云服务器和扫地机器人
CN106250012A (zh) 屏幕亮度和色温调整方法、装置及终端设备
CN110213613A (zh) 图像处理方法、装置及存储介质
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
US9019268B1 (en) Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
CN111105507A (zh) 虚拟附件模型的生成方法、装置、处理器及电子装置
CN108305305B (zh) 推广图片的设计模块生成方法和装置
CN114245155A (zh) 直播方法、装置及电子设备
CN107527277B (zh) 一种基于移动端的智能窗帘装饰设计系统
CN109983753A (zh) 图像处理装置、图像处理方法和程序
CN116862943A (zh) 一种商品照片自动化替换背景的方法及装置
CN108765529A (zh) 视频生成方法和装置
CN116522463B (zh) 室内设计方法、装置、设备及存储介质
CN112511815B (zh) 图像或视频生成方法及装置
CN110599575B (zh) 三维空间中物体图像的呈现方法、装置及存储介质
CN116681613A (zh) 人脸关键点检测的仿光照增强方法、装置、介质及设备
US20170214880A1 (en) Method for helping a person to select a furnishing covering surface
CN110602476A (zh) 一种基于深度信息辅助的高斯混合模型的空洞填补方法
Chalup et al. A computational approach to fractal analysis of a cityscape's skyline
CN115272057A (zh) 卡通素描图像重构网络的训练及其重构方法与设备
CN113408452A (zh) 表情重定向训练方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant