CN117729371A - 基于图像识别的动态视频目标嵌入方法、装置及设备 - Google Patents

Abstract

本申请公开了基于图像识别的动态视频目标嵌入方法、装置及设备，方法包括：基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和目标物体对应的目标视频资源；根据目标坐标信息对当前通话视频流中的目标物体进行实时描边处理，并生成透明UI组件；依据透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放，透明UI组件与目标视频资源绑定。此过程可以在不影响视频通话的情况下满足用户对视频帧中感兴趣对象的深入了解，提升了视频通话的交互灵活性和用户体验感。本申请能解决现有视频通话模式较为简单，交互上缺乏灵活性，导致用户体验感较差的技术问题。

Description

基于图像识别的动态视频目标嵌入方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及基于图像识别的动态视频目标嵌入方法、装置及设备。

背景技术

视频通话拉进了人们之间的距离，一瞬间即可查看到万里之外的景象、人物。人们在日常生活中可以通过视频与远方的亲朋好友交流，也可以通过视频直播等方式介绍景点、商品等。但是人们在视频通话的过程中，如果对对方对视频中出现的某件或某人比较感兴趣时，需要依赖对方进行一系列调整操作才能满足对方的需求。比如：在视频通话过程中，对某个花瓶感兴趣，想多角度查看花瓶细节，必须让对方手动控制拍摄花瓶的角度才进一步满足需求。又或者在通话的过程中，想让对方看到家中小朋友的成长历史视频，只能通过其它设备播放视频，在用手机进行拍摄屏幕，才能分享。

也就是说，现阶段视频通话还是处于较为简单的模式，无法提供更丰富的互动操作，于用户而言视频通话过程缺乏灵活性，极度不便利；影响用户的视频通话体验感。

发明内容

本申请提供了基于图像识别的动态视频目标嵌入方法、装置及设备，用于解决现有视频通话模式较为简单，交互上缺乏灵活性，导致用户体验感较差的技术问题。

有鉴于此，本申请第一方面提供了基于图像识别的动态视频目标嵌入方法，包括：

基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源；

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件；

依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，所述透明UI组件与所述目标视频资源绑定。

优选地，所述基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源，包括：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据所述目标特征数据在所述预设视频资源库中查找所述目标物体对应的目标坐标信息和目标视频资源。

优选地，所述基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源，之前还包括：

获取多种目标对象的初始视频资源；

对所述初始视频资源中的帧图像进行特征提取，得到初始特征数据；

建立所述初始特征数据、所述目标对象和所述初始视频资源之间的关联关系，生成预设视频资源库。

优选地，所述建立所述初始特征数据、所述目标对象和所述初始视频资源之间的关联关系，生成预设视频资源库，之后还包括：

将所述预设视频资源库上传至云端保存，或者进行本地存储处理。

优选地，所述根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件，包括：

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行边缘检测，并对所述目标物体进行实时描边处理，得到目标轮廓信息；

基于所述目标轮廓信息生成透明UI组件，并将所述透明UI组件与所述目标视频资源绑定关联。

优选地，所述依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，之后还包括：

接收用户下载请求，从所述预设视频资源库中获取所述目标视频资源，供用户下载。

本申请第二方面提供了基于图像识别的动态视频目标嵌入装置，包括：

目标识别单元，用于基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源；

描边凸显单元，用于根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件；

嵌入播放单元，用于依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，所述透明UI组件与所述目标视频资源绑定。

优选地，所述目标识别单元，具体用于：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据所述目标特征数据在所述预设视频资源库中查找所述目标物体对应的目标坐标信息和目标视频资源。

优选地，所述描边凸显单元，具体用于：

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行边缘检测，并对所述目标物体进行实时描边处理，得到目标轮廓信息；

基于所述目标轮廓信息生成透明UI组件，并将所述透明UI组件与所述目标视频资源绑定关联。

本申请第三方面提供了基于图像识别的动态视频目标嵌入设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于图像识别的动态视频目标嵌入方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了基于图像识别的动态视频目标嵌入方法，包括：基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和目标物体对应的目标视频资源；根据目标坐标信息对当前通话视频流中的目标物体进行实时描边处理，并生成透明UI组件；依据透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放，透明UI组件与目标视频资源绑定。

本申请提供的基于图像识别的动态视频目标嵌入方法，提前配置通话视频流中多种物体的视频资源，生成预设视频资源库；在实时视频通话过程，对视频帧中的目标物体进行检测识别，找到绑定的目标视频资源；然后通过描边生成的透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放。此过程可以在不影响视频通话的情况下满足用户对视频帧中感兴趣对象的深入了解，提升了视频通话的交互灵活性和用户体验感。因此，本申请能够解决现有视频通话模式较为简单，交互上缺乏灵活性，导致用户体验感较差的技术问题。

附图说明

图1为本申请实施例提供的基于图像识别的动态视频目标嵌入方法的流程示意图；

图2为本申请实施例提供的基于图像识别的动态视频目标嵌入装置的结构示意图；

图3为本申请实施例提供的预设视频资源库构建过程示意图；

图4为本申请实施例提供的在视频通话过程中的动态视频目标嵌入过程示意图；

图5为本申请应用例提供的小明成长视频资源库构建过程示例图；

图6为本申请应用例提供的在视频通话过程中的小明成长视频嵌入过程示例图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的基于图像识别的动态视频目标嵌入方法的实施例，包括：

步骤101、基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和目标物体对应的目标视频资源。

进一步地，步骤101，包括：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据目标特征数据在预设视频资源库中查找目标物体对应的目标坐标信息和目标视频资源。

进一步地，步骤101，之前还包括：

获取多种目标对象的初始视频资源；

对初始视频资源中的帧图像进行特征提取，得到初始特征数据；

建立初始特征数据、目标对象和初始视频资源之间的关联关系，生成预设视频资源库。

进一步地，建立初始特征数据、目标对象和初始视频资源之间的关联关系，生成预设视频资源库，之后还包括：

将预设视频资源库上传至云端保存，或者进行本地存储处理。

请参阅图3，预设视频资源库都是包含了目标对象或者目标物体详细信息的图像集合或者视频资源，是可以预先构建得到检索基准库；预设视频资源库可以部署在通话视频用户的本地存储内存中，也可以上传到到云端存储，只要可获取即可。而且，预设视频资源库中的目标对象与其特征数据和初始视频资源之间存在绑定关系，即关联关系，通过特征数据可以查到对应的目标对象，以及对应的初始视频资源。另外，预设视频资源库中的视频资源可以进行增加、删除、存储等操作。

基于提取到的目标特征数据可以对实时通话视频流中的目标物体进行检测识别，在预设视频资源库中找到对应的目标对象，进而确定出对应的初始视频资源，生成目标视频资源，检测查找过程则可以生成目标对象和目标视频资源的目标坐标信息。可以理解的是，预设特征提取技术可以根据实际情况设置，在此不作限定。

步骤102、根据目标坐标信息对当前通话视频流中的目标物体进行实时描边处理，并生成透明UI组件。

进一步地，步骤102，包括：

根据目标坐标信息对当前通话视频流中的目标物体进行边缘检测，并对目标物体进行实时描边处理，得到目标轮廓信息；

基于目标轮廓信息生成透明UI组件，并将透明UI组件与目标视频资源绑定关联。

可以理解的是，能够被检测识别的目标物体均可以进行边缘检测，并进行实时描边，得到目标物体对应的目标轮廓信息；基于这些目标轮廓信息可以生成每个目标物体对应的透明UI组件，这些透明UI组件可以直接显示在当前通话视频中，用于触发目标视频资源的调用。

步骤103、依据透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放，透明UI组件与目标视频资源绑定。

为了实现目标视频资源的调用及播放，需要在透明UI组件与对应的目标视频资源之间建立关联关系；便于用户在触发透明UI组件时，提取目标视频资源，并在当前通话视频流中以小窗口的形式播放。可以理解的是，小窗口在通话视频中的位置可以根据用户需求进行设置，例如通过手动拖拽的方式进行移动，放置在视频中的任意位置，具体的操作过程和实现方法在此不作赘述。

进一步地，步骤103，之后还包括：

接收用户下载请求，从预设视频资源库中获取目标视频资源，供用户下载。

请参阅图4，假设，用户甲与用户乙进行通话视频，用户甲给用户乙展示收藏花瓶，用户乙通过点击当前通话视频中花瓶上的透明UI组件观看花瓶对应的目标视频资源后，需要下载该目标视频资源，可以通过给用户甲发送下载请求，在用户甲同意后，即可从预设视频资源库中获取目标视频资源，并下载。

可以理解的是，基于以上分析，本实施例提供的基于图像识别的动态视频目标嵌入方法可以应用视频通话终端之外，还可以应用在直播、电子商务等热门行业。本是实施例的方案可拓展性较好、涉及应用行业较多、生命周期较长、易于执行，应用前景较佳。

为了便于理解，请参阅图5和图6，提供一种基于图像识别的动态视频目标嵌入系统示例。妈妈拍摄了很多小明的成长视频，想要分享给远在外地的亲朋好友，因视频较多，同时也为了减少亲朋好友的麻烦，没有一一传视频文件给他们，但他们也都想经常看看小明生活中的精彩视频。于是妈妈把小明的照片添加到图像识别物体特征数据库模块的预设视频资源库中，同时进行相应的捆绑关联；当妈妈和小明与亲朋好友视频时，通过点击屏幕中小明的图像，查看到了小明精彩视频。

这个过程中涉及妈妈上传小明的照片，图像识别模块接受到相关图片后和新增指令后，提取图像特征并进行保存；如图5所示。图像识别物体特征数据库模块接受到特征数据，并新建“小明”标签，进一步的妈妈通过选中预设视频资源库中小明的成长视频文件路径与标签进行捆绑。次日，妈妈与亲朋好友视频时，妈妈侧视频画面通过图像识别模块进行识别，如图6所示，通过与图像识别物体特征数据库模块存储的特征匹配，最终确认画面中包含小明，并获取捆绑的本地视频信息。继续的，轮廓标注模块，根据图像识别模块传递的轮廓坐标信息，实时在视频流中描边，假设小明轮廓为小笑脸。同时UI功能模块，根据轮廓信息生成带有控制功能的透明UI组件，透明UI组件与轮廓重合，用户支持用户点击、播放等操作。此时与妈妈通话的用户看到屏幕上小明的红色轮廓，用手点击后，弹出小窗口加载播放属于小明的成长视频，同时视频通话双方依旧保持正常状态。

本申请实施例提供的基于图像识别的动态视频目标嵌入方法，提前配置通话视频流中多种物体的视频资源，生成预设视频资源库；在实时视频通话过程，对视频帧中的目标物体进行检测识别，找到绑定的目标视频资源；然后通过描边生成的透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放。此过程可以在不影响视频通话的情况下满足用户对视频帧中感兴趣对象的深入了解，提升了视频通话的交互灵活性和用户体验感。因此，本申请实施例能够解决现有视频通话模式较为简单，交互上缺乏灵活性，导致用户体验感较差的技术问题。

为了便于理解，请参阅图2，本申请提供了基于图像识别的动态视频目标嵌入装置的实施例，包括：

目标识别单元201，用于基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和目标物体对应的目标视频资源；

描边凸显单元202，用于根据目标坐标信息对当前通话视频流中的目标物体进行实时描边处理，并生成透明UI组件；

嵌入播放单元203，用于依据透明UI组件将目标视频资源以小窗口的形式在当前通话视频流中播放，透明UI组件与目标视频资源绑定。

进一步地，目标识别单元201，具体用于：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据目标特征数据在预设视频资源库中查找目标物体对应的目标坐标信息和目标视频资源。

进一步地，描边凸显单元202，具体用于：

根据目标坐标信息对当前通话视频流中的目标物体进行边缘检测，并对目标物体进行实时描边处理，得到目标轮廓信息；

基于目标轮廓信息生成透明UI组件，并将透明UI组件与目标视频资源绑定关联。

本申请还提供了基于图像识别的动态视频目标嵌入设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行上述方法实施例中的基于图像识别的动态视频目标嵌入方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.基于图像识别的动态视频目标嵌入方法，其特征在于，包括：

基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源；

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件；

依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，所述透明UI组件与所述目标视频资源绑定。

2.根据权利要求1所述的基于图像识别的动态视频目标嵌入方法，其特征在于，所述基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源，包括：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据所述目标特征数据在所述预设视频资源库中查找所述目标物体对应的目标坐标信息和目标视频资源。

3.根据权利要求1所述的基于图像识别的动态视频目标嵌入方法，其特征在于，所述基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源，之前还包括：

获取多种目标对象的初始视频资源；

对所述初始视频资源中的帧图像进行特征提取，得到初始特征数据；

建立所述初始特征数据、所述目标对象和所述初始视频资源之间的关联关系，生成预设视频资源库。

4.根据权利要求3所述的基于图像识别的动态视频目标嵌入方法，其特征在于，所述建立所述初始特征数据、所述目标对象和所述初始视频资源之间的关联关系，生成预设视频资源库，之后还包括：

将所述预设视频资源库上传至云端保存，或者进行本地存储处理。

5.根据权利要求1所述的基于图像识别的动态视频目标嵌入方法，其特征在于，所述根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件，包括：

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行边缘检测，并对所述目标物体进行实时描边处理，得到目标轮廓信息；

基于所述目标轮廓信息生成透明UI组件，并将所述透明UI组件与所述目标视频资源绑定关联。

6.根据权利要求1所述的基于图像识别的动态视频目标嵌入方法，其特征在于，所述依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，之后还包括：

接收用户下载请求，从所述预设视频资源库中获取所述目标视频资源，供用户下载。

7.基于图像识别的动态视频目标嵌入装置，其特征在于，包括：

目标识别单元，用于基于预设视频资源库对当前通话视频流的帧图像中的目标物体进行检测识别，得到目标坐标信息和所述目标物体对应的目标视频资源；

描边凸显单元，用于根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行实时描边处理，并生成透明UI组件；

嵌入播放单元，用于依据所述透明UI组件将所述目标视频资源以小窗口的形式在所述当前通话视频流中播放，所述透明UI组件与所述目标视频资源绑定。

8.根据权利要求7所述的基于图像识别的动态视频目标嵌入装置，其特征在于，所述目标识别单元，具体用于：

采用预设特征提取技术在当前通话视频流的帧图像中提取目标物体的特征数据，得到目标特征数据；

根据所述目标特征数据在所述预设视频资源库中查找所述目标物体对应的目标坐标信息和目标视频资源。

9.根据权利要求7所述的基于图像识别的动态视频目标嵌入装置，其特征在于，所述描边凸显单元，具体用于：

根据所述目标坐标信息对所述当前通话视频流中的所述目标物体进行边缘检测，并对所述目标物体进行实时描边处理，得到目标轮廓信息；

基于所述目标轮廓信息生成透明UI组件，并将所述透明UI组件与所述目标视频资源绑定关联。

10.基于图像识别的动态视频目标嵌入设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的基于图像识别的动态视频目标嵌入方法。