CN113761281A - 虚拟资源处理方法、装置、介质及电子设备 - Google Patents

虚拟资源处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN113761281A
CN113761281A CN202110455932.5A CN202110455932A CN113761281A CN 113761281 A CN113761281 A CN 113761281A CN 202110455932 A CN202110455932 A CN 202110455932A CN 113761281 A CN113761281 A CN 113761281A
Authority
CN
China
Prior art keywords
virtual resource
main body
video
display
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110455932.5A
Other languages
English (en)
Other versions
CN113761281B (zh
Inventor
吴高
殷泽龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110455932.5A priority Critical patent/CN113761281B/zh
Publication of CN113761281A publication Critical patent/CN113761281A/zh
Application granted granted Critical
Publication of CN113761281B publication Critical patent/CN113761281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请的实施例提供了一种虚拟资源处理方法、装置、介质及电子设备。该方法包括:识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;将所述视频虚拟资源呈现在所述指定视频文件中。本申请实施例的技术方案可以提高生成的视频文件的内容协调性。

Description

虚拟资源处理方法、装置、介质及电子设备
技术领域
本申请涉及计算机及人工智能技术领域,具体而言,涉及一种虚拟资源处理方法、装置、计算机可读介质及电子设备。
背景技术
在虚拟资源生成场景中,比如在视频中生成红包、表情包等视频虚拟资源的场景,通常是将固定的虚拟资源对应的图像贴入背景视频中。然而,这种做法所生成的视频虚拟资源样式单一,无法生成具有趣味性的视频虚拟资源,导致生成的视频中虚拟资源与内容不协调。
发明内容
本申请的实施例提供了一种虚拟资源处理方法、装置、计算机可读介质及电子设备,进而至少在一定程度上可以提高生成的视频文件的内容协调性,并且可以增强视频虚拟资源的趣味性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种虚拟资源处理方法,所述方法包括:识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;将所述视频虚拟资源呈现在所述指定视频文件中。
根据本申请实施例的一个方面,提供了一种虚拟资源处理装置,所述装置包括:识别单元,被用于识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;确定单元,被用于根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;生成单元,被用于基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;呈现单元,被用于将所述视频虚拟资源呈现在所述指定视频文件中。
在本申请的一些实施例中,基于前述方案,所述识别单元配置为:通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;计算各个所述展示主体在所述视频帧图片中的展示面积;基于各个所述展示主体在所述视频帧图片中的展示面积,从所述至少一个展示主体中选择待选展示主体;在所述待选展示主体中确定目标展示主体。
在本申请的一些实施例中,基于前述方案,所述识别单元配置为:通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;计算各个所述展示主体的清晰度;基于各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体;在所述待选展示主体中确定目标展示主体。
在本申请的一些实施例中,基于前述方案,所述识别单元包括:第一提取单元,被用于通过主体特征提取模型提取各个待选展示主体的特征向量;聚类单元,被用于基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,其中,每一个待选展示主体集合中所包含的待选展示主体为相同的展示主体;选择单元,被用于从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体。
在本申请的一些实施例中,基于前述方案,所述聚类单元配置为:基于各个待选展示主体的特征向量,计算所述待选展示主体之间的相似度;将相似度大于第一预定阈值的待选展示主体聚类至同一待选展示主体集合,得到至少一个待选展示主体集合。
在本申请的一些实施例中,基于前述方案,所述主体特征数据包括主体标签信息;所述识别单元还包括:第二提取单元,被用于将所述目标展示主体输入至至少一个主体分类模型,其中,各个所述主体分类模型用于确定所述目标展示主体在对应属性上的分类标签;获取由各个所述主体分类模型输出的所述目标展示主体在各个属性上的分类标签;基于所述目标展示主体在各个属性上的分类标签,生成所述目标展示主体的主体标签信息。
在本申请的一些实施例中,基于前述方案,所述视频虚拟资源素材包括虚拟资源模板;所述确定单元配置为:根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,将选定的至少一个虚拟资源模板作为所述视频虚拟资源素材。
在本申请的一些实施例中,基于前述方案,所述虚拟资源模板对应有虚拟资源特征数据;所述确定单元配置为:根据所述主体特征数据和所述虚拟资源特征数据,确定所述目标展示主体与所述虚拟资源模板库中各个虚拟资源模板之间的匹配度;根据所述匹配度,从所述虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板。
在本申请的一些实施例中,基于前述方案,所述生成单元配置为:基于选定的虚拟资源模板中的融合区域内的参考点,确定所述目标展示主体的姿态数据;按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述生成单元配置为:在按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源之后,基于所述视频虚拟资源中融合区域内目标展示主体的参考点,生成新的虚拟资源模板;通过泊松融合对所述目标展示主体和所述新的虚拟资源模板进行二次融合,以更新所述视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述呈现单元配置为:在所述指定视频文件的各个视频帧图片中为所述视频虚拟资源生成展示位置;将所述视频虚拟资源展示在所述各个视频帧图片中相应的展示位置,以在所述指定视频文件中呈现所述视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述呈现单元配置为:在生成的视频虚拟资源的数量为多个时,获取用户针对多个视频虚拟资源的第一选择指令,从所述多个视频虚拟资源中确定目标视频虚拟资源;获取用户针对所述目标视频虚拟资源在所述指定视频文件中的呈现位置的第二选择指令,将所述目标视频虚拟资源呈现在所述指定视频文件中的指定呈现位置。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中所述的虚拟资源处理方法。
根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的虚拟资源处理方法。
根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的虚拟资源处理方法。
在本申请的一些实施例所提供的技术方案中,通过指定视频文件中目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材,基于所述目标展示主体和所述视频虚拟资源素材生成视频虚拟资源,并将所述视频虚拟资源呈现在所述指定视频文件中。由于生成的视频虚拟资源与视频文件中目标展示主体的主体特征数据是相对应的,使得视频虚拟资源与视频文件中的视频内容具有关联性,提高了生成的视频文件的内容协调性,并且实现了视频虚拟资源的个性化,有利于增强视频虚拟资源的趣味性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本申请实施例的技术方案的实施环境图;
图2示出了根据本申请一个实施例的虚拟资源处理方法的流程图;
图3示出了根据本申请一个实施例的识别指定视频文件中所包含的目标展示主体的细节流程图;
图4示出了根据本申请一个实施例的识别指定视频文件中所包含的目标展示主体的细节流程图;
图5示出了根据本申请一个实施例的在所述待选展示主体中确定目标展示主体的细节流程图;
图6示出了根据本申请一个实施例的提取所述目标展示主体的主体特征数据的细节流程图;
图7示出了根据本申请一个实施例的生成所述目标展示主体的主体标签信息的示例图;
图8示出了根据本申请一个实施例的从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板的细节流程图;
图9示出了根据本申请一个实施例的基于所述目标展示主体和所述视频虚拟资源素材生成视频虚拟资源的细节流程图;
图10示出了根据本申请一个实施例的将所述目标展示主体融合到所述选定的红包模板中的融合区域的演示图;
图11示出了根据本申请一个实施例的在得到用于在所述指定视频文件中呈现的视频虚拟资源之后的方法流程图;
图12示出了根据本申请一个实施例的基于所述目标展示主体和所述视频红包素材生成视频红包的整体技术流程图;
图13示出了根据本申请一个实施例的将所述视频虚拟资源呈现在所述指定视频文件中的细节流程图;
图14示出了根据本申请一个实施例的将所述视频红包呈现在所述指定视频文件中的页面展示图;
图15示出了根据本申请一个实施例的将所述视频虚拟资源呈现在所述指定视频文件中的细节流程图;
图16示出了根据本申请一个实施例的虚拟资源处理方法的应用流程图;
图17示出了根据本申请一个实施例的虚拟资源处理装置的框图;
图18示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要注意的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。
本申请中的实施例有涉及到关于人工智能的技术,即通过人工智能实现了对数据(例如图像数据)的智能处理。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
图1示出了根据本申请实施例的技术方案的实施环境图。
如图1所示,本申请实施例的技术方案的实施环境可以包括直播端101、服务器102,以及观众端103等。其中,直播端101和观众端103可以包括智能手机、平板电脑、触摸显示器和便携式计算机中的任意一种,当然也可以是其它具有触摸或非触摸显示功能的电子设备等等。
在本申请中,本申请实施例的技术方案可以实施在如图1所示的直播端101中,也可以实施在与直播端101连接的服务器102中。需要说明的是,直播端101可以与服务器102进行网络连接,这里的网络连接可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
如图1,在本申请的一个实施例中,在视频虚拟资源为视频红包时,可以是服务器102获取由直播端101上传的视频文件,基于用户在直播端101触发的“生成视频红包”指令,服务器102识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据,再根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频红包素材,最后,服务器102基于所述目标展示主体和所述视频红包素材,生成视频红包,并将所述视频红包呈现在所述指定视频文件中,进一步的,在观众端103可以观看呈现有视频红包的视频。通过确定与主体特征数据相对应的视频红包素材,并将由目标展示主体和视频红包素材生成的视频红包呈现在所述指定视频文件中,能够增强视频红包的个性化。
在本实施例中,服务器102也可以是从区块链中获取视频文件,而区块链中的视频文件则可以是由用户通过终端设备上传的。此外,服务器102还可以从区块链中获取视频红包素材,并从获取的视频红包素材中确定与所述主体特征数据相对应的视频红包素材。
在本实施例中,根据实现需要,服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此,本申请在此不做限制。
需要解释的是,如上所述的云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展。通过建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图2示出了根据本申请一个实施例的虚拟资源处理方法的流程图,该虚拟资源处理方法可以由具有计算处理功能的设备来执行。参照图2所示,该虚拟资源处理方法至少包括步骤210至步骤270,详细介绍如下:
在步骤210中,识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据。
在本申请中,指定视频文件可以是指用户用于发放视频虚拟资源的视频文件,可以在识别指定视频文件中所包含的目标展示主体之前获取指定视频文件,比如,在短视频平台,当用户通过客户端拍摄视频之后,触发生成视频虚拟资源的指令时,将所述拍摄的视频确定为指定视频文件。
在本申请中,所述视频虚拟资源可以是指用于呈现在视频中的红包,也可以是指用于呈现在视频中的表情包。
在本申请中,指定视频文件中所包含的目标展示主体可以是指整个人物,也可以是指视频中人物的人脸图像,还可以是指动物,例如,猫,狗等等,还可以是指静态物体,例如视频中出现的植物,家具等等。
在步骤210的一个实施例中,识别指定视频文件中所包含的目标展示主体,可以按照如图3所示的步骤执行。
参见图3,示出了根据本申请一个实施例的识别指定视频文件中所包含的目标展示主体的细节流程图。具体包括步骤211至步骤214:
在步骤211中,通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体。
在步骤212中,计算各个所述展示主体在所述视频帧图片中的展示面积。
在步骤213中,基于各个所述展示主体在所述视频帧图片中的展示面积,从所述至少一个展示主体中选择待选展示主体。
在步骤214中,在所述待选展示主体中确定目标展示主体。
在本实施例中,所述主体检测模型可以是指机器学习模型,例如级联卷积神经网络(Convolutional neural network,CNN)结构模型,通过多任务学习,识别所述指定视频文件的各个视频帧图片中所包含的展示主体,例如,识别出各个视频帧图片中所包含的人脸图像。
在本实施例中,所述展示主体在所述视频帧图片中的展示面积可以用于表征所述展示主体在目标图片中所占据区域的大小。进一步的,从所述至少一个展示主体中选择待选展示主体,可以是将展示面积超过第二预定阈值的展示主体确定为待选展示主体,这样可以过滤掉较小的展示主体。
在本实施例中,将展示面积超过第二预定阈值的展示主体确定为待选展示主体,能够确保待选展示主体对所述指定视频文件内容的表征力度,增强在后续中的计算质量。
在步骤210的另一个实施例中,识别指定视频文件中所包含的目标展示主体,还可以按照如图4所示的步骤执行。
参见图4,示出了根据本申请一个实施例的识别指定视频文件中所包含的目标展示主体的细节流程图。具体包括步骤215至步骤218:
在步骤215中,通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体。
在步骤216中,计算各个所述展示主体的清晰度。
在步骤217中,基于各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体。
在步骤218中,在所述待选展示主体中确定目标展示主体。
在本实施例中,所述展示主体在所述视频帧图片中的清晰度可以用于表征所述展示主体在目标图片中的清晰程度。进一步的,从所述至少一个展示主体中选择待选展示主体,可以是将清晰度超过第三预定阈值的展示主体确定为待选展示主体,以过滤掉模糊的展示主体。
在本实施例中,将清晰度超过第三预定阈值的展示主体确定为待选展示主体,也能够确保待选展示主体对所述指定视频文件内容的表征力度,增强在后续中的计算质量。
在本实施例中,展示主体的清晰度,可以采用SMD(即灰度方差)函数对清晰度进行计算,当展示主体的图像完全聚焦时,即当函数返回值越大时,图像最清晰,图像中的高频分量也最多,故可以将灰度变化作为清晰度评估的依据。
在步骤210的其它实施例中,识别指定视频文件中所包含的目标展示主体,还可以综合图3和图4所示的步骤执行,即:
首先,通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体。
其次,计算各个所述展示主体在所述视频帧图片中的展示面积和各个所述展示主体的清晰度。
再次,基于各个所述展示主体在所述视频帧图片中的展示面积和各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体。
最后,在所述待选展示主体中确定目标展示主体。
在本实施例中,基于各个所述展示主体在所述视频帧图片中的展示面积和各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体,可以是将展示面积超过第二预定阈值,且清晰度超过第三预定阈值的展示主体确定为待选展示主体。其好处在于,该实施例即可以过滤掉较小的展示主体,也可以过滤掉模糊的展示主体,从而更能保证剩余的展示主体对所述指定视频文件内容具有较强的表征力度。
在本申请中,当所述展示主体为人脸图像时,过滤出最优质的人脸图像,有助于后续高质量视频虚拟资源的生成。
在如图3所示步骤214,以及如图4所示步骤218的一个实施例中,在所述待选展示主体中确定目标展示主体,可以按照如图5所示的步骤执行。
参见图5,示出了根据本申请一个实施例的在所述待选展示主体中确定目标展示主体的细节流程图。具体包括步骤2191至步骤2193:
在步骤2191中,通过主体特征提取模型提取各个待选展示主体的特征向量。
在步骤2192中,基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,其中,每一个待选展示主体集合中所包含的待选展示主体为相同的展示主体。
在步骤2193中,从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体。
在本实施例中,所述主体特征提取模型也可以是基于机器学习模型得到的,例如,可以利用Face Net人脸识别预训练模型进行待选展示主体的特征的提取,例如,进行人脸特征的提取。
在如图5所示步骤2192的一个实施例中,基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,可以是按照如下方式实现:
首先,基于各个待选展示主体的特征向量,计算所述待选展示主体之间的相似度。
然后,将相似度大于第一预定阈值的待选展示主体聚类至同一待选展示主体集合,得到至少一个待选展示主体集合。
在本实施例中,计算所述待选展示主体之间的相似度,可以是指计算待选展示主体中任意两个展示主体之间的相似度。
在本实施例中,可以是基于各个待选展示主体的特征向量,通过余弦公式计算任意两个展示主体之间的向量距离,通过所述向量距离确定任意两个展示主体之间的相似度,当所述向量距离越小时,则相似度越大。
在本实施例中,所述第一预定阈值可以根据实际需要进行设定,当两个展示主体的相似度大于第一预定阈值时,则可以认为这两个展示主体为相同展示主体。
在一个指定视频文件中,可以包括有多个不同的展示主体,每一个展示主体可能出现多次,因此,针对每一个展示主体,都可以对应得到至少一个待选展示主体集合。例如,一个视频中可以出现多个人脸,每个人脸在视频中各个视频帧图片中可以出现过多次,因此,通过对所有人脸进行聚类处理,可以对应得到至少一个人脸集合,其中,每个人脸集合中的人脸均为相同人脸。
在如图5所示步骤2193中,从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体,由于待选展示主体数量最多,所以其对应待选展示主体集合中的展示主体最能体现指定视频文件的内容,这有利于增强在后续中针对目标展示主体的主体特征数据的计算质量,从而有利于后续中高质量视频虚拟资源的生成。
在如图5所示步骤2193的一个实施例中,从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体,可以是根据展示主体的展示面积,清晰度,以及角度等指标,从待选展示主体数量最多的待选展示主体集合中确定一个最优的展示主体。
在本申请中,所述主体特征数据可以包括主体标签信息。
进一步的,在步骤210的一个实施例中,提取所述目标展示主体的主体特征数据,可以按照如图6所示的步骤执行。
参见图6,示出了根据本申请一个实施例的提取所述目标展示主体的主体特征数据的细节流程图。具体包括步骤2194至步骤2196:
在步骤2194中,将所述目标展示主体输入至至少一个主体分类模型,其中,各个所述主体分类模型用于确定所述目标展示主体在对应属性上的分类标签。
在步骤2195中,获取由各个所述主体分类模型输出的所述目标展示主体在各个属性上的分类标签。
在步骤2196中,基于所述目标展示主体在各个属性上的分类标签,生成所述目标展示主体的主体标签信息。
为了使本领域技术人员更好的理解本方案是如何提取所述目标展示主体的主体标签信息的,下面将结合图7,以人脸为例进行说明。
参见图7,示出了根据本申请一个实施例的生成所述目标展示主体的主体标签信息的示例图。
具体的,如图7所示,首先将目标人脸701分别输入至如702所示的性别分类模型,年龄分类模型,表情分类模型,以及其它属性对应的分类模型,从而得到人脸的性别为“女”,年龄为“儿童”,表情为“搞怪”等分类标签,最后,基于这些分类标签,生成目标人脸701的主题标签信息703,即“[女儿童搞怪…]”。
在本申请中,需要说明的是,如上所述的各个主体分类模型也可以是针对机器学习模型进行训练而得到的。
继续参照图2,在步骤230中,根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材。
在本申请中,所述视频虚拟资源素材可以包括虚拟资源模板,比如,虚拟资源模板可以是指红包模板,还比如可以是指表情包模板。
在步骤230的一个实施例中,根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材,可以是根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,将选定的至少一个虚拟资源模板作为所述视频虚拟资源素材。
在本申请中,所述虚拟资源模板可以对应有虚拟资源特征数据。
进一步的,根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,可以按照如图8所示的步骤执行。
参见图8,示出了根据本申请一个实施例的从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板的细节流程图。具体包括步骤231至步骤232:
在步骤231中,根据所述主体特征数据和所述虚拟资源特征数据,确定所述目标展示主体与所述虚拟资源模板库中各个虚拟资源模板之间的匹配度。
在步骤232中,根据所述匹配度,从所述虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板。
在本申请中,虚拟资源模板库中可以包括有各种类型的虚拟资源模板,其中,虚拟资源模板库中的各个虚拟资源模板可以是基于不同风格特征预先设计好的,例如在所述展示主体为人脸时,针对表情为高兴的青年男性设计一种类型的虚拟资源模板,再例如,针对表情为惊讶的中年女性设计一种类型的虚拟资源模板。
需要说明的是,本申请中所涉及额虚拟资源模板,也可以包括卡通化的虚拟资源模板。另外,在所述展示主体为人脸时,针对人脸的不同风格特征,可以将虚拟资源模板设计为全身虚拟资源模板、表情包式的虚拟资源模板等等。
需要说明的是,在各个风格特征的虚拟资源模板中,还对应配置有与其风格特征相对应的虚拟资源特征数据。
在本申请中,所述虚拟资源特征数据可以为虚拟资源标签信息,例如,针对表情为高兴的青年男性设计一种类型的虚拟资源模板中,其配置的虚拟资源标签信息可以为“[男青年高兴]”。
在本申请中,目标展示主体与虚拟资源模板之间的匹配度,可以是指主体特征数据和虚拟资源特征数据之间的匹配度,目标展示主体与不同虚拟资源模板之间的匹配度不同,例如,在目标展示主体的为人脸时,表情为惊讶的中年女性对应的虚拟资源模板与青年男性的人脸之间的匹配度就较低,但与中年女性的人脸之间的匹配度就会较高。
在本申请中,根据所述匹配度,从所述虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,可以是从所述虚拟资源模板库中选定与所述目标展示主体匹配度最高的至少一个虚拟资源模板。
在本申请中,由于从所述虚拟资源模板库中选定出的与所述目标展示主体相匹配的虚拟资源模板与所述目标展示主体的关联性较强,从而使得所述相匹配的虚拟资源模板与目标展示主体所在指定视频文件的内容的关联性较强,进而使得在后续中由所述相匹配的虚拟资源模板生成的视频虚拟资源具有较强的个性化,故能够提高生成的视频文件的内容协调性,增强视频虚拟资源的趣味性。
继续参照图2,在步骤250中,基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源。
在步骤250的一个实施例中,基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源,可以按照如图9所示的步骤执行。
参见图9,示出了根据本申请一个实施例的基于所述目标展示主体和所述视频虚拟资源素材生成视频虚拟资源的细节流程图。具体包括步骤251至步骤252:
在步骤251中,基于选定的虚拟资源模板中的融合区域内的参考点,确定所述目标展示主体的姿态数据。
在步骤252中,按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源。
为了使本领域技术人员更好的理解本方案是如何基于目标展示主体和视频虚拟资源素材生成视频虚拟资源的,下面将结合图10,以所述目标展示主体包括人脸,所述视频虚拟资源包括视频红包为例进行说明。参见图10,示出了根据本申请一个实施例的将所述目标展示主体融合到所述选定的红包模板中的融合区域的演示图。
如图10所示,红包模板1001中包括融合区域1002,在融合区域1002中包括参考点1003,其中,参考点1003可以是指基于人脸的五官位置而设定的,例如眼睛、鼻子、嘴的位置,可以根据融合区域1002中各个参考点1003位置,以及各个参考点连线的角度,确定目标人脸(即目标展示主体)的姿态数据,所述姿态数据可以是指目标人脸1004的倾斜方位和倾斜角度,例如,把正着的人脸调整为歪着的人脸。确定好的目标人脸1004的姿态数据应该与融合区域1002中各个参考点1003位置,以及各个参考点连线的角度相匹配。在确定好目标人脸1004的姿态数据之后,可以将目标人脸1004融合到红包模板1001中的融合区域1002,得到用于在所述指定视频文件中呈现的视频红包1005。
在步骤250之后的一个实施例中,即在按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源之后,还可以执行如图11所示的步骤。
参见图11,示出了根据本申请一个实施例的在得到用于在所述指定视频文件中呈现的视频虚拟资源之后的方法流程图。具体包括步骤253至步骤254:
在步骤253中,基于所述视频虚拟资源中融合区域内目标展示主体的参考点,生成新的虚拟资源模板。
在步骤254中,通过泊松融合对所述目标展示主体和所述新的虚拟资源模板进行二次融合,以更新所述视频虚拟资源。
为了使本领域技术人员更好的理解本方案是如何基于目标展示主体和视频虚拟资源素材生成视频虚拟资源的,下面将结合图12,以所述目标展示主体包括人脸,所述视频虚拟资源包括视频红包为例从整体的融合过程进行说明。参见图12,示出了根据本申请一个实施例的基于所述目标展示主体和所述视频红包素材生成视频红包的整体技术流程图。
如图12所示,在步骤1201中,确定红包模板。
在步骤1202中,确定人脸图像。
在步骤1203中,通过多任务卷积神经网络(Multi-task convolutional neuralnetwork,MT CNN)模型分别对红包模板和人脸图像中人脸的参考点进行检测。
在步骤1204中,确定模板中的人脸参考点。
在步骤1205中,确定人脸图像的参考点。
在步骤1206中,参照红包模板调整人脸图像的参考点(包括角度、坐标)。
在步骤1207中,对人脸图像和红包模板进行初次融合。
在步骤1208中,生成初次融合的视频红包。
在步骤1209中,提取视频红包的人脸参考点。
在步骤1210中,参照人脸参考点,生成新的红包模板。
在步骤1211中,通过泊松融合对人脸图像和红包模板进行二次融合,以更新所述视频红包。
在本申请中,分别对目标展示主体和虚拟资源模板进行初次融合和二次融合,其好处在于,可以提高目标展示主体和虚拟资源模板的融合精度。
继续参照图2,在步骤270中,将所述视频虚拟资源呈现在所述指定视频文件中。
在步骤270的一个实施例中,将所述视频虚拟资源呈现在所述指定视频文件中,可以按照如图13所示的步骤执行。
参见图13,示出了根据本申请一个实施例的将所述视频虚拟资源呈现在所述指定视频文件中的细节流程图,具体包括步骤271至步骤272:
在步骤271中,在所述指定视频文件的各个视频帧图片中为所述视频虚拟资源生成展示位置。
在步骤272中,将所述视频虚拟资源展示在所述各个视频帧图片中相应的展示位置,以在所述指定视频文件中呈现所述视频虚拟资源。
为了使本领域技术人员更好的理解本方案是如何将所述视频虚拟资源呈现在所述指定视频文件中的,下面将结合图14,以所述目标展示主体包括人脸,所述视频虚拟资源包括视频红包为例进行说明。
参见图14,示出了根据本申请一个实施例的将所述视频红包呈现在所述指定视频文件中的页面展示图。
如图14所示,在当前播放视频的展示页面1401中,生成展示位置1403,并将生成的视频红包1402呈现在展示页面1401的展示位置1403中。
在本申请中,通过在指定视频文件的各个视频帧图片中生成特定的展示位置,可以避免呈现的视频红包挡住视频中的关键信息(比如人脸),从而提高用户体验。
在将所述视频红包呈现在所述指定视频文件中之后,观众可以通过点击生成的具有个性化的视频红包来领取红包,从而增强领取红包的趣味性,提高观众体验。
在步骤270的另一个实施例中,在生成的视频虚拟资源的数量为多个时,将所述视频虚拟资源呈现在所述指定视频文件中,可以按照如图15所示的步骤执行。
参见图15,示出了根据本申请一个实施例的将所述视频虚拟资源呈现在所述指定视频文件中的细节流程图,具体包括步骤273至步骤274:
在步骤273中,获取用户针对多个视频虚拟资源的第一选择指令,从所述多个视频虚拟资源中确定目标视频虚拟资源。
在步骤274中,获取用户针对所述目标视频虚拟资源在所述指定视频文件中的呈现位置的第二选择指令,将所述目标视频虚拟资源呈现在所述指定视频文件中的指定呈现位置。
在本申请中,在生成的视频虚拟资源的数量为多个时,用户通过第一选择指令和第二选择指令可以选择想要呈现在指定视频文件中的视频虚拟资源,以及可以选择将视频虚拟资源呈现在指定视频文件中想要呈现的位置,从而增强用户在呈现视频虚拟资源过程中的参与度,同时也增强了视频虚拟资源在指定视频文件中呈现的趣味性,提高用户体验。
最后,为了使本领域技术人员更好的理解本申请方案的一些应用场景,下面将结合图16,以所述视频虚拟资源包括视频红包为例进行举例说明。
参见图16,示出了根据本申请一个实施例的虚拟资源处理方法的应用流程图。
如图16所示,在步骤1601中,用户将视频文件上传客户端。
在步骤1602中,用户选择在视频中发红包。
在步骤1603中,用户确定红包金额并付款。
在步骤1604中,理解视频内容,并生成个性的化视频红包。
在步骤1605中,用户选择一款视频红包并放入视频文件中的合适位置。
在步骤1606中,发布视频。
本申请所提供的技术方案通过指定视频文件中目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材,基于所述目标展示主体和所述视频虚拟资源素材生成视频虚拟资源,并将所述视频虚拟资源呈现在所述指定视频文件中。由于生成的视频虚拟资源与视频文件中目标展示主体的主体特征数据是相对应的,使得视频虚拟资源与视频文件中的视频内容具有关联性,提高了生成的视频文件的内容协调性,并且实现了视频虚拟资源的个性化,有利于增强视频虚拟资源的趣味性。与此同时,基于所述目标展示主体和所述视频虚拟资源素材生成视频虚拟资源,也能提高虚拟资源处理效率。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的虚拟资源处理方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的虚拟资源处理方法的实施例。
图17示出了根据本申请一个实施例的虚拟资源处理装置的框图。
参照图17所示,根据本申请的一个实施例的虚拟资源处理装置1700,包括:识别单元1701、确定单元1702、生成单元1703和呈现单元1704。
其中,识别单元1701,被用于识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;确定单元1702,被用于根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;生成单元1703,被用于基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;呈现单元1704,被用于将所述视频虚拟资源呈现在所述指定视频文件中。
在本申请的一些实施例中,基于前述方案,所述识别单元1701配置为:通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;计算各个所述展示主体在所述视频帧图片中的展示面积;基于各个所述展示主体在所述视频帧图片中的展示面积,从所述至少一个展示主体中选择待选展示主体;在所述待选展示主体中确定目标展示主体。
在本申请的一些实施例中,基于前述方案,所述识别单元1701配置为:通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;计算各个所述展示主体的清晰度;基于各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体;在所述待选展示主体中确定目标展示主体。
在本申请的一些实施例中,基于前述方案,所述识别单元1701包括:第一提取单元,被用于通过主体特征提取模型提取各个待选展示主体的特征向量;聚类单元,被用于基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,其中,每一个待选展示主体集合中所包含的待选展示主体为相同的展示主体;选择单元,被用于从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体。
在本申请的一些实施例中,基于前述方案,所述聚类单元配置为:基于各个待选展示主体的特征向量,计算所述待选展示主体之间的相似度;将相似度大于第一预定阈值的待选展示主体聚类至同一待选展示主体集合,得到至少一个待选展示主体集合。
在本申请的一些实施例中,基于前述方案,所述主体特征数据包括主体标签信息;所述识别单元1701还包括:第二提取单元,被用于将所述目标展示主体输入至至少一个主体分类模型,其中,各个所述主体分类模型用于确定所述目标展示主体在对应属性上的分类标签;获取由各个所述主体分类模型输出的所述目标展示主体在各个属性上的分类标签;基于所述目标展示主体在各个属性上的分类标签,生成所述目标展示主体的主体标签信息。
在本申请的一些实施例中,基于前述方案,所述视频虚拟资源素材包括虚拟资源模板;所述确定单元1702配置为:根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,将选定的至少一个虚拟资源模板作为所述视频虚拟资源素材。
在本申请的一些实施例中,基于前述方案,所述虚拟资源模板对应有虚拟资源特征数据;所述确定单元1702配置为:根据所述主体特征数据和所述虚拟资源特征数据,确定所述目标展示主体与所述虚拟资源模板库中各个虚拟资源模板之间的匹配度;根据所述匹配度,从所述虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板。
在本申请的一些实施例中,基于前述方案,所述生成单元1703配置为:基于选定的虚拟资源模板中的融合区域内的参考点,确定所述目标展示主体的姿态数据;按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述生成单元1703配置为:在按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源之后,基于所述视频虚拟资源中融合区域内目标展示主体的参考点,生成新的虚拟资源模板;通过泊松融合对所述目标展示主体和所述新的虚拟资源模板进行二次融合,以更新所述视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述呈现单元1704配置为:在所述指定视频文件的各个视频帧图片中为所述视频虚拟资源生成展示位置;将所述视频虚拟资源展示在所述各个视频帧图片中相应的展示位置,以在所述指定视频文件中呈现所述视频虚拟资源。
在本申请的一些实施例中,基于前述方案,所述呈现单元1704配置为:在生成的视频虚拟资源的数量为多个时,获取用户针对多个视频虚拟资源的第一选择指令,从所述多个视频虚拟资源中确定目标视频虚拟资源;获取用户针对所述目标视频虚拟资源在所述指定视频文件中的呈现位置的第二选择指令,将所述目标视频虚拟资源呈现在所述指定视频文件中的指定呈现位置。
图18示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图18示出的电子设备的计算机系统1800仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图18所示,计算机系统1800包括中央处理单元(Central Processing Unit,CPU)1801,其可以根据存储在只读存储器(Read-Only Memory,ROM)1802中的程序或者从储存部分1808加载到随机访问存储器(Random Access Memory,RAM)1803中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 1803中,还存储有系统操作所需的各种程序和数据。CPU 1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出(Input/Output,I/O)接口1805也连接至总线1804。
以下部件连接至I/O接口1805:包括键盘、鼠标等的输入部分1806;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1807;包括硬盘等的储存部分1808;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至I/O接口1805。可拆卸介质1811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1810上,以便于从其上读出的计算机程序根据需要被安装入储存部分1808。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1809从网络上被下载和安装,和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元(CPU)1801执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中所述的虚拟资源处理方法。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的虚拟资源处理方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种虚拟资源处理方法,其特征在于,所述方法包括:
识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;
根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;
基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;
将所述视频虚拟资源呈现在所述指定视频文件中。
2.根据权利要求1所述的方法,其特征在于,所述识别指定视频文件中所包含的目标展示主体,包括:
通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;
计算各个所述展示主体在所述视频帧图片中的展示面积;
基于各个所述展示主体在所述视频帧图片中的展示面积,从所述至少一个展示主体中选择待选展示主体;
在所述待选展示主体中确定目标展示主体。
3.根据权利要求1所述的方法,其特征在于,所述识别指定视频文件中所包含的目标展示主体,包括:
通过主体检测模型识别所述指定视频文件的各个视频帧图片中所包含的展示主体,得到至少一个展示主体;
计算各个所述展示主体的清晰度;
基于各个所述展示主体的清晰度,从所述至少一个展示主体中选择待选展示主体;
在所述待选展示主体中确定目标展示主体。
4.根据权利要求2或3所述方法,其特征在于,所述在所述待选展示主体中确定目标展示主体,包括:
通过主体特征提取模型提取各个待选展示主体的特征向量;
基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,其中,每一个待选展示主体集合中所包含的待选展示主体为相同的展示主体;
从包含的待选展示主体数量最多的待选展示主体集合中选择所述目标展示主体。
5.根据权利要求4所述方法,其特征在于,所述基于各个待选展示主体的特征向量,对所述各个待选展示主体进行聚类处理,得到至少一个待选展示主体集合,包括:
基于各个待选展示主体的特征向量,计算所述待选展示主体之间的相似度;
将相似度大于第一预定阈值的待选展示主体聚类至同一待选展示主体集合,得到至少一个待选展示主体集合。
6.根据权利要求5所述的方法,其特征在于,所述主体特征数据包括主体标签信息;所述提取所述目标展示主体的主体特征数据,包括:
将所述目标展示主体输入至至少一个主体分类模型,其中,各个所述主体分类模型用于确定所述目标展示主体在对应属性上的分类标签;
获取由各个所述主体分类模型输出的所述目标展示主体在各个属性上的分类标签;
基于所述目标展示主体在各个属性上的分类标签,生成所述目标展示主体的主体标签信息。
7.根据权利要求1所述的方法,其特征在于,所述视频虚拟资源素材包括虚拟资源模板;所述根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材,包括:
根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,将选定的至少一个虚拟资源模板作为所述视频虚拟资源素材。
8.根据权利要求7所述的方法,其特征在于,所述虚拟资源模板对应有虚拟资源特征数据;所述根据所述目标展示主体的主体特征数据,从虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板,包括:
根据所述主体特征数据和所述虚拟资源特征数据,确定所述目标展示主体与所述虚拟资源模板库中各个虚拟资源模板之间的匹配度;
根据所述匹配度,从所述虚拟资源模板库中选定与所述目标展示主体相匹配的至少一个虚拟资源模板。
9.根据权利要求7或8所述的方法,其特征在于,所述基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源,包括:
基于选定的虚拟资源模板中的融合区域内的参考点,确定所述目标展示主体的姿态数据;
按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源。
10.根据权利要求9所述的方法,其特征在于,在按照所述目标展示主体的姿态数据,将所述目标展示主体融合到所述选定的虚拟资源模板中的融合区域,得到用于在所述指定视频文件中呈现的视频虚拟资源之后,所述方法还包括:
基于所述视频虚拟资源中融合区域内目标展示主体的参考点,生成新的虚拟资源模板;
通过泊松融合对所述目标展示主体和所述新的虚拟资源模板进行二次融合,以更新所述视频虚拟资源。
11.根据权利要求1所述的方法,其特征在于,所述将所述视频虚拟资源呈现在所述指定视频文件中,包括:
在所述指定视频文件的各个视频帧图片中为所述视频虚拟资源生成展示位置;
将所述视频虚拟资源展示在所述各个视频帧图片中相应的展示位置,以在所述指定视频文件中呈现所述视频虚拟资源。
12.根据权利要求1所述的方法,其特征在于,在生成的视频虚拟资源的数量为多个时,所述将所述视频虚拟资源呈现在所述指定视频文件中,包括:
获取用户针对多个视频虚拟资源的第一选择指令,从所述多个视频虚拟资源中确定目标视频虚拟资源;
获取用户针对所述目标视频虚拟资源在所述指定视频文件中的呈现位置的第二选择指令,将所述目标视频虚拟资源呈现在所述指定视频文件中的指定呈现位置。
13.一种虚拟资源处理装置,其特征在于,所述装置包括:
识别单元,被用于识别指定视频文件中所包含的目标展示主体,并提取所述目标展示主体的主体特征数据;
确定单元,被用于根据所述目标展示主体的主体特征数据,确定与所述主体特征数据相对应的视频虚拟资源素材;
生成单元,被用于基于所述目标展示主体和所述视频虚拟资源素材,生成视频虚拟资源;
呈现单元,被用于将所述视频虚拟资源呈现在所述指定视频文件中。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至12任一项所述的虚拟资源处理方法所执行的操作。
15.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至12任一项所述的虚拟资源处理方法所执行的操作。
CN202110455932.5A 2021-04-26 2021-04-26 虚拟资源处理方法、装置、介质及电子设备 Active CN113761281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110455932.5A CN113761281B (zh) 2021-04-26 2021-04-26 虚拟资源处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110455932.5A CN113761281B (zh) 2021-04-26 2021-04-26 虚拟资源处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113761281A true CN113761281A (zh) 2021-12-07
CN113761281B CN113761281B (zh) 2024-05-14

Family

ID=78786893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110455932.5A Active CN113761281B (zh) 2021-04-26 2021-04-26 虚拟资源处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113761281B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340991A (zh) * 2023-02-02 2023-06-27 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187193A1 (en) * 2005-02-22 2006-08-24 Esquilin Eileen C System and method for generating a virtual reality presentation
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
WO2018108035A1 (zh) * 2016-12-13 2018-06-21 腾讯科技(深圳)有限公司 信息处理以及虚拟资源交换方法、装置及设备
WO2019042183A1 (zh) * 2017-08-31 2019-03-07 腾讯科技(深圳)有限公司 虚拟场景显示方法、装置及存储介质
CN110035314A (zh) * 2019-03-08 2019-07-19 腾讯科技(深圳)有限公司 信息的展示方法和装置、存储介质、电子装置
CN110781421A (zh) * 2019-08-13 2020-02-11 腾讯科技(深圳)有限公司 一种虚拟资源展示的方法以及相关装置
CN110827379A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN111539795A (zh) * 2020-04-28 2020-08-14 北京三快在线科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111966441A (zh) * 2020-08-27 2020-11-20 腾讯科技(深圳)有限公司 基于虚拟资源的信息处理方法、装置、电子设备及介质
US20200409990A1 (en) * 2019-06-26 2020-12-31 Rovi Guides, Inc. Systems and methods for generating supplemental content for media content
CN112423022A (zh) * 2020-11-20 2021-02-26 北京字节跳动网络技术有限公司 视频生成及显示方法、装置、设备、介质
CN112464031A (zh) * 2021-02-02 2021-03-09 北京达佳互联信息技术有限公司 交互方法、装置、电子设备以及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187193A1 (en) * 2005-02-22 2006-08-24 Esquilin Eileen C System and method for generating a virtual reality presentation
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
WO2018108035A1 (zh) * 2016-12-13 2018-06-21 腾讯科技(深圳)有限公司 信息处理以及虚拟资源交换方法、装置及设备
WO2019042183A1 (zh) * 2017-08-31 2019-03-07 腾讯科技(深圳)有限公司 虚拟场景显示方法、装置及存储介质
CN110035314A (zh) * 2019-03-08 2019-07-19 腾讯科技(深圳)有限公司 信息的展示方法和装置、存储介质、电子装置
US20200409990A1 (en) * 2019-06-26 2020-12-31 Rovi Guides, Inc. Systems and methods for generating supplemental content for media content
CN110781421A (zh) * 2019-08-13 2020-02-11 腾讯科技(深圳)有限公司 一种虚拟资源展示的方法以及相关装置
CN110827379A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN111539795A (zh) * 2020-04-28 2020-08-14 北京三快在线科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111966441A (zh) * 2020-08-27 2020-11-20 腾讯科技(深圳)有限公司 基于虚拟资源的信息处理方法、装置、电子设备及介质
CN112423022A (zh) * 2020-11-20 2021-02-26 北京字节跳动网络技术有限公司 视频生成及显示方法、装置、设备、介质
CN112464031A (zh) * 2021-02-02 2021-03-09 北京达佳互联信息技术有限公司 交互方法、装置、电子设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340991A (zh) * 2023-02-02 2023-06-27 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备
CN116340991B (zh) * 2023-02-02 2023-11-07 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备

Also Published As

Publication number Publication date
CN113761281B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11463631B2 (en) Method and apparatus for generating face image
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
WO2018121777A1 (zh) 人脸检测方法、装置和电子设备
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN114155543A (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN112131978A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN111078940B (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
Carlier et al. The 2d shape structure dataset: A user annotated open access database
CN113762309B (zh) 对象匹配方法、装置及设备
CN108763532A (zh) 用于推送信息、展现信息的方法和设备
CN111800650B (zh) 视频配乐方法、装置、电子设备及计算机可读介质
CN111108508A (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111191503A (zh) 一种行人属性识别方法、装置、存储介质及终端
CN107609487B (zh) 一种用户头像的生成方法和装置
CN114390368B (zh) 直播视频数据的处理方法及装置、设备、可读介质
He et al. Autolink: Self-supervised learning of human skeletons and object outlines by linking keypoints
CN111931628A (zh) 人脸识别模型的训练方法、装置及相关设备
Gonzalez-Sosa et al. Real time egocentric segmentation for video-self avatar in mixed reality
CN113761281B (zh) 虚拟资源处理方法、装置、介质及电子设备
CN112016548B (zh) 一种封面图展示方法及相关装置
CN114691853A (zh) 句子推荐方法、装置、设备及计算机可读存储介质
CN112309181A (zh) 一种舞蹈教学辅助方法及装置
CN113516735A (zh) 图像处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant