CN116546149B - 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 - Google Patents
基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116546149B CN116546149B CN202310806836.XA CN202310806836A CN116546149B CN 116546149 B CN116546149 B CN 116546149B CN 202310806836 A CN202310806836 A CN 202310806836A CN 116546149 B CN116546149 B CN 116546149B
- Authority
- CN
- China
- Prior art keywords
- teaching
- video
- reverse
- teaching video
- dance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 230000002441 reversible effect Effects 0.000 claims abstract description 239
- 230000009471 action Effects 0.000 claims description 140
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了一种基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质。该方法应用于终端设备,包括:终端设备接收第一播放请求,第一播放请求用于令终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;终端设备将第一播放请求发送至服务器,以使服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频。利用本申请实施例能够实现舞蹈教学视频的反面教学视频的展示,满足用户对于观看舞蹈视频的正面和背面内容的需求。
Description
技术领域
本申请涉及互联网技术领域,具体涉及视频处理技术,尤其涉及一种基于虚拟数字人的舞蹈教学交互方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的发展,人们通过观看视频学习各种各样的知识变得越来越便利。例如,用户可以通过观看舞蹈教学视频,学习感兴趣的舞蹈动作。通常,舞蹈教学视频的用户大多是业余的舞蹈爱好者,缺乏舞蹈基本功以及丰富的舞蹈知识,因此,在利用舞蹈教学视频学习跳舞时,大多是模仿学习。对同一套舞蹈动作,学习者通常希望视频中包含舞蹈老师的正面跳舞教学演示和背面跳舞教学演示,使学习者能够看到完整全面的舞蹈动作,便于模仿学习。
但是通过大量调查发现,很大一部分舞蹈教学视频中,只有舞蹈老师的正面舞蹈动作演示,缺少背面动作演示,学习者不能直观地看到背面动作,也就很难准确还原完整的舞蹈动作,这使得通过舞蹈教学视频学习舞蹈变得困难,用户体验感降低。
发明内容
有鉴于此,本申请实施例提供一种基于虚拟数字人的舞蹈教学交互方法、装置、电子设备及计算机可读存储介质,用于解决至少一种技术问题。
本申请实施例提供一种基于虚拟数字人的舞蹈教学交互方法,应用于终端设备,所述方法包括:终端设备接收第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;所述终端设备将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备;所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成。
可选地,根据本申请实施例的方法,在播放所述反面教学视频之前,所述方法还包括:所述终端设备根据舞蹈教学视频中的教学者的面部特征及体态特征,将虚拟数字人渲染为所述教学者的虚拟数字人形象;和/或,所述终端设备根据系统默认的面部特征及体态特征,将虚拟数字人渲染为默认的虚拟数字人形象。
可选地,根据本申请实施例的方法,所述方法还包括:所述终端设备的播放器框架中增加形象切换按钮;当所述形象切换按钮被触发时,反面教学视频中的虚拟数字人形象在所述教学者的虚拟数字人形象与所述默认的虚拟数字人形象之间切换。
可选地,根据本申请实施例的方法,所述虚拟数字人片段库中存储的反面教学动作序列包括:存量视频对应的反面教学动作序列和增量视频对应的反面教学动作序列,所述存量视频对应的反面教学动作序列通过离线处理生成,所述增量视频对应的反面教学动作序列通过在线处理生成。
本申请实施例提出一种基于虚拟数字人的舞蹈教学交互方法,应用于服务器,所述方法包括:服务器接收终端设备发送的第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;响应于所述第一播放请求,所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,所述服务器根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给终端设备,以使得所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成。
可选地,根据本申请实施例的方法,所述方法还包括:当所述视频画像库中存储有对应的反面教学视频时,所述服务器将所述反面教学视频发送到终端设备。
可选地,根据本申请实施例的方法,所述方法还包括:当所述虚拟数字人片段库中存储有对应的反面教学动作序列时,所述服务器将所述反面教学动作序列发送至终端设备。
可选地,根据本申请实施例的方法,所述方法还包括:服务器将舞蹈教学视频中的教学者的面部特征及体态特征信息下发至终端设备,以使得终端设备根据所述教学者的面部特征及体态特征对虚拟数字人进行渲染。
可选地,根据本申请实施例的方法,根据舞蹈教学视频生成反面教学动作序列,包括:所述服务器根据所述舞蹈教学视频,采用骨骼节点识别算法捕获教学视频中人物的关节点平面坐标,所述关节点平面坐标以人体正中心为原点,其中人体正中心指人体水平和垂直中心线交点,水平线作为X轴,垂直线作为Y轴;根据所述作者特征库中的特征、所述关节点平面坐标以及肢体动作在身体平面前后的相对位置,计算关节点的深度坐标值,以获取各个关节点的三维坐标;将最小形体动作单元在连续帧上的坐标向量组合成所述最小形体动作单元的运动序列数据,其中相邻两个关节点组成最小形体动作单元,相邻两个关节点的名称和相邻两个关节点的三维坐标组成最小动作单元的坐标向量,所述三维坐标基于人体正中心在画面中的位置进行数据矫正;将所述运动序列数据相对X轴、Z轴对称形成反面教学动作序列,其中Z轴用于指示关节点的深度坐标值所在的方向。
可选地,根据本申请实施例的方法,所述虚拟数字人片段库中存储的反面教学动作序列包括:存量视频对应的反面教学动作序列和增量视频对应的反面教学动作序列,所述存量视频对应的反面教学动作序列通过离线处理生成,所述增量视频对应的反面教学动作序列通过在线处理生成。
可选地,根据本申请实施例的方法,所述方法还包括:所述服务器根据终端设备播放的舞蹈教学视频的预设帧数中含面部特征帧所占比例,识别终端设备当前播放的视频内容;当预设帧数中含面部特征帧所占比例高于阈值时,所述服务器识别终端设备当前播放的视频内容为正面教学视频,所述终端设备在接收到第一播放请求后,将所述正面教学视频切换到背面教学视频;当预设帧数中含面部特征帧所占比例低于阈值时,所述服务器识别终端设备当前播放的视频内容为背面教学视频,所述终端设备在接收到第一播放请求后,将所述背面教学视频切换到正面教学视频。
本申请实施例还提出一种基于虚拟人的舞蹈正背面教学交互装置,包括:接收模块,用于接收第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;发送模块,用于将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备;反面教学视频生成模块,用于终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频;播放模块,用于播放所述反面教学视频。
本申请实施例提出一种终端设备,所述终端设备包括:处理器以及存储有计算机程序指令的存储器;所述终端设备执行所述计算机程序指令时实现如上所述的方法的步骤。
本申请实施例提出一种服务器,所述服务器包括:处理器以及存储有计算机程序指令的存储器;所述服务器执行所述计算机程序指令时实现如如上所述的方法的步骤。
本申请实施例提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。
采用本申请的实施例,在舞蹈教学视频中缺少反面舞蹈演示内容的情况下,能够根据舞蹈教学视频在线生成对应的反面教学动作序列,并以虚拟数字人的形象进行展示,使得用户在观看舞蹈教学视频时,既能够观看到正面舞蹈教学内容,也能够观看到背面舞蹈教学内容,能够帮助用户全面了解舞蹈教学动作,使得用户能够更加便捷地学习舞蹈动作,提升用户粘性。
附图说明
为了更清楚地说明本申请实施例的技术方案,以下对本申请实施例中的附图作简单介绍。
图1示出了本申请实施例的一种系统架构的示意图;
图2是本申请实施例的终端设备侧的基于虚拟数字人的舞蹈教学交互方法的流程框图;
图3是本申请实施例的服务器侧的基于虚拟数字人的舞蹈教学交互方法的流程框图;
图4是本申请实施例的基于虚拟数字人的舞蹈教学交互方法的流程图;
图5是本申请实施例的基于虚拟数字人的舞蹈教学交互装置的结构示意图;
图6示出本申请实施例的电子设备的硬件结构示意图。
具体实施方式
以下将参考若干示例性实施方式来描述本申请的原理和精神。应当理解,提供这些实施方式的目的是为了使本申请的原理和精神更加清楚和透彻,使本领域技术人员能够更好地理解进而实现本申请的原理和精神。本文中提供的示例性实施方式仅是本申请的一部分实施方式,而不是全部的实施方式。基于本文中的实施方式,本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
本申请的实施例涉及终端设备和/或服务器。本领域技术人员知晓,本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机可读存储介质。因此,本公开可以具体实现为以下至少一种形式:完全的硬件、完全的软件,或者硬件与软件结合的形式。根据本申请的实施方式,本申请请求保护一种基于虚拟数字人的舞蹈教学交互方法、装置、电子设备、计算机可读存储介质及计算机程序产品。图1示出了本申请实施例的一种系统架构的示意图。如图1所示,该系统包括终端设备102和服务器104。其中,终端设备102可以包括以下至少一项:智能手机、平板电脑、笔记本电脑、台式电脑、智能电视、各类可穿戴设备、增强现实AR设备、虚拟现实VR设备等等。终端设备102上可以安装客户端,例如,该客户端可以为专门执行特定功能的客户端(如应用程序app),或者为内嵌有多种应用小程序(不同功能)的客户端,还可以是通过浏览器登录的客户端。用户可以在终端设备102上进行操作,比如,用户可以打开终端设备102上安装的客户端,并通过客户端操作输入指令,或者,用户可以打开终端设备102上安装的浏览器,并通过浏览器操作输入指令。在终端设备102接收到用户输入的指令之后,将包含指令的请求信息发送至服务器104。服务器104接收到请求信息之后执行相应的处理,然后将处理结果信息返回给终端设备102。通过一系列数据处理和信息交互完成用户指令。
在本文中,诸如第一、第二、第三之类的用语,仅用来将一个实体(或操作)与另一个实体(或操作)区分开来,而不在于要求或暗示这些实体(或操作)之间存在任何顺序或关联。
图2是本申请实施例的终端设备侧的基于虚拟数字人的舞蹈教学交互方法的流程框图。该方法包括以下步骤:
S101:终端设备接收第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
S102:所述终端设备将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备;
S103:所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成。
相对应地,图3是本申请实施例的服务器侧的基于虚拟数字人的舞蹈教学交互方法的流程框图。该方法包括以下步骤:
S301,服务器接收终端设备发送的第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
S302,响应于所述第一播放请求,所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;
S303,在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,所述服务器根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给终端设备,以使得所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成。
在本申请的实施例中,终端设备将接收到的第一播放请求发送到服务器,服务器确定视频画像库中是否存储有对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有对应的反面教学动作序列。其中,视频画像库是用来存储视频创作者上传的正面舞蹈教学视频以及对应的反面教学视频;虚拟数字人片段库中则存储有根据上传的舞蹈教学视频生成的反面教学动作序列。
在本申请的一些实施例中,可选地,服务器首先判断视频画像库中是否有对应的反面教学视频,如果有,服务器则直接将对应的反面教学视频发送到客户端进行播放;如果没有,服务器则判断虚拟数字人片段库中是否有对应的反面教学动作序列,如果服务器确认虚拟数字人片段库中有对应的反面教学动作序列,则将对应的反面教学动作序列发送到客户端,客户端将根据反面教学动作序列生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频;如果服务器确认虚拟数字人片段库中没有对应的反面教学动作序列,则根据当前播放的舞蹈教学视频中教学者的舞蹈动作在线生成对应的反面教学动作序列,并将生成的反面教学动作序列发送到客户端,由客户端生成舞蹈教学视频进行播放。
由此可见,本申请实施例提供的舞蹈教学交互方法从舞蹈教学视频的播放源出发,根据多种数据库(视频画像库和虚拟数字人片段库)中存储的资源(反面教学视频或反面教学动作序列)的情况,提供多种反面教学视频的下发途径,在数据库中既不存在反面教学视频也不存在反面教学动作序列的情况下也能够通过在线生成的方式为用户提供反面教学视频,满足了用户不同偏好下的舞蹈学习。
利用本申请实施例提供的舞蹈教学交互方法使得用户在观看舞蹈教学视频时既能够看到正面舞蹈教学视频也能够看到背面舞蹈教学视频,方便用户全面了解舞蹈教学动作,从而能够更加便捷地学习舞蹈动作,提高用户对于舞蹈教学视频播放软件的喜爱程度,增加用户粘性。
在本申请的一些实施例中,可选地,所述服务器将舞蹈教学视频中的教学者的面部特征及体态特征信息下发至终端设备,以使得终端设备根据所述教学者的面部特征及体态特征对虚拟数字人进行渲染。
在本申请的一些实施例中,可选地,在播放所述反面教学视频之前,所述方法还包括:所述终端设备根据舞蹈教学视频中的教学者的面部特征及体态特征,将虚拟数字人渲染为所述教学者的虚拟数字人形象;和/或,所述终端设备根据系统默认的面部特征及体态特征,将虚拟数字人渲染为默认的虚拟数字人形象。
在本申请中,服务器中还设有作者特征库,作者特征库中存储有舞蹈教学视频中教学者的面部特征和体态特征信息。教学者本人的面部特征和体态特征信息则从同一教学者的不同视频抽取x(如,1000)帧,并根据抽取的视频帧捕获教学者的面部特征和头部、颈部、肩部、胸腔、腰部、臀部、四肢(含手臂、上段手臂、下段手臂、腿部、大腿、小腿)、手掌、脚掌的长度宽度及厚度数据,部分缺失的数据则采用聚类算法从同类用户中补足。服务器将该舞蹈教学视频教学者的特征信息和反面教学动作序列发送至客户端,客户端将根据舞蹈教学视频教学者的特征信息对虚拟数字人进行渲染,渲染后的虚拟数字人为教学者本人形象的虚拟数字人,客户端接收的反面动作序列将以教学者本人形象的虚拟数字人进行展示。
另外,在本申请的一些实施例中,可选地,作者特征库中还存储有标准版数字人特征信息,标准版数字人特征信息是根据常规人体形态设定的至少一种数字人形象。客户端可以根据标准版数字人特征信息和反面教学动作序列,生成以标准版数字人形象展示的反面教学视频。
根据本申请的实施例,可选地,所述终端设备的播放器框架中增加形象切换按钮;当所述形象切换按钮被触发时,反面教学视频中的虚拟数字人形象在所述教学者的虚拟数字人形象与所述默认的虚拟数字人形象之间切换。
需要说明的是,如果客户端接收到服务器下发的反面教学动作序列和作者特征库中的特征信息,舞蹈教学视频播放界面中将增加形象切换按钮,用户可通过点击形象切换按钮切换虚拟数字人形象,例如,当播放界面中的虚拟数字人形象为标准版数字人形象,用户点击形象切换按钮后,虚拟数字人形象将由标准版数字人形象切换至教学者本人形象的虚拟数字人。
在本申请的一些实施例中,可选地,所述虚拟数字人片段库中存储的反面教学动作序列包括:存量视频对应的反面教学动作序列和增量视频对应的反面教学动作序列,所述存量视频对应的反面教学动作序列通过离线处理生成,所述增量视频对应的反面教学动作序列通过在线处理生成。
教学视频创作者上传舞蹈教学视频后,服务器会对上传的舞蹈教学视频进行分类,其中,有正面教学视频和反面教学视频的舞蹈教学视频被存放在视频画像库中,对于其它缺少反面教学视频的舞蹈教学视频,服务器可以全部或根据预设条件选取部分离线捕获并计算对应的反面教学动作序列,并存储在虚拟数字人片段库中,这些已经通过离线处理生成反面教学动作序列的舞蹈教学视频称为存量视频。其中,预设条件可以是该条舞蹈教学视频的播放量、用户喜爱程度等其它条件。例如,对于播放量高于阈值的历史视频,服务器将通过离线处理的方式生成对应的反面教学动作序列,那么该条舞蹈教学视频就是存量视频。
增量视频则可以是新上传的视频,在视频画像库中没有对应的反面教学视频以及在虚拟人片段库中也没有对应的反面教学动作序列,在服务器接收到客户端播放其反面教学视频的请求后,需要在线捕获并计算视频的反面教学动作序列。另外,为了减轻服务器的处理负担,增量视频在线生成的反面教学动作序列将会被存储到虚拟人片段库中备用。
在本申请的一些实施例,可选地,在响应于所述第一播放请求,所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频之后,舞蹈教学交互方法还包括以下步骤:
S304,当所述视频画像库中存储有对应的反面教学视频时,所述服务器将所述反面教学视频发送到终端设备。
客户端接收反面教学视频后,将视频播放界面中播放的内容切换到反面教学视频进行展示。需要注意的是,与客户端接收到反面教学动作序列不同的是,客户端接收到反面教学视频后,播放界面中除播放内容外,其余内容均保持不变。
在本申请的一些实施例中,可选地,在服务器确认视频画像库中没有反面教学视频,并确认虚拟人数字片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列之后,所述舞蹈教学交互方法还包括以下步骤:
S305,当所述虚拟数字人片段库中存储有对应的反面教学动作序列时,所述服务器将所述反面教学动作序列发送至终端设备。
终端设备接收到反面动作序列后将生成反面教学视频并进行播放。
根据本申请的一些实施例,可选地,根据舞蹈教学视频生成反面教学动作序列包括以下步骤:
S201,所述服务器根据所述舞蹈教学视频,采用骨骼节点识别算法捕获教学视频中人物的关节点平面坐标,所述关节点平面坐标以人体正中心为原点,其中人体正中心指人体水平和垂直中心线交点,水平线作为X轴,垂直线作为Y轴;
S202,根据所述作者特征库中的特征、所述关节点平面坐标以及肢体动作在身体平面前后的相对位置,计算关节点的深度坐标值,以获取各个关节点的三维坐标;
S203,将最小形体动作单元在连续帧上的坐标向量组合成所述最小形体动作单元的运动序列数据,其中相邻两个关节点组成最小形体动作单元,相邻两个关节点的名称和相邻两个关节点的三维坐标组成最小动作单元的坐标向量,所述三维坐标基于人体正中心在画面中的位置进行数据矫正;
S204,将所述运动序列数据相对X轴、Z轴对称形成反面教学动作序列,其中Z轴用于指示所述关节点的深度坐标值所在的方向。
具体地,在S201,服务器对视频片段中每一帧采用骨骼节点识别算法识别人体重要关节点位置,映射到以人体正中心为原点的坐标系中以获取各关节点平面坐标(x, y)。其中人体正中心指人体水平和垂直中心线交点,水平线作为X轴,垂直线作为Y轴,XY平面可根据人物首帧形象及所在位置确认。
在S202,基于作者特征库、关节点平面坐标以及肢体动作在身体平面前后的相对位置,计算关节点的深度坐标值z,以获取各关节点三维坐标(x, y, z)。其中z为关节点在深度轴Z轴上的映射值,所述Z轴垂直于XY平面且以X轴Y轴交点为原点。
对于上述两个步骤利用公式进行如下解释:
(1)位于XY平面上的关节点,z=0;
(2)形体上相邻两个关节点,坐标分别为、/>则:
其中t为形体上相邻两个关节点间的真实长度,可以通过图像识别算法确认两个关节点的真实长度,具体可以结合作者特征库数据和视频中形体数据,按比例缩放到相同大小后进行计算得到。
(3)已知t值和其中一个关节点的坐标,根据上述计算公式可以反推另外未知的关节点的深度值。具体地,形体上相邻两个关节点,其中1个关节点在XY平面上,两个关节点坐标分别为、/>,则关节点B对应深度坐标轴为:
其中表示关节点在身体平面前后的相对位置,在前时/>=1,在后时/>=-1;t为形体上相邻两个关节点间的真实长度。(结合作者特征库数据和视频中形体数据,按比例缩放到相同大小后进行计算。)
在S203,相邻两个关节点组成最小形体动作单元,两个关节点名称及关节点三维坐标组成最小形体动作单元的坐标向量。其中三维坐标基于人体正中心在画面中位置进行数据矫正。另外,最小形体动作单元在连续帧上的坐标向量组合形成该最小形体动作单元的运动序列数据。
在S204,将形体动作运动序列数据相对X轴Z轴对称形成反面动作序列。即将各关节点三维坐标(x,y,z)置换为(-x,y,-z),其中,三维坐标(x,y,z)中的深度值可以根据上述步骤计算得到。
其中,需要说明的是,在计算出关节点的深度坐标值后可以先将关节点三维坐标进行置换,获取反面动作中关节点的三维坐标,之后再直接生成反面形体动作坐标向量以及动作运动序列数据。
根据本申请的一些实施例,可选地,在S301之前,本申请提出的方法还包括以下步骤:
所述服务器根据终端设备播放的舞蹈教学视频的预设帧数中含面部特征帧所占比例,识别终端设备当前播放的视频内容;
当预设帧数中含面部特征帧所占比例高于阈值时,所述服务器识别终端设备当前播放的视频内容为正面教学视频,所述终端设备在接收到第一播放请求后,将所述正面教学视频切换到背面教学视频;
当预设帧数中含面部特征帧所占比例低于阈值时,所述服务器识别终端设备当前播放的视频内容为背面教学视频,所述终端设备在接收到第一播放请求后,将所述背面教学视频切换到正面教学视频。
在本申请中,视频播放界面设有用于将当前播放的舞蹈教学视频切换到反面教学视频的按钮,当视频片段中抽取x帧(如,30帧)识别含面部特征帧所占比例,比例高于阈值(如,80%)时按钮显示“换成背面”,否则显示“换成正面”。即切换按钮可以根据识别的结果显示“换成背面”或者是“换成正面”,当用户点击显示“换成背面”的按钮时,播放的正面舞蹈教学视频将切换到对应的背面舞蹈教学视频,类似地,当用户点击显示“换成正面”的按钮时,播放的背面舞蹈视频将切换到与对应的正面舞蹈教学视频。
利用本申请的实施例,可以在只设置一个按钮的情况下实现视频内容的精准切换,以此使得视频播放界面变得更加简洁,便于用户操作。
另外,切换按钮也可以通过其它方式进行展示,例如,对舞蹈教学视频进行标记,并将标记后的信息存储至服务器,服务器设置有对应的标签,后续根据服务器下发的标签直接展示对应按钮。
以上通过多个实施例描述了本申请实施例的实现方式以及带来的优势。以下结合流程图对本申请实施例的方法进行进一步地描述。
图4是本申请实施例的基于虚拟数字人的舞蹈教学交互方法的流程图。如图4所示,本申请提出的基于虚拟数字人的舞蹈教学交互方法可以包括以下处理过程:
S10,用户点击客户端视频播放器上的“换成背面”或“换成正面”按钮;
S11,服务器接将当前播放的舞蹈教学视频切换至对应的反面教学视频的请求,响应于该请求,服务器判断视频画像库中是否存储有对应的反面教学视频;
如果视频画像库中存储有对应的反面教学视频,则执行S12,服务器将反面教学视频发送到客户端,客户端展示反面教学视频;
如果视频画像库中没有存储对应的反面教学视频,则执行S13,服务器判断虚拟人片段库中是否存储有对应的反面教学动作序列;
如果虚拟人片段库中存储有对应的反面教学动作序列,则执行S14,服务器将反面教学动作序列发送至客户端;
如果虚拟人片段库中没有存储对应的反面教学动作序列,则执行S15和S14,其中,S15:采用骨骼节点识别算法捕获原始片段中人物的关节点平面坐标,并结合作者特征库计算关节点三维坐标及反面教学动作序列数据;S14:服务器将反面教学动作序列发送至客户端;
S16,将在线生成的反面教学动作序列存储在虚拟人片段库中;
S17,服务器将作者特征库信息和反面教学动作序列发送至客户端;
S18,客户端根据反面教学动作序列以及作者特征库信息生成对应的反面教学视频,并进行播放,其中反面教学视频根据作者特征库信息将以标准虚拟数字人形象展示或者是以教学者本人形象的虚拟数字人进行展示;
S19,反面教学视频切换完成。
基于本申请以上至少一个实施例,当用户在客户端视频播放器上点击换成正面或换成背面按钮后,所述客户端将所述指令传递至服务端。所述服务端根据视频画像库和虚拟数字人片段库判断该视频是否有所需反面(正面或背面)视频片段信息,有则连同作者特征下发至所述客户端,无则采用骨骼节点识别算法捕获原始片段中人物的关节点平面坐标,并结合作者特征库计算关节点三维坐标及反面动作序列数据,将所述动作序列数据存储到虚拟数字人片段库并连同作者特征一起下发至所述客户端。
所述客户端根据所述服务端下发信息直接展示视频画像库中反面视频片段,或根据虚拟数字人片段库将反面动作序列采用标准版虚拟数字人或经作者授权的本人形象虚拟数字人渲染后予以展示,用户可自由选择采用标准版或作者本人形象版。
所述虚拟数字人片段库可以对原始视频未提供的反面视频进行补充,且通过将历史生成的动作序列予以存储的方式可以有效提高客户端拉取效率以及用户体验流畅度。另外,所述正背面教学交互方法与装置可以满足用户不同偏好下的舞蹈学习。
与本申请的方法实施例对应地,本申请还提供一种基于虚拟数字人的舞蹈教学交互装置。图5是本申请实施例的基于虚拟数字人的舞蹈教学交互装置的结构示意图。如图5所示,基于虚拟数字人的舞蹈教学交互装置100包括:
接收模块110,用于接收第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
发送模块120,用于将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备;
反面教学视频生成模块130,用于终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频;
播放模块140,用于播放所述反面教学视频。
本申请实施例中的电子设备可以是用户终端设备,可以是服务器,还可以是其他计算设备,也可以是云端服务器。图6示出本申请实施例的电子设备的硬件结构示意图,该电子设备可以包括处理器601以及存储有计算机程序指令的存储器602,处理器601执行计算机程序指令时实现上述任一实施例方法的流程或功能。
具体地,处理器601可以包括中央处理器(CPU),或者特定集成电路(ApplicationSpecific Integrated Circuit ,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。存储器602可以包括用于数据或指令的大容量存储器。举例来说,存储器602可以是以下至少一者:硬盘驱动器(Hard Disk Drive,HDD)、只读存储器(ROM),随机存取存储器(RAM)、软盘驱动器、闪存、光盘、磁光盘、磁带、通用串行总线(Universal Serial Bus,USB)驱动器或其他物理/有形的存储器存储设备。又如,存储器602可包括可移除或不可移除(或固定)的介质。再如,存储器602可在综合网关容灾设备的内部或外部。存储器602可以是非易失性固态存储器。换句话说,通常存储器602包括编码有计算机可执行指令的有形(非暂态)计算机可读存储介质(如存储器设备),并且当该软件被执行(如由一个或多个处理器执行)时,可执行本申请实施例的方法所描述的操作。处理器601通过读取并执行存储器602中存储的计算机程序指令,实现上述实施例中任一种方法的流程或功能。
在一个示例中,图6所示的电子设备还可包括通信接口603和总线610。其中,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。通信接口603主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。总线610包括硬件、软件或两者皆有,可将在线数据流量计费设备的部件彼此耦接在一起。举例来说,总线610可包括以下至少一者:加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线。总线610可包括一个或多个总线。尽管本申请实施例描述或示出了特定的总线,但本申请实施例可考虑任何合适的总线或互连方式。
结合上述实施例中的方法,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述实施例中任一种方法的流程或功能。
以上示例性地描述了本申请实施例的方法、装置、系统和计算机程序产品的流程图和/或框图,并描述了相关的各个方面。应当理解,流程图和/或框图中的每个方框或其组合,可以由计算机程序指令实现,也可以由执行指定功能或动作的专用硬件来实现,还可由专用硬件和计算机指令的组合来实现。例如,这些计算机程序指令可被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,以形成一种机器可使得经由这种处理器执行的这些指令使能对流程图和/或框图中的每个方框或其组合中指定的功能/动作的实现。这种处理器可以是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。
本申请实施例的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等;当以软件方式实现时,是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在存储器中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
需说明,本申请并不局限于上文所描述或在图中示出的特定配置和处理。以上所述仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,所描述的系统、设备、模块或单元的具体工作过程,可以参考方法实施例中的对应过程,不需再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (15)
1.一种基于虚拟数字人的舞蹈教学交互方法,其特征在于,应用于终端设备,所述方法包括:
终端设备接收第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
所述终端设备将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备,所述服务器采用骨骼节点识别算法捕获原始片段中人物的关节点平面坐标,并结合作者特征库计算关节点三维坐标及反面教学动作序列;
所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成。
2.根据权利要求1所述的方法,其特征在于,在播放所述反面教学视频之前,所述方法还包括:所述终端设备根据舞蹈教学视频中的教学者的面部特征及体态特征,将虚拟数字人渲染为所述教学者的虚拟数字人形象;和/或,所述终端设备根据系统默认的面部特征及体态特征,将虚拟数字人渲染为默认的虚拟数字人形象。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述终端设备的播放器框架中增加形象切换按钮;当所述形象切换按钮被触发时,反面教学视频中的虚拟数字人形象在所述教学者的虚拟数字人形象与所述默认的虚拟数字人形象之间切换。
4.根据权利要求1所述的方法,其特征在于,所述虚拟数字人片段库中存储的反面教学动作序列包括:存量视频对应的反面教学动作序列和增量视频对应的反面教学动作序列,所述存量视频对应的反面教学动作序列通过离线处理生成,所述增量视频对应的反面教学动作序列通过在线处理生成。
5.一种基于虚拟数字人的舞蹈教学交互方法,其特征在于,应用于服务器,所述方法包括:
服务器接收终端设备发送的第一播放请求,所述第一播放请求用于令所述终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
响应于所述第一播放请求,所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;
在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,所述服务器根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给终端设备,以使得所述终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频,并播放所述反面教学视频,视频切换完成;
其中,所述服务器采用骨骼节点识别算法捕获原始片段中人物的关节点平面坐标,并结合作者特征库计算关节点三维坐标及反面教学动作序列。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述视频画像库中存储有对应的反面教学视频时,所述服务器将所述反面教学视频发送到终端设备。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述虚拟数字人片段库中存储有对应的反面教学动作序列时,所述服务器将所述反面教学动作序列发送至终端设备。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述服务器将舞蹈教学视频中的教学者的面部特征及体态特征信息下发至终端设备,以使得终端设备根据所述教学者的面部特征及体态特征对虚拟数字人进行渲染。
9.根据权利要求5所述的方法,其特征在于,根据舞蹈教学视频生成反面教学动作序列,包括:
所述服务器根据所述舞蹈教学视频,采用骨骼节点识别算法捕获教学视频中人物的关节点平面坐标,所述关节点平面坐标以人体正中心为原点,其中人体正中心指人体水平和垂直中心线交点,水平线作为X轴,垂直线作为Y轴;
根据所述作者特征库中的特征、所述关节点平面坐标以及肢体动作在身体平面前后的相对位置,计算关节点的深度坐标值,以获取各个关节点的三维坐标;
将最小形体动作单元在连续帧上的坐标向量组合成所述最小形体动作单元的运动序列数据,其中相邻两个关节点组成最小形体动作单元,相邻两个关节点的名称和相邻两个关节点的三维坐标组成最小动作单元的坐标向量,所述三维坐标基于人体正中心在画面中的位置进行数据矫正;
将所述运动序列数据相对X轴、Z轴对称形成反面教学动作序列,其中Z轴用于指示所述关节点的深度坐标值所在的方向。
10.根据权利要求5所述的方法,其特征在于,所述虚拟数字人片段库中存储的反面教学动作序列包括:存量视频对应的反面教学动作序列和增量视频对应的反面教学动作序列,所述存量视频对应的反面教学动作序列通过离线处理生成,所述增量视频对应的反面教学动作序列通过在线处理生成。
11.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述服务器根据终端设备播放的舞蹈教学视频的预设帧数中含面部特征帧所占比例,识别终端设备当前播放的视频内容;
当预设帧数中含面部特征帧所占比例高于阈值时,所述服务器识别终端设备当前播放的视频内容为正面教学视频,所述终端设备在接收到第一播放请求后,将所述正面教学视频切换到背面教学视频;
当预设帧数中含面部特征帧所占比例低于阈值时,所述服务器识别终端设备当前播放的视频内容为背面教学视频,所述终端设备在接收到第一播放请求后,将所述背面教学视频切换到正面教学视频。
12.一种基于虚拟人的舞蹈正背面教学交互装置,其特征在于,包括:
接收模块,用于接收第一播放请求,所述第一播放请求用于令终端设备将当前播放的舞蹈教学视频切换至对应的反面教学视频,其中,如果当前舞蹈教学视频为正面教学视频,则对应的反面教学视频为背面教学视频,如果当前舞蹈教学视频为背面教学视频,则对应的反面教学视频为正面教学视频;
发送模块,用于将所述第一播放请求发送至服务器,以使所述服务器确定视频画像库中是否存储有与当前舞蹈教学视频对应的反面教学视频,以及,确定虚拟数字人片段库中是否存储有与当前舞蹈教学视频对应的反面教学动作序列;其中,所述视频画像库用于存储正面教学视频以及对应的背面教学视频,所述虚拟数字人片段库用于存储根据舞蹈教学视频生成的反面教学动作序列;其中,所述服务器还用于在视频画像库中不存在对应的反面教学视频且虚拟数字人片段库中不存在对应的反面教学动作序列的情况下,根据当前舞蹈教学视频生成对应的反面教学动作序列并发送给所述终端设备,所述服务器采用骨骼节点识别算法捕获原始片段中人物的关节点平面坐标,并结合作者特征库计算关节点三维坐标及反面教学动作序列;
反面教学视频生成模块,用于终端设备根据接收到的反面教学动作序列,生成由虚拟数字人形象展示的反面教学视频;
播放模块,用于播放所述反面教学视频。
13.一种终端设备,其特征在于,所述终端设备包括:处理器以及存储有计算机程序指令的存储器;所述终端设备执行所述计算机程序指令时实现如权利要求1-4中任一项所述的方法。
14.一种服务器,其特征在于,所述服务器包括:处理器以及存储有计算机程序指令的存储器;所述服务器执行所述计算机程序指令时实现如权利要求5-11中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806836.XA CN116546149B (zh) | 2023-07-04 | 2023-07-04 | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806836.XA CN116546149B (zh) | 2023-07-04 | 2023-07-04 | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116546149A CN116546149A (zh) | 2023-08-04 |
CN116546149B true CN116546149B (zh) | 2023-10-24 |
Family
ID=87452828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310806836.XA Active CN116546149B (zh) | 2023-07-04 | 2023-07-04 | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116546149B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116910303B (zh) * | 2023-08-24 | 2023-12-08 | 北京小糖科技有限责任公司 | 基于舞蹈室学习阶段的舞蹈视频推荐方法和装置 |
CN116980717B (zh) * | 2023-09-22 | 2024-01-23 | 北京小糖科技有限责任公司 | 基于视频分解处理的交互方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013013672A (ja) * | 2011-07-06 | 2013-01-24 | Konami Digital Entertainment Co Ltd | 情報表示装置、情報表示方法、ならびに、プログラム |
CN108777081A (zh) * | 2018-05-31 | 2018-11-09 | 华中师范大学 | 一种虚拟舞蹈教学方法及系统 |
CN110674794A (zh) * | 2018-11-08 | 2020-01-10 | 郭娜 | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 |
CN111798548A (zh) * | 2020-07-15 | 2020-10-20 | 广州微咔世纪信息科技有限公司 | 舞蹈画面的控制方法、装置及计算机存储介质 |
CN114078190A (zh) * | 2020-08-19 | 2022-02-22 | 乔山健身器材(上海)有限公司 | 健身运动的引导设备 |
CN114339357A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像采集方法、图像采集装置及存储介质 |
CN115188064A (zh) * | 2021-04-07 | 2022-10-14 | 华为技术有限公司 | 一种运动指导信息的确定方法、电子设备和运动指导系统 |
-
2023
- 2023-07-04 CN CN202310806836.XA patent/CN116546149B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013013672A (ja) * | 2011-07-06 | 2013-01-24 | Konami Digital Entertainment Co Ltd | 情報表示装置、情報表示方法、ならびに、プログラム |
CN108777081A (zh) * | 2018-05-31 | 2018-11-09 | 华中师范大学 | 一种虚拟舞蹈教学方法及系统 |
CN110674794A (zh) * | 2018-11-08 | 2020-01-10 | 郭娜 | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 |
CN111798548A (zh) * | 2020-07-15 | 2020-10-20 | 广州微咔世纪信息科技有限公司 | 舞蹈画面的控制方法、装置及计算机存储介质 |
CN114078190A (zh) * | 2020-08-19 | 2022-02-22 | 乔山健身器材(上海)有限公司 | 健身运动的引导设备 |
CN114339357A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像采集方法、图像采集装置及存储介质 |
CN115188064A (zh) * | 2021-04-07 | 2022-10-14 | 华为技术有限公司 | 一种运动指导信息的确定方法、电子设备和运动指导系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116546149A (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116546149B (zh) | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 | |
CN111294665B (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
CN111729283B (zh) | 一种基于混合现实技术的训练系统及其方法 | |
CN108227931A (zh) | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 | |
CN112381003B (zh) | 动作捕捉方法、装置、设备及存储介质 | |
CN103197757A (zh) | 一种沉浸式虚拟现实系统及其实现方法 | |
CN111368137A (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
CN112423022A (zh) | 视频生成及显示方法、装置、设备、介质 | |
CN112348942B (zh) | 一种健身交互方法和系统 | |
CN111580661A (zh) | 交互方法和增强现实设备 | |
CN111638791B (zh) | 虚拟角色的生成方法、装置、电子设备及存储介质 | |
US20230166157A1 (en) | Electronic apparatus and control method therefor | |
TWI694355B (zh) | 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 | |
CN111104827A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
WO2024027819A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110719415B (zh) | 一种视频图像处理方法、装置、电子设备及计算机可读介质 | |
WO2023240999A1 (zh) | 虚拟现实场景确定方法、装置及系统 | |
CN115272564B (zh) | 动作视频发送方法、装置、设备和介质 | |
CN112508772B (zh) | 图像生成方法、装置及存储介质 | |
CN111524240A (zh) | 场景切换方法、装置及增强现实设备 | |
CN113342439A (zh) | 一种显示方法、装置、电子设备和存储介质 | |
CN113612985A (zh) | 一种交互式vr影像的处理方法 | |
Marks et al. | Real-time motion capture for interactive entertainment | |
CN110895967A (zh) | 一种基于混合现实技术的康复评定系统 | |
CN116980654B (zh) | 基于视频教学的交互方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |