CN114093033A - 人体运动姿态迁移方法及装置、控制设备和可读存储介质 - Google Patents
人体运动姿态迁移方法及装置、控制设备和可读存储介质 Download PDFInfo
- Publication number
- CN114093033A CN114093033A CN202111431658.4A CN202111431658A CN114093033A CN 114093033 A CN114093033 A CN 114093033A CN 202111431658 A CN202111431658 A CN 202111431658A CN 114093033 A CN114093033 A CN 114093033A
- Authority
- CN
- China
- Prior art keywords
- target
- motion
- video
- human
- humanoid robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 337
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013508 migration Methods 0.000 title claims abstract description 49
- 230000005012 migration Effects 0.000 title claims abstract description 49
- 239000000203 mixture Substances 0.000 claims description 32
- 238000012546 transfer Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种人体运动姿态迁移方法及装置、控制设备和可读存储介质，涉及机器人控制技术领域。本申请通过对目标人物的目标运动视频的视频内容进行三维人体姿态识别，得到目标运动视频的三维人体运动姿态信息，并根据目标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿人机器人上，得到与目标仿人机器人匹配的机器人运动姿态信息，完成对目标人物的人体运动姿态迁移作业，从而得以通过对常规运动视频的内容解析操作达成低成本且场景限制小的人体运动姿态获取效果，有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围。
Description
技术领域
本申请涉及机器人控制技术领域，具体而言，涉及一种人体运动姿态迁移方法及装置、控制设备和可读存储介质。
背景技术
随着科学技术的不断发展，机器人技术因具有极大的研究价值及应用价值受到了各行各业的广泛重视，其中仿人机器人便是现有机器人技术的一项重要研究分支。而对仿人机器人来说，人体运动姿态迁移技术因能够促使仿人机器人在人体运动过程中学习到人体运动姿态进行模仿来实现相同人体动作，被广泛应用到仿人机器人在不同行业领域的控制技术研发过程中，用以降低机器人控制技术的研发难度及实现难度。
值得注意的是，目前业界主流采用的人体运动姿态迁移方案需要通过使用昂贵的特殊设备(例如，需穿戴在人体身上的动作捕捉设备，捕捉人体深度信息的深度相机)才能获取到人体运动姿态来进行姿态迁移，而这些特殊设备各自具有较为严苛的使用场景限制，导致现有人体运动姿态迁移方案存在实现成本高且适用范围小的缺点。
发明内容
有鉴于此，本申请的目的在于提供一种人体运动姿态迁移方法及装置、控制设备和可读存储介质，能够有效降低人体运动姿态迁移方案的实现成本，并扩大人体运动姿态迁移方案的适用范围。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请提供一种人体运动姿态迁移方法，所述方法包括：
获取目标人物的目标运动视频；
对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息；
根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息。
在可选的实施方式中，所述目标运动视频的三维人体运动姿态信息包括所述目标运动视频中所有视频帧图像各自的三维人体姿态信息，所述对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息的步骤，包括：
针对所述目标运动视频中每个视频帧图像，调用轻量级人体姿态估计模型对该视频帧图像的图像内容进行二维人体姿态估计，得到该视频帧图像的二维人体姿态信息；
按照所述目标运动视频的视频帧时序基于估计出的所有二维人体姿态信息构建所述目标运动视频的二维人体姿态序列；
将所述二维人体姿态序列输入到基于时序卷积网络实现的三维姿态估计模型中进行三维姿态估计，得到所述目标运动视频中所有视频帧图像各自的三维人体姿态信息。
在可选的实施方式中，若所述目标仿人机器人的机体关节组成与人体骨骼关节组成完全对应，则所述根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息的步骤，包括：
利用逆运动学对所述目标运动视频的三维人体运动姿态信息进行人体关节角求解，得到所述目标人物在所述目标运动视频中每个视频帧图像处的人体关节角度分布信息；
按照所述目标运动视频的视频帧时序依次针对所述目标运动视频中每个视频帧图像，将该视频帧图像所对应的人体关节角度分布信息与所述目标仿人机器人的机体关节分布状况进行机器人运动模拟，得到所述机器人运动姿态信息中与该视频帧图像匹配的机体关节位置分布信息。
在可选的实施方式中，若所述目标仿人机器人的机体关节组成与人体骨骼关节组成部分对应，则所述根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息的步骤，包括：
根据人体骨骼关节组成与人型骨骼简化模型之间的第一关节运动映射关系，将所述目标运动视频的三维人体运动姿态信息编码到所述人型骨骼简化模型所在的运动空间中，得到所述人型骨骼简化模型的动作执行姿态信息；
根据人型骨骼简化模型与所述目标仿人机器人的机体关节组成之间的第二关节运动映射关系，根据所述目标仿人机器人的机体关节分布状况将所述动作执行姿态信息解码到所述目标仿人机器人上，得到所述机器人运动姿态信息。
在可选的实施方式中，所述方法包括：
按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态进行调整，使所述目标仿人机器人对应模仿所述目标人物在所述目标运动视频中的动作。
第二方面，本申请提供一种人体运动姿态迁移装置，所述装置包括：
运动视频获取模块，用于获取目标人物的目标运动视频；
人体姿态识别模块，用于对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息；
机体姿态定向模块，用于根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息。
在可选的实施方式中，所述装置还包括：
机体运动控制模块，用于按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态进行调整，使所述目标仿人机器人对应模仿所述目标人物在所述目标运动视频中的动作。
第三方面，本申请提供一种控制设备，所述控制设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现前述实施方式中任意一项所述的人体运动姿态迁移方法。
在可选的实施方式中，所述控制设备还包括摄像单元，所述摄像单元用于对目标人物的运动过程进行视频拍摄。
第四方面，本申请提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的人体运动姿态迁移方法。
在此情况下，本申请实施例的有益效果包括以下内容：
本申请通过对目标人物的目标运动视频的视频内容进行三维人体姿态识别，得到目标运动视频的三维人体运动姿态信息，并根据目标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿人机器人上，得到与目标仿人机器人匹配的机器人运动姿态信息，完成对目标人物的人体运动姿态迁移作业，从而得以通过对常规运动视频的内容解析操作达成低成本且场景限制小的人体运动姿态获取效果，有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的控制设备的组成示意图；
图2为本申请实施例提供的人体运动姿态迁移方法的流程示意图之一；
图3为图2中的步骤S220包括的子步骤的流程示意图；
图4为图2中的步骤S230包括的子步骤的流程示意图之一；
图5为图2中的步骤S230包括的子步骤的流程示意图之二；
图6为本申请实施例提供的人体运动姿态迁移方法的流程示意图之二；
图7为本申请实施例提供的人体运动姿态迁移装置的组成示意图之一；
图8为本申请实施例提供的人体运动姿态迁移装置的组成示意图之二。
图标：10-控制设备；11-存储器；12-处理器；13-通信单元；14-摄像单元；100-人体运动姿态迁移装置；110-运动视频获取模块；120-人体姿态识别模块；130-机体姿态定向模块；140-机体运动控制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
请参照图1，图1是本申请实施例提供的控制设备10的组成示意图。在本申请实施例中，所述控制设备10能够获取目标人物的运动视频，并对该运动视频的视频内容进行解析，得到目标人物在该运动视频中的人体运动姿态信息，进而将该人体运动姿态信息迁移到某个仿人机器人上，得到与该仿人机器人适配的表示所述运动视频中的人体动作的机器人运动姿态信息。同时，所述控制设备10可与作为人体运动姿态接收对象的仿人机器人远程通信连接，也可以与该仿人机器人集成为一体，用于将自身生成的机器人运动姿态信息发送给该仿人机器人进行执行，使所述仿人机器人对应模仿所述目标人物在该运动视频中的动作。其中，所述运动视频中的每个视频帧图像采用常规的RGB视觉传感器(即彩色摄像头)采集得到。
在本实施例中，所述控制设备10可以包括存储器11、处理器12、通信单元13及人体运动姿态迁移装置100。其中，所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中，所述存储器11可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，所述存储器11用于存储计算机程序，所述处理器12在接收到执行指令后，可相应地执行所述计算机程序。
其中，所述存储器11还用于存储轻量级人体姿态估计模型，所述轻量级人体姿态估计模型用于快速提取出单帧彩色人体动作图像中的二维人体姿态信息，所述二维人体姿态信息包括对应彩色人体动作图像中各个人体骨骼关节的图像位置信息。在本实施例的一种实施方式中，所述轻量级人体姿态估计模型可通过采用带有空洞卷积的MobileNet网络对现有OpenPose模型的模型架构进行修改，并同步地将现有OpenPose模型的初始化阶段及五个细化阶段各自的3*3卷积核替换为深度可分离卷积核得到，此时修改后的OpenPose模型相较于现有OpenPose模型具有更轻量化的模型规模，使所述轻量级人体姿态估计模型能够具有良好的二维人体姿态估计效率。
所述存储器11还用于存储基于时序卷积网络实现的三维姿态估计模型，所述三维姿态估计模型能够结合同一物体在连续分布的多个彩色图像中每个彩色图像的二维姿态信息进行三维姿态估计，以确定该物体在这多个彩色图像中每个彩色图像所对应的真实环境下表现出的三维姿态信息。其中，所述三维姿态估计模型可以包括卷积核大小为W且输出通道为C的时间卷积网络以及B个残差网络风格的残差块，其中每个残差块执行卷积核大小为W且空洞因子为D＝WB的1维卷积运算，每一个卷积运算(除了最后一层)之后都跟着BatchNormalization(批归一化函数)、RELU(Rectified Linear Units，激活函数)和Dropout(丢弃函数)，以确保基于时序卷积网络实现的三维姿态估计模型能够比针对单帧图像的三维姿态估计模型更鲁棒，对噪声的敏感性更低。
在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中，所述通信单元13用于通过网络建立所述控制设备10与其他电子设备之间的通信连接，并通过所述网络收发数据，其中所述网络包括有线通信网络及无线通信网络。例如，所述控制设备10可通过所述通信单元13与外置摄像设备通信连接，以通过所述外置摄像设备对目标人物的运动过程进行视频拍摄，并获取所述外置摄像设备反馈的目标人物的运动视频。
在本实施例中，所述人体运动姿态迁移装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述控制设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述人体运动姿态迁移装置100所包括的软件功能模块及计算机程序等。所述控制设备10可通过所述人体运动姿态迁移装置100针对目标人物的常规运动视频执行内容解析操作，来达成低成本且场景限制小的人体运动姿态获取效果，并将获取到的人体运动姿态转换为仿人机器人所适配的机器人运动姿态，实现对目标人物的人体运动姿态迁移操作，从而有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围。
可选地，在本实施例中，所述控制设备10还可以包括摄像单元14，所述摄像单元14包括RGB摄像头，所述控制设备10可通过所述RGB摄像头自行地对目标人物的运动过程进行视频拍摄。
可以理解的是，图1所示的框图仅为所述控制设备10的一种组成示意图，所述控制设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中，为确保所述控制设备10能够达成低成本且场景限制小的人体运动姿态获取效果，有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围，本申请实施例提供一种人体运动姿态迁移方法实现前述目的。下面对本申请提供的人体运动姿态迁移方法进行详细描述。
请参照图2，图2是本申请实施例提供的人体运动姿态迁移方法的流程示意图之一。在本申请实施例中，图2所示的人体运动姿态迁移方法可以包括步骤S210～步骤S230。
步骤S210，获取目标人物的目标运动视频。
步骤S220，对目标运动视频的视频内容进行三维人体姿态识别，得到目标运动视频的三维人体运动姿态信息。
在本实施例中，所述目标运动视频的三维人体运动姿态信息包括所述目标人物在所述目标运动视频中所有视频帧图像各自的三维人体姿态信息，所述三维人体姿态信息包括目标人物的各个人体骨骼关节在对应视频帧图像处于世界坐标系内表现出的关节位置信息。由此，所述控制设备10可通过对目标人物的常规运动视频进行内容解析操作实现低成本且场景限制小的人体运动姿态获取效果。
可选地，请参照图3，图3是图2中的步骤S220包括的子步骤的流程示意图。在本实施例中，所述步骤S220可以包括子步骤S221～子步骤S223，以快速地从目标人物的常规运动视频中提取出目标人物在目标运动视频处的三维人体运动姿态信息。
子步骤S221，针对目标运动视频中每个视频帧图像，调用轻量级人体姿态估计模型对该视频帧图像的图像内容进行二维人体姿态估计，得到该视频帧图像的二维人体姿态信息。
子步骤S222，按照目标运动视频的视频帧时序基于估计出的所有二维人体姿态信息构建目标运动视频的二维人体姿态序列。
子步骤S223，将二维人体姿态序列输入到基于时序卷积网络实现的三维姿态估计模型中进行三维姿态估计，得到目标运动视频中所有视频帧图像各自的三维人体姿态信息。
其中，所述目标运动视频的视频帧时序用于表示该目标运动视频的各个视频帧图像的采集顺序，所述二维人体姿态序列中的多个视频帧图像的二维人体姿态信息按照所述目标运动视频的视频帧时序依次排布，所述目标运动视频的三维人体运动姿态信息所包括的各个视频帧图像的三维人体姿态信息按照目标运动视频的视频帧时序依次排布，以表征所述目标人物在所述目标运动视频处的具体运动变化状况。
由此，本申请可通过执行上述子步骤S221～子步骤S223，利用所述轻量级人体姿态估计模型相较于现有OpenPose模型的优势，以及基于时序卷积网络实现的三维姿态估计模型相较于针对单帧图像的三维姿态估计模型的优势，快速地从目标人物的常规运动视频中提取出目标人物在目标运动视频处的三维人体运动姿态信息，并同步实现低成本且场景限制小的人体运动姿态获取效果。
步骤S230，根据目标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿人机器人上，得到与目标仿人机器人匹配的机器人运动姿态信息。
在本实施例中，所述目标仿人机器人为作为目标人物的运动姿态接收对象的仿人机器人，所述目标仿人机器人的机体关节分布状况包括该目标仿人机器人的机体关节组成以及所述机体关节组成中各个机体关节在所述目标仿人机器人的机体结构处的安装位置。所述控制设备10在得到目标人物在目标运动视频处的三维人体运动姿态信息，将根据该目标人体的人体骨骼关节组成和所述目标仿人机器人的机体关节组成之间的差异状况，对所述三维人体运动姿态信息进行适应性调整后转移到所述目标仿人机器人上，使转移到所述目标仿人机器人上的机器人运动姿态信息与所述三维人体运动姿态信息保持相同运动效果。
可选地，请参照图4，图4是图2中的步骤S230包括的子步骤的流程示意图之一。在本实施例中，若所述目标仿人机器人的机体关节组成与目标人物的人体骨骼关节组成完全对应，则表明所述目标人物与所述目标仿人机器人具有类似的人型骨骼框架，所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架之间的差异在于对应框架中相连两个关节之间的骨头长度不一致，此时所述步骤S230可以包括子步骤S231及子步骤S232，以实现关节组成一致的人体-机器人运动姿态转移操作。
子步骤S231，利用逆运动学对目标运动视频的三维人体运动姿态信息进行人体关节角求解，得到目标人物在目标运动视频中每个视频帧图像处的人体关节角度分布信息。
在本实施例中，所述控制设备10在面对与目标人物具有类似的人型骨骼框架的目标仿人机器人时，可优先基于该目标仿人机器人的机体关节分布状况所包括的每个机体关节的安装位置信息，确定出该目标仿人机器人中相连两个机体关节之间的骨头长度，并基于该目标仿人机器人中相连两个机体关节之间的骨头长度，对所述目标人物在目标运动视频中每个视频帧图像所对应的真实环境下表现出的三维人体姿态信息进行关节间骨头长度调整操作，使得调整后的三维人体姿态信息所表现出的关节间骨头长度与所述目标仿人机器人匹配。
接着，所述控制设备10会将机器人逆运动学原理对该目标运动视频所对应的调整后的所有三维人体姿态信息进行综合考量式人体关节角求解，得到目标人物在目标运动视频中每个视频帧图像处的与所述目标仿人机器人适配的人体关节角度分布信息，其中所述人体关节角度分布信息包括所述目标人物的各个人体骨骼关节在对应视频帧图像所对应的真实环境下表现出的欧拉角度(包括滚转角、俯仰角及偏航角)。
子步骤S232，按照目标运动视频的视频帧时序依次针对目标运动视频中每个视频帧图像，将该视频帧图像所对应的人体关节角度分布信息与目标仿人机器人的机体关节分布状况进行机器人运动模拟，得到机器人运动姿态信息中与该视频帧图像匹配的机体关节位置分布信息。
在本实施例中，所述机体关节位置分布信息包括目标仿人机器人的各个机体关节在对应视频帧图像所对应的运动空间环境下需要到达出的关节位置信息。此时，所述目标仿人机器人的机器人运动姿态信息中所有机体关节位置分布信息需按照所述目标运动视频的视频帧时序依次排列分布。
由此，本申请可通过执行上述子步骤S231～子步骤S232，实现关节组成一致的人体-机器人运动姿态转移操作。
可选地，请参照图5，图5是图2中的步骤S230包括的子步骤的流程示意图之二。在本实施例中，若所述目标仿人机器人的机体关节组成与目标人物的人体骨骼关节组成部分对应，则表明所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架存在功能相同的关节结构，但也存在功能不完全一致的关节结构，此时所述目标人物的三维人体运动姿态信息明显无法通过将这个两个人型骨骼框架惊喜关节运动直接映射的方式应用到所述目标仿人机器人，此时所述步骤S230可以包括子步骤S233及子步骤S233，以实现关节组成不一致的人体-机器人运动姿态转移操作。
子步骤S233，根据人体骨骼关节组成与人型骨骼简化模型之间的第一关节运动映射关系，将目标运动视频的三维人体运动姿态信息编码到所述人型骨骼简化模型所在的运动空间中，得到人型骨骼简化模型的动作执行姿态信息。
在本实施例中，所述人型骨骼简化模型通过将目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架进行骨架池化操作得到，用以表示所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架之间的“中间转接站”。其中，所述骨架池化操作需要选定所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架中部分功能相同的关节结构进行映射式锚定，而后将所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架中与锚定的关节结构相连的骨头边进行多次删除/合并操作实现，从而建立起目标人物的人型骨骼框架的人体骨骼关节组成与所述人型骨骼简化模型的简化关节组成之间的第一关节运动映射关系，以及所述人型骨骼简化模型的简化关节组成与所述目标仿人机器人的机体关节组成之间的第二关节运动映射关系。
因此，所述控制设备10在面对与目标人物具有不完全一致的人型骨骼框架的目标仿人机器人时，会调用目标人物的人体骨骼关节组成与人型骨骼简化模型之间的第一关节运动映射关系，将所述目标人物在所述目标运动视频的三维人体运动姿态信息编码到所述人型骨骼简化模型所在的运动空间中，得到所述人型骨骼简化模型在自身运动空间中与所述三维人体运动姿态信息具有相同动作特性的动作执行姿态信息。
子步骤S234，根据人型骨骼简化模型与目标仿人机器人的机体关节组成之间的第二关节运动映射关系，根据目标仿人机器人的机体关节分布状况将动作执行姿态信息解码到目标仿人机器人上，得到机器人运动姿态信息。
在本实施例中，当所述控制设备10得到所述人型骨骼简化模型在自身运动空间中与所述三维人体运动姿态信息具有相同动作特性的动作执行姿态信息，可相应地调用所述人型骨骼简化模型的简化关节组成与所述目标仿人机器人的机体关节组成之间的第二关节运动映射关系，并结合所述目标仿人机器人的机体关节分布状况对所述动作执行姿态信息进行解码，得到所述目标仿人机器人在运动空间中与所述三维人体运动姿态信息具有相同动作特性的机器人运动姿态信息。
由此，本申请可通过执行上述子步骤S233及子步骤S234，实现关节组成不一致的人体-机器人运动姿态转移操作。
在此情况下，本申请可通过执行上述步骤S210～步骤S230，针对目标人物的常规运动视频执行内容解析操作，来达成低成本且场景限制小的人体运动姿态获取效果，并将获取到的人体运动姿态转换为仿人机器人所适配的机器人运动姿态，实现对目标人物的人体运动姿态迁移操作，从而有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围。
可选地，请参照图6，图6是本申请实施例提供的人体运动姿态迁移方法的流程示意图之二。在本申请实施例中，与图2所示的人体运动姿态迁移方法相比，图6所示的人体运动姿态迁移方法还可以包括步骤S240，以控制目标仿人机器人对应模仿目标人物在目标运动视频中的动作。
步骤S240，按照机器人运动姿态信息对目标仿人机器人的各机体关节的运动状态进行调整，使目标仿人机器人对应模仿目标人物在目标运动视频中的动作。
在本实施例中，所述控制设备10可通过控制所述目标仿人机器人的各机体关节的关节位置速度和/或关节力矩，使所述目标仿人机器人按照所述机器人运动姿态信息进行运动，从而对应模仿出目标人物在目标运动视频中的动作。
由此，本申请可通过执行上述步骤S240，控制目标仿人机器人对应模仿目标人物在目标运动视频中的动作。
在本申请中，为确保所述控制设备10能够通过所述人体运动姿态迁移装置100执行上述人体运动姿态迁移方法，本申请通过对所述人体运动姿态迁移装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的人体运动姿态迁移装置100的具体组成进行相应描述。
请参照图7，图7是本申请实施例提供的人体运动姿态迁移装置100的组成示意图之一。在本申请实施例中，所述人体运动姿态迁移装置100可以包括运动视频获取模块110、人体姿态识别模块120及机体姿态定向模块130。
运动视频获取模块110，用于获取目标人物的目标运动视频。
人体姿态识别模块120，用于对目标运动视频的视频内容进行三维人体姿态识别，得到目标运动视频的三维人体运动姿态信息。
机体姿态定向模块130，用于根据目标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿人机器人上，得到与目标仿人机器人匹配的机器人运动姿态信息。
可选地，请参照图8，图8是本申请实施例提供的人体运动姿态迁移装置100的组成示意图之二。在本申请实施例中，所述人体运动姿态迁移装置100还可以包括机体运动控制模块140。
机体运动控制模块140，用于按照机器人运动姿态信息对目标仿人机器人的各机体关节的运动状态进行调整，使目标仿人机器人对应模仿目标人物在目标运动视频中的动作。
需要说明的是，本申请实施例所提供的人体运动姿态迁移装置100，其基本原理及产生的技术效果与前述的人体运动姿态迁移方法相同。为简要描述，本实施例部分未提及之处，可参考上述的针对人体运动姿态迁移方法的描述内容。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，在本申请实施例提供的人体运动姿态迁移方法及装置、控制设备和可读存储介质中，本申请通过对目标人物的目标运动视频的视频内容进行三维人体姿态识别，得到目标运动视频的三维人体运动姿态信息，并根据目标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿人机器人上，得到与目标仿人机器人匹配的机器人运动姿态信息，完成对目标人物的人体运动姿态迁移作业，从而得以通过对常规运动视频的内容解析操作达成低成本且场景限制小的人体运动姿态获取效果，有效降低整个人体运动姿态迁移方案的实现成本，并扩大该人体运动姿态迁移方案的适用范围。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应当以权利要求的保护范围为准。
Claims (10)
1.一种人体运动姿态迁移方法，其特征在于，所述方法包括：
获取目标人物的目标运动视频；
对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息；
根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息。
2.根据权利要求1所述的方法，其特征在于，所述目标运动视频的三维人体运动姿态信息包括所述目标运动视频中所有视频帧图像各自的三维人体姿态信息，所述对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息的步骤，包括：
针对所述目标运动视频中每个视频帧图像，调用轻量级人体姿态估计模型对该视频帧图像的图像内容进行二维人体姿态估计，得到该视频帧图像的二维人体姿态信息；
按照所述目标运动视频的视频帧时序基于估计出的所有二维人体姿态信息构建所述目标运动视频的二维人体姿态序列；
将所述二维人体姿态序列输入到基于时序卷积网络实现的三维姿态估计模型中进行三维姿态估计，得到所述目标运动视频中所有视频帧图像各自的三维人体姿态信息。
3.根据权利要求1所述的方法，其特征在于，若所述目标仿人机器人的机体关节组成与人体骨骼关节组成完全对应，则所述根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息的步骤，包括：
利用逆运动学对所述目标运动视频的三维人体运动姿态信息进行人体关节角求解，得到所述目标人物在所述目标运动视频中每个视频帧图像处的人体关节角度分布信息；
按照所述目标运动视频的视频帧时序依次针对所述目标运动视频中每个视频帧图像，将该视频帧图像所对应的人体关节角度分布信息与所述目标仿人机器人的机体关节分布状况进行机器人运动模拟，得到所述机器人运动姿态信息中与该视频帧图像匹配的机体关节位置分布信息。
4.根据权利要求1所述的方法，其特征在于，若所述目标仿人机器人的机体关节组成与人体骨骼关节组成部分对应，则所述根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息的步骤，包括：
根据人体骨骼关节组成与人型骨骼简化模型之间的第一关节运动映射关系，将所述目标运动视频的三维人体运动姿态信息编码到所述人型骨骼简化模型所在的运动空间中，得到所述人型骨骼简化模型的动作执行姿态信息；
根据人型骨骼简化模型与所述目标仿人机器人的机体关节组成之间的第二关节运动映射关系，根据所述目标仿人机器人的机体关节分布状况将所述动作执行姿态信息解码到所述目标仿人机器人上，得到所述机器人运动姿态信息。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述方法包括：
按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态进行调整，使所述目标仿人机器人对应模仿所述目标人物在所述目标运动视频中的动作。
6.一种人体运动姿态迁移装置，其特征在于，所述装置包括：
运动视频获取模块，用于获取目标人物的目标运动视频；
人体姿态识别模块，用于对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目标运动视频的三维人体运动姿态信息；
机体姿态定向模块，用于根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息重定向到所述目标仿人机器人上，得到与所述目标仿人机器人匹配的机器人运动姿态信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
机体运动控制模块，用于按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态进行调整，使所述目标仿人机器人对应模仿所述目标人物在所述目标运动视频中的动作。
8.一种控制设备，其特征在于，所述控制设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现权利要求1-5中任意一项所述的人体运动姿态迁移方法。
9.根据权利要求8所述的控制设备，其特征在于，所述控制设备还包括摄像单元，所述摄像单元用于对目标人物的运动过程进行视频拍摄。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-5中任意一项所述的人体运动姿态迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111431658.4A CN114093033A (zh) | 2021-11-29 | 2021-11-29 | 人体运动姿态迁移方法及装置、控制设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111431658.4A CN114093033A (zh) | 2021-11-29 | 2021-11-29 | 人体运动姿态迁移方法及装置、控制设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114093033A true CN114093033A (zh) | 2022-02-25 |
Family
ID=80305442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111431658.4A Pending CN114093033A (zh) | 2021-11-29 | 2021-11-29 | 人体运动姿态迁移方法及装置、控制设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114093033A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114559433A (zh) * | 2022-03-17 | 2022-05-31 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、机器人及云端服务器 |
-
2021
- 2021-11-29 CN CN202111431658.4A patent/CN114093033A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114559433A (zh) * | 2022-03-17 | 2022-05-31 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、机器人及云端服务器 |
| CN114559433B (zh) * | 2022-03-17 | 2024-01-12 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、机器人及云端服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11176725B2 (en) | Image regularization and retargeting system | |
| CN108694369B (zh) | 基于图形图像来预测多个姿势 | |
| CN108629743B (zh) | 图像的处理方法、装置、存储介质和电子装置 | |
| JP7178396B2 (ja) | 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム | |
| US11151361B2 (en) | Dynamic emotion recognition in unconstrained scenarios | |
| CN111667399B (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| US11741581B2 (en) | Training method for image processing model, image processing method, network device, and storage medium | |
| JP7086235B2 (ja) | ビデオ処理方法、装置及びコンピュータ記憶媒体 | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| CN109154973A (zh) | 执行卷积图像变换估算的方法和系统 | |
| JP7352748B2 (ja) | 三次元再構築方法、装置、機器及び記憶媒体 | |
| CN113688907B (zh) | 模型训练、视频处理方法，装置，设备以及存储介质 | |
| CN112218107B (zh) | 直播渲染方法和装置、电子设备及存储介质 | |
| Clement et al. | How to train a cat: Learning canonical appearance transformations for direct visual localization under illumination change | |
| CN112529149B (zh) | 一种数据处理方法及相关装置 | |
| CN112164130A (zh) | 基于深度对抗网络的视频-动画风格迁移方法 | |
| CN111862341A (zh) | 虚拟对象的驱动方法、装置、显示设备及计算机存储介质 | |
| KR20200116728A (ko) | 자체 운동 정보 추정 장치 및 방법 | |
| CN114093033A (zh) | 人体运动姿态迁移方法及装置、控制设备和可读存储介质 | |
| CN110378250A (zh) | 用于场景认知的神经网络的训练方法、装置及终端设备 | |
| CN115346262A (zh) | 一种表情驱动参数的确定方法、装置、设备及存储介质 | |
| US11893671B2 (en) | Image regularization and retargeting system | |
| CN112101109B (zh) | 人脸关键点检测模型训练方法、装置、电子设备和介质 | |
| CN110084306B (zh) | 用于生成动态图像的方法和装置 | |
| CN114638921B (zh) | 动作捕捉方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |