CN113470150A - 一种基于骨骼驱动还原口型的方法和系统 - Google Patents
一种基于骨骼驱动还原口型的方法和系统 Download PDFInfo
- Publication number
- CN113470150A CN113470150A CN202110786462.0A CN202110786462A CN113470150A CN 113470150 A CN113470150 A CN 113470150A CN 202110786462 A CN202110786462 A CN 202110786462A CN 113470150 A CN113470150 A CN 113470150A
- Authority
- CN
- China
- Prior art keywords
- key point
- jaw
- target
- point
- jaw key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 27
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 210000001847 jaw Anatomy 0.000 description 124
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种基于骨骼驱动还原口型的方法和系统，所述方法包括：基于目标图像确定第一颌骨关键点和第二颌骨关键点；获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线；根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。有效地还原三维空间里的相应口型动作。
Description
技术领域
本申请实施例涉及机器人动作技术领域，具体涉及一种基于骨骼驱动还原口型的方法和系统。
背景技术
当下机器人越来越多地走进普通人的生活和工作中，在家务、娱乐、教育等方向出现了各种各样形态的机器人产品；其中，外观模拟人或卡通形象的机器人，面部的表情、口型变化，需要根据预先编排好的机器动作，以控制机器人完成特定的行动，从而在人机交互过程中，带来较好的用户体验。不同机器人的动画制作的过程有所不同，会依赖于机器人的硬件形态、结构，因此机器人的自由度越多会越复杂。
目前，现有机器人脸部动画制作方案一般通过一段目标对象的动作视频，获取一系列动作对应的多帧二维平面图像；根据多张二维平面图像获取每一帧图像中脸部的表情；根据预设的约束条件和算法，将每一帧人的形态有时序地在相应的机器人上还原，以达到生成一系列对应的机器人动作。为了能够尽可能地还原二维图像对应的三维动作，一般会在图像或视频中运用计算机视觉技术，确定目标对象的脸部骨骼关键点的位置，然后根据关节点的位置变化情况来还原口型动作。
但是，对于多自由度机器人的动作而言，从二维影像中进行动作的还原比较麻烦。例如，真人的肩关节是可以多向活动的，而机器人受到电机体积的制约可能只能实现较少方向的活动。并且，二维影像缺少了深度信息，难以仅仅根据二维坐标还原特定骨骼关键点在空间中的真实位置。因此造成动作的失真，更直接的降低了机器人动作的完成度，因此，如何有效地根据二维图像还原三维空间里的机器人脸部口型动作，成为亟待解决的问题。
发明内容
为此，本申请实施例提供一种基于骨骼驱动还原口型的方法和系统，根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应口型动作。
为了实现上述目的，本申请实施例提供如下技术方案：
根据本申请实施例的第一方面，提供了一种基于骨骼驱动还原口型的方法，所述方法包括：
获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
可选地，根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作，包括：
针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；
在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
可选地，所述方法还包括：通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
可选地，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
根据本申请实施例的第二方面，提供了一种基于骨骼驱动还原口型的系统，所述系统包括：
颌骨关键点确定模块，用于获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
坐标位置获取模块，用于获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
曲线确定模块，用于确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
目标曲线确定模块，用于根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
空间位置确定模块，用于根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
机器人口型动作确定模块，用于根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
可选地，所述机器人口型动作确定模块，具体用于：
针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；
在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
可选地，所述系统还包括：
相对距离模块，用于通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
可选地，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
综上所述，本申请实施例提供了一种基于骨骼驱动还原口型的方法和系统，通过获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应口型动作。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本申请实施例提供的一种基于骨骼驱动还原口型的方法流程示意图；
图2示出了本申请实施例提供的颌骨示意图；
图3为本申请实施例提供的一种基于骨骼驱动还原口型的系统框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本申请实施例提供的一种基于骨骼驱动还原口型的方法，所述方法包括：
步骤101：获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
步骤102：获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
步骤103：确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
步骤104：根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
步骤105：根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
步骤106：根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
在一种可能的实施方式中，在步骤106中，根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作，包括：针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
图2示出了本申请实施例提供的颌骨示意图；在一种可能的实施方式中，所述方法还包括：通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
在一种可能的实施方式中，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
本申请实施例提供了一种基于骨骼驱动还原口型的方法，实现了根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应口型动作。
首先获取所述骨骼关键点在目标平面上的坐标位置；所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系。进一步，确定平面上以所述面部第一颌骨关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息。
进一步，根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述一个或多个曲线中的一个；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置。
进一步，根据二维平面投影上的一系列动作获取面部动作参数，而反推出机器人口型动作。首先，针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点。在该帧图像中，设立二维坐标系；例如，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置。
在一种可能的实施方式中，所述获取所述第一颌骨关键点在目标平面上的坐标位置之前，还包括：获取所述目标对象的图像信息；基于所述图像信息确定所述目标对象的第一颌骨关键点和第二颌骨关键点，所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点。首先获取包含目标对象的图像信息，然后从图像信息中确定目标对象的多个骨骼关键点中的第一颌骨关键点和第二颌骨关键点。例如，图像信息为一张图像，从图像中根据预设的骨骼关键点识别算法将第一颌骨关键点和第二颌骨关键点提取出来，并确定两者之间的关系，从而实现口型变化。
在一种可能的实施方式中，所述在所述同一帧视频中确定所述目标对象的多个骨骼关键点，包括：从所述目标对象的视频中提取每一帧视频图片，并获取所述每一帧视频图片对应的目标平面；根据预设的骨骼关键点识别算法，确定所述每一帧视频图片对应的目标平面中所述目标对象的多个骨骼关键点。
在一种可能的实施方式中，通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
一般曲线上每一个点的位置都对应该点的自由度(即该点的运动方向)。自由度可以将结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作，自由度的公式如(1)所示：
表示所述基本口型动作集合中的其中一种基本口型动作在t时刻对应的所述权重变化曲线。
在一种可能的实施方式中，确定平面上以所述面部第一颌骨关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
在一种可能的实施方式中，根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述一个或多个曲线中的一个；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置。
综上所述，本申请实施例提供了一种基于骨骼驱动还原口型的方法，通过获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应口型动作。
基于相同的技术构思，本申请实施例还提供了一种基于骨骼驱动还原口型的系统，如图3所示，所述系统包括：
颌骨关键点确定模块301，用于获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
坐标位置获取模块302，用于获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
曲线确定模块303，用于确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
目标曲线确定模块304，用于根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
空间位置确定模块305，用于根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
机器人口型动作确定模块306，用于根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
在一种可能的实施方式中，所述机器人口型动作确定模块306，具体用于：针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
在一种可能的实施方式中，所述系统还包括：相对距离模块，用于通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
在一种可能的实施方式中，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于骨骼驱动还原口型的方法，其特征在于，所述方法包括：
获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
2.如权利要求1所述的方法，其特征在于，根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作，包括：
针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；
在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
4.如权利要求1所述的方法，其特征在于，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
5.一种基于骨骼驱动还原口型的系统，其特征在于，所述系统包括：
颌骨关键点确定模块，用于获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；
坐标位置获取模块，用于获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
曲线确定模块，用于确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；
目标曲线确定模块，用于根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；
空间位置确定模块，用于根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；
机器人口型动作确定模块，用于根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。
6.如权利要求5所述的系统，其特征在于，所述机器人口型动作确定模块，具体用于：
针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；
在所述某一帧图像中，设立二维坐标系，以上颌骨为坐标原点，预设第二颌骨关键点的多个可能出现的位置，反推出机器人口型动作。
7.如权利要求5所述的系统，其特征在于，所述系统还包括：
相对距离模块，用于通过相对距离表示所述第一颌骨点和第二颌骨点的距离关系；所述相对距离为所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上的实际距离，与所述第一颌骨关键点和所述第二颌骨关键点之间在所述图像信息上能够呈现的最大距离之比。
8.如权利要求5所述的系统，其特征在于，所述曲线上的每一个点的位置都对应该点的自由度，自由度用于结合点的二维坐标将该点的位置在三维空间中还原视频中的相应动作。
9.一种设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110786462.0A CN113470150A (zh) | 2021-07-12 | 2021-07-12 | 一种基于骨骼驱动还原口型的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110786462.0A CN113470150A (zh) | 2021-07-12 | 2021-07-12 | 一种基于骨骼驱动还原口型的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113470150A true CN113470150A (zh) | 2021-10-01 |
Family
ID=77880087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110786462.0A Pending CN113470150A (zh) | 2021-07-12 | 2021-07-12 | 一种基于骨骼驱动还原口型的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470150A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018881A (zh) * | 2022-06-17 | 2022-09-06 | 先临三维科技股份有限公司 | 颌骨运动轨迹追踪方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986023A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
| CN111402290A (zh) * | 2020-02-29 | 2020-07-10 | 华为技术有限公司 | 一种基于骨骼关键点的动作还原方法以及装置 |
| CN111951326A (zh) * | 2019-05-15 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 |
-
2021
- 2021-07-12 CN CN202110786462.0A patent/CN113470150A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986023A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN111951326A (zh) * | 2019-05-15 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 |
| CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
| CN111402290A (zh) * | 2020-02-29 | 2020-07-10 | 华为技术有限公司 | 一种基于骨骼关键点的动作还原方法以及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018881A (zh) * | 2022-06-17 | 2022-09-06 | 先临三维科技股份有限公司 | 颌骨运动轨迹追踪方法、装置、设备及介质 |
| WO2023241705A1 (zh) * | 2022-06-17 | 2023-12-21 | 先临三维科技股份有限公司 | 颌骨运动轨迹追踪方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150638B (zh) | 虚拟对象形象合成方法、装置、电子设备和存储介质 | |
| CN111402290B (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
| US10430999B2 (en) | Computer-implemented method for designing an avatar with at least one garment | |
| CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
| KR101347840B1 (ko) | 신체 제스처 인식 방법 및 장치 | |
| CN110253583B (zh) | 基于穿戴示教服视频的人体姿态机器人示教方法及装置 | |
| CN110675489A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| WO2015051827A1 (en) | Method of determining a similarity transformation between first and second coordinates of 3d features | |
| CN107610239B (zh) | 一种脸谱的虚拟试戴方法及装置 | |
| US20190147665A1 (en) | Gesture based 3-dimensional object transformation | |
| WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
| CN113470150A (zh) | 一种基于骨骼驱动还原口型的方法和系统 | |
| JP2010211732A (ja) | 物体認識装置および方法 | |
| CN107203961B (zh) | 一种表情迁移的方法及电子设备 | |
| WO2012167475A1 (zh) | 生成形体动画的方法及装置 | |
| CN109636888A (zh) | 2d特效制作方法及装置、电子设备、存储介质 | |
| CN115481489A (zh) | 基于增强现实的白车身与生产线适配性验证系统及方法 | |
| Abdelnaby et al. | Augmented reality maintenance training with intel depth camera | |
| US8659600B2 (en) | Generating vector displacement maps using parameterized sculpted meshes | |
| CN113761965A (zh) | 动作捕捉方法、装置、电子设备和存储介质 | |
| Jiawei et al. | Three-dimensional interactive pen based on augmented reality | |
| CN117253171B (zh) | 一种风险行为识别方法及系统 | |
| CN113096152B (zh) | 多对象运动分析方法、装置、设备和介质 | |
| CN116958450B (zh) | 一种面向二维数据的人体三维重建方法 | |
| Ueda et al. | Virtual clay modeling system using multi-viewpoint images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100089 room 346, third floor, building 23, East District, courtyard 10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Xiaoduo Intelligent Technology (Beijing) Co.,Ltd. Address before: 100089 room 346, third floor, building 23, East District, courtyard 10, northwest Wangdong Road, Haidian District, Beijing Applicant before: Beijing Shun Tian Li'an Technology Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |