CN116719417A - 虚拟数字人的运动约束方法和装置、电子设备及存储介质 - Google Patents
虚拟数字人的运动约束方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116719417A CN116719417A CN202310981055.4A CN202310981055A CN116719417A CN 116719417 A CN116719417 A CN 116719417A CN 202310981055 A CN202310981055 A CN 202310981055A CN 116719417 A CN116719417 A CN 116719417A
- Authority
- CN
- China
- Prior art keywords
- angle
- joint
- joint point
- movement direction
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000003423 ankle Anatomy 0.000 claims abstract description 15
- 210000003127 knee Anatomy 0.000 claims abstract description 15
- 210000000707 wrist Anatomy 0.000 claims abstract description 13
- 210000004394 hip joint Anatomy 0.000 claims description 23
- 210000000629 knee joint Anatomy 0.000 claims description 23
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 19
- 210000001624 hip Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 210000002414 leg Anatomy 0.000 description 14
- 230000015654 memory Effects 0.000 description 6
- 210000000323 shoulder joint Anatomy 0.000 description 5
- 210000003857 wrist joint Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000002310 elbow joint Anatomy 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000003108 foot joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- ZMNSRFNUONFLSP-UHFFFAOYSA-N mephenoxalone Chemical compound COC1=CC=CC=C1OCC1OC(=O)NC1 ZMNSRFNUONFLSP-UHFFFAOYSA-N 0.000 description 1
- 229960001030 mephenoxalone Drugs 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟数字人的运动约束方法和装置、电子设备及存储介质，方法包括：获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度，通过该方案能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种虚拟数字人的运动约束方法和装置、电子设备及存储介质。
背景技术
虚拟人动捕（Motion Capture Retargeting）是指将一个人的动作捕捉数据应用到虚拟人物模型（以下简称“虚拟数字人”）上，具体实施时，可以使用相机拍摄真人的人像视频，利用人像处理模型从人像视频的每一帧人像图片中解算出关节点角度，利用关节点角度驱动虚拟数字人动作。在这个过程中，受限于解算精度、运动遮挡等因素影响，解算出的关节点角度可能会超出人体生理学范围，导致使用该关节点角度驱动虚拟数字人时，虚拟数字人的运动不自然，失去真实感，甚至可能会对用户的体验产生负面影响。
例如，在人走路时，人体的膝盖和脚踝的关节点角度会随着步伐变化而发生变化。此时如果虚拟数字人的运动没有受到限制，它们可能会进行超出人体生理学范围的关节运动，导致运动表现不自然，失去真实感。这种情况下，用户可能会对虚拟数字人的动作表现能力产生质疑，影响其使用体验。
有鉴于此，如何提供一种虚拟数字人的运动约束方案，以有效地约束关节点角度，实现更为准确和可控的动作捕捉，成为亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供一种虚拟数字人的运动约束方法和装置、电子设备及存储介质，能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
第一方面，本申请实施例提供了一种虚拟数字人的运动约束方法，包括：
获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
第二方面，本申请实施例还提供了一种虚拟数字人的运动约束装置，包括：
识别单元，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
驱动单元，用于对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟数字人的运动约束方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟数字人的运动约束方法的步骤。
综上，本申请实施例提供的虚拟数字人的运动约束方法和装置、电子设备及存储介质，获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度；对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
附图说明
图1为本申请实施例提供的一种虚拟数字人的运动约束方法的流程示意图；
图2为本申请实施例提供的一种虚拟数字人的运动约束装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种虚拟数字人的运动约束方法，包括：
S10、获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
本实施例中，需要说明的是，对于真人的人像视频中的每一帧人像图片，均可以从该帧人像图片中识别出至少一个关节部位的关节点角度，至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一。除了颈、肩、肘、手腕、脚踝、臀和膝盖之外，还可以识别出脚部关节点角度和盆骨关节点角度，但是可以对脚部关节点角度和盆骨关节点角度不做约束。
S11、对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
本实施例中，需要说明的是，颈、肩、肘、手腕、脚踝、臀和膝盖中每一个关节部位的关节点角度均包括对应关节点至少一个运动方向的角度，其中，以虚拟数字人站立且双臂伸展为初始位，颈关节点角度包括抬头低头方向的角度、左右摇头方向的角度和头部左右扭转方向的角度，肩关节点角度包括抬起放下手臂方向的角度、手臂伸到胸前胸后方向的角度和肩部扭转方向的角度，肘关节点角度包括手肘向内弯折方向的角度，手腕关节点角度包括抬手往下压手方向的角度、摆手方向的角度和手腕扭转方向的角度，脚踝关节点角度包括脚背抬起压下方向的角度，臀关节点角度包括抬腿方向的角度和左右摆腿方向的角度，膝盖关节点角度包括向后抬小腿方向的角度。在步骤S10确定出至少一个关节部位的关节点角度后，步骤S11需要对步骤S10确定出的每一个关节部位的关节点角度的各个方向的角度进行范围约束，即将其限定在对应方向的关节点角度约束范围。比如对于颈关节点角度中抬头低头方向的角度来说，需要将其限定在颈关节点抬头低头方向对应的角度约束范围内。在对各个方向的角度进行范围约束后，可以使用约束后的角度驱动虚拟数字人。如此，可以使虚拟数字人的关节运动不超出人体生理学范围，保证其运动符合人体生理学特征。
本申请实施例提供的虚拟数字人的运动约束方法，获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度；对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
在前述方法实施例的基础上，所述将该关节点角度限定在对应的关节点角度约束范围，可以包括：
对于该关节点角度中包含的对应关节点每一个运动方向的角度，若该运动方向的角度小于第一阈值，则确定该运动方向的角度为所述第一阈值，或者若该运动方向的角度属于[所述第一阈值，第二阈值]，则确定该运动方向的角度不变，或者若该运动方向的角度大于所述第二阈值，则确定该运动方向的角度为所述第二阈值，其中，该运动方向的角度对应的关节点角度约束范围为[所述第一阈值，所述第二阈值]。
本实施例中，需要说明的是，关节点角度范围约束的原则是：关节点角度位于对应的关节点角度约束范围内，则将其作为实际驱动虚拟数字人的关节点角度；关节点角度不位于对应的关节点角度约束范围内，则将距离关节点角度最近的关节点角度约束范围的临界值作为实际驱动虚拟数字人的关节点角度。
比如在实际应用时，颈关节点抬头低头方向的关节点角度约束范围可以为[-45°，45°]（可以以低头方向为正方向，抬头方向为反方向），颈关节点左右摇头方向的关节点角度约束范围可以为[-45°，45°]（可以以向左摇头方向为正方向，向右摇头方向为反方向），颈关节点头部左右扭转方向的关节点角度约束范围可以为[-45°，45°]（可以以向左扭转方向为正方向，向右扭转方向为反方向）；肩关节点抬起放下手臂方向的关节点角度约束范围可以为[-90°，90°]（可以以放下手臂方向为正方向，抬起手臂方向为反方向），肩关节点手臂伸到胸前胸后方向的关节点角度约束范围可以为[-90°，40°]（可以以手臂伸到胸后方向为正方向，手臂伸到胸前方向为反方向），肩关节点肩部扭转方向的关节点角度约束范围可以为[-45°，45°]（可以以肩部向外扭转方向为正方向，肩部向内扭转方向为反方向）；肘关节点手肘向内弯折方向的关节点角度约束范围可以为[0°，180°]；手腕关节点抬手往下压手方向的关节点角度约束范围可以为[-90°，90°]（可以以往下压手方向为正方向，抬手方向为反方向），手腕关节点摆手方向的关节点角度约束范围可以为[-30°，30°]（可以以向右摆手方向为正方向，向左摆手方向为反方向），手腕关节点手腕扭转方向的关节点角度约束范围可以为[-180°，180°]（可以以手腕向外扭转方向为正方向，手腕向内扭转方向为反方向）；脚踝关节点脚背抬起压下方向的关节点角度约束范围可以为[-30°，90°]（可以以脚背压下方向为正方向，脚背抬起方向为反方向）；臀关节点抬腿方向的关节点角度约束范围可以为[-45°，90°]（可以以向后抬腿方向为正方向，向前抬腿方向为反方向），臀关节点左右摆腿方向的关节点角度约束范围可以为[-60°，60°]（可以以向右摆腿方向为正方向，向左摆腿方向为反方向）；膝盖关节点向后抬小腿方向的关节点角度约束范围可以为[0°，180°]。需要说明的是，可以根据需要调整上述各个范围对应的上下临界值以及各个运动方向的正反。
假设对于某一帧人像图片进行关节点角度识别，得到了颈关节点角度、肩关节点角度、肘关节点角度和手腕关节点角度，以颈关节点角度为例说明关节点角度范围约束的方法。假设颈关节点抬头低头方向的关节点角度约束范围为[-45°，45°]（以低头方向为正方向，抬头方向为反方向），颈关节点左右摇头方向的关节点角度约束范围为[-45°，45°]（以向左摇头方向为正方向，向右摇头方向为反方向），颈关节点头部左右扭转方向的关节点角度约束范围为[-45°，45°]（以向左扭转方向为正方向，向右扭转方向为反方向），识别出的颈关节点角度中抬头低头方向的关节点角度为30°，左右摇头方向的关节点角度为25°，左右扭转方向的关节点角度为55°，则对抬头低头方向的关节点角度限定为30°，对左右摇头方向的关节点角度限定为25°，对左右扭转方向的关节点角度限定为45°。
在前述方法实施例的基础上，所述方法还可以包括：
对脚踝关节点角度进行调整，调整公式为：θankle｀=k1×θknee＋k2×θankle，其中，θankle｀表示调整后的脚踝关节点角度，θknee表示调整前的膝盖关节点角度，θankle表示调整前的脚踝关节点角度，k1和k2表示调整系数；
对臀关节点角度进行调整，调整公式为：θhip｀=k3×θknee＋k4×θhip，其中，θhip｀表示调整后的臀关节点角度，θhip表示调整前的臀关节点角度，k3和k4表示调整系数；
对膝盖关节点角度进行调整，调整公式为：θknee｀=k5×θknee＋k6×θankle＋k7×θhip，其中，θknee｀表示调整后的膝盖关节点角度，k5、k6和k7表示调整系数。
本实施例中，需要说明的是，在行走、跑步和下蹲等动作中，臀部的运动会带动膝盖的运动，膝盖的运动会带动脚踝的运动。具体来说，当臀关节（也就是髋关节）屈曲时，膝关节也会相应屈曲，这是因为臀关节屈曲使得大腿骨向身体前方运动，进而导致膝关节屈曲；当臀关节伸展时，膝关节也会相应伸展，例如，在站立时，通过臀关节的伸展，大腿骨向后方运动，推动膝关节伸展，使身体保持直立姿势。当膝关节屈曲时，踝关节会相应地背屈，这是因为膝关节的屈曲使得小腿骨向后倾斜，导致踝关节背屈，即将足尖抬起；当膝关节伸展时，踝关节会相应地跖屈，例如，当身体从蹲下位置站立起来时，膝关节的伸展使小腿骨向前倾斜，推动踝关节跖屈，即将足尖踩地。由此，为了更精确地约束关节点角度，对于脚踝关节点角度、臀关节点角度和膝盖关节点角度的约束需要考虑臀部、膝盖和脚踝之间的联动关系，具体地，可以按照上述调整公式对脚踝关节点角度、臀关节点角度和膝盖关节点角度进行约束。需要说明的是，上述公式中θhip表示调整前的臀关节点抬腿方向的关节点角度，θhip｀表示调整后的臀关节点抬腿方向的关节点角度。而对于臀关节点左右摆腿方向的关节点角度则仍然按照前述关节点角度约束范围方案进行约束。上述调整公式中，k1＞0，k2＞0，k3＞0，k4＞0，k5＞0，k6＞0，k7＞0，k1＋k2=1，k3＋k4=1，k5＋k6＋k7=1，在一较优实施例中，k1=k2=k3=k4=k5=1/2，k6=k7=1/4。
参照图2所示，为本申请实施例提供的一种虚拟数字人的运动约束装置，包括：
识别单元20，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
驱动单元21，用于对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
本申请实施例提供的虚拟数字人的运动约束装置，借助于识别单元20获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度；对于每一个关节部位的关节点角度，借助于驱动单元21将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，能够有效地约束关节点角度，实现更为准确和可控的动作捕捉。
在前述装置实施例的基础上，所述驱动单元，可以用于：
对于该关节点角度中包含的对应关节点每一个运动方向的角度，若该运动方向的角度小于第一阈值，则确定该运动方向的角度为所述第一阈值，或者若该运动方向的角度属于[所述第一阈值，第二阈值]，则确定该运动方向的角度不变，或者若该运动方向的角度大于所述第二阈值，则确定该运动方向的角度为所述第二阈值，其中，该运动方向的角度对应的关节点角度约束范围为[所述第一阈值，所述第二阈值]。
在前述装置实施例的基础上，所述驱动单元，还可以用于：
对脚踝关节点角度进行调整，调整公式为：θankle｀=k1×θknee＋k2×θankle，其中，θankle｀表示调整后的脚踝关节点角度，θknee表示调整前的膝盖关节点角度，θankle表示调整前的脚踝关节点角度，k1和k2表示调整系数；
对臀关节点角度进行调整，调整公式为：θhip｀=k3×θknee＋k4×θhip，其中，θhip｀表示调整后的臀关节点角度，θhip表示调整前的臀关节点角度，k3和k4表示调整系数；
对膝盖关节点角度进行调整，调整公式为：θknee｀=k5×θknee＋k6×θankle＋k7×θhip，其中，θknee｀表示调整后的膝盖关节点角度，k5、k6和k7表示调整系数。
在前述装置实施例的基础上，k1=k2=k3=k4=k5=1/2，k6=k7=1/4。
本申请实施例提供的虚拟数字人的运动约束装置，其实现过程与本申请实施例提供的虚拟数字人的运动约束方法一致，所能达到的效果也与本申请实施例提供的虚拟数字人的运动约束方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述虚拟数字人的运动约束方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述虚拟数字人的运动约束方法。
对应于上述虚拟数字人的运动约束方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟数字人的运动约束方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟数字人的运动约束方法，其特征在于，包括：
获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
2.如权利要求1所述的方法，其特征在于，所述将该关节点角度限定在对应的关节点角度约束范围，包括：
对于该关节点角度中包含的对应关节点每一个运动方向的角度，若该运动方向的角度小于第一阈值，则确定该运动方向的角度为所述第一阈值，或者若该运动方向的角度属于[所述第一阈值，第二阈值]，则确定该运动方向的角度不变，或者若该运动方向的角度大于所述第二阈值，则确定该运动方向的角度为所述第二阈值，其中，该运动方向的角度对应的关节点角度约束范围为[所述第一阈值，所述第二阈值]。
3.如权利要求2所述的方法，其特征在于，还包括：
对脚踝关节点角度进行调整，调整公式为：θankle｀=k1×θknee＋k2×θankle，其中，θankle｀表示调整后的脚踝关节点角度，θknee表示调整前的膝盖关节点角度，θankle表示调整前的脚踝关节点角度，k1和k2表示调整系数；
对臀关节点角度进行调整，调整公式为：θhip｀=k3×θknee＋k4×θhip，其中，θhip｀表示调整后的臀关节点角度，θhip表示调整前的臀关节点角度，k3和k4表示调整系数；
对膝盖关节点角度进行调整，调整公式为：θknee｀=k5×θknee＋k6×θankle＋k7×θhip，其中，θknee｀表示调整后的膝盖关节点角度，k5、k6和k7表示调整系数。
4.如权利要求3所述的方法，其特征在于，k1=k2=k3=k4=k5=1/2，k6=k7=1/4。
5.一种虚拟数字人的运动约束装置，其特征在于，包括：
识别单元，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行关节点角度识别，得到至少一个关节部位的关节点角度，其中，所述至少一个关节部位包括颈、肩、肘、手腕、脚踝、臀和膝盖中的至少之一；
驱动单元，用于对于每一个关节部位的关节点角度，将该关节点角度限定在对应的关节点角度约束范围，并利用限定后的关节点角度驱动虚拟数字人，其中，该关节点角度包括对应关节点至少一个运动方向的角度。
6.如权利要求5所述的装置，其特征在于，所述驱动单元，用于：
对于该关节点角度中包含的对应关节点每一个运动方向的角度，若该运动方向的角度小于第一阈值，则确定该运动方向的角度为所述第一阈值，或者若该运动方向的角度属于[所述第一阈值，第二阈值]，则确定该运动方向的角度不变，或者若该运动方向的角度大于所述第二阈值，则确定该运动方向的角度为所述第二阈值，其中，该运动方向的角度对应的关节点角度约束范围为[所述第一阈值，所述第二阈值]。
7.如权利要求6所述的装置，其特征在于，所述驱动单元，还用于：
对脚踝关节点角度进行调整，调整公式为：θankle｀=k1×θknee＋k2×θankle，其中，θankle｀表示调整后的脚踝关节点角度，θknee表示调整前的膝盖关节点角度，θankle表示调整前的脚踝关节点角度，k1和k2表示调整系数；
对臀关节点角度进行调整，调整公式为：θhip｀=k3×θknee＋k4×θhip，其中，θhip｀表示调整后的臀关节点角度，θhip表示调整前的臀关节点角度，k3和k4表示调整系数；
对膝盖关节点角度进行调整，调整公式为：θknee｀=k5×θknee＋k6×θankle＋k7×θhip，其中，θknee｀表示调整后的膝盖关节点角度，k5、k6和k7表示调整系数。
8.如权利要求7所述的装置，其特征在于，k1=k2=k3=k4=k5=1/2，k6=k7=1/4。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的虚拟数字人的运动约束方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一项所述的虚拟数字人的运动约束方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981055.4A CN116719417B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的运动约束方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981055.4A CN116719417B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的运动约束方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116719417A true CN116719417A (zh) | 2023-09-08 |
| CN116719417B CN116719417B (zh) | 2024-01-26 |
Family
ID=87868282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310981055.4A Active CN116719417B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的运动约束方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116719417B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN108772835A (zh) * | 2018-05-03 | 2018-11-09 | 华南理工大学 | 一种障碍物与物理极限躲避方法 |
| CN109117893A (zh) * | 2018-08-28 | 2019-01-01 | 华中师范大学 | 一种基于人体姿态的动作识别方法及装置 |
| CN112365972A (zh) * | 2020-10-12 | 2021-02-12 | 安徽动感智能科技有限公司 | 一种基于人体模型识别的医疗辅助系统 |
| US20210110146A1 (en) * | 2019-10-15 | 2021-04-15 | Fujitsu Limited | Action recognition method and apparatus and electronic equipment |
| CN114191804A (zh) * | 2021-12-08 | 2022-03-18 | 上海影谱科技有限公司 | 一种基于深度学习的深蹲姿势标准与否的判别方法和装置 |
| CN114283228A (zh) * | 2021-11-16 | 2022-04-05 | 清华大学 | 一种基于单目彩色相机的虚拟人物驱动方法及系统 |
| CN114998490A (zh) * | 2022-06-08 | 2022-09-02 | 北京百度网讯科技有限公司 | 一种虚拟对象生成方法、装置、设备及存储介质 |
| KR102510047B1 (ko) * | 2022-07-25 | 2023-03-15 | 주식회사 컴플렉시온 | 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법 |
| CN115841565A (zh) * | 2022-12-13 | 2023-03-24 | 上海培云教育科技有限公司 | 虚拟场景中虚拟物体与数字物体间的运动关联方法和系统 |
| CN115861498A (zh) * | 2022-12-19 | 2023-03-28 | 北京百度网讯科技有限公司 | 动作捕捉的重定向方法和装置 |
| CN116227606A (zh) * | 2023-05-05 | 2023-06-06 | 中南大学 | 一种关节角度预测方法、终端设备及介质 |
| CN116263617A (zh) * | 2021-12-10 | 2023-06-16 | 北京字跳网络技术有限公司 | 手部自由度的修正方法、装置、设备及存储介质 |
| CN116485960A (zh) * | 2023-04-23 | 2023-07-25 | 中国建设银行股份有限公司 | 数字人驱动方法及装置 |
-
2023
- 2023-08-07 CN CN202310981055.4A patent/CN116719417B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN108772835A (zh) * | 2018-05-03 | 2018-11-09 | 华南理工大学 | 一种障碍物与物理极限躲避方法 |
| CN109117893A (zh) * | 2018-08-28 | 2019-01-01 | 华中师范大学 | 一种基于人体姿态的动作识别方法及装置 |
| US20210110146A1 (en) * | 2019-10-15 | 2021-04-15 | Fujitsu Limited | Action recognition method and apparatus and electronic equipment |
| CN112365972A (zh) * | 2020-10-12 | 2021-02-12 | 安徽动感智能科技有限公司 | 一种基于人体模型识别的医疗辅助系统 |
| CN114283228A (zh) * | 2021-11-16 | 2022-04-05 | 清华大学 | 一种基于单目彩色相机的虚拟人物驱动方法及系统 |
| CN114191804A (zh) * | 2021-12-08 | 2022-03-18 | 上海影谱科技有限公司 | 一种基于深度学习的深蹲姿势标准与否的判别方法和装置 |
| CN116263617A (zh) * | 2021-12-10 | 2023-06-16 | 北京字跳网络技术有限公司 | 手部自由度的修正方法、装置、设备及存储介质 |
| CN114998490A (zh) * | 2022-06-08 | 2022-09-02 | 北京百度网讯科技有限公司 | 一种虚拟对象生成方法、装置、设备及存储介质 |
| KR102510047B1 (ko) * | 2022-07-25 | 2023-03-15 | 주식회사 컴플렉시온 | 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법 |
| CN115841565A (zh) * | 2022-12-13 | 2023-03-24 | 上海培云教育科技有限公司 | 虚拟场景中虚拟物体与数字物体间的运动关联方法和系统 |
| CN115861498A (zh) * | 2022-12-19 | 2023-03-28 | 北京百度网讯科技有限公司 | 动作捕捉的重定向方法和装置 |
| CN116485960A (zh) * | 2023-04-23 | 2023-07-25 | 中国建设银行股份有限公司 | 数字人驱动方法及装置 |
| CN116227606A (zh) * | 2023-05-05 | 2023-06-06 | 中南大学 | 一种关节角度预测方法、终端设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116719417B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460875B (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| Cappello et al. | Soft tissue artifact compensation in knee kinematics by double anatomical landmark calibration: performance of a novel method during selected motor tasks | |
| Engsberg et al. | Kinematic analysis of the talocalcaneal/talocrural joint during running support | |
| CN104524742A (zh) | 一种基于Kinect传感器的脑瘫儿童康复训练方法 | |
| WO2013070171A1 (en) | Method and apparatus for calibrating a motion tracking system | |
| Harsted et al. | Concurrent validity of lower extremity kinematics and jump characteristics captured in pre-school children by a markerless 3D motion capture system | |
| CN112733404B (zh) | 一种运动过程中人体膝关节有限元模型的建立方法 | |
| CN112704491B (zh) | 基于姿态传感器和动捕模板数据的下肢步态预测方法 | |
| Ma et al. | The validity of a dual Azure Kinect-based motion capture system for gait analysis: A preliminary study | |
| CN111401340B (zh) | 目标对象的运动检测方法和装置 | |
| CN115346670A (zh) | 基于姿态识别的帕金森病评级方法、电子设备及介质 | |
| KR20210050787A (ko) | 객체 동작 기반의 애니메이션을 생성하는 장치 및 방법 | |
| CN116719417B (zh) | 虚拟数字人的运动约束方法和装置、电子设备及存储介质 | |
| WO2020180688A1 (en) | Multiple physical conditions embodied in body part images to generate an orthotic | |
| CN113436736A (zh) | 一种康复评估方法、系统、装置和存储介质 | |
| Williams et al. | Changes in distance running mechanics due to systematic variations in running style | |
| JP7455991B2 (ja) | 情報処理装置、および情報処理方法 | |
| CN113780253B (zh) | 一种人体关节运动关键点识别方法及系统 | |
| CN113902845A (zh) | 一种动作视频生成方法、装置、电子设备和可读存储介质 | |
| CN109157306A (zh) | 调节膝关节假体的方法及装置 | |
| CN112861606A (zh) | 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 | |
| Dallaire-Côté et al. | Animated self-avatars for motor rehabilitation applications that are biomechanically accurate, low-latency and easy to use | |
| WO2020180521A1 (en) | Biometric evaluation of body part images to generate an orthotic | |
| Aguiar et al. | Global optimization method applied to the kinematics of gait in pregnant women | |
| KR101898512B1 (ko) | 생체역학적 관찰 기반의 연령별 보행 모션 변환 제공 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240226 Address after: 230031 Room 672, 6/F, Building A3A4, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei, Anhui Patentee after: Anhui Haima Cloud Technology Co.,Ltd. Country or region after: China Address before: 301700 room 2d25, Building 29, No.89 Heyuan Road, Jingjin science and Technology Valley Industrial Park, Wuqing District, Tianjin Patentee before: HAIMAYUN (TIANJIN) INFORMATION TECHNOLOGY CO.,LTD. Country or region before: China |