CN116719416B - 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 - Google Patents
虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116719416B CN116719416B CN202310981037.6A CN202310981037A CN116719416B CN 116719416 B CN116719416 B CN 116719416B CN 202310981037 A CN202310981037 A CN 202310981037A CN 116719416 B CN116719416 B CN 116719416B
- Authority
- CN
- China
- Prior art keywords
- gesture
- rotation data
- data corresponding
- hand
- portrait picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 18
- 210000002411 hand bone Anatomy 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 210000004247 hand Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质，方法包括：获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，通过该方案能够使虚拟数字人做出的手势动作与真人相同，提高虚拟人动捕的精度。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质。
背景技术
虚拟人动捕（Motion Capture Retargeting）是指将一个人的动作捕捉数据应用到虚拟人物模型（以下简称“虚拟数字人”）上，具体实施时，可以使用相机拍摄真人的人像视频，对人像视频的每一帧人像图片进行AI推演获得人体骨骼旋转数据，然后将旋转数据传给虚拟数字人，从而驱动虚拟数字人动作。在这个过程中，受限于AI识别精度、运动遮挡等因素影响，导致AI推演数据精度不够，从而使得虚拟数字人的手势动作和真人的手势动作偏差较大，达不到预期的手势动作展现效果。比如真人做出双手合十的手势动作，但是虚拟数字人做出的却是双手手指交握的手势动作。
有鉴于此，如何提供一种虚拟数字人的手势动作修正方案，使虚拟数字人做出的手势动作与真人相同，提高虚拟人动捕的精度，成为亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质，能够使虚拟数字人做出的手势动作与真人相同，提高虚拟人动捕的精度。
第一方面，本申请实施例提供了一种虚拟数字人的手势动作修正方法，包括：
获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
第二方面，本申请实施例还提供了一种虚拟数字人的手势动作修正装置，包括：
识别单元，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
驱动单元，用于在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟数字人的手势动作修正方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟数字人的手势动作修正方法的步骤。
综上，本申请实施例提供的虚拟数字人的手势动作修正方法和装置、电子设备及存储介质，在对真人的人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，能够使虚拟数字人做出的手势动作与真人相同，并保证虚拟数字人手部动作的流畅度。
附图说明
图1为本申请实施例提供的一种虚拟数字人的手势动作修正方法的流程示意图；
图2为本申请实施例提供的一种虚拟数字人的手势动作修正装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种虚拟数字人的手势动作修正方法，包括：
S10、获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
本发明实施例中，需要说明的是，获取真人的人像视频的过程中，会逐帧对其中的人像图片进行手势动作识别，也就是说对人像视频中每一帧人像图片均可以识别出相应的手势动作。
S11、在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
本发明实施例中，需要说明的是，在对人像视频中人像图片的识别过程中，可以设置如果对于某一帧人像图片识别出第一手势动作，记该帧人像图片为第一人像图片，则根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，或者如果对于连续至少两帧（可以根据需要设置）人像图片均识别出第一手势动作，记所述至少两帧人像图片中最后一帧人像图片为第一人像图片（也就是说第一人像图片存在的前提是从第一人像图片及其前面至少两帧人像图片中均识别出第一手势动作），则根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动。所述第一手势动作为预设的手势动作集合中的一个手势动作，其中，预设的手势动作集合中包含至少一个标准的手势动作，比如可以包括：张开手掌、竖起大拇指、抱拳作揖、托手、双手比心、单手比心、OK手势、比yeah、手枪手势、食指指天手势、单手握拳、666手势、双手合十、我爱你手势、比数字3手势和比数字4手势等等中的至少一个手势动作，真人做出这些手势动作时，无法通过AI推演人像图片驱动虚拟数字人做出相同的手势动作或者通过AI推演人像图片驱动虚拟数字人做出的手势动作与真人做出的手势动作存在一定偏差。
本申请实施例提供的虚拟数字人的手势动作修正方法，在对真人的人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，能够使虚拟数字人做出的手势动作与真人相同，并保证虚拟数字人手部动作的流畅度。
在前述方法实施例的基础上，所述根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据涉及的计算公式可以为：
data_i=last_data＋(prepare_data-last_data)/N×i，
其中，data_i为插入的第i组手部骨骼旋转数据，i∈（1，2，…，N），last_data为所述第一人像图片对应的手部骨骼旋转数据，prepare_data为所述第一手势动作对应的手部骨骼旋转数据，N为预设的数量，在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入的手部骨骼旋转数据取自data_i。
本发明实施例中，需要说明的是，根据第一人像图片对应的手部骨骼旋转数据和第一手势动作对应的手部骨骼旋转数据按照上述计算公式可以在第一人像图片对应的手部骨骼旋转数据和第一手势动作对应的手部骨骼旋转数据之间插入N组手部骨骼旋转数据data_i（i∈（1，2，…，N）），而在第一人像图片对应的手部骨骼旋转数据和第一手势动作对应的手部骨骼旋转数据之间插入的至少一组手部骨骼旋转数据可以取自data_i中的前M1（M1小于或等于N）组数据。
在前述方法实施例的基础上，所述利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，可以包括：
对于第二人像图片，利用所述至少一组手部骨骼旋转数据中一组手部骨骼旋转数据替换所述第二人像图片对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的所述第二人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第二人像图片为所述人像视频中所述第一人像图片后的一帧人像图片，对所述第二人像图片识别得到的手势动作为所述第一手势动作。
本发明实施例中，需要说明的是，在对第一人像图片识别得到的手势动作为第一手势动作时，对于人像视频中第一人像图片后的每一帧人像图片，如果对该帧人像图片识别得到的手势动作仍然为第一手势动作，即该帧人像图片为第二人像图片，则可以按照在第一人像图片对应的手部骨骼旋转数据和第一手势动作对应的手部骨骼旋转数据之间插入的至少一组手部骨骼旋转数据的序号，依次利用一组手部骨骼旋转数据替换掉该帧人像图片对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的该帧人像图片对应的骨骼旋转数据驱动虚拟数字人运动，直至插入的所有组手部骨骼旋转数据均替换完，对人像视频中之后的人像图片继续进行手势动作识别，并在识别出第一手势动作时，按照步骤S11的方法进行处理。或者可以在插入的所有组手部骨骼旋转数据均替换完之后，使用第一手势动作对应的手部骨骼旋转数据进行替换，直至第一手势动作对应的手部骨骼旋转数据也替换完，对人像视频中之后的人像图片继续进行手势动作识别，并在识别出第一手势动作时，按照步骤S11的方法进行处理。
比如，假设预设的手势动作集合中包括：张开手掌、竖起大拇指、抱拳作揖、托手、双手比心、单手比心、OK手势、比yeah、手枪手势、食指指天手势、单手握拳、666手势、双手合十、我爱你手势、比数字3手势和比数字4手势，记真人M的人像视频为V，V中的第i帧人像图片记为Vi，对V1、V2、…、V5进行手势动作识别，识别出的手势动作都不属于预设的手势动作集合中的手势动作，则在驱动虚拟数字人运动时，依次使用的是V1、V2、…、V5对应的骨骼旋转数据。假设对V6进行手势动作识别，识别出的手势动作为双手合十，则可以在V6对应的手部骨骼旋转数据和双手合十对应的手部骨骼旋转数据之间插入10组手部骨骼旋转数据（涉及的计算公式参见前述实施例），之后如果对V7进行手势动作识别，识别出的手势动作为双手合十，则利用插入的第1组手部骨骼旋转数据替换V7对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V7对应的骨骼旋转数据驱动虚拟数字人运动；如果对V8进行手势动作识别，识别出的手势动作也为双手合十，则利用插入的第2组手部骨骼旋转数据替换V8对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V8对应的骨骼旋转数据驱动虚拟数字人运动…直至如果对V16进行手势动作识别，识别出的手势动作为双手合十，则利用插入的第10组手部骨骼旋转数据替换V16对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V16对应的骨骼旋转数据驱动虚拟数字人运动；如果对V17进行手势动作识别，识别出的手势动作为双手合十，则利用双手合十对应的手部骨骼旋转数据替换V17对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V17对应的骨骼旋转数据驱动虚拟数字人运动，而对于V18及其之后的人像图片，仍然按照前述处理流程进行处理，此处不再赘述。
在前述方法实施例的基础上，所述方法还可以包括：
对于第三人像图片，利用所述第三人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第三人像图片为所述人像视频中所述第二人像图片后的一帧人像图片，对所述第三人像图片识别得到的手势动作不属于所述手势动作集合。
本发明实施例中，需要说明的是，在进行手部骨骼数据替换的过程中，如果对人像视频中某一帧人像图片识别出的手势动作不属于所述手势动作集合，即该帧人像图片为第三人像图片，则跳出替换逻辑，即从该帧人像图片开始，继续使用前述实施例的处理逻辑，在识别出第一手势动作时，按照步骤S11的方法进行处理。
仍以前述对人像视频V中的人像图片的识别为例进行说明。假设前述实施例中对V8进行手势动作识别，识别出的手势动作不属于预设的手势动作集合，则使用V8对应的骨骼旋转数据驱动虚拟数字人运动，并从V9开始继续使用前述实施例的处理逻辑。
在前述方法实施例的基础上，所述方法还可以包括：
对于第四人像图片，根据所述第四人像图片对应的手部骨骼旋转数据和第二手势动作对应的手部骨骼旋转数据在所述第四人像图片对应的手部骨骼旋转数据和所述第二手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动所述虚拟数字人的手部运动，其中，所述第四人像图片为所述人像视频中所述第二人像图片后的一帧人像图片，对所述第四人像图片识别得到的手势动作为所述第二手势动作，所述第二手势动作为所述手势动作集合中的手势动作，所述第二手势动作和第一手势动作不同。
本发明实施例中，需要说明的是，在进行手部骨骼数据替换的过程中，如果对人像视频中某一帧人像图片识别出的手势动作为所述手势动作集合中的第二手势动作，且不同于第一手势动作，即该帧人像图片为第四人像图片，则跳出当前的替换逻辑，重新根据该帧人像图片对应的手部骨骼旋转数据和第二手势动作对应的手部骨骼旋转数据在该帧人像图片对应的手部骨骼旋转数据和第二手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用插入的手部骨骼旋转数据驱动虚拟数字人的手部运动，在这个过程中插入手部骨骼旋转数据的计算公式可以与前述实施例中在第一人像图片对应的手部骨骼旋转数据和第一手势动作对应的手部骨骼旋转数据之间插入手部骨骼旋转数据涉及的计算公式形式相同，此时，last_data对应第四人像图片对应的手部骨骼旋转数据，prepare_data对应第二手势动作对应的手部骨骼旋转数据，在第四人像图片对应的手部骨骼旋转数据和第二手势动作对应的手部骨骼旋转数据之间插入的至少一组手部骨骼旋转数据为按照上述计算公式计算出的data_i中的前M2（M2小于或等于N）组数据。
仍以前述对人像视频V中的人像图片的识别为例进行说明。假设前述实施例中对V8进行手势动作识别，识别出的手势动作为双手比心（属于预设的手势动作集合，且不同于双手合十），则可以利用V8对应的骨骼旋转数据驱动虚拟数字人运动，并在V8对应的手部骨骼旋转数据和双手比心对应的手部骨骼旋转数据之间插入10组手部骨骼旋转数据（涉及的计算公式参见前述实施例），之后如果对V9进行手势动作识别，识别出的手势动作仍为双手比心，则利用插入的第1组手部骨骼旋转数据替换V9对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V9对应的骨骼旋转数据驱动虚拟数字人运动；如果对V10进行手势动作识别，识别出的手势动作也为双手比心，则利用插入的第2组手部骨骼旋转数据替换V10对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V10对应的骨骼旋转数据驱动虚拟数字人运动等等。
依此类推，完成对人像视频V中各帧人像图片的识别与虚拟数字人手部驱动过程。
可以理解的是，前述例子中均是根据单帧人像图片的手势动作识别结果作为最终的手势动作识别结果，在实际应用中，也可以在连续识别出多帧人像图片的手势动作的前提下确定出多帧人像图片中最后一帧的手势动作识别结果，比如需要连续3帧人像图片均识别出双手比心的手势动作，才能确定连续3帧人像图片中第3帧人像图片的手势动作识别结果为双手比心，而前2帧人像图片的手势动作识别结果确定为不属于预设的手势动作集合。仍以前述对人像视频V中的人像图片的识别为例进行说明。假设对V1、V2、…、V5进行手势动作识别，识别出的手势动作都不属于预设的手势动作集合中的手势动作，则在驱动虚拟数字人运动时，依次使用的是V1、V2、…、V5对应的骨骼旋转数据。假设对V6进行手势动作识别，识别出的手势动作为双手合十，则利用V6对应的骨骼旋转数据驱动虚拟数字人运动；假设对V7进行手势动作识别，识别出的手势动作为双手合十，则利用V7对应的骨骼旋转数据驱动虚拟数字人运动；假设对V8进行手势动作识别，识别出的手势动作为双手合十，则利用V8对应的骨骼旋转数据驱动虚拟数字人运动，并可以在V8对应的手部骨骼旋转数据和双手合十对应的手部骨骼旋转数据之间插入10组手部骨骼旋转数据（涉及的计算公式参见前述实施例），之后如果对V9进行手势动作识别，识别出的手势动作为双手合十，则利用插入的第1组手部骨骼旋转数据替换V9对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V9对应的骨骼旋转数据驱动虚拟数字人运动；如果对V10进行手势动作识别，识别出的手势动作也为双手合十，则利用插入的第2组手部骨骼旋转数据替换V10对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V10对应的骨骼旋转数据驱动虚拟数字人运动…直至如果对V18进行手势动作识别，识别出的手势动作为双手合十，则利用插入的第10组手部骨骼旋转数据替换V18对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V18对应的骨骼旋转数据驱动虚拟数字人运动；如果对V19进行手势动作识别，识别出的手势动作为双手合十，则利用双手合十对应的手部骨骼旋转数据替换V19对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V19对应的骨骼旋转数据驱动虚拟数字人运动。之后对V20、V21和V22进行手势动作识别，识别出的手势动作都不属于预设的手势动作集合中的手势动作，则在驱动虚拟数字人运动时，依次使用的是V20、V21和V22对应的骨骼旋转数据。假设对V23进行手势动作识别，识别出的手势动作为双手比心，则利用V23对应的骨骼旋转数据驱动虚拟数字人运动；假设对V24进行手势动作识别，识别出的手势动作为双手比心，则利用V24对应的骨骼旋转数据驱动虚拟数字人运动；假设对V25进行手势动作识别，识别出的手势动作为双手比心，则利用V25对应的骨骼旋转数据驱动虚拟数字人运动，并可以在V25对应的手部骨骼旋转数据和双手比心对应的手部骨骼旋转数据之间插入10组手部骨骼旋转数据（涉及的计算公式参见前述实施例），之后如果对V26进行手势动作识别，识别出的手势动作为双手比心，则利用插入的第1组手部骨骼旋转数据替换V26对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V26对应的骨骼旋转数据驱动虚拟数字人运动；如果对V27进行手势动作识别，识别出的手势动作为双手比心，则利用插入的第2组手部骨骼旋转数据替换V27对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V27对应的骨骼旋转数据驱动虚拟数字人运动；如果对V28进行手势动作识别，识别出的手势动作为双手比心，则利用插入的第3组手部骨骼旋转数据替换V28对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的V28对应的骨骼旋转数据驱动虚拟数字人运动。之后如果对V29进行手势动作识别，识别出的手势动作不属于预设的手势动作集合，则使用V29对应的骨骼旋转数据驱动虚拟数字人运动。或者如果对V29进行手势动作识别，识别出的手势动作为竖起大拇指，则使用V29对应的骨骼旋转数据驱动虚拟数字人运动；如果对V30进行手势动作识别，识别出的手势动作为竖起大拇指，则使用V30对应的骨骼旋转数据驱动虚拟数字人运动；如果对V31进行手势动作识别，识别出的手势动作为竖起大拇指，则使用V31对应的骨骼旋转数据驱动虚拟数字人运动，并可以在V31对应的手部骨骼旋转数据和竖起大拇指对应的手部骨骼旋转数据之间插入10组手部骨骼旋转数据（涉及的计算公式参见前述实施例）…依此类推，直至完成所有人像图片的识别处理。
参照图2所示，为本申请实施例提供的一种虚拟数字人的手势动作修正装置，包括：
识别单元20，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
驱动单元21，用于在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
本申请实施例提供的虚拟数字人的手势动作修正装置，在对真人的人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，能够使虚拟数字人做出的手势动作与真人相同，并保证虚拟数字人手部动作的流畅度。
在前述装置实施例的基础上，所述驱动单元，可以用于：
根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，计算公式为：
data_i=last_data＋(prepare_data-last_data)/N×i，
其中，data_i为插入的第i组手部骨骼旋转数据，i∈（1，2，…，N），last_data为所述第一人像图片对应的手部骨骼旋转数据，prepare_data为所述第一手势动作对应的手部骨骼旋转数据，N为预设的数量，在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入的手部骨骼旋转数据取自data_i。
在前述装置实施例的基础上，所述驱动单元，可以用于：
对于第二人像图片，利用所述至少一组手部骨骼旋转数据中一组手部骨骼旋转数据替换所述第二人像图片对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的所述第二人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第二人像图片为所述人像视频中所述第一人像图片后的一帧人像图片，对所述第二人像图片识别得到的手势动作为所述第一手势动作。
本申请实施例提供的虚拟数字人的手势动作修正装置，其实现过程与本申请实施例提供的虚拟数字人的手势动作修正方法一致，所能达到的效果也与本申请实施例提供的虚拟数字人的手势动作修正方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述虚拟数字人的手势动作修正方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述虚拟数字人的手势动作修正方法。
对应于上述虚拟数字人的手势动作修正方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟数字人的手势动作修正方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟数字人的手势动作修正方法，其特征在于，包括：
获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据涉及的计算公式为：
data_i=last_data＋(prepare_data-last_data)/N×i，
其中，data_i为插入的第i组手部骨骼旋转数据，i∈（1，2，…，N），last_data为所述第一人像图片对应的手部骨骼旋转数据，prepare_data为所述第一手势动作对应的手部骨骼旋转数据，N为预设的数量，在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入的手部骨骼旋转数据取自data_i。
3.如权利要求1或2所述的方法，其特征在于，所述利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，包括：
对于第二人像图片，利用所述至少一组手部骨骼旋转数据中一组手部骨骼旋转数据替换所述第二人像图片对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的所述第二人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第二人像图片为所述人像视频中所述第一人像图片后的一帧人像图片，对所述第二人像图片识别得到的手势动作为所述第一手势动作。
4.如权利要求3所述的方法，其特征在于，还包括：
对于第三人像图片，利用所述第三人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第三人像图片为所述人像视频中所述第二人像图片后的一帧人像图片，对所述第三人像图片识别得到的手势动作不属于所述手势动作集合。
5.如权利要求3所述的方法，其特征在于，还包括：
对于第四人像图片，根据所述第四人像图片对应的手部骨骼旋转数据和第二手势动作对应的手部骨骼旋转数据在所述第四人像图片对应的手部骨骼旋转数据和所述第二手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动所述虚拟数字人的手部运动，其中，所述第四人像图片为所述人像视频中所述第二人像图片后的一帧人像图片，对所述第四人像图片识别得到的手势动作为所述第二手势动作，所述第二手势动作为所述手势动作集合中的手势动作，所述第二手势动作和第一手势动作不同。
6.一种虚拟数字人的手势动作修正装置，其特征在于，包括：
识别单元，用于获取真人的人像视频，依次对所述人像视频中的各帧人像图片进行手势动作识别；
驱动单元，用于在对所述人像视频中第一人像图片识别得到的手势动作为第一手势动作时，根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，利用所述至少一组手部骨骼旋转数据驱动虚拟数字人的手部运动，其中，所述第一手势动作为预设的手势动作集合中的手势动作，所述手势动作集合中包含预设的至少一个手势动作。
7.如权利要求6所述的装置，其特征在于，所述驱动单元，用于：
根据所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入至少一组手部骨骼旋转数据，计算公式为：
data_i=last_data＋(prepare_data-last_data)/N×i，
其中，data_i为插入的第i组手部骨骼旋转数据，i∈（1，2，…，N），last_data为所述第一人像图片对应的手部骨骼旋转数据，prepare_data为所述第一手势动作对应的手部骨骼旋转数据，N为预设的数量，在所述第一人像图片对应的手部骨骼旋转数据和所述第一手势动作对应的手部骨骼旋转数据之间插入的手部骨骼旋转数据取自data_i。
8.如权利要求6或7所述的装置，其特征在于，所述驱动单元，用于：
对于第二人像图片，利用所述至少一组手部骨骼旋转数据中一组手部骨骼旋转数据替换所述第二人像图片对应的骨骼旋转数据中的手部骨骼旋转数据，利用替换后的所述第二人像图片对应的骨骼旋转数据驱动所述虚拟数字人运动，其中，所述第二人像图片为所述人像视频中所述第一人像图片后的一帧人像图片，对所述第二人像图片识别得到的手势动作为所述第一手势动作。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的虚拟数字人的手势动作修正方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的虚拟数字人的手势动作修正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981037.6A CN116719416B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981037.6A CN116719416B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116719416A CN116719416A (zh) | 2023-09-08 |
| CN116719416B true CN116719416B (zh) | 2023-12-15 |
Family
ID=87868280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310981037.6A Active CN116719416B (zh) | 2023-08-07 | 2023-08-07 | 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116719416B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117008733B (zh) * | 2023-09-21 | 2023-12-12 | 海马云（天津）信息技术有限公司 | 虚拟数字人的手势动作修正方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
| CN109064530A (zh) * | 2018-08-01 | 2018-12-21 | 吉林盘古网络科技股份有限公司 | 人物动画合成方法、装置及终端 |
| WO2020078319A1 (zh) * | 2018-10-15 | 2020-04-23 | 华为技术有限公司 | 基于手势的操控方法及终端设备 |
| CN114187343A (zh) * | 2021-12-16 | 2022-03-15 | 杭州萤石软件有限公司 | 3d数据获取方法、装置及电子设备 |
| CN114527877A (zh) * | 2022-02-22 | 2022-05-24 | 广州虎牙科技有限公司 | 虚拟形象驱动方法、装置及服务器 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN115079818A (zh) * | 2022-05-07 | 2022-09-20 | 北京聚力维度科技有限公司 | 一种手部捕捉方法和系统 |
| CN115390659A (zh) * | 2022-06-28 | 2022-11-25 | 陈苑彤 | 数据手套动态校准装置与方法 |
| CN115631305A (zh) * | 2018-12-29 | 2023-01-20 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104571510B (zh) * | 2014-12-30 | 2018-05-04 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的系统和方法 |
-
2023
- 2023-08-07 CN CN202310981037.6A patent/CN116719416B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
| CN109064530A (zh) * | 2018-08-01 | 2018-12-21 | 吉林盘古网络科技股份有限公司 | 人物动画合成方法、装置及终端 |
| WO2020078319A1 (zh) * | 2018-10-15 | 2020-04-23 | 华为技术有限公司 | 基于手势的操控方法及终端设备 |
| CN115631305A (zh) * | 2018-12-29 | 2023-01-20 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备 |
| CN114187343A (zh) * | 2021-12-16 | 2022-03-15 | 杭州萤石软件有限公司 | 3d数据获取方法、装置及电子设备 |
| CN114527877A (zh) * | 2022-02-22 | 2022-05-24 | 广州虎牙科技有限公司 | 虚拟形象驱动方法、装置及服务器 |
| CN115079818A (zh) * | 2022-05-07 | 2022-09-20 | 北京聚力维度科技有限公司 | 一种手部捕捉方法和系统 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN115390659A (zh) * | 2022-06-28 | 2022-11-25 | 陈苑彤 | 数据手套动态校准装置与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116719416A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116719416B (zh) | 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 | |
| CN109961005A (zh) | 一种基于二维卷积网络的动态手势识别方法及系统 | |
| CN111598038B (zh) | 脸部特征点检测方法、装置、设备及存储介质 | |
| JP2013524357A (ja) | ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法 | |
| CN112541445A (zh) | 人脸表情的迁移方法、装置、电子设备及存储介质 | |
| CN109241956A (zh) | 合成图像的方法、装置、终端及存储介质 | |
| CN111427697A (zh) | 基于多线程的动作捕捉方法、装置、设备及存储介质 | |
| CN105975072A (zh) | 识别手势动作的方法、装置及系统 | |
| CN111738080A (zh) | 一种人脸检测和对齐的方法及装置 | |
| CN114527877B (zh) | 虚拟形象驱动方法、装置及服务器 | |
| CN116661608B (zh) | 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 | |
| CN115761826A (zh) | 掌静脉有效区域提取方法、系统、介质及电子设备 | |
| US10791321B2 (en) | Constructing a user's face model using particle filters | |
| CN106778576B (zh) | 一种基于sehm特征图序列的动作识别方法 | |
| CN112329663B (zh) | 一种基于人脸图像序列的微表情时刻检测方法及装置 | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN108460768B (zh) | 层次化时域切分的视频关注对象分割方法和装置 | |
| CN116433809A (zh) | 表情驱动方法、以及模型训练方法 | |
| CN117008733B (zh) | 虚拟数字人的手势动作修正方法和装置 | |
| CN114926887A (zh) | 人脸识别方法、装置及终端设备 | |
| CN110971895B (zh) | 视频抖动检测方法和装置 | |
| US20130315554A1 (en) | Method for determining the movements of an object from a stream of images | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN109493349B (zh) | 一种图像特征处理模块、增强现实设备和角点检测方法 | |
| CN110889012A (zh) | 一种基于抽帧图片生成空镜标签系统的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240207 Address after: 230031 Room 672, 6/F, Building A3A4, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei, Anhui Patentee after: Anhui Haima Cloud Technology Co.,Ltd. Country or region after: China Address before: 301700 room 2d25, Building 29, No.89 Heyuan Road, Jingjin science and Technology Valley Industrial Park, Wuqing District, Tianjin Patentee before: HAIMAYUN (TIANJIN) INFORMATION TECHNOLOGY CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |