CN116661608A - 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 - Google Patents
虚拟人动捕的模型切换方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116661608A CN116661608A CN202310920468.1A CN202310920468A CN116661608A CN 116661608 A CN116661608 A CN 116661608A CN 202310920468 A CN202310920468 A CN 202310920468A CN 116661608 A CN116661608 A CN 116661608A
- Authority
- CN
- China
- Prior art keywords
- portrait
- processing model
- frame
- model
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001914 filtration Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 22
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质，方法包括：获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人，通过该方案能够在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，并保证虚拟人动捕的精度和效率。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质。
背景技术
虚拟人动捕（Motion Capture Retargeting）是指将一个人的动作捕捉数据应用到虚拟人物模型（以下简称“虚拟数字人”）上，具体实施时，可以使用相机拍摄真人的人像视频，利用人像处理模型从人像视频的每一帧人像图片中解算出根节点的位置和关节点的角度，利用根节点的位置和关节点的角度驱动虚拟数字人动作。但是，人像图片中人像类型可能不同，比如有些人像图片中的人像是半身人像，而有些人像图片中的人像是全身人像，此时使用同一人像处理模型进行解算会使得解算精度较低。而如果在处理每一帧人像图片前都先对该帧人像图片中的人像类型进行识别，并根据识别结果选用相应类型的模型处理该帧人像图片，又会在不同类型的模型之间频繁切换，从而降低虚拟人动捕的效率。
有鉴于此，如何提供一种保证虚拟人动捕的精度和效率的模型切换方案，以在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，成为亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质，能够在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，并保证虚拟人动捕的精度和效率。
第一方面，本申请实施例提供了一种虚拟人动捕的模型切换方法，包括：
获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
第二方面，本申请实施例还提供了一种虚拟人动捕的模型切换装置，包括：
确定单元，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
驱动单元，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟人动捕的模型切换方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟人动捕的模型切换方法的步骤。
综上，本申请实施例提供的虚拟人动捕的模型切换和装置、电子设备及存储介质，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
附图说明
图1为本申请实施例提供的一种虚拟人动捕的模型切换方法的流程示意图；
图2为本申请实施例提供的一种虚拟人动捕的模型切换装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种虚拟人动捕的模型切换方法，包括：
S10、获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
本实施例中，需要说明的是，第一人像处理模型为处理一种类型人像图片的模型。利用第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据第一识别结果确定出第二人像处理模型，其中，第二人像处理模型与第一人像处理模型相同或者为处理另一种类型（该类型与第一人像处理模型适于处理的人像图片的类型不同）人像图片的模型。第一连续多帧人像图片中人像图片的数量可以根据需要设置，比如设置成5、8等。第一人像处理模型和第二人像处理模型的识别结果可以包括人像图片是否是相应类型的人像图片，以及人像图片是相应类型的人像图片时识别出的用于驱动虚拟数字人的根节点的位置和关节点的角度。
S11、若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
本实施例中，需要说明的是，在确定出第二人像处理模型后，如果第二人像处理模型与第一人像处理模型不同，说明需要进行模型切换，此时需要利用第二人像处理模型对真人的人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，并利用第一人像处理模型的识别结果对第二人像处理模型的识别结果进行滤波，以保证虚拟人动捕的稳定性，最终驱动虚拟数字人的是第一人像处理模型的识别结果以及对第二人像处理模型的识别结果进行滤波后的结果（即第三识别结果），包括最终用于驱动虚拟数字人的根节点的位置和关节点的角度，也就是说，真人的人像视频的不同部分分别使用了不同的模型进行切换识别。其中，第二连续多帧人像图片的获取时间晚于第一连续多帧人像图片，比如第二连续多帧人像图片可以为第一连续多帧人像图片获取后紧邻第一连续多帧人像图片获取的多张人像图片。第二连续多帧人像图片中人像图片的数量可以根据需要设置，比如设置成10、15等。
本申请实施例提供的虚拟人动捕的模型切换方法，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，因而能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
在前述方法实施例的基础上，所述方法还可以包括：
若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
本实施例中，需要说明的是，如果第一人像处理模型和第二人像处理模型相同，则说明不需要进行模型切换，此时仍然使用原有的第一人像处理模型进行图片识别，即使用第一人像处理模型对第二连续多帧人像图片进行识别，并利用识别结果驱动虚拟数字人。
在前述方法实施例的基础上，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述根据所述第一识别结果确定出第二人像处理模型，可以包括：
若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者
若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
本实施例中，需要说明的是，在第一人像处理模型和第二人像处理模型为全身人像处理模型和半身人像处理模型中的一个模型的情况下，在确定第二人像处理模型时，可以设置两个指针：第一指针和第二指针，该两个指针分别指向全身人像处理模型和半身人像处理模型中的一个模型，初始可以设置第一指针指向半身人像处理模型，第二指针指向全身人像处理模型，在识别真人的人像视频中的人像图片时，识别模型根据具体情况可能会在半身人像处理模型和全身人像处理模型之间切换，但是只使用第一指针指向的模型来获得驱动虚拟数字人的人像图片识别结果。具体地，可以将每一帧人像图片分别送入全身人像处理模型和半身人像处理模型进行识别，若第一指针指向半身人像处理模型，第二指针指向全身人像处理模型，则在全身人像处理模型的识别结果指示第一连续多帧人像图片中每一帧人像图片均检测到人时，将第一指针和第二指针指向的模型进行交换，并将第一指针指向的模型（即全身人像处理模型）确定为第二人像处理模型，否则，只要在全身人像处理模型的识别结果指示第一连续多帧人像图片中存在一帧人像图片未检测到人时，直接将第一指针指向的模型（即半身人像处理模型）确定为第二人像处理模型；而若第一指针指向全身人像处理模型，第二指针指向半身人像处理模型，则在全身人像处理模型的识别结果指示第一连续多帧人像图片中每一帧人像图片均未检测到人时，将第一指针和第二指针指向的模型进行交换，并将第一指针指向的模型（即半身人像处理模型）确定为第二人像处理模型，否则，只要在全身人像处理模型的识别结果指示第一连续多帧人像图片中存在一帧人像图片检测到人时，直接将第一指针指向的模型（即全身人像处理模型）确定为第二人像处理模型。
举例来说，假设第一连续多帧人像图片中人像图片的数量设置为5，第二连续多帧人像图片中人像图片的数量设置为10，第一指针记为front，第二指针记为back，初始设置front指向半身人像处理模型，back指向全身人像处理模型，始终使用front指向的模型来驱动虚拟人。记真人M的人像视频为V，V中的第i帧人像图片记为Vi，将Vi按顺序送入半身人像处理模型和全身人像处理模型，如果全身人像处理模型在人像图片V1、V2、…、V5中均检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即全身人像处理模型）识别人像图片V6、V7、…、V15，利用半身人像处理模型对人像图片V1、V2、…、V5的识别结果对全身人像处理模型对人像图片V6、V7、…、V15的识别结果进行滤波，将滤波后的识别结果作为人像图片V6、V7、…、V15对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片V17中未检测到人，在人像图片V16、V18、V19和V20中均检测到人，则不交换front和back指向的模型，利用front指向的模型（即全身人像处理模型）识别人像图片V21、V22、…、V30，并将识别结果作为人像图片V21、V22、…、V30对应的用于驱动虚拟数字人的信息。之后，如果全身人像处理模型在人像图片V31、V32、…、V35中均未检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即半身人像处理模型）识别人像图片V36、V37、…、V45，利用全身人像处理模型对人像图片V31、V32、…、V35的识别结果对半身人像处理模型对人像图片V36、V37、…、V45的识别结果进行滤波，将滤波后的识别结果作为人像图片V36、V37、…、V45对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片V46、V47、…、V50中均未检测到人，则不交换front和back指向的模型，利用front指向的模型（即半身人像处理模型）识别人像图片V51、V52、…、V60，并将识别结果作为人像图片V51、V52、…、V60对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片V61、V62、…、V65中均检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即全身人像处理模型）识别人像图片V66、V67、…、V75，利用半身人像处理模型对人像图片V61、V62、…、V65的识别结果对全身人像处理模型对人像图片V66、V67、…、V75的识别结果进行滤波，将滤波后的识别结果作为人像图片V66、V67、…、V75对应的用于驱动虚拟数字人的信息。以此类推，可以对V中的每一帧人像图片进行模型的切换识别。
在前述方法实施例的基础上，所述利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，可以包括：
计算所述第二连续多帧人像图片中每一帧人像图片的根节点的位置Si和关节点的角度θi，计算公式为：Si=ki×P+ji×Qi，θi=gi×α+hi×βi，
其中，Si表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，P表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的根节点的位置，Qi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，ki和ji表示所述第二连续多帧人像图片中第i帧人像图片对应的位置滤波系数，θi表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，α表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的关节点的角度，βi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，gi和hi表示所述第二连续多帧人像图片中第i帧人像图片对应的角度滤波系数。
本实施例中，需要说明的是，每次模型切换时，第一连续多帧人像图片后相邻的第二连续多帧人像图片使用与第一连续多帧人像图片所使用的模型不同的模型进行识别，此时为了防止模型切换导致虚拟数字人的状态发生突变，需要利用第一连续多帧人像图片中最后一帧人像图片的识别结果对第二连续多帧人像图片的识别结果进行滤波，滤波包括根节点的位置和关节点的角度两个方面，具体可参见上述滤波公式，其中，根节点可以是虚拟数字人的髋关节点，关节点的角度指的是虚拟数字人的各个关节点运动的角度，根节点的位置和关节点的角度用于驱动虚拟数字人，使虚拟数字人做出相应动作。上述滤波公式中ki、ji、gi和hi可以根据需要设置，需要说明的是，为保证滤波的效果，ki和gi可以设置为随着人像图片对应帧数增加而减少的滤波参数，ji和hi可以设置为随着人像图片对应帧数增加而增加的滤波参数，比如可以设置ki=gi=（N-i）/N，ji=hi=i/N，其中，N表示所述第二连续多帧人像图片中的人像图片的数量。另外，需要说明的是，如果从半身人像处理模型切换为全身人像处理模型，因为人体某些关节点的角度（比如膝关节点的角度、踝关节点的角度等）无法从半身人像图片中解算出来，所以α对应的这些关节点的角度可以取值为0，即对这些关节点的角度进行滤波时，这些关节点的角度对应的θi的计算公式中α取值为0。
参照图2所示，为本申请实施例提供的一种虚拟人动捕的模型切换装置，包括：
确定单元20，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
驱动单元21，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
本申请实施例提供的虚拟人动捕的模型切换装置，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，因而能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
在前述装置实施例的基础上，所述驱动单元，还可以用于：
若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
在前述装置实施例的基础上，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述确定单元，可以用于：
若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者
若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
本申请实施例提供的虚拟人动捕的模型切换装置，其实现过程与本申请实施例提供的虚拟人动捕的模型切换方法一致，所能达到的效果也与本申请实施例提供的虚拟人动捕的模型切换方法相同，在此不再赘述。
本申请实施例提供的虚拟人动捕的模型切换方案，可以自动识别需要全身捕捉和半身捕捉的场景，在需要更精细的手部动作或面部表情来展现虚拟数字人时，方案可以自动切换到全身捕捉模式；而在运动较为剧烈或需要更高实时性的场景中，可以自动切换到半身捕捉模式，这样可以在保证捕捉精度的同时提高捕捉的效率，即在动作捕捉过程中，能够根据特定的需求和场景来进行动捕全身半身切换，从而调整捕捉的精度和效率，保证切换的效果。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述虚拟人动捕的模型切换方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述虚拟人动捕的模型切换方法。
对应于上述虚拟人动捕的模型切换方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟人动捕的模型切换方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟人动捕的模型切换方法，其特征在于，包括：
获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
2.如权利要求1所述的方法，其特征在于，还包括：
若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
3.如权利要求1或2所述的方法，其特征在于，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述根据所述第一识别结果确定出第二人像处理模型，包括：
若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者
若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
4.如权利要求1所述的方法，其特征在于，所述利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，包括：
计算所述第二连续多帧人像图片中每一帧人像图片的根节点的位置Si和关节点的角度θi，计算公式为：Si=ki×P+ji×Qi，θi=gi×α+hi×βi，
其中，Si表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，P表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的根节点的位置，Qi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，ki和ji表示所述第二连续多帧人像图片中第i帧人像图片对应的位置滤波系数，θi表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，α表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的关节点的角度，βi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，gi和hi表示所述第二连续多帧人像图片中第i帧人像图片对应的角度滤波系数。
5.如权利要求4所述的方法，其特征在于，ki=gi=（N-i）/N，ji=hi=i/N，其中，N表示所述第二连续多帧人像图片中的人像图片的数量。
6.一种虚拟人动捕的模型切换装置，其特征在于，包括：
确定单元，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；
驱动单元，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
7.如权利要求6所述的装置，其特征在于，所述驱动单元，还用于：
若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
8.如权利要求6或7所述的装置，其特征在于，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述确定单元，用于：
若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者
若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的虚拟人动捕的模型切换方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的虚拟人动捕的模型切换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920468.1A CN116661608B (zh) | 2023-07-26 | 2023-07-26 | 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920468.1A CN116661608B (zh) | 2023-07-26 | 2023-07-26 | 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116661608A true CN116661608A (zh) | 2023-08-29 |
| CN116661608B CN116661608B (zh) | 2023-10-03 |
Family
ID=87713980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310920468.1A Active CN116661608B (zh) | 2023-07-26 | 2023-07-26 | 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116661608B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117008733A (zh) * | 2023-09-21 | 2023-11-07 | 海马云（天津）信息技术有限公司 | 虚拟数字人的手势动作修正方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019120032A1 (zh) * | 2017-12-21 | 2019-06-27 | Oppo广东移动通信有限公司 | 模型构建方法、拍照方法、装置、存储介质及终端 |
| CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互系统 |
| CN114579724A (zh) * | 2022-03-03 | 2022-06-03 | 小哆智能科技(北京)有限公司 | 针对虚拟人在多种场景下的无缝衔接方法及系统 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN115951778A (zh) * | 2022-12-22 | 2023-04-11 | 上海科技大学 | 一种驱动虚拟人的方法、装置及相关设备 |
| CN116112761A (zh) * | 2023-04-12 | 2023-05-12 | 海马云（天津）信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
| CN116137673A (zh) * | 2023-02-22 | 2023-05-19 | 广州欢聚时代信息科技有限公司 | 数字人表情驱动方法及其装置、设备、介质 |
| CN116188641A (zh) * | 2022-12-12 | 2023-05-30 | 深圳万兴软件有限公司 | 数字人的生成方法、装置、电子设备及存储介质 |
| CN116485960A (zh) * | 2023-04-23 | 2023-07-25 | 中国建设银行股份有限公司 | 数字人驱动方法及装置 |
-
2023
- 2023-07-26 CN CN202310920468.1A patent/CN116661608B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019120032A1 (zh) * | 2017-12-21 | 2019-06-27 | Oppo广东移动通信有限公司 | 模型构建方法、拍照方法、装置、存储介质及终端 |
| CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互系统 |
| CN114579724A (zh) * | 2022-03-03 | 2022-06-03 | 小哆智能科技(北京)有限公司 | 针对虚拟人在多种场景下的无缝衔接方法及系统 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| US20230186583A1 (en) * | 2022-05-19 | 2023-06-15 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and device for processing virtual digital human, and model training method and device |
| CN116188641A (zh) * | 2022-12-12 | 2023-05-30 | 深圳万兴软件有限公司 | 数字人的生成方法、装置、电子设备及存储介质 |
| CN115951778A (zh) * | 2022-12-22 | 2023-04-11 | 上海科技大学 | 一种驱动虚拟人的方法、装置及相关设备 |
| CN116137673A (zh) * | 2023-02-22 | 2023-05-19 | 广州欢聚时代信息科技有限公司 | 数字人表情驱动方法及其装置、设备、介质 |
| CN116112761A (zh) * | 2023-04-12 | 2023-05-12 | 海马云（天津）信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
| CN116485960A (zh) * | 2023-04-23 | 2023-07-25 | 中国建设银行股份有限公司 | 数字人驱动方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117008733A (zh) * | 2023-09-21 | 2023-11-07 | 海马云（天津）信息技术有限公司 | 虚拟数字人的手势动作修正方法和装置 |
| CN117008733B (zh) * | 2023-09-21 | 2023-12-12 | 海马云（天津）信息技术有限公司 | 虚拟数字人的手势动作修正方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116661608B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pavlakos et al. | Texturepose: Supervising human mesh estimation with texture consistency | |
| EP3711024B1 (en) | Event camera-based deformable object tracking | |
| CN101243471B (zh) | 对用户的运动进行分析的系统和方法 | |
| CN116661608B (zh) | 虚拟人动捕的模型切换方法和装置、电子设备及存储介质 | |
| WO2021218293A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| CN105096354A (zh) | 一种图像处理的方法和装置 | |
| JP2005503611A (ja) | 携帯用仮想現実システム | |
| CN111723687A (zh) | 基于神经网路的人体动作识别方法和装置 | |
| CN111209811B (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN114339102B (zh) | 一种录像方法及设备 | |
| CN107944420A (zh) | 人脸图像的光照处理方法和装置 | |
| EP4090000A1 (en) | Method and device for image processing, electronic device, and storage medium | |
| CN114363689B (zh) | 直播控制方法、装置、存储介质及电子设备 | |
| CN111738080A (zh) | 一种人脸检测和对齐的方法及装置 | |
| CN116719416B (zh) | 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质 | |
| CN113345058B (zh) | 漫画人脸生成方法及装置 | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN117152382A (zh) | 虚拟数字人面部表情计算方法和装置 | |
| CN114529587B (zh) | 一种视频目标跟踪方法、装置、电子设备及存储介质 | |
| CN110443213A (zh) | 面部检测方法、目标检测方法和装置 | |
| WO2020263277A1 (en) | Landmark temporal smoothing | |
| CN115170706A (zh) | 一种人工智能神经网络学习模型构建系统及构建方法 | |
| CN113761965B (zh) | 动作捕捉方法、装置、电子设备和存储介质 | |
| CN112560725A (zh) | 关键点检测模型及其检测方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231218 Address after: 230031 Room 672, 6/F, Building A3A4, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei, Anhui Patentee after: Anhui Haima Cloud Technology Co.,Ltd. Address before: 301700 room 2d25, Building 29, No.89 Heyuan Road, Jingjin science and Technology Valley Industrial Park, Wuqing District, Tianjin Patentee before: HAIMAYUN (TIANJIN) INFORMATION TECHNOLOGY CO.,LTD. |