CN111105487B - 一种虚拟教师系统中的面部合成方法及装置 - Google Patents
一种虚拟教师系统中的面部合成方法及装置 Download PDFInfo
- Publication number
- CN111105487B CN111105487B CN201911315896.1A CN201911315896A CN111105487B CN 111105487 B CN111105487 B CN 111105487B CN 201911315896 A CN201911315896 A CN 201911315896A CN 111105487 B CN111105487 B CN 111105487B
- Authority
- CN
- China
- Prior art keywords
- facial
- model
- coordinates
- feature points
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 7
- 230000008921 facial expression Effects 0.000 claims abstract description 109
- 230000001815 facial effect Effects 0.000 claims abstract description 99
- 239000011159 matrix material Substances 0.000 claims abstract description 75
- 238000006243 chemical reaction Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 30
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 30
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 76
- 230000009466 transformation Effects 0.000 claims description 30
- 210000000744 eyelid Anatomy 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 abstract description 4
- 210000001508 eye Anatomy 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241001125929 Trisopterus luscus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241001417519 Priacanthidae Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种虚拟教师系统中的面部合成方法及装置。该方法包括：实时获取模特教师立体的第一面部图像，并从第一面部图像中提取多个第一特征点；根据多个第一特征点确定模特教师在当前时刻对应的第一面部表情；根据第一面部表情确定面部各部位对应的目标转换矩阵；根据目标转换矩阵和多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将面部特征点坐标渲染到个性化模型中，以实现个性化模型的面部合成。本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。
Description
技术领域
本申请涉及远程教育技术领域，具体而言，涉及一种虚拟教师系统中的面部合成方法及装置。
背景技术
现代社会的发展越来越依赖于科技和信息的发展与应用，随之而来的则是对人才的空前需求，因而教育是一个国家未来发展的根本。我国是发展中国家，教育更加至关重要。由于自然、历史、社会等多方面原因，我国不同地区教育差距比较大，教育基础设施差，不但很难使学生对课程产生兴趣，也很难留住优秀教师，大大影响了教学质量和学生学习的效果。如何利用信息化技术手段给当代学生提供高质量的教育，如何实现优秀教育资源共享，如何让学生更直观更安全的进行生物、化学、物理等实验，如何让师生更有效的互动，是待解决的重大问题。虚拟教师的可塑性极强，可根据学生的喜爱定制个性化教师形象，大大提升了学生的学习兴趣，提高学生的想象力，提供更为丰富多彩的教学体验，提高课堂内的教学效率，进而提升教学质量。虚拟教师系统可进行实验室实时互动还原，实现浸入式体验，提升安全系数。在未来有广泛的应用前景及价值。
现有技术中，大都是对真实人脸的面部特征点整体映射到虚拟模型上，其获得的虚拟模型的特征点的位置不够准确。
发明内容
本申请实施例的目的在于提供一种虚拟教师系统中的面部合成方法及装置，用以获得更加准确的虚拟模型的面部表情。
第一方面，本申请实施例提供一种虚拟教师系统中的面部合成方法，包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。
进一步地，在实时获取模特教师立体的第一面部图像之前，所述方法还包括：采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。
本申请实施例通过预先采集两组面部表情，包括了模特教师多种面部表情，从而能够使得个性化模型的面部表情更加丰富。
进一步地，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：根据所述多个第一特征点的坐标构建第三特征向量；计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。
本申请实施例通过计算模特教师当前时刻对应的第三特征向量分别与第一特征向量和第二特征向量之间的相似度能够准确地判断模特教师的面部表情，进而能够将模特教师的面部表情准确地映射到个性化模型上。
进一步地，所述方法还包括：构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。
由于模特教师的面部表情发生变化时，其眼睛和嘴唇的部位变化较大，因此本申请实施例通过构建眼部和唇部多个局部坐标系，能够提高获得个性化模型特征点坐标准确性。
进一步地，所述计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师各面部表情下对应特征点的坐标值时所需的转换矩阵，包括：分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。
进一步地，所述根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵，包括：根据公式
计算获得所述转换矩阵；其中，T为所述转换矩阵，TL为旋转矩阵，
(u1,u2,u3)为局部坐标系在x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。
本申请实施例通过上述公式能够准确获得面部的各部位分别在多种面部表情下对应的转换矩阵。
进一步地，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。
由于模特教师的面部表情通常变化幅度较小，因此，本申请实施例在进行坐标转换计算时，通过大幅度的面部表情的特征点的坐标，以能够使得个性化模型较明显的表情变化。
第二方面，本申请实施例提供一种虚拟教师系统中的面部合成装置，包括：图像获取模块，用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；表情确定模块，用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；转换矩阵确定模块，用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；面部合成模块，用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的准备工作流程示意图；
图2为本申请实施例提供的原始特征点分布示意图；
图3为本申请实施例提供的一种虚拟教师系统中的面部合成方法流程示意图；
图4为本申请实施例提供的个性化模型跟随模特教师显示的面部表情示意图；
图5为本申请实施例提供的装置结构示意图；
图6为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
在将模特教师与个性化模型进行面部合成之前，本申请实施例先进行准备工作，如图1所示，包括：
步骤101：对模特教师的多个面部表情进行采集；可以通过kinect摄像头进行采集。kinect是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。因此，可以将kinect当成深度摄像机来对模特教师的面部进行采集，从而获得的模特教师的三维面部图像。可以理解的是，也可以采用其他深度摄像机获得模特教师的三维面部图像，本申请实施例对此不作具体限定。
另外，模特教师是指真实的人，对于远程教育来说，模特教师可以通过网络给偏远地区的学生进行上课，为了能够提高学生的学习兴趣，展现在学生面前的可以是卡通人物或者其他个性化模型，即，将模特教师的面部表情映射在卡通人物的面部。因此，模特教师可以是在城市中的真实的人，而个性化模型则是展现在学生面前的虚拟教师。
面部表情的种类可以包括：无表情状态、轻微张嘴、最大程度张嘴、微笑、大幅度笑、嘴角两侧向下弯曲、嘴角两侧向上扬起、嘴角左侧向左上扬起、嘴角右侧向右上扬起、轻微噘嘴、大幅度噘嘴、嘴部向左撇、嘴部向右撇、嘴部两侧延伸、露牙齿笑、唇启漏出上侧牙齿、唇启漏出下侧牙齿、眉毛上挑、左侧眉毛上挑、右侧眉毛上挑、眯眼、睁大双眼、左眼睁开右眼闭合、右眼睁开左眼闭合，共24种面部表情。可以理解的是，还可以采集更多或更少的面部表情，本申请实施例不对面部表情的个数进行限定。
在进行采集时，可以采集两组面部图像，第一组面部图像包括模特教师的上述24种面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括上述24种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，其中，第一幅度范围小于第二幅度范围。也就是说，采集了两组面部图像，第一组中的面部图像的表情幅度小于第二组中的面部图像。
步骤102：在采集获得了两组面部图像之后，分别对第二面部图像和第三面部图像进行特征点提取；其中，对三维面部图像进行特征点提取的方法有很多，本申请实施例对此不做具体限定。另外，kinect也可以对三维面部图像进行特征点的提取。从而，可以获得每一个第二面部图像对应的多个第二特征点，以及每一个第三面部图像对应的第三特征点。其中，第二特征点和第三特征点的个数相同，可以是先从面部图像中采集1347个原始特征点，如图2所示，然后从1347个特征点中选取重要的特征点，重要特征点的选取直接会影响到最终虚拟教师表情合成的效果。经过对人脸面部特征的对照分析，共选取68个人脸面部的主要特征点，这个特征点的数量并不是绝对性的，可以根据特殊模型的个性和实验过程的独特性进行选取。所选取的68个重要特征点的分布情况是：双眼24个，两处眉毛10个，唇部30个，鼻子4个。应当说明的是，68个特征点的分布情况可以根据实际情况进行调整，本申请实施例对此不作具体限定。
步骤103：构建特征向量；在获得第二面部图像对应的第二特征点和第三面部图像对应的第三特征点之后，以整个面部坐标的中心位置为坐标原点，X轴水平指向右，Y轴竖直指向上，Z轴垂直于指向里，得到模特教师对应的每个第二面部图像和第三面部图像的整体世界坐标数据。每一个面部图像的位置坐标都可以用一个204个元素的向量来表示：
F＝(X1,Y1,Z1,...,X68,Y68,Z68)
其中，Xi,Yi,Zi(i＝1,2,...,68)为每一个面部图像特征点的三维位置坐标。
从而，可以通过每个第二面部图像对应的第二特征点获得对应的第一特征向量，通过每个第三面部图像对应的第三特征点获得对应的第二特征向量。
步骤104：个性化模型构建；本申请实施例还通过三维建模软件构建个性化模型，其中，三维建模软件可以为unity3D，在通过unity3D建立完成个性化模型后，以obj格式导出。个性化模型可以是卡通人物。然后通过kinect捕捉个性化模型的68个面部特征点，并得到这68个特征点对应的整体坐标数据。其中，个性化模型的整体坐标数据也可以用一个204个元素的向量来表示。可以理解的是，这68个面部特征点与模特教师的68个特征点是一一对应的。
步骤105：转换矩阵的计算；对比个性化模型与模特教师面部特征点坐标的匹配吻合度后发现，由于个性化模型与模特教师眼部、唇部这两个重要位置的54个特征点匹配度较低存在差异较大，不存在直接对应关系，其他部位特征点匹配度较高。因此要保证个性化模型的五官与模特教师面部五官特征点相对应，要将眼部和唇部区域建立独立的眼部、唇部局部坐标系。可以将眼部和唇部分别进行再次划分，获得左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部分均构建对应的局部坐标系。模型左眼上眼睑选取的四个特征点xLa,xLb,yLa,yLb，分别用来确定X轴与Y轴方向。所建立的坐标系的x轴，y轴，z轴各自的单位向量分别为uL(u1,u2,u3),vL(v1,v2,v3),wL(w1,w2,w3)。精确建立左眼上眼睑部位的坐标系，用坐标轴的单位向量可以表示为：
在构建完成个性化模型的各个部位的局部坐标系之后，可以获得各部位的特征点在局部坐标系下的第四特征点的坐标值，然后计算第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵。即，每个局部坐标系、每种面部表情对应一个转换矩阵，以上述实施例为例，个性化模型中包括12个局部坐标系，共采集24种面部表情，因此，可以获得12*24＝288个转换矩阵。
下面介绍一个局部坐标系，一个面部表情对应的转换矩阵的计算方法。
局部坐标系在世界坐标系下的x轴、y轴和z轴方向上的单位向量分别为uL(u1,u2,u3),vL(v1,v2,v3),wL(w1,w2,w3)，世界坐标系的原点为oG(0,0,0)，局部坐标系原点在世界坐标系下的坐标为oL(x0,y0,z0)，
根据公式
计算获得局部坐标系下的一个特征点转换到世界坐标系下所需的转换矩阵；
其中，T为转换矩阵，TL为旋转矩阵，
TO为偏移矩阵，To＝oL-oG。
应当说明的是，对于没有构建局部坐标系的眉毛和鼻子的特征点，可以直接将其对应的第一特征点的坐标进行直接映射，以获得个性化模型的面部特征点坐标。
图3为本申请实施例提供的一种虚拟教师系统中的面部合成方法流程示意图，如图3所示，实施该方法的执行主体为合成装置，该合成装置可以是台式电脑、笔记本电脑、平板电脑及智能手机等智能设备，该方法包括：
步骤301：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点。
在具体的实施过程中，模特教师为真实的人，第一面部图像为三维立体图像，第一特征点的提取可以与上述实施例特征点提取的方式进行提取，且第一特征点的个数也与上述实施例一致。
在采集图像时，可以通过深度摄像机实时采集模特教师的第一面部图像，并可以实时将采集到的第一面部图像发送给合成装置。当然，也可以在对模特教师的第一面部图像采集完成后一并发送。对于实时发送的情况，可以实时将模特教师的面部表情合成到个性化模型中，可以实时为学生讲课。对于采集完一并发送的情况，可以制作成录播课件，后期播放给学生看。
步骤302：根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情。
在具体的实施过程中，在上述实施例中采集了模特教师在多种面部表情下对应的第二面部图像和第三面部图像，因此，可以将第一面部图像对应的多个第一特征点与第二面部图像和第三面部图像中的特征点进行对比，从而确定模特教师在当前时刻对应的第一面部表情。
步骤303：根据所述第一面部表情确定面部各部位对应的目标转换矩阵。
在具体的实施过程中，由于每种表情，每个部位对应一个目标转换矩阵，因此在确定在模特教师的第一面部表情之后，便能够确定各个部位对应的目标转换矩阵。
步骤304：根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
在具体的实施过程中，在获得目标转换矩阵之后，便可以获得个性化模型中各部位的特征点的坐标与模特教师的面部特征点的坐标之间的对应关系，在模特教师的面部特征点的坐标和目标转换矩阵为已知的情况下，可以获得个性化模型的特征点坐标，并且将个性化模型的特征点坐标渲染到个性化模型上，便能够实现个性化模型的面部表情随着模特教师的面部表情的变化而变化。图4为本申请实施例提供的个性化模型跟随模特教师显示的面部表情示意图，如图4所示。
本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。
在上述实施例的基础上，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：
根据所述多个第一特征点的坐标构建第三特征向量；
计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；
将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。
在具体的实施过程中，在获得到模特教师的面部对应的第一特征点之后，可以根据第一特征点的坐标值构建第三特征向量，可以理解的是，第三特征向量中也包含204个元素。在判断模特教师当前时刻的面部表情时，由于事先不知道模特教师的面部表情是幅度大的还是幅度小的，因此可以将第三特征向量分别与每个第一特征向量和每个第二特征向量进行相似度计算。其中，相似度计算可以是计算特征向量之间的皮尔逊相关系数、欧氏距离、曼哈顿距离等等。可以理解的是，通过相似度计算可以确定该模特教师在当前时刻的面部表情与哪种表情更加相似，将与第三特征向量相似度最高的面部表情作为模特教师当前时刻对应的第一面部表情。
应当说明的是，除了通过特征向量的相似度计算的方式来进行面部表情的匹配之外，还可以预先构建面部表情的预测模型，并用模特教师的多个面部表情对应的特征点坐标构成的向量作为训练样本对预测模型进行训练，将第三特征向量输入到训练好的预测模型中，预测模型可以对第三特征向量进行分析，从而获得预测结果。另外，还可以利用其它方法进行第一面部表情的确定。
本申请实施例通过计算模特教师当前时刻对应的第三特征向量分别与第一特征向量和第二特征向量之间的相似度能够准确地判断模特教师的面部表情，进而能够将模特教师的面部表情准确地映射到个性化模型上。
在上述实施例的基础上，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：
若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。
在具体的实施过程中，由于一般情况下，模特教师的面部表情的幅度较小，为了能够在个性化模型上渲染出幅度较大的表情，如果通过相似度计算获知与第三特征向量相似度最大的是第一组面部图像中的面部表情，则说明模特教师的第一面部表情的幅度较小。此时，可以从第二组面部图像中选取与第一面部表情相同的第三特征向量，由此便可将模特教师的面部表情扩大，并渲染到个性化模型上。
由于模特教师的面部表情通常变化幅度较小，因此，本申请实施例在进行坐标转换计算时，通过大幅度的面部表情的特征点的坐标，以能够使得个性化模型较明显的表情变化。
图5为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图3方法实施例对应，能够执行图3方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：图像获取模块501、表情确定模块502、转换矩阵确定模块503和面部合成模块504，其中：
图像获取模块501用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；表情确定模块502用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；转换矩阵确定模块503用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；面部合成模块504用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
在上述实施例的基础上，该装置还包括表情采集模块，用于：
采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；
分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；
根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。
在上述实施例的基础上，表情确定模块502具体用于：
根据所述多个第一特征点的坐标构建第三特征向量；
计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；
将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。
在上述实施例的基础上，该装置还包括变换矩阵计算模块，用于：
构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；
根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；
计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。
在上述实施例的基础上，变换矩阵计算模块具体用于：
分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；
根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。
在上述实施例的基础上，变换矩阵计算模块具体用于：
根据公式
计算获得所述转换矩阵；
其中，T为所述转换矩阵，TL为旋转矩阵，
(u1,u2,u3)为局部坐标系在x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。
在上述实施例的基础上，面部合成模块504具体用于：
若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。
综上所述，本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。
图6为本申请实施例提供的电子设备实体结构示意图，如图6所示，所述电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，
所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
处理器601可以是一种集成电路芯片，具有信号处理能力。上述处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器602可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种虚拟教师系统中的面部合成方法，其特征在于，包括：
实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；
根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；
根据所述第一面部表情确定面部各部位对应的目标转换矩阵；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成；
在实时获取模特教师立体的第一面部图像之前，所述方法还包括：
采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；
分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；
根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：
根据所述多个第一特征点的坐标构建第三特征向量；
计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；
将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；
根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；
计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。
4.根据权利要求3所述的方法，其特征在于，所述计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师各面部表情下对应特征点的坐标值时所需的转换矩阵，包括：
分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；
根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。
5.根据权利要求4所述的方法，其特征在于，所述根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵，包括：
根据公式
计算获得所述转换矩阵；
其中，T为所述转换矩阵，TL为旋转矩阵，
(u1,u2,u3)为局部坐标系在x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：
若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。
7.一种虚拟教师系统中的面部合成装置，其特征在于，包括：
图像获取模块，用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；
表情确定模块，用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；
转换矩阵确定模块，用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；
面部合成模块，用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成；
该装置还包括表情采集模块，用于：
采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；
分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；
根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-6任一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911315896.1A CN111105487B (zh) | 2019-12-19 | 2019-12-19 | 一种虚拟教师系统中的面部合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911315896.1A CN111105487B (zh) | 2019-12-19 | 2019-12-19 | 一种虚拟教师系统中的面部合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111105487A CN111105487A (zh) | 2020-05-05 |
| CN111105487B true CN111105487B (zh) | 2020-12-22 |
Family
ID=70422354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911315896.1A Active CN111105487B (zh) | 2019-12-19 | 2019-12-19 | 一种虚拟教师系统中的面部合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111105487B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508772B (zh) * | 2020-11-11 | 2024-07-12 | 北京大米科技有限公司 | 图像生成方法、装置及存储介质 |
| CN112528897B (zh) * | 2020-12-17 | 2023-06-13 | Oppo（重庆）智能科技有限公司 | 人像的年龄估测方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008114937A1 (en) * | 2007-03-22 | 2008-09-25 | Industry-Academic Cooperation Foundation, Yonsei University | Virtual face generating method |
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068178A1 (en) * | 2016-09-05 | 2018-03-08 | Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. | Real-time Expression Transfer for Facial Reenactment |
-
2019
- 2019-12-19 CN CN201911315896.1A patent/CN111105487B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008114937A1 (en) * | 2007-03-22 | 2008-09-25 | Industry-Academic Cooperation Foundation, Yonsei University | Virtual face generating method |
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
Non-Patent Citations (2)
| Title |
|---|
| Virtual view face image synthesis using 3D spring-based face model from a single image;G C Feng, Pong C Yuen and J H Lai;《Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition (Cat. No. PR00580)》;20020806;第1-6页 * |
| 基于虚拟智能体技术的具有情感支持的三维虚拟教师的研究;赵慧勤 等;《技术与应用》;20101110(第286期);第117-123页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111105487A (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| WO2022116977A1 (zh) | 目标对象的动作驱动方法、装置、设备及存储介质及计算机程序产品 | |
| CN104574267B (zh) | 引导方法和信息处理设备 | |
| CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
| CN107798932A (zh) | 一种基于ar技术的早教训练系统 | |
| CN112598780B (zh) | 实例对象模型构建方法及装置、可读介质和电子设备 | |
| CN111144356B (zh) | 一种远程教学的教师视线跟随方法及装置 | |
| CN111209811B (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN111105487B (zh) | 一种虚拟教师系统中的面部合成方法及装置 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN113393544B (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN111967515A (zh) | 图像信息提取方法、训练方法及装置、介质和电子设备 | |
| CN117557695A (zh) | 一种音频驱动单张照片生成视频的方法及装置 | |
| CN114283152A (zh) | 图像处理、图像处理模型的训练方法、装置、设备及介质 | |
| CN117711066A (zh) | 一种三维人体姿态估计方法、装置、设备及介质 | |
| CN115775300B (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
| CN112070901A (zh) | 一种园林的ar场景构建方法、装置、存储介质及终端 | |
| CN116863043A (zh) | 面部动态捕捉驱动方法、装置、电子设备及可读存储介质 | |
| CN112508772B (zh) | 图像生成方法、装置及存储介质 | |
| CN115690281A (zh) | 角色表情的驱动方法及装置、存储介质、电子装置 | |
| CN116029912A (zh) | 图像处理模型的训练、图像处理方法、装置、设备及介质 | |
| CN113694525A (zh) | 获取虚拟形象的方法、装置、设备及存储介质 | |
| CN115714888B (zh) | 视频生成方法、装置、设备与计算机可读存储介质 | |
| CN117456102A (zh) | 一种编码器的训练方法和相关装置 | |
| CN118628554A (zh) | 用于位姿识别的训练样本的生成方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |