CN117523077A - 一种虚拟形象生成方法及装置 - Google Patents
一种虚拟形象生成方法及装置 Download PDFInfo
- Publication number
- CN117523077A CN117523077A CN202211212226.9A CN202211212226A CN117523077A CN 117523077 A CN117523077 A CN 117523077A CN 202211212226 A CN202211212226 A CN 202211212226A CN 117523077 A CN117523077 A CN 117523077A
- Authority
- CN
- China
- Prior art keywords
- sample
- target
- feature
- similarity
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000001965 increasing effect Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 34
- 230000006854 communication Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 21
- 238000007726 management method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种虚拟形象生成方法及装置,涉及人工智能技术领域,一定程度上解决了现有技术无法生成风格统一的虚拟形象的问题,该方法包括:获取目标对象的特征点;根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;从预设的样本库中确定与所述目标特征信息对应的目标样本;根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种虚拟形象生成方法及装置。
背景技术
虚拟形象作为一种新媒介角色被广泛应用于虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、元宇宙等领域。例如,在元宇宙中,不同用户可以通过上传二维图像生成代表自己的虚拟形象,即生成的虚拟形象与二维图像中的真实用户具有一定的相似度,但不同用户的虚拟形象通常需要具有统一的风格。
现有技术直接将二维图像输入至三维重建模型中进行处理,生成与二维图像对应的虚拟形象,虽然生成的虚拟形象与二维图像中的真实用户接近,但随着二维图像中用户的表情不同该虚拟形象的风格也会不同,无法生成风格统一的虚拟形象。
发明内容
本申请提供一种虚拟形象生成方法及装置,一定程度上解决了技术无法生成风格统一的虚拟形象的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种虚拟形象生成方法,该方法包括:获取目标对象的特征点;根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;从预设的样本库中确定与所述目标特征信息对应的目标样本;根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
基于本申请提供的虚拟形象生成方法,在获取到目标对象的特征点后,先根据特征点确定目标对象的目标特征信息,再根据目标特征信息从预设的样本库中确定目标样本,然后利用目标样本的目标参数修改预设基模确定出与目标对象对应的虚拟形象。在实际应用中,可以固定预设基模的设计风格,然后基于该方法就可以得到与不同目标对象对应且风格统一的虚拟形象。
此外,由于该方法中获取的目标特征信息是与目标对象的特征点对应的不同维度的特征,因此,利用目标对象的多个不同维度的特征信息而确定的目标样本是与目标对象更加接近的样本,提高了目标样本的可靠性,大大增加了虚拟形象与目标对象的相似度,有效缩小了虚拟形象与目标对象之间的差异,提升了虚拟形象的真实性。
可选地,所述获取目标对象的特征点,包括:获取目标图像,所述目标图像中包括目标对象;对所述目标图像进行特征点检测;根据特征点检测结果确定所述目标对象的特征点。
在第一方面的一个可能的实现方式中,所述第一特征信息是根据所述特征点的零阶矩确定的,所述第二特征信息是根据所述特征点的二阶矩确定的。
在第一方面的一个可能的实现方式中,所述从预设的样本库中确定与所述目标特征信息对应的目标样本,包括:
从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本。
在第一方面的一个可能的实现方式中,所述从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本,包括:
根据所述第一特征信息从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;
根据所述第二特征信息从所述样本库中确定与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;
当所述第一样本集的样本数大于或等于预设第一阈值,且所述第二样本集的样本数大于或等于预设第二阈值时,确定所述第一样本集与所述第二样本集的交集;
若所述交集的样本数大于预设第三阈值,则从所述交集中确定所述目标样本。
在第一方面的一个可能的实现方式中,若所述交集的样本数小于或等于所述第三阈值,则增大所述第一阈值和/或所述第二阈值。
在第一方面的一个可能的实现方式中,若所述第一样本集的样本数小于所述第一阈值,则增大所述第一特征相似度阈值。
在第一方面的一个可能的实现方式中,若所述第二样本集的样本数小于所述第二阈值,则增大所述第二特征相似度阈值。
在第一方面的一个可能的实现方式中,所述目标特征信息还包括第三特征信息。
基于上述可能的实施方式,通过增加目标特征信息中不同维度的特征,能够进一步增加根据目标特征信息从样本库中确定目标样本的准确性,提高了目标样本的可靠性,大大增加了虚拟形象与目标对象的相似度,缩小了虚拟形象与目标对象之间的差异,提升了虚拟形象的真实性。
在第一方面的一个可能的实现方式中,所述第三特征信息是根据所述特征点的Hu矩确定的。
在第一方面的一个可能的实现方式中,所述从所述交集中确定所述目标样本,包括:
根据目标特征信息确定所述交集中每个样本与所述目标对象的相似度,将所述相似度最大的样本确定为目标样本,所述相似度用于描述所述样本与所述目标对象之间的第一特征相似值、第二特征相似值以及第三特征相似值。
在第一方面的一个可能的实现方式中,所述目标对象为眼部轮廓。
在第一方面的一个可能的实现方式中,所述根据所述特征点确定所述目标对象的目标特征信息,包括:
对所述特征点进行归一化处理;
根据归一化处理后的所述特征点确定所述目标对象的目标特征信息。
第二方面,本申请提供一种虚拟形象生成装置,该虚拟形象生成装置包括:
获取单元,用于获取目标对象的特征点;
第一确定单元,用于根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;
第二确定单元,用于从预设的样本库中确定与所述目标特征信息对应的目标样本;
修改单元,用于根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
在第二方面的一个可能的实现方式中,所述第一特征信息是根据所述特征点的零阶矩确定的,所述第二特征信息是根据所述特征点的二阶矩确定的。
在第二方面的一个可能的实现方式中,第二确定单元,还用于:
从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本。
在第二方面的一个可能的实现方式中,所述从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本,包括:
根据所述第一特征信息从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;
根据所述第二特征信息从所述样本库中确定与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;
当所述第一样本集的样本数大于或等于预设第一阈值,且所述第二样本集的样本数大于或等于预设第二阈值时,确定所述第一样本集与所述第二样本集的交集;
若所述交集的样本数大于预设第三阈值,则从所述交集中确定所述目标样本。
在第二方面的一个可能的实现方式中,若所述交集的样本数小于或等于所述第三阈值,则增大所述第一阈值和/或所述第二阈值。
在第二方面的一个可能的实现方式中,若所述第一样本集的样本数小于所述第一阈值,则增大所述第一特征相似度阈值。
在第二方面的一个可能的实现方式中,若所述第二样本集的样本数小于所述第二阈值,则增大所述第二特征相似度阈值。
在第二方面的一个可能的实现方式中,所述目标特征信息还包括第三特征信息。
在第二方面的一个可能的实现方式中,所述第三特征信息是根据所述特征点的Hu矩确定的。
在第二方面的一个可能的实现方式中,所述从所述交集中确定所述目标样本,包括:
根据目标特征信息确定所述交集中每个样本与所述目标对象的相似度;
将所述相似度最大的样本确定为目标样本,所述相似度用于描述所述样本与所述目标对象之间的第一特征相似值、第二特征相似值以及第三特征相似值。
在第二方面的一个可能的实现方式中,所述目标对象为眼部轮廓。
在第二方面的一个可能的实现方式中,获取单元,还用于:
获取目标图像,所述目标图像中包括目标对象;
对所述目标图像进行特征点检测;
根据特征点检测结果确定所述目标对象的特征点。
在第二方面的一个可能的实现方式中,所述根据所述特征点确定所述目标对象的目标特征信息,包括:
归一化单元,用于对所述特征点进行归一化处理;
第三确定单元,用于根据归一化处理后的所述特征点确定所述目标对象的目标特征信息。
第三方面,本申请提供一种电子设备,包括:处理器,所述处理器用于运行存储器中存储的计算机程序,以实现第一方面或第一方面的任一可选方式所述的方法。
第四方面,本申请提供一种芯片系统,所述芯片系统包括处理器,所述处理器执行存储器中存储的计算机程序,以实现第一方面或第一方面的任一可选方式所述的方法。
第五方面,本申请提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第一方面的任一可选方式所述的方法。
第六方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上上运行时,使得电子设备执行上述第一方面或第一方面的任意可选方式所述的方法。
本申请提供的第二方面至第六方面的技术效果可以参见上述第一方面的各个可能的实现方式的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种电子设备的软件结构示意图。
图3为本申请实施例提供的一种虚拟形象生成方法的流程示意图。
图4为本申请实施例提供的一种包括有眼部轮廓的人脸图像的示意图。
图5为本申请实施例提供的一种确定目标样本的流程图。
图6为本申请实施例提供的一种确定第一样本集和第二样本集的交集的场景示意图。
图7为本申请实施例提供的另一种确定目标样本的流程图。
图8为本申请实施例提供的另一种确定第一样本集和第二样本集的交集的场景示意图。
图9为本申请实施例提供的一种虚拟形象生成装置的结构框图。
具体实施方式
虚拟形象作为一种新媒介角色被广泛应用于VR、AR、元宇宙等领域,例如,在元宇宙中,为了区分不同的虚拟形象,丰富虚拟形象的显示效果,不同用户可以通过上传二维图像生成代表自己的虚拟形象,即生成的虚拟形象与二维图像中的真实用户具有一定的相似度。但不同用户的虚拟形象通常需要具有统一的风格。
现有技术生成虚拟形象的方法是直接将二维图像输入至三维重建模型中进行处理,生成与二维图像对应的虚拟形象,若二维图像中目标对象的表情、发型、头型等发生变化,则生成的虚拟形象的表情、发型、头型等会随二维图像中真实用户的表情、发型、头型等发生变化而变化。虽然生成的虚拟形象与二维图像中的真实用户接近,但无法生成风格统一的虚拟形象。
因此,针对上述问题,本申请提供一种虚拟形象生成方法及装置,利用与目标对象的特征点对应的目标特征信息从预设的样本库中确定目标样本,之后再利用目标样本的目标参数修改预设基模确定出目标对象的虚拟形象,使得到的目标对象的虚拟形象的风格与预设基模的风格保持一致。
下面结合本申请实施例中的附图以及相关实施例,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供的虚拟形象生成方法可以应用于电子设备。电子设备可以是手机、平板电脑、可穿戴设备、AR设备、VR设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本、个人数字助理(Personal DigitalAssistant,PDA)、车载设备、智慧屏等,本申请实施例对电子设备的具体类型不作任何限制。
参见图1,为本申请提供的一种电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器131,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
作为举例,当电子设备100为手机或平板电脑时,可以包括图示中的全部部件,也可以仅包括图示中的部分部件。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-integrated Circuit,I2C)接口,集成电路内置音频(Inter-integrated CircuitSound,I2S)接口,脉冲编码调制(Pulse Code Modulation,PCM)接口,通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)接口,移动产业处理器接口(Mobile Industry Processor Interface,MIPI),通用输入输出(General-PurposeInput/Output,GPIO)接口,用户标识模块(Subscriber Identity Module,SIM)接口,和/或通用串行总线(Universal Serial Bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(Serial Data Line,SDL)和一根串行时钟线(Serail Clock Line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I1C总线接口通信,实现电子设备100的触摸功能。
I1S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I1S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I1S接口向无线通信模块160传递音频信号。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。
在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号。I2S接口和PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在与并行通信之间转换。
在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(Camera Serial Interface,CSI),显示屏串行接口(DisplaySerial Interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器131,外部存储器接口120,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(BlueTooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(Global System for Mobile Communications,GSM),通用分组无线服务(General Packet Radio Service,GPRS),码分多址接入(CodeDivision Multiple Access,CDMA),宽带码分多址(Wideband Code Division MultipleAccess,WCDMA),时分码分多址(Time-Division Code Division Multiple Access,TD-SCDMA),长期演进(Long Term Evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(Global Positioning System,GPS),全球导航卫星系统(Global Navigation Satellite System,GLONASS),北斗卫星导航系统(BeidouNavigation Satellite System,BDS),准天顶卫星系统(Quasi-Zenith SatelliteSystem,QZSS)和/或星基增强系统(Satellite Based Augmentation Systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。例如本申请实施例中的APP的图标、文件夹、文件夹名称等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid CrystalDisplay,LCD),有机发光二极管(Organic Light-Emitting Diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-Matrix Organic Light Emitting Diode,AMOLED),柔性发光二极管(Flex Light-Emitting Diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(Quantum Dot Light Emitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。镜头的焦段可以用于表示摄像头的取景范围,镜头的焦段越小,表示镜头的取景范围越大。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
在本申请中,电子设备100可以包括2个或2个以上焦段的摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG1,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
在本申请实施例中,NPU或其他处理器可以用于对电子设备100存储的视频中的图像进行分析处理等操作。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器131可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器131的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器131可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)。
此外,内部存储器131可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。
音频模块170用于将数字音频信号转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话,例如扬声器可以播放本申请实施例提供的比对分析结果。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(Open mobile Terminal Platform,OMTP)标准接口,美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。
在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
参见图2,为本申请实施例的电子设备的软件结构示意图。电子设备中的操作系统可以是安卓(Android)系统,微软窗口系统(Windows),苹果移动操作系统(iOS)或者鸿蒙系统(Harmony OS)等。在此,以电子设备的操作系统为鸿蒙系统为例进行说明。
在一些实施例中,可将鸿蒙系统分为四层,包括内核层、系统服务层、框架层以及应用层,层与层之间通过软件接口通信。
如图2所示,内核层包括内核抽象层(Kernel Abstract Layer,KAL)和驱动子系统。KAL下包括多个内核,如Linux系统的内核Linux Kernel、轻量级物联网系统内核LiteOS等。驱动子系统则可以包括硬件驱动框架(Hardware Driver Foundation,HDF)。硬件驱动框架能够提供统一外设访问能力和驱动开发、管理框架。多内核的内核层可以根据系统的需求选择相应的内核进行处理。
系统服务层是鸿蒙系统的核心能力集合,系统服务层通过框架层对应用程序提供服务。该层可包括系统基本能力子系统集、基础软件服务子系统集、增强软件服务子系统集以及硬件服务子系统集。
系统基本能力子系统集为分布式应用在鸿蒙系统的设备上的运行、调度、迁移等操作提供了基础能力。可包括分布式软总线、分布式数据管理、分布式任务调度、方舟多语言运行时、公共基础库、多模输入、图形、安全、人工智能(Artificial Intelligence,AI)、用户程序框架等子系统。其中,方舟多语言运行时提供了C或C++或JavaScript(JS)多语言运行时和基础的系统类库,也可以为使用方舟编译器静态化的Java程序(即应用程序或框架层中使用Java语言开发的部分)提供运行时。
基础软件服务子系统集为鸿蒙系统提供公共的、通用的软件服务。可包括事件通知、电话、多媒体、面向X设计(Design For X,DFX)、MSDP&DV等子系统。
增强软件服务子系统集为鸿蒙系统提供针对不同设备的、差异化的能力增强型软件服务。可包括智慧屏专有业务、穿戴专有业务、物联网(Internet of Things,IoT)专有业务子系统组成。
硬件服务子系统集为鸿蒙系统提供硬件服务。可包括位置服务、生物特征识别、穿戴专有硬件服务、IoT专有硬件服务等子系统。
框架层为鸿蒙系统应用开发提供了Java、C、C++、JS等多语言的用户程序框架和能力(Ability)框架,两种用户界面(User Interface,UI)框架(包括适用于Java语言的JavaUI框架、适用于JS语言的JS UI框架),以及各种软硬件服务对外开放的多语言框架应用程序接口(Application Programming Interface,API)。根据系统的组件化裁剪程度,鸿蒙系统设备支持的API也会有所不同。
应用层包括系统应用和第三方应用(或称为扩展应用)。系统应用可包括桌面、控制栏、设置、电话等电子设备默认安装的应用程序。扩展应用可以是由电子设备的制造商开发设计的、非必要的应用,如电子设备管家、换机迁移、便签、天气等应用程序。而第三方非系统应用则可以是由其他厂商开发,但是可以在鸿蒙系统中运行应用程序,如游戏、导航、社交或购物等应用程序。
提供后台运行任务的能力以及统一的数据访问抽象。PA主要为FA提供支持,例如作为后台服务提供计算能力,或作为数据仓库提供数据访问能力。基于FA或PA开发的应用,能够实现特定的业务功能,支持跨设备调度与分发,为用户提供一致、高效的应用体验。
多个运行鸿蒙系统的电子设备之间可以通过分布式软总线、分布式设备虚拟化、分布式数据管理和分布式任务调度实现硬件互助和资源共享。
本申请提供的虚拟形象生成方法可以应用于任何能够生成虚拟形象的应用场景中。其中,应用场景可以是游戏场景、表情包场景、影视动画场景、虚拟形象代言、虚拟形象直播等场景。示例性的,假设应用场景为游戏场景,可以基于用户对游戏人物的选择确定预设基模,在根据用户上传的目标图像中确定目标对象后,生成与目标对象对应且与预设基模风格一致的虚拟形象。本申请对应用场景的具体类型不作任何限定。
如图3所示为本申请提供的一种虚拟形象生成方法的流程示意图,参见图3,该方法包括:
S301,获取目标对象的特征点。
应理解,目标对象可以是根据目标图像确定的目标区域。假设目标图像为人脸图像,那么目标对象包括但不限于眼部轮廓、眉毛轮廓、鼻形、耳朵轮廓等等。需要说明的是,在实际应用场景中,目标对象可以是人物的头部、手、脚等各个肢体对应的某一区域,例如,手部的指纹所在的区域;目标对象也可以是宠物(例如猫、狗、鸟等)的头部、四肢等各个功能器官中的某一区域。本申请对目标对象的具体类型不作任何限定。
特征点可以是指通过特征点检测等算法获取到的用于表征目标对象轮廓的点集合。在本申请实施例中,可以通过以下方式获取目标对象的特征点:获取包含有目标对象的目标图像,对目标对象进行特征点检测,根据特征点检测结果确定目标对象的特征点。
在一个示例中,假设,目标图像为人脸图像,目标对象为眼部轮廓,获取到包含有眼部轮廓的人脸图像后,可以采用特征点检测算法对人脸图像进行特征点检测,得到人脸特征点检测结果,即获取到关于人脸中各部分轮廓的特征点(包括各个点的坐标以及与各个点对应的分类结果),从人脸图像的特征点中进一步确定眼部轮廓的特征点。
值得注意的是,当目标对象为目标图像时,可以直接对目标对象进行特征点检测确定目标对象的特征点。
S302,根据特征点确定目标对象的目标特征信息,目标特征信息包括不同维度的第一特征信息和第二特征信息。
应理解,获取到目标对象的特征点后,可以根据目标对象的特征点进一步确定目标对象的目标特征信息。目标特征信息可以是目标对象的多个不同维度的几何特征信息。
由于目标对象可能是目标图像中部分区域,为了提高目标图像中目标对象的虚拟形象的准确性,在本申请实施例中,根据目标对象的特征点确定的目标特征信息可以包括不同维度的第一特征信息和第二特征信息。示例性的,不同维度的第一特征信息和第二特征信息可以是例如大小特征信息、形状特征信息、方向特征信息等几何特征信息中的任意两种特征信息。
结合实际应用场景,为了增加目标对象的虚拟模型的准确性,在另一些实施例中,目标特征信息还可以包括第三特征信息。例如,目标特征信息可以包括与目标对象对应的大小特征信息、形状特征信息以及方向特征信息。
在一种可能的实施方式中,在根据目标对象的特征点确定目标特征信息之前,还可以对获取到的目标对象的特征点进行归一化处理,使得目标对象的特征点尺度与预设的样本库中的各个样本的特征点的尺度保持一致,便于后续对目标对象的特征点的处理,从而提升处理效率。
当然,也可以在利用特征点检测等算法对目标图像进行特征点检测来获取目标对象的特征点之前,在获取到包含有目标对象的目标图像之后,直接对目标图像进行归一化处理,以统一目标图像与预设的样本库中各个样本的尺度。本申请对归一化步骤的具体执行顺序不作任何限定。
S303,从预设的样本库中确定与目标特征信息对应的目标样本。
应理解,样本库中可以预先存储有与目标对象对应的多种不同样本以及与各个样本对应的信息。其中,各个样本的信息可以包括与各个样本对应的类别、特征信息以及模型参数。类别用于区别样本库中的每个样本;特征信息用于表征各个样本对应的特征,例如,特征信息可以是与各个样本对应的大小特征信息、方向特征信息、形状特征信息以及位置特征信息等等;模型参数用于表示与各个样本对应的特征点在预设基模上的具体位置坐标。
S304,根据目标样本的目标参数修改预设基模,得到目标对象的虚拟形象。
应理解,预设基模也可以称为基准的虚拟形象或者初始的虚拟形象,可以根据实际应用场景,预先定义预设基模的风格,以根据目标样本的目标参数修改预设基模后得到的目标对象的虚拟形象与预设基模具有相同的风格,这样就可以根据不同特征的目标对象生成风格统一的虚拟形象。
作为示例而非限定,假设在元宇宙中,可以预先定义预设基模的风格接近卡通形象(或者动漫形象),不用用户可以通过上传二维图像生成既可以代表自己的虚拟形象,又可以使生成的不同用户的虚拟形象都具有卡通风格(或动漫风格)。
根据目标对象的目标特征信息从预设的样本库中确定目标样本之后,可以通过样本库中存储的与目标样本对应的目标参数(也即模型参数),根据目标样本的目标参数对预设基模进行修改,得到目标对象的虚拟形象。
下面将结合目标对象为眼部轮廓的场景,对本申请实施例中提供的对生成眼部轮廓的虚拟形象的过程进行示例性的说明。
应理解,在将目标对象确定为眼部轮廓后,可以先获取包括有眼部轮廓的人脸图像,对人脸图像进行特征点检测得到眼部轮廓的特征点。
为了加快生成眼部轮廓的虚拟形象的速度,在一种可能的实施例中,得到眼部轮廓的特征点之后,可以根据样本库中预先存储的多种不同眼部轮廓样本图像的大小,对目标对象眼部轮廓的特征点进行归一化处理;或者,也可以在获取到包括有眼部轮廓的人脸图像之后,可以根据样本库中预先存储的与多种不同眼部轮廓样本对应的图像大小,对包括有目标对象眼部轮廓的人脸图像进行归一化处理。
具体地,如图4所示为本申请实施例提供的一种包括有眼部轮廓的人脸图像的示意图,参见图4,假设在获取到包括有眼部轮廓的人脸图像以后,获取该人脸图像中两鬓角之间经瞳孔的第一距离(参见图4中带箭头的线段所表示的距离)为100,获取到的样本库中预先存储的与多种不同眼部轮廓样本对应的图像中两鬓角之间且经瞳孔的第二距离的取值范围为0-1,那么可以将包括有眼部轮廓的人脸图像等比例缩小100倍,实现对人脸图像的归一化处理。
得到眼部轮廓的特征点之后,可以根据眼部轮廓的特征点确定与眼部轮廓对应的目标特征信息,其中,目标特征信息可以包括不同维度的第一特征信息和第二特征信息,目标特征信息也可以包括不同维度的第一特征信息、第二特征信息和第三特征信。
若确定的与眼部轮廓对应的目标特征信息包括第一特征信息和第二特征信息,则可以根据眼部轮廓对应特征点的零阶矩确定第一特征信息,第一特征信息用于表征眼部轮廓的大小特征;可以根据眼部轮廓对应特征点的二阶矩(也称惯性矩)确定第二特征信息,该第二特征信息用于表征眼部轮廓的方向特征。若确定的与眼部轮廓对应的目标特征信息还包括第三特征信息,则还可以根据眼部轮廓对应特征点的Hu矩确定第三特征信息,该第三特征信息用于表征眼部轮廓的形状特征。
具体地,基于上述示例,可以通过以下公式(1)计算得到眼部轮廓对应的第一特征信息,即眼部轮廓的大小特征。
上述公式(1)中,(x,y)表示眼部轮廓的每个特征点对应的坐标,I(x,y)表示特征点所在位置的像素值,也即特征点对应的坐标(x,y)处的像素值,在本申请实施例中该像素值的取值为1。
可以通过以下公式(2)计算得到眼部轮廓对应的第二特征信息,即眼部轮廓的方向特征。
上述公式(2)中,μ11、μ20、μ02表示与眼部轮廓的特征点对应的二阶中心矩,具体计算公式可以参见以下公式(3):
在公式(3)中,表示根据眼部轮廓的特征点确定的眼部轮廓的质心(或重心);M02、M20以及M11表示各个特征点对应的二阶矩,该二阶矩可以根据与公式(1)对应的公式/>确定,其中,i和j分别为正整数,且i+j=2。
若确定的与眼部轮廓对应的目标特征信息还包括第三特征信息,则可以通过以下公式(4)计算眼部轮廓对应的第三特征信息,即眼部轮廓的形状特征。
h0=η20+η02
h2=(η30-3η12)2+(3η21-η03)2
h3=(η30+η12)2+(η21+η03)2
h4=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)[3(η30+η12)2-(η21+η03)2]
h5=(η20-η02)[(η30+η12)2-(η21+η03)2+4η11(η30+η12)(η21+η03)]
h6=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(η30-3η12)(η21+η03)[3(η30+η12)2-(η21+η03)2] (4)
上述公式(4)中ηij表示归一化后的中心矩,即在中心距的基础上做了归一化,ηij的具体计算公式为其中,/>i和j分别为正整数,/>和/>的取值可以参考上述公式(3)中的/>对应的取值,I(x,y)也表示特征点所在位置的像素值。
根据眼部轮廓的特征点确定与眼部轮廓的特征点对应的目标特征信息后,可以基于确定的目标特征信息从预设的样本库中确定目标样本。不难理解的,若目标特征信息中特征信息的维度数不同时,则确定目标样本的方法可能不同,下面将通过两种可能的实施例对从预设的样本库中确定与目标特征信息对应的目标样本的方法进行示例性的说明。
实施例一,目标特征信息包括两个不同维度的特征信息,例如,目标特征信息为第一特征信息和第二特征信息。
在实施例一中,获取到眼部轮廓的特征点之后,根据目标对象的特征点确定的目标特征信息包括第一特征信息和第二特征信息。可以将从预设的样本库中确定与第一特征信息之间的相似度满足第一特征相似度阈值,且与第二特征信息之间的相似度满足第二特征相似度阈值的样本确定为目标样本。
为了使从预设的样本库中确定与第一特征信息之间的相似度满足第一特征相似度阈值,且与第二特征信息之间的相似度满足第二特征相似度阈值的样本的样本数至少有一个,满足实际应用需求,在一种可能的实施方式中,如图5所示为本申请实施例提供的一种确定目标样本的流程图,参见图5,可以根据第一特征信息从样本库中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;根据第二特征信息从样本库中确定与第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;当第一样本集的样本数大于或等于预设第一阈值,且第二样本集的样本数大于或等于预设第二阈值时,确定第一样本集与第二样本集的交集;若交集的样本数大于预设第三阈值,则从交集中确定目标样本。其中,第一特征相似度阈值、第二特征相似度阈值、第一阈值、第二阈值以及第三阈值的具体取值可以根据实际应用情况进行设置,本申请对此不作任何限定。
基于上述可能的实施方式,若根据第一样本集和第二样本集确定的交集的样本数小于或等于第三阈值,则增大第一阈值和/或第二阈值。
不难理解的,当根据第一样本集和第二样本集确定的交集的样本数小于或等于第三阈值,可以仅增大第一阈值,通过增加第一样本集中样本的样本数而增加第一样本集和第二样本集确定的交集中样本的样本数;也可以仅增大第二阈值,通过增加第二样本集中样本的样本数而增加第一样本集和第二样本集确定的交集中样本的样本数;当然,还可以既增大第一阈值又增大第二阈值,通过既增加第一样本集中样本的样本数又增加第二样本集中样本的样本数而增加第一样本集和第二样本集确定的交集中样本的样本数。
示例性的,假设,将第三阈值的取值确定为0,当第一样本集和第二样本集的交集中的样本的样本数大于0时,如图6所示,若第一样本集和第二样本集的交集确定了两个样本,分别为样本X和样本Y,这时就可以根据第一样本集和第二样本集的交集确定目标样本,即可以从样本X和样本Y中可以确定至少一个目标样本。反之,当第一样本集和第二样本集的交集中的样本的样本数小于或等于0时,说明第一样本集和第二样本集不存在交集,这样将无法根据第一样本集和第二样本集的交集确定目标样本,在实际应用过程中,可能是由于第一阈值和/或第二阈值的取值较小而导致上述问题的产生,因此,可以适当增大第一阈值和/或第二阈值的取值,以通过增加第一样本集和/或第二样本集中样本的样本数,进而增加第一样本集和第二样本集的交集中样本的样本数。
在实际应用中,为了提升根据第一特征信息从样本库中确定的第一样本集中各个样本与眼部轮廓的相似度(或匹配度),可选地,若根据第一特征信息从样本库中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集的样本数小于第一阈值,则可以增大样本库中每个样本与眼部轮廓之间的第一特征相似度阈值。也就是说,通过增大第一特征相似度阈值以增加第一样本集中样本的样本数。能够理解的是,样本库中每个样本与眼部轮廓之间的第一特征相似度阈值越小,说明第一样本集中的样本与眼部轮廓之间的大小差异越小;反之,第一特征相似度阈值越大,说明第一样本集中的样本与眼部轮廓之间的大小差异越大。
例如,假设基于上述公式(1)确定的与眼部轮廓的特征点对应的第一特征信息(即大小)的取值为10,第一特征相似度阈值设置为2,第一阈值为1,根据初始的第一特征相似度阈值从样本库中确定的第一特征信息的取值为8~10的样本的样本数为0,即样本库中不存在与眼部轮廓之间的初始第一特征相似度阈值为2的样本,换言之,根据第一特征信息从样本库中确定的第一样本集的样本数小于第一阈值(即0<1),则可以增大初始的第一特征相似度阈值,假设将初始的第一特征相似度阈值修改为4,那么可以根据修改后的第一特征相似度阈值从样本库中确定的第一特征信息的取值为6~10的样本,以增加从样本库中确定的第一样本集的样本数。
值得说明的是,为了保证获取的第一样本集中各个样本的准确性,可以将初始的第一特征相似度阈值尽可能设置小,然后再逐渐增大第一特征相似度阈值的具体取值,也就是说,第一特征相似度阈值的具体取值可以从小到大逐步增大。当然,在实际应用过程中,也可以由大到小逐渐减小各个阈值的具体取值,以能够从预设的样本库中确定至少一个目标样本。
同样的,若根据第二特征信息从样本库中确定的与第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集的样本数小于第二阈值,则可以增大样本库中每个样本与眼部轮廓之间的第二特征相似度阈值。可以理解的是,样本库中每个样本与眼部轮廓之间的第二特征相似度阈值越小,说明第二样本集中的样本与目标对象眼部轮廓的方向差异越小,第二样本集中各个样本与目标对象眼部轮廓越相似;反之,第二特征相似度阈值越大,说明第二样本集中的样本与目标对象眼部轮廓之间的方向差异越大,第二样本集中各个样本与目标对象眼部轮廓越迥异。
例如,假设基于上述公式(2)确定的与眼部轮廓的特征点对应的第二特征信息(即方向)的取值为30°,第二特征相似度阈值设置为3°,第二阈值为1,根据初始第二特征相似度阈值从样本库中确定的第二特征信息的取值为27°~30°的样本的样本数为0,即从样本库中难以获取到与眼部轮廓之间的第二特征信息满足初始第二特征相似度阈值为3的样本,使得根据第二特征信息从样本库中确定的第二样本集的样本数小于第二阈值,则可以增大初始第二特征相似度阈值,假设将初始第二特征相似度阈值修改为6°,那么可以根据修改后的第二特征相似度阈值从样本库中确定的第二特征信息的取值为24°~30°的样本,以增加从样本库中确定的第二样本集的样本数。
基于上述实施例,从第一样本集和第二样本集之间的交集中确定目标样本的方法具体可以包括:根据目标特征信息确定交集中每个样本与目标对象的相似度;将相似度最大的样本确定为目标样本,相似度用于描述各个样本与目标对象之间的第一特征相似值和第二特征相似值。
应理解,相似度也可以是匹配度。各个样本与目标对象之间的第一特征相似值可以是指各个样本中的眼部轮廓对应的特征点与眼部轮廓对应的特征点在大小特征上的差异;各个样本与目标对象之间的第二特征相似值可以是指各个样本中的眼部轮廓对应的特征点与眼部轮廓对应的特征点在方向特征上的差异。
在一个示例中,假设P表示交集中样本中的眼部轮廓与目标对象的眼部轮廓之间的相似度,ΔS表示样本中的眼部轮廓与目标对象的眼部轮廓之间的第一特征相似值,ΔA表示样本中的眼部轮廓与目标对象的眼部轮廓之间的第二特征相似值,可以根据以下公式(5)确定交集中每个样本中的眼部轮廓与目标对象的眼部轮廓之间的相似度。
P=aΔA+bΔS (5)
上述公式(5)中,a和b分别表示第一特征相似值和第二特征相似值所占的权重系数,其中,a+b=1,且a和b均为正数。
在另一个示例中,也可以根据以下公式(6)确定交集中每个样本中的眼部轮廓与目标对象的眼部轮廓之间的相似度,其中,公式(6)中a和b分别表示第一特征相似值和第二特征相似值所占的权重系数。
P=(aΔA+bΔS)/(a+b) (6)
基于上述两个示例可以计算得到每个样本中的眼部轮廓与目标对象的眼部轮廓之间的相似度,可以将相似度值最大的样本确定为目标样本。
需要说明的是,若基于上述公式(5)或公式(6)得到的相似度取值最大的样本存在两个或两个以上,则可以按照目标特征信息中先第一特征相似值后第二特征相似值(或者第二特征相似值后第一特征相似值)的顺序确定目标样本;或者,可以随机选取相似度取值最大的样本中的任意一个样本作为目标样本。
除上述可能的实施方式外,为了缩短获取第一样本集和第二样本集之间的交集的时间,加快与眼部轮廓对应的目标样本的获取速度,在另一种可能的实施方式中,如图7所示为本申请实施例提供的另一种确定目标样本的流程图,参见图7,确定目标样本的方法也可以包括:根据第一特征信息从样本库中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;根据第二特征信息从第一样本集中确定与第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;若第一样本集的样本数大于预设第一阈值,且第二样本集的样本数大于预设第二阈值,则从第二样本集中确定目标样本。
在其他实施例中,确定目标样本的方法还可以包括:根据第二特征信息从样本库中确定与第二特征信息之间的相似度满足预设第二特征相似度阈值的第一样本集;根据第一特征信息从第一样本集中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第二样本集;若第一样本集的样本数大于或等于预设第二阈值,且第二样本集的样本数大于或等于预设第一阈值,则从第二样本集中确定目标样本。
同样地,第一特征相似度阈值、第二特征相似度阈值、第一阈值、第二阈值以及第三阈值的具体取值也可以根据实际应用情况进行设置,本申请对此不作任何限定。
需要注意的是,在上述两种确定目标样本的可能的实施方式中,一种是首先根据第一特征信息确定第一样本集,而另一种是首先根据第二特征信息确定第一样本集。在目标对象为眼部轮廓的应用场景中,通过多次实验证明,当目标对象为眼部轮廓时,如果采用上述第二种方法确定目标样本,那么生成的与眼部轮廓对应的虚拟形象的相似度更好,更真实,该方法具体为首先根据第二特征信息从预设样本中确定对应的第一样本集,然后再根据第一特征信息从第一样本集中确定对应的第二样本集,最后从第二样本集中确定目标样本。
基于上述实施方式,根据第一特征信息和第二特征信息从预设的样本库中确定第二样本集之后,从第二样本集中确定目标样本的方法可以参考前述根据第一样本集和第二样本集的交集确定目标样本的方法,在此不再赘述。
实施例二,目标特征信息包括三种不同维度的特征信息,例如,目标特征信息为第一特征信息、第二特征信息以及第三特征信息。
在实施例二中,获取到目标对象眼部轮廓的特征点之后,根据目标对象眼部轮廓的特征点确定的目标特征信息包括与目标对象的特征点对应的第一特征信息、第二特征信息以及第三特征信息,然后可以从预设的样本库中确定与第一特征信息之间的相似度满足第一特征相似度阈值、与第二特征信息之间的相似度满足第二特征相似度阈值且与第三特征信息之间的相似度满足第三特征相似度阈值的样本确定为目标样本。
在其中一种可选的方式中,可以根据第一特征信息从样本库中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;根据第二特征信息从样本库中确定与第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;根据第三特征信息从样本库中确定与第三特征信息之间的相似度满足预设第三特征相似度阈值的第三样本集;当第一样本集的样本数大于或等于预设第一阈值,第二样本集的样本数大于或等于预设第二阈值,且第三样本集的样本数大于或等于预设第三阈值时,确定第一样本集、第二样本集以及第三样本集三者的交集;若交集的样本数大于预设第四阈值,则从交集中确定目标样本。
例如,如图8所示,根据第一特征信息确定的第一样本集中包括3个样本,根据第二特征信息确定的第二样本集中包括5个样本,根据第三特征信息确定的第三样本集中包括3个样本,假设预设的第四阈值为0,则可以根据第一样本集、第二样本集以及第三样本集三者的交集确定一个样本Z,则可以将样本Z确定为目标样本。若根据第一样本集、第二样本集以及第三样本集三者的交集确定有多个样本即样本数大于1,则可以从多个样本中确定目标样本。
需要说明的是,也可以根据第一样本集、第二样本集、第三样本集以及交集中的样本样本数,对该实施例中第一特征相似度阈值、第二特征相似度阈值、第三特征相似度阈值、第一阈值、第二阈值、第三阈值以及第四阈值进行调整,以提高获取到的目标样本的准确性。具体调整过程可以参考前述实施例一进行理解,此处不再赘述。类似的,该实施例第一特征相似度阈值、第二特征相似度阈值、第三特征相似度阈值、第一阈值、第二阈值、第三阈值以及第四阈值的具体取值可以根据不同的目标对象或实际应用需求进行确定,本申请对此不作任何限定。
示例性的,若确定的第一样本集、第二样本集以及第三样本集三者的交集的样本数小于或等于第四阈值,则可以增大第一阈值、第二阈值以及第三阈值中的至少一个阈值。若第一样本集的样本数小于第一阈值,则可以增大第一特征相似度阈值;若第二样本集的样本数小于第二阈值,则可以增大第二特征相似度阈值;若第三样本集的样本数小于第三阈值,则可以增大第三特征相似度阈值。
值得说明的是,为了保证获取到的三个样本集交集中样本的准确性,可以将初始的第一特征相似度阈值、第二特征相似度阈值以及第三特征相似度阈值的具体取值尽可能设置小,然后再根据交集中样本的具体数量逐渐增大,也就是说,第一特征相似度阈值、第二特征相似度阈值以及第三特征相似度阈值的具体取值可以从小到大逐步增大。当然,在实际应用过程中,也可以由大到小逐渐减小各个阈值的具体取值,能够从预设的样本库中确定至少一个目标样本即可。
基于上述示例,若根据第一样本集、第二样本集以及第三样本集三者的交集确定有多个样本,则目标样本的具体确定方法可以包括:确定第一样本集、第二样本集以及第三样本集三者的交集中每个样本与目标样本之间的相似度,将相似度最大的样本确定为目标样本,其中,相似度用于描述每个样本与目标对象之间的第一特征相似值、第二特征相似值和第三特征相似值。大小特征相似值、方向特征相似值以及形状特征相似值。
应理解,第一特征相似值可以是指各个样本中的眼部轮廓对应的特征点与眼部轮廓对应的特征点在大小特征上的差异;第二特征相似值可以是指各个样本中的眼部轮廓对应的特征点与眼部轮廓对应的特征点在方向特征上的差异;第三特征相似值可以是指各个样本中的眼部轮廓对应的特征点与眼部轮廓对应的特征点在形状特征上的差异。
作为示例而非限定的,确定每个样本与目标对象之间的相似度的方法可以参考以下公式(7)。公式(7)中,P表示交集中样本中的眼部轮廓与目标对象的眼部轮廓之间的相似度,ΔS表示样本中的眼部轮廓与目标对象的眼部轮廓之间的第一特征相似值,ΔA表示样本中的眼部轮廓与目标对象的眼部轮廓之间的第二特征相似值,ΔH表示样本中的眼部轮廓与目标对象的眼部轮廓之间的第三特征相似值,其中a+b+c=1,且a、b和c均为正数。
P=aΔA+bΔS+cΔH (7)
在另一个可能的示例中,也可以根据公式(8)确定每个样本与目标对象之间的相似度。
P=(aΔA+bΔS+cΔH)/(a+b+c) (8)
在另一种可选的方式中,也可以根据第一特征信息从样本库中确定与第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;根据第二特征信息从第一样本集中确定与第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;根据第三特征信息从第二样本集中确定与第三特征信息之间的相似度满足预设第三特征相似度阈值的第三样本集;当第一样本集的样本数大于或等于预设第一阈值,第二样本集的样本数大于或等于预设第二阈值,且第三样本集的样本数大于预设第三阈值时,从第三样本集中确定目标样本。
例如,若第三样本集中样本样本数小于或等于第三阈值,则可以增大第一阈值和/或第二阈值,或者增大第三特征相似度阈值,以增加第三样本集中的样本的样本数;若第一样本集的样本数小于第一阈值,则可以增大第一特征相似度阈值;若第二样本集的样本数小于第二阈值,则可以增大第二特征相似度阈值。
值得说明的是,当目标对象为除眼部轮廓之外的其他对象时,可以根据实际实验确定第一特征信息、第二特征信息以及第三特征信息对目标对象相似度的影响,进而根据第一特征信息、第二特征信息以及第三特征信息的先后顺序,然后再根据先后顺序依次从预设的样本库中确定目标样本。不难理解的,也可以基于第三样本集中的样本数对该实施例中第一特征相似度阈值、第二特征相似度阈值、第三特征相似度阈值、第一阈值、第二阈值以及第三阈值的具体取值进行动态调整。
在该可选的方式中,目标样本的具体确定方法对应可以包括:确定第三样本集中每个样本与目标样本之间的相似度,将相似度最大的样本确定为目标样本,其中,相似度用于描述第三样本集中每个样本与目标对象之间的第一特征相似值、第二特征相似值和第三特征相似值。
需要说明的是,利用不同维度的三个目标特征信息从预设的样本库中确定的目标样本的样本数可能较少,因此,在实际应用过程可以根据样本库中的样本数选择上述实施例一或实施例二的方法确定目标样本。
可以理解的是,在本申请实施例中,在获取到目标对象的特征点后,先根据特征点确定目标对象的目标特征信息,再根据目标特征信息从预设的样本库中确定目标样本,然后利用目标样本的目标参数修改预设基模确定出与目标对象对应的虚拟形象。在实际应用中,可以固定预设基模的设计风格,然后基于该方法就可以得到与不同目标对象对应且风格统一的虚拟形象。
此外,由于该方法中获取的目标特征信息是与目标对象的特征点对应的不同维度的特征,因此,利用目标对象的多个不同维度的特征信息而确定的目标样本是与目标对象更加接近的样本,提高了目标样本的可靠性,大大增加了虚拟形象中与目标对象对应部分与目标对象的相似度,有效缩小了虚拟形象与目标对象之间的差异,提升了虚拟形象的真实性。
应理解,在本申请实施例中,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例提供的虚拟形象生成方法,图9是本申请实施例提供的一种虚拟形象生成装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图9所示,该虚拟形象生成装置900包括:获取单元901、第一确定单元902、第二确定单元903和修改单元904。
获取单元901,用于获取目标对象的特征点;
第一确定单元902,用于根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;
第二确定单元903,用于从预设的样本库中确定与所述目标特征信息对应的目标样本;
修改单元904,用于根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
可选地,所述第一特征信息是根据所述特征点的零阶矩确定的,所述第二特征信息是根据所述特征点的二阶矩确定的。
可选地,第二确定单元903,还用于:
从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本。
可选地,所述从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本,包括:
根据所述第一特征信息从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;
根据所述第二特征信息从所述样本库中确定与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;
当所述第一样本集的样本数大于或等于预设第一阈值,且所述第二样本集的样本数大于或等于预设第二阈值时,确定所述第一样本集与所述第二样本集的交集;
若所述交集的样本数大于预设第三阈值,则从所述交集中确定所述目标样本。
可选地,若所述交集的样本数小于或等于所述第三阈值,则增大所述第一阈值和/或所述第二阈值。
可选地,若所述第一样本集的样本数小于所述第一阈值,则增大所述第一特征相似度阈值。
可选地,若所述第二样本集的样本数小于所述第二阈值,则增大所述第二特征相似度阈值。
可选地,所述目标特征信息还包括第三特征信息。
可选地,所述第三特征信息是根据所述特征点的Hu矩确定的。
可选地,所述从所述交集中确定所述目标样本,包括:
根据目标特征信息确定所述交集中每个样本与所述目标对象的相似度;
将所述相似度最大的样本确定为目标样本,所述相似度用于描述所述样本与所述目标对象之间的第一特征相似值、第二特征相似值以及第三特征相似值。
可选地,所述目标对象为眼部轮廓。
可选地,获取单元901,还用于:获取目标图像,所述目标图像中包括目标对象;所述目标图像进行特征点检测;根据特征点检测结果确定所述目标对象的特征点。
可选地,所述根据所述特征点确定所述目标对象的目标特征信息,包括:
归一化单元,用于对所述特征点进行归一化处理;
第三确定单元,用于根据归一化处理后的所述特征点确定所述目标对象的目标特征信息。
应理解,装置实施例的描述可以参考上述对电子设备以及虚拟形象生成方法实施例的相关描述,其实现原理与技术效果与上述方法实施例类似,此处不再赘述。
基于上述各个实施例提供的虚拟形象生成方法,本申请实施例还提供以下内容:
本实施例提供了一种计算机程序产品,该程序产品包括程序,当该程序被电子设备运行时,使得电子设备上述各实施例中示出的虚拟形象生成方法。
本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个实施例中示出的虚拟形象生成方法。
本申请实施例提供一种芯片,该芯片包括存储器和处理器,该处理器执行存储器中存储的计算机程序,以实现控制上述电子设备执行上述各个实施例中示出的虚拟形象生成方法。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到大屏设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种虚拟形象生成方法,其特征在于,所述方法包括:
获取目标对象的特征点;
根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;
从预设的样本库中确定与所述目标特征信息对应的目标样本;
根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
2.根据权利要求1所述的虚拟形象生成方法,其特征在于,所述第一特征信息是根据所述特征点的零阶矩确定的,所述第二特征信息是根据所述特征点的二阶矩确定的。
3.根据权利要求2所述的虚拟形象生成方法,其特征在于,所述从预设的样本库中确定与所述目标特征信息对应的目标样本,包括:
从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本。
4.根据权利要求3所述的虚拟形象生成方法,其特征在于,所述从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值,且与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的样本为所述目标样本,包括:
根据所述第一特征信息从所述样本库中确定与所述第一特征信息之间的相似度满足预设第一特征相似度阈值的第一样本集;
根据所述第二特征信息从所述样本库中确定与所述第二特征信息之间的相似度满足预设第二特征相似度阈值的第二样本集;
当所述第一样本集的样本数大于或等于预设第一阈值,且所述第二样本集的样本数大于或等于预设第二阈值时,确定所述第一样本集与所述第二样本集的交集;
若所述交集的样本数大于预设第三阈值,则从所述交集中确定所述目标样本。
5.根据权利要求4所述的虚拟形象生成方法,其特征在于,若所述交集的样本数小于或等于所述第三阈值,则增大所述第一阈值和/或所述第二阈值。
6.根据权利要求4所述的虚拟形象生成方法,其特征在于,若所述第一样本集的样本数小于所述第一阈值,则增大所述第一特征相似度阈值。
7.根据权利要求4所述的虚拟形象生成方法,其特征在于,若所述第二样本集的样本数小于所述第二阈值,则增大所述第二特征相似度阈值。
8.根据权利要求4-7任一项所述的虚拟形象生成方法,其特征在于,所述目标特征信息还包括第三特征信息。
9.根据权利要求8所述的虚拟形象生成方法,其特征在于,所述第三特征信息是根据所述特征点的Hu矩确定的。
10.根据权利要求8或9所述的虚拟形象生成方法,其特征在于,所述从所述交集中确定所述目标样本,包括:
根据目标特征信息确定所述交集中每个样本与所述目标对象的相似度;
将所述相似度最大的样本确定为目标样本,所述相似度用于描述所述样本与所述目标对象之间的第一特征相似值、第二特征相似值以及第三特征相似值。
11.根据权利要求1-10任一项所述的虚拟形象生成方法,其特征在于,所述目标对象为眼部轮廓。
12.根据权利要求1-11任一项所述的虚拟形象生成方法,其特征在于,所述根据所述特征点确定所述目标对象的目标特征信息,包括:
对所述特征点进行归一化处理;
根据归一化处理后的所述特征点确定所述目标对象的目标特征信息。
13.一种虚拟形象生成装置,其特征在于,所述装置包括:
获取单元,用于获取目标对象的特征点;
第一确定单元,用于根据所述特征点确定所述目标对象的目标特征信息,所述目标特征信息包括不同维度的第一特征信息和第二特征信息;
第二确定单元,用于从预设的样本库中确定与所述目标特征信息对应的目标样本;
修改单元,用于根据所述目标样本的目标参数修改预设基模,得到所述目标对象的虚拟形象。
14.一种电子设备,其特征在于,包括:处理器,所述处理器用于运行存储器中存储的计算机程序,以实现如权利要求1至12任一项所述的方法。
15.一种芯片系统,其特征在于,所述芯片系统包括处理器,所述处理器执行存储器中存储的计算机程序,以实现如权利要求1-12任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210892371 | 2022-07-27 | ||
CN202210892371X | 2022-07-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117523077A true CN117523077A (zh) | 2024-02-06 |
Family
ID=89761374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211212226.9A Pending CN117523077A (zh) | 2022-07-27 | 2022-09-30 | 一种虚拟形象生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117523077A (zh) |
-
2022
- 2022-09-30 CN CN202211212226.9A patent/CN117523077A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020029306A1 (zh) | 一种图像拍摄方法及电子设备 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN111510626B (zh) | 图像合成方法及相关装置 | |
WO2021052139A1 (zh) | 手势输入方法及电子设备 | |
WO2020015144A1 (zh) | 一种拍照方法及电子设备 | |
CN114242037A (zh) | 一种虚拟人物生成方法及其装置 | |
WO2021169370A1 (zh) | 服务元素的跨设备分配方法、终端设备及存储介质 | |
CN112087649B (zh) | 一种设备搜寻方法以及电子设备 | |
CN113542580A (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN111580671A (zh) | 视频图像处理方法及相关装置 | |
CN112651510A (zh) | 模型更新方法、工作节点及模型更新系统 | |
CN114880251A (zh) | 存储单元的访问方法、访问装置和终端设备 | |
WO2022022319A1 (zh) | 一种图像处理方法、电子设备、图像处理系统及芯片系统 | |
CN115437601B (zh) | 图像排序方法、电子设备、程序产品及介质 | |
CN111557007B (zh) | 一种检测眼睛睁闭状态的方法及电子设备 | |
CN114125145B (zh) | 显示屏解锁的方法、电子设备及存储介质 | |
CN114115617B (zh) | 一种应用于电子设备的显示方法及电子设备 | |
CN117523077A (zh) | 一种虚拟形象生成方法及装置 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN115150543B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN116048831B (zh) | 一种目标信号处理方法和电子设备 | |
CN116703691B (zh) | 图像处理方法、电子设备及计算机存储介质 | |
CN116795604B (zh) | 应用异常退出的处理方法、装置和设备 | |
CN116339510B (zh) | 眼动追踪方法、装置、电子设备及计算机可读存储介质 | |
CN111460942B (zh) | 接近检测方法及装置、计算机可读介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |