CN110533761B - 影像显示方法、电子装置及非瞬时电脑可读取记录媒体 - Google Patents

影像显示方法、电子装置及非瞬时电脑可读取记录媒体 Download PDF

Info

Publication number
CN110533761B
CN110533761B CN201811171169.8A CN201811171169A CN110533761B CN 110533761 B CN110533761 B CN 110533761B CN 201811171169 A CN201811171169 A CN 201811171169A CN 110533761 B CN110533761 B CN 110533761B
Authority
CN
China
Prior art keywords
image
model
dimensional head
head portrait
grids
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811171169.8A
Other languages
English (en)
Other versions
CN110533761A (zh
Inventor
林伟博
郭皓渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asustek Computer Inc
Original Assignee
Asustek Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asustek Computer Inc filed Critical Asustek Computer Inc
Priority to US16/414,947 priority Critical patent/US10789784B2/en
Publication of CN110533761A publication Critical patent/CN110533761A/zh
Application granted granted Critical
Publication of CN110533761B publication Critical patent/CN110533761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/49Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明提供一种影像显示方法,其适用电子装置。影像显示方法包含:根据脸部的正面脸部信息建立包含多个第一特征点的原始三维头像模型,其中此些第一特征点于原始三维头像模型上形成多个第一网格,且此些第一特征点于原始三维头像模型上划分出多个特征模型;根据左侧脸部影像、右侧脸部影像与此些第一网格建立纹理对应图;根据特征替换指令取得相应的替换模型;利用替换模型置换此些特征模型中的选定特征模型以生成仿真三维头像模型;根据仿真三维头像模型与纹理对应图产生对应的仿真二维头像影像;及显示仿真二维头像影像。

Description

影像显示方法、电子装置及非瞬时电脑可读取记录媒体
技术领域
本发明是关于一种影像显示方法、电子装置及非瞬时电脑可读取记录媒体。
背景技术
在目前的三维头像模型的建构技术中,需先以扫瞄仪器先对使用者的脸部进行扫描,以建构出相应于使用者的脸部的三维头像模型。之后,针对想要调整的特征部位,再自行通过三维形变数学公式来慢慢调整出期望的三维头像模型。
然而,目前建构出的三维头像模型为静态的模型,仅能维持脸部的初始表情状态的而无法模拟脸部的其它表情状态。因此,所呈现出的拟真度不足,且于整形应用中并无法提供更多的详细信息给使用者参考。此外,通过三维形变量学公式的调整方式需要仰赖使用者的判断经验,否则难以调整出符合使用者期望的三维头像模型。即便调整至符合使用者所期望的三维头像模型,所需的时间亦耗费过多。
发明内容
有鉴于此,本发明实施例提出一种影像显示方法,其适用于电子装置。此影像显示方法包含:根据脸部的正面脸部信息建立包含多个第一特征点的原始三维头像模型,其中此些第一特征点于原始三维头像模型上形成多个第一网格,且此些第一特征点于原始三维头像模型上划分出多个特征模型;根据左侧脸部影像、右侧脸部影像与多个第一网格建立纹理对应图;根据特征替换指令取得相应的替换模型;利用替换模型置换此些特征模型中的选定特征模型以生成仿真三维头像模型;根据仿真三维头像模型与纹理对应图产生对应的仿真二维头像影像;及显示二维头像影像。
本发明另提供一种电子装置,其包含显示单元、影像撷取单元与处理单元。影像撷取单元用以撷取脸部的左侧脸部影像与右侧脸部影像。处理单元用以根据脸部的正面脸部信息建立包含多个第一特征点的原始三维头像模型,且此些第一特征点于原始三维头像模型上形成多个第一网格,且此些第一特征点于原始三维头像模型上划分出多个特征模型。处理单元根据左侧脸部影像、右侧脸部影像与多个第一网格建立纹理对应图,根据特征替换指令取得相应的替换模型,利用替换模型置换此些特征模型中的选定特征模型以生成仿真三维头像模型,根据仿真三维头像模型与纹理对应图产生对应的仿真二维头像影像,并且致使显示单元显示仿真二维头像影像。
本发明又提供一种非瞬时电脑可读取记录媒体,用以储存多个程序代码。当电子装置加载并执行此些程序代码时,此些程序代码可致使电子装置执行以下步骤:根据脸部的正面脸部信息建立包含多个第一特征点的原始三维头像模型,其中此些第一特征点于原始三维头像模型上形成多个第一网格,且此些第一特征点于原始三维头像模型上划分出多个特征模型;根据左侧脸部影像、右侧脸部影像与多个第一网格建立纹理对应图;根据特征替换指令取得相应的替换模型;利用替换模型置换此些特征模型中的选定特征模型以生成仿真三维头像模型;根据仿真三维头像模型与纹理对应图产生对应的仿真二维头像影像;及显示二维头像影像。
有关本发明的其它功效及实施例的详细内容,配合图式说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为使用者运用电子装置的一实施例的概要示意图;
图2为电子装置的一实施例的方块概要示意图;
图3为显示方法的一实施例的流程示意图;
图4为原始三维头像模型的一实施例的概要示意图;
图5为图3中步骤S10的一实施例的流程示意图;
图6为图3中步骤S20的一实施例的流程示意图;
图7为左侧脸部影像的一实施例的概要示意图;
图8为右侧脸部影像的一实施例的概要示意图;
图9为脸部正对电子装置的一实施例的概要示意图;
图10为脸部右偏于电子装置的一实施例的概要示意图;
图11为脸部左偏于电子装置的一实施例的概要示意图;
图12为图6中步骤S28的一实施例的流程示意图;
图13为纹理对应图的一实施例的概要示意图;
图14为二维头像影像的一实施例的概要示意图;
图15为叠合比例量化分析结果的二维头像影像的一实施例的概要示意图;
图16为原始三维头像模型的一实施例的概要示意图;
图17为仿真三维头像模型的一实施例的概要示意图;
图18为仿真三维头像模型的另一实施例的概要示意图;
图19为仿真二维头像影像的一实施例的概要示意图;
图20为仿真二维头像影像与二维头像影像叠合显示的一实施例的概要示意图;
图21为显示方法的另一实施例的流程示意图;
图22为结合有局部二维头像影像的实时脸部影像的一实施例的概要示意图。
符号说明
100电子装置 110显示单元
120影像撷取单元 130处理单元
140投射单元 150感测单元
160替换模型数据库 170输入接口
U1脸部 M1原始三维头像模型
P1第一特征点 G1第一网格
M11-M15特征模型 I1左侧脸部影像
I2右侧脸部影像 F1纹理对应图
θ偏转角度 G2第二网格
P11-P12第一特征点 G3第三网格
I11第一网格影像 I21第二网格影像
I11’第一网格影像 B1纹理块
I21’第二网格影像 T1顶点
F11左侧纹理图 F12中央纹理图
F13右侧纹理图 I31’第三网格影像
I4二维头像影像 M21替换模型
Mc选定特征模型 M2仿真三维头像模型
I5仿真二维头像影像 Is替换影像
I6实时脸部影像 Ip局部二维头像影像
S10-S130步骤
具体实施方式
以下将结合示意图对本申请的具体实施方式进一步描述。值得说明的是,所附图式均采用较为简化的形式并且非为真实比例,仅作为便利、清晰地辅助说明本申请各实施例的目的,而不应对本申请造成限制。
请配合参阅图1至图21,本发明任一实施例的影像显示方法可实施在任一电子装置100,致使电子装置100可快速提供更拟真的整形后的头像影像给使用者参考其整形后的模样。此外,电子装置100所提供的整形后的头像影像更可跟随用户的脸部连动,使得使用者可更动态的观察其整形后的模样。
电子装置100包含显示单元110、影像撷取单元120以及处理单元130。此外,电子装置100更可包含投射单元140以及感测单元150。其中,处理单元130耦接于显示单元110、影像撷取单元120、投射单元140以及感测单元150。
在一实施例中,影像显示方法可通过处理单元130取得关于使用者的脸部U1的深度信息的正面脸部信息后,根据正面脸部信息建立出对应于使用者的原始三维头像模型M1(步骤S10)。
请参阅图5,在步骤S10的一些实施例中,处理单元130致动投射单元140投射辐射光于使用者的脸部U1(步骤S11),并且致动感测单元150感测辐射光经由使用者的脸部U1反射后的反射光(步骤S12),以藉此根据感测单元150所感测到的反射光来计算出涵盖使用者的脸部U1的脸部特征与深度信息的正面脸部信息(步骤S13)。
在一些实施态样中,投射单元140可利用一或多个合适的辐射源来实现,例如,二极管激光器、发光二极管等。投射单元140所投射的辐射光可为结构光。此外,投射单元140所投射出的辐射光可为不可见光,但本发明并非以此为限,在另一些实施态样中,投射单元140所投射出的辐射光亦可为可见光。
在一些实施态样中,感测单元150可利用对应于投射单元140的任何光传感器来实现。举例而言,当投射单元140所投射出的辐射光为红外光时,感测单元150可为红外光相机。
于此,处理单元130所建立的原始三维头像模型M1上可包含对应于脸部U1的脸部特征的多个第一特征点P1,并且此些第一特征点P1可于原始三维头像模型M1上形成多个第一网格G1。
在一些实施态样中,处理单元130可通过建模技术中的网格化技术来形成此些第一网格G1。举例而言,处理单元130可运用狄劳尼三角化技术(Delaunary Triangulation),通过将此些第一特征点P1作为第一网格G1的顶点来形成多个呈现三角形的第一网格G1。
此外,此些第一特征点P1更可于原始三维头像模型M1上划分出多个特征模型M11-M15。于此,此些特征模型M11-M15为对应于脸部U1的颜部特征的颜部特征模型。举例而言,特征模型M11可为左眼睛特征模型,特征模型M12可为右眼睛特征模型,特征模型M13可为鼻子特征模型,特征模型M14可为嘴巴特征模型,且特征模型M15可为下巴特征模型等,但本发明并不以此为限。
请参阅图4至图15,待原始三维头像模型M1建立完后,处理单元130可根据所取得的左侧脸部影像I1、右侧脸部影像I2以及原始三维头像模型M1的第一网格G1间的对应关系来建立出相应的纹理对应图(texture mapping)F1(步骤S20)。
在步骤S20的一些实施例中,处理单元130可通过影像撷取单元120对使用者的脸部U1的左侧脸进行影像撷取,以得到涵盖有脸部U1的左侧脸的左侧脸部影像I1,并且通过影像撷取单元120对使用者的脸部U1的右侧脸进行影像撷取,以得到涵盖有脸部U1的右侧脸的右侧脸部影像I2(步骤S21)。
在步骤S21的一些实施例中,处理单元130可通过影像撷取单元120搭配上实时影像辨识技术来侦测使用者的脸部U1相对于影像撷取单元120的偏转角度θ,并且于侦测到脸部U1和影像撷取单元120之间具有特定的偏转角度θ时,处理单元130便可自动致使影像撷取单元120对脸部U1进行影像撷取,以得到所需的左侧脸部影像I1以及右侧脸部影像I2。于此,偏转角度θ可以脸部U1正对着影像撷取单元120时为零度,如图9所示。并且,以脸部U1相对于影像撷取单元120往右转时,如图10所示,偏转角度θ为正角度,而以脸部U1相对于影像撷取单元120往左转时,如图11所示,偏转角度θ为负角度。在一些实施态样中,偏转角度θ可为介于正(负)30度至正(负)45度之间。
在一些实施态样中,影像撷取单元140可为由一或多组镜头和感光组件,例如互补式金属氧化物半导体(CMOS)、感光耦合组件(CCD)等所组成的影像撷取器。
于步骤S21之后,处理单元130便可将原始三维头像模型M1上对应于脸部U1的左侧脸的部分第一特征点P11对应地映像至左侧脸部影像I1上,以于左侧脸部影像I1上划分出多个第二网格G2(步骤S22),并且将原始三维头像模型M1上对应于脸部U1的右侧脸的部分第一特征点P12对应地映像至右侧脸部影像I2上,以于右侧脸部影像I2上划分出多个第三网格G3(步骤S23)。
在一些实施例中,映像至左侧脸部影像I1上的多个第一特征点P11和映像至右侧脸部影像I2上的多个第一特征点P12可部分重叠。举例而言,由于鼻子特征既出现于左侧脸部影像I1,也出现于右侧脸部影像I2,因此,在左侧脸部影像I1上对应于鼻子特征的第一特征点P11和在右侧脸部影像I2上对应于鼻子特征的第一特征点P12可由原始三维头像模型M1上的同一第一特征点P1映像而来。
在步骤S22的一些实施例中,处理单元130可通过网格化技术,将映像至左侧脸部影像I1的此些第一特征点P11作为第二网格G2的顶点,以于左侧脸部影像I1上划分出多个第二网格G2。同样地,在步骤S23的一些实施例中,处理单元130亦可通过网格化技术,将映像至右侧脸部影像I2的此些第一特征点P12作为第三网格G3的顶点,以于右侧脸部影像I2上划分出多个第三网格G3。在一些实施态样中,处理单元130所运用的网格化技术可为狄劳尼三角化技术。
于步骤S22与步骤S23之后,处理单元130可根据形成于左侧脸部影像I1上的此些第二网格G2,从左侧脸部影像I1中分解出多个第一网格影像I11(步骤S24),并且根据形成于右侧脸部影像I2上的此些第三网格G3,从右侧脸部影像I2中分解出多个第二网格影像I21(步骤S25)。之后,处理单元130可根据各第二网格G2所对应的第一网格G1的形状大小来形变其划分出的此些第一网格影像I11(步骤S26),并且根据各第三网格G3所对应的第一网格G1的形状大小来形变其划分出的此些第二网格影像I21(步骤S27)。最后,处理单元130便可根据形变后的第一网格影像I11’及形变后的第二网格影像I21’建立出纹理对应图F1(步骤S28)。
在一些实施例中,纹理对应图F1为原始三维头像模型M1的曲面展成二维时的对应图。纹理对应图F1可具有多个纹理块B1,且各纹理块B1对应于多个第一网格G1中之一。于此,各纹理块B1即为各第一网格G1从曲面展成二维时的对应态样,且各纹理块B1的顶点T1可对应至其所对应的第一网格G1所涵盖的特征点P1。此外,由于各纹理块B1为各第一网格G1从曲面展成二维时的对应态样,各第二网格G2可对应于此些纹理块B1中之一,且各第三网格G3亦可对应于此些纹理块B1中之一。
在步骤S27与步骤S28的一些实施例中,处理单元130可通过映像变换,如平移、旋转、缩放、反射和推移(transvection)的组合来对此些第一网格影像I11以及第二网格影像I21进行形变。
在一些实施态样中,于左侧脸部影像I1上的各第一特征点P11具有对应的二维坐标,各纹理块B1的顶点T1具有对应的纹理对应坐标,且处理单元130可通过矩阵转换将各第二网格G2所涵盖的第一特征点P11映像至其对应的各纹理块B1的顶点T1,以藉此使得各第二网格G2所分解出的第一网格影像I11的形状大小可形变成和对应的纹理块B1的形状大小一样。同样地,于右侧脸部影像I2上的各第一特征点P12亦具有对应的二维坐标且处理单元110可通过矩阵转换将各第三网格G3所涵盖的特征点P1映像至其对应的纹理块B1的顶点T1,以藉此使得各第三网格G3所分解出的第二网格影像I21的形状大小可形变成和对应的纹理块B1的形状大小一样。
在一些实施例中,纹理对应图F1由右至左可划分成依序相连的左侧纹理图F11、中央纹理图F12以及右侧纹理图F13。此外,此些形变后第一网格影像I11’可分成两组,且此些形变后第二网格影像I21’亦可分成两组。
于此,属于第一组的各形变后第一网格影像I11’对应至左侧纹理图F11中的多个纹理块B1之一,且属于第二组的各形变后第一网格影像I11’则对应至中央纹理图F12中的多个纹理块B1之一。并且,属于第一组的各形变后第二网格影像I21’对应至右侧纹理图F13中的多个纹理块B1之一,且属于第二组的各形变后第二网格影像I21’则对应至中央纹理图F12中的多个纹理块B1之一。换言之,位于中央纹理图F12中的各纹理块B1分别可对应到一个形变后第一网格影像I11’和一个形变后第二网格影像I21’。
请参阅图12,在步骤S28的一些实施例中,处理单元130可将属于第一组的各形变后第一网格影像I11’分别叠合至左侧纹理图F11中所对应的纹理块B1(步骤S28A),且将属于第一组的各形变后第二网格影像I21’分别叠合至右侧纹理图F13中所对应的纹理块B1(步骤S28B)。并且,为了使建立出的中央纹理图F12中的影像接缝可更为平滑,处理单元130可根据中央纹理图F12中各纹理块B1所对应的第一权重和第二权重将属于第二组且对应于此纹理块B1的形变后第一网格影像I11’以及属于第二组且对应于此纹理块B1的形变后第二网格影像I21’混合(blending)成第三网格影像I31’(步骤S28C)。其中,第一权重用于形变后第一网格影像I11’,且第二权重用于形变后第二网格影像I21’。之后,处理单元130便可将于步骤S28C中产生的所有第三网格影像I31’叠合至中央纹理图F12中(步骤S28D),以完成整个纹理对应图F1的建立,如图13的一实施例所示。
在一些实施例中,各纹理块B1所对应的第一权重与第二权重和另一个纹理块B1所对应的第一权重与第二权重可不相同,但各纹理块B1所对应的第一权重和第二权重的总值为1。举例而言,当纹理块B1于中央纹理图F12中较靠左边时,此纹理块B1所对应的第一权重可为例如0.75,而所对应的第二权重则为0.25,而使得在混出的第三网格影像I31’中,形变后第一网格影像I11’所占的比例是高于形变后第二网格影像I21’。
请参阅图3与图14,在一些实施例中,处理单元130于生成原始三维头像模型M1与纹理对应图F1后,可先根据原始三维头像模型M1与纹理对应图F1产生对应的二维头像影像I4(步骤S30),并经由显示单元110显示此二维头像影像I4给使用者观看(步骤S40)。于此,二维头像影像I4可和使用者的脸部近乎相同且真实。
在步骤S30的一实施例中,处理单元130将纹理对应图F1叠合于原始三维头像模型M1产生对应的二维头像影像I4。在另一实施例中,根据所欲显示的头像角度调整原始三维头像模型M1的角度并叠合调整角度后的原始三维头像模型M1与纹理对应图F1以转换出相应的二维头像影像I4。如图14所示,此为头像角度呈90度的二维头像影像I4的一态样。
在一些实施例中,处理单元130更可对二维头像影像I4套用不同的审美比例,以进行脸部特征的比例量化分析。并且,处理单元130可将比例量化分析结果叠合显示于二维头像影像I4上,以让使用者可清楚得知其脸部U1现在的比例为何。此外,于整形应用中,叠合有比例量化分析结果的二维头像影像I4更可让整形医师据此快速提供整型建议给患者。
为符合一般大众审美原则,在一些实施态样中,处理单元130可将二维头像影像中I4的人脸横向地分为三个部分,其中从额头到眉毛为上庭,眉毛到鼻头是中庭,且鼻头到下巴为下庭,并且处理单元130可将上庭、中庭与下庭之间的比例标示于二维头像影像I4上,如图15所示。
请参阅图3、图16与图17。在影像显示方法的一实施例中,处理单元130可接收一特征替换指令,并且根据特征替换指令取得相应的替换模型M21(步骤S50)。之后,处理单元130便可利用此替换模型M21将原始三维头像模型M1上的多个特征模型M11-M14中的一选定特征模型Mc用积木式替换方式置换掉,并于置换后生成仿真三维头像模型M2(步骤S60)。
在一些实施例中,电子装置100可更包含输入接口170,且输入接口170耦接于处理单元130。于此,使用者可通过输入接口170产生特征替换指令。举例而言,如图17所示,使用者可通过点选输入接口170上的「模型3」来产生相应的特征替换指令。
在一些实施例中,电子装置100更包含储存有大量的替换模型M21的替换模型数据库160,且替换模型数据库160耦接于处理单元130。其中,此些替换模型M21可包含脸部特征的各式模型,例如各式的鼻子替换模型、各式的左眼睛替换模型、各式的右眼睛替换模型、各式的嘴巴替换模型、各式的下巴替换模型等等。在一些实施态样中,替换模型数据库160可以国家、人种等来分类所储存的各个替换模型。
在步骤S50的一些实施例中,处理单元130可根据特征替换指令于替换模型数据库160中进行搜索,以取得相应的替换模型M21。
在步骤S60的一些实施例中,处理单元130可先将选定特征模型Mc自原始三维头像模型M1上移除,之后再将替换模型M21结合至选定特征模型Mc的原所在位置上,以完成置换动作。在一些实施例中,处理单元130可先根据选定特征模型Mc的比例对替换模型M21进行对应的比例调整后,再以调整后的替换模型M21来置换掉选定特征模型Mc。举例而言,假设选定特征模型Mc为鼻子的特征模型M13时,处理单元130可根据鼻子的特征模型M13的鼻翼两端得到其鼻子宽度,并根据所得的鼻子宽度调整替换模型M21的鼻子宽度,例如将替换模型M21的鼻子宽度调整至与鼻子的特征模型M13的鼻子宽度相同后,处理单元130再利用调整后的替换模型M21置换掉鼻子的特征模型M13以生成仿真三维头像模型M2,如图17所示。在另一实施例中,选定特征模型Mc为下巴的特征模型M15时,处理单元130可将替换模型M21的下巴宽度调整至与选定特征模型Mc的下巴宽度相同后,再利用调整后的替换模型M21置换掉下巴的特征模型M15以生成仿真三维头像模型M2,如图18所示。
请参阅图3与图19,于生成仿真三维头像模型M2后,处理单元130便可根据仿真三维头像模型M2与纹理对应图F1产生对应的仿真二维头像影像I5(步骤S70),并经由显示单元110显示此仿真二维头像影像I5给使用者观看其改变后的样貌(步骤S80)。
在步骤S70的一实施例中,仿真三维头像模型M2亦有相似于原始三维头像模型M1上的第一网格G1的第四网格,此仿真三维头像模型M2上的各第四网格亦与纹理对应图F1的各纹理块B1存在对应关系。如此,处理单元130可根据此对应关系将纹理对应图F1叠合于仿真三维头像模型M2产生对应的仿真二维头像影像I5。在另一实施例中,处理单元130根据所欲显示的头像角度调整仿真三维头像模型M2的角度并叠合调整角度后的仿真三维头像模型M2与纹理对应图F1,以转换出相应的仿真二维头像影像I5。
在一些实施例中,使用者可更通过输入接口170产生微调指令,以致使处理单元130可根据微调指令对仿真三维头像模型M2上的替换模型M21进行微调动作。其中,显示单元110所显示的仿真二维头像影像I5会对应于所进行的微调动作而有相应的改变。于此,使用者可致使电子装置100重复执行微调动作,直至微调出其满意的仿真三维头像模型M2。在一些实施态样中,如图19所示,使用者可通过拉动输入接口170上的微调钮来产生相应的微调指令。
在一些实施例中,使用者更可通过输入接口170调整仿真三维头像模型M2的头像角度,以致使显示单元110所显示的仿真二维头像影像I5会对应于仿真三维头像模型M2改变其显示角度,进而让使用者可从不同的角度来观看于模拟置换后的结果是否符合其预期。
在一些实施态样中,输入接口170可整并于显示单元110,例如,以触控显示器来实现。但本发明并非以此为限,在另一实施例中,输入接口170亦可为独立的输入装置,例如鼠标、触控板等。
在一些实施例中,处理单元130更可致使仿真二维头像影像I5与二维头像影像I4叠合显示,并且致使仿真二维头像影像I5中对应于替换模型M21的替换影像Is以半透明方式进行显示,使得使用者可据此比较其改变前与改变后的效果差异,如图20所示,是以虚线来绘示出呈半透明效果的替换影像Is。
请参阅图3、图21与图22,在影像显示方法的另一实施例中,处理单元130更可通过影像撷取单元120实时记录使用者的脸部U1的实时脸部影像I6(步骤S90)。并且,处理单元130可根据实时脸部影像I6的位置与角度来实时调整仿真三维头像模型M2的位置与角度,以使得仿真三维头像模型M2可实时连动于脸部U1(步骤S100)。其中,当仿真三维头像模型M2因实时连动于脸部U1于改变其位置及/或角度时,显示单元110所显示的仿真二维头像影像I5亦会对应于仿真三维头像模型M2改变其显示位置及/或角度。
因此,当使用者的脸部U1有所移动、转动或改变脸部表情时,仿真三维头像模型M2与显示单元110所显示的仿真二维头像影像I5皆可对应地变动,使得使用者可从不同角度、不同脸部表情来动态地观察其仿真置换后的结果是否仍符合预期。
在一些实施例中,处理单元130可持续分析各实时脸部影像I6,以取得实时脸部影像I6上的多个第二特征点。在一些实施态样中,处理单元130可通过相关的脸部识别算法(例如特征向量法等)对实时脸部影像I6进行脸部辨识与特征点分析,以取得多个第二特征点。其中,多个第二特征点可对应于原始三维头像模型M1上的多个第一特征点P1。因此,在步骤S100的一些实施例中,处理单元130可根据各实时脸部影像I6上的多个第二特征点来实时调整仿真三维头像模型M2的位置与角度。
在一些实施例中,处理单元130可利用屏蔽(mask)将仿真二维头像影像I5中非对应于仿真三维头像模型M2上的替换模型M21的部分遮蔽掉,以生成局部二维头像影像Ip(步骤S110)。之后,处理单元130可将局部二维头像影像Ip结合于实时脸部影像I6上(步骤S120),并将结合有局部二维头像影像Ip的实时脸部影像I6输出至显示单元110进行显示(步骤S130),而让使用者在显示单元110便能直接看到带有局部二维头像影像Ip的实时脸部影像I6,如图22所示。如此一来,使用者可随心做出任意表情,并可如照镜子一般来经由显示单元110检视其整形后的模样在做此些表情时是否亦符合使用者的预期。此外,当使用者与他人进行视讯时,使用者可不必真的进行整型,便能让他人看到其整形后的效果。
在一些实施例中,处理单元130更可根据使用者每一次使用时所产生的原始三维头像模型M1建立出属于此使用者的数据库,以方便整形医生可根据储存于此数据库中的多个原始三维头像模型M1来进行病历追踪。
在一些实施态样中,显示单元110可为任何合适的显示屏,例如LCD屏幕、LED屏幕等。处理单元130可利用SoC芯片、中央处理器(CPU)、微控制器(MCU)或特殊应用集成电路(ASIC)等来实现。此外,电子装置100可为智能型手机、笔记型计算机、平板计算机或其它合适的电子装置。
在一些实施例中,本发明任一实施例的影像显示方法可由非瞬时电脑可读取记录媒体实现。此非瞬时电脑可读取记录媒体储存有多个程序代码,以当电子装置100加载并执行多个程序代码后,此些程序代码能使电子装置100执行前述任一实施例的影像显示方法。在一实施例中,此非瞬时电脑可读取记录媒体可为电子装置100内部的储存器。在一些实施态样中,储存器可由一个或多个储存组件实现,并且各储存组件可为但不限于非挥发性内存,例如只读存储器(ROM)或闪存(Flash memory)等或挥发性内存,例如随机存取内存(RAM)。在另一实施例中,此非瞬时电脑可读取记录媒体可为远程储存组件,并且经由有线或无线的方式传输至电子装置100中。在又一实施例中,此非瞬时电脑可读取记录媒体可为电子装置100外部的储存组件,并经由电子装置100的读取器或连接器连接并存取此储存组件的程序代码。
综上所述,本发明实施例的影像显示方法、电子装置及非瞬时电脑可读取记录媒体,其通过替换模型以积木式置换方式来快速产生出模拟使用者整形后的模样的仿真三维头像模型,进而得以更快速地提供拟真的仿真二维头像影像给使用者参考其整形后的模样,并且加速了整形医生与使用者之间的整形沟通与方向设定。此外,本发明实施例的影像显示方法、电子装置及非瞬时电脑可读取记录媒体,其将仿真二维头像影像的局部二维头像影像与实时脸部影像叠合显示,使得使用者可更动态的观察其整形后的模样。
以上所述的实施例及/或实施方式,仅是用以说明实现本发明技术的较佳实施例及/或实施方式,并非对本发明技术的实施方式作任何形式上的限制,任何本领域技术人员,在不脱离本发明内容所公开的技术手段的范围,当可作些许的更动或修饰为其它等效的实施例,但仍应视为与本发明实质相同的技术或实施例。

Claims (11)

1.一种影像显示方法,其特征在于,包含:
根据一脸部的一正面脸部信息建立一原始三维头像模型,其中该原始三维头像模型包含多个第一特征点,该些第一特征点于该原始三维头像模型上形成多个第一网格,且该些第一特征点于该原始三维头像模型上划分出多个特征模型;
根据一左侧脸部影像、一右侧脸部影像与该些第一网格建立一纹理对应图;
根据一特征替换指令取得相应的一替换模型;
利用该替换模型置换该些特征模型中的一选定特征模型以生成一仿真三维头像模型;
根据该仿真三维头像模型与该纹理对应图产生对应的一仿真二维头像影像;及
显示该仿真二维头像影像。
2.如权利要求1所述的影像显示方法,其特征在于,建立该纹理对应图的步骤包含:
映像部分的该些第一特征点至该左侧脸部影像上,以于该左侧脸部影像上划分出多个第二网格;
映像部分的该些第一特征点至该右侧脸部影像上,以于该右侧脸部影像上划分出多个第三网格;
根据该些第二网格分解该左侧脸部影像成多个第一网格影像;
根据该些第三网格分解该右侧脸部影像成多个第二网格影像;
根据各该第二网格所对应的该第一网格形变该些第一网格影像;
根据各该第三网格所对应的该第一网格形变该些第二网格影像;及
根据形变后的该些第一网格影像与该些第二网格影像建立该纹理对应图。
3.如权利要求1所述的影像显示方法,其特征在于,更包含:
撷取该脸部的一实时脸部影像;及
根据该实时脸部影像的位置与角度实时调整该仿真三维头像模型的位置与角度,以使得该仿真三维头像模型实时连动于该脸部。
4.如权利要求3所述的影像显示方法,其特征在于,该实时脸部影像包含多个第二特征点,且其中根据该实时脸部影像的位置与角度实时调整该仿真三维头像模型的位置与角度的步骤,是根据该些第二特征点来调整该仿真三维头像模型的位置与角度。
5.如权利要求3所述的影像显示方法,更包含:
利用一屏蔽将该仿真二维头像影像中非对应于该替换模型的部分遮蔽掉以生成一局部二维头像影像;及
结合该局部二维头像影像于该实时脸部影像上;
其中显示该仿真二维头像影像的步骤是显示结合有该局部二维头像影像的该实时脸部影像。
6.一种电子装置,其特征在于,包含:
一显示单元;
一影像撷取单元,撷取一脸部的一左侧脸部影像与一右侧脸部影像;及
一处理单元,根据该脸部的一正面脸部信息建立包含多个第一特征点的一原始三维头像模型,其中该些第一特征点于该原始三维头像模型上形成多个第一网格,且该些第一特征点于该原始三维头像模型上划分出多个特征模型,该处理单元根据该左侧脸部影像、该右侧脸部影像与该些第一网格建立一纹理对应图,根据一特征替换指令取得相应的一替换模型,利用该替换模型置换该些特征模型中的一选定特征模型以生成一仿真三维头像模型,根据该仿真三维头像模型与该纹理对应图产生对应的一仿真二维头像影像,且致使该显示单元显示该仿真二维头像影像。
7.如权利要求6所述的电子装置,其特征在于,该处理单元更映像部分的该些第一特征点至该左侧脸部影像上,以于该左侧脸部影像上划分出多个第二网格,更映射部分的该些第一特征点至该右侧脸部影像上,以于该右侧脸部影像上划分出多个第三网格,更根据该些第二网格分解该左侧脸部影像成多个第一网格影像,更根据该些第三网格分解该右侧脸部影像成多个第二网格影像,更根据各该第二网格所对应的该第一网格形变该些第一网格影像,更根据各该第三网格所对应的该第一网格形变该些第二网格影像,且该处理单元是根据形变后的该些第一网格影像与该些第二网格影像建立该纹理对应图。
8.如权利要求6所述的电子装置,其特征在于,该影像撷取单元更撷取该脸部的一实时脸部影像,该处理单元更根据该实时脸部影像的位置与角度实时调整该仿真三维头像模型的位置与角度,以使得该仿真三维头像模型实时连动于该脸部。
9.如权利要求8所述的电子装置,其特征在于,该实时脸部影像包含多个第二特征点,且其中该处理单元是根据该些第二特征点来调整该仿真三维头像模型的位置与角度。
10.如权利要求8所述的电子装置,其特征在于,该处理单元更利用一屏蔽将该仿真二维头像影像中非对应于该替换模型的部分遮蔽掉以生成一局部二维头像影像,且该处理单元结合该局部二维头像影像于该实时脸部影像上,其中该处理单元是致使该显示单元显示结合有该局部二维头像影像的该实时脸部影像。
11.一种非瞬时电脑可读取记录媒体,其特征在于,储存多个程序代码,当一电子装置加载并执行该些程序代码时,该些程序代码致使该电子装置执行以下步骤:
根据一脸部的一正面脸部信息建立一原始三维头像模型,其中该原始三维头像模型包含多个第一特征点,该些第一特征点于该原始三维头像模型上形成多个第一网格,且该些第一特征点于该原始三维头像模型上划分出多个特征模型;
根据一左侧脸部影像、一右侧脸部影像与该些第一网格建立一纹理对应图;
根据一特征替换指令取得相应的一替换模型;
利用该替换模型置换该些特征模型中的一选定特征模型以生成一仿真三维头像模型;
根据该仿真三维头像模型与该纹理对应图产生对应的一仿真二维头像影像;及
显示该仿真二维头像影像。
CN201811171169.8A 2018-05-23 2018-10-09 影像显示方法、电子装置及非瞬时电脑可读取记录媒体 Active CN110533761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/414,947 US10789784B2 (en) 2018-05-23 2019-05-17 Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018105020847 2018-05-23
CN201810502084 2018-05-23

Publications (2)

Publication Number Publication Date
CN110533761A CN110533761A (zh) 2019-12-03
CN110533761B true CN110533761B (zh) 2024-01-12

Family

ID=68613778

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811171169.8A Active CN110533761B (zh) 2018-05-23 2018-10-09 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN201910052817.6A Active CN110533762B (zh) 2018-05-23 2019-01-21 三维头像的生成方法及电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910052817.6A Active CN110533762B (zh) 2018-05-23 2019-01-21 三维头像的生成方法及电子装置

Country Status (2)

Country Link
US (1) US11120624B2 (zh)
CN (2) CN110533761B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统
CN113436301B (zh) * 2020-03-20 2024-04-09 华为技术有限公司 拟人化3d模型生成的方法和装置
CN111696178A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 人像三维模型和仿真人像动画的生成方法、装置和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
CN104952106A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 用于提供虚拟整形手术社交网络服务的方法和装置
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN107085654A (zh) * 2017-04-06 2017-08-22 深圳创维-Rgb电子有限公司 基于人脸图像的健康分析方法及装置
WO2017175423A1 (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
CN107784630A (zh) * 2017-11-08 2018-03-09 北京奇虎科技有限公司 对人脸图像进行属性翻转的方法、装置和终端

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006034256A2 (en) * 2004-09-17 2006-03-30 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
AU2008200301A1 (en) * 2008-01-22 2009-08-06 The University Of Western Australia Image recognition
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8570343B2 (en) * 2010-04-20 2013-10-29 Dassault Systemes Automatic generation of 3D models from packaged goods product images
KR101997500B1 (ko) * 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
EP3032495B1 (en) * 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
CN104376599A (zh) 2014-12-11 2015-02-25 苏州丽多网络科技有限公司 一种简便的三维头部模型生成系统
CN104915981A (zh) 2015-05-08 2015-09-16 寇懿 基于体感传感器的三维立体发型设计方法
KR102146398B1 (ko) * 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US10318102B2 (en) * 2016-01-25 2019-06-11 Adobe Inc. 3D model generation from 2D images
US10157477B2 (en) * 2016-04-27 2018-12-18 Bellus 3D, Inc. Robust head pose estimation with a depth camera
US9959455B2 (en) * 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
CN106910247B (zh) 2017-03-20 2020-10-02 厦门黑镜科技有限公司 用于生成三维头像模型的方法和装置
CN107563328A (zh) * 2017-09-01 2018-01-09 广州智慧城市发展研究院 一种基于复杂环境下的人脸识别方法及系统
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技(深圳)有限公司 一种图像融合方法及其设备、存储介质、终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
CN104952106A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 用于提供虚拟整形手术社交网络服务的方法和装置
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
WO2017175423A1 (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
CN107085654A (zh) * 2017-04-06 2017-08-22 深圳创维-Rgb电子有限公司 基于人脸图像的健康分析方法及装置
CN107784630A (zh) * 2017-11-08 2018-03-09 北京奇虎科技有限公司 对人脸图像进行属性翻转的方法、装置和终端

Also Published As

Publication number Publication date
US20190362547A1 (en) 2019-11-28
CN110533762A (zh) 2019-12-03
CN110533762B (zh) 2023-04-21
CN110533761A (zh) 2019-12-03
US11120624B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
US9697635B2 (en) Generating an avatar from real time image data
CN109118569B (zh) 基于三维模型的渲染方法和装置
CN110517355B (zh) 用于照明混合现实对象的环境合成
JP4865093B2 (ja) 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム
JP4932951B2 (ja) 顔画像処理方法およびシステム
JP6246757B2 (ja) 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
US10366533B2 (en) Image processing device and image processing method
AU2016102387A4 (en) Augmented reality imaging system for cosmetic surgical procedures
US10789784B2 (en) Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
CN111460872A (zh) 图像处理方法及装置、图像设备及存储介质
US20200184651A1 (en) Image processing system, image processing method, and program
CN110533761B (zh) 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
CN107343148B (zh) 图像补全方法、装置和终端
JP2018195996A (ja) 画像投影装置、画像投影方法、及び、画像投影プログラム
CN111861632A (zh) 虚拟试妆方法、装置、电子设备及可读存储介质
CN108549484B (zh) 基于人体动态姿态的人机交互方法和装置
CN107343151B (zh) 图像处理方法、装置和终端
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
Jian et al. Realistic face animation generation from videos
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111696183B (zh) 投影互动方法、系统及电子设备
CN116630575A (zh) 重拓扑方法、装置、设备及存储介质
JP2003006670A (ja) 3次元像生成装置およびその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant