CN117952821A - 脸部整形效果图的生成方法、装置、计算机设备及介质 - Google Patents
脸部整形效果图的生成方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN117952821A CN117952821A CN202311703467.8A CN202311703467A CN117952821A CN 117952821 A CN117952821 A CN 117952821A CN 202311703467 A CN202311703467 A CN 202311703467A CN 117952821 A CN117952821 A CN 117952821A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- standard
- facial
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007493 shaping process Methods 0.000 title claims abstract description 160
- 230000000694 effects Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000010586 diagram Methods 0.000 title claims abstract description 46
- 230000001815 facial effect Effects 0.000 claims abstract description 207
- 238000003745 diagnosis Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 29
- 238000004088 simulation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000003631 expected effect Effects 0.000 abstract description 8
- 229940127554 medical product Drugs 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 6
- 230000003796 beauty Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 5
- 239000002537 cosmetic Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002648 combination therapy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 201000005562 gingival recession Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本说明书实施方式提供了一种脸部整形效果图的生成方法、装置、计算机设备及介质,方法包括:接收用户脸部的脸部图像;脸部图像具有指定姿态;将基准脸部模型处于指定姿态的标准轮廓线投影至脸部图像,得到在脸部图像中形成的投影轮廓线;标准轮廓线包括多个标准脸部关键点;投影轮廓线包括与多个标准脸部关键点对应的投影关键点;对应多个标准脸部关键点,从脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;根据位置差异信息和脸部图像,生成用户脸部的脸部整形效果图。如此,用户可以通过脸部整形效果图更加了解采用医美产品之后的预期效果,给用户带来了便利。
Description
技术领域
本说明书中实施方式涉及图像处理领域,特别涉及一种脸部整形效果图的生成方法、装置、计算机设备及介质。
背景技术
目前,有脸部整形需求的患者在做出脸部整形的决策之前,通常需要去到医院或具有相关资质的整形机构与医生进行沟通,然后根据相关的检查结果,由医生针对患者情况确定相应的整形方案,再由患者决定是否进行整形。
然而,相关技术中,患者在决定是否接受整形方案前,主要根据医生的介绍来想象整形效果,使得对于医美产品带来的预期效果,不是很直观。
发明内容
有鉴于此,本说明书多个实施方式致力于提供一种脸部整形效果图的生成方法、装置、计算机设备及介质,可以通过向用户展示脸部整形效果图,给用户带来了便利。
本说明书的一个实施方式提供一种脸部整形效果图的生成方法,所述方法包括:接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征所述基准脸部模型中脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
本说明书的一个实施方式提供一种脸部整形效果图的展示方法,应用于客户端,所述方法用于模拟用户脸部的整形效果;所述方法包括:获取用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;发送针对所述用户脸部的整形效果的模拟请求,以用于服务器根据所述用户脸部的脸部图像,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图,以作为所述模拟请求的响应返回至所述客户端;展示所述用户脸部的脸部整形效果图;其中,所述脸部整形效果图中显示有所述投影轮廓线。
本说明书的一个实施方式提供一种脸部整形效果图的生成装置,所述装置包括:接收模块,用于接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;投影模块,用于将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;识别模块,用于对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;生成模块,用于根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
本说明书的一个实施方式提供一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现上述任一实施方式所述的方法。
本说明书的一个实施方式提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序被处理器执行时能够实现上述任一实施方式所述的方法。
本说明书提供的多个实施方式,通过将基准脸部模型处于指定姿态的标准轮廓线投影至用户脸部的脸部图像,得到在所述脸部图像中形成的投影轮廓线,并对应标准轮廓线中的多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的脸部部位与投影轮廓线中的相应投影关键点之间的位置差异信息,进而根据位置差异信息和脸部图像,生成用户脸部的脸部整形效果图。如此,用户可以通过脸部整形效果图更加了解脸部整形后的预期效果,给用户带来了便利。
附图说明
图1为本说明书的一个实施方式提供的医疗美容服务系统的客户端界面示意图。
图2为本说明书的一个实施方式提供的医疗美容服务系统的客户端界面示意图。
图3为本说明书的一个实施方式提供的医疗美容服务系统的客户端界面示意图。
图4为本说明书的一个实施方式提供的医疗美容服务系统的客户端界面示意图。
图5为本说明书的一个实施方式提供的脸部整形效果图生成方法的示意图。
图6为本说明书的一个实施方式提供的在用户脸部图像添加投影轮廓线后的示意图。
图7为本说明书的一个实施方式提供的脸部整形效果图展示方法的示意图。
图8为本说明书的一个实施方式提供的脸部整形效果图生成装置的示意图。
图9为本说明书的一个实施方式提供的计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
脸部整形是一种广泛应用于美容和医疗领域的美容手术,通过调整脸部特定区域的形状,以改善个体的外貌。脸部整形的范围可以涵盖眼睛、鼻子嘴唇、下颌、颧骨等各个脸部部位,整形医生可以采用手术或非手术的方法,对待整形脸部部位进行针对性的调整,以实现面部外形的改善。
目前,随着社会对外貌美观的不断追求,脸部整形的需求也逐渐增加,越来越多的医院和具有相关资质的整形机构可以为患者提供脸部整形的医美产品。通常,患者在进行脸部整形之前,首先需要线下向整形外科医生进行诊疗咨询,以便于医生初步了解患者的期望、需求和健康状况,接着针对患者希望整形的脸部部位,进行拍片等评估检查,然后医生可以结合患者需求和评估检查的结果,为患者制定整形计划和方案,包括整形方式、整形过程、预期效果、整形后恢复时间以及潜在风险和并发症等,进而患者可以根据医生对于整形方案的描述,决定是否需要进行整形。
然而,在患者做出整形决策前的过程中,由于仅能通过医生的描述来理解整形后的预期效果,没有一个直观的了解,因此存在整形效果难以预期的问题,这可能会导致多方面的后果。比如,一方面,患者可能会因为担心整形之后无法达到自己预期的效果而拒绝进行整形,另一方面,如果患者整形后的真实外貌效果与其预期不符,可能在医患之间产生矛盾和纠纷,甚至还可能会影响患者的心理健康。
因此,有必要提供一种脸部整形效果图的生成方法,可以通过将基准脸部模型处于指定姿态的标准轮廓线投影至用户脸部的脸部图像,得到在所述脸部图像中形成的投影轮廓线,并对应标准轮廓线中的多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的脸部部位与投影轮廓线中的相应投影关键点之间的位置差异信息,进而根据位置差异信息和脸部图像,生成用户脸部的脸部整形效果图。如此,用户可以通过脸部整形效果图更加了解脸部整形后的效果,给用户带来了便利。
请参阅图1-图4。本说明书中提供一种脸部整形效果图的生成方法的应用场景示例。所述脸部整形效果图的生成方法可以应用于医疗美容服务系统,该系统可以为患者用户提供包括整形分析诊断、整形方案推荐、整形效果模拟等服务内容在内的整形医疗服务,该系统可以包括客户端和服务器。用户可以通过在客户端上传自身脸部的脸部图像,实时在客户端查看系统针对上传的图像进行分析生成的整形诊断结果以及相应的整形方案,并可以实时查看针对上传的图像进行模拟整形得到的效果图,以使用户可以直观地、清楚地了解预期的整形效果。
具体而言,首先如图1所示,客户端的操作界面上提供有上传用户图像的控件,用户可以通过点击该控件,将本地存储的脸部图像或将实时拍摄的脸部图像上传至客户端,用户可以上传处于某一个姿态的脸部图像,如正脸图像,也可以上传分别处于多个姿态的多张脸部图像,如正脸图像和侧脸图像。在一些联合整形场景下,如牙齿矫正配合上下颌骨的轻微整形,用户还可以在操作界面上传自身牙齿图像。
上传完成后,用户可以通过点击生成诊断结果的控件,查看针对上传的脸部图像的整形诊断结果和整形方案。在同时上传了牙齿图像的情况下,还可以查看针对牙齿图像的口腔诊断结果,以及基于脸部整形诊断结果和口腔诊断结果的联合整形方案。
当用户点击整形诊断的控件后,系统可以基于用户在客户端上传的用户脸部图像,识别出其相对于基准脸部模型的差异信息,其中,基准脸部模型可以由点和线构成,并可以与用户脸部图像处于同一姿态。具体的,可以将处于与用户脸部图像的同一姿态的基准脸部模型的标准轮廓线投影至用户的脸部图像,得到投影轮廓线。进一步的,可以识别出用户脸部图像中的各个脸部部位的特征点相对于构成投影轮廓线的投影关键点之间的位置偏离,以作为用户脸部图像相对于基准脸部模型的差异信息,也可以识别出用户脸部图像中的脸部轮廓线与特征点形成的各角度,相对于投影轮廓线与投影关键点形成的各角度之间的偏差,以作为所述差异信息。
进一步的,以基准脸部模型为标准,根据所述差异信息,系统可以分析出用户脸部图像中各个部位可能存在的问题,以将其作为依据,生成脸部整形诊断结果以及整形方案,并在客户端的界面中显示。在同时上传了牙齿图像的情况下,系统还可以识别出用户牙齿图像相对于基准牙齿模型图像的差异信息,并生成口腔诊断结果。考虑到一些情况下,例如牙齿突出,单纯针对脸部整形可能难以实现较好的整形效果,此时系统可以结合脸部整形诊断结果和口腔诊断结果,进一步生成针对用户脸部的联合整形方案并在客户端显示,以使得整形方案更加完善。
如图2所示,响应于用户的点击操作,客户端可以展示诊断结果的界面,该界面显示有整形诊断结果以及整形方案,整形诊断结果可以包括脸部诊断结果和口腔诊断结果,用户可以通过点击该界面的口腔诊断按钮切换至如图3所示的口腔诊断结果界面。例如,图2中的整形诊断结果显示“脸部正面不对称,侧面骨性上颌后缩,下颌前突。骨性III类,下颌发育过度,骨性脸偏”,整形方案显示“正颌正畸联合治疗”以及针对该方案的详细描述。图3中的诊断结果显示多个维度的口腔情况的描述,可以看出该用户的口腔存在“部分牙齿拥挤和错位、牙龈红肿、有牙龈退缩现象”的问题。图2和图3的界面还分别显示有用户上传的脸部图像与牙齿图像,并且根据诊断结果,在脸部图像中相应的位置显示有标记,以便于用户能够直观地了解哪些地方可能存在诊断结果中指出的问题。与此同时,图2和图3的界面中还提供有整形效果模拟的控件,用户通过点击该控件可以查看针对用户上传的脸部图像生成的脸部整形效果图。
当用户点击整形效果模拟的控件后,系统可以调用指定图像生成模型,根据用户最初上传的自身脸部图像,以及所述差异信息构造相应的提示指令,以指示模型对用户脸部图像进行调整,生成脸部整形效果图。
如图4所示,客户端可以在用户点击整形效果模拟的控件后跳转至模拟整形界面,在该界面中,可以展示脸部整形效果图,以使用户可以直观清楚地了解预期的整形效果,作为整形决策的参考。该界面中展示的脸部整形效果图可以是单独的整形后的预期效果图,也可以是将整形前和预期整形后的图像放在一起的对比效果图。当然,也可以和图3中一样,在效果图界面提供模拟整形的开关按钮,用户可以通过点击模拟整形开启模拟整形效果,进而查看预期整形后的图像。或者,用户如果点击关闭整形可以关闭模拟整形效果,此时则还是展示原始脸部图像。与此同时,在该界面所展示的脸部整形效果图中,还可以显示有基准脸部模型投影至脸部图像中形成的投影轮廓线,用户可以通过观察该投影轮廓线与脸部整形效果图中用户脸部轮廓的贴合程度,更加清晰地了解预期整形效果。
进一步的,在该界面中展示的脸部整形效果图还可以是立体效果图,用户可以通过对效果图进行向左或向右滑动的操作,旋转效果图角度,从不同的视角查看脸部整形效果图,以全方位地了解整形预期效果。此外,该界面还显示有针对整形方案的医生推荐信息和整形机构推荐信息,以方便用户进行筛选。
本说明书实施方式提供一种医疗美容服务系统。所述医疗美容服务系统可以包括客户端和服务器。所述客户端可以是具有网络访问能力的电子设备。具体的,例如,客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中,智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者,客户端也可以为能够运行于所述电子设备中的软件。服务器可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然,所述服务器也可以是指运行于所述电子设备中的软体。所述服务器还可以为分布式服务器,可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者,服务器还可以为若干服务器形成的服务器集群。或者,随着科学技术的发展,服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如,可以是基于量子计算实现的新形态的“服务器”。
请参阅图5和图6。本说明书的一个实施方式提供一种脸部整形效果图的生成方法。所述脸部整形效果图的生成方法可以针对用户的脸部图像进行整形效果的模拟。所述脸部整形效果图的生成方法可以包括以下步骤。
步骤S110:接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态。
在一些情况下,通过接收用户脸部的脸部图像,可以将其作为模拟整形效果以及分析整形方案的基准,进而可以在该脸部图像所呈现出的用户脸部轮廓及样貌基础之上,进行整形的分析与模拟。
在本实施方式中,用户脸部的脸部图像可以用于反映患者用户脸部整体以及各个脸部部位的基本样貌情况,以针对性地进行整形诊断分析和整形效果的模拟。具体的,用户脸部的脸部图像可以是用户实时拍摄的照片,也可以是一些专业的脸部扫描图像或者深度图像。
在本实施方式中,脸部图像可以具有指定姿态。所述指定姿态可以用于确定接收到的脸部图像的所处的视角,以便于在进行后续的差异比对分析时,使基准脸部模型与脸部图像保持同一姿态。具体的,脸部图像的指定姿态可以理解为脸部图像中人脸所处的视角或者在各个方向上的旋转角度。具体的,例如,所述指定姿态可以是脸部正面姿态或者侧面姿态,也可以是仰头姿态或者低头姿态,进一步的,以侧面姿态为例,还可以根据与正脸的旋转角度不同,区分不同的侧面姿态。
在本实施方式中,所述接收用户脸部的脸部图像,可以是由服务器接收客户端发送的脸部图像,也可以是客户端接收用户上传的脸部图像,还可以是接收第三方服务器发送的脸部图像。
步骤S120:将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征所述基准脸部模型中脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点。
在一些情况下,通过将基准脸部模型处于所述指定姿态的标准轮廓线投影至脸部图像中,可以将用户脸部图像中各个脸部部位与投影后在脸部图像中形成的投影轮廓线进行差异比对和分析,以得到用户脸部各部位相对于标准脸部模型的差异信息,进而可以针对用户脸部图像进行调整,以实现脸部整形模拟。
在本实施方式中,基准脸部模型可以用于作为调整用户脸部图像的参考标准模型。具体的,可以将所述基准脸部模型作为用户脸部的参照或比对的对象,识别出二者之间的差异,进而可以结合整形方案,通过在整形效果图中缩小该差异,实现整形效果的模拟。所述基准脸部模型可以预设在系统内部,也可以通过实时调用外部服务器获取到。所述基准脸部模型可以是由点、线构成的轮廓几何模型,也可以是三维的体素模型等其他类型的模型。
在本实施方式中,构建基准脸部模型的标准可以是符合大众审美的通用标准。具体的,例如,构建基准脸部模型,可以结合符合西方审美的马夸特面具模型和符合中国人传统审美的三庭五眼标准,通过设定一系列脸部关键点,以生成标准的脸部轮廓曲线,进而构建出所述基准脸部模型。当然在一些实施方式中,也可以根据用户自身喜好实时进行模型的构建。具体的,例如,可以在客户端提供相应的模型参数设置选项,用户可以自由进行设置,系统可以根据用户设置的参数生成相应的基准脸部模型。
在本实施方式中,标准轮廓线可以是基准脸部模型的脸部轮廓曲线,以用于表示脸部的标准轮廓和形状。具体的,所述标准轮廓线可以包括多个脸部部位的轮廓线,以反映出基准脸部模型中各个脸部部位的形状和结构等特征。具体的,例如,标准轮廓线可以包括眼睛轮廓线、脸颊轮廓线、上下颌轮廓线等。
在本实施方式中,所述标准轮廓线可以直接从点线构成的基准脸部模型中直接得到,也可以从其他类型的模型中通过边缘线提取等方式得到。
在本实施方式中,标准脸部关键点可以是构成所述标准轮廓线的脸部特征点,每个标准脸部关键点可以用于表征基准脸部模型的一个标准脸部关键部位,以标识该部位在脸部的特定位置。具体的,例如,标准脸部关键点可以包括眼角点、眼中心、嘴角、嘴唇中心点、下颌点等等。
在本实施方式中,投影轮廓线可以用于表示所述标准轮廓线在用户脸部图像中的映射结果。具体的,所述投影轮廓线的形状可以与标准轮廓线保持一致,大小可以与标准轮廓线成一定比例,以使所述投影轮廓线的大小与用户脸部图像相匹配。
在本实施方式中,投影关键点可以用于表示标准脸部关键点在用户脸部图像中的映射点。具体的,与标准轮廓线所包括的标准脸部关键点所对应,作为标准轮廓线的投影线,投影轮廓线也可以由多个与标准脸部关键点一一对应的投影关键点所构成。
可以理解,投影轮廓线和投影关键点可以作为在用户的脸部图像中,衡量用户脸部部位相对于标准脸部部位差异性的基准,可以以投影轮廓线和投影关键点为参考标准,对用户脸部图像中的脸部部位进行调整,以缩小与标准脸部部位的差异,实现用户脸部的整形模拟。
在本实施方式中,由于投影轮廓线相对于标准轮廓线可以具有不同的大小比例,因此在投影轮廓线中,各投影关键点之间的相对位置关系,与标准轮廓线中标准脸部关键点的相对位置关系可以不同。
在本实施方式中,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线的步骤,可以先将标准轮廓线投影到脸部图像中,得到在脸部图像中的参考轮廓线,再以从用户脸部图像中提取的实际脸部轮廓线为参考基准,将所述参考轮廓线调整至与实际脸部轮廓线相匹配的比例和位置,以得到所述投影轮廓线。当然,在一些实施方式中,可以仅仅识别出实际脸部轮廓线,而无需在用户脸部图像中绘制所述实际脸部轮廓线。
在一些实施方式中,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线的步骤,也可以先从用户脸部图像中识别出表征各个脸部部位的实际脸部特征点,其中,每个脸部部位对应的实际脸部特征点和标准脸部关键点可以作为一组脸部部位特征点,再分别基于每个脸部部位对应的每组脸部部位特征点中的实际脸部特征点与标准脸部关键点间的对应关系,利用仿射变换或透视变换将处于指定姿态的基准脸部模型进行平移、旋转、缩放等变换,以使基准脸部模型与用户脸部图像的实际脸部特征点对应,然后根据变换后的基准脸部模型的脸部关键点的位置,连接以形成标准轮廓线在用户脸部图像中的投影轮廓线。
在一些实施方式中,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线的步骤还可以包括:根据所述基准脸部模型中与所述指定姿态对应的标准脸部关键点,在所述脸部图像中识别出所述用户脸部的实际脸部特征点;其中,所述实际脸部特征点用于表征所述脸部图像中用户脸部的部位;基于所述实际脸部特征点,确定所述投影轮廓线在所述脸部图像中的位置。
在一些实施方式中,与所述标准轮廓线中的标准脸部关键点类似,实际脸部特征点可以用于表征脸部图像中用户脸部的部位,以标识该部位在用户脸部的特定位置。具体的,例如,实际脸部特征点也同样可以包括眼角点、眼中心、嘴角、嘴唇中心点、下颌点等这些脸部部位。
在一些实施方式中,通过从用户脸部的脸部图像中识别出实际脸部特征点,可以以实际脸部特征点在脸部图像中的位置作为将标准轮廓线向脸部图像进行投影的投影位置基准,并根据表征同一脸部部位的实际脸部特征点与标准脸部关键点之间的对应关系,确定标准轮廓线的投影比例与投影位置,以确定所述投影轮廓线在所述脸部图像中的位置。
在一些实施方式中,根据所述基准脸部模型中与所述指定姿态对应的标准脸部关键点,在所述脸部图像中识别出所述用户脸部的实际脸部特征点的步骤中,可以基于传统的图像梯度和边缘检测技术提取出表征用户各个脸部部位的实际脸部特征点。根据所述基准脸部模型中与所述指定姿态对应的标准脸部关键点,在所述脸部图像中识别出所述用户脸部的实际脸部特征点,还可以基于深度学习方法,如使用卷积神经网络(CNN)或人脸关键点检测网络(Face Alignment Network)进行关键点检测,以得到实际脸部特征点。
在一些实施方式中,基于所述实际脸部特征点,确定所述投影轮廓线的位置的步骤包括:从所述实际脸部特征点中确定基准脸部特征点;其中,所述基准脸部特征点用于表征所述脸部图像中,与所述基准脸部模型中脸部的部位相匹配的用户脸部的部位;将所述基准脸部特征点作为所述标准轮廓线在所述脸部图像中的投影位置基准,确定所述投影轮廓线在所述脸部图像中的位置。
在一些情况下,为了确定标准轮廓线在脸部图像中的投影位置,可以通过从用户脸部图像的实际脸部特征点中找到多个基准点,作为投影轮廓线的位置基准,根据基准点的位置作为参考,便可以固定投影轮廓线形成的位置,进而对标准轮廓线进行适应性调整就可以得到所述投影轮廓线。
在一些实施方式中,基准脸部特征点可以是用户脸部的脸部图像中的多个实际脸部特征点中的一个或多个,以表征脸部图像中与基准脸部模型中脸部的部位相匹配的用户脸部的部位。具体的,脸部图像中与基准脸部模型中脸部的部位相匹配的用户脸部的部位可以理解为脸部图像中的各脸部部位与对应的基准脸部模型的各脸部部位中匹配程度或相似程度较高的部位。具体的,例如,用户的脸部图像中的左眼角部位与基准脸部模型中的左眼角部位相匹配,则左眼角部位对应的实际脸部特征点就可以作为基准脸部特征点。
在一些实施方式中,从所述实际脸部特征点中确定基准脸部特征点的步骤,可以是将实际脸部特征点所表征的脸部部位中,处于一些中心点位置的特征点作为基准脸部特征点。具体的,例如,可以将眉心点、下颌点、嘴唇中心点等作为基准脸部特征点。
在一些实施方式中,将所述基准脸部特征点作为所述标准轮廓线在所述脸部图像中的投影位置基准,确定所述投影轮廓线在所述脸部图像中的位置的步骤,可以包括,先将标准轮廓线直接平移到脸部图像中,得到参考轮廓线;调整参考轮廓线的比例和位置,使参考轮廓线与基准脸部特征点的位置相匹配,以将调整后的参考轮廓线作为投影轮廓线。具体的,可以通过平移、缩放、旋转等方式对参考轮廓线的比例和位置进行调整,以使调整后的参考轮廓线能够覆盖基准脸部特征点,则可以将其作为投影轮廓线。
在一些实施方式中,从所述实际脸部特征点中确定基准脸部特征点的步骤,还可以包括:分别将所述实际脸部特征点表征的脸部部位,与所述基准脸部模型中相应的脸部部位进行匹配,以得到相似脸部部位;将用于表征所述相似脸部部位的实际脸部特征点作为所述基准脸部特征点。
在一些情况下,可以基于脸部部位的相似度匹配,确定用户脸部的脸部图像与基准脸部模型中相似程度较高的脸部部位,进而将其对应的实际脸部特征点作为基准脸部特征点,以确定投影轮廓线的位置,可以使基准脸部特征点的位置对于确定投影轮廓线位置来说更加准确。
在一些实施方式中,所述相似脸部部位可以用于确定基准脸部特征点。通过分别将所述实际脸部特征点表征的脸部部位,与所述基准脸部模型中相应的脸部部位进行匹配,可以得到相似脸部部位。具体的,可以对应各个脸部部位,分别计算脸部图像中脸部部位与基准脸部模型中相同的脸部部位之间的相似度,并筛选出相似度较高的脸部部位,作为相似脸部部位。具体的,可以通过预设相似度阈值来进行筛选,将相似度超过预设阈值的脸部部位作为相似脸部部位。
在一些实施方式中,将所述基准脸部特征点作为所述标准轮廓线在所述脸部图像中的投影位置基准,确定所述投影轮廓线在所述脸部图像中的位置的步骤,还可以包括:基于所述基准脸部特征点,对齐相应的标准脸部关键点在所述脸部图像中的投影位置,以确定至少部分投影关键点;参考所述至少部分投影关键点,将所述标准轮廓线进行缩放,得到所述投影轮廓线;根据所述至少部分投影关键点在所述脸部图像中的位置,确定所述投影轮廓线的位置。
在一些实施方式中,基于所述基准脸部特征点,对齐相应的标准脸部关键点在所述脸部图像中的投影位置,以确定至少部分投影关键点,可以是将基准脸部特征点在用户脸部的脸部图像中的位置,作为与所述基准脸部特征点所表征的脸部部位相对应的标准脸部关键点在脸部图像中的投影位置,即映射点,如此,可以进一步将所述标准脸部关键点的投影位置确定为投影关键点在脸部图像中的位置,从而确定至少部分投影关键点。
在一些实施方式中,参考所述至少部分投影关键点,将所述标准轮廓线进行缩放,得到所述投影轮廓线,可以是参考所述至少部分投影关键点,调整标准轮廓线比例,以使所述至少部分投影关键点在调整后的标准轮廓线中的位置,与相应的标准脸部关键点在标准轮廓线中的位置保持一致。如此,进而可以将调整后的标准轮廓线作为所述投影轮廓线。
在一些实施方式中,根据所述至少部分投影关键点在所述脸部图像中的位置,确定所述投影轮廓线的位置的步骤,可以通过对所述投影轮廓线进行平移,以使平移后所述投影轮廓线在用户脸部的脸部图像中所处的位置覆盖所述至少部分投影关键点,从而可以将该位置确定为所述投影轮廓线的位置。
步骤S130:对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
在一些情况下,通过识别标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息,可以将差异信息作为调整用户脸部图像的依据,以使调整脸部图像后的用户脸部能够接近基准脸部模型,以实现脸部整形的效果模拟。
在本实施方式中,所述位置差异信息可以用于表示用户脸部的脸部图像中的脸部部位相对于基准脸部模型中的相应脸部部位的位置差异。具体的,所述位置差异信息可以包括脸部图像中的实际脸部特征点相对于相应投影关键点之间的位置偏移量,也可以包括脸部图像中投影轮廓线与投影关键点形成的角度,相对于所述脸部图像的用户实际脸部轮廓线与实际脸部特征点形成的角度的偏差量。
在一些实施方式中,对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息的步骤,可以包括:对应所述多个标准脸部关键点,分别计算出所述脸部图像中,实际脸部特征点相对于相应的投影关键点的位置偏移量,以得到所述标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
在一些实施方式中,所述位置偏移量可以包括实际脸部特征点相对于相应投影关键点之间的距离,当然,所述位置偏移量也可以是矢量形式,还包括偏移的方向,或者可以建立坐标系,以坐标数据的形式表示位置偏移量。
在一些实施方式中,对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息的步骤,还可以包括:从所述脸部图像中获取用户脸部的实际脸部轮廓线;其中,所述实际脸部轮廓线包括多个实际脸部特征点;对应所述多个标准脸部关键点,分别计算出所述脸部图像中,投影轮廓线与投影关键点形成的角度,相对于实际脸部轮廓线与实际脸部特征点形成的角度的偏差量,以得到所述标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
在一些情况下,仅依靠实际脸部特征点相对于相应的投影关键点的位置偏移量,可能不足以完全体现出用户脸部的脸部图像中的脸部部位相对于基准脸部模型中的相应脸部部位的位置差异,因此还需要将脸部图像中的投影轮廓线与投影关键点形成的角度,相对于实际脸部轮廓线与实际脸部特征点形成的角度的偏差量一并作为所述位置差异信息,可以使得差异分析的结果更加精确。
在一些实施方式中,所述实际脸部轮廓线可以表示用户脸部的轮廓与形状。从所述脸部图像中获取用户脸部的实际脸部轮廓线,可以基于边缘检测算法,针对用户脸部的脸部图像进行轮廓线提取,以得到实际脸部轮廓线,也可以通过调用第三方的图像识别模型对轮廓线进行识别,以得到实际脸部轮廓线。
在一些实施方式中,实际脸部轮廓线与实际脸部特征点形成的角度,可以理解为,将实际脸部特征点作为形成角的公共顶点,与经过该点的实际脸部轮廓线之间形成的夹角的角度。具体的,例如,假设用户的脸部图像为侧脸的图像,以鼻下点为例,经过该点的实际脸部轮廓线可以是鼻下点上方的鼻梁位置的曲线,以及下方的向人中延伸的曲线,则一般来说,这时它们形成的角度可以是90度左右的角度。
步骤S140:根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
在一些情况下,基于位置差异信息,可以对脸部图像中各个部位进行调整,以使调整后的脸部图像轮廓外形与基准脸部模型更加相似,如此,可以实现整形效果的模拟,并可以将调整后的图像作为用户脸部的脸部整形效果图。
在本实施方式中,根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图,可以是根据所述位置差异信息,将所述脸部图像中的实际脸部特征点和实际脸部轮廓线调整到与投影关键点和投影轮廓线相一致的位置,再基于图像处理中的平滑滤波技术对生成的效果图进行平滑处理,以确保整体效果看起来自然流畅,从而得到所述脸部整形效果图。
在一些实施方式中,根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图的步骤,可以包括:根据所述位置差异信息和所述脸部图像构造的提示指令,调用指定图像生成模型,得到所述用户脸部的脸部整形效果图;所述提示指令用于指示指定图像生成模型基于所述位置差异信息,对所述脸部图像中相应的脸部部位进行调整,以生成针对所述用户脸部的脸部整形效果图。
在一些实施方式中,所述指定图像生成模型可以用于根据输入的提示指令,输出相应的结果。具体的,所述指定图像生成模型可以根据输入的所述位置差异信息内容和用户脸部图像构造的提示指令,输出调整后的用户脸部图像,以作为针对所述用户脸部的脸部整形效果图。所述指定图像生成模型可以是基于AIGC技术的具有生成图像内容的模型。具体的,例如,所述指定图像生成模型可以是Midjourney、Stable Diffusion等AI绘图模型。
在一些实施方式中,所述提示指令可以根据所述位置差异信息和所述脸部图像进行构造。所述提示指令表达内容可以是结合所述位置差异信息,对所述脸部图像中相应的脸部部位进行调整的命令。具体的,例如,所述提示指令内容可以包括如下示例模板:将下面的脸部图像中的......部位沿......方向上调整......。
在一些实施方式中,所述脸部整形效果图的生成方法还包括:接收用户牙齿图像;其中,所述牙齿图像处于指定视角;将所述用户牙齿图像与处于所述指定视角的基准牙齿模型图像进行比对,得到所述用户牙齿图像相对于基准牙齿模型图像的差异信息;根据所述差异信息和所述用户牙齿图像,生成针对用户牙齿的整形诊断结果;根据所述位置差异信息和所述脸部图像,生成针对所述用户脸部的整形诊断结果;结合所述用户脸部的整形诊断结果和所述针对用户牙齿的整形诊断结果,生成针对用户脸部的联合整形方案。
在一些情况下,对于一些口腔内存在牙齿突出等牙齿外形问题的用户来说,单纯依靠脸部的整形可能也难以将其脸部外形调整至相对较为满意的状态,这时可能需要牙齿整形同时介入,进行联合整形治疗。因此,通过将用户的牙齿图像与基准牙齿模型图像进行比对,可以得到牙齿差异信息,并生成相应的牙齿整形诊断结果,再结合基于脸部的位置差异信息生成的脸部整形诊断结果,可以生成针对用户脸部的联合整形方案,以实现针对这类患者用户的联合整形诊断。
请参阅图7。本说明书的一个实施方式提供一种脸部整形效果图的展示方法。所述脸部整形效果图的展示方法可以应用于客户端,以用于模拟用户脸部的整形效果。所述脸部整形效果图的展示方法可以包括以下步骤。
S210:获取用户脸部的脸部图像;其中,所述脸部图像具有指定姿态。
S220:发送针对所述用户脸部的整形效果的模拟请求,以用于服务器根据所述用户脸部的脸部图像,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图,以作为所述模拟请求的响应返回至所述客户端。
S230:展示所述用户脸部的脸部整形效果图;其中,所述脸部整形效果图中显示有所述投影轮廓线。
在本实施方式中,在客户端展示给用户的脸部整形效果图中,还可以显示有投影轮廓线,如此,用户可以更加清楚地看到整形前后,自身脸部轮廓相对于基准脸部模型的差异变化的预期效果,以进一步提升用户对于整形效果的预期。
在本实施方式中,具体的对照解释和说明与前述实施方式类似,可以参照前述实施方式中内容,在此不再赘述。
请参阅图8。本说明书的一个实施方式还提供一种脸部整形效果图的生成装置,所述装置可以包括以下模块。
接收模块,用于接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态。
投影模块,用于将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点。
识别模块,用于对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
生成模块,用于根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
关于脸部整形效果图的生成装置实现的具体功能和效果,可以参照本说明书其他实施方式对照解释,在此不再赘述。所述脸部整形效果图的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。所述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本说明书实施方式还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述任一实施方式中的脸部整形效果图的生成方法或脸部整形效果图的展示方法。
本说明书实施方式还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述任一实施方式中的脸部整形效果图的生成方法或脸部整形效果图的展示方法。
请参阅图9。本说明实施方式可以提供一种计算机设备,所述计算机设备包括:存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,该指令被该一个或多个处理器执行,以使该一个或多个处理器实现上述任一实施方式中的脸部整形效果图的生成方法或脸部整形效果图的展示方法。
在一些实施方式中,所述计算机设备可以包括被系统总线连接的处理器、非易失性存储介质、内存储器、通信接口、显示装置和输入装置。所述非易失性存储介质可以存储有操作系统和相关的计算机程序。
本说明书多个实施方式中所涉及的用户信息或者用户账户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据等),均为经过用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律规定和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
可以理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本说明书实施方式,而非限制本发明的范围。
可以理解,在本说明书中的各种实施方式中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本说明书实施方式的实施过程构成任何限定。
可以理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本说明书实施方式对此并不限定。
除非另有说明,本说明书实施方式所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本说明书实施方式和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
可以理解,本说明书实施方式的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施方式的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本说明书实施方式中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasablePROM,EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施方式描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本说明书的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
在本说明书所提供的几个实施方式中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本说明书的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本说明书的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种脸部整形效果图的生成方法,其特征在于,所述方法包括:
接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;
将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征所述基准脸部模型中脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;
对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;
根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
2.根据权利要求1所述的方法,其特征在于,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线的步骤包括:
根据所述基准脸部模型中与所述指定姿态对应的标准脸部关键点,在所述脸部图像中识别出所述用户脸部的实际脸部特征点;其中,所述实际脸部特征点用于表征所述脸部图像中用户脸部的部位;
基于所述实际脸部特征点,确定所述投影轮廓线在所述脸部图像中的位置。
3.根据权利要求2所述的方法,其特征在于,基于所述实际脸部特征点,确定所述投影轮廓线的位置的步骤包括:
从所述实际脸部特征点中确定基准脸部特征点;其中,所述基准脸部特征点用于表征所述脸部图像中,与所述基准脸部模型中脸部的部位相匹配的用户脸部的部位;
将所述基准脸部特征点作为所述标准轮廓线在所述脸部图像中的投影位置基准,确定所述投影轮廓线在所述脸部图像中的位置。
4.根据权利要求3所述的方法,其特征在于,从所述实际脸部特征点中确定基准脸部特征点的步骤包括:
分别将所述实际脸部特征点表征的脸部部位,与所述基准脸部模型中相应的脸部部位进行匹配,以得到相似脸部部位;
将用于表征所述相似脸部部位的实际脸部特征点作为所述基准脸部特征点。
5.根据权利要求3所述的方法,其特征在于,将所述基准脸部特征点作为所述标准轮廓线在所述脸部图像中的投影位置基准,确定所述投影轮廓线在所述脸部图像中的位置的步骤包括:
基于所述基准脸部特征点,对齐相应的标准脸部关键点在所述脸部图像中的投影位置,以确定至少部分投影关键点;
参考所述至少部分投影关键点,将所述标准轮廓线进行缩放,得到所述投影轮廓线;
根据所述至少部分投影关键点在所述脸部图像中的位置,确定所述投影轮廓线的位置。
6.根据权利要求1所述的方法,其特征在于,对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息的步骤包括:
对应所述多个标准脸部关键点,分别计算出所述脸部图像中,实际脸部特征点相对于相应的投影关键点的位置偏移量,以得到所述标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
7.根据权利要求6所述的方法,其特征在于,对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息的步骤还包括:
从所述脸部图像中获取用户脸部的实际脸部轮廓线;其中,所述实际脸部轮廓线包括多个实际脸部特征点;
对应所述多个标准脸部关键点,分别计算出所述脸部图像中,投影轮廓线与投影关键点形成的角度,相对于实际脸部轮廓线与实际脸部特征点形成的角度的偏差量,以得到所述标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息。
8.根据权利要求1所述的方法,其特征在于,根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图的步骤包括:
根据所述位置差异信息和所述脸部图像构造的提示指令,调用指定图像生成模型,得到所述用户脸部的脸部整形效果图;所述提示指令用于指示指定图像生成模型基于所述位置差异信息,对所述脸部图像中相应的脸部部位进行调整,以生成针对所述用户脸部的脸部整形效果图。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收用户牙齿图像;其中,所述牙齿图像处于指定视角;
将所述用户牙齿图像与处于所述指定视角的基准牙齿模型图像进行比对,得到所述用户牙齿图像相对于基准牙齿模型图像的差异信息;
根据所述差异信息和所述用户牙齿图像,生成针对用户牙齿的整形诊断结果;
根据所述位置差异信息和所述脸部图像,生成针对所述用户脸部的整形诊断结果;
结合所述用户脸部的整形诊断结果和所述针对用户牙齿的整形诊断结果,生成针对用户脸部的联合整形方案。
10.一种脸部整形效果图的展示方法,其特征在于,应用于客户端,所述方法用于模拟用户脸部的整形效果;所述方法包括:
获取用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;
发送针对所述用户脸部的整形效果的模拟请求,以用于服务器根据所述用户脸部的脸部图像,将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图,以作为所述模拟请求的响应返回至所述客户端;
展示所述用户脸部的脸部整形效果图;其中,所述脸部整形效果图中显示有所述投影轮廓线。
11.一种脸部整形效果图的生成装置,其特征在于,所述装置包括:
接收模块,用于接收用户脸部的脸部图像;其中,所述脸部图像具有指定姿态;
投影模块,用于将基准脸部模型处于所述指定姿态的标准轮廓线投影至所述脸部图像,得到在所述脸部图像中形成的投影轮廓线;其中,所述标准轮廓线包括多个标准脸部关键点;多个标准脸部关键点分别用于表征脸部的部位;所述投影轮廓线包括与多个标准脸部关键点对应的投影关键点;
识别模块,用于对应所述多个标准脸部关键点,从所述脸部图像识别出标准脸部关键点表征的部位与相应投影关键点之间的位置差异信息;
生成模块,用于根据所述位置差异信息和所述脸部图像,生成所述用户脸部的脸部整形效果图。
12.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序被处理器执行时能够实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311703467.8A CN117952821A (zh) | 2023-12-12 | 2023-12-12 | 脸部整形效果图的生成方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311703467.8A CN117952821A (zh) | 2023-12-12 | 2023-12-12 | 脸部整形效果图的生成方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117952821A true CN117952821A (zh) | 2024-04-30 |
Family
ID=90802589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311703467.8A Pending CN117952821A (zh) | 2023-12-12 | 2023-12-12 | 脸部整形效果图的生成方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117952821A (zh) |
-
2023
- 2023-12-12 CN CN202311703467.8A patent/CN117952821A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704876B2 (en) | Mobile device for viewing of dental treatment outcomes | |
WO2019141106A1 (zh) | 基于c/s架构的牙齿美化ar智能辅助方法及装置 | |
CN112087985B (zh) | 经由实时增强可视化的模拟正畸处理 | |
US8711178B2 (en) | System and method for generating profile morphing using cephalometric tracing data | |
US11666417B2 (en) | Method for analysing a dental situation | |
US20230386045A1 (en) | Systems and methods for automated teeth tracking | |
US20210186658A1 (en) | Method for analysing a dental situation | |
US20220378548A1 (en) | Method for generating a dental image | |
Hayes | A geometric morphometric evaluation of the Belanglo ‘Angel’facial approximation | |
CN117952821A (zh) | 脸部整形效果图的生成方法、装置、计算机设备及介质 | |
US20230248475A1 (en) | Method for manufacturing an orthodontic appliance | |
RU2610911C1 (ru) | Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства | |
US20220175491A1 (en) | Method for estimating and viewing a result of a dental treatment plan | |
TWI644285B (zh) | Acupuncture visualization Chinese medicine system and method thereof by using AR technology | |
KR20220118276A (ko) | 이미지 처리 방법 및 이를 이용한 장치 | |
Zhang et al. | E-faceatlasAR: extend atlas of facial acupuncture points with auricular maps in augmented reality for self-acupressure | |
TW202122040A (zh) | 臉部肌肉狀態分析與評價方法 | |
KR20220057390A (ko) | 이미지 처리 방법 및 이를 사용한 장치 | |
Amirkhanov et al. | Visual analytics in dental aesthetics | |
CN114494601B (zh) | 基于人脸图像的三维人脸检索正畸矫正和疗效模拟系统 | |
EP4385456A1 (en) | Facial shape classification method and denture design device therefor | |
TW201905851A (zh) | 以ar技術實現穴道視覺化之方法 | |
CN114582498A (zh) | 矫正方案的生成方法、展示方法、装置和计算机设备 | |
Akgün et al. | Face comparison analysis of patients with orthognathic surgery treatment using cloud computing–based face recognition application programming interfaces | |
CN114664454A (zh) | 一种口腔正畸过程中颌面部软组织三维模型的模拟方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |