CN109242789A - 图像处理方法、图像处理装置及存储介质 - Google Patents
图像处理方法、图像处理装置及存储介质 Download PDFInfo
- Publication number
- CN109242789A CN109242789A CN201810954890.8A CN201810954890A CN109242789A CN 109242789 A CN109242789 A CN 109242789A CN 201810954890 A CN201810954890 A CN 201810954890A CN 109242789 A CN109242789 A CN 109242789A
- Authority
- CN
- China
- Prior art keywords
- bridge
- nose
- face
- key point
- nose line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000001815 facial effect Effects 0.000 claims abstract description 45
- 230000003416 augmentation Effects 0.000 claims abstract description 43
- 238000002435 rhinoplasty Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 12
- 210000001331 nose Anatomy 0.000 description 213
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000000216 zygoma Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G06T5/77—
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
一种图像处理方法、图像处理装置及存储介质。该图像处理方法包括：获取输入图像中人脸的人脸关键点以及人脸朝向；基于人脸关键点获取人脸的鼻梁线；基于人脸朝向和鼻梁线，得到至少一条调整后的鼻梁线；根据调整前的鼻梁线和至少一条调整后的鼻梁线，对输入图像中的人脸执行形变处理以实现隆鼻。该图像处理方法可以实现对图像中的人脸进行隆鼻美颜的效果。
Description
技术领域
本公开的实施例涉及一种图像处理方法、图像处理装置及存储介质。
背景技术
随着电子科技水平的不断提高，人脸美颜已经是许多拍照或修图软件中的一个常用功能。例如，传统的美颜算法通常可以实现大眼瘦脸、调节肤色、磨皮美白、祛斑祛痘、淡化黑眼圈以及瘦鼻等多项功能，大大地提高了图片的美颜效果，因此被越来越广泛地应用在各种电子设备中，以供用户选择和使用。该电子设备例如可以为智能手机、平板电脑、数码相机等。
鼻子在人脸的五官中占据重要的位置，好的鼻形能有效地提升用户的颜值，即更符合目标观众(群体)的审美趣味，该目标观众可以是某个地区内的观众、某种文化背景的观众、某种职业的观众等。通过隆鼻来改善一个人的鼻形可以提高这个人的颜值。那么，在人脸美颜的过程中，如何实现隆鼻成为了需要解决的问题。
发明内容
本公开至少一实施例提供一种图像处理方法，包括：获取输入图像中人脸的人脸关键点以及人脸朝向；基于所述人脸关键点获取所述人脸的鼻梁线；基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线；根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻。
例如，在本公开一实施例提供的图像处理方法中，所述人脸关键点包括鼻梁关键点，基于所述人脸关键点获取所述人脸的鼻梁线包括：提取所述人脸关键点中的所述鼻梁关键点，并基于所述鼻梁关键点拟合得到所述人脸的鼻梁线。
例如，在本公开一实施例提供的图像处理方法中，所述人脸关键点至少包括鼻形轮廓关键点，基于所述人脸关键点获取所述人脸的鼻梁线包括：提取所述鼻形轮廓关键点中的左鼻翼关键点；提取所述鼻形轮廓关键点中的右鼻翼关键点；基于所述左鼻翼关键点和所述右鼻翼关键点获取鼻梁关键点；基于所述鼻梁关键点拟合得到所述人脸的鼻梁线。
例如，在本公开一实施例提供的图像处理方法中，基于所述左鼻翼关键点和所述右鼻翼关键点获取鼻梁关键点包括：
x0＝(x1+x2)/2
其中，x0表示所述鼻梁关键点，x1表示所述左鼻翼关键点，x2表示与所述左鼻翼关键点对称的所述右鼻翼关键点。
例如，在本公开一实施例提供的图像处理方法中，基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线，包括：在所述鼻梁线上确定鼻尖点和鼻根点，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线。
例如，在本公开一实施例提供的图像处理方法中，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线包括：将所述鼻梁线以所述鼻尖点为旋转中心，在经过所述鼻梁线且垂直于人脸主平面的平面内旋转第一角度，以得到一条所述调整后的鼻梁线；和/或，将所述鼻梁线以所述鼻根点为旋转中心，在经过所述鼻梁线且垂直于所述人脸主平面的平面内旋转第二角度，以得到一条所述调整后的鼻梁线。
例如，在本公开一实施例提供的图像处理方法中，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线还包括：将人脸朝向在三维空间中划分为多个区间，为所述多个区间的每个分别确定相应的第一区域角度和第二区域角度；判断所述输入图像中所述人脸的人脸朝向在所述多个区间中所属的区间，以使得所述第一角度和所述第二角度分别为所属区间对应的第一区域角度和第二区域角度。
例如，在本公开一实施例提供的图像处理方法中，所述多个区间的每个对应的所述第一区域角度和所述第二区域角度通过预先定义或动态调整的方法确定。
例如，在本公开一实施例提供的图像处理方法中，根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻，包括：在所述调整前的鼻梁线上确定原始控制点，以及在所述至少一条调整后的鼻梁线上分别确定与所述原始控制点一一对应的目标控制点；根据所述原始控制点和所述目标控制点，对所述输入图像中的人脸执行形变处理以实现隆鼻。
例如，在本公开一实施例提供的图像处理方法中，根据所述原始控制点和所述目标控制点，对所述输入图像中的人脸执行形变处理以实现隆鼻，包括：对所述输入图像执行网格化处理，以得到网格图像；根据所述多个原始控制点和所述多个目标控制点，对所述网格图像执行形变处理以得到隆鼻后的图像。
本公开至少一实施例还提供一种图像处理装置，包括：人脸关键点检测单元，配置为获取输入图像中人脸的人脸关键点以及人脸朝向；鼻梁线定位单元，配置为基于所述人脸关键点获取所述人脸的鼻梁线；鼻梁调整单元，配置为基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线；图像变形单元，配置为根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻。
例如，本公开一实施例提供的图像处理装置，还包括：控制点生成单元，配置为在所述调整前的鼻梁线上确定原始控制点，以及在所述至少一条调整后的鼻梁线上分别确定与所述原始控制点一一对应的目标控制点。
本公开至少一实施例还提供一种图像处理装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现本公开任一实施例提供的图像处理方法的指令。
本公开至少一实施例还提供一种存储介质，非暂时性地存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开任一实施例提供的图像处理方法的指令。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1为本公开一实施例提供的一种图像处理方法的流程图；
图2为本公开一实施例提供的一种隆鼻操作的示意图；
图3为图1中所示的步骤S120的一个示例的流程图；
图4为图1中所示的步骤S130的一个示例的流程图；
图5为图1中所示的步骤S130的另一个示例的流程图；
图6为图1中所示的步骤S140的另一个示例的流程图；
图7为本公开一实施例提供的一种控制点生成操作的示意图；
图8为图6中所示的步骤S142的一个示例的流程图；
图9为本公开一实施例提供的一种图像处理方法的系统流程图；
图10A为本公开一实施例提供的一种图像处理装置的示意框图；以及
图10B为本公开一实施例提供的另一种图像处理装置的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本发明实施例的以下说明清楚且简明，可省略已知功能和已知部件的详细说明。当本发明实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同的参考标号表示。
本公开一实施例提供了一种图像处理方法，包括：获取输入图像中人脸的人脸关键点以及人脸朝向；基于人脸关键点获取人脸的鼻梁线；基于人脸朝向和鼻梁线，得到至少一条调整后的鼻梁线；根据调整前的鼻梁线和至少一条调整后的鼻梁线，对输入图像中的人脸执行形变处理以实现隆鼻。本公开至少一实施例还提供对应于上述图像处理方法的图像处理装置和存储介质。
本公开上述实施例提供的图像处理方法，可以通过分析输入图像中人脸的鼻梁或鼻翼部分的关键点，以及配合人脸的三维朝向，估算出鼻梁在三维空间中的形态，并基于该形态对鼻梁线执行垫山根和/或抬鼻尖等隆鼻操作，从而可以模拟真实环境下的隆鼻手术，实现对输入图像中的人脸进行隆鼻美颜的效果。
下面结合附图对本公开的实施例及其一些示例进行详细说明。
图1为本公开一实施例提供的一种图像处理方法的一个示例的流程图。该图像处理方法可以以软件或硬件的方式实现，由例如手机、笔记本电脑、桌面电脑、网络服务器、数码相机等设备中的处理器加载并执行，以实现对输入图像中的人脸进行隆鼻美颜的效果，输出美颜处理后的图像。如图1所示，该图像处理方法包括步骤S110至步骤S140。
步骤S110：获取输入图像中人脸的人脸关键点以及人脸朝向。
步骤S120：基于人脸关键点获取人脸的鼻梁线。
步骤S130：基于人脸朝向和鼻梁线，得到至少一条调整后的鼻梁线。
步骤S140：根据调整前的鼻梁线和至少一条调整后的鼻梁线，对输入图像中的人脸执行形变处理以实现隆鼻。
在步骤S110中，例如，人脸关键点可以为脸部的一些表征能力强的关键点，包括但不限于眼睛(瞳孔)、眼角、眉梢、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等关键点。例如，输入图像中人脸的人脸关键点至少包括鼻形轮廓部分的关键点或鼻梁关键点。例如，该鼻形轮廓部分的关键点可以包括左、右鼻翼关键点等。例如，该输入图像中的人脸可以是男性或女性的人脸，并且可以是包括鼻子的任意角度的人脸。
例如，人脸朝向包括人脸在三维空间中的朝向，例如，通常可以包括偏转朝向(绕Y轴旋转的朝向，yaw)、或俯仰朝向(绕X轴旋转的朝向，pitch)和横滚朝向(绕Z轴旋转的朝向，roll)。
例如，可以预先搜集大量的(例如，10000张或更多张)包括人脸的图像作为样本库，并通过人工或其他方法在每张图像中标注出人脸的眼角、嘴角、鼻翼、颧骨最高点、外轮廓点等一系列关键点。然后，使用样本库中的图像通过机器学习(例如深度学习，或者基于局部特征的回归算法)等算法对分类模型进行训练和测试，从而得到人脸检测、人脸关键点定位以及人脸朝向识别的算法模型。该模型的输入是包含人脸的图像，输出为该人脸图像的人脸关键点和人脸朝向，从而实现人脸关键点的定位和人脸朝向的识别。需要注意的是，该机器学习算法可以采用本领域内的常规方法实现，在此不再赘述。另需要注意的是，该人脸检测、人脸关键点定位以及人脸朝向识别的方法还可以采用本领域内其他常规的算法来实现，本公开的实施例对此不作限制。
例如，人脸检测还可以采用基于模板的方法、基于模型的方法或神经网络方法等实现。基于模板的方法例如可以包括特征脸方法、线性判别分析方法、奇异值分解方法、动态连接匹配方法等。基于模型的方法例如可以包括隐马尔科夫模型、主动形状模型和主动外观模型等方法。需要注意的是，上述方法可以采用本领域内的常规算法实现，在此不再赘述。
例如，人脸关键点检测过程中的关键点提取可以采用本领域内的常规算法实现，本公开的实施例对此不作限制。
例如，输入图像可以通过适当的图像采集装置获取。该图像采集装置可以是数码相机、智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、网络摄像头、监控摄像头或其他可以实现图像采集功能的部件，本公开的实施例对此不作限制。
例如，输入图像可以是图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。例如，在步骤S110前，本公开实施例提供的图像处理方法还可以包括对输入图像进行预处理的操作，以有利于检测输入图像中的人脸。图像预处理操作可以消除输入图像中的无关信息或噪声信息，以便于更好地对输入图像进行人脸检测。例如，在输入图像是照片的情况下，该图像预处理操作可以包括对照片进行图像缩放、压缩或格式转换、色域转换、伽玛(Gamma)校正、图像增强或降噪滤波等处理，在输入图像是视频的情况下，该预处理可以包括提取视频的关键帧等。
例如，可以通过专用的人脸关键点检测单元来实现人脸检测、人脸关键点定位以及人脸朝向的识别等，也可以通过中央处理单元(CPU)、图像处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。该处理单元可以为通用处理器或专用处理器，可以是基于X86或ARM架构的处理器等。
在步骤S120中，例如，在一个示例中，当人脸关键点包括鼻梁关键点时，可以通过提取人脸关键点中的鼻梁关键点，并基于鼻梁关键点拟合得到人脸的鼻梁线10(如图2中的B所示)。如图2所示，A为人脸中鼻子侧面的示意图，B为基于人脸关键点拟合出的鼻梁线的示意图。例如，该鼻梁关键点可以通过步骤S110中介绍的人脸关键点检测算法实现，在此不再赘述。例如，可以通过最小二乘法获取该鼻梁线的拟合曲线，该方法可以采用本领域内的常规方法实现，在此不再赘述。需要注意的是，对鼻梁关键点的拟合方法还可以采用本领域内的其他常规方法实现，本公开的实施例对此不作限制。
例如，在另一个示例中，人脸关键点至少包括鼻形轮廓关键点(例如，可以包括左鼻翼关键点和右鼻翼关键点)。例如，在该示例中，人脸关键点包括多个左鼻翼关键点和右鼻翼关键点，不包括鼻梁关键点。在此情况下，例如，可以首先通过鼻形轮廓关键点插值计算出鼻梁关键点，再基于鼻梁关键点拟合出人脸的鼻梁线。
图3示出了通过鼻形轮廓关键点获取鼻梁线的方法流程图。也就是说，图3为图1中所示的步骤S120的另一个示例的流程图。如图3所示，该鼻梁线的获取方法包括步骤S121至步骤S124。下面，参考图3对该鼻梁线的获取方法进行说明。
步骤S121：提取鼻形轮廓关键点中的左鼻翼关键点。
例如，可以通过上述步骤S110中介绍的人脸关键点检测算法(例如，通过机器学习算法训练的分类模型)提取鼻形轮廓关键点中的左鼻翼关键点，在此不再赘述。
步骤S122：提取鼻形轮廓关键点中的右鼻翼关键点。
例如，右鼻翼关键点与左鼻翼关键点对称，也可以通过上述人脸关键点检测算法提取鼻形轮廓关键点中的右鼻翼关键点，在此不再赘述。
步骤S123：基于左鼻翼关键点和右鼻翼关键点获取鼻梁关键点。
例如，基于左鼻翼关键点和右鼻翼关键点获取鼻梁关键点的插值计算公式可以表示为：
x0＝(x1+x2)/2
其中，x0表示鼻梁关键点，x1表示左鼻翼关键点，x2表示与左鼻翼关键点对称的右鼻翼关键点。
步骤S124：基于鼻梁关键点拟合得到人脸的鼻梁线。
例如，对所有的左鼻翼关键点和右鼻翼关键点均通过上述公式进行计算，则可以得到部分鼻梁关键点，然后再通过上述示例中的拟合方法(例如，最小二乘法)对所有的鼻梁关键点进行拟合以得到人脸的鼻梁线10。
例如，可以通过专用的鼻梁线定位单元实现对人脸的鼻梁线的定位，也可以通过中央处理单元(CPU)、图像处理器(GPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。
在步骤S130中，例如，首先在鼻梁线上确定鼻尖点和鼻根点，然后以鼻尖点和/或鼻根点为旋转中心旋转鼻梁线以得到至少一条调整后的鼻梁线。例如，鼻尖点和鼻根点通常为鼻梁线的两端，如图2中的C所示，P表示鼻梁线上的鼻尖点，如图2中的D所示，Q表示鼻梁线上的鼻根点。在该示例中，鼻梁线旋转的方向和角度与人脸朝向有关，具体操作过程将在下面的示例中进行详细地介绍。
需要注意的是，该鼻梁线的旋转中心例如可以是鼻尖点或鼻根点或鼻梁线上的中心点等任意适当的点，本公开的实施例对此不作限制。
图4示出了获取调整后的鼻梁线的方法流程图。也就是说，图4为图1中所示的步骤S130的一个示例的流程图。如图4所示，该调整后的鼻梁线的获取方法包括步骤S131和/或步骤S132。下面，参考图4对调整后的鼻梁线的获取方法进行说明。
步骤S131：将鼻梁线以鼻尖点为旋转中心，在经过鼻梁线且垂直于人脸主平面的平面内旋转第一角度，以得到一条调整后的鼻梁线。
例如，如图2中的C所示，以鼻尖点P为旋转中心旋转鼻梁线10得到一条调整后的鼻梁线11，例如，该操作为垫山根操作。
步骤S132：将鼻梁线以鼻根点为旋转中心，在经过鼻梁线且垂直于人脸主平面的平面内旋转第二角度，以得到一条调整后的鼻梁线。
如图2中的D所示，以鼻根点Q为旋转中心旋转鼻梁线10得到另一条调整后的鼻梁线12，该操作为抬鼻尖操作。
例如，上述人脸主平面的平面可以通过人脸三维朝向中的俯仰朝向(绕X轴旋转的朝向，pitch)来确定。例如，该人脸的三维朝向的识别方法可以参考步骤S110中的相关描述，在此不再赘述。
例如，上述步骤中的第一角度和第二角度与人脸朝向中的横滚朝向(绕Z轴旋转的朝向，roll)有关。图5示出了确定该第一角度和第二角度的方法流程图。如图5所示，该第一角度和第二角度的确定方法包括步骤S133至步骤S134。下面，参考图5对本公开实施例的第一角度和第二角度的确定方法进行说明。
步骤S133：将人脸朝向在三维空间中划分为多个区间，为多个区间的每个分别确定相应的第一区域角度和第二区域角度。
例如，可以根据人脸三维朝向中的横滚朝向(绕Z轴旋转的朝向，roll)将人脸朝向在三维空间中划分为9个区间(例如，包括左上、左中、左下、正上、正中、正下、右上、右中、右下)，由于横滚朝向(绕Z轴旋转的朝向，roll)是绕Z轴旋转的，因此可以根据实际情况设置相邻区间的Z轴之间的角度，例如设置为45°。例如，左上区间的人脸朝向相对于正中区间的人脸朝向，例如偏左45°且上仰45°，左下区间的人脸朝向相对于正中区间的人脸朝向，例如偏左45°且向下俯视45°，以此类推。例如，正中区间的人脸朝向为正视屏幕的方向，即正中区间的Z轴与屏幕的方向垂直，且每个区间的人脸朝向允许在一定范围内波动。需要注意的是，该实施例还可以包括更多的区间，相邻区间的Z轴之间的角度还可以是30°、60°等，该区间数量和角度可视具体情况而定，本公开的实施例对此不作限制。
例如，上述多个区间的每个对应的第一区域角度和第二区域角度可以通过预先定义或动态调整的方法确定，也可以采用本领域内的其他常规方法确定。例如，每个区间的第一区域角度和第二区域角度可以均不不同，也可以设置对称的两个区间中的某一个角度相同，具体的设置方式视具体情况而定，本公开的实施例对此不作限制。例如，预先定义的第一区域角度和第二区域角度可以设置为默认值，适合普遍大众的隆鼻效果。该动态调整的方法则可以根据不同的人脸以及不同的人脸朝向实时调整鼻梁线的旋转角度，以达到最理想的效果。需要注意的是，从视觉效果上来看，预先定义和动态调整的方法产生的差异不会太大，人眼很难感知，因此可以根据实际情况选用第一区域角度和第二区域角度的确定方法，本公开的实施例对此不作限制。
步骤S134：判断输入图像中人脸的人脸朝向在多个区间中所属的区间，以使得第一角度和第二角度分别为所属区间对应的第一区域角度和第二区域角度。
例如，在判断输入图像中人脸的人脸朝向在多个区间中所属的区间为左上区间时，鼻梁线以鼻尖点为旋转中心，在经过鼻梁线且垂直于人脸主平面的平面内旋转的第一角度为左上区间内定义的(或动态调整的)第一区域角度；鼻梁线以鼻根点为旋转中心，在经过鼻梁线且垂直于人脸主平面的平面内旋转的第二角度为左上区间内定义的(或动态调整的)第二区域角度。
例如，可以通过专用的鼻梁调整单元获取调整后的鼻梁线，也可以通过中央处理单元(CPU)、图像处理器(GPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。
在步骤S140中，可以通过抬鼻尖和/或垫山根的操作方法将调整前的鼻梁线变形至调整后的鼻梁线的位置处，从而实现隆鼻的效果。例如，可以采用本领域内的常规方法例如网格扭曲算法实现鼻梁线的变形。
图6示出了形变处理的方法流程图。也就是说，图6为图1中所示的步骤S140的一个示例的流程图。如图6所示，该形变处理的方法包括步骤S141至步骤S142。下面，参考图6对该形变处理的方法进行说明。
步骤S141：在调整前的鼻梁线上确定原始控制点，以及在至少一条调整后的鼻梁线上分别确定与原始控制点一一对应的目标控制点。
例如，可以通过在鼻梁线上进行均匀采样的方式获得原始控制点，将原始控制点记作S(i)，其中，i为大于0的整数，表示原始控制点和目标控制点的个数。然后以原始控制点为起点往调整后的鼻梁线上进行连接，例如，可以是平行连接，也可以是作垂线连接。连接后，调整后的鼻梁线上的端点为目标控制点，记作T1(i)。例如，图7中的E示出了垫山根操作中的原始控制点和目标控制点；图7中的F示出了抬鼻尖操作中的原始控制点和目标控制点。如图7中的E和F所示，实线上的端点为原始控制点S(i)，虚线上的端点为目标控制点T1(i)。
步骤S142：根据原始控制点和目标控制点，对输入图像中的人脸执行形变处理以实现隆鼻，得到输出图像。
例如，将输入图像均匀分块成网格以得到原始网格图像，利用网格扭曲算法将原始网格图像上的原始控制点S(i)沿原始控制点S(i)指向目标控制点T1(i)的方向(即移动矢量的方向)作变形扭曲，以实现隆鼻。例如，该移动矢量用于将原始控制点移动到目标控制点的位置。需要注意的是，该网格扭曲算法以及该网格扭曲算法中移动矢量的计算可以采用本领域内的常规操作实现，在此不再赘述。
例如，当对输入图像只进行抬鼻尖操作或只进行垫山根操作时，只有一条调整后的鼻梁线，例如，只有调整后的鼻梁线11或调整后的鼻梁线12，可以通过网格扭曲算法直接将原始网格图像中的原始控制点S(i)沿着移动矢量进行变形扭曲，以实现隆鼻。
例如，当对输入图像既做抬鼻尖操作又做垫山根操作时，包括两条调整后的鼻梁线，例如，包括调整后的鼻梁线11和调整后的鼻梁线12。此时，可以通过网格扭曲算法对调整后的鼻梁线11和调整后的鼻梁线12作全局优化从而对原始控制点的移动矢量进行糅合。例如，在原始网格图像上执行抬鼻尖的操作力度大于执行垫山根的操作力度的位置处，可以使得该位置处需执行抬鼻尖操作的原始控制点沿移动矢量的方向移动的距离(即形变的程度)为原先移动矢量长度的80％，需执行垫山根操作的原始控制点沿移动矢量移动的距离为原先移动矢量长度的20％，该移动矢量的优化程度可以视具体情况而定，本公开的实施例对此不作限制。需要注意的是，该网格扭曲算法中对移动矢量进行全局优化的操作方法可以采用本领域内的常规算法实现，在此不再赘述。
当包括多条(例如大于两条)调整后的鼻梁线时，也可以采用相同的方法实现隆鼻。
图8为图6中所示的步骤S142的一个示例的流程图。如图8所示，该形变处理的方法还包括步骤S1421和步骤S1422。下面，参考图8对该形变处理的方法进行说明。
步骤S1421：对输入图像执行网格化处理，以得到网格图像。
例如，对输入图像执行网格化处理，即对输入图像加上均匀间隔的网格，以得到网格图像，该网格图像为原始网格图像。
步骤S1422：根据多个原始控制点和多个目标控制点，对网格图像执行形变处理以得到隆鼻后的图像。
例如，通过网格扭曲算法对原始的网格图像上的原始控制点沿着移动矢量执行变形扭曲，以得到矫正后的网格图像，即隆鼻后的图像，实现隆鼻效果。
例如，可以通过专用的图像变形单元实现图像的变形扭曲，也可以通过中央处理单元(CPU)、图像处理器(GPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。
需要说明的是，本公开的实施例中，该图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开实施例提供的图像处理方法，可以通过分析输入图像中人脸的鼻梁或鼻翼部分的关键点，以及配合人脸的三维朝向，估算出鼻梁在三维空间中的形态，并基于该形态对鼻梁线执行垫山根和/或抬鼻尖等隆鼻操作，从而可以模拟真实环境下的隆鼻手术，实现对输入图像中的人脸进行隆鼻美颜的效果。
图9为本公开一实施例提供的一种实现图像处理方法的系统流程图。如图9所示，本公开实施例提供的实现图像处理方法的系统包括输入单元11、人脸关键点检测单元12、鼻梁线定位单元13、隆鼻单元14、控制点生成单元15、图像变形单元16以及输出单元17。例如，这些单元每个可以通过硬件(例如电路)模块或软件模块等实现。
例如，输入单元11配置为输入包含人脸的输入图像。例如，该包含人脸的输入图像包含多个关键点，例如，人的眼角、嘴角、鼻翼、颧骨最高点等。例如，该输入图像可以通过图像采集装置获取，并传输至人脸关键点检测单元12中。图像采集装置可以包括智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码相机或者网络摄像头等。
人脸关键点检测单元12接收输入单元11传输的图像，并通过例如机器学习算法训练得到的分类模型，获取输入图像中人脸的人脸关键点以及人脸朝向，并将获取的人脸关键点以及人脸朝向的信息发送至鼻梁线定位单元13。例如，该人脸关键点检测单元12可以实现步骤S110，其具体实现方法可以参考步骤S110的相关描述，在此不再赘述。
鼻梁线定位单元13可以根据人脸关键点检测单元12中获取的人脸关键点，例如，鼻梁关键点或鼻形轮廓关键点(左鼻翼关键点和右鼻翼关键点)确定人脸的鼻梁线。例如，鼻梁线定位单元13可以实现为步骤S120，其具体实现方法可以参考步骤S120的相关描述，在此不再赘述。
隆鼻单元14可以根据人脸关键点检测单元12中获取的人脸朝向判断输入图像中人脸的人脸朝向所属的区间，并将鼻梁线定位单元13中获取的人脸的鼻梁线以鼻尖点或鼻根点或其他合适的点为旋转中心，在经过鼻梁线且垂直于人脸主平面的平面内旋转第一角度(即该人脸所属区间的第一区域角度)或第二角度(即该人脸所属区间的第二区域角度)，以得到一条调整后的鼻梁线。该隆鼻单元14可以获取经过抬鼻尖操作或垫山根操作后的至少一条调整后的鼻梁线。例如，隆鼻单元14可以实现为步骤S130，其具体实现方法可以参考步骤S130的相关描述，在此不再赘述。
控制点生成单元15配置为在调整前的鼻梁线上确定原始控制点S(i)，以及在至少一条调整后的鼻梁线上分别确定与原始控制点S(i)一一对应的目标控制点T1(i)。例如，控制点生成单元15可以实现为步骤S141，其具体实现方法可以参考步骤S141的相关描述，在此不再赘述。
形变单元16可以通过采用网格扭曲算法实现隆鼻。例如，该形变单元16首先对输入图像执行网格化处理，即对输入图像加上均匀间隔的网格，以得到原始的网格图像，然后将原始网格图像中的原始控制点S(i)沿移动矢量执行形变处理，以得到隆鼻后的图像，实现隆鼻效果。该单元可以实现步骤S142，其具体实现方法可以参考步骤S142的相关描述，在此不再赘述。
例如，控制点生成单元15和形变单元16结合可以实现步骤S140。
输出单元17配置为输出隆鼻后的图像，即经过形变单元16对输入图像进行扭曲变形后的图像。
需要说明的是，为表示清楚、简洁，本公开的实施例并没有给出实现该图像处理方法的系统的全部组成单元。为实现图像处理方法，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。需要注意的是，上述各个单元可以通过软件、固件、硬件(例如FPGA)或它们的任意组合方式实现。
图10A为本公开一实施例提供的一种图像处理装置的示意框图。如图10A所示，该图像处理装置100包括人脸关键点检测单元110、鼻梁线定位单元120、鼻梁调整单元130和图像变形单元140。例如，这些单元可以通过硬件(例如电路)模块或软件模块等实现。
该人脸关键点检测单元110配置为获取输入图像中人脸的人脸关键点以及人脸朝向。例如，该人脸关键点检测单元110可以实现步骤S110，其具体实现方法可以参考步骤S110的相关描述，在此不再赘述。
该鼻梁线定位单元120配置为基于人脸关键点获取人脸的鼻梁线。例如，该鼻梁线定位单元120可以实现步骤S120，其具体实现方法可以参考步骤S120的相关描述，在此不再赘述。
该鼻梁调整单元130配置为基于人脸朝向和鼻梁线，得到至少一条调整后的鼻梁线。例如，该鼻梁调整单元130可以实现步骤S130，其具体实现方法可以参考步骤S130的相关描述，在此不再赘述。
该图像变形单元140配置为根据调整前的鼻梁线和至少一条调整后的鼻梁线，对输入图像中的人脸执行形变处理以实现隆鼻。例如，该图像变形单元140可以实现步骤S140，其具体实现方法可以参考步骤S140的相关描述，在此不再赘述。
例如，该图像处理装置100还包括控制点生成单元(图中未示出)。该控制点生成单元配置为在调整前的鼻梁线上确定原始控制点，以及在至少一条调整后的鼻梁线上分别确定与原始控制点一一对应的目标控制点。例如，该控制点生成单元可以实现步骤S141，其具体实现方法可以参考步骤S141的相关描述，在此不再赘述。
需要注意的是，在本公开的实施例中，可以包括更多或更少的电路或单元，并且各个电路或单元之间的连接关系不受限制，可以根据实际需求而定。各个电路的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
图10B为本公开一实施例提供的另一种图像处理装置的示意框图。如图10B所示，该图像处理装置200包括处理器210、存储器220以及一个或多个计算机程序模块221。
例如，处理器210与存储器220通过总线系统230连接。例如，一个或多个计算机程序模块221被存储在存储器220中。例如，一个或多个计算机程序模块221包括用于执行本公开任一实施例提供的图像处理方法的指令。例如，一个或多个计算机程序模块221中的指令可以由处理器210执行。例如，总线系统230可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。
例如，该处理器210可以是中央处理单元(CPU)、图像处理器(GPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制图像处理装置200中的其它组件以执行期望的功能。
存储器220可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行该程序指令，以实现本公开实施例中(由处理器210实现)的功能以及/或者其它期望的功能，例如图像处理方法等。在该计算机可读存储介质中还可以存储各种应用程序和各种数据，例如鼻梁关键点、原始控制点、目标控制点、移动矢量以及应用程序使用和/或产生的各种数据等。
需要说明的是，为表示清楚、简洁，本公开实施例并没有给出该图像处理装置200的全部组成单元。为实现图像处理装置200的必要功能，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。
关于不同实施例中的图像处理装置100和图像处理装置200的技术效果可以参考本公开的实施例中提供的图像处理方法的技术效果，这里不再赘述。
本公开一实施例还提供一种存储介质。例如，该存储介质非暂时性地存储计算机可读指令，当非暂时性计算机可读指令由计算机(包括处理器)执行时可以执行本公开任一实施例提供的图像处理方法。
例如，该存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含人脸关键点检测的计算机可读的程序代码，另一个计算机可读存储介质包含鼻梁线定位的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的图像处理方法。
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。
Claims (14)
1.一种图像处理方法，包括：
获取输入图像中人脸的人脸关键点以及人脸朝向；
基于所述人脸关键点获取所述人脸的鼻梁线；
基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线；
根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻。
2.根据权利要求1所述的图像处理方法，其中，所述人脸关键点包括鼻梁关键点，基于所述人脸关键点获取所述人脸的鼻梁线包括：
提取所述人脸关键点中的所述鼻梁关键点，并基于所述鼻梁关键点拟合得到所述人脸的鼻梁线。
3.根据权利要求1所述的图像处理方法，其中，所述人脸关键点至少包括鼻形轮廓关键点，基于所述人脸关键点获取所述人脸的鼻梁线包括：
提取所述鼻形轮廓关键点中的左鼻翼关键点；
提取所述鼻形轮廓关键点中的右鼻翼关键点；
基于所述左鼻翼关键点和所述右鼻翼关键点获取鼻梁关键点；
基于所述鼻梁关键点拟合得到所述人脸的鼻梁线。
4.根据权利要求3所述的图像处理方法，其中，基于所述左鼻翼关键点和所述右鼻翼关键点获取鼻梁关键点包括：
x0＝(x1+x2)/2
其中，x0表示所述鼻梁关键点，x1表示所述左鼻翼关键点，x2表示与所述左鼻翼关键点对称的所述右鼻翼关键点。
5.根据权利要求1-4任一所述的图像处理方法，其中，基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线，包括：
在所述鼻梁线上确定鼻尖点和鼻根点，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线。
6.根据权利要求5所述的图像处理方法，其中，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线包括：
将所述鼻梁线以所述鼻尖点为旋转中心，在经过所述鼻梁线且垂直于人脸主平面的平面内旋转第一角度，以得到一条所述调整后的鼻梁线；和/或
将所述鼻梁线以所述鼻根点为旋转中心，在经过所述鼻梁线且垂直于所述人脸主平面的平面内旋转第二角度，以得到一条所述调整后的鼻梁线。
7.根据权利要求6所述的图像处理方法，其中，以所述鼻尖点和/或所述鼻根点为旋转中心旋转所述鼻梁线以得到所述至少一条调整后的鼻梁线还包括：
将人脸朝向在三维空间中划分为多个区间，为所述多个区间的每个分别确定相应的第一区域角度和第二区域角度；
判断所述输入图像中所述人脸的人脸朝向在所述多个区间中所属的区间，以使得所述第一角度和所述第二角度分别为所属区间对应的第一区域角度和第二区域角度。
8.根据权利要求7所述的图像处理方法，其中，所述多个区间的每个对应的所述第一区域角度和所述第二区域角度通过预先定义或动态调整的方法确定。
9.根据权利要求1-4、6-8任一所述的图像处理方法，其中，根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻，包括：
在所述调整前的鼻梁线上确定原始控制点，以及在所述至少一条调整后的鼻梁线上分别确定与所述原始控制点一一对应的目标控制点；
根据所述原始控制点和所述目标控制点，对所述输入图像中的人脸执行形变处理以实现隆鼻。
10.根据权利要求9所述的图像处理方法，其中，根据所述原始控制点和所述目标控制点，对所述输入图像中的人脸执行形变处理以实现隆鼻，包括：
对所述输入图像执行网格化处理，以得到网格图像；
根据所述多个原始控制点和所述多个目标控制点，对所述网格图像执行形变处理以得到隆鼻后的图像。
11.一种图像处理装置，包括：
人脸关键点检测单元，配置为获取输入图像中人脸的人脸关键点以及人脸朝向；
鼻梁线定位单元，配置为基于所述人脸关键点获取所述人脸的鼻梁线；
鼻梁调整单元，配置为基于所述人脸朝向和所述鼻梁线，得到至少一条调整后的鼻梁线；
图像变形单元，配置为根据调整前的所述鼻梁线和所述至少一条调整后的鼻梁线，对所述输入图像中的人脸执行形变处理以实现隆鼻。
12.根据权利要求11所述的图像处理装置，还包括：
控制点生成单元，配置为在所述调整前的鼻梁线上确定原始控制点，以及在所述至少一条调整后的鼻梁线上分别确定与所述原始控制点一一对应的目标控制点。
13.一种图像处理装置，包括：
处理器；
存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现权利要求1-10任一所述的图像处理方法的指令。
14.一种存储介质，非暂时性地存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行根据权利要求1-10任一所述的图像处理方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954890.8A CN109242789A (zh) | 2018-08-21 | 2018-08-21 | 图像处理方法、图像处理装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954890.8A CN109242789A (zh) | 2018-08-21 | 2018-08-21 | 图像处理方法、图像处理装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109242789A true CN109242789A (zh) | 2019-01-18 |
Family
ID=65071614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810954890.8A Pending CN109242789A (zh) | 2018-08-21 | 2018-08-21 | 图像处理方法、图像处理装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242789A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
| CN110060287A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像鼻部整形方法及装置 |
| CN110837797A (zh) * | 2019-11-05 | 2020-02-25 | 中国医学科学院北京协和医院 | 基于人脸表面三维网格的鼻部调节方法及其应用 |
| CN111105348A (zh) * | 2019-12-25 | 2020-05-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN111460870A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 目标的朝向确定方法及装置、电子设备及存储介质 |
| CN111582258A (zh) * | 2020-03-31 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN111652795A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 脸型的调整、直播方法、装置、电子设备和存储介质 |
| CN111652794A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 一种面部的调整、直播方法、装置、电子设备和存储介质 |
| CN111652025A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 一种人脸的处理、直播方法、装置、电子设备和存储介质 |
| CN113435445A (zh) * | 2021-07-05 | 2021-09-24 | 深圳市鹰硕技术有限公司 | 图像过优化自动纠正方法以及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236913A (zh) * | 2011-04-15 | 2011-11-09 | 杭州普乐信信息技术有限公司 | 一种体网格变形方法 |
| CN103793693A (zh) * | 2014-02-08 | 2014-05-14 | 厦门美图网科技有限公司 | 一种人脸转向的检测方法及其应用该方法的脸型优化方法 |
| CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
| CN104732048A (zh) * | 2013-12-20 | 2015-06-24 | 杨国煌 | 建立整型手术预览模型及植入物模型的方法 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| WO2017112310A1 (en) * | 2015-12-24 | 2017-06-29 | Intel Corporation | Facial contour recognition for identification |
| CN107122727A (zh) * | 2017-04-20 | 2017-09-01 | 北京旷视科技有限公司 | 用于脸部整形的方法、装置及系统 |
-
2018
- 2018-08-21 CN CN201810954890.8A patent/CN109242789A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236913A (zh) * | 2011-04-15 | 2011-11-09 | 杭州普乐信信息技术有限公司 | 一种体网格变形方法 |
| CN104732048A (zh) * | 2013-12-20 | 2015-06-24 | 杨国煌 | 建立整型手术预览模型及植入物模型的方法 |
| CN103793693A (zh) * | 2014-02-08 | 2014-05-14 | 厦门美图网科技有限公司 | 一种人脸转向的检测方法及其应用该方法的脸型优化方法 |
| CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
| WO2017112310A1 (en) * | 2015-12-24 | 2017-06-29 | Intel Corporation | Facial contour recognition for identification |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| CN107122727A (zh) * | 2017-04-20 | 2017-09-01 | 北京旷视科技有限公司 | 用于脸部整形的方法、装置及系统 |
Non-Patent Citations (2)
| Title |
|---|
| TONG-YEE LEE 等: "Computer-aided prototype system for nose surgery", 《IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE》 * |
| 胡燕瑜 等: "基于体网格拉普拉斯变形的鼻整形手术仿真", 《计算机仿真》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460870A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 目标的朝向确定方法及装置、电子设备及存储介质 |
| US11538207B2 (en) | 2019-01-18 | 2022-12-27 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, image device, and storage medium |
| WO2020181900A1 (zh) * | 2019-01-18 | 2020-09-17 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN110060348B (zh) * | 2019-04-26 | 2023-08-11 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
| CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
| CN110060287A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像鼻部整形方法及装置 |
| CN111652794B (zh) * | 2019-07-05 | 2024-03-05 | 广州虎牙科技有限公司 | 一种面部的调整、直播方法、装置、电子设备和存储介质 |
| CN111652795A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 脸型的调整、直播方法、装置、电子设备和存储介质 |
| CN111652794A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 一种面部的调整、直播方法、装置、电子设备和存储介质 |
| CN111652025A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 一种人脸的处理、直播方法、装置、电子设备和存储介质 |
| CN111652025B (zh) * | 2019-07-05 | 2023-09-01 | 广州虎牙科技有限公司 | 一种人脸的处理、直播方法、装置、电子设备和存储介质 |
| CN110837797A (zh) * | 2019-11-05 | 2020-02-25 | 中国医学科学院北京协和医院 | 基于人脸表面三维网格的鼻部调节方法及其应用 |
| US11734829B2 (en) | 2019-12-25 | 2023-08-22 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for processing image, and storage medium |
| CN111105348A (zh) * | 2019-12-25 | 2020-05-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN111582258A (zh) * | 2020-03-31 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN111582258B (zh) * | 2020-03-31 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN113435445A (zh) * | 2021-07-05 | 2021-09-24 | 深圳市鹰硕技术有限公司 | 图像过优化自动纠正方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242789A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| TWI714225B (zh) | 注視點判斷方法和裝置、電子設備和電腦儲存介質 | |
| US10082868B2 (en) | Calculation method of line-of-sight direction based on analysis and match of iris contour in human eye image | |
| CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
| CN106796449A (zh) | 视线追踪方法及装置 | |
| CN102930534A (zh) | 人体背部穴位自动定位方法 | |
| CN107292299B (zh) | 基于内核规范相关分析的侧面人脸识别方法 | |
| JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
| US20120133753A1 (en) | System, device, method, and computer program product for facial defect analysis using angular facial image | |
| CN111598038A (zh) | 脸部特征点检测方法、装置、设备及存储介质 | |
| CN110598638A (zh) | 模型训练方法、人脸性别预测方法、设备及存储介质 | |
| CN112907810A (zh) | 一种基于嵌入式gpu的人脸识别测温校园门禁系统 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN109410138A (zh) | 修饰双下巴的方法、装置和系统 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
| CN113076918B (zh) | 基于视频的人脸表情克隆方法 | |
| CN109299714A (zh) | Roi模板生成方法、roi提取方法及系统、设备、介质 | |
| JP2020091535A (ja) | 前処理装置、前処理方法及び前処理プログラム | |
| CN117745902B (zh) | 一种用于康复演示的数字人生成方法及装置 | |
| US11503998B1 (en) | Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases | |
| Zepeda et al. | Face tracking using canonical correlation analysis. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |