CN110555796A - 图像调整方法、装置、存储介质以及设备 - Google Patents
图像调整方法、装置、存储介质以及设备 Download PDFInfo
- Publication number
- CN110555796A CN110555796A CN201910670893.3A CN201910670893A CN110555796A CN 110555796 A CN110555796 A CN 110555796A CN 201910670893 A CN201910670893 A CN 201910670893A CN 110555796 A CN110555796 A CN 110555796A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- points
- coordinates
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 103
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 16
- 210000004709 eyebrow Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 18
- 238000012545 processing Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000000887 face Anatomy 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本申请实施例提供一种图像调整方法、装置、存储介质以及设备，该方法包括：获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；根据人脸变形约束点的坐标，获得人脸变形约束量；根据人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；对第一图像中的像素点进行仿射变换，获得像素点在第二图像中的变换坐标；根据变换坐标填充第二图像中的像素值，获得第三图像。根据人脸变形约束点确定的人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，防止背景发生扭曲变形。
Description
技术领域
本申请实施例涉及图像处理领域，特别是涉及一种图像调整方法、装置、存储介质以及设备。
背景技术
在拍摄照片和拍摄视频非常火爆的当下，用户对拍摄的人脸图像的要求也越来越高，特别是对于现在人们的审美品味来说，较瘦的脸通常被认为具有较佳的美感，因此，对人像瘦脸功能的需求也更加显著。
发明人在实现本申请实施例的过程中，发现：目前对人像瘦脸的方式主要有两种，第一种是通过人脸眼睛以下部位的特征点的移动，来实现瘦脸的效果，这种方式处理后的人脸图像大都使脸型调整得非常不协调，变得下巴尖锐、脸蛋失去弧度及美感。第二种是将特征点往预设的人脸模型上映射的方式，通过往内置模板的映射达到脸型调整的效果，这种方式容易使背景扭曲变形，调整效果差。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了一种图像调整方法、装置、存储介质以及设备，其具有防止人脸图像处理过程中人脸和背景发生扭曲的效果。
根据本申请实施例的第一方面，提供一种图像调整方法，包括如下步骤：
获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；
从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；
根据所述人脸变形约束点的坐标，计算获得人脸变形约束量；
根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；
对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标；
根据所述变换坐标填充所述第二图像中的像素值，获得第三图像。
根据本申请实施例的第二方面，提供一种图像调整装置，包括：
人脸检测模块，用于获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；
人脸变形约束点确定模块，用于从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；
人脸变形约束量确定模块，用于根据所述人脸变形约束点的坐标，计算获得人脸变形约束量；
坐标调整模块，用于根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；
坐标变换模块，用于对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标；
第三图像获取模块，用于根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像。
根据本申请实施例的第三方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现前述所述的图像调整方法的步骤。
根据本申请实施例的第四方面，提供一种计算机设备，包括存储器，处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如前述所述的图像调整方法的步骤。
本申请实施例选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止人脸图像处理过程中背景发生扭曲变形，更加符合实际应用场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例。
为了更好地理解和实施，下面结合附图详细说明本申请实施例。
附图说明
图1为本申请实施例示出的图像调整方法的应用环境的示意框图；
图2为本申请实施例示出的图像调整方法的流程图；
图3为本申请实施例示出的图像调整方法的人脸特征点的编号和位置示意图；
图4为本申请实施例示出的图像调整方法的进行仿射变换的流程图；
图5为本申请实施例示出的获取仿射变换矩阵的流程图；
图6为本申请实施例示出的确定变换坐标的流程图；
图7为本申请实施例示出的图像调整装置的结构框图；
图8为本申请实施例示出的坐标变换模块的结构框图；
图9为本申请实施例示出的仿射变换矩阵确定模块的结构框图；
图10为本申请实施例示出的变换坐标确定模块的结构框图；
图11为本申请实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1，其是本申请实施例示出的图像调整方法的应用环境的示意框图。
如图1所示，所述图像调整方法的应用环境包括计算机设备100、第一图像200和第三图像300。所述计算机设备100上运行有应用本申请实施例图像调整方法的应用程序110，所述应用程序包括用于人脸检测工具和图像调整方法，用户通过在计算机设备中输入所述第一图像200后，通过人脸检测工具获得人脸特征点集，通过图像调整方法对人脸特征点集进行调整，获得第三图像200。
所述计算机设备100可以是任何智能终端，例如，可以具体为计算机、手机、平板电脑、交互式智能平板、PDA(Personal Digital Assistant，个人数字助理)、电子书阅读器、多媒体播放器等。基于不同的智能终端，所述应用程序110还可以是以适应该智能终端的其他形式呈现。在一些例子中，还可以是以例如系统插件、网页插件等形式呈现。所述人脸检测工具可以采用现有的人脸检测算法工具，如Dlib、OpenCV等工具，在本实施例中，优选采用Dlib人脸检测算法工具。
所述第一图像200通常为包括人脸的图像，其可以为通过摄像装置拍摄获得的图像，也可以为人工合成的图像，并且，本申请实施例中所述第一图像200为输入的待调整的图像。所述第三图像300为经过本申请实施例的图像调整方法处理后的图像，其显示的脸型通常比所述第一图像200的脸型更加瘦，也即为瘦脸后的目标图像。
请参阅图2，其为本申请实施例示出的图像调整方法的流程图，包括如下步骤：
步骤S201：获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集。
步骤S202：从人脸特征点集中选取部分人脸特征点作为人脸变形约束点。
步骤S203：根据所述人脸变形约束点的坐标，计算获得人脸变形约束量。
步骤S204：根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像。
步骤S205：对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。
步骤S206：根据所述变换坐标填充所述第二图像中的像素值，获得第三图像。
本申请实施例中所述第一图像通常为包括人脸的图像，其可以为通过摄像装置拍摄获得的图像，也可以为人工合成的图像，并且，本申请实施例中所述第一图像为输入的待调整的图像。所述第二图像为根据所述人脸变形约束量，对所述第一图像中的人脸特征点集中的人脸轮廓特征点的坐标进行调整后确定的图像，其作为本申请实施例的图像调整方法中的中间图像，通过在所述第二图像的基础上进一步变换调整，进而获得第三图像。所述第三图像为经过本申请实施例的图像调整方法处理后的图像，其显示的脸型通常比所述第一图像的脸型更加瘦，也即为瘦脸后的目标图像。
本申请实施例选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止人脸图像处理过程中背景发生扭曲变形，更加符合实际应用场景。
请参阅图3，本申请实施例的步骤S201中所述人脸特征点集包括了位于人脸不同部位的多个人脸特征点，可选地，所述人脸特征点集包括人脸关键点，所述人脸关键点包括：人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。选取上述的人脸特征点能够表征人脸的大部分特征和有效区分不同的人脸。所述人脸关键点可以通过现有的各种人脸检测算法对第一图像进行检测和识别。在本申请实施例中，通过Dlib人脸检测算法工具对第一图像进行人脸检测来获得68个人脸关键点，且该68个人脸关键点按照预设的规则进行编号0-67加以区分，具体地，编号为0-16对应表征人脸轮廓特征点，编号为17-26对应表征眉毛特征点；编号为27-35对应表征鼻子特征点；编号为36-47对应表征眼睛特征点；编号48-67为对应表征嘴巴特征点。进一步地，在面对第一图像时，以第一图像的最左边顶点的位置作为原点坐标，以第一图像的上侧边作为x的正方向，以第一图像的左侧边作为y的负方向，建立直角坐标系，则第一图像的各个人脸关键点均可以用坐标进行表示，可以获得每个编号对应的人脸关键点的坐标位置。
在一个示例性实施例中，为防止其他非人脸轮廓点所在区域在调整后发生变形和扭曲，同时防止背景及人脸边缘区域发生扭曲变形，以对背景及人脸边缘区域起到隔离和保护的效果，步骤S201中所述人脸特征点集还包括四个外侧特征点；所述四个外侧特征点通过以下步骤获得：选取人脸关键点中的最小横坐标、人脸关键点中的最大纵坐标、人脸关键点中的最大横坐标、人脸关键点中的最小纵坐标两两相互组合，获得人脸外侧的四个外侧特征点。具体的，由于坐标为横坐标和纵坐标构成，因此，在上述选取的坐标中以人脸关键点中的最小横坐标和人脸关键点中的最大纵坐标确定第一个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最大纵坐标确定第二个外侧特征点；以人脸关键点的最小横坐标和人脸关键点的最小纵坐标确定第三个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最小纵坐标确定第四个外侧特征点。进一步地，还可以对获得的四个外侧特征点按照预设的规则进行编号以加以区分。具体的，人脸关键点的最小横坐标即编号为0的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第一个外侧特征点，对应编号为68；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第二个外侧特征点，对应编号为69；人脸关键点的最小横坐标编号为0的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第三个外侧特征点，对应编号为70；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第四个外侧特征点，对应编号为71。
在一个示例性实施例中，考虑到图像瘦脸需求时，下巴及靠近眼睛的关键点调整幅度应该较小，而脸蛋区域调整幅度应该较大，同时，若脸蛋区域调整方式不合适，在人脸边缘这样的敏感区域会出现扭曲、毛刺锯齿情况的出现，因此，为满足图像瘦脸需求，防止人脸边缘这样的敏感区域会出现扭曲、毛刺锯齿情况的出现，步骤S202中选取的所述人脸变形约束点为两个外眼角特征点、或两个内眼角特征点、或下巴特征点和眉心特征点。由于两个外眼角特征点作为人脸变形约束点，可实现对人脸轮廓特征点形变进行有效约束，进而可满足大部分用户的需求，可适用于不同尺寸、不同倾斜角度的图像的瘦脸调整，具有更好的约束效果，因此，本申请实施中，优选采用两个外眼角特征点作为人脸变形约束点，具体地，两个外眼角特征点分别为编号为39对应的人脸特征点和编号为42对应的人脸特征点。
进一步地，步骤S203中所述根据所述人脸变形约束点，计算获得人脸变形约束量的步骤，可以包括：获取两个所述人脸变形约束点的横坐标的差值，并将所述差值的算术平方根作为人脸变形约束量。具体的，所述人脸变形约束量的计算公式为：
上述公式中，degree表示人脸变形约束量；point1.x表示其中一个人脸变形约束点的横坐标，point2.x表示另一个人脸变形约束点的横坐标，且point1.x-point2.x的值大于0。
由于瘦脸调整主要为人脸左右横向方向的调整，因此，通过以两个人脸变形约束点的横坐标的差值的算术平方根作为人脸变形约束量，可以实现对人脸瘦脸调整时的有效约束，有效防止人脸变形。
在一个示例性实施例中，步骤S204中所述根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整的步骤，可以包括：保持人脸轮廓特征点的纵坐标不变，通过以下方式调整人脸轮廓特征点的横坐标：将所述人脸轮廓特征点的编号与预设数值参数进行运算，获得运算结果；计算所述运算结果与所述人脸变形约束量的乘积的算术平方根，并将所述乘积的算术平方根作为所述人脸轮廓特征点的横坐标的偏移量；根据所述偏移量调整所述人脸轮廓特征点的横坐标。
具体的，所述人脸轮廓特征点的横坐标的偏移量的计算公式为：
上述公式中，y表示人脸轮廓特征点的横坐标的偏移量；degree表示人脸变形约束量；x表示人脸轮廓特征点的编号。
其中，根据所述偏移量调整所述人脸轮廓特征点的横坐标时，将所述人脸轮廓点的横坐标与所述偏移量叠加求和的结果作为调整后的所述人脸轮廓点的横坐标。
根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，进而对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，防止人脸发生扭曲。
请参阅图4，在一个示例性实施例中，步骤S205中对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标的步骤，可以包括：
步骤S2051：根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵。
步骤S2052：根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。
通过仿射变换，可以实现图像中各点位置相对保持不变，防止图像在变换过程中发生严重变形和扭曲。
进一步地，请参阅图5，步骤S2051中所述根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵的步骤，可以包括：
步骤S20511：计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重；
步骤S20512：根据所述第一图像的各人脸特征点和对应的所述影响权重，获取所述第一图像的人脸特征点的加权平均值；
步骤S20513：根据所述第二图像的各人脸特征点和对应的所述影响权重，获取所述第二图像的人脸特征点的加权平均值；
步骤S20514：根据所述第一图像的人脸特征点与所述第一图像的人脸特征点的加权平均值的差值、第二图像的人脸特征点与所述第二图像的人脸特征点的加权平均值的差值、以及所述影响权重，计算获得仿射变换矩阵。
具体的，所述仿射变换矩阵的计算公式为：
其中，
上述公式中，M表示像素点的仿射变换矩阵；contrali表示第一图像中编号为i的人脸特征点的坐标；currenti表示第二图像中编号为i的人脸特征点的坐标；contralj表示第一图像中编号为j的人脸特征点的坐标；currentj表示第二图像中编号为j的人脸特征点的坐标；wi表示第一图像中编号为i的人脸特征点对像素点的影响权重；P表示第一图像的像素点，P.x表示像素点的横坐标；P.y表示像素点的纵坐标；control[i].x表示第一图像中编号为i的人脸特征点的横坐标；control[i].y表示第一图像中编号为i的人脸特征点的纵坐标。
其中，所述第二图像的各人脸特征点对应的所述影响权重与调整前的各人脸特征点对应的影响权重相同，即与所述第一图像的各人脸特征点和对应的所述影响权重相同。
通过计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重，进而影响权重、第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵，从而实现对所述第一图像中的像素点进行仿射变换。
在一个示例性实施例中，请参阅图6，步骤S2052中根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标步骤，可以包括：
步骤S20521：计算所述第一图像的像素点坐标与所述第一图像的人脸特征点的加权平均值的差值；
步骤S20522：将所述差值与所述影响权重进行乘积计算，并将乘积结果与所述第二图像的人脸特征点的加权平均值进行叠加求和，获得像素点在第二图像中的变换坐标。
具体的，所述像素点在第二图像中的变换坐标的计算公式为：
L(P)＝(P-contral*)M+current*
上述公式中，L(P)为像素点在第二图像中的变换坐标；P为第一图像中的像素点坐标；M表示像素点的仿射变换矩阵。
通过仿射变换矩阵，可以确定像素点在第二图像中的变换坐标，进而确定调整后的图像。
对于第一图像的每一像素点的坐标通过仿射变换获得对应的第二图像的其中一个像素点的坐标，并可在第二图像的像素点坐标中填充第一图像的像素点对应的像素值，同样的道理，对于第二图像中未填充像素值的像素点的坐标也可以通过逆仿射变换反向获得对应的输入图的最近邻像素点的坐标，并将第一图像的最近邻像素点的坐标对应的像素值填充至第二图像的像素点内，从而实现图像的融合。其中，具体的仿射变换方式可参照前述所述第一图像的人脸特征点坐标和第二图像的人脸特征点坐标之间的仿射变换，在步骤S206中根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像的步骤，包括对所述第二图像中进行最近邻插值运算。通过最近邻插值运算可以简单快速的填充所述第二图像中的像素值。
本申请实施例的有益效果包括：
1、选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止人脸图像处理过程中背景发生扭曲变形，更加符合实际应用场景。
2、在人脸外侧新增四个外侧特征点，对背景及人脸边缘部起到隔离和保护的效果，进一步防止背景及人脸边缘部发生扭曲变形。
请参阅图7，本申请实施例还提供一种图像调整装置400，包括：
人脸检测模块401，用于获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；
人脸变形约束点确定模块402，用于从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；
人脸变形约束量确定模块403，用于根据所述人脸变形约束点的坐标，计算获得人脸变形约束量；
坐标调整模块404，用于根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；
坐标变换模块405，用于对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标；
第三图像获取模块406，用于根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像。
本申请实施例选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止人脸图像处理过程中背景发生扭曲变形，更加符合实际应用场景。
其中，所述人脸特征点集包括了位于人脸不同部位的多个人脸特征点，可选地，所述人脸特征点集包括人脸关键点，所述人脸关键点包括：人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。选取上述的人脸特征点能够表征人脸的大部分特征和有效区分不同的人脸。所述人脸关键点可以通过现有的各种人脸检测算法对第一图像进行检测和识别。在本申请实施例中，通过Dlib人脸检测算法工具对第一图像进行人脸检测来获得68个人脸关键点，且该68个人脸关键点按照预设的规则进行编号0-67加以区分，具体地，编号为0-16对应表征人脸轮廓特征点，编号为17-26对应表征眉毛特征点；编号为27-35对应表征鼻子特征点；编号为36-47对应表征眼睛特征点；编号48-67为对应表征嘴巴特征点。进一步地，在面对第一图像时，以第一图像的最左边顶点的位置作为原点坐标，以第一图像的上侧边作为x的正方向，以第一图像的左侧边作为y的负方向，建立直角坐标系，则第一图像的各个人脸关键点均可以用坐标进行表示，可以获得每个编号对应的人脸关键点的坐标位置。
在一个示例性实施例中，为防止其他非人脸轮廓点所在区域在调整后发生变形和扭曲，同时防止背景及人脸边缘区域发生扭曲变形，以对背景及人脸边缘区域起到隔离和保护的效果，所述人脸特征点集还包括四个外侧特征点，所述人脸检测模块401还用于确定所述四个外侧特征点，具体用于：选取人脸关键点中的最小横坐标、人脸关键点中的最大纵坐标、人脸关键点中的最大横坐标、人脸关键点中的最小纵坐标两两相互组合，获得人脸外侧的四个外侧特征点。具体的，由于坐标为横坐标和纵坐标构成，因此，在上述选取的坐标中以人脸关键点中的最小横坐标和人脸关键点中的最大纵坐标确定第一个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最大纵坐标确定第二个外侧特征点；以人脸关键点的最小横坐标和人脸关键点的最小纵坐标确定第三个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最小纵坐标确定第四个外侧特征点。进一步地，还可以对获得的四个外侧特征点按照预设的规则进行编号以加以区分。具体的，人脸关键点的最小横坐标即编号为0的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第一个外侧特征点，对应编号为68；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第二个外侧特征点，对应编号为69；人脸关键点的最小横坐标编号为0的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第三个外侧特征点，对应编号为70；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第四个外侧特征点，对应编号为71。
在一个示例性实施例中，考虑到图像瘦脸需求时，下巴及靠近眼睛的关键点调整幅度应该较小，而脸蛋区域调整幅度应该较大，同时，若脸蛋区域调整方式不合适，在人脸边缘这样的敏感区域会出现扭曲、毛刺锯齿情况的出现，因此，为满足图像瘦脸需求，防止人脸边缘这样的敏感区域会出现扭曲、毛刺锯齿情况的出现，选取的所述人脸变形约束点为两个外眼角特征点、或两个内眼角特征点、或下巴特征点和眉心特征点作为人脸变形约束点。由于两个外眼角特征点作为人脸变形约束点，可实现对人脸轮廓特征点形变进行有效约束，进而可满足大部分用户的需求，可适用于不同尺寸、不同倾斜角度的图像的瘦脸调整，因此，本实施中，优选采用两个外眼角特征点作为人脸变形约束点，具体地，两个外眼角特征点分别为编号为39对应的人脸特征点和编号为42对应的人脸特征点。
进一步地，所述坐标调整模块402用于根据所述人脸变形约束点，计算获得人脸变形约束量时，包括用于获取两个所述人脸变形约束点的横坐标的差值，并将所述差值的算术平方根作为人脸变形约束量。具体的，所述人脸变形约束量的计算公式为：
上述公式中，degree表示人脸变形约束量；point1.x表示其中一个人脸变形约束点的横坐标，point2.x表示另一个人脸变形约束点的横坐标，且point1.x-point2.x的值大于0。
由于瘦脸调整主要为人脸左右横向方向的调整，因此，通过以两个人脸变形约束点的横坐标的差值的算术平方根作为人脸变形约束量，可以实现对人脸瘦脸调整时的有效约束，有效防止人脸变形。
在一个示例性实施例中，所述坐标调整模块404用于根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整时，包括用于：保持人脸轮廓特征点的纵坐标不变，通过以下方式调整所述人脸轮廓特征点的横坐标：将所述人脸轮廓特征点的编号与预设数值参数进行运算，获得运算结果；计算所述运算结果与所述人脸变形约束量的乘积的算术平方根，并将所述乘积的算术平方根作为所述人脸轮廓特征点的横坐标的偏移量；根据所述偏移量调整所述人脸轮廓特征点的横坐标。
具体的，所述人脸轮廓特征点的横坐标的偏移量的计算公式为：
上述公式中，y表示人脸轮廓特征点的横坐标的偏移量；degree表示人脸变形约束量；x表示人脸轮廓特征点的编号。
其中，根据所述偏移量调整所述人脸轮廓特征点的横坐标时，将所述人脸轮廓点的横坐标与所述偏移量叠加求和的结果作为调整后的所述人脸轮廓点的横坐标。
根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，进而对人脸调整进行有效约束，可防止人脸变得下巴尖锐或脸蛋部位失去弧度，防止人脸发生扭曲。
请参阅图8，在一个示例性实施例中，所述坐标变换模块405包括：
仿射变换矩阵确定模块4051，用于根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵。
变换坐标确定模块4052，用于根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。
通过仿射变换，可以实现图像中各点位置相对保持不变，防止图像在变换过程中发生严重变形和扭曲。
具体的，请参阅图9，所述仿射变换矩阵确定模块4051包括：
影响权重确定模块40511，用于计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重。
第一加权平均值计算模块40512，用于根据所述第一图像的各人脸特征点和对应的所述影响权重，获取所述第一图像的人脸特征点的加权平均值；
第二加权平均值计算模块40513，用于根据所述第二图像的各人脸特征点和对应的所述影响权重，获取所述第二图像的人脸特征点的加权平均值；
仿射变换矩阵计算模块40514，用于根据所述第一图像的人脸特征点与所述第一图像的人脸特征点的加权平均值的差值、第二图像的人脸特征点与所述第二图像的人脸特征点的加权平均值的差值、以及所述影响权重，计算获得仿射变换矩阵。
具体的，所述仿射变换矩阵的计算公式为：
其中，
上述公式中，M表示像素点的仿射变换矩阵；contrali表示第一图像中编号为i的人脸特征点的坐标；currenti表示第二图像中编号为i的人脸特征点的坐标；contralj表示第一图像中编号为j的人脸特征点的坐标；currentj表示第二图像中编号为j的人脸特征点的坐标；wi表示第一图像中编号为i的人脸特征点对像素点的影响权重；P表示第一图像的像素点，P.x表示像素点的横坐标；P.y表示像素点的纵坐标；control[i].x表示第一图像中编号为i的人脸特征点的横坐标；control[i].y表示第一图像中编号为i的人脸特征点的纵坐标。
通过计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重，进而影响权重、第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵，从而实现对所述第一图像中的像素点进行仿射变换。
在一个示例性实施例中，请参阅图10，所述变换坐标确定模块4052可以包括：
差值计算模块40521，用于计算所述第一图像的像素点坐标与所述第一图像的人脸特征点的加权平均值的差值；
坐标计算模块40522，用于将所述差值与所述影响权重进行乘积计算，并将乘积结果与所述第二图像的人脸特征点的加权平均值进行叠加求和，获得像素点在第二图像中的变换坐标。
具体的，所述像素点在第二图像中的变换坐标的计算公式为：
L(P)＝(P-contral*)M+current*
上述公式中，L(P)为像素点在第二图像中的变换坐标；P为第一图像中的像素点坐标；M表示像素点的仿射变换矩阵。
通过仿射变换矩阵，可以确定像素点在第二图像中的变换坐标，进而确定调整后的图像。
对于第一图像的每一像素点的坐标通过仿射变换获得对应的第二图像的其中一个像素点的坐标，并可在第二图像的像素点坐标中填充第一图像的像素点对应的像素值，同样的道理，对于第二图像中未填充像素值的像素点的坐标也可以通过逆仿射变换反向获得对应的输入图的最近邻像素点的坐标，并将第一图像的最近邻像素点的坐标对应的像素值填充至第二图像的像素点内，从而实现图像的融合。其中，具体的仿射变换方式可参照前述所述第一图像的人脸特征点坐标和第二图像的人脸特征点坐标之间的仿射变换，所述第三图像获取模块406用于根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像时，包括用于对所述第二图像中进行最近邻插值运算。
本申请实施例还提供一种计算机设备，包括：
处理器；
存储器，用于存储可由所述处理器执行的计算机程序；
其中，所述处理器执行所述程序时实现上述任一实施例所记载的图像调整方法。
如图11所示，图11是本申请实施例示出的计算机设备的结构框图。
该计算机设备包括：处理器501、存储器502、具有触摸功能的显示屏503、输入装置504、输出装置505以及通信装置506。该计算机设备中处理器501的数量可以是一个或者多个，图7中以一个处理器501为例。该电子设备中存储器502的数量可以是一个或者多个，图7中以一个存储器502为例。该电子设备的处理器501、存储器502、具有触摸功能的显示屏503、输入装置504、输出装置505以及通信装置506可以通过总线或者其他方式连接，图10中以通过总线连接为例。本实施例中，电子设备可以是计算机、手机、平板电脑、交互式智能平板、PDA(Personal Digital Assistant，个人数字助理)、电子书阅读器、多媒体播放器等。本实施例中，以电子设备为交互智能平板为例，进行描述。
存储器502作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例任意实施例所述的图像调整方法程序，以及本申请实施例任意实施例所述的图像调整方法对应的程序指令/模块(例如，图像调整装置中的人脸检测模块401，人脸变形约束点确定模块402，人脸变形约束量确定模块403，坐标调整模块404，坐标变换模块405，第三图像获取模块406等)。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器502可进一步包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏503可为具有触摸功能的显示屏，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏503用于根据处理器501的指示显示数据，如显示第一图像和第三图像，还用于接收作用于显示屏501的触摸操作，并将相应的信号发送至处理器501或其他装置。可选的，当显示屏503为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏503的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器501或者其他设备。在其他例子中，显示屏503也可为不具有触摸功能的显示屏。
输入装置504可用于接收输入的图像，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置1204可以包括扬声器等音频设备。需要说明的是，输入装置1203和输出装置1204的具体组成可以根据实际情况设定。
通信装置505，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
处理器501通过运行存储在存储器502中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像调整方法。
具体的，在一个示例性的实施例中，处理器501执行存储器502中存储的一个或多个程序时，具体实现如下操作：获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集。从人脸特征点集中选取部分人脸特征点作为人脸变形约束点。根据所述人脸变形约束点的坐标，计算获得人脸变形约束量。根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像。对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。根据所述变换坐标填充所述第二图像中的像素值，获得第三图像。
本申请实施例选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸图像处理过程中人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止人脸图像处理过程中背景发生扭曲变形，更加符合实际应用场景。
在上述实施例的基础上，所述人脸特征点集包括了位于人脸不同部位的多个人脸特征点，可选地，所述人脸特征点集包括人脸关键点，所述人脸关键点包括：人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。选取上述的人脸特征点能够表征人脸的大部分特征和有效区分不同的人脸。所述人脸关键点可以通过现有的各种人脸检测算法对第一图像进行检测和识别。在本申请实施例中，通过Dlib人脸检测算法工具对第一图像进行人脸检测来获得68个人脸关键点，且该68个人脸关键点按照预设的规则进行编号0-67加以区分，具体地，编号为0-16对应表征人脸轮廓特征点，编号为17-26对应表征眉毛特征点；编号为27-35对应表征鼻子特征点；编号为36-47对应表征眼睛特征点；编号48-67为对应表征嘴巴特征点。进一步地，在面对第一图像时，以第一图像的最左边顶点的位置作为原点坐标，以第一图像的上侧边作为x的正方向，以第一图像的左侧边作为y的负方向，建立直角坐标系，则第一图像的各个人脸关键点均可以用坐标进行表示，可以获得每个编号对应的人脸关键点的坐标位置。
在上述实施例的基础上，为防止其他非人脸轮廓点所在区域在调整后发生变形和扭曲，同时防止背景及人脸边缘区域发生扭曲变形，以对背景及人脸边缘区域起到隔离和保护的效果，人脸特征点集还包括四个外侧特征点；所述四个外侧特征点通过以下步骤获得，包括：选取人脸关键点中的最小横坐标、人脸关键点中的最大纵坐标、人脸关键点中的最大横坐标、人脸关键点中的最小纵坐标两两相互组合，获得人脸外侧的四个外侧特征点。具体的，由于坐标为横坐标和纵坐标构成，因此，在上述选取的坐标中以人脸关键点中的最小横坐标和人脸关键点中的最大纵坐标确定第一个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最大纵坐标确定第二个外侧特征点；以人脸关键点的最小横坐标和人脸关键点的最小纵坐标确定第三个外侧特征点；以人脸关键点的最大横坐标和人脸关键点的最小纵坐标确定第四个外侧特征点。进一步地，还可以对获得的四个外侧特征点按照预设的规则进行编号以加以区分。具体的，人脸关键点的最小横坐标即编号为0的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第一个外侧特征点，对应编号为68；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最大纵坐标即编号为18的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第二个外侧特征点，对应编号为69；人脸关键点的最小横坐标编号为0的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第三个外侧特征点，对应编号为70；人脸关键点的最大横坐标即编号为16的人脸关键点的横坐标、人脸关键点的最小纵坐标即编号为8的人脸关键点的纵坐标，这两个坐标构成的人脸外侧的第四个外侧特征点，对应编号为71。
在上述实施例的基础上，为满足图像瘦脸需求，防止人脸边缘这样的敏感区域会出现扭曲、毛刺锯齿情况的出现，选取的所述人脸变形约束点为两个外眼角特征点、或两个内眼角特征点、或下巴特征点和眉心特征点作为人脸变形约束点。由于两个外眼角特征点作为人脸变形约束点，可实现对人脸轮廓特征点形变进行有效约束，进而可满足大部分用户的需求，可适用于不同尺寸、不同倾斜角度的图像的瘦脸调整，因此，本实施中，优选采用两个外眼角特征点作为人脸变形约束点，具体地，两个外眼角特征点分别为编号为39对应的人脸特征点和编号为42对应的人脸特征点。
进一步地，所述处理器执行所述根据所述人脸变形约束点，计算获得人脸变形约束量的时，包括执行：获取两个所述人脸变形约束点的横坐标的差值，并将所述差值的算术平方根作为人脸变形约束量。具体的，所述人脸变形约束量的计算公式为：
上述公式中，degree表示人脸变形约束量；point1.x表示其中一个人脸变形约束点的横坐标，point2.x表示另一个人脸变形约束点的横坐标，且point1.x-point2.x的值大于0。
在上述实施例的基础上，所述处理器执行根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整时，可以包括执行：保持人脸轮廓特征点的纵坐标不变，通过以下方式获取人脸轮廓点的横坐标：将所述人脸轮廓特征点的编号与预设数值参数进行运算，获得运算结果；计算所述运算结果与所述人脸变形约束量的乘积的算术平方根，并将所述乘积的算术平方根作为所述人脸轮廓特征点的横坐标的偏移量；根据所述偏移量调整所述人脸轮廓特征点的横坐标。
具体的，所述人脸轮廓特征点的横坐标的偏移量的计算公式为：
上述公式中，y表示人脸轮廓特征点的横坐标的偏移量；degree表示人脸变形约束量；x表示人脸轮廓特征点的编号。
其中，根据所述偏移量调整所述人脸轮廓特征点的横坐标时，将所述人脸轮廓点的横坐标与所述偏移量叠加求和的结果作为调整后的所述人脸轮廓点的横坐标。
根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，进而对人脸调整进行有效约束，可防止人脸变得下巴尖锐或脸蛋部位失去弧度，防止人脸发生扭曲。
在上述实施例的基础上，所述处理器501执行存储器502中存储的一个或多个程序时，实现所述对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标时，具体实现如下操作：根据第一图像的人脸特征点坐标和第二图像的人脸特征点坐标，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵；根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。
具体的，所述处理器501执行存储器502中存储的一个或多个程序时，实现根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵时，包括执行：计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重；根据所述第一图像的各人脸特征点和对应的所述影响权重，获取所述第一图像的人脸特征点的加权平均值；根据所述第二图像的各人脸特征点和对应的所述影响权重，获取所述第二图像的人脸特征点的加权平均值；根据所述第一图像的人脸特征点与所述第一图像的人脸特征点的加权平均值的差值、第二图像的人脸特征点与所述第二图像的人脸特征点的加权平均值的差值、以及所述影响权重，计算获得仿射变换矩阵。
具体的，所述仿射变换矩阵的计算公式为：
其中，
上述公式中，M表示像素点的仿射变换矩阵；contrali表示第一图像中编号为i的人脸特征点的坐标；currenti表示第二图像中编号为i的人脸特征点的坐标；contralj表示第一图像中编号为j的人脸特征点的坐标；currentj表示第二图像中编号为j的人脸特征点的坐标；wi表示第一图像中编号为i的人脸特征点对像素点的影响权重；P表示第一图像的像素点，P.x表示像素点的横坐标；P.y表示像素点的纵坐标；control[i].x表示第一图像中编号为i的人脸特征点的横坐标；control[i].y表示第一图像中编号为i的人脸特征点的纵坐标。
通过计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重，进而影响权重、第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵，从而实现对所述第一图像中的像素点进行仿射变换。
所述处理器501执行存储器502中存储的一个或多个程序时，实现对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标时，包括执行：计算所述第一图像的像素点坐标与所述第一图像的人脸特征点的加权平均值的差值；将所述差值与所述影响权重进行乘积计算，并将乘积结果与所述第二图像的人脸特征点的加权平均值进行叠加求和，获得像素点在第二图像中的变换坐标。
具体的，所述像素点在第二图像中的变换坐标的计算公式为：
L(P)＝(P-contral*)M+current*
上述公式中，L(P)为像素点在第二图像中的变换坐标；P为第一图像中的像素点坐标；M表示像素点的仿射变换矩阵。
通过仿射变换矩阵，可以确定像素点在第二图像中的变换坐标，进而确定调整后的图像。
对于第一图像的每一像素点的坐标通过仿射变换获得对应的第二图像的其中一个像素点的坐标，并可在第二图像的像素点坐标中填充第一图像的像素点对应的像素值，同样的道理，对于第二图像中未填充像素值的像素点的坐标也可以通过逆仿射变换反向获得对应的输入图的最近邻像素点的坐标，并将第一图像的最近邻像素点的坐标对应的像素值填充至第二图像的像素点内，从而实现图像的融合。其中，具体的仿射变换方式可参照前述所述第一图像的人脸特征点坐标和第二图像的人脸特征点坐标之间的仿射变换，所述处理器501根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像的步骤，包括对所述第二图像中进行最近邻插值运算。通过最近邻插值运算可以简单快速的填充所述第二图像中的像素值。
本申请实施例还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任一所述的图像调整方法的步骤，包括：获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集。从人脸特征点集中选取部分人脸特征点作为人脸变形约束点。根据所述人脸变形约束点的坐标，计算获得人脸变形约束量。根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像。对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。根据所述变换坐标填充所述第二图像中的像素值，获得第三图像。
本申请实施例选取部分人脸特征点作为人脸变形约束点，并根据所述人脸变形约束点的坐标，计算获得人脸变形约束量，且根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，对人脸调整进行有效约束，可防止人脸变得下巴尖锐或脸蛋部位失去弧度，导致人脸发生扭曲；同时，防止背景发生扭曲变形，更加符合实际应用场景。
本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述提供的计算机设备可用于执行上述任意实施例提供的图像调整方法，具备相应的功能和有益效果。上述设备中各个组件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请实施例的其它实施方案。本申请实施例旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
以上所述实施例仅表达了本申请实施例的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请实施例构思的前提下，还可以做出若干变形和改进，这些都属于本申请实施例的保护范围。
Claims (13)
1.一种图像调整方法，其特征在于，包括如下步骤：
获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；
从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；
根据所述人脸变形约束点的坐标，计算获得人脸变形约束量；
根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；
对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标；
根据所述变换坐标填充所述第二图像中的像素值，获得第三图像。
2.根据权利要求1所述的图像调整方法，其特征在于，所述人脸特征点集包括人脸关键点；所述人脸关键点包括：人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。
3.根据权利要求2所述的图像调整方法，其特征在于，所述人脸特征点集还包括四个外侧特征点；所述四个外侧特征点通过以下步骤获得：选取人脸关键点中的最小横坐标、人脸关键点中的最大纵坐标、人脸关键点中的最大横坐标、人脸关键点中的最小纵坐标两两相互组合，获得人脸外侧的四个外侧特征点。
4.根据权利要求3所述的图像调整方法，其特征在于，所述人脸变形约束点为两个外眼角特征点、或两个内眼角特征点、或下巴特征点和眉心特征点。
5.根据权利要求4所述的图像调整方法，其特征在于，所述根据所述人脸变形约束点，计算获得人脸变形约束量的步骤，包括：
获取两个所述人脸变形约束点的横坐标的差值，并将所述差值的算术平方根作为人脸变形约束量。
6.根据权利要求1-5中任一权利要求所述的图像调整方法，其特征在于，所述根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整的步骤，包括：保持人脸轮廓特征点的纵坐标不变，通过以下方式调整人脸轮廓特征点的横坐标：
将所述人脸轮廓特征点的编号与预设数值参数进行运算，获得运算结果；
计算所述运算结果与所述人脸变形约束量的乘积的算术平方根，并将所述乘积的算术平方根作为所述人脸轮廓特征点的横坐标的偏移量；
根据所述偏移量调整所述人脸轮廓特征点的横坐标。
7.根据权利要求1-5中任一权利要求所述的图像调整方法，其特征在于，所述对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标的步骤，包括：
根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵；
根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标。
8.根据权利要求7所述的图像调整方法，其特征在于，所述根据第一图像的人脸特征点和第二图像的人脸特征点，计算第一图像的像素点和第二图像的像素点之间的仿射变换矩阵的步骤，包括：
计算所述第一图像中各人脸特征点对所述第一图像的像素点的影响权重；
根据所述第一图像的各人脸特征点和对应的所述影响权重，获取所述第一图像的人脸特征点的加权平均值；
根据所述第二图像的各人脸特征点和对应的所述影响权重，获取所述第二图像的人脸特征点的加权平均值；
根据所述第一图像的人脸特征点与所述第一图像的人脸特征点的加权平均值的差值、第二图像的人脸特征点与所述第二图像的人脸特征点的加权平均值的差值、以及所述影响权重，计算获得仿射变换矩阵。
9.根据权利要求8所述的图像调整方法，其特征在于，所述根据所述仿射变换矩阵对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标的步骤，包括：
计算所述第一图像的像素点坐标与所述第一图像的人脸特征点的加权平均值的差值；
将所述差值与所述影响权重进行乘积计算，并将乘积结果与所述第二图像的人脸特征点的加权平均值进行叠加求和，获得像素点在第二图像中的变换坐标。
10.根据权利要求1所述的图像调整方法，其特征在于，所述根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像的步骤，包括对所述第二图像中进行最近邻插值运算。
11.一种图像调整装置，其特征在于，包括：
人脸检测模块，用于获取第一图像，并对第一图像进行人脸检测，获得人脸特征点集；
人脸变形约束点确定模块，用于从人脸特征点集中选取部分人脸特征点作为人脸变形约束点；
人脸变形约束量确定模块，用于根据所述人脸变形约束点的坐标，计算获得人脸变形约束量；
坐标调整模块，用于根据所述人脸变形约束量，对人脸特征点集中的人脸轮廓特征点的坐标进行调整，获得第二图像；
坐标变换模块，用于对所述第一图像中的像素点进行仿射变换，获得各所述像素点在第二图像中的变换坐标；
第三图像获取模块，用于根据所述第一图像中的变换坐标填充所述第二图像中的像素值，获得第三图像。
12.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10中任意一项所述的图像调整方法的步骤。
13.一种计算机设备，其特征在于，包括存储器，处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至10中任意一项所述的图像调整方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910670893.3A CN110555796B (zh) | 2019-07-24 | 2019-07-24 | 图像调整方法、装置、存储介质以及设备 |
| PCT/CN2019/126539 WO2021012596A1 (zh) | 2019-07-24 | 2019-12-19 | 图像调整方法、装置、存储介质以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910670893.3A CN110555796B (zh) | 2019-07-24 | 2019-07-24 | 图像调整方法、装置、存储介质以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555796A true CN110555796A (zh) | 2019-12-10 |
| CN110555796B CN110555796B (zh) | 2021-07-06 |
Family
ID=68735952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910670893.3A Active CN110555796B (zh) | 2019-07-24 | 2019-07-24 | 图像调整方法、装置、存储介质以及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110555796B (zh) |
| WO (1) | WO2021012596A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507890A (zh) * | 2020-04-13 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| WO2021012596A1 (zh) * | 2019-07-24 | 2021-01-28 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
| CN112634165A (zh) * | 2020-12-29 | 2021-04-09 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN112750071A (zh) * | 2020-11-04 | 2021-05-04 | 上海序言泽网络科技有限公司 | 一种用户自定义的表情制作方法及系统 |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
| CN116310146A (zh) * | 2023-05-16 | 2023-06-23 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
| CN116616817A (zh) * | 2023-07-21 | 2023-08-22 | 深圳华声医疗技术股份有限公司 | 超声心率检测方法、装置、超声设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591562A (zh) * | 2021-06-23 | 2021-11-02 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113808249B (zh) * | 2021-08-04 | 2022-11-25 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和计算机存储介质 |
| CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090041039A (ko) * | 2007-10-23 | 2009-04-28 | 에스케이 텔레콤주식회사 | 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치 |
| EP2750100A2 (en) * | 2012-12-28 | 2014-07-02 | Samsung Electronics Co., Ltd | Image transformation apparatus and method |
| CN104751404A (zh) * | 2013-12-30 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 一种图像变换的方法及装置 |
| CN105894446A (zh) * | 2016-05-09 | 2016-08-24 | 西安北升信息科技有限公司 | 一种视频中的自动脸部轮廓修饰方法 |
| CN107203963A (zh) * | 2016-03-17 | 2017-09-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置、电子设备 |
| CN107818543A (zh) * | 2017-11-09 | 2018-03-20 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108171244A (zh) * | 2016-12-07 | 2018-06-15 | 北京深鉴科技有限公司 | 对象识别方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208133B (zh) * | 2013-04-02 | 2015-08-19 | 浙江大学 | 一种图像中人脸胖瘦的调整方法 |
| CN103824253B (zh) * | 2014-02-19 | 2017-01-18 | 中山大学 | 一种基于图像局部精确变形的人物五官变形方法 |
| CN107154030B (zh) * | 2017-05-17 | 2023-06-09 | 腾讯科技（上海）有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN109376671B (zh) * | 2018-10-30 | 2022-06-21 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及计算机可读介质 |
| CN110555796B (zh) * | 2019-07-24 | 2021-07-06 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
-
2019
- 2019-07-24 CN CN201910670893.3A patent/CN110555796B/zh active Active
- 2019-12-19 WO PCT/CN2019/126539 patent/WO2021012596A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090041039A (ko) * | 2007-10-23 | 2009-04-28 | 에스케이 텔레콤주식회사 | 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치 |
| EP2750100A2 (en) * | 2012-12-28 | 2014-07-02 | Samsung Electronics Co., Ltd | Image transformation apparatus and method |
| CN104751404A (zh) * | 2013-12-30 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 一种图像变换的方法及装置 |
| CN107203963A (zh) * | 2016-03-17 | 2017-09-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置、电子设备 |
| CN105894446A (zh) * | 2016-05-09 | 2016-08-24 | 西安北升信息科技有限公司 | 一种视频中的自动脸部轮廓修饰方法 |
| CN108171244A (zh) * | 2016-12-07 | 2018-06-15 | 北京深鉴科技有限公司 | 对象识别方法和系统 |
| CN107818543A (zh) * | 2017-11-09 | 2018-03-20 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| SONGFAN YANG 等: "Improving action units recognition using dense flow-based face registration in video", 《IEEE》 * |
| 吴礼洋 等: "基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准", 《光学学报》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021012596A1 (zh) * | 2019-07-24 | 2021-01-28 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
| CN111507890B (zh) * | 2020-04-13 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11908237B2 (en) | 2020-04-13 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method and apparatus, electronic device, and computer-readable storage medium |
| CN111507890A (zh) * | 2020-04-13 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN112750071A (zh) * | 2020-11-04 | 2021-05-04 | 上海序言泽网络科技有限公司 | 一种用户自定义的表情制作方法及系统 |
| CN112750071B (zh) * | 2020-11-04 | 2023-11-24 | 上海序言泽网络科技有限公司 | 一种用户自定义的表情制作方法及系统 |
| CN112634165A (zh) * | 2020-12-29 | 2021-04-09 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN112634165B (zh) * | 2020-12-29 | 2024-03-26 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
| CN116310146A (zh) * | 2023-05-16 | 2023-06-23 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
| CN116310146B (zh) * | 2023-05-16 | 2023-10-27 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
| CN116616817A (zh) * | 2023-07-21 | 2023-08-22 | 深圳华声医疗技术股份有限公司 | 超声心率检测方法、装置、超声设备及存储介质 |
| CN116616817B (zh) * | 2023-07-21 | 2023-10-03 | 深圳华声医疗技术股份有限公司 | 超声心率检测方法、装置、超声设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021012596A1 (zh) | 2021-01-28 |
| CN110555796B (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555796B (zh) | 图像调整方法、装置、存储介质以及设备 | |
| WO2019153671A1 (zh) | 图像超分辨率方法、装置及计算机可读存储介质 | |
| CN106875431B (zh) | 具有移动预测的图像追踪方法及扩增实境实现方法 | |
| CN109285211B (zh) | 画面渲染方法、装置、终端及存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN112288665B (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108282694B (zh) | 全景视频渲染方法、装置及电子设备 | |
| CN109313797B (zh) | 一种图像显示方法及终端 | |
| CN111324200B (zh) | 一种虚拟现实的显示方法及装置、计算机存储介质 | |
| CN115272570A (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| CN110740309A (zh) | 一种图像显示方法、装置、电子设备及存储介质 | |
| CN112766215A (zh) | 人脸融合方法、装置、电子设备及存储介质 | |
| CN107065164B (zh) | 图像展示方法及装置 | |
| CN111836058B (zh) | 用于实时视频播放方法、装置、设备以及存储介质 | |
| CN111476151A (zh) | 眼球检测方法、装置、设备及存储介质 | |
| CN108876704A (zh) | 人脸图像变形的方法、装置及计算机存储介质 | |
| CN111292234B (zh) | 一种全景图像生成方法及装置 | |
| US10152818B2 (en) | Techniques for stereo three dimensional image mapping | |
| CN107452045B (zh) | 基于虚拟现实应用反畸变网格的空间点映射方法 | |
| CN112507766B (zh) | 人脸图像提取方法、存储介质及终端设备 | |
| CN114063761B (zh) | 注视点显示方法及相关装置 | |
| CN110827411B (zh) | 自适应环境的增强现实模型显示方法、装置、设备及存储介质 | |
| CN107506031B (zh) | 一种vr应用程序的识别方法及电子设备 | |
| CN112149647A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |