CN110135315B - 基于人眼关键点的眼瞳替换方法及装置 - Google Patents

Abstract

本发明提出了一种基于人眼关键点的眼瞳替换方法及装置，其中该方法包括：获取人脸图像，并对其进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对人眼区域进行图像处理以获得眼瞳的mask；根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理；由此，本发明只需要少量的人工辅助就可以快速地完成眼瞳替换，大大提高了图像处理的效率。

Description

基于人眼关键点的眼瞳替换方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于人眼关键点的眼瞳替换方法、一种基于人眼关键点的眼瞳替换装置以及一种计算机可读存储介质和计算机设备。

背景技术

人物照片由于其拍摄的光线不佳或者人物本身精气神不足的原因，通常会出现两眼浑浊无光，需要对眼睛进行替换的情况。

目前常用的眼瞳替换方法，是采用Photoshop等软件进行处理，但是，采用该方式的操作过程较为复杂，需要较长时间学习和使用才能熟练操作；即使操作者能熟练操作也需要具有一定的耐心和细心才可完成，导致整个处理过程费时费力。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于人眼关键点的眼瞳替换方法，只需要少量的人工辅助就可以快速地完成眼瞳替换，大大提高了图像处理的效率。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种基于人眼关键点的眼瞳替换装置。

为达到上述目的，本发明第一方面实施例提出了一种基于人眼关键点的眼瞳替换方法，该方法包括以下步骤：获取待处理的人脸图像，并对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对所述人眼区域进行图像处理以获得眼瞳的mask；根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；获取模板眼瞳，并根据所述眼瞳的mask对所述模板眼瞳进行调整；将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。

根据本发明实施例的基于人眼关键点的眼瞳替换方法，首先获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；再根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并对人眼区域进行图像处理以获得眼瞳的mask；接着根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；然后将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本发明能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

另外，根据本发明上述实施例提出的基于人眼关键点的眼瞳替换方法还可以具有如下附加的技术特征：

可选地，对所述人眼区域进行图像处理以获得眼瞳的mask，包括：对所述人眼区域进行二值化处理以获得二值化图像；对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask。

可选地，根据以下公式计算所述交界区域的羽化参数：r1=r0*（H1/H0），其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

可选地，根据所述眼瞳的mask对所述模板眼瞳进行调整，包括：取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于人眼关键点的眼瞳替换程序，该基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法。

根据本发明实施例的计算机可读存储介质，通过存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于人眼关键点的眼瞳替换方法。

根据本发明实施例的计算机设备，通过存储器存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

为达到上述目的，本发明第四方面实施例提出了一种基于人眼关键点的眼瞳替换装置，包括：第一获取模块，用于获取待处理的人脸图像；人眼关键点检测模块，用于对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；曲线拟合模块，用于根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；图像处理模块，用于对所述人眼区域进行图像处理以获得眼瞳的mask；计算模块，用于根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；第二获取模块，用于获取模板眼瞳；调整模块，用于根据所述眼瞳的mask对所述模板眼瞳进行调整；融合模块，用于将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。

根据本发明实施例提供的基于人眼关键点的眼瞳替换装置，通过第一获取模块获取待处理的人脸图像；再通过曲线拟合模块根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并通过图像处理模块对人眼区域进行图像处理以获得眼瞳的mask；接着采用计算模块根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并通过第二获取模块获取模板眼瞳；然后通过调整模块根据眼瞳的mask对模板眼瞳进行调整；最后采用融合模块将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本发明能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

另外，根据本发明上述实施例提出的基于人眼关键点的眼瞳替换装置还可以具有如下附加的技术特征：

可选地，所述图像处理模块进一步用于，对所述人眼区域进行二值化处理以获得二值化图像，并对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask。

可选地，所述计算模块根据以下公式计算所述交界区域的羽化参数：r1=r0*（H1/H0），其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

可选地，所述调整模块进一步用于，取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。

附图说明

图1为根据本发明实施例的基于人眼关键点的眼瞳替换方法的流程图；

图2为根据本发明一个实施例的基于人眼关键点的眼瞳替换方法的流程图；

图3为根据本发明一个实施例的基于人眼关键点的眼瞳替换装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，通过Photoshop等软件进行眼瞳替换时具有一定的门槛，用户往往需要较长的时间学习和使用才能熟练操作，特别是对边缘羽化与眼皮区域涂抹等，会花费较多的时间；且当前替换眼瞳的工作，即使能熟练掌握，也极其考验耐心和细心，对用户的审美等都有比较高的要求；不仅会导致替换眼瞳的效果不理想，从而大大降低了效率，而且还会导致整个处理过程费时费力。

而本发明实施例提出的基于人眼关键点的眼瞳替换方法，只需要少量的人工辅助就可以快速地完成眼瞳替换，大大提高了图像处理的效率；首先获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；再根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并对人眼区域进行图像处理以获得眼瞳的mask；接着根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；然后将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理，因此，针对眼瞳替换问题，采用及其轻量型的工具，就能实现了眼瞳替换的半自动化流程，需要人工介入的环节简单明了，只需对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的基于人眼关键点的眼瞳替换方法的流程图；如图1所示，本发明实施例的基于人眼关键点的眼瞳替换方法包括以下步骤：

步骤101，获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域。

作为一个示例，可以通过拍摄照片来获取人脸图像，然后通过深度学习技术进行人眼关键点检测，从而获取上眼皮关键点、下眼皮关键点以及人眼区域。

步骤102，根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线。

也就是说，通过上眼皮关键点进行贝塞尔曲线拟合从而获得光滑的上眼皮曲线，通过下眼皮关键点进行贝塞尔曲线拟合从而获得光滑的下眼皮曲线。

步骤103，对人眼区域进行图像处理以获得眼瞳的mask。

作为一个示例，对获取的人眼区域进行二值化处理以获得二值化图像；然后对二值化图像进行开闭运算与连通域检索从而获得人眼区域中的眼瞳的mask图像。

步骤104，根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数。

作为一个示例，通过上眼皮曲线、下眼皮曲线和眼瞳的mask获得眼瞳与眼皮的交界区域后，再通过r1=r0*（H1/H0）计算出交界区域的羽化参数，其中r1为羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

也就是说根据参考的眼瞳高度H0和预设的边缘羽化数值r0以及当前眼瞳高度H1可以计算出交界区域的羽化参数r1，从而实现自动化的边缘羽化，使得交界区域过渡自然且无需花费过多时间。

步骤105，获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整。

需要说明的是，模板眼瞳为预先建立，用户通过选择获取模板眼瞳。

作为一个示例，通过取C/(A+B-C)的最大值，以调整模板眼瞳的大小与位置，其中A为眼瞳的mask所对应的区域，B为模板眼瞳对应的区域，C为A与B的交叉重叠区域。

也就是说，作为一个实施例，当A=B，即眼瞳的mask与模板眼瞳的大小和位置相同时，C=(A+B-C)，C/(A+B-C)=1为最大值，即眼瞳的mask与模板眼瞳完全重合；当A≠B时，为了使C/(A+B-C)取最大值，只能尽量让C取最大值，即尽量让A与B的交叉重叠区域为最大值，从而更好的使模板眼瞳与人眼区域进行融合。

步骤106，将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。

也就是说，在模板眼瞳与人眼区域融合过程中，根据羽化参数和交界区域对超出人眼区域的模板眼瞳进行羽化处理，从而达到自然融合的效果。

根据本发明实施例的基于人眼关键点的眼瞳替换方法，首先获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；再根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并对人眼区域进行图像处理以获得眼瞳的mask；接着根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；然后将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本发明能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

图2为根据本发明一个实施例的基于人眼关键点的眼瞳替换方法的具体流程图。如图2所示，该基于人眼关键点的眼瞳替换方法包括以下步骤：

步骤201，获取图像。

需要说明的是，获取的图像为具有人脸的图像，其中该人脸图像可通过拍摄获得。

步骤202，人眼关键点检测。

需要说明的是，根据获取的图像进行人眼关键点检测，可以得到步骤203和步骤205。

步骤203，获取上眼皮关键点及下眼皮关键点。

也就是说，通过人眼关键点检测从而获取到上眼皮关键点及下眼皮关键点。

步骤204，上眼皮关键点及下眼皮关键点贝塞尔曲线拟合。

也就是说，根据上眼皮关键点进行通过贝塞尔曲线拟合，从而获得上眼皮曲线；并根据下眼皮关键点进行通过贝塞尔曲线拟合，从而获得下眼皮曲线。

步骤205，人眼区域提取。

也就是说，通过人眼关键点检测从而获取到人眼区域。

步骤206，二值化处理。

即，通过将人眼区域进行二值化处理，从而获得二值化图像。

步骤207，开闭运算与连通域检索。

即，对二值化处理后所获得的二值化图像进行开闭运算与连通域检索。

步骤208，提取眼瞳mask。

对二值化处理后所获得的二值化图像进行开闭运算与连通域检索后，从而提取到人眼区域中的眼瞳mask。

步骤209，选择眼瞳模板。

需要说明的是，眼瞳模板为预先建立，用户通过选择获取眼瞳模板。

步骤210，眼瞳大小与位置提取。

作为一个实施例，通过取C/(A+B-C)的最大值，以提取眼瞳大小与位置；其中A为眼瞳的mask所对应的区域，B为模板眼瞳对应的区域，C为A与B的交叉重叠区域；当A=B，即眼瞳的mask与模板眼瞳的大小和位置相同时，C=(A+B-C)，C/(A+B-C)=1为最大值，即眼瞳的mask与模板眼瞳完全重合；当A≠B时，为了使C/(A+B-C)取最大值，只能尽量让C取最大值，即尽量让A与B的交叉重叠区域为最大值，从而更好的使模板眼瞳与人眼区域进行融合。

需要说明的是，眼瞳大小与位置的提取为自动化提取。

步骤211，眼瞳模板根据眼瞳大小与位置自适应调整。

需要说明的是，在自动化提取完眼瞳模板的大小与位置后，还通过人工干预，根据提取的眼瞳大小与位置以对眼瞳模板进行自适应调整。

步骤212，上眼皮、下眼皮与眼瞳交界区域自动羽化数值提取。

通过r1=r0*（H1/H0）计算出交界区域的羽化参数，其中r1为羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

步骤213，眼瞳模板与眼瞳融合。

作为一个实施例，根据步骤212提取的羽化数值以及步骤211调整之后的眼瞳模板的大小与位置，将眼瞳模板与眼瞳进行羽化处理，从而使眼瞳模板与眼瞳自然的融合。

根据本发明实施例的基于人眼关键点的眼瞳替换方法，首先获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；再根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并对人眼区域进行图像处理以获得眼瞳的mask；接着根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；然后将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本发明能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

另外，本发明实施例还提出了一种计算机可读存储介质，其上存储有基于人眼关键点的眼瞳替换程序，该基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法。

根据本发明实施例的计算机可读存储介质，通过存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

另外，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于人眼关键点的眼瞳替换方法。

根据本发明实施例的计算机设备，通过存储器存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

图3为根据本发明一个实施例的基于人眼关键点的眼瞳替换装置的方框示意图。如图3所示，该基于人眼关键点的眼瞳替换装置包括：第一获取模块301、人眼关键点检测模块302、曲线拟合模块303、图像处理模块304、计算模块305、第二获取模块306、调整模块307以及融合模块308；

其中，第一获取模块301，用于获取待处理的人脸图像；人眼关键点检测模块302，用于对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；曲线拟合模块303，用于根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；图像处理模块304，用于对人眼区域进行图像处理以获得眼瞳的mask；计算模块305，用于根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；第二获取模块306，用于获取模板眼瞳；调整模块307，用于根据眼瞳的mask对模板眼瞳进行调整；融合模块308，用于将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。

作为一个实施例，上述图像处理模块304进一步用于，对人眼区域进行二值化处理以获得二值化图像，并对二值化图像进行开闭运算与连通域检索以获得眼瞳的mask。

作为一个实施例，计算模块305根据以下公式计算交界区域的羽化参数：

r1=r0*（H1/H0），其中，r1为羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

作为一个实施例，调整模块307进一步用于，取C/(A+B-C)的最大值，以调整模板眼瞳的大小与位置，其中，A为眼瞳的mask所对应的区域，B为模板眼瞳对应的区域，C为A与B的交叉重叠区域。

需要说明的是，前述对于基于图层变形的发际线修复方法的实施例的解释说明同样适用于本实施例的基于图层变形的发际线修复装置，此处不再赘述。

根据本发明实施例提供的基于人眼关键点的眼瞳替换装置，通过第一获取模块获取待处理的人脸图像；再通过曲线拟合模块根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并通过图像处理模块对人眼区域进行图像处理以获得眼瞳的mask；接着采用计算模块根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并通过第二获取模块获取模板眼瞳；然后通过调整模块根据眼瞳的mask对模板眼瞳进行调整；最后采用融合模块将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本发明能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于人眼关键点的眼瞳替换方法，其特征在于，包括以下步骤：

获取待处理的人脸图像，并对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；

根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；

对所述人眼区域进行图像处理以获得眼瞳的mask；

根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；

获取模板眼瞳，并根据所述眼瞳的mask对所述模板眼瞳进行调整；

将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理；

对所述人眼区域进行图像处理以获得眼瞳的mask，包括：

对所述人眼区域进行二值化处理以获得二值化图像；

对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask；

根据以下公式计算所述交界区域的羽化参数：

r1＝r0*(H1/H0)，其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

2.如权利要求1所述的基于人眼关键点的眼瞳替换方法，其特征在于，根据所述眼瞳的mask对所述模板眼瞳进行调整，包括：

取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。

3.一种计算机可读存储介质，其特征在于，其上存储有基于人眼关键点的眼瞳替换程序，该基于人眼关键点的眼瞳替换程序被处理器执行时实现如权利要求1-2中任一项所述的基于人眼关键点的眼瞳替换方法。

4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-2中任一项所述的基于人眼关键点的眼瞳替换方法。

5.一种基于人眼关键点的眼瞳替换装置，其特征在于，包括：

第一获取模块，用于获取待处理的人脸图像；

人眼关键点检测模块，用于对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；

曲线拟合模块，用于根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；

图像处理模块，用于对所述人眼区域进行图像处理以获得眼瞳的mask；

计算模块，用于根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；

第二获取模块，用于获取模板眼瞳；

调整模块，用于根据所述眼瞳的mask对所述模板眼瞳进行调整；

融合模块，用于将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理；

所述图像处理模块进一步用于，对所述人眼区域进行二值化处理以获得二值化图像，并对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask；

所述计算模块根据以下公式计算所述交界区域的羽化参数：

r1＝r0*(H1/H0)，其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。

6.如权利要求5所述的基于人眼关键点的眼瞳替换装置，其特征在于，所述调整模块进一步用于，取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。

Images