CN110084219B - 界面交互方法及装置 - Google Patents
界面交互方法及装置 Download PDFInfo
- Publication number
- CN110084219B CN110084219B CN201910375059.1A CN201910375059A CN110084219B CN 110084219 B CN110084219 B CN 110084219B CN 201910375059 A CN201910375059 A CN 201910375059A CN 110084219 B CN110084219 B CN 110084219B
- Authority
- CN
- China
- Prior art keywords
- face
- adjusted
- key points
- points
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明提供一种界面交互方法及装置，涉及界面交互技术领域。该界面交互方法包括：识别获取待处理图像中人脸部分的多个待调整区域。接收用户的操作指令，操作指令用于选择待处理图像中的目标区域。根据目标区域的位置信息确定目标区域所属的待调整区域，展示目标区域所属的待调整区域对应的调整界面，其中，每个待调整区域与一个调整界面对应，调整界面包含待调整区域对应的功能选项。实现了直观的展示了调整界面所能调整的待调整区域，达到了无需对应用程序进行学习或试用，即可快速上手的效果，有效的减少了交互成本。
Description
技术领域
本发明涉及界面交互技术领域，具体而言，涉及一种界面交互方法及装置。
背景技术
人像美颜是修图应用程序中的常用功能之一，可以用于对人像的图片进行修改、美化，例如，进行磨皮、美白、瘦脸等，应用广泛，深受喜爱。
但现有的美颜应用程序中，选择每一项美颜功能时，需要在菜单栏或选项栏中寻找对应的功能位置，点击以后打开对应的美颜功能调整界面，对人像的图片进行修改、美化。
可见，采用现有技术用户在使用过程中，需要对应用程序进行学习以及试用来熟悉使用，交互成本较大。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种界面交互方法及装置，以解决需要对应用程序进行学习以及试用来熟悉使用，交互成本较大的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种界面交互方法，包括：
识别获取待处理图像中人脸部分的多个待调整区域。接收用户的操作指令，操作指令用于选择待处理图像中的目标区域。根据目标区域的位置信息确定目标区域所属的待调整区域，展示目标区域所属的待调整区域对应的调整界面，其中，每个待调整区域与一个调整界面对应，调整界面包含待调整区域对应的功能选项。
可选地，识别获取待处理图像中人脸部分的多个待调整区域包括：识别待处理图像中的人脸部分。采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点，其中，每个人脸关键点对应一个人脸属性。根据人脸关键点，确定人脸部分的多个待调整区域。
可选地，根据人脸关键点，确定人脸部分的多个待调整区域，包括：获取人脸关键点的人脸关键点坐标以及人脸关键点特征值。根据人脸关键点特征值以及人脸关键点特征值与人脸属性的预设映射关系，获取具有相同人脸属性的人脸关键点。根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域。
可选地，根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域，包括：将具有相同人脸属性的人脸关键点，作为对应人脸属性的锚点。或，将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点，其中，预设锚点包括人脸属性，预设锚点与人脸关键点具有相同的人脸属性。根据人脸属性的锚点，生成人脸属性对应的待调整区域。
可选地，将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点之前，还包括：获取标准人脸图像上的多个人脸标准关键点。在多个人脸标准关键点之间的连线上，设置多个标准锚点。根据每个标准锚点所在的连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于连线两端的人脸标准关键点的标准锚点坐标的表达式。根据标准锚点坐标的表达式、人脸关键点的坐标，计算获取多个预设锚点。
可选地，采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点，包括：将人脸部分的方向校正为预设方向，得到校正后的人脸图像。采用人脸关键点检测模型检测获取校正后的人脸图像中多个人脸关键点。
可选地，识别获取待处理图像中人脸部分的多个待调整区域之后，还包括：在待处理图像上展示每个待调整区域。
第二方面，本发明实施例还提供了一种界面交互装置，包括：识别模块，用于识别获取待处理图像中人脸部分的多个待调整区域。接收模块，用于接收用户的操作指令，操作指令用于选择待处理图像中的目标区域。第一展示模块，用于根据目标区域的位置信息确定目标区域所属的待调整区域，展示目标区域所属的待调整区域对应的调整界面，其中，每个待调整区域与一个调整界面对应，调整界面包含待调整区域对应的功能选项。
可选地，识别模块，具体用于识别待处理图像中的人脸部分。采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点，其中，每个人脸关键点对应一个人脸属性。根据人脸关键点，确定人脸部分的多个待调整区域。
可选地，识别模块，具体用于获取人脸关键点的人脸关键点坐标以及人脸关键点特征值。根据人脸关键点特征值以及人脸关键点特征值与人脸属性的预设映射关系，获取具有相同人脸属性的人脸关键点。根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域。
可选地，识别模块，具体用于将具有相同人脸属性的人脸关键点，作为对应人脸属性的锚点。或，将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点，其中，预设锚点包括人脸属性，预设锚点与人脸关键点具有相同的人脸属性。根据人脸属性的锚点，生成人脸属性对应的待调整区域。
可选地，还包括计算模块。计算模块，用于获取标准人脸图像上的多个人脸标准关键点。在多个人脸标准关键点之间的连线上，设置多个标准锚点。根据每个标准锚点所在的连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于连线两端的人脸标准关键点的标准锚点坐标的表达式。根据标准锚点坐标的表达式、人脸关键点的坐标，计算获取多个预设锚点。
可选地，识别模块，具体用于将人脸部分的方向校正为预设方向，得到校正后的人脸图像。采用人脸关键点检测模型检测获取校正后的人脸图像中多个人脸关键点。
可选地，还包括第二展示模块，用于在待处理图像上展示每个待调整区域。
第三方面，本发明实施例提供一种电子设备，处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面任一方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一方法的步骤。
本发明的有益效果是：通过识别获取待处理图像中的人脸部分的多个待调整区域，并根据用户的操作指令选择目标区域，展示目标区域所属的待调整区域对应的所述调整界面，该调整界面包含所述待调整区域对应的功能选项，直观的展示了调整界面所能调整的待调整区域，无需对应用程序进行学习或试用，即可快速上手，有效的减少了交互成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的界面交互方法流程示意图；
图2为本申请另一实施例提供的界面交互方法流程示意图；
图3为本申请一实施例提供的界面交互方法中待调整区域的示意图；
图4为本申请另一实施例提供的界面交互方法流程示意图；
图5为本申请另一实施例提供的界面交互方法流程示意图；
图6为本申请另一实施例提供的界面交互方法流程示意图；
图7为本申请另一实施例提供的界面交互方法流程示意图；
图8为本申请一实施例提供的界面交互装置结构示意图；
图9为本申请一实施例提供的界面交互装置结构示意图；
图10为本申请一实施例提供的界面交互装置结构示意图；
图11为本申请一实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1为本申请一实施例提供的界面交互方法流程示意图。该界面交互方法的执行主体可以是具有图像处理能力的终端，例如，台式电脑、笔记本电脑、平板电脑、智能手机、相机等，在此不做限制。
如图1所示，该界面交互方法包括：
S110、识别获取待处理图像中人脸部分的多个待调整区域。
一些实施方式中，待处理图像的来源包括预存在设备中的图像、预存在设备中视频的帧图像、通过与设备连接的图像采集装置获取的图像等，在此不做限定。其中，图像采集装置可以是摄像头、外接相机等。
需要说明的是，每个待调整区域用于表示一部分待调整的人脸特征，如眼睛、鼻子、下巴、额头、脸颊等，多个待调整区域可以表示同一待调整的人脸特征，例如，左眼和右眼区域均用于表示眼睛。
S120、接收用户的操作指令，操作指令用于选择待处理图像中的目标区域。
一些实施方式中，由于执行该界面交互方法的设备不同，接收到的用户的操作指令也有所不同。例如，对于触控设备，该用户的操作指令可以是通过触控点击的方式选择待处理图像中的目标区域；对于通过如键盘、鼠标、按键进行控制的设备，该用户的操作指令可以是通过按键操作的方式选择待处理图像中的目标区域，但不以此为限。
S130、根据目标区域的位置信息确定目标区域所属的待调整区域，展示目标区域所属的待调整区域对应的调整界面。
其中，每个待调整区域与一个调整界面对应，调整界面包含待调整区域对应的功能选项。
需要说明的是，该功能选项可以用于调整对应的待调整区域，例如，若待调整区域为眼睛，则该功能选项可以用于对眼睛进行相关的调整，如眼睛放大，若待调整区域为下巴，则该功能选项可以用于进行瘦脸等，在此不做限制。
本实施例中，通过识别获取待处理图像中的人脸部分的多个待调整区域，并根据用户的操作指令选择目标区域，展示目标区域所属的待调整区域对应的所述调整界面，该调整界面包含所述待调整区域对应的功能选项，直观的展示了调整界面所能调整的待调整区域，无需对应用程序进行学习或试用，即可快速上手，有效的减少了交互成本。
图2为本申请另一实施例提供的界面交互方法流程示意图，图3为本申请一实施例提供的界面交互方法中待调整区域的示意图。
可选地，如图2所示，识别获取待处理图像中人脸部分的多个待调整区域包括：
S111、识别待处理图像中的人脸部分。
一些实施方式中，可以通过人脸检测模型识别待处理图像中的人脸部分，人脸检测模型可以包括你只看一次(You Only Look Once，YOLO)模型、快速区域卷积神经网络(FAST-Region Convolutional Neural Networks，FAST-RCNN)模型、多任务级联卷积神经网络(Multi-task Convolutional Neural Networks，MTCNN)模型等，但不以此为限。
可选地，通过人脸检测模型识别确定人脸框的位置后，由于框中的人脸可能存在一定角度，再对人脸框中的人脸进行摆正，得到摆正后的人脸，摆正后的人脸可以用于进行人脸关键点检测。
S112、采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点。
其中，每个人脸关键点对应一个人脸属性。人脸属性可以指对人脸上某个位置区域的描述、或者某个特征的描述等。
一种可能的实现方式中，人脸关键点的可以是指定位人脸轮廓、五官轮廓的锚点，人脸关键点检测模型可以包括热图回归(HeatmapRegression)模型、MTCNN模型等。参考图3，通过人脸关键点检测模型获取人脸关键201(在图3中以黑点进行标记)，通常一张人脸可以获取几十到几百个人脸关键点201，每个人脸关键点201对应一个人脸属性，如眼睛、鼻子、下巴、额头、脸颊等。
S113、根据人脸关键点，确定人脸部分的多个待调整区域。
一些实施方式中，同一人脸属性的多个人脸关键点201围成该人脸属性对应的待调整区域，同一人脸属性可以对应一个以上的待调整区域，参考图3，待调整区域可以包括下巴区域203、脸颊区域204、颧骨区域205、眼睛区域206、额头区域207、鼻子区域208等，但不以此为限。
图4为本申请另一实施例提供的界面交互方法流程示意图。
可选地，如图4所示，上述根据人脸关键点，确定人脸部分的多个待调整区域，包括：
S1131、获取人脸关键点的人脸关键点坐标以及人脸关键点特征值。
一些实施方式中，人脸关键点的坐标可以是指定位人脸轮廓、五官轮廓的锚点在待处理图像中的坐标，人脸关键点的特征值可以为人脸关键点的编号、顺序等，在此不做限制。
S1132、根据人脸关键点特征值以及人脸关键点特征值与人脸属性的预设映射关系，获取具有相同人脸属性的人脸关键点。
一些实施方式中，以人脸关键点的特征值是编号为例，则预设映射关系可以是人脸关键点的编号与人脸属性的映射关系，例如，编号为1-15的人脸关键点的人脸属性为脸部轮廓、编号为16-20的人脸关键点的人脸属性为鼻子等，但不以此为限。
S1133、根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域。
参考前例，编号1-15的人脸关键点的关键点坐标对应的锚点在待处理图像中围成一个封闭区域，该区域则为脸部区域，编号16-20的人脸关键点的关键点坐标对应的锚点在待处理图像中围成另一个封闭区域，该区域则为鼻子区域。
图5为本申请另一实施例提供的界面交互方法流程示意图。
可选地，如图5所示，上述根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域，包括：
S1133a、将具有相同人脸属性的人脸关键点，作为对应人脸属性的锚点。
S1133a即上述S1131、S1132步骤中的方法，在此不再赘述。
或，包括：
S1133b将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点。
其中，预设锚点包括人脸属性，预设锚点与人脸关键点具有相同的人脸属性。
需要说明的是，参考图3，图3中使用白色点标记了预设锚点202，预设锚点202可以用于对人脸关键点进行补充，使得通过人脸关键点以及预设锚点确定的待调整区域的边缘更加平滑、区域范围更加准确。
S1133c、根据人脸属性的锚点，生成人脸属性对应的待调整区域。
其中，人脸属性的锚点可以包括具有相同人脸属性的人脸特征点和预设锚点。人脸属性的锚点在待处理图像上表示的区域，即为该人脸属性对应的待调整区域。
图6为本申请另一实施例提供的界面交互方法流程示意图。
可选地，如图6所示，将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点之前，还包括：
S310、获取标准人脸图像上的多个人脸标准关键点。
一些实施方式中，标准人脸图像可以是获取符合人脸关键点检测模型要求的人脸图像，在其上获取的人脸关键点可以用来计算预设锚点的表达式。
S320、在多个人脸标准关键点之间的连线上，设置多个标准锚点。
其中，可以根据应用时的实际情况，选择设置多个标准锚点，每个标准锚点和其所在连线两端的人脸标准关键点可以用于计算对应预设锚点的表达式，每个标准锚点对应一个预设锚点，其中，每个标准锚点所在连线两端的人脸标准关键点的特征值，与预设锚点所在连线两端的人脸关键点的特征值相同。
S330、根据每个标准锚点所在的连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于连线两端的人脸标准关键点的标准锚点坐标的表达式。
一些实施方式中，若标准锚点S的坐标为(Xs，Ys)、其所在的连线两端的人脸标准关键点A、B的坐标为(Xa，Ya)(Xb，Yb)，则该标准锚点S(Xs’，Ys’)的表达式可以为：
其中，λ为标准锚点S与人脸标准关键点A的距离|AS|和标准锚点S与人脸标准关键点B的距离|SB|之比，即λ＝|AS|/|SB|。
λ的计算方式为：
S340、根据标准锚点坐标的表达式、人脸关键点的坐标，计算获取多个预设锚点。
一些实施方式中，可以根据每个预设锚点对应的标准锚点所在连线两端的人脸标准关键点的特征值，获取预设锚点所在连线两端的人脸关键点，并根据人脸关键点的坐标、标准锚点坐标的表达式，计算获取预设锚点的坐标。
图7为本申请另一实施例提供的界面交互方法流程示意图。
可选地，如图7所示，上述采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点，包括：
S1121、将人脸部分的方向校正为预设方向，得到校正后的人脸图像。
一些实施方式中，人脸部分中的人脸图像可能存在一定的偏移，可以通过人脸校正网络对其进行校正，得到校正后的人脸图像。
S1122、采用人脸关键点检测模型检测获取校正后的人脸图像中多个人脸关键点。
S1122中使用的人脸关键点检测模型与上述的相同，在此不再赘述。
可选地，识别获取待处理图像中人脸部分的多个待调整区域之后，还包括：在待处理图像上展示每个待调整区域。
一些实施方式中，在待处理图像上展示每个待调整区域，可以通过将每个待调整区域进行高亮显示实现或者进行标记实现。例如，可以根据待调整区域的范围，为不同人脸属性的待调整区域覆盖不同颜色的高亮图层，如，眼睛使用红色、鼻子使用棕色、脸颊使用黄色等；还有一些实施方式中，可以在高亮图层上，或者也可以不使用高亮图层，直接在待调整区域上，通过文字、图形等方式，对不同人脸属性的待调整区域使用不同的文字或者图形进行标注，例如，直接使用汉字对不同的待调整区域进行文字标注，或使用与待调整区域对应的图标进行标注等，但不以此为限。
需要说明的是，在待处理图像上展示每个待调整区域，目的在于能够清楚、快速的区分不同的人脸区域，以便用户可以直观选择需要的调整功能，降低交互成本。
可选地，当上述待处理图像中还包含除人脸部分以外的人体时，待调整区域还可以用于指示调整图像中人体的其他部分，例如，通过待调整区域标示腿、腰等，其选择方法与调整界面的展示方法与人脸部分的一致，在此不再赘述。
以下，以执行主体为智能手机为例，给出本申请提供的界面交互方法的一种应用示例，对本申请的界面交互方法进行解释。
可以通过智能手机拍摄包括人脸图像的照片，该照片存储于智能手机的闪存内，用户选择该照片后，先在智能手机后台进行操作，即通过人脸检测模型、人脸校正网络获取校正后的人脸图像，再通过人脸关键点检测模型获取人脸图像上的多个人脸关键点，并且通过人脸关键点计算获取预设锚点，根据人脸关键点和预设锚点获取待调整区域的范围坐标，在获取到待调整区域的范围坐标后，在智能手机前端进行展示，即在手机屏展示的照片中的人脸图像上，通过高亮展示不同的待调整区域。
等待接收用户的操作指令，若用户的操作指令选中区域的在待调整区域内，则跳转到该待调整区域对应的调整界面，该调整界面可以用于调整待调整区域，实现美颜效果；若用户的操作指令选中的区域不在待调整区域内，则可以通过闪烁高亮层，提示用户选择正确的区域。
上述示例仅为一种可能的实施方式，而不是必须如此，本领域技术人员应该明确，本申请的方案可以有各种更改和变化。凡在本申请方案的精神和原则之内所作的更改和变化，均应包含在本申请的保护范围之内。
图8为本申请一实施例提供的界面交互装置结构示意图。
如图8所示，本发明实施例还提供了一种界面交互装置，包括：识别模块401，用于识别获取待处理图像中人脸部分的多个待调整区域。接收模块402，用于接收用户的操作指令，操作指令用于选择待处理图像中的目标区域。第一展示模块403，用于根据目标区域的位置信息确定目标区域所属的待调整区域，展示目标区域所属的待调整区域对应的调整界面，其中，每个待调整区域与一个调整界面对应，调整界面包含待调整区域对应的功能选项。
可选地，识别模块401，具体用于识别待处理图像中的人脸部分。采用人脸关键点检测模型检测获取人脸部分中的多个人脸关键点，其中，每个人脸关键点对应一个人脸属性。根据人脸关键点，确定人脸部分的多个待调整区域。
可选地，识别模块401，具体用于获取人脸关键点的人脸关键点坐标以及人脸关键点特征值。根据人脸关键点特征值以及人脸关键点特征值与人脸属性的预设映射关系，获取具有相同人脸属性的人脸关键点。根据具有相同人脸属性的人脸关键点的坐标，生成人脸属性对应的待调整区域。
可选地，识别模块401，具体用于将具有相同人脸属性的人脸关键点，作为对应人脸属性的锚点。或，将具有相同人脸属性的人脸关键点、以及多个预设锚点，作为对应人脸属性的锚点，其中，预设锚点包括人脸属性，预设锚点与人脸关键点具有相同的人脸属性。根据人脸属性的锚点，生成人脸属性对应的待调整区域。
图9为本申请一实施例提供的界面交互装置结构示意图。
可选地，如图9所示，还包括计算模块404。计算模块404，用于获取标准人脸图像上的多个人脸标准关键点。在多个人脸标准关键点之间的连线上，设置多个标准锚点。根据每个标准锚点所在的连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于连线两端的人脸标准关键点的标准锚点坐标的表达式。根据标准锚点坐标的表达式、人脸关键点的坐标，计算获取多个预设锚点。
可选地，识别模块401，具体用于将人脸部分的方向校正为预设方向，得到校正后的人脸图像。采用人脸关键点检测模型检测获取校正后的人脸图像中多个人脸关键点。
图10为本申请一实施例提供的界面交互装置结构示意图。
可选地，如图10所示，还包括第二展示模块405，用于在待处理图像上展示每个待调整区域。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图11为本申请一实施例提供的电子设备结构示意图。
如图11所示，该电子设备包括：处理器501、计算机可读存储介质502和总线503，其中：
电子设备可以包括一个或多个处理器501、总线503和计算机可读存储介质502，其中，计算机可读存储介质502用于存储程序，处理器501通过总线503与计算机可读存储介质502通信连接，处理器501调用计算机可读存储介质502存储的程序，以执行上述方法实施例。
电子设备可以是通用计算机、服务器或移动终端等，在此不做限制。电子设备用于实现本申请的人脸识别方法。
需要说明的是，处理器501可以包括一个或多个处理核(例如，单核处理器或多核处理器)。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(GraphicsProcessing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable GateArray，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。
计算机可读存储介质502可以包括：包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random AccessMemory，RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(StaticRandom-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-OnlyMemory，MROM)、可编程ROM(Programmable Read-Only Memory，PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory，PEROM)、电可擦除可编程ROM(ElectricallyErasable Programmable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。
为了便于说明，在电子设备中仅描述了一个处理器501。然而，应当注意，本申请中的电子设备还可以包括多个处理器501，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备的处理器501执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (8)
1.一种界面交互方法，其特征在于，包括：
识别待处理图像中的人脸部分；
采用人脸关键点检测模型检测获取所述人脸部分中的多个人脸关键点，其中，每个所述人脸关键点对应一个人脸属性；
根据所述人脸关键点，确定所述人脸部分的多个待调整区域；
接收用户的操作指令，所述操作指令用于选择所述待处理图像中的目标区域；
根据所述目标区域的位置信息确定所述目标区域所属的待调整区域，展示所述目标区域所属的待调整区域对应的调整界面，其中，每个所述待调整区域与一个所述调整界面对应，所述调整界面包含所述待调整区域对应的功能选项，所述功能选项用于调整对应的待调整区域；
所述根据所述人脸关键点，确定所述人脸部分的多个待调整区域，包括：
获取所述人脸关键点的人脸关键点坐标以及人脸关键点特征值；
根据所述人脸关键点特征值以及所述人脸关键点特征值与人脸属性的预设映射关系，获取具有相同所述人脸属性的所述人脸关键点；
根据具有相同所述人脸属性的所述人脸关键点的坐标，生成所述人脸属性对应的待调整区域；
所述根据具有相同所述人脸属性的所述人脸关键点的坐标，生成所述人脸属性对应的待调整区域，包括：
将具有相同所述人脸属性的所述人脸关键点，作为对应所述人脸属性的锚点；或，
将具有相同所述人脸属性的所述人脸关键点、以及多个预设锚点，作为对应所述人脸属性的锚点，其中，所述预设锚点包括所述人脸属性，所述预设锚点与所述人脸关键点具有相同的人脸属性，用于对人脸关键点进行补充；
根据所述人脸属性的锚点，生成所述人脸属性对应的所述待调整区域。
2.根据权利要求1所述的方法，其特征在于，所述将具有相同所述人脸属性的所述人脸关键点、以及多个预设锚点，作为对应所述人脸属性的锚点之前，还包括：
获取标准人脸图像上的多个人脸标准关键点；
在多个所述人脸标准关键点之间的连线上，设置多个标准锚点；
根据每个所述标准锚点所在的所述连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于所述连线两端的人脸标准关键点的所述标准锚点坐标的表达式；
根据所述标准锚点坐标的表达式、所述人脸关键点的坐标，计算获取多个预设锚点。
3.根据权利要求1所述的方法，其特征在于，所述采用人脸关键点检测模型检测获取所述人脸部分中的多个人脸关键点，包括：
将所述人脸部分的方向校正为预设方向，得到校正后的人脸图像；
采用人脸关键点检测模型检测获取所述校正后的人脸图像中多个所述人脸关键点。
4.根据权利要求1-3任一项所述的方法，其特征在于，识别获取待处理图像中人脸部分的多个待调整区域之后，还包括：
在所述待处理图像上展示每个所述待调整区域。
5.一种界面交互装置，其特征在于，包括：
识别模块，用于识别待处理图像中的人脸部分；采用人脸关键点检测模型检测获取所述人脸部分中的多个人脸关键点，其中，每个所述人脸关键点对应一个人脸属性；根据所述人脸关键点，确定所述人脸部分的多个待调整区域；
接收模块，用于接收用户的操作指令，所述操作指令用于选择所述待处理图像中的目标区域；
第一展示模块，用于根据所述目标区域的位置信息确定所述目标区域所属的待调整区域，展示所述目标区域所属的待调整区域对应的调整界面，其中，每个所述待调整区域与一个所述调整界面对应，所述调整界面包含所述待调整区域对应的功能选项，所述功能选项用于调整对应的待调整区域；
所述识别模块，具体用于获取所述人脸关键点的人脸关键点坐标以及人脸关键点特征值；
根据所述人脸关键点特征值以及所述人脸关键点特征值与人脸属性的预设映射关系，获取具有相同所述人脸属性的所述人脸关键点；
根据具有相同所述人脸属性的所述人脸关键点的坐标，生成所述人脸属性对应的待调整区域；
所述识别模块，具体用于将具有相同所述人脸属性的所述人脸关键点，作为对应所述人脸属性的锚点；或，
将具有相同所述人脸属性的所述人脸关键点、以及多个预设锚点，作为对应所述人脸属性的锚点，其中，所述预设锚点包括所述人脸属性，所述预设锚点与所述人脸关键点具有相同的人脸属性，用于对人脸关键点进行补充；
根据所述人脸属性的锚点，生成所述人脸属性对应的所述待调整区域。
6.根据权利要求5所述的装置，其特征在于，还包括计算模块；
所述计算模块，用于获取标准人脸图像上的多个人脸标准关键点；在多个所述人脸标准关键点之间的连线上，设置多个标准锚点；根据每个所述标准锚点所在的所述连线两端的人脸标准关键点的坐标以及插值算法，计算获得基于所述连线两端的人脸标准关键点的所述标准锚点坐标的表达式；根据所述标准锚点坐标的表达式、所述人脸关键点的坐标，计算获取多个预设锚点。
7.根据权利要求5所述的装置，其特征在于，所述识别模块，具体用于将所述人脸部分的方向校正为预设方向，得到校正后的人脸图像；
采用人脸关键点检测模型检测获取所述校正后的人脸图像中多个所述人脸关键点。
8.根据权利要求5-7任一项所述的装置，其特征在于，还包括第二展示模块，用于在所述待处理图像上展示每个所述待调整区域。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375059.1A CN110084219B (zh) | 2019-05-07 | 2019-05-07 | 界面交互方法及装置 |
| PCT/CN2019/104315 WO2020224136A1 (zh) | 2019-05-07 | 2019-09-04 | 界面交互方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375059.1A CN110084219B (zh) | 2019-05-07 | 2019-05-07 | 界面交互方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084219A CN110084219A (zh) | 2019-08-02 |
| CN110084219B true CN110084219B (zh) | 2022-06-24 |
Family
ID=67418999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910375059.1A Active CN110084219B (zh) | 2019-05-07 | 2019-05-07 | 界面交互方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110084219B (zh) |
| WO (1) | WO2020224136A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084219B (zh) * | 2019-05-07 | 2022-06-24 | 厦门美图之家科技有限公司 | 界面交互方法及装置 |
| CN112613357B (zh) * | 2020-12-08 | 2024-04-09 | 深圳数联天下智能科技有限公司 | 人脸测量方法、装置、电子设备和介质 |
| CN114185628B (zh) * | 2021-11-19 | 2024-04-12 | 北京奇艺世纪科技有限公司 | iOS系统的图片调节方法、装置、设备及计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2763102A4 (en) * | 2011-09-27 | 2016-04-20 | Intel Corp | FACE RECOGNITION METHOD, APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD |
| CN109559288A (zh) * | 2018-11-30 | 2019-04-02 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109584180A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
| CN109614951A (zh) * | 2018-12-27 | 2019-04-12 | 广东金杭科技有限公司 | 人像对比任务分发处理算法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014021782A (ja) * | 2012-07-19 | 2014-02-03 | Canon Inc | 画像処理装置、その制御方法及びプログラム |
| CN105787878B (zh) * | 2016-02-25 | 2018-12-28 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
| CN105825486B (zh) * | 2016-04-05 | 2018-12-25 | 北京小米移动软件有限公司 | 美颜处理的方法及装置 |
| CN108021308A (zh) * | 2016-10-28 | 2018-05-11 | 中兴通讯股份有限公司 | 图像处理方法、装置及终端 |
| CN108550117A (zh) * | 2018-03-20 | 2018-09-18 | 维沃移动通信有限公司 | 一种图像处理方法、装置以及终端设备 |
| CN109064388A (zh) * | 2018-07-27 | 2018-12-21 | 北京微播视界科技有限公司 | 人脸图像效果生成方法、装置和电子设备 |
| CN110084219B (zh) * | 2019-05-07 | 2022-06-24 | 厦门美图之家科技有限公司 | 界面交互方法及装置 |
-
2019
- 2019-05-07 CN CN201910375059.1A patent/CN110084219B/zh active Active
- 2019-09-04 WO PCT/CN2019/104315 patent/WO2020224136A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2763102A4 (en) * | 2011-09-27 | 2016-04-20 | Intel Corp | FACE RECOGNITION METHOD, APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD |
| CN109559288A (zh) * | 2018-11-30 | 2019-04-02 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109584180A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
| CN109614951A (zh) * | 2018-12-27 | 2019-04-12 | 广东金杭科技有限公司 | 人像对比任务分发处理算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020224136A1 (zh) | 2020-11-12 |
| CN110084219A (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210209851A1 (en) | Face model creation | |
| US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
| US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
| KR102347336B1 (ko) | 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체 | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| CN110084219B (zh) | 界面交互方法及装置 | |
| WO2017193906A1 (zh) | 一种图像处理方法及处理系统 | |
| CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| CN108428214B (zh) | 一种图像处理方法及装置 | |
| EP3992919A1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| KR102386642B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN108229301B (zh) | 眼睑线检测方法、装置和电子设备 | |
| US20130314437A1 (en) | Image processing apparatus, image processing method, and computer program | |
| CN112419170A (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| JP2012256131A (ja) | 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN109740511B (zh) | 一种人脸表情匹配方法、装置、设备及存储介质 | |
| CN112149605B (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
| KR102391087B1 (ko) | 이미지 처리 방법, 장치 및 전자 기기 | |
| CN112348069B (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
| CN109754467A (zh) | 三维人脸构建方法、计算机存储介质和计算机设备 | |
| CN110852934A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN110119674B (zh) | 一种作弊检测的方法、装置、计算设备及计算机存储介质 | |
| CN113362344A (zh) | 人脸皮肤分割方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |