CN117197855A - 人脸关键点标注方法、装置、电子设备及存储介质 - Google Patents
人脸关键点标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117197855A CN117197855A CN202210622927.3A CN202210622927A CN117197855A CN 117197855 A CN117197855 A CN 117197855A CN 202210622927 A CN202210622927 A CN 202210622927A CN 117197855 A CN117197855 A CN 117197855A
- Authority
- CN
- China
- Prior art keywords
- face
- sliding track
- points
- marked
- texture image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种人脸关键点标注方法、装置、电子设备及存储介质。所述方法包括:获取待标注的人脸纹理图像;响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种人脸关键点标注方法、装置、电子设备及存储介质。
背景技术
稠密人脸关键点是人脸上一系列具有固定语义或描述具体轮廓的点,如下巴、眉尖、眼角、眼周等。稠密人脸关键点定位是很多基于人脸理解的计算机视觉任务中的重要预处理步骤,例如人脸识别、三维人脸重构和人脸姿态估计等。相关的人脸关键点标注方法,对人脸关键点标注的准确性还有待提高。
发明内容
鉴于上述问题,本申请提出了一种人脸关键点标注方法、装置、电子设备以及存储介质,以实现改善上述问题。
第一方面,本申请实施例提供了一种人脸关键点标注方法,所述方法包括:获取待标注的人脸纹理图像;响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
第二方面,本申请实施例提供了一种人脸关键点标注装置,所述装置包括:图像获取单元,用于获取待标注的人脸纹理图像;像素点获取单元,用于响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标滑动操作对应的滑动轨迹所包括的像素点;标注单元,用于从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
第三方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述方法的步骤。
本申请实施例提供了一种人脸关键点标注方法、装置、电子设备及存储介质。首先获取待标注的人脸纹理图像,然后响应于目标滑动操作,从待标注的人脸纹理图像中获取与目标滑动操作对应的滑动轨迹所包括的像素点,从而可以从滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的一种人脸关键点标注方法的应用场景示意图;
图2示出了本申请一实施例提出的一种人脸关键点标注方法的应用场景示意图;
图3示出了本申请一实施例提出的一种人脸关键点标注方法的流程图;
图4示出了本申请一实施例中的待标注的人脸纹理图像的示意图;
图5示出了本申请一实施例中的目标滑动操作的滑动方向的示意图;
图6示出了本申请另一实施例提出的一种人脸关键点标注方法的流程图;
图7示出了本申请另一实施例中生成的待标注的人脸纹理图像的示意图;
图8示出了本申请再一实施例提出的一种人脸关键点标注方法的流程图;
图9示出了本申请再一实施例中步骤S360的流程图;
图10示出了本申请再一实施例中得到人脸关键点的示意图;
图11示出了本申请又一实施例提出的一种人脸关键点标注方法的流程图;
图12示出了本申请实施例提出的一种人脸关键点标注装置的结构框图;
图13示出了本申请实时中的用于执行根据本申请实施例的人脸关键点标注方法的电子设备或服务器的结构框图;
图14示出了本申请实时中的用于保存或者携带实现根据本申请实施例的人脸关键点标注方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着AI技术的发展,人脸关键点也越来越精细(数量多),对标注员的基本功和标注团队审核能力的要求也越来越高。标注质量的好坏,对人工智能人脸模型的算法精确度有很大作用,如果人脸关键点标注不好,那么人脸识别算法就无法很好地进行人脸识别,影响实际应用。
发明人在对相关的人脸关键点标注方法的研究中发现,对于人脸关键点的标注,最直接的方式就是通过人工标注的方式,在人脸图像上一个关键点一个关键点的标注,由于人脸稠密关键点都是非常多的,导致人工标注这种方式太耗费人力和时间了,而且效率低下。在上述情况下,有很多提高人脸关键标注效率的方式产生了,其中比较常用的有基于统一纹理弧线上的几个关键锚点,用数学的方法得出该弧线对应的方程及长度,然后将剩余的关键点均匀分布在该条弧线上;基于训练好的关键点检测模型检测出坐标点,然后对模型检测出来的关键点进行调整这两种方式,上述两种方式虽然提高了人脸关键点标注的效率,但是前种方式所需计算的数学公式比较复杂,从而就有不够准确、效率低等缺点;后种方式虽然提高了人工标注的效率,但是预测的关键点的准确性非常依赖模型的准确率。
因此,发明人提出了本申请中的人脸关键点标注方法、装置、电子设备及存储介质。首先获取待标注的人脸纹理图像,然后响应于目标滑动操作,从待标注的人脸纹理图像中获取与目标滑动操作对应的滑动轨迹所包括的像素点,从而可以从滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
在本申请实施例中,所提供的人脸关键点标注方法可以由电子设备执行。在由电子设备执行的这种方式中,本申请实施例提供的人脸关键点标注方法中所有步骤可以均由电子设备执行。例如,如图1所示,通过电子设备100的处理器可以实时的获取待标注的人脸纹理图像;响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
再者,本申请实施例提供的人脸关键点标注方法也可以由服务器(云端)进行执行。对应的,在由服务器执行的这种方式中,可以由电子设备获取待标注的人脸纹理图像,并将待标注的人脸纹理图像同步发送给服务器,然后由服务器实时的响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
另外,还可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中,本申请实施例提供的人脸关键点标注方法中的部分步骤由电子设备执行,而另外部分的步骤则由服务器来执行。
示例性的,如图2所示,电子设备100可以执行人脸关键点标注方法包括的:获取待标注的人脸纹理图像,响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;然后由服务器200来执行从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
需要说明的是,在由电子设备和服务器协同执行的这种方式中,电子设备和服务器分别执行的步骤不限于上述示例中所介绍的方式,在实际应用中,可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。
需要说明的是,该电子设备100除了可以为图1和图2中所示的智能手机外,还可以为车机设备、可穿戴设备、平板电脑、笔记本电脑、智能音箱等。服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。
下面将结合附图具体描述本申请的各实施例。
请参阅图3,本申请实施例提供的一种人脸关键点标注方法,应用于如图1或图2所示的电子设备或服务器,所述方法包括:
步骤S110:获取待标注的人脸纹理图像。
在本申请实施例中,待标注的人脸纹理图像为需要进行关键点标注的,包括多条弧线以及多个特征显著点的人脸图像。其中,多条弧线分别贴合不同的人脸纹理,人脸纹理是用来定义面部特征的线条或边界,比如脸的纹理类似于抛物线,眼珠的纹理类似于圆形等。特征显著点为用于定位人脸中的特定部位的关键点,比如,特征显著点可以为下巴处、额头中心点、左右眉毛两端尖角、左右眼眶眼角、嘴唇嘴角等,当然,特征显著点也可以为根据实际需求设置的其他的关键点。示例性的,待标注的人脸纹理图像可以如图4所示,图4中的黑色圆点表示的是多个特征显著点,两个特征显著点之间的连线为贴合人脸纹理的弧线。
作为一种方式,可以预先将多张待标注的人脸纹理图像存储在电子设备的存储区域或云服务器中,进而在需要获取待标注的人脸纹理图像时,可以直接从电子设备的存储区域或云服务器中获取。
在电子设备的存储区域或云服务器中存储有多张待标注的人脸纹理图像的情况下,若只需要获取一张待标注的人脸纹理图像,那么可以从电子设备的存储区域或云服务器中获取任一一张待标注的人脸纹理图像。可选的,也可以根据待标注的人脸纹理图像的标识从电子设备的存储区域或云服务器中获取到指定的一张待标注的人脸纹理图像。其中,待标注的人脸纹理图像的标识可以为在对待标注的人脸纹理图像进行存储时设置的。在设置待标注的人脸纹理图像的标识时,可以根据待标注的人脸纹理图像中所包括的人脸的年龄、肤色、性别等信息进行设置。若在对待标注的人脸图像进行存储时,发现有多张待标注的人脸纹理图像对应的年龄、肤色、性别等信息相同,那么在对具有相同信息的多张标注的人脸纹理图像进行存储时,可以通过存储的顺序为上述多张待标注的人脸纹理图像设置相应的序号来进行区别。进而在需要获取指定的待标注的人脸图像时,可以根据待标注的人脸纹理图像对应的标识和序号来进行获取。
步骤S120:响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点。
在本申请实施例中,目标滑动操作可以理解为作用于待标注的人脸纹理图像中的多条弧线中的任意一条弧线的滑动操作,滑动轨迹为目标滑动操作的滑动轨迹,滑动轨迹就相当于待标注的人脸纹理图像中的多条弧线中的任意一条弧线。其中,目标滑动操作的起始端为任意一条弧线中的任意一个特征显著点,目标滑动操作的结束端为该条弧线中的另一个特征显著点。如图5所示,若目标滑动操作的滑动方向为箭头所示方向,那么该目标滑动操作的起始端为特征显著点1,目标滑动操作的结束端为特征显著点2,目标滑动操作作用于连接特征显著点1和特征显著点2的弧线,连接特征显著点1和特征显著点2的弧线就是与目标滑动操作对应的滑动轨迹。
作为一种方式,当检测到外部设备作用于待标注的人脸纹理图像上的目标滑动操作时,开始获取外部设备在执行目标滑动操作过程中经过的像素点,获取外部设备从执行目标滑动操作的开始到执行目标滑动操作结束过程中经过的像素点的坐标以及像素点的数量,得到与目标滑动操作对应的滑动轨迹所包括的像素点。其中,外部设备可以为高精度的触控笔、图笔、鼠标等,当然外部设备可以为用户手指,在此做具体限定。
步骤S130:从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
在本申请实施例中,在通过上述方式获取到与目标滑动操作对应的滑动轨迹所包括的像素点后,可以按照预设人脸关键点确定规则,从滑动轨迹所包括的像素点中确定人脸关键点。其中,预设人脸关键点确定规则为预先设置的用于确定人脸关键点的规则。
作为一种方式,在确定出人脸关键点后,可以基于预设关键点标注规则对确定的人脸关键点进行标注。其中,预设关键点标注规则可以包括:基于待标注的人脸纹理图像中人脸关键点对应的图像位置信息进行标注的规则,和/或基于每一待标注的人脸纹理图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则。
在本申请实施例中,电子设备本地或所连接的存储设备(云服务器)预存有预设关键点标注规则,电子设备得到待标注的人脸纹理图像中各人脸关键点对应的图像位置信息之后,可以基于该预设关键点标注规则以及待标注的人脸纹理图像中各人脸关键点对应的图像位置信息,确定每一人脸关键点在各人脸图像中的标注位置信息,和/或基于每一待标注的人脸纹理图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息,确定出位置检测结果准确的人脸关键点对应的图像位置信息,确定每一人脸关键点在待标注的人脸纹理图像中的标注位置信息。
可选的,在对确定的人脸关键点进行标注后,可以基于每一人脸关键点在待标注的人脸纹理图像中的标注位置信息进行后续的流程,例如:进行人脸识别流程,或进行疲劳驾驶行为检测流程或进行人员身份验证流程,或将每一人脸关键点在各人脸图像中的标注位置信息发送至其他电子设备,以使其他电子设备执行其相应的预设流程。
本申请提供的一种人脸关键点标注方法,首先获取待标注的人脸纹理图像,然后响应于目标滑动操作,从待标注的人脸纹理图像中获取与目标滑动操作对应的滑动轨迹所包括的像素点,从而可以从滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
请参阅图6,本申请实施例提供的一种人脸关键点标注方法,应用于如图1或图2所示的电子设备或服务器,所述方法包括:
步骤S210:获取待处理的人脸图像。
在本申请实施例中,待处理的人脸图像为获取的还未进行处理的原始人脸图像。
作为一种方式,待处理的人脸图像可以为图像采集设备实时采集的人脸图像。具体的,可以通过图像采集设备实时的从不同角度针对目标场景内的人员的人脸进行拍摄,获取到待处理的人脸图像。其中,目标场景为图像采集设备设置的场景。
作为另一种方式,待处理的人脸图像也可以为从电子设备的存储区域或云服务器中或者网站上实时获取的人脸图像,在此不做具体限定。
步骤S220:获取所述待处理的人脸图像对应的多个特征显著点以及人脸纹理。
在本申请实施例中,人脸纹理是指用来定义面部特征的线条或边界。当获取到待处理的人脸图像后,可以确定该待处理的人脸图像对应的多个特征显著点以及待处理的人脸图像中包括的人脸的人脸纹理。
步骤S230:通过弧线将所述多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,其中,所述弧线贴合所述人脸纹理,每条弧线对应一人脸纹理。
在本申请实施例中,在确定了待处理的人脸图像的多个特征显著点以及人脸纹理后,先判断多个特征显著点中的哪些特征显著点位于同一人脸纹理上,将位置同一人脸纹理上的特征显著点通过贴合人脸纹理的弧线进行连接,得到包括多条贴合人脸纹理的弧线的待标注的人脸纹理图像。如图7所示,在图7中,包括特征显著点1、特征显著点2、特征显著点3、特征显著点4、特征显著点5、...以及特征显著点15,通过待处理图像对应的人脸纹理可以知道,特征显著点1、特征显著点2以及特征显著点3位于同一人脸纹理上,特征显著点4及特征显著点5位于同一人脸纹理上,特征显著点6及特征显著点7位于同一人脸纹理上,特征显著点8及特征显著点9位于同一人脸纹理上,特征显著点10及特征显著点11位于同一人脸纹理上,特征显著点12及特征显著点13位于同一人脸纹理上,特征显著点14及特征显著点15位于同一人脸纹理上。因此,上述处于同一人脸纹理上的特征显著点可以弧线进行连接,得到如图7所示的待标注的人脸纹理图像。
步骤S240:响应于目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与所述目标滑动操作对应的滑动轨迹。
在本申请实施例中,在从多条弧线中确定与目标滑动操作对应的滑动轨迹时,可以基于目标滑动操作的起始端和结束端来确定。示例性的,若目标滑动操作的起始端为图6中的特征显著点1,目标滑动操作的结束端为图6中的显著点2,那么与目标滑动操作对应的滑动轨迹就是特征显著点1和特征显著点2之间的弧线。
步骤S250:获取所述滑动轨迹所包括的像素点。
步骤S260:从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
本申请提供的一种人脸关键点标注方法,首先获取待处理的人脸图像,获取待处理的人脸图像对应的多个特征显著点以及人脸纹理,然后通过弧线将多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,然后再响应于目标滑动操作,从包括多条弧线的待标注的人脸纹理图像中确定与目标滑动操作对应的滑动轨迹,最后获取滑动轨迹所包括的像素点,从滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
请参阅图8,本申请实施例提供的一种人脸关键点标注方法,应用于如图1或图2所示的电子设备或服务器,所述方法包括:
步骤S310:获取待处理的人脸图像。
步骤S320:获取所述待处理的人脸图像对应的多个特征显著点以及人脸纹理。
步骤S330:通过弧线将所述多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,其中,所述弧线贴合所述人脸纹理,每条弧线对应一人脸纹理。
步骤S340:响应于目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与所述目标滑动操作对应的滑动轨迹。
步骤S350:获取所述滑动轨迹所包括的像素点。
步骤S360:获取预设间隔像素点数。
在本申请实施例中,预设间隔像素点数用于每间隔预设数量的像素点确定一个人脸关键点。
在本申请实施例中,如图9所示,步骤S360可以包括:
步骤S361:获取所述滑动轨迹所包括的像素点的数量。
在本申请实施例中,响应于目标滑动操作,获取与目标滑动操作对应的滑动轨迹所包括的像素点的数量。如图6所示,若与目标滑动操作对应的滑动轨迹为特征显著点1和特征显著点2之间的弧线,那么获取的像素点的数量就为特征显著点1和特征显著点2之间的弧线所包括的像素点的数量。
步骤S362:获取预设人脸关键点数,所述预设人脸关键点数为两特征显著点之间还需标注的关键点数量。
在本申请实施例中,预设人脸关键点数为预先设置的,两特征显著点之间还需标注的关键点的数量可以根据实际需求确定,比如,若要精确的检测到待处理的人脸图像中所包括的人脸的表情特征,那么就可以将预设人脸关键点数设置得比较大一点;若只是需要识别出待处理的人脸图像中所包括的人脸的器官位置,那么就可以将预设人脸关键点数设置的比较小一点。
步骤S363:基于所述滑动轨迹所包括的像素点的数量以及所述预设人脸关键点数,确定预设间隔像素点数。
在本申请实施例中,预设间隔像素点数=滑动轨迹所包括的像素点的数量/(预设人脸关键点数+1)。
步骤S370:每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点。
在本申请实施例中,所述每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点,包括:以所述滑动轨迹所包括的两个特征显著点中的任意一个特征显著点为起点,每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点。
在本申请实施例中,当通过上述公式计算得到预设间隔像素点数后,以每个滑动轨迹中所包括的两个特征显著点中的任意一个特征显著点为起点,每间隔预设间隔像素点数后,确定一个人脸关键点。示例性的,如图7所示,特征显著点1与特征显著点2之间的弧线对应的像素点数为40,通过预设公式计算得到预设间隔像素点数为8,那么,可以以特征显著点1或特征显著点2为起点,每间隔8个像素点确定一个人脸关键点,进而可以得到确定的4个新的人脸关键点,进而特征显著点1与特征显著点2之间的弧线对应有6个人脸关键点,得到的新的人脸关键点如图10所示,图10中的白色圆点为确定的新的人脸关键点,图10所示的是特征显著点1和特征显著点2之间的弧线,以特征显著点1为起点,每隔8个像素点确定一个人脸关键点后,得到的人脸关键点图像。
步骤S380:对所述多个人脸关键点进行标注。
本申请提供的一种人脸关键点标注方法,首先获取待处理的人脸图像,获取待处理的人脸图像对应的多个特征显著点以及人脸纹理,然后通过弧线将多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,然后再响应于目标滑动操作,从包括多条弧线的待标注的人脸纹理图像中确定与目标滑动操作对应的滑动轨迹,最后获取滑动轨迹所包括的像素点的数量,获取预设间隔像素点数,每隔预设间隔像素点数,从滑动轨迹所包括的像素点中确定一个人脸关键点,得到滑动轨迹对应的多个人脸关键点,对多个人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
请参阅图11,本申请实施例提供的一种人脸关键点标注方法,应用于如图1或图2所示的电子设备或服务器,所述方法包括:
步骤S410:获取待处理的人脸图像。
步骤S420:获取所述待处理的人脸图像对应的多个特征显著点以及人脸纹理。
步骤S430:通过弧线将所述多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,其中,所述弧线贴合所述人脸纹理,每条弧线对应一人脸纹理。
步骤S440:响应于当次的目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与当次的目标滑动操作对应的目标滑动轨迹。
在本申请实施例中,当次的目标滑动操作为外部设备当前作用于待标注的人脸纹理图像上的目标滑动操作。
步骤S450:获取与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点。
步骤S460:从与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
步骤S470:若所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点还未获取完成,响应于下一次的目标滑动操作,从所述包括多条弧线的待标注人脸纹理图像中确定与下一次的目标滑动操作对应的目标滑动轨迹,直至所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点获取完成。
在本申请实施例中,通过重复步骤S430-步骤S460的流程,对待标注的人脸纹理图像中的每一条弧线进行人脸关键点标注,直至待标注的人脸纹理图像中的所有弧线的人脸关键点标注完成。
可选的,同样的,可以通过重复步骤S430-步骤S460的流程对视频数据中的图像帧进行人脸关键点标注,在此不做具体限定。
本申请提供的一种人脸关键点标注方法,首先获取待处理的人脸图像,获取待处理的人脸图像对应的多个特征显著点以及人脸纹理,然后通过弧线将多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,然后响应于当次的目标滑动操作,从包括多条弧线的待标注的人脸纹理图像中确定与当次的目标滑动操作对应的目标滑动轨迹,获取与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点,从而可以从与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。在标注过程中,若包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点还未获取完成,响应于下一次的目标滑动操作,从包括多条弧线的待标注人脸纹理图像中确定与下一次的目标滑动操作对应的目标滑动轨迹,直至包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点获取完成。通过上述方式,只要响应于一次目标滑动操作,就可以确定一次人脸关键点,进而可以实现实时生成需要进行标注的人脸关键点。
请参阅图12,本申请实施例提供的一种人脸关键点标注装置500,所述装置500包括:
图像获取单元510,用于获取待标注的人脸纹理图像。
作为一种方式,图像获取单元510,具体用于获取待处理的人脸图像;获取所述待处理的人脸图像对应的多个特征显著点以及人脸纹理;通过弧线将所述多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,其中,所述弧线贴合所述人脸纹理,每条弧线对应一人脸纹理。
像素点获取单元520,用于响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标滑动操作对应的滑动轨迹所包括的像素点。
作为一种方式,像素点获取单元520,具体用于响应于目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与所述目标滑动操作对应的滑动轨迹;获取所述滑动轨迹所包括的像素点。
作为另一种方式,响应于当次的目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与当次的目标滑动操作对应的目标滑动轨迹;获取与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点;若所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点还未获取完成,响应于下一次的目标滑动操作,从所述包括多条弧线的待标注人脸纹理图像中确定与下一次的目标滑动操作对应的目标滑动轨迹,直至所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点获取完成。
标注单元530,用于从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
作为一种方式,标注单元530,具体用于获取预设间隔像素点数;每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点;对所述多个人脸关键点进行标注。
作为另一种方式,标注单元530,具体用于获取所述滑动轨迹所包括的像素点的数量;获取预设人脸关键点数,所述预设人脸关键点数为两特征显著点之间还需标注的关键点数量;基于所述滑动轨迹所包括的像素点的数量以及所述预设人脸关键点数,确定预设间隔像素点数。
可选的,标注单元530,还具体用于以所述滑动轨迹所包括的两个特征显著点中的任意一个特征显著点为起点,每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图13对本申请提供的一种电子设备或服务器进行说明。
请参阅图13,基于上述的人脸关键点标注方法、装置,本申请实施例还提供的另一种可以执行前述人脸关键点标注方法的电子设备或服务器800。电子设备或服务器800包括相互耦合的一个或多个(图中仅示出一个)处理器802、存储器804以及网络模块806。其中,该存储器804中存储有可以执行前述实施例中内容的程序,而处理器802可以执行该存储器804中存储的程序。
其中,处理器802可以包括一个或者多个处理核。处理器802利用各种接口和线路连接整个服务器800内的各个部分,通过运行或执行存储在存储器804内的指令、程序、代码集或指令集,以及调用存储在存储器804内的数据,执行服务器800的各种功能和处理数据。可选地,处理器802可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器802可集成中央处理器(CentralProcessing Unit,CPU)、人脸关键点标注器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器802中,单独通过一块通信芯片进行实现。
存储器804可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器804可用于存储指令、程序、代码、代码集或指令集。存储器804可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备或服务器800在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块806用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯,例如和音频播放设备进行通讯。所述网络模块806可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块806可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如,网络模块806可以与基站进行信息交互。
请参考图14,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
本申请提供的一种人脸关键点标注方法、装置、电子设备以及存储介质,首先获取待标注的人脸纹理图像,然后响应于目标滑动操作,从待标注的人脸纹理图像中获取与目标滑动操作对应的滑动轨迹所包括的像素点,从而可以从滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。通过上述方法,通过识别目标滑动操作对应的像素点的坐标,从而实现滑动轨迹的识别,因此由于滑动轨迹的识别为像素级的,从而将人脸关键点的确定也提高到了像素级,进而通过滑动轨迹所包括的像素点来进行人脸关键点的标注,提高了人脸关键点标注的准确性。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (10)
1.一种人脸关键点标注方法,其特征在于,所述方法包括:
获取待标注的人脸纹理图像;
响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标物滑动操作对应的滑动轨迹所包括的像素点;
从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
2.根据权利要求1所述的方法,其特征在于,所述获取待标注的人脸纹理图像,包括:
获取待处理的人脸图像;
获取所述待处理的人脸图像对应的多个特征显著点以及人脸纹理;
通过弧线将所述多个特征显著点中,位于同一人脸纹理上的两个特征显著点进行连接,得到包括多条弧线的待标注的人脸纹理图像,其中,所述弧线贴合所述人脸纹理,每条弧线对应一人脸纹理。
3.根据权利要求2所述的方法,其特征在于,所述响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标滑动操作对应的滑动轨迹所包括的像素点,包括:
响应于目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与所述目标滑动操作对应的滑动轨迹;
获取所述滑动轨迹所包括的像素点。
4.根据权利要求3所述的方法,其特征在于,所述响应于目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与所述目标滑动操作对应的弧线,包括:
响应于当次的目标滑动操作,从所述包括多条弧线的待标注的人脸纹理图像中确定与当次的目标滑动操作对应的目标滑动轨迹;
获取与当次的目标滑动操作对应的目标滑动轨迹所包括的像素点;
若所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点还未获取完成,响应于下一次的目标滑动操作,从所述包括多条弧线的待标注人脸纹理图像中确定与下一次的目标滑动操作对应的目标滑动轨迹,直至所述包括多条弧线的待标注的人脸纹理图像中的所有弧线所包括的像素点获取完成。
5.根据权利要求1所述的方法,其特征在于,所述从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注,包括:
获取预设间隔像素点数;
每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点;
对所述多个人脸关键点进行标注。
6.根据权利要求5所述的方法,其特征在于,所述获取预设间隔像素点数,包括:
获取所述滑动轨迹所包括的像素点的数量;
获取预设人脸关键点数,所述预设人脸关键点数为两特征显著点之间还需标注的关键点数量;
基于所述滑动轨迹所包括的像素点的数量以及所述预设人脸关键点数,确定预设间隔像素点数。
7.根据权利要求5所述的方法,其特征在于,所述每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点,包括:
以所述滑动轨迹所包括的两个特征显著点中的任意一个特征显著点为起点,每隔所述预设间隔像素点数,从所述滑动轨迹所包括的像素点中确定一个人脸关键点,得到所述滑动轨迹对应的多个人脸关键点。
8.一种人脸关键点标注装置,其特征在于,所述装置包括:
图像获取单元,用于获取待标注的人脸纹理图像;
像素点获取单元,用于响应于目标滑动操作,从所述待标注的人脸纹理图像中获取与所述目标滑动操作对应的滑动轨迹所包括的像素点;
标注单元,用于从所述滑动轨迹所包括的像素点中确定人脸关键点,对确定的人脸关键点进行标注。
9.一种电子设备,其特征在于,包括一个或多个处理器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622927.3A CN117197855A (zh) | 2022-06-01 | 2022-06-01 | 人脸关键点标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622927.3A CN117197855A (zh) | 2022-06-01 | 2022-06-01 | 人脸关键点标注方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117197855A true CN117197855A (zh) | 2023-12-08 |
Family
ID=88998554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210622927.3A Pending CN117197855A (zh) | 2022-06-01 | 2022-06-01 | 人脸关键点标注方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117197855A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422721A (zh) * | 2023-12-19 | 2024-01-19 | 天河超级计算淮海分中心 | 一种基于下肢ct影像的智能标注方法 |
-
2022
- 2022-06-01 CN CN202210622927.3A patent/CN117197855A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422721A (zh) * | 2023-12-19 | 2024-01-19 | 天河超级计算淮海分中心 | 一种基于下肢ct影像的智能标注方法 |
CN117422721B (zh) * | 2023-12-19 | 2024-03-08 | 天河超级计算淮海分中心 | 一种基于下肢ct影像的智能标注方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11238272B2 (en) | Method and apparatus for detecting face image | |
US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
KR102045695B1 (ko) | 안면 이미지 처리 방법 및 장치, 및 저장 매체 | |
CN109558864B (zh) | 人脸关键点检测方法、装置及存储介质 | |
CN110689500B (zh) | 一种人脸图像的处理方法、装置、电子设备及存储介质 | |
CN110163096B (zh) | 人物识别方法、装置、电子设备和计算机可读介质 | |
CN111754415A (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
CN111062891A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
CN109033935B (zh) | 抬头纹检测方法及装置 | |
CN113570052B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111832449A (zh) | 工程图纸的显示方法及相关装置 | |
CN111881846B (zh) | 图像处理方法和相关装置、设备、存储介质 | |
CN111429338A (zh) | 用于处理视频的方法、装置、设备和计算机可读存储介质 | |
CN114049674A (zh) | 一种三维人脸重建方法、装置及存储介质 | |
CN111080747B (zh) | 一种人脸图像处理方法及电子设备 | |
CN113807166A (zh) | 图像处理方法、装置及存储介质 | |
CN117197855A (zh) | 人脸关键点标注方法、装置、电子设备及存储介质 | |
CN112818908B (zh) | 关键点检测方法、装置、终端及存储介质 | |
CN112598591B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113392820B (zh) | 动态手势识别方法、装置、电子设备及可读存储介质 | |
CN110381374B (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |