CN112101490A - 热力图转换模型训练方法以及装置 - Google Patents

热力图转换模型训练方法以及装置 Download PDF

Info

Publication number
CN112101490A
CN112101490A CN202011305014.6A CN202011305014A CN112101490A CN 112101490 A CN112101490 A CN 112101490A CN 202011305014 A CN202011305014 A CN 202011305014A CN 112101490 A CN112101490 A CN 112101490A
Authority
CN
China
Prior art keywords
thermodynamic diagram
feature
point
feature point
thermal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011305014.6A
Other languages
English (en)
Other versions
CN112101490B (zh
Inventor
徐富荣
王萌
程远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110307949.6A priority Critical patent/CN113011505B/zh
Priority to CN202011305014.6A priority patent/CN112101490B/zh
Publication of CN112101490A publication Critical patent/CN112101490A/zh
Application granted granted Critical
Publication of CN112101490B publication Critical patent/CN112101490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供热力图转换模型训练方法以及装置,其中所述热力图转换模型训练方法包括:对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。

Description

热力图转换模型训练方法以及装置
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种热力图转换模型训练方法。本说明书一个或者多个实施例同时涉及一种热力图转换模型训练装置,一种特征点检测方法,一种特征点检测装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
特征点检测是指在图像或视频中确定出感兴趣的关键位置的坐标。例如,在人脸特征点检测中,从包扩人脸的图像中确定出内外眼角、鼻尖、嘴角等关键位置的坐标。特征点检测是计算机视觉应用的重要组成部分,对于人脸识别、表情识别、姿态识别等领域有着重要的作用。
目前的特征点检测方法主要基于深度神经网络的特征点检测模型实现,然而,特征点检测模型的训练过程需要大量的关键点标注数据,但是人工标注成本高,耗时长,而且不同的标注者对相同的关键点给出的坐标往往存在偏差,进而可能导致训练得到的模型难以准确的预测关键点位置,因此,亟需一种更为有效的方法以解决此类问题。
发明内容
有鉴于此,本说明书实施例提供了一种热力图转换模型训练方法。本说明书一个或者多个实施例同时涉及一种热力图转换模型训练装置,一种特征点检测方法,一种特征点检测装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种热力图转换模型训练方法,包括:
对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标;
根据所述至少一个特征点坐标确定至少一个第一特征点热力图;
将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
可选地,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,包括:
将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型;
获取所述待训练热力图转换模型输出的所述特征图像对应的至少一个第二特征点热力图;
计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值;
根据所述损失值对所述待训练热力图转换模型进行迭代训练。
可选地,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
根据所述至少一个第一特征点热力图中各像素点的坐标与所述至少一个第二特征点热力图中各像素点的坐标间的距离计算所述损失值。
可选地,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致;
若否,则根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图;
计算变换后的至少一个第二特征点热力图与所述至少一个第一特征点热力图之间的损失值。
可选地,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重;
计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离;
根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
可选地,所述根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点为圆心,以预设距离阈值为半径,确定所述至少一个特征点对应的至少一个热力区域;
根据所述至少一个热力区域中各像素点对应的热力权重计算所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
可选地,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点坐标为中心,以预设距离阈值为边长,确定所述至少一个特征点坐标对应的至少一个方形热力区域;
根据所述至少一个方形热力区域中各像素点对应的热力权重计算所述至少一个方形热力区域中各像素点的热力值;
根据所述至少一个方形热力区域中每个像素点的热力值,在所述至少一个方形热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个方形热力区域的第一特征点热力图。
可选地,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点坐标为圆心,以预设距离阈值为半径,确定所述至少一个特征点坐标对应的至少一个热力区域;
为所述至少一个特征点坐标设置初始热力值,并将所述初始热力值作为均值;
将所述均值以及预设的方差输入热力值计算函数,计算获得所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
可选地,所述热力图转换模型训练方法,还包括:
将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
根据所述至少一个热力区域的置信度确定目标热力区域;
确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
可选地,对目标对象的特征图像进行特征点标注,包括:
对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注。
可选地,对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注,包括:
基于所述鼻纹特征图像中动物鼻子中心竖直线与鼻子轮廓上下两侧边界交接的特征点、动物鼻孔中心的特征点、动物鼻子中心竖直线与水平线交接的特征点中的至少一个进行特征点标注。
根据本说明书实施例的第二方面,提供了一种热力图转换模型训练装置,包括:
标注模块,被配置为对目标对象的特征图像进行鼻纹特征点标注,并生成所述特征图像对应的至少一个特征点坐标;
确定模块,被配置为根据所述至少一个特征点坐标确定至少一个第一特征点热力图;
训练模块,被配置为将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
根据本说明书实施例的第三方面,提供了一种特征点检测方法,包括:
将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
根据所述至少一个热力区域的置信度确定目标热力区域;
确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
可选地,所述根据所述至少一个热力区域的置信度确定目标热力区域,包括:
将所述至少一个热力区域中置信度大于预设阈值的热力区域确定为所述目标热力区域。
可选地,所述将所述中心点坐标作为所述特征图像的特征点检测结果并展示之后,还包括:
根据所述特征点检测结果确定所述特征图像中待识别对象的待识别轮廓,并基于所述待识别轮廓确定所述待识别对象的信息识别结果。
根据本说明书实施例的第四方面,提供了一种特征点检测装置,包括:
获取模块,被配置为将待检测的特征图像输入热力图转换模型,并获取输出的至少一个第三特征点热力图;
第一确定模块,被配置为确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
第二确定模块,被配置为根据所述至少一个热力区域的置信度确定目标热力区域;
展示模块,被配置为确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令以实现所述热力图转换模型训练方法或所述特征点检测方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述热力图转换模型训练方法或所述特征点检测方法的步骤。
本说明书一个实施例通过对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
实现了以特征图像为样本图像,以特征图像中至少一个特征点坐标对应的至少一个第一特征点热力图为样本标签,对待训练热力图转换模型进行模型训练,有利于提高热力图转换模型输出结果的准确率。
附图说明
图1是本说明书一个实施例提供的一种热力图转换模型训练方法的处理流程图;
图2是本说明书一个实施例提供的一种鼻纹特征点标注结果的示意图;
图3是本说明书一个实施例提供的一种特征点热力图生成结果的示意图;
图4是本说明书一个实施例提供的一种热力图转换模型训练方法的示意图;
图5是本说明书一个实施例提供的一种热力图转换模型训练方法的处理过程流程图;
图6是本说明书一个实施例提供的一种热力图转换模型训练装置的示意图;
图7是本说明书一个实施例提供的一种热力图转换模型训练方法的处理流程图;
图8是本说明书一个实施例提供的一种热力图转换模型训练装置的示意图;
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
特征点:具有关键信息的点。
热力图:具有不同权重大小响应值的图。
在本说明书中,提供了一种热力图转换模型训练方法,本说明书同时涉及一种热力图转换模型训练装置,一种特征点检测方法,一种特征点检测装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
特征点检测是指在图像或视频中确定出感兴趣的关键位置的坐标。例如,在人脸特征点检测中,从包扩人脸的图像中确定出内外眼角、鼻尖、嘴角等关键位置的坐标。特征点检测是计算机视觉应用的重要组成部分,对于人脸识别、表情识别、姿态识别等领域有着重要的作用。
基于此,本说明书实施例提供一种热力图转换模型训练方法,通过对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联;
本说明书实施例以特征图像为样本图像,以特征图像中至少一个特征点坐标对应的至少一个第一特征点热力图为样本标签,对待训练热力图转换模型进行模型训练,将待检测的特征图像输入训练后的热力图转换模型,得到所述特征图像中的特征点,从而基于所述特征点确定所述特征图像中待识别对象的待识别区域,以根据所述待识别区域确定所述待识别对象的信息识别结果;
通过上述方式能够有效地提高特征点检测结果的准确性,并有利于提高对待识别对象进行信息识别的识别效率。
图1示出了根据本说明书一个实施例提供的一种热力图转换模型训练方法的处理流程图,包括步骤102至步骤106。
步骤102,对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标。
本说明书实施例中,所述目标对象包括但不限于人脸、动物、建筑物、虚拟对象(游戏角色、动画角色等)或其他实体对象等。
其中,所述动物包括但不限于野生动物或者豢养物。豢养即喂养、驯养或养育;豢养物包括用户所喂养或养育的动物,包括动物宠物(宠物狗、宠物猫、宠物猪等)、茶宠宠物(金蟾、如意足等)以及另类宠物(土拨鼠、兔、仓鼠、刺猬、蝙蝠等)等,除上述豢养宠物外,豢养物还包括养殖业中养殖的家禽类动物,如鸡、鸭等,或者畜牧业中养殖的动物,如牛、羊、马等,而本说明书实施例的动物为有鼻纹的动物,例如宠物猫和宠物狗、牛、马等,对于其他类型的动物,例如猩猩、鸡、鸭等动物,可采用面部图像或虹膜图像进行处理,具体的处理方式与动物鼻纹图像的处理方式类似,在此不再赘述。
本说明书实施例以豢养宠物为例进行说明,在豢养宠物服务机构接收用户针对豢养宠物发送的服务请求时,具体对豢养宠物进行投保、理赔或医疗诊断等过程中,若数据库中存储有预先建立的所述豢养宠物的档案信息,则豢养宠物服务机构均需对豢养宠物进行身份识别。
由于鼻纹可以唯一标识动物的身份信息,因此,为保证身份识别结果的准确性以及提高身份识别效率,本说明书实施例可以将豢养宠物的鼻纹图像作为特征图像,通过对鼻纹图像进行鼻纹特征点标注,生成对应的鼻纹特征点坐标,并将所述鼻纹图像作为样本图像,以鼻纹图像中鼻纹特征点坐标对应的第一特征点热力图为样本标签,对待训练热力图转换模型进行模型训练。
在所述目标对象为动物的情况下,由于在进行模型训练之前,需对目标对象的特征图像进行特征点标注,因此,对目标对象的特征图像进行特征点标注,即对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注。
进一步的,对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注,包括:
基于所述鼻纹特征图像中动物鼻子中心竖直线与鼻子轮廓上下两侧边界交接的特征点、动物鼻孔中心的特征点、动物鼻子中心竖直线与水平线交接的特征点中的至少一个进行特征点标注。
具体的,图2为本说明书实施例提供的一种鼻纹特征点标注结果的示意图,并且图2以所述动物为宠物狗为例进行示意性说明,如图2所示,本说明书实施例对动物图像中宠物狗的鼻子中心竖直线与鼻子轮廓上下两侧边界交接的特征点(特征点4和特征点5)、动物鼻孔中心的特征点(特征点1和特征点3)、动物鼻子中心竖直线与水平线交接的特征点(特征点2)以及鼻子中心竖直线与嘴巴轮廓上边界交接的特征点(特征点6)进行特征点标注。
本说明书实施例仅以上述6个特征点为例进行示意性说明,实际应用中,可根据目标对象以及实际需求确定特征点的数量以及特征点的位置,在此不做任何限制。
对待处理的动物鼻纹图像进行鼻纹特征点标注后,可根据标注结果生成动物鼻纹图像对应的至少一个鼻纹特征点坐标,仍以图2为例进行示意性说明,图2中标注出6个特征点,则可确定这6个特征点在所述动物鼻纹图像中的坐标,具体可将所述动物图像的四个顶点中的任意一个顶点作为原点,并以原点的水平或垂直方向作为x轴或y轴建立坐标系,从而确定上述6个特征点在所述坐标系中的坐标,具体的特征点坐标确定方式可根据实际需求确定,在此不做任何限制。
步骤104,根据所述至少一个特征点坐标确定至少一个第一特征点热力图。
具体的,对目标对象的特征图像进行特征点标注,并生成至少一个特征点对应的特征点坐标后,可根据所述特征点坐标确定各特征点对应的特征点热力图。
具体实施时,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,具体可通过以下方式实现:
以所述至少一个特征点坐标为中心,以预设距离阈值为边长,确定所述至少一个特征点坐标对应的至少一个方形热力区域;
根据所述至少一个方形热力区域中各像素点对应的热力权重计算所述至少一个方形热力区域中各像素点的热力值;
根据所述至少一个方形热力区域中每个像素点的热力值,在所述至少一个方形热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个方形热力区域的第一特征点热力图。
具体的,本说明书实施例中,需生成特征图像中每一个特征点对应的特征点热力图,具体可将特征图像中每一个特征点作为中心点,选取预设长度阈值作为边长,以确定每个特征点对应的热力区域,从而基于热力区域生成每个特征点对应的热力图。
仍以所述目标对象为动物为例,可将动物图像中每一个鼻纹特征点作为中心点,选取预设长度(距离)阈值作为边长,确定每个鼻纹特征点对应的热力区域,通过这种方式确定的热力区域为方形区域(正方形或长方形),预设长度阈值即为方形区域的边长(长或宽),另外,所述热力区域还可以是三角形、圆形、规则或不规则多边形,具体的热力区域的形状可根据实际需求确定,在此不做任何限制。
确定各鼻纹特征点对应的热力区域后,可根据热力区域中各像素点的热力权重计算各像素点的热力值,并根据各像素点的热力值生成热力区域的热力图,其中,各像素点的热力权重可根据各像素点与热力区域的中心点间的距离确定,实际应用中,若将各像素点与中心点间的距离设为s,将各像素点的热力权重设为
Figure DEST_PATH_IMAGE002
,则s与
Figure 828839DEST_PATH_IMAGE002
成反比,若将热力区域的中心点的热力值设为1,则像素点距离中心点越远,对应的热力值越小,在热力区域边界处的像素点的热力值即递减为0,以及热力区域边界以外的像素点的热力值均为0。
确定热力区域中各像素点的热力值后,可根据各像素点的热力值的大小确定各像素点的热力值对应的颜色,从而根据颜色生成热力区域对应的特征点热力图。
仍以图2为例,图2中标注出6个特征点,则需生成这6个特征点分别对应的特征点热力图,其中,特征点3和特征点4对应的特征点热力图生成结果的示意图如图3所示,并且图3仅展示特征点3和特征点4对应的特征点热力图,其他特征点的生成结果与特征点3和特征点4的生成结果类似,在此不再赘述。
如图3所示,将特征点3和特征点4对应的热力区域划分为三个小区域,其中,如图3中特征点4的划分结果,将特征点4对应的热力区域划分为第一区域、第二区域以及第三区域,由于第一区域、第二区域以及第三区域距离热力区域中心点的距离逐渐增大,第一区域、第二区域、第三区域中所包含的像素点的热力值逐渐减小,因此,在热力区域中第一区域、第二区域、第三区域所呈现的各像素点的热力值对应的颜色深度逐渐降低,生成的特征点热力图即如图3所示,本说明书实施例仅以图3所示的特征点热力图为例进行示意性说明,具体的特征点热力图的显示方式可根据实际需求确定,在此不再赘述。
通过热力区域中各像素点对应的热力权重计算各像素点的热力值,并根据每个像素点的热力值确定热力区域中呈现各像素点的热力值对应的颜色,以生成对应的热力图,实现热力图连续准确的反应热力区域的特征。
另外,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,还可通过以下方式实现:
以所述至少一个特征点为圆心,以预设距离阈值为半径,确定所述至少一个特征点对应的至少一个热力区域;
根据所述至少一个热力区域中各像素点对应的热力权重计算所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
具体的,如前所述,所述热力区域除为方形区域外,还可以是三角形、圆形、规则或不规则多边形,本说明书实施例以所述热力区域为圆形区域为例进行说明,若所述热力区域为圆形区域,则可将所述至少一个特征点作为圆心,将预设距离阈值作为半径,确定所述至少一个特征点对应的至少一个圆形热力区域,确定圆形热力区域后,计算热力区域中各像素点的热力值,以及根据热力值生成特征点热力图的具体实现方式与前述方形热力区域的实现方式类似,均可参见前述方形热力区域的具体实现过程,在此不再赘述。
通过热力区域中各像素点对应的热力权重计算各像素点的热力值,并根据每个像素点的热力值确定热力区域中呈现各像素点的热力值对应的颜色,以生成对应的热力图,实现热力图连续准确的反应热力区域的特征。
除此之外,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,还可通过以下方式实现:
以所述至少一个特征点坐标为圆心,以预设距离阈值为半径,确定所述至少一个特征点坐标对应的至少一个热力区域;
为所述至少一个特征点坐标设置初始热力值,并将所述初始热力值作为均值;
将所述均值以及预设的方差输入热力值计算函数,计算获得所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
具体的,所述热力值计算函数可以是高斯函数。
若所述热力区域为圆形区域,则可将所述至少一个特征点作为圆心,将预设距离阈值作为半径,确定所述至少一个特征点对应的至少一个圆形热力区域;
确定圆形热力区域后,可为所述至少一个特征点设置初始热力值(将初始热力值设为1),并将所述初始热力值作为均值,将所述均值以及预设的方差输入所述高斯函数,以计算圆形热力区域中各像素点的热力值,计算获得个像素点的热力值后,根据热力值生成特征点热力图的具体实现方式与前述方形热力区域的实现方式类似,均可参见前述方形热力区域的具体实现过程,在此不再赘述。
通过热力区域中各像素点对应的热力权重计算各像素点的热力值,并根据每个像素点的热力值确定热力区域中呈现各像素点的热力值对应的颜色,以生成对应的热力图,实现热力图连续准确的反应热力区域的特征。
步骤106,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
具体的,本说明书实施例提供的热力图转换模型的训练过程为有监督训练,样本标签即为至少一个第一特征点热力图,样本图像即为原始待处理的未进行特征点标注的特征图像,将样本图像及样本标签输入待训练的热力图转换模型进行训练,生成的热力图转换模型使得所述样本标签与特征图像相关联,即将未进行特征点标注的特征图像输入所述热力图转换模型,即可获得模型预测输出的至少一个第二特征点热力图。
仍以图3为例,若在待处理的动物鼻纹图像中标注6个特征点,则将未进行特征点标注的待处理的动物鼻纹图像作为样本图像,并将6个特征点对应的6个第一特征点热力图作为样本标签输入待训练的热力图转换模型进行模型训练,以获得所述热力图转换模型。
具体实施时,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,具体可通过以下方式实现:
将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型;
获取所述待训练热力图转换模型输出的所述特征图像对应的至少一个第二特征点热力图;
计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值;
根据所述损失值对所述待训练热力图转换模型进行迭代训练。
进一步的,计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,即根据所述至少一个第一特征点热力图中各像素点的坐标与所述至少一个第二特征点热力图中各像素点的坐标间的距离计算所述损失值。
具体的,本说明书实施例提供的一种热力图转换模型训练方法的示意图如图4所示,首先对待处理的特征图像进行特征点标注,并确定标注后的至少一个特征点坐标分别对应的第一热力图(第一特征点热力图),接着将所述待处理的特征图像(未进行特征点标注)输入待训练的热力图转换模型,并获取模型输出的至少一个第二热力图(第二特征点热力图),然后计算所述第一热力图与所述第二热力图之间的损失值,以根据损失值对模型进行迭代训练,其中,所述损失值可根据第二热力图中各像素点的坐标与第一热力图中各像素点的坐标之间的距离进行计算,像素点坐标的确定方式可以为:将所述第一热力图或第二热力图的四个顶点中的任意一个顶点作为原点,并以原点的水平或垂直方向作为x轴或y轴建立坐标系,从而确定像素点在所述坐标系中的坐标,具体的特征点坐标确定方式可根据实际需求确定,在此不做任何限制。
通过计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,并根据所述损失值对所述待训练热力图转换模型进行迭代训练,有利于提高热力图转换模型输出结果的准确率。
另外,计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,还可通过以下方式实现:
确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重;
计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离;
根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
具体的,由于热力区域中各像素点与中心点间的距离与各像素点的热力权重成反比,因此,在确定热力区域中各像素点对应的热力权重,并计算获得热力区域中各像素点的坐标与至少一个第一特征点热力图中各像素点的坐标间的差值后,可根据所述热力权重对所述差值进行加权求和,以确定所述损失值。
通过计算所述至少一个第二特征点热力图中目标热力区域与所述至少一个第一特征点热力图之间的损失值,有利于提高计算结果的准确度,并根据所述损失值对所述待训练热力图转换模型进行迭代训练,有利于提高热力图转换模型输出结果的准确率。
具体实施时,计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,还可通过以下方式实现:
判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致;
若否,则根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图;
计算变换后的至少一个第二特征点热力图与所述至少一个第一特征点热力图之间的损失值。
具体的,由于热力图转换模型输出的至少一个第二特征点热力图的尺寸相对于原始待处理的特征图像的尺寸而言,可能会发生变化,而第一特征点热力图的尺寸与原始待处理的特征图像的尺寸保持一致,因此,为保证损失值计算结果的准确性,在获取热力图转换模型输出的至少一个第二特征点热力图后,需判断第二特征点热力图的尺寸与第一特征点热力图的尺寸是否一致,若不一致,则需对第二特征点热力图进行尺寸变换,并计算变换后的第二特征点热力图与第一特征点热力图之间的损失值;若一致,则直接计算第二特征点热力图与第一特征点热力图之间的损失值即可。
同样,计算变换后的第二特征点热力图与所述第一特征点热力图之间的损失值,也可通过第二特征点热力图中各热力区域中像素点的坐标与所述第一特征点热力图中像素点的坐标间的差值计算所述损失值,即确定所述第二特征点热力图的热力区域中各像素点对应的热力权重,计算第二特征点热力图中各热力区域的像素点的坐标与所述第一特征点热力图中像素点的坐标间的距离,再根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
通过对第二特征点热力图进行尺寸变换,并计算变换后的至少一个第二特征点热力图中目标热力区域与所述至少一个第一特征点热力图之间的损失值,有利于提高计算结果的准确度,并根据所述损失值对所述待训练热力图转换模型进行迭代训练,有利于提高热力图转换模型输出结果的准确率。
此外,对待训练的热力图转换模型进行模型训练,获得所述热力图转换模型后,可利用所述热力图转换模型对待检测的特征图像进行热力图转换,即将待检测的特征图像转换为至少一个特征点热力图,具体可通过以下方式实现:
将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
根据所述至少一个热力区域的置信度确定目标热力区域;
确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
具体的,本说明书实施例是对待识别对象的特征图像进行特征点检测,以根据检测结果确定所述待识别对象的待识别区域,从而基于所述待识别区域确定所述待识别对象的信息识别结果。
实际应用中,对待识别对象的信息识别可以应用于对动物的身份认证以及身份信息管理,并且在很多面向动物的领域或服务中,例如宠物保险、动物认证识别、科研管理、珍稀物种跟踪等,均需要用到信息识别(身份识别)。
用户可用过采集终端采集动物的鼻纹图像作为所述待检测的动物图像,所述采集终端具体是指针对所述动物进行信息采集的终端设备,所述采集终端可以是智能手机,电脑等,所述采集终端需配置有图像传感器,以用于可以采集所述动物的图像特征,用户通过采集终端进行动物鼻纹图像的采集和上传,以将采集的图像作为待检测的动物鼻纹图像输入训练后的热力图转换模型,得到所述待检测的动物鼻纹图像中鼻纹的关键特征点,从而基于所述关键特征点确定动物的鼻纹区域,并通过对鼻纹区域的鼻纹纹路进行识别比对,以实现对动物的身份识别。
另外,置信度表征了热力图转换模型对特征图像进行处理,输出的第三特征点热力图中各热力区域的可信程度,所述热力图转换模型有输出置信度的能力。将采集的图像输入热力图转换模型,模型输出的第三特征点热力图中包含热力区域的置信度,因此,在获取模型输出的第三特征点热力图后,可获取任意一个第三特征点热力图中至少一个热力区域的置信度,从而将置信度大于预设阈值的热力区域确定为目标热力区域,同样的,由于目标热力区域中各像素点至中心点间的距离与各像素点的热力权重成反比,因此目标区域中心点的热力权重最大,即中心点对应的热力值最大,因此,在确定目标热力区域后,可以将所述目标热力区域中热力值最高的点确定为特征点,从而得到特征点坐标。
另外,还可利用soft-argmax函数确定所述特征点坐标,例如,针对热力图转换模型输出的至少一个第三特征点热力图,基于其中任意一个第三特征点热力图P确定的特征点坐标为s=soft-argmax(γ*P),其中,s表示关键点坐标,soft-argmax()表示计算极大值函数,γ为温度因子,P为第三特征点热力图。
除对动物的特征图像进行关键点检测以对动物进行身份识别外,还可对其他待识别对象例如人脸、建筑物、虚拟对象(游戏角色、动画角色等)或其他实体对象的特征图像进行特征点检测,以对所述待识别对象进行信息识别,具体的实现过程与对动物的特征图像进行关键点检测以及身份识别的实现过程类似,在此不再赘述。
本说明书实施例通过将待检测的特征图像输入热力图转换模型,以根据模型输出的热力图确定特征点,并根据特征点确定所述特征图像中待识别对象的待识别轮廓,从而对待识别轮廓进行识别以确定所述待识别对象的信息识别结果,通过这种方式可用于快速精确的获取待识别对象的信息识别结果,并有利于实现对所述待识别对象的识别信息的便捷化数字管理。
本说明书实施例提供一种热力图转换模型训练方法,通过对待处理的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
本说明书实施例以特征图像为样本图像,以特征图像中至少一个特征点坐标对应的至少一个第一特征点热力图为样本标签,对待训练热力图转换模型进行模型训练,以将待检测的特征图像输入训练后的热力图转换模型,得到所述待检测的特征图像中的关键特征点,从而基于所述关键特征点确定所述特征图像中待识别对象的待识别区域,并基于所述待识别区域确定所述待识别对象的信息识别结果;
通过上述方式能够有效地提高对待检测对象的特征点检测的准确性,并有利于提高对待识别对象进行信息识别的识别效率。
下述结合附图5,以本说明书提供的热力图转换模型训练方法在豢养宠物场景的应用为例,对所述热力图转换模型训练方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种热力图转换模型训练方法的处理过程流程图,具体步骤包括步骤502至步骤522。
步骤502,对待处理的豢养宠物鼻纹图像进行鼻纹特征点标注,并生成所述豢养宠物鼻纹图像对应的至少一个鼻纹特征点坐标。
具体的,所述豢养宠物鼻纹图像可以是宠物狗鼻纹图像。
步骤504,根据所述至少一个鼻纹特征点坐标确定至少一个第一特征点热力图。
步骤506,将所述豢养宠物鼻纹图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型。
步骤508,获取所述待训练热力图转换模型输出的所述豢养宠物鼻纹图像对应的至少一个第二特征点热力图。
步骤510,判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致。
若否,则执行步骤512;若是,则执行步骤516。
步骤512,根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图。
步骤514,确定变换后的至少一个第二特征点热力图中分别包含的至少一个热力区域,并确定所述至少一个热力区域的热力权重。
步骤516,确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重。
步骤518,计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离。
步骤520,根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
步骤522,根据所述损失值对所述待训练热力图转换模型进行迭代训练。
具体的,若豢养宠物为宠物狗,则对待处理的宠物狗鼻纹图像进行鼻纹特征点标注,并生成所述宠物狗鼻纹图像对应的至少一个鼻纹特征点坐标,根据所述至少一个鼻纹特征点坐标确定至少一个第一特征点热力图,将所述宠物狗鼻纹图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型。
获取所述待训练热力图转换模型输出的所述宠物狗鼻纹图像对应的至少一个第二特征点热力图,判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致;若否,则根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图。
若确定至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸一致,则确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重,计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离,根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值,并根据所述损失值对所述待训练热力图转换模型进行迭代训练即可。
本说明书实施例以豢养宠物鼻纹图像为样本图像,以豢养宠物鼻纹图像中至少一个鼻纹特征点坐标对应的至少一个第一特征点热力图为样本标签,对待训练热力图转换模型进行模型训练,以将待检测的豢养宠物鼻纹图像输入训练后的热力图转换模型,得到所述待检测的豢养宠物鼻纹图像中鼻纹的关键特征点,从而基于所述关键特征点确定豢养宠物的鼻纹区域,并通过对鼻纹区域的鼻纹纹路进行识别比对,以实现对豢养宠物的身份识别;
通过上述方式能够有效地提高豢养宠物鼻纹特征点检测的准确性,并有利于提高豢养宠物身份识别效率。
与上述方法实施例相对应,本说明书还提供了热力图转换模型训练装置实施例,图6示出了本说明书一个实施例提供的一种热力图转换模型训练装置的示意图。如图6所示,该装置包括:
标注模块602,被配置为对目标对象的特征图像进行鼻纹特征点标注,并生成所述特征图像对应的至少一个特征点坐标;
确定模块604,被配置为根据所述至少一个特征点坐标确定至少一个第一特征点热力图;
训练模块606,被配置为将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
可选地,所述训练模块606,包括:
输入子模块,被配置为将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型;
获取子模块,被配置为获取所述待训练热力图转换模型输出的所述特征图像对应的至少一个第二特征点热力图;
计算子模块,被配置为计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值;
训练子模块,被配置为根据所述损失值对所述待训练热力图转换模型进行迭代训练。
可选地,所述计算子模块,包括:
第一计算单元,被配置为根据所述至少一个第一特征点热力图中各像素点的坐标与所述至少一个第二特征点热力图中各像素点的坐标间的距离计算所述损失值。
可选地,所述计算子模块,包括:
判断单元,被配置为判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致;
若所述判断单元的运行结果为否,则运行尺寸变换单元;
所述尺寸变换单元,被配置为根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图;
第二计算单元,被配置为计算变换后的至少一个第二特征点热力图与所述至少一个第一特征点热力图之间的损失值。
可选地,所述计算子模块,包括:
热力值确定单元,被配置为确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重;
第三计算单元,被配置为计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离;
求和子单元,被配置为根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
可选地,所述确定模块604,包括:
第一确定子模块,被配置为以所述至少一个特征点为圆心,以预设距离阈值为半径,确定所述至少一个特征点对应的至少一个热力区域;
第一热力值计算子模块,被配置为根据所述至少一个热力区域中各像素点对应的热力权重计算所述至少一个热力区域中各像素点的热力值;
第一热力图生成子模块,被配置为根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
可选地,所述确定模块604,包括:
第二确定子模块,被配置为以所述至少一个特征点坐标为中心,以预设距离阈值为边长,确定所述至少一个特征点坐标对应的至少一个方形热力区域;
第二热力值计算子模块,被配置为根据所述至少一个方形热力区域中各像素点对应的热力权重计算所述至少一个方形热力区域中各像素点的热力值;
第二热力图生成子模块,被配置为根据所述至少一个方形热力区域中每个像素点的热力值,在所述至少一个方形热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个方形热力区域的第一特征点热力图。
可选地,所述确定模块604,包括:
第三确定子模块,被配置为以所述至少一个特征点坐标为圆心,以预设距离阈值为半径,确定所述至少一个特征点坐标对应的至少一个热力区域;
设置子模块,被配置为为所述至少一个特征点坐标设置初始热力值,并将所述初始热力值作为均值;
第三热力值计算子模块,被配置为将所述均值以及预设的方差输入热力值计算函数,计算获得所述至少一个热力区域中各像素点的热力值;
第三热力图生成子模块,被配置为根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
可选地,所述热力图转换模型训练装置,还包括:
输入模块,被配置为将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
置信度确定模块,被配置为确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
目标热力区域确定模块,被配置为根据所述至少一个热力区域的置信度确定目标热力区域;
特征点检测结果确定模块,被配置为确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
可选地,所述标注模块602,包括:
标注子模块,被配置为对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注。
可选地,所述标注子模块,进一步被配置为:
基于所述鼻纹特征图像中动物鼻子中心竖直线与鼻子轮廓上下两侧边界交接的特征点、动物鼻孔中心的特征点、动物鼻子中心竖直线与水平线交接的特征点中的至少一个进行特征点标注。
上述为本实施例的一种热力图转换模型训练装置的示意性方案。需要说明的是,该热力图转换模型训练装置的技术方案与上述的热力图转换模型训练方法的技术方案属于同一构思,热力图转换模型训练装置的技术方案未详细描述的细节内容,均可以参见上述热力图转换模型训练方法的技术方案的描述。
图7示出了根据本说明书一个实施例提供的一种特征点检测方法的处理流程图,包括步骤702至步骤708。
步骤702,将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图。
步骤704,确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度。
步骤706,根据所述至少一个热力区域的置信度确定目标热力区域。
可选地,所述根据所述至少一个热力区域的置信度确定目标热力区域,包括:
将所述至少一个热力区域中置信度大于预设阈值的热力区域确定为所述目标热力区域。
步骤708,确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
进一步的,根据所述特征点检测结果确定所述特征图像中待识别对象的待识别轮廓,并基于所述待识别轮廓确定所述待识别对象的信息识别结果。
本说明书实施例通过将待检测的特征图像输入热力图转换模型,以根据模型输出的热力图确定特征点,并根据特征点确定所述特征图像中待识别对象的待识别轮廓,从而对待识别轮廓进行识别以确定所述待识别对象的信息识别结果,通过这种方式可用于快速精确的对待识别对象进行信息识别,并有利于实现对待识别对象的便捷化数字管理。
与上述方法实施例相对应,本说明书还提供了特征点检测装置实施例,图8示出了本说明书一个实施例提供的一种特征点检测装置的示意图。如图8所示,该装置包括:
获取模块802,被配置为将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
第一确定模块804,被配置为确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
第二确定模块806,被配置为根据所述至少一个热力区域的置信度确定目标热力区域;
展示模块808,被配置为确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
可选地,所述第二确定模块806,包括:
确定子模块,被配置为将所述至少一个热力区域中置信度大于预设阈值的热力区域确定为所述目标热力区域。
可选地,所述特征点检测装置,还包括:
识别模块,被配置为根据所述特征点检测结果确定所述特征图像中待识别对象的待识别轮廓,并基于所述待识别轮廓确定所述待识别对象的信息识别结果。
上述为本实施例的一种特征点检测装置的示意性方案。需要说明的是,该特征点检测装置的技术方案与上述的特征点检测方法的技术方案属于同一构思,特征点检测装置的技术方案未详细描述的细节内容,均可以参见上述特征点检测方法的技术方案的描述。
图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接,数据库950用于保存数据。
计算设备900还包括接入设备940,接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图9所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中,所述存储器910用于存储计算机可执行指令,处理器920用于执行如下计算机可执行指令以实现所述热力图转换模型训练方法或所述特征点检测方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的热力图转换模型训练方法或所述特征点检测方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述热力图转换模型训练方法或所述特征点检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于实现所述热力图转换模型训练方法或所述特征点检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的热力图转换模型训练方法或所述特征点检测方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述热力图转换模型训练方法或所述特征点检测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (18)

1.一种热力图转换模型训练方法,包括:
对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标;
根据所述至少一个特征点坐标确定至少一个第一特征点热力图;
将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
2.根据权利要求1所述的热力图转换模型训练方法,所述将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,包括:
将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入所述待训练热力图转换模型;
获取所述待训练热力图转换模型输出的所述特征图像对应的至少一个第二特征点热力图;
计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值;
根据所述损失值对所述待训练热力图转换模型进行迭代训练。
3.根据权利要求2所述的热力图转换模型训练方法,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
根据所述至少一个第一特征点热力图中各像素点的坐标与所述至少一个第二特征点热力图中各像素点的坐标间的距离计算所述损失值。
4.根据权利要求2所述的热力图转换模型训练方法,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
判断所述至少一个第二特征点热力图的尺寸与所述至少一个第一特征点热力图的尺寸是否一致;
若否,则根据所述至少一个第一特征点热力图的尺寸,对所述至少一个第二特征点热力图进行尺寸变换,生成变换后的至少一个第二特征点热力图;
计算变换后的至少一个第二特征点热力图与所述至少一个第一特征点热力图之间的损失值。
5.根据权利要求2所述的热力图转换模型训练方法,所述计算所述至少一个第一特征点热力图与所述至少一个第二特征点热力图之间的损失值,包括:
确定所述至少一个第二特征点热力图中分别包含的热力区域,并确定所述热力区域中各像素点对应的热力权重;
计算所述热力区域中像素点的坐标与所述至少一个第一特征点热力图中像素点的坐标间的距离;
根据所述热力权重对所述距离进行加权求和,并将求和结果作为所述损失值。
6.根据权利要求1所述的热力图转换模型训练方法,所述根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点为圆心,以预设距离阈值为半径,确定所述至少一个特征点对应的至少一个热力区域;
根据所述至少一个热力区域中各像素点对应的热力权重计算所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
7.根据权利要求1所述的热力图转换模型训练方法,所述根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点坐标为中心,以预设距离阈值为边长,确定所述至少一个特征点坐标对应的至少一个方形热力区域;
根据所述至少一个方形热力区域中各像素点对应的热力权重计算所述至少一个方形热力区域中各像素点的热力值;
根据所述至少一个方形热力区域中每个像素点的热力值,在所述至少一个方形热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个方形热力区域的第一特征点热力图。
8.根据权利要求1所述的热力图转换模型训练方法,所述根据所述至少一个特征点坐标确定至少一个第一特征点热力图,包括:
以所述至少一个特征点坐标为圆心,以预设距离阈值为半径,确定所述至少一个特征点坐标对应的至少一个热力区域;
为所述至少一个特征点坐标设置初始热力值,并将所述初始热力值作为均值;
将所述均值以及预设的方差输入热力值计算函数,计算获得所述至少一个热力区域中各像素点的热力值;
根据所述至少一个热力区域中每个像素点的热力值,在所述至少一个热力区域中呈现所述各像素点的热力值对应的颜色,生成所述至少一个热力区域的第一特征点热力图。
9.根据权利要求1所述的热力图转换模型训练方法,还包括:
将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
根据所述至少一个热力区域的置信度确定目标热力区域;
确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
10.根据权利要求1至9任意一项所述的热力图转换模型训练方法,所述对目标对象的特征图像进行特征点标注,包括:
对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注。
11.根据权利要求10所述的热力图转换模型训练方法,所述对动物的鼻纹特征图像中的鼻孔、鼻子轮廓中的至少一个进行特征点标注,包括:
基于所述鼻纹特征图像中动物鼻子中心竖直线与鼻子轮廓上下两侧边界交接的特征点、动物鼻孔中心的特征点、动物鼻子中心竖直线与水平线交接的特征点中的至少一个进行特征点标注。
12.一种热力图转换模型训练装置,包括:
标注模块,被配置为对目标对象的特征图像进行鼻纹特征点标注,并生成所述特征图像对应的至少一个特征点坐标;
确定模块,被配置为根据所述至少一个特征点坐标确定至少一个第一特征点热力图;
训练模块,被配置为将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
13.一种特征点检测方法,包括:
将待检测的特征图像输入所述热力图转换模型,并获取输出的至少一个第三特征点热力图;
确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
根据所述至少一个热力区域的置信度确定目标热力区域;
确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
14.根据权利要求13所述的特征点检测方法,所述根据所述至少一个热力区域的置信度确定目标热力区域,包括:
将所述至少一个热力区域中置信度大于预设阈值的热力区域确定为所述目标热力区域。
15.根据权利要求13所述的特征点检测方法,所述将所述中心点坐标作为所述特征图像的特征点检测结果并展示之后,还包括:
根据所述特征点检测结果确定所述特征图像中待识别对象的待识别轮廓,并基于所述待识别轮廓确定所述待识别对象的信息识别结果。
16.一种特征点检测装置,包括:
获取模块,被配置为将待检测的特征图像输入热力图转换模型,并获取输出的至少一个第三特征点热力图;
第一确定模块,被配置为确定所述至少一个第三特征点热力图中任意一个第三特征点热力图包含的至少一个热力区域,并获取所述至少一个热力区域的置信度;
第二确定模块,被配置为根据所述至少一个热力区域的置信度确定目标热力区域;
展示模块,被配置为确定所述目标热力区域的中心点坐标,将所述中心点坐标作为所述特征图像的特征点检测结果并展示。
17.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令以实现权利要求1至11或13至15任意一项所述方法的步骤。
18.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至11或13至15任意一项所述方法的步骤。
CN202011305014.6A 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置 Active CN112101490B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110307949.6A CN113011505B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置
CN202011305014.6A CN112101490B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011305014.6A CN112101490B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110307949.6A Division CN113011505B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置

Publications (2)

Publication Number Publication Date
CN112101490A true CN112101490A (zh) 2020-12-18
CN112101490B CN112101490B (zh) 2021-03-02

Family

ID=73785942

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011305014.6A Active CN112101490B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置
CN202110307949.6A Active CN113011505B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110307949.6A Active CN113011505B (zh) 2020-11-20 2020-11-20 热力图转换模型训练方法以及装置

Country Status (1)

Country Link
CN (2) CN112101490B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298913A (zh) * 2021-06-07 2021-08-24 Oppo广东移动通信有限公司 数据增强方法、装置、电子设备及可读存储介质
CN113780555A (zh) * 2021-09-10 2021-12-10 平安科技(深圳)有限公司 基于数据增强的模型训练方法、装置、设备及存储介质
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
WO2022160676A1 (zh) * 2021-01-29 2022-08-04 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN115187821A (zh) * 2022-07-05 2022-10-14 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170151838A1 (en) * 2014-06-24 2017-06-01 The Yokohama Rubber Co., Ltd. Tire Noise Reduction Device and Pneumatic Tire
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
CN108519094A (zh) * 2018-02-11 2018-09-11 华为技术有限公司 局部路径规划方法及云处理端
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN109801335A (zh) * 2019-01-08 2019-05-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109858363A (zh) * 2018-12-28 2019-06-07 北京旷视科技有限公司 一种狗鼻纹特征点的检测方法、装置、系统及存储介质
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质
CN111368672A (zh) * 2020-02-26 2020-07-03 苏州超云生命智能产业研究院有限公司 一种用于遗传病面部识别模型的构建方法及装置
CN111553949A (zh) * 2020-04-30 2020-08-18 张辉 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
CN111523422B (zh) * 2020-04-15 2023-10-10 北京华捷艾米科技有限公司 一种关键点检测模型训练方法、关键点检测方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170151838A1 (en) * 2014-06-24 2017-06-01 The Yokohama Rubber Co., Ltd. Tire Noise Reduction Device and Pneumatic Tire
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
CN108519094A (zh) * 2018-02-11 2018-09-11 华为技术有限公司 局部路径规划方法及云处理端
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN109858363A (zh) * 2018-12-28 2019-06-07 北京旷视科技有限公司 一种狗鼻纹特征点的检测方法、装置、系统及存储介质
CN109801335A (zh) * 2019-01-08 2019-05-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质
CN111368672A (zh) * 2020-02-26 2020-07-03 苏州超云生命智能产业研究院有限公司 一种用于遗传病面部识别模型的构建方法及装置
CN111553949A (zh) * 2020-04-30 2020-08-18 张辉 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R. SELVARAJU 等: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
鞠磊: "稠密人脸关键点:数据集和标注工具", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160676A1 (zh) * 2021-01-29 2022-08-04 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113298913A (zh) * 2021-06-07 2021-08-24 Oppo广东移动通信有限公司 数据增强方法、装置、电子设备及可读存储介质
CN113780555A (zh) * 2021-09-10 2021-12-10 平安科技(深圳)有限公司 基于数据增强的模型训练方法、装置、设备及存储介质
CN113780555B (zh) * 2021-09-10 2024-05-10 平安科技(深圳)有限公司 基于数据增强的模型训练方法、装置、设备及存储介质
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
CN115187821A (zh) * 2022-07-05 2022-10-14 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品
CN115187821B (zh) * 2022-07-05 2024-03-22 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品

Also Published As

Publication number Publication date
CN112101490B (zh) 2021-03-02
CN113011505B (zh) 2022-08-05
CN113011505A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN112101490B (zh) 热力图转换模型训练方法以及装置
US11069131B2 (en) Predictive personalized three-dimensional body models
US11238272B2 (en) Method and apparatus for detecting face image
CN108922622B (zh) 一种动物健康监测方法、装置及计算机可读存储介质
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN106203242B (zh) 一种相似图像识别方法及设备
Li et al. Deep cascaded convolutional models for cattle pose estimation
CN107463865B (zh) 人脸检测模型训练方法、人脸检测方法及装置
US11423630B1 (en) Three-dimensional body composition from two-dimensional images
Liu et al. OptiFlex: video-based animal pose estimation using deep learning enhanced by optical flow
JP6020439B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
WO2023056288A1 (en) Body dimensions from two-dimensional body images
CN110737885A (zh) 豢养物的身份认证方法及装置
US20240104769A1 (en) Information processing apparatus, control method, and non-transitory storage medium
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
US11580693B1 (en) Two-dimensional image collection for three-dimensional body composition modeling
CN117197855A (zh) 人脸关键点标注方法、装置、电子设备及存储介质
CN111738062B (zh) 一种基于嵌入式平台的自动再识别系统
CN111783519A (zh) 图像处理方法、装置、电子设备及存储介质
CN108121969B (zh) 用于处理图像的方法和装置
US11854146B1 (en) Three-dimensional body composition from two-dimensional images of a portion of a body
US11903730B1 (en) Body fat measurements from a two-dimensional image
US20230337630A1 (en) Systems and methods of individual animal identification
US12004871B1 (en) Personalized three-dimensional body models and body change journey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042991

Country of ref document: HK