CN111709428B - 图像中关键点位置的识别方法、装置、电子设备及介质 - Google Patents
图像中关键点位置的识别方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN111709428B CN111709428B CN202010479505.6A CN202010479505A CN111709428B CN 111709428 B CN111709428 B CN 111709428B CN 202010479505 A CN202010479505 A CN 202010479505A CN 111709428 B CN111709428 B CN 111709428B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- score
- point
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004044 response Effects 0.000 claims abstract description 197
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 238000013145 classification model Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了图像中关键点位置的识别方法、装置、电子设备及介质，涉及计算机视觉技术领域。具体实现方案为：获取待检测图像，并获取所述待检测图像的特征图和显著图；根据所述待检测图像的特征图生成所述待检测图像的分值响应图；根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置；根据所述第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置；根据所述显著图对所述第二关键点位置进行修正。由此，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
Description
技术领域
本申请的实施例总体上涉及图像处理技术领域，并且更具体地，涉及计算机视觉技术领域。
背景技术
在图像处理领域，图像的关键点或特征点通常指图像中具有代表性或特征性的像素点，能够在其他含有相同场景或目标的相似图像中，以相同或相似的不变形式表示图像含义或图像中目标的特性。利用关键点的图像信息作为图像的特征描述子，通常能够代表图像进行图像的分析与识别。因此，准确地找到图像中的关键点对于图像的处理具有重要意义，如何准确地找到图像中的关键点成为计算机视觉领域的研究热点之一。
发明内容
本申请提供了一种图像中关键点位置的识别方法、装置、电子设备及介质。
根据第一方面，提供了一种图像中关键点位置的识别方法，包括：
获取待检测图像，并获取所述待检测图像的特征图和显著图；
根据所述待检测图像的特征图生成所述待检测图像的分值响应图；
根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置；
根据所述第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置；以及
根据所述显著图对所述第二关键点位置进行修正。
根据第二方面，提供了一种图像中关键点位置的识别装置，包括：
图像获取模块，用于获取待检测图像，并获取所述待检测图像的特征图和显著图；
生成模块，用于根据所述待检测图像的特征图生成所述待检测图像的分值响应图；
第一关键点获取模块，用于根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置；
第二关键点获取模块，用于根据所述第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置；以及
修正模块，用于根据所述显著图对所述第二关键点位置进行修正。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的图像中关键点位置的识别方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的图像中关键点位置的识别方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面实施例所述的图像中关键点位置的识别方法。
本申请提供的图像中关键点位置的识别方法、装置、电子设备及介质，存在如下有益效果：
通过获取待检测图像，并获取待检测图像的特征图和显著图；根据待检测图像的特征图生成待检测图像的分值响应图；根据分值响应图获取关键点在分值响应图上的第一关键点位置；根据第一关键点位置获取关键点映射在待检测图像之上的第二关键点位置，进而根据显著图对第二关键点位置进行修正。由此，通过获取待检测图像对应的显著图，利用显著图对根据特征图确定的关键点的位置进行修正，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的图像中关键点位置的识别方法的流程示意图；
图2(a)为一幅待检测图像的示例图；
图2(b)为与图2(a)所示的待检测图像对应的显著图的示例图；
图3是根据本申请一具体实施例的图像关键点提取过程示例图；
图4是根据本申请第二实施例的图像中关键点位置的识别方法的流程示意图；
图5是根据本申请第三实施例的图像中关键点位置的识别方法的流程示意图；
图6是根据本申请第四实施例的图像中关键点位置的识别方法的流程示意图；
图7是根据本申请第五实施例的图像中关键点位置的识别方法的流程示意图；
图8是根据本申请第六实施例的图像中关键点位置的识别装置的结构示意图；
图9是根据本申请第七实施例的图像中关键点位置的识别装置的结构示意图；
图10是根据本申请第八实施例的图像中关键点位置的识别装置的结构示意图；
图11是根据本申请第九实施例的图像中关键点位置的识别装置的结构示意图；
图12是根据本申请第十实施例的图像中关键点位置的识别装置的结构示意图；
图13是用来实现本申请实施例的图像中关键点位置的识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请的图像中关键点位置的识别方法、装置、电子设备及介质。
在图像处理中，通常利用关键点的图像信息作为图像特征描述子，以代表图像进行分析与识别。
目前使用的基于卷积神经网络的关键点提取方法，在进行关键点提取时，先对输入图像提取到分辨率降低的特征图表示，再在特征图上选取一系列的点并投射回原输入图像，这些点分别对应到原输入图像上的一系列局部区域，以原输入图像上局部区域的中心点作为最终的关键点。
然而，由于关键点反映的是图像上最具代表性的位置，而不是一个固定位置，且一般图像上的角点位置适合作为关键点，而局部区域的中心位置不一定是角点位置，因此相关技术中，将局部区域的中心点确定为关键点的方式是不合理的，很难选取到局部区域的最优点，从而导致所选取的关键点的准确性不高。
针对上述问题，本申请公开了一种图像中关键点位置的识别方法，通过获取待检测图像对应的显著图，利用显著图对根据特征图确定的关键点的位置进行修正，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
图1是根据本申请第一实施例的图像中关键点位置的识别方法的流程示意图，该方法可以由本申请提供的图像中关键点位置的识别装置执行，也可以由本申请提供的电子设备执行，其中，电子设备可以是服务器，也可以是台式电脑、笔记本电脑等终端设备。下面以由本申请提供的图像中关键点位置的识别装置来执行本申请提供的图像中关键点位置的识别方法为例来解释说明本申请。
如图1所示，该图像中关键点位置的识别方法，可以包括以下步骤：
步骤101，获取待检测图像，并获取待检测图像的特征图和显著图。
其中，待检测图像可以是需要进行关键点识别的任意图像，待检测图像中可以包含至少一个目标，比如，待检测图像中可以包括车辆、建筑物、动植物等任意对象，通过本申请提供的图像中关键点位置的识别方法，可以识别出能够表示待检测图像中所包含的对象的关键点。
本实施例中，可以从公开的图像数据集中获取图像作为待检测图像，其中，公开的图像数据集比如可以是ImageNet数据集、PASCAL VOC数据集、Labelme数据集，等等；或者，也可以从本地图库中获取图像作为待检测图像；或者，也可以拍摄一张图像作为待检测图像，本申请对获取待检测图像的方式不作限制。
接着，获取了待检测图像之后，可以获取待检测图像对应的特征图。
作为一种示例，可以利用预先训练好的神经网络模型对待检测图像进行特征提取操作，获取待检测图像对应的特征图。其中，神经网络模型可以是VGGNet(视觉几何群网络，Visual Geometry Group Network)、AlexNet、ResNet(深度残差网络，Residual Network)网络，或者是其他形式的可用于图像特征提取的神经网络模型。
在对上述神经网络模型进行训练时，可以先使用ImageNet等大规模数据集，对VGGNet、ResNet、AlexNet等卷积神经网络模型进行预训练，在训练时可以采用交叉熵损失函数，通过训练得到一个可以较好地对图像进行分类的分类模型。之后，再使用运动重构(Structure From Motion，SFM)在Megadepth数据集上自动标注关键点，并微调预训练过的分类模型。其中，在微调预训练过的分类模型时，加载该预训练过的分类模型之后，在Megadepth数据集上利用新的带有标注关键点的数据进行新的训练，微调分类模型过程中使用三元组排序损失函数(Triplet MarginRankingLoss)，该损失函数为度量学习常用的损失函数，三元组的意思是输入网络的图像由三个图像组成，形成一个三元组，三个图像分为为参考图像(anchor)、正样本(positive)和负样本(negative)，其中，参考图像与正样本组成简单三元组，参考图像与负样本组成困难三元组，通过网络优化，使得简单三元组的距离越来越近，困难三元组的距离越来越远。也就是说，使用三元组排序损失函数对预训练过的分类模型进行微调，该损失函数根据输入的成对图像和对应的关键点标注关系，调整网络以最小化对应正确的点的距离，同时最大化对应错误的点的距离。经过微调后的分类模型即可用于待检测图像的特征提取，得到待检测图像的特征图。
比如，可以将待检测图像输入至预先训练的神经网络模型中进行特征提取，将神经网络模型中某个池化层的输出特征图作为待检测图像的特征图。
由于像素级的标注是非常细微的，不同的人工来标注时可能会引入对应关系的不统一，进而产生误差，且随着图像数据集的扩大，待标注的图像占比将越来越多，人工标注的时间成本也会上升。而本申请实施例中，在训练神经网络模型时，通过SFM在数据集上自动标注关键点，减少了人工干预，节约了标注人力和时间成本，也能够提高关键点标注的准确性。
进一步地，根据待检测图像的特征图，可以获取待检测图像的显著图。
在深度学习中，通常通过反向传播算法进行梯度反传，因此在本实施例中，在获取待检测图像的显著图时，可以将待检测图像的特征图作为输入，通过标准的反向传播算法计算出特征图相对待检测图像的梯度，得到与待检测图像分辨率一样的梯度图，梯度图中包括待检测图像上每个点的梯度值，将该梯度图作为待检测图像的显著图。
或者，还可以对梯度图中的点进行筛选，利用梯度图中满足条件的点组成显著图。具体地，在通过反向传播算法得到梯度图之后，可以利用自适应阈值对梯度图上的梯度值进行筛选，利用梯度值达到自适应阈值的点组成显著图。其中，自适应阈值可以利用图像熵分割方法计算得到。在计算自适应阈值时，对于梯度图，将256个灰度作为256个分割阈值，分别计算各分割阈值下的概率密度函数，再根据各概率密度函数计算各个分割阈值下的前景和背景像素的累计熵，进而找到最大的熵，将最大熵对应的分割阈值作为最终的阈值，即自适应阈值。将梯度图上的每个梯度值与确定的自适应阈值进行比较，剔除小于自适应阈值的梯度值，保留大于或等于自适应阈值的梯度值，利用保留的梯度值对应的点组成待检测图像的显著图。
需要说明的是，利用图像熵分割方法计算自适应阈值是目前比较成熟的技术，因此本实施例中仅对计算过程进行简述，不作详细描述。
图2(a)为一幅待检测图像的示例图，图2(b)为与图2(a)所示的待检测图像对应的显著图的示例图。结合图2(a)和图2(b)可以看出，图2(b)的显著图中亮度较高的点对应于图2(a)中目标的边缘位置和细节位置，也就是说，显著图中的高梯度值对应于待检测图像上目标的边缘、细节等有代表性的位置。
由于显著图反应的内容是待检测图像上所有目标的边缘的梯度变化，高梯度值对应待检测图像上目标的边缘、细节等有代表性的位置，因此将梯度图中小于自适应阈值的梯度值剔除，使得得到的显著图上的点仅反映了待检测图像上目标的边缘位置、细节位置，有利于后续根据显著图对关键点位置进行修正，且能够降低后续的数据处理量。
步骤102，根据待检测图像的特征图生成待检测图像的分值响应图。
本实施例中，对于待检测图像上的每个特征点，可以联合该特征点附近不同的其他特征点，以及其他通道上相同位置的特征点，计算得到该特征点的响应分值，计算出特征图上每个特征点的响应分值之后，即得到待检测图像的分值响应图。
其中，分值响应图中，每个响应分值指的是特征图上特征点的像素强度(数值强度)，高数值对应的为高响应，高响应反应了特征图或者待检测图像上的目标所在位置。
作为一种可能的实现方式，在计算特征点的响应分值时，可以根据特征点及其周围若干个其他特征点的像素值，确定出一个最大的像素值，并获取该特征点在各个通道上的值，选出最大值，进而根据通道上的最大值和周围最大的像素值，计算得到该特征点的响应分值。
步骤103，根据分值响应图获取关键点在分值响应图上的第一关键点位置。
分值响应图中，越大的响应分值越能反应特征图上目标所在的位置，因此本实施例中，可以将分值响应图上的每个响应分值与预设的阈值进行比较，将分值响应图中响应分值大于阈值的特征点所在的位置确定为第一关键点位置。
步骤104，根据第一关键点位置获取关键点映射在待检测图像之上的第二关键点位置。
本实施例中，在将关键点映射至待检测图像上时，可以根据特征图和待检测图像的分辨率关系进行映射，确定关键点在待检测图像上的第二关键点位置。
作为一种示例，可以将特征图的分辨率与待检测图像的分辨率进行比较，如果两者的分辨率相同，则可以在待检测图像上寻找与第一关键点位置相同的位置，该位置即为关键点映射在待检测图像上的第二关键点位置。
作为一种示例，当特征图的分辨率与待检测图像的分辨率不同时，可以根据两者之间的比值关系，根据第一关键点位置确定关键点在待检测图像上的第二关键点位置。
步骤105，根据显著图对第二关键点位置进行修正。
本实施例中，确定了关键点在待检测图像上的第二关键点位置之后，可以利用获取的待检测图像的显著图，对第二关键点位置进行修正。
作为一种示例，在进行关键点位置修正时，对于待检测图像上确定的第二关键点位置，可以根据显著图上同区域内显著值的高低来调整第二关键点位置，将第二关键点位置调整至该区域中显著值最高的位置。
由于显著图上高的显著值对应了待检测图像中目标的边缘、细节等有代表性的位置，因此利用显著图对待检测图像上第二关键点位置进行修正，使得修正后的位置更具代表性。
本实施例的图像中关键点位置的识别方法，通过获取待检测图像，并获取待检测图像的特征图和显著图；根据待检测图像的特征图生成待检测图像的分值响应图；根据分值响应图获取关键点在分值响应图上的第一关键点位置；根据第一关键点位置获取关键点映射在待检测图像之上的第二关键点位置，进而根据显著图对第二关键点位置进行修正。由此，通过获取待检测图像对应的显著图，利用显著图对根据特征图确定的关键点的位置进行修正，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
图3是根据本申请一具体实施例的图像关键点提取过程示例图。如图3所示，对于一个待检测图像，先执行步骤S1，使用卷积神经网络对待检测图像进行特征提取，得到图像特征图；再执行步骤S2，根据特征图确定待检测图像的分值响应图，以及执行步骤S3，根据特征图确定待检测图像的显著图。接着，执行步骤S4，选择分值响应图中高响应的位置作为特征图上的关键点；之后，执行步骤S5，将关键点的坐标线性映射至待检测图像上，进而执行步骤S6，利用显著图对待检测图像上映射的关键点的位置进行修正，得到新的关键点，新的关键点即为最终识别出的关键点。
为了更加清楚的说明前述实施例中根据待检测图像的特征图生成待检测图像的分值响应图的具体实现过程，下面结合附图4进行详细说明。
图4是根据本申请第二实施例的图像中关键点位置的识别方法的流程示意图。如图4所示，在如图1所示实施例的基础上，步骤102可以包括以下步骤：
步骤201，获取特征图之中每个特征点的局部响应分值。
本实施例中，对于特征图上的每个特征点，可以获取各个特征点的局部响应分值。
在本申请实施例一种可能的实现方式中，在获取各个特征点的局部响应分值时，对于第i个特征点(i为正整数，i的取值范围为1至n，n表示特征图上所包含的特征点的总个数)，可以获取第i个特征点的多个相邻特征点，比如获取第i个特征点周围的8个相邻特征点，并获取第i个特征点的特征值和多个相邻特征点的特征值，其中，特征值可以用像素强度表示；进而根据第i个特征点的特征值和多个相邻特征点的特征值生成第i个特征点的局部响应分值。
比如，可以比较第i个特征点的特征值和多个相邻特征点的特征值的大小，从中选择最大的特征值作为第i个特征点的局部响应分值。
最后，依次遍历特征图之中的特征点以获取每个特征点的局部响应分值。
通过获取第i个特征点的多个相邻特征点，并获取第i个特征点的特征值和多个相邻特征点的特征值，进而根据第i个特征点的特征值和多个相邻特征点的特征值生成第i个特征点的局部响应分值，从而，在确定各个特征点的局部响应分值时，不仅考虑该特征点，还考虑了其周围的其他特征点，有利于提高局部响应分值的计算准确度，进而有利于提高获取的分值响应图的准确度。
步骤202，获取特征图之中每个特征点的通道响应分值。
本实施例中，对于特征图上的每个特征点，除了获取特征点的局部响应分值外，还获取特征点的通道响应分值。
在本申请实施例一种可能的实现方式中，在获取各个特征点的通道响应分值时，对于第i个特征点，可以获取第i个特征点在多个通道的多个特征值，进而根据第i个特征点在多个通道的多个特征值生成第i个特征点的通道响应分值。
假设特征图的尺寸为w*h*c，其中，w、h分别为长和宽，c为通道数目，则对于特征图上的每个特征点，获取该特征点在c个通道上分别对应的特征值，并比较c个特征值的大小，从中选择出最大的特征值，将最大的特征值确定为该特征点的通道响应分值。
最后，依次遍历所述特征图之中的特征点以获取所述每个特征点的通道响应分值。
通过获取第i个特征点在多个通道的多个特征值，根据第i个特征点在多个通道的多个特征值生成第i个特征点的通道响应分值，由此，在确定特征点的通道响应分值时，考虑了特征点在不同通道上的特征值，有利于提高获取的分值响应图的准确度。
需要说明的是，步骤201和步骤202的执行顺序不分先后，二者可以同时执行，也可以顺序执行，本申请实施例仅以步骤202在步骤201之后执行作为示例来解释说明本申请，而不能作为对本申请的限制。
步骤203，根据每个特征点的局部响应分值和通道响应分值计算每个特征点的响应分值。
本实施例中，获取了特征图上每个特征点的局部响应分值和通道响应分值之后，即可根据各个特征点的局部响应分值和通道响应分值，计算得到每个特征点的响应分值。
作为一种示例，在计算各个特征点的响应分值时，可以将每个特征点的局部响应分值与通道响应分值相乘以生成每个特征点的响应分值。由此，利用局部响应分值和通道响应分值来得到特征点的响应分值，使得计算得到的响应分值不仅考虑了特征点周围的其他特征点，还考虑了特征点所在的通道，有利于提高获取的分值响应图的准确度。
作为另一种示例，在计算各个特征点的响应分值时，可以根据局部响应分值和通道响应分值对特征点的分值响应的影响程度，预先为局部响应分值和通道响应分值分配对应的权要，进而对局部响应分值和通道响应分值进行加权求和计算，得到特征点的响应分值。
步骤204，根据每个特征点的响应分值生成待检测图像的分值响应图。
本实施例中，获取到特征图上各个特征点的响应分值后，即可根据每个特征点的响应分值生成待检测图像的分值响应图。
本实施例的图像中关键点位置的识别方法，通过获取特征图之中每个特征点的局部响应分值，并获取特征图之中每个特征点的通道响应分值，根据每个特征点的局部响应分值和通道响应分值计算每个特征点的响应分值，进而根据每个特征点的响应分值生成待检测图像的分值响应图，由此，获得的分值响应图中各特征点的响应分值既考虑了特征点周围的其他特征点，又考虑了特征点所在的通道因素，有利于提高获取的分值响应图的准确度。
在本申请实施例一种可能的实现方式中，为了更加清楚地描述前述实施例中根据分值响应图获取关键点在分值响应图上的第一关键点位置的具体实现过程，下面结合附图5进行详细说明。
图5是根据本申请第三实施例的图像中关键点位置的识别方法的流程示意图。如图5所示，在如图1所示实施例的基础上，步骤103可以包括以下步骤：
步骤301，获取分值响应图之中每个特征点的响应分值。
由于待检测图像的分值响应图是通过计算特征图上每个特征点的响应分值生成的，分值响应图上的每个特征点与特征图上相同位置的特征点对应，因此本实施例中，可以从待检测图像的分值响应图中获取到每个特征点的响应分值。
步骤302，如果特征点的响应分值大于预设阈值，则将特征点作为关键点，并获取关键点对应的第一关键点位置。
其中，预设阈值可以由人工预先设定，或者，也可以通过自适应计算得到，比如，可以采用常用的阈值分割方法来计算得到一个阈值。
本实施例中，获取了分值响应图上每个特征点的响应分值之后，可以将每个响应分值与预设阈值进行比较，若某个特征点的响应分值大于预设阈值，则将该特征点确定为关键点，将该特征点所在的位置作为第一关键点位置。通过上述方式，能够确定出分值响应图上所有关键点对应的第一关键点位置。
其中，第一关键点位置可以用对应关键点在分值响应图上的位置坐标表示，比如可以记为(Pi，Pj)，其中，Pi表示关键点在分值响应图上所在的像素行数，Pj表示关键点在分值响应图上所在的像素列数。
本实施例的图像中关键点位置的识别方法，通过获取分值响应图之中每个特征点的响应分值，如果特征点的响应分值大于预设阈值，则将特征点作为关键点，并获取关键点对应的第一关键点位置，由此，实现了分值响应图上关键点的选取，为后续确定待检测图像上的关键点位置奠定了基础。
由于图像的特征图是通过对原图进行特征提取得到的，特征图的分辨率通常不大于原图的分辨率。在本申请实施例一种可能的实现方式中，特征图的分辨率小于待检测图像的分辨率。由此，能够减少特征图上特征点的数量，利用特征图上的一个特征点即可代表待检测图像上的一个区域范围，从而能够降低后续计算的数据量。
进一步地，在本申请实施例一种可能的实现方式中，确定关键点映射在待检测图像上的第二关键点位置时，可以根据特征图与待检测图像的分辨率大小来进行映射，下面结合附图6进行详细说明。
图6是根据本申请第四实施例的图像中关键点位置的识别方法的流程示意图。如图6所示，在如图1所示实施例的基础上，步骤104可以包括以下步骤：
步骤401，获取特征图的分辨率与待检测图像的分辨率之间的分辨率之比。
对于一幅图像而言，其分辨率指图像中存储的信息量，是每英寸图像内包含的像素点的数量。通常，分辨率被表示成每一个方向上的像素数量，比如640*480。对于已知图像，其分辨率也是已知的。因此本实施例中，可以分别获取特征图的分辨率和待检测图像的分辨率，并计算特征图的分辨率与待检测图像的分辨率之间的分辨率之比。
举例而言，假设特征图的分辨率为160*120，待检测图像的分辨率为1280*960，则特征图的分辨率与待检测图像的分辨率之间的分辨率之比为1/8。
步骤402，根据第一关键点位置和分辨率之比生成第二关键点位置。
通常，特征图的尺寸一般是原图尺寸的一个固定比例缩小值，例如原图的1/8，且分值响应图上的特征点与特征图上的特征点一一对应，关键点在分值响应图上的第一关键点位置，也即关键点在特征图上的关键点位置，因此本实施例中，可以根据第一关键点位置和分辨率之比生成第二关键点位置，在确定第二关键点位置时，可以计算第一关键点位置和分辨率之比的乘积，将所得的结果作为关键点映射在待检测图像上的第二关键点位置。
举例而言，假设特征图的分辨率与待检测图像的分辨率之间的分辨率之比为1/8，关键点的第一关键点位置为(Pi，Pj)，则同一关键点映射在待检测图像上的第二关键点位置为(8*Pi，8*Pj)。
本实施例的图像中关键点位置的识别方法，通过获取特征图的分辨率与待检测图像的分辨率之间的分辨率之比，根据第一关键点位置和分辨率之比生成第二关键点位置，由此，实现了特征图上关键点至原图的映射，实现了关键点的初次识别，为后续对初次识别的关键点位置进行修正提供了条件。
在本申请实施例一种可能的实现方式中，为了更加清楚地描述前述实施例中根据显著图对第二关键点位置进行修正的具体实现过程，下面结合附图7进行详细说明。
图7是根据本申请第五实施例的图像中关键点位置的识别方法的流程示意图。如图7所示，在如图1所示实施例的基础上，步骤105可以包括以下步骤：
步骤501，获取第二关键点位置所在的区域。
比如，可以将第二关键点位置周围预设距离内的范围划分为一个区域，并将其作为第二关键点位置所在的区域，获取该区域。
又比如，可以将距离第二关键点位置最近的周围预设个数的点所围成的区域，作为第二关键点位置所在的区域，并获取该区域。
步骤502，获取第二关键点位置所在区域之中每个特征点的显著值。
步骤503，获取区域之中显著值最大的特征点的位置，并将区域之中显著值最大的特征点的位置作为修正位置。
步骤504，将第二关键点位置修正至修正位置。
本实施例中，可以从待检测图像对应的显著图上获取第二关键点位置所在区域中每个特征点的显著值，并对同一区域内各个特征点的显著值进行比较，获取同一区域中显著值最大的特征点所在的位置，将第二关键点位置所在区域中显著值最大的特征点所在的位置确定为关键点的修正位置。进而，将第二关键点位置修正至确定的该修正位置，从而实现了待检测图像上关键点位置的修正，提高了关键点识别的准确性。
本实施例的图像中关键点位置的识别方法，通过获取第二关键点位置所在的区域，并获取第二关键点位置所在区域之中每个特征点的显著值，获取区域之中显著值最大的特征点的位置，并将区域之中显著值最大的特征点的位置作为修正位置，进而将第二关键点位置修正至修正位置，由此，实现了待检测图像上关键点位置的修正，提高了关键点识别的准确性。
根据本申请的实施例，本申请还提供了一种图像中关键点位置的识别装置。
图8是根据本申请第六实施例的图像中关键点位置的识别装置的结构示意图。如图8所示，该图像中关键点位置的识别装置60包括：图像获取模块610、生成模块620、第一关键点获取模块630、第二关键点获取模块640以及修正模块650。
其中，图像获取模块610，用于获取待检测图像，并获取待检测图像的特征图和显著图。
生成模块620，用于根据待检测图像的特征图生成待检测图像的分值响应图。
第一关键点获取模块630，用于根据分值响应图获取关键点在分值响应图上的第一关键点位置。
第二关键点获取模块640，用于根据第一关键点位置获取关键点映射在待检测图像之上的第二关键点位置。
修正模块650，用于根据显著图对第二关键点位置进行修正。
进一步地，在本申请实施例一种可能的实现方式中，如图9所示，在如图8所示实施例的基础上，生成模块620包括：
第一获取单元621，用于获取所述特征图之中每个特征点的局部响应分值。
作为一种可能的实现方式，第一获取单元621获取第i个特征点的多个相邻特征点，并获取所述第i个特征点的特征值和所述多个相邻特征点的特征值，以及根据所述第i个特征点的特征值和所述多个相邻特征点的特征值生成所述第i个特征点的局部响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的局部响应分值，其中，i为正整数。
第二获取单元622，用于获取所述特征图之中每个特征点的通道响应分值。
作为一种可能的实现方式，第二获取单元622获取所述第i个特征点在多个通道的多个特征值，并根据所述第i个特征点在所述多个通道的多个特征值生成所述第i个特征点的通道响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的通道响应分值。
计算单元623，用于根据所述每个特征点的局部响应分值和所述通道响应分值计算所述每个特征点的响应分值。
作为一种可能的实现方式，计算单元623将每个特征点的所述局部响应分值与所述通道响应分值相乘以生成所述每个特征点的响应分值。
生成单元624，用于根据所述每个特征点的响应分值生成所述待检测图像的分值响应图。
在本申请实施例一种可能的实现方式中，如图10所示，在如图8所示实施例的基础上，第一关键点获取模块630包括：
响应分值获取单元631，用于获取所述分值响应图之中每个特征点的响应分值；以及
确定单元632，用于如果所述特征点的响应分值大于预设阈值，则将所述特征点作为所述关键点，并获取所述关键点对应的第一关键点位置。
在本申请实施例一种可能的实现方式中，所述特征图的分辨率小于所述待检测图像的分辨率。从而，如图11所示，在如图8所示实施例的基础上，第二关键点获取模块640包括：
比例获取单元641，用于获取所述特征图的分辨率与所述待检测图像的分辨率之间的分辨率之比；以及
映射单元642，用于根据所述第一关键点位置和所述分辨率之比生成所述第二关键点位置。
在本申请实施例一种可能的实现方式中，如图12所示，在如图8所示实施例的基础上，修正模块650包括：
区域获取单元651，用于获取所述第二关键点位置所在的区域；
显著值获取单元652，用于获取所述第二关键点位置所在区域之中每个特征点的显著值；
修正位置获取单元653，用于获取所述区域之中显著值最大的特征点的位置，并将所述区域之中显著值最大的特征点的位置作为修正位置；以及
修正单元654，用于将所述第二关键点位置修正至所述修正位置。
需要说明的是，前述对图像中关键点位置的识别方法实施例的解释说明，也适用于该实施例的图像中关键点位置的识别装置，其实现原理类似，此处不再赘述。
本申请实施例的图像中关键点位置的识别装置，通过获取待检测图像，并获取待检测图像的特征图和显著图；根据待检测图像的特征图生成待检测图像的分值响应图；根据分值响应图获取关键点在分值响应图上的第一关键点位置；根据第一关键点位置获取关键点映射在待检测图像之上的第二关键点位置，进而根据显著图对第二关键点位置进行修正。由此，通过获取待检测图像对应的显著图，利用显著图对根据特征图确定的关键点的位置进行修正，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例的图像中关键点位置的识别方法。
如图13所示，是用来实现本申请实施例的图像中关键点位置的识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图13中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像中关键点位置的识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像中关键点位置的识别方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像中关键点位置的识别方法对应的程序指令/模块(例如，附图8所示的图像获取模块610、生成模块620、第一关键点获取模块630、第二关键点获取模块640以及修正模块650)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像中关键点位置的识别方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行图像中关键点位置的识别方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至执行图像中关键点位置的识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行图像中关键点位置的识别方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图13中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与执行图像中关键点位置的识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivateServer,虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的技术方案，通过获取待检测图像对应的显著图，利用显著图对根据特征图确定的关键点的位置进行修正，避免了固定以图像上局部区域的中心位置作为图像的关键点的缺陷，能够保证修正后的关键点位置较局部区域的中心位置更具代表性，提高了关键点选取的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种图像中关键点位置的识别方法，其特征在于，包括：
获取待检测图像，并获取所述待检测图像的特征图和显著图；
根据所述待检测图像的特征图生成所述待检测图像的分值响应图，其中，所述分值响应图中，每个响应分值指的是特征图上特征点的像素强度；
根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置；
根据所述关键点在所述分值响应图上的第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置；以及
根据所述显著图对所述第二关键点位置进行修正；
所述根据所述待检测图像的特征图生成所述待检测图像的分值响应图，包括：
获取所述特征图之中每个特征点的局部响应分值；
获取所述特征图之中每个特征点的通道响应分值；
根据所述每个特征点的局部响应分值和所述通道响应分值计算所述每个特征点的响应分值；以及
根据所述每个特征点的响应分值生成所述待检测图像的分值响应图。
2.如权利要求1所述的图像中关键点位置的识别方法，其特征在于，所述获取所述特征图之中每个特征点的局部响应分值，包括：
获取第i个特征点的多个相邻特征点，其中，i为正整数；
获取所述第i个特征点的特征值和所述多个相邻特征点的特征值；
根据所述第i个特征点的特征值和所述多个相邻特征点的特征值生成所述第i个特征点的局部响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的局部响应分值。
3.如权利要求2所述的图像中关键点位置的识别方法，其特征在于，所述获取所述特征图之中每个特征点的通道响应分值，包括：
获取所述第i个特征点在多个通道的多个特征值；
根据所述第i个特征点在所述多个通道的多个特征值生成所述第i个特征点的通道响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的通道响应分值。
4.如权利要求2所述的图像中关键点位置的识别方法，其特征在于，所述根据所述每个特征点的局部响应分值和所述通道响应分值计算所述每个特征点的响应分值，包括：
将每个特征点的所述局部响应分值与所述通道响应分值相乘以生成所述每个特征点的响应分值。
5.如权利要求1所述的图像中关键点位置的识别方法，其特征在于，所述根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置，包括：
获取所述分值响应图之中每个特征点的响应分值；以及
如果所述特征点的响应分值大于预设阈值，则将所述特征点作为所述关键点，并获取所述关键点对应的第一关键点位置。
6.如权利要求1所述的图像中关键点位置的识别方法，其特征在于，所述特征图的分辨率小于所述待检测图像的分辨率。
7.如权利要求6所述的图像中关键点位置的识别方法，其特征在于，所述根据所述第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置，包括：
获取所述特征图的分辨率与所述待检测图像的分辨率之间的分辨率之比；以及
根据所述第一关键点位置和所述分辨率之比生成所述第二关键点位置。
8.如权利要求1所述的图像中关键点位置的识别方法，其特征在于，所述根据所述显著图对所述第二关键点位置进行修正，包括：
获取所述第二关键点位置所在的区域；
获取所述第二关键点位置所在区域之中每个特征点的显著值；
获取所述区域之中显著值最大的特征点的位置，并将所述区域之中显著值最大的特征点的位置作为修正位置；以及
将所述第二关键点位置修正至所述修正位置。
9.一种图像中关键点位置的识别装置，其特征在于，包括：
图像获取模块，用于获取待检测图像，并获取所述待检测图像的特征图和显著图；
生成模块，用于根据所述待检测图像的特征图生成所述待检测图像的分值响应图，其中，所述分值响应图中，每个响应分值指的是特征图上特征点的像素强度；
第一关键点获取模块，用于根据所述分值响应图获取关键点在所述分值响应图上的第一关键点位置；
第二关键点获取模块，用于根据所述关键点在所述分值响应图上的第一关键点位置获取所述关键点映射在所述待检测图像之上的第二关键点位置；以及
修正模块，用于根据所述显著图对所述第二关键点位置进行修正；
所述生成模块，包括：
第一获取单元，用于获取所述特征图之中每个特征点的局部响应分值；
第二获取单元，用于获取所述特征图之中每个特征点的通道响应分值；
计算单元，用于根据所述每个特征点的局部响应分值和所述通道响应分值计算所述每个特征点的响应分值；以及
生成单元，用于根据所述每个特征点的响应分值生成所述待检测图像的分值响应图。
10.如权利要求9所述的图像中关键点位置的识别装置，其特征在于，所述第一获取单元获取第i个特征点的多个相邻特征点，并获取所述第i个特征点的特征值和所述多个相邻特征点的特征值，以及根据所述第i个特征点的特征值和所述多个相邻特征点的特征值生成所述第i个特征点的局部响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的局部响应分值，其中，i为正整数。
11.如权利要求10所述的图像中关键点位置的识别装置，其特征在于，所述第二获取单元获取所述第i个特征点在多个通道的多个特征值，并根据所述第i个特征点在所述多个通道的多个特征值生成所述第i个特征点的通道响应分值，依次遍历所述特征图之中的特征点以获取所述每个特征点的通道响应分值。
12.如权利要求9所述的图像中关键点位置的识别装置，其特征在于，所述计算单元将每个特征点的所述局部响应分值与所述通道响应分值相乘以生成所述每个特征点的响应分值。
13.如权利要求9所述的图像中关键点位置的识别装置，其特征在于，所述第一关键点获取模块，包括：
响应分值获取单元，用于获取所述分值响应图之中每个特征点的响应分值；以及
确定单元，用于如果所述特征点的响应分值大于预设阈值，则将所述特征点作为所述关键点，并获取所述关键点对应的第一关键点位置。
14.如权利要求9所述的图像中关键点位置的识别装置，其特征在于，所述特征图的分辨率小于所述待检测图像的分辨率。
15.如权利要求14所述的图像中关键点位置的识别装置，其特征在于，所述第二关键点获取模块，包括：
比例获取单元，用于获取所述特征图的分辨率与所述待检测图像的分辨率之间的分辨率之比；以及
映射单元，用于根据所述第一关键点位置和所述分辨率之比生成所述第二关键点位置。
16.如权利要求9所述的图像中关键点位置的识别装置，其特征在于，所述修正模块，包括：
区域获取单元，用于获取所述第二关键点位置所在的区域；
显著值获取单元，用于获取所述第二关键点位置所在区域之中每个特征点的显著值；
修正位置获取单元，用于获取所述区域之中显著值最大的特征点的位置，并将所述区域之中显著值最大的特征点的位置作为修正位置；以及
修正单元，用于将所述第二关键点位置修正至所述修正位置。
17. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的图像中关键点位置的识别方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的图像中关键点位置的识别方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479505.6A CN111709428B (zh) | 2020-05-29 | 2020-05-29 | 图像中关键点位置的识别方法、装置、电子设备及介质 |
| EP21163342.5A EP3822858A3 (en) | 2020-05-29 | 2021-03-18 | Method and apparatus for identifying key point locations in an image, and computer readable medium |
| JP2021051372A JP7054746B2 (ja) | 2020-05-29 | 2021-03-25 | 画像内のキーポイント位置の認識方法、装置、電子機器及び媒体 |
| US17/212,635 US11636666B2 (en) | 2020-05-29 | 2021-03-25 | Method and apparatus for identifying key point locations in image, and medium |
| KR1020210063419A KR102508860B1 (ko) | 2020-05-29 | 2021-05-17 | 이미지에서의 키 포인트 위치의 인식 방법, 장치, 전자기기 및 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479505.6A CN111709428B (zh) | 2020-05-29 | 2020-05-29 | 图像中关键点位置的识别方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709428A CN111709428A (zh) | 2020-09-25 |
| CN111709428B true CN111709428B (zh) | 2023-09-15 |
Family
ID=72538891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010479505.6A Active CN111709428B (zh) | 2020-05-29 | 2020-05-29 | 图像中关键点位置的识别方法、装置、电子设备及介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11636666B2 (zh) |
| EP (1) | EP3822858A3 (zh) |
| JP (1) | JP7054746B2 (zh) |
| KR (1) | KR102508860B1 (zh) |
| CN (1) | CN111709428B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709428B (zh) * | 2020-05-29 | 2023-09-15 | 北京百度网讯科技有限公司 | 图像中关键点位置的识别方法、装置、电子设备及介质 |
| US20220058369A1 (en) * | 2020-08-07 | 2022-02-24 | University Of South Florida | Automated stereology for determining tissue characteristics |
| CN114511613B (zh) * | 2020-11-16 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 关键点检测方法、模型训练方法、装置、设备和存储介质 |
| CN113160291B (zh) * | 2021-04-12 | 2023-02-14 | 华雁智科(杭州)信息技术有限公司 | 一种基于图像配准的变化检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616316A (zh) * | 2014-05-23 | 2015-05-13 | 苏州大学 | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 |
| CN104835175A (zh) * | 2015-05-26 | 2015-08-12 | 西南科技大学 | 一种基于视觉注意机制的核环境中目标检测方法 |
| WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
| CN110378264A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 目标跟踪方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6015267B2 (ja) * | 2012-09-13 | 2016-10-26 | オムロン株式会社 | 画像処理装置、画像処理プログラム、これを記録したコンピュータ読み取り可能な記録媒体、および、画像処理方法 |
| JP6230751B1 (ja) * | 2016-09-15 | 2017-11-15 | 三菱電機株式会社 | 物体検出装置および物体検出方法 |
| US10552709B2 (en) * | 2016-10-05 | 2020-02-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method, system, and device for learned invariant feature transform for computer images |
| WO2018099557A1 (en) * | 2016-11-30 | 2018-06-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Image processing device and method for producing in real-time a digital composite image from a sequence of digital images |
| CN108229509B (zh) * | 2016-12-16 | 2021-02-26 | 北京市商汤科技开发有限公司 | 用于识别物体类别的方法及装置、电子设备 |
| CN109918975B (zh) * | 2017-12-13 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 一种增强现实的处理方法、对象识别的方法及终端 |
| CN108073910B (zh) * | 2017-12-29 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 用于生成人脸特征的方法和装置 |
| EP3547211B1 (en) * | 2018-03-30 | 2021-11-17 | Naver Corporation | Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn |
| CN108549863B (zh) * | 2018-04-11 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 人体姿态预测方法、装置、设备及存储介质 |
| CN109684911B (zh) * | 2018-10-30 | 2021-05-11 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
| CN109614876B (zh) * | 2018-11-16 | 2021-07-27 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN113826143A (zh) * | 2019-03-15 | 2021-12-21 | 视网膜医疗股份公司 | 特征点检测 |
| CN111985265B (zh) * | 2019-05-21 | 2024-04-12 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110263681B (zh) * | 2019-06-03 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法和装置、存储介质、电子装置 |
| CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| JP2022522551A (ja) * | 2020-02-03 | 2022-04-20 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
| CN111709428B (zh) * | 2020-05-29 | 2023-09-15 | 北京百度网讯科技有限公司 | 图像中关键点位置的识别方法、装置、电子设备及介质 |
-
2020
- 2020-05-29 CN CN202010479505.6A patent/CN111709428B/zh active Active
-
2021
- 2021-03-18 EP EP21163342.5A patent/EP3822858A3/en active Pending
- 2021-03-25 US US17/212,635 patent/US11636666B2/en active Active
- 2021-03-25 JP JP2021051372A patent/JP7054746B2/ja active Active
- 2021-05-17 KR KR1020210063419A patent/KR102508860B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616316A (zh) * | 2014-05-23 | 2015-05-13 | 苏州大学 | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 |
| CN104835175A (zh) * | 2015-05-26 | 2015-08-12 | 西南科技大学 | 一种基于视觉注意机制的核环境中目标检测方法 |
| WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
| CN110378264A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 目标跟踪方法及装置 |
Non-Patent Citations (11)
| Title |
|---|
| Combining attention and recognition for rapid scene analysis;J.J. Bonaiuto等;《Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 》;1-8 * |
| ELF: Embedded Localisation of Features in Pre-Trained CNN;Assia Benbihi等;《2019 IEEE/CVF International Conference on Computer Vision》;7939-7948 * |
| Fast Image Matching with Visual Attention and SURF Descriptors;Vitaly Pimenov;《computer science》;1-8 * |
| Image Classification Based on SIFT and SVM;Qilong Li等;《 2018 IEEE/ACIS 17th International Conference on Computer and Information Science (ICIS)》;762-765 * |
| Structure from motion using dense CNN features with keypoint relocalization;Aji Resindra Widya等;《IPSJ Transactions on Computer Vision and Applications》;第10卷(第6期);1-7 * |
| 一种目标识别中基于关键点的仿射不变矩;吴高洁;李超;熊璋;;北京航空航天大学学报(第09期);12-16 * |
| 图像特征检测与匹配方法研究综述;唐灿;《南京信息工程大学学报（自然科学版）》;第12卷(第3期);261-273 * |
| 基于SIFT的图像匹配技术研究;董平;林强;刘志伟;林嘉宇;;数字技术与应用(第02期);112-114 * |
| 基于视觉注意机制的红外弱小目标检测;邓亚平等;《华中科技大学学报(自然科学版)》;第43卷;195-199 * |
| 深度图像中基于轮廓曲线和局部区域特征的3维物体识别;吴莉婷;《中国图象图形学报》;第17卷(第2期);269-278 * |
| 视觉注意机制建模中的注意焦点选择及转移轨迹优化设计;杨婷;《中国优秀硕士学位论文全文数据库（信息科技辑）》(第8期);I138-790 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210065901A (ko) | 2021-06-04 |
| CN111709428A (zh) | 2020-09-25 |
| JP2021108155A (ja) | 2021-07-29 |
| EP3822858A3 (en) | 2021-10-06 |
| US20210279500A1 (en) | 2021-09-09 |
| JP7054746B2 (ja) | 2022-04-14 |
| KR102508860B1 (ko) | 2023-03-10 |
| EP3822858A2 (en) | 2021-05-19 |
| US11636666B2 (en) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709428B (zh) | 图像中关键点位置的识别方法、装置、电子设备及介质 | |
| US11694461B2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
| CN111986178A (zh) | 产品缺陷检测方法、装置、电子设备和存储介质 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN112287924B (zh) | 文本区域检测方法、装置、电子设备和计算机存储介质 | |
| CN111488925B (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
| CN112381183B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112150462B (zh) | 确定目标锚点的方法、装置、设备以及存储介质 | |
| CN113408662B (zh) | 图像识别、图像识别模型的训练方法和装置 | |
| CN114677565B (zh) | 特征提取网络的训练方法和图像处理方法、装置 | |
| CN112561879B (zh) | 模糊度评价模型训练方法、图像模糊度评价方法及装置 | |
| CN114386503A (zh) | 用于训练模型的方法和装置 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN112488126B (zh) | 特征图处理方法、装置、设备以及存储介质 | |
| CN109799905B (zh) | 一种手部跟踪方法和广告机 | |
| CN116363429A (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
| CN112990201A (zh) | 文本框检测方法、装置、电子设备和计算机存储介质 | |
| CN111325210B (zh) | 用于输出信息的方法和装置 | |
| CN113160044A (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
| CN115222955B (zh) | 图像匹配模型的训练方法、装置、电子设备及存储介质 | |
| US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium | |
| CN117475153A (zh) | 运动目标的分割方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |