CN110349096A - 手掌图像的校正方法、装置、设备及存储介质 - Google Patents
手掌图像的校正方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110349096A CN110349096A CN201910517663.3A CN201910517663A CN110349096A CN 110349096 A CN110349096 A CN 110349096A CN 201910517663 A CN201910517663 A CN 201910517663A CN 110349096 A CN110349096 A CN 110349096A
- Authority
- CN
- China
- Prior art keywords
- point
- key point
- palm image
- corrected
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims description 15
- 238000012937 correction Methods 0.000 claims abstract description 115
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013136 deep learning model Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000013350 formula milk Nutrition 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000060701 Kaempferia pandurata Species 0.000 description 2
- 235000016390 Uvaria chamae Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种手掌图像的校正方法、装置、设备及介质，所述方法包括：获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；根据所述目标矫正点和待校正点计算透射变换矩阵；按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。本发明的计算过程简单，简化了矫正过程，提高了矫正速度，有效地解决了现有技术对手掌图像进行透视矫正的过程复杂、计算量大、速度慢的的问题。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种手掌图像的校正方法、装置、设备及存储介质。
背景技术
现有技术对手掌图像进行透视矫正时需要获取摄像环境参数，比如像素大小、分辨率、焦距等参数；然后分别在垂直和水平变形方向上计算垂直和水平对应的变形系数，处理过程复杂、计算量大、速度慢，且对图像的要求较高，对于不能提供规则边缘信息的图像更是无法实现透视变换矫正。
因此，寻找一种解决现有手掌图像透视矫正技术处理过程复杂、计算量大、速度慢的问题的方法成为本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供了一种手掌图像的校正方法、装置、设备及存储介质，以解决现有技术对手掌图像进行透视矫正的过程复杂、计算量大、速度慢的的问题。
一种手掌图像的校正方法，包括：
获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
根据所述目标矫正点和待校正点计算透射变换矩阵；
按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
进一步地，所述获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点包括：
获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标；
根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；
从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
进一步地，所述从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点包括：
从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点；
获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
进一步地，所述获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点包括：
获取待矫正手掌图像，通过深度学习模型预测所述待矫正手掌图像对应的关键点组，其中，所述关键点组中包括若干个类别的矫正关键点及其坐标；
从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点。
可选地，所述从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点包括：
从所述待矫正手掌图像的矫正关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为待矫正点；
获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
获取所述中指指尖关键点和对称点所在直线与待矫正手掌图像的边界交点，作为第四个待矫正点。
一种手掌图像的校正装置，包括：
第一获取模块，用于获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
第二获取模块，用于获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
计算模块，用于根据所述目标矫正点和待校正点计算透射变换矩阵；
透射变换模块，用于按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
进一步地，所述第一获取模块包括：
样本关键点学习单元，用于获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标；
标准关键点获取单元，用于根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；
目标矫正点获取单元，用于从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
进一步地，所述目标矫正点获取单元还包括：
目标矫正点选取单元，用于从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点；
对称点获取单元，用于获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
目标矫正点获取单元，用于获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述手掌图像的校正方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手掌图像的校正方法。
本发明实施例通过预设标准手掌图像的标准关键点，在对待矫正手掌图像进行校正时，直接从所述标准手掌图像的标准关键点中获取目标矫正点，参数获取方便，无需采集相机参数；然后获取待矫正手掌图像的矫正关键点，从所述矫正关键点中获取待矫正点；根据所述目标矫正点和待校正点计算透射变换矩阵；按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，计算过程简单，极大地简化了矫正过程，提高了矫正速度；且关键点的获取提高了对手掌位置定位的准确性；整个过程所使用的参数也与采集设备无关，矫正结果稳定。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中手掌图像的校正方法的一流程图；
图2是本发明一实施例中手掌图像的校正方法中步骤S101的一流程图；
图3是本发明一实施例中手掌图像的校正方法中步骤S203的一流程图；
图4是本发明一实施例中手掌图像的校正方法中步骤S102的一流程图；
图5是本发明一实施例中手掌图像的校正方法中步骤S402的一流程图；
图6(a)是本发明一实施例提供的标准手掌图像及标准关键点的示意图，(b)是本发明一实施例提供的目标矫正点示意图；
图7是本发明一实施例中手掌图像的校正装置的一原理框图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本实施例提供的手掌图像的校正方法进行详细的描述。在本实施例中，所述手掌图像的校正方法应用在终端设备上，所述终端设备包括但不限于计算机。如图1所示，所述手掌图像的校正方法包括：
在步骤S101中，获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点。
在这里，标准手掌图像是指手掌在正面视角下呈现直立状态的手掌图像，是一个理想状态；关键点是指在手掌图像中用于确定手掌中心位置的坐标；所述标准关键点是指在标准手掌图像中用于确定手掌中心位置的坐标。所述目标矫正点是指矫正时的参照点。本发明实施例从标准手掌图像中选取的用作矫正参照点的关键点，即目标矫正点。
可选地，由于标准手掌图像是指理想状态下的手掌图像，为了提高标准手掌图像通过标准关键点定位掌心位置的准确性，本发明实施例通过深度学习的方法来获取标准手掌图像的标准关键点。首先构建一个用于学习手掌关键点的神经网络，然后采集一批包含手掌的训练样本，按照图中手掌的位置进行裁剪，得到手掌图像训练样本。对每一个所述手掌图像训练样本上的关键点进行人工标注，并记录下每个关键点的坐标。将标注后的每一所述手掌图像训练样本作为输入传入已构建好的神经网络，以对所述手掌图像训练样本进行学习；最后基于所述神经网络的输出和所标注的每个关键点的坐标，调整所述神经网络的参数，得到关于手掌关键点的深度学习模型。最后利用所述深度学习模型对手掌图像的关键点进行预测。在这里，所述神经网络可以为人脸关键点检测网络(Deep AlignmentNetwork，简称DAN)。
作为本发明的一个优选示例，如图2所示，所述步骤S101包括：
在步骤S201中，获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标。
在这里，所述手掌图像样本集是指用于预测标准手掌图像中的标准关键点的一组手掌图像样本。在所述手掌图像样本中，手掌在正面视角下趋近于直立状态。在所述深度学习模型中，预测的关键点组中包括但不限于中指指尖、食指指根、中指指根、无名指指根、尾指指根及其对应的坐标。其中，指尖是指手指末端，指根是指手指与手掌交接处。
在获取标准手掌图像的标准关键点时，本发明实施例选择一批手掌图像样本集，通常包括数张不同的手掌图像样本。将每一所述手掌图像样本作为输入传入所述深度学习模型，通过所述深度学习模型来预测所述手掌图像样本对应的关键点组。
示例性地，假设关键点组由中指指尖、食指指根、中指指根、无名指指根、尾指指根五个类别组成，则经过深度学习模型后的每一所述手掌图像赝本的关键点组中包括中指指尖、食指指根、中指指根、无名指指根、尾指指根五个类别的样本关键点及其对应的坐标。
在步骤S202中，根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点。
在得到每一个手掌图像样本对应的关键点组之后，将所述样本关键点按照类别进行划分。示例性地，承接前文示例，在这里将所有组中中指指尖对应的坐标划分到中指指尖类别下、食指指根对应的坐标划分到食指指根类别下、中指指根对应的坐标划分到中指指根类别下、无名指指根对应的坐标划分到无名指指根类别下、尾指指根对应的坐标划分到尾指指根类别下。
对于同一类别，计算所述类别下的所有样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；遍历所有的类别，从而得到所述标准手掌图像对应的关键点组。示例性地，承接前文示例，计算中指指尖类别中所有关键点的坐标均值，作为所述标准手掌图像的中指指尖关键点；计算食指指根类别中所有关键点的坐标均值，作为所述标准手掌图像的食指指根关键点；计算所述中指指根类别中所有关键点的坐标均值，作为所述标准手掌图像的中指指根关键点；计算所述无名指指根类别中所有关键点的坐标均值，作为所述标准手掌图像的无名指指根关键点；计算所述尾指指根关键点类别中所有关键点的坐标均值，作为所述标准手掌图像的尾指指根关键点。为了便于理解，如图6(a)所示，为本发明实施例提供的标准手掌图像及标准关键点的示意图。所述中指指尖关键点、食指指根关键点、中指指根关键点、无名指指根关键点、尾指指根关键点共同确定了标准手掌图像中手掌中心位置。
在步骤S203中，从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
在得到标准手掌图像的标准关键点之后，本发明实施例从所述标准关键点中选择目标矫正点。在这里，为了提高目标矫正点的参照效果，本发明实施例首先选择三个标准关键点作为目标矫正点，然后根据所述三个目标矫正点计算第四个目标矫正点。可选地，如图3所示，所述步骤S203包括：
在步骤S301中，从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点。
在这里，相对于其他标准关键点的组合，本发明实施例选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点，矫正效果更佳。
在步骤S302中，获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点。
在选出三个目标矫正点之后，本发明实施例首先根据所选择的食指指根关键点和无名指指根关键点确定一条直线，作为对称轴，然后计算所述中指指尖关键点关于所述对称轴的对称点。
在步骤S303中，获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
在这里，本发明实施例根据所述中指指尖关键点和对称点确定另一条直线，所述直线与标准手掌图像的边界会有一个交点。本发明实施例获取所述交点的坐标，作为第四个目标矫正点。应当理解，所述中指指尖关键点和对称点所在直线与手掌图像的边界交点会有两个，本发明实施例选取靠近对称点一侧的边界交点作为第四个目标矫正点。这是因为靠近对称点一侧的边界交点相比于靠近中指指尖关键点一侧的边界交点，靠近手掌，更容易定位手掌中心位置。为了便于理解，如图6(b)所示，为本发明实施例提供的目标矫正点示意图。
通过上述步骤S301至步骤S303的计算，所得到的第四个目标矫正点和中指指尖关键点、食指指根关键点、无名指指根关键点共同构成了一个不规则的四边形，实现了在标准手掌图像中对手掌的定位；且由于第四个目标矫正点为标准手掌图像边界上的，与其他三个目标矫正点所构成的四边形覆盖了手掌的中心部分，有利于提高定位的准确性。
在步骤S102中，获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点。
在这里，所述待矫正手掌图像是指当前需要进行图像矫正的手掌图像。所述矫正关键点是指在待矫正手掌图像中用于确定手掌中心位置的坐标点；所述待矫正点是指从待矫正手掌图像中选取的用于计算透射变换矩阵的坐标点。其中，所述待矫正手掌图像的尺寸与所述标准手掌图像的尺寸相同。
可选地，所述待矫正手掌图像中手掌位置是任意的，为了提高待矫正手掌图像通过矫正关键点定位掌心位置的准确性，本发明实施例通过深度学习的方法来获取待矫正手掌图像的矫正关键点。所使用的深度学习模型与预测标准手掌图像中的标准关键点的深度学习模型相同。如图4所示，所述步骤S102包括：
在步骤S401中，获取待矫正手掌图像，通过深度学习模型预测所述待矫正手掌图像对应的关键点组，其中，所述关键点组中包括若干个类别的矫正关键点及其坐标。
由于所述待矫正手掌图像与标准手掌图像的尺寸相同，本发明实施例同样以所述待矫正手掌图像作为输入传入所述深度学习模型，通过所述深度学习模型预测所述待矫正手掌图像对应的关键点组。
在这里，该待矫正手掌图像对应的关键点组中的类别与标准手掌图像对应的关键点组中的类别相同。示例性地，假设关键点组由中指指尖、食指指根、中指指根、无名指指根、尾指指根五个类别组成，则待矫正手掌图像对应的关键点组中也包括中指指尖、食指指根、中指指根、无名指指根、尾指指根五个类别对应的坐标。
在步骤S402中，从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点。
在得到待矫正手掌图像的矫正关键点之后，本发明实施例从所述矫正关键点中选择待矫正点。同理，为了提高待矫正点的矫正效果，本发明实施例首先选择三个矫正关键点作为待矫正点，然后根据所述三个待矫正点计算第四个待矫正点。可选地，如图5所示，所述步骤S402包括：
在步骤S501中，从所述待矫正手掌图像的矫正关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为待矫正点。
本发明实施例从待矫正手掌图像的矫正关键点中选择三个待矫正点与从标准手掌图像的标准关键点中选择三个目标矫正点相同，即选择中指指尖关键点、食指指根关键点、无名指指根关键点作为待矫正点。
在步骤S502中，获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点。
在选出三个待矫正点之后，本发明实施例首先根据所选择的食指指根关键点和无名指指根关键点确定一条直线，作为对称轴，然后计算所述中指指尖关键点关于所述对称轴的对称点。
在步骤S503中，获取所述中指指尖关键点和对称点所在直线与待矫正手掌图像的边界交点，作为第四个待矫正点。
在这里，本发明实施例根据所述中指指尖关键点和对称点确定另一条直线，所述直线与待矫正手掌图像的边界会有一个交点。本发明实施例获取所述交点的坐标，作为第四个待矫正点。如前所述，所述中指指尖关键点和对称点所在直线与手掌图像的边界交点会有两个，本发明实施例选取靠近对称点一侧的边界交点作为第四个目标矫正点。
通过上述步骤S501至步骤S503的计算，所得到的第四个待校正点和中指指尖关键点、食指指根关键点、无名指指根关键点共同构成了另一个不规则的四边形，实现了在待矫正手掌图像中对手掌的定位，且提高了定位的准确性。
在这里，标准手掌图像和待矫正手掌图像的尺寸相同，且标准手掌图像中的目标矫正点的坐标和图像尺寸预先计算好的，可对不同的待矫正手掌图像适用。在对待矫正手掌图像进行矫正时，直接调用即可，使用过程中不会变化，参数获取方便，有利于简化了矫正过程。
在得到标准手掌图像对应的四个目标矫正点和待矫正手掌图像对应的四个待矫正点之后，根据目标矫正点构建的四边形和待矫正点构建的四边形，对所述待矫正手掌图像进行透射变换矫正。
在步骤S103中，根据所述目标矫正点和待校正点计算透射变换矩阵。
在这里，本发明实施例使用OpenCV来计算所述透射变换矩阵，具体为调用getPerspectiveTransform函数。由于透射变换是三维空间上的变换，因此透射变换矩阵为一个3*3的矩阵，其变换公式为：
其中[x',y',w']表示三维空间上变换后的坐标，[u,v,w]表示三维空间上变换前的坐标，表示透射变换矩阵。在所述透射变换矩阵中，可以拆成四个部分，分别为表示线性变换的矩阵表示平移的矩阵[a31 a32]，表示透射变换的矩阵[a13a23]T，以及参数a33＝1。
本发明实施例中的目标手掌图像和待矫正手掌图像均为二维图像，因此变换前的坐标中的w恒为1，变换后的坐标可以通过x＝x'/w'和y＝y'/w'转换为二维的。在计算透射变换矩阵时，将所述目标矫正点和待矫正点按照类别划分为四对坐标，将每一对坐标代入上述变换公式，具体为以目标矫正点的坐标作为变换后的坐标，以待矫正点的坐标作为变换前的坐标，代入上述变换公式：得到其每一对坐标对应的两个方程，即
遍历4对坐标，从而得到8个方程，对所述8个方程进行移项和矩阵求解，得到透射变换矩阵中的元素a11、a12、a13、a21、a22、a23、a31、a32的值，进而得到所述透射变换矩阵。
在步骤S104中，按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
在得到透射变换矩阵之后，通过所述透射变换矩阵对所述待矫正手掌图像中的每一个像素坐标进行变换，从而得到所述像素在透射变换后的坐标，完成对所述待矫正手掌图像的透射变换，使得所述待矫正手掌图像中的手掌在正面视角下呈现直立状态。
可选地，作为本发明的一个优选示例，可以使用OpenCV来对所述待矫正手掌图像执行透射变换。在OpenCV中，图像的透射变换由以下函数完成：
其中，src表示输入图像，即待矫正手掌图像，dst表示输出图像，即所述待矫正手掌图像经矫正后的图像，M表示透射变换矩阵，dsize表示输出图像的大小，flags用于指定像素插补方法以及矩阵倒置标志cv::WARP_INVERSE_MAP，borderMode用于指定边沿像素的推算模式，其中BORDER_CONSTANT指示边沿像素用borderValue替换。
综上所述，本发明实施例通过预设标准手掌图像的标准关键点，在对待矫正手掌图像进行校正时，直接从所述标准手掌图像的标准关键点中获取目标矫正点，参数获取方便，无需采集相机参数；然后通过深度学习模型获取待矫正手掌图像的矫正关键点，从所述矫正关键点中获取待矫正点；根据所述目标矫正点和待校正点计算透射变换矩阵；按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，计算过程简单，极大地简化了矫正过程，提高了矫正速度；且关键点是通过深度学习模型预测得到的，提高了对手掌位置定位的准确性；整个过程所使用的参数也与采集设备无关，矫正结果稳定。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种手掌图像的校正装置，该手掌图像的校正装置与上述实施例中手掌图像的校正方法一一对应。如图7所示，该手掌图像的校正装置包括第一获取模块71、第二获取模块72、计算模块73、透射变换模块74。各功能模块详细说明如下：
第一获取模块71，用于获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
第二获取模块72，用于获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
计算模块73，用于根据所述目标矫正点和待校正点计算透射变换矩阵；
透射变换模块74，用于按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
可选地，所述第一获取模块71包括：
样本关键点学习单元，用于获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标；
标准关键点获取单元，用于根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；
目标矫正点获取单元，用于从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
可选地，所述目标矫正点获取单元还包括：
目标矫正点选取单元，用于从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点；
对称点获取单元，用于获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
目标矫正点获取单元，用于获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
可选地，所述第二获取模块72包括：
矫正关键点学习单元，用于获取待矫正手掌图像，通过深度学习模型预测所述待矫正手掌图像对应的关键点组，其中，所述关键点组中包括若干个类别的矫正关键点及其坐标；
待矫正点获取单元，用于从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点。
可选地，所述待矫正点获取单元包括：
待矫正点选取单元，用于从所述待矫正手掌图像的矫正关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为待矫正点；
对称点获取单元，用于获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
待矫正点获取单元，用于获取所述中指指尖关键点和对称点所在直线与待矫正手掌图像的边界交点，作为第四个待矫正点。
关于手掌图像的校正装置的具体限定可以参见上文中对于手掌图像的校正方法的限定，在此不再赘述。上述手掌图像的校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种手掌图像的校正方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
根据所述目标矫正点和待校正点计算透射变换矩阵；
按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
根据所述目标矫正点和待校正点计算透射变换矩阵；
按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种手掌图像的校正方法，其特征在于，包括：
获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
根据所述目标矫正点和待校正点计算透射变换矩阵；
按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
2.如权利要求1所述的手掌图像的校正方法，其特征在于，所述获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点包括：
获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标；
根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；
从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
3.如权利要求2所述的手掌图像的校正方法，其特征在于，所述从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点包括：
从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点；
获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
4.如权利要求1所述的手掌图像的校正方法，其特征在于，所述获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点包括：
获取待矫正手掌图像，通过深度学习模型预测所述待矫正手掌图像对应的关键点组，其中，所述关键点组中包括若干个类别的矫正关键点及其坐标；
从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点。
5.如权利要求4所述的手掌图像的校正方法，其特征在于，所述从所述待矫正手掌图像的矫正关键点中选择三个矫正关键点作为待矫正点，并根据所述三个待矫正点计算第四个待矫正点包括：
从所述待矫正手掌图像的矫正关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为待矫正点；
获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
获取所述中指指尖关键点和对称点所在直线与待矫正手掌图像的边界交点，作为第四个待矫正点。
6.一种手掌图像的校正装置，其特征在于，包括：
第一获取模块，用于获取标准手掌图像对应的标准关键点，并从所述标准关键点中获取目标矫正点；
第二获取模块，用于获取待矫正手掌图像及其对应的矫正关键点，并从所述矫正关键点中获取待矫正点；
计算模块，用于根据所述目标矫正点和待校正点计算透射变换矩阵；
透射变换模块，用于按照所述透射变换矩阵对所述待矫正手掌图像执行透射变换，得到矫正后的手掌图像。
7.如权利要求6所述的手掌图像的校正装置，其特征在于，所述第一获取模块包括：
样本关键点学习单元，用于获取手掌图像样本集，通过深度学习模型学习所述手掌图像样本集中每一个手掌图像样本对应的关键点组，其中，所述关键点组中包括若干个类别的样本关键点及其坐标；
标准关键点获取单元，用于根据所述手掌图像样本对应的关键点组，计算相同类别的样本关键点的坐标均值，作为标准手掌图像该类别的标准关键点；
目标矫正点获取单元，用于从所述标准手掌图像的标准关键点中选择三个标准关键点作为目标矫正点，并根据所述三个目标矫正点计算第四个目标矫正点。
8.如权利要求7所述的手掌图像的校正装置，其特征在于，所述目标矫正点获取单元还包括：
目标矫正点选取单元，用于从所述标准手掌图像的标准关键点中选择中指指尖关键点、食指指根关键点、无名指指根关键点作为目标矫正点；
对称点获取单元，用于获取所述中指指尖关键点关于食指指根关键点和无名指指根关键点所在直线的对称点；
目标矫正点获取单元，用于获取所述中指指尖关键点和对称点所在直线与所述标准手掌图像的边界交点，作为第四个目标矫正点。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的手掌图像的校正方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的手掌图像的校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910517663.3A CN110349096A (zh) | 2019-06-14 | 2019-06-14 | 手掌图像的校正方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910517663.3A CN110349096A (zh) | 2019-06-14 | 2019-06-14 | 手掌图像的校正方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110349096A true CN110349096A (zh) | 2019-10-18 |
Family
ID=68182064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910517663.3A Pending CN110349096A (zh) | 2019-06-14 | 2019-06-14 | 手掌图像的校正方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349096A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949587A (zh) * | 2021-03-31 | 2021-06-11 | 上海电机学院 | 基于关键点的手部握姿矫正方法、系统及计算机可读介质 |
| CN115100506A (zh) * | 2022-06-27 | 2022-09-23 | 平安银行股份有限公司 | 双录场景下矫正屏幕的图像方法、服务器及系统 |
| CN116862767A (zh) * | 2023-06-30 | 2023-10-10 | 苏州城市学院 | 一种线扫光伏组件图片的弹性矫正与拼接方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866804A (zh) * | 2014-02-20 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 一种掌纹信息识别的方法和设备 |
| CN107016323A (zh) * | 2016-01-28 | 2017-08-04 | 厦门中控生物识别信息技术有限公司 | 一种手掌感兴趣区域的定位方法及装置 |
| US20170277963A1 (en) * | 2016-03-24 | 2017-09-28 | Fujitsu Limited | Image processing device, image processing method and computer-readable non-transitory medium |
| CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
| CN109683710A (zh) * | 2018-12-20 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种手掌法向量确定方法、装置、设备及存储介质 |
-
2019
- 2019-06-14 CN CN201910517663.3A patent/CN110349096A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866804A (zh) * | 2014-02-20 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 一种掌纹信息识别的方法和设备 |
| CN107016323A (zh) * | 2016-01-28 | 2017-08-04 | 厦门中控生物识别信息技术有限公司 | 一种手掌感兴趣区域的定位方法及装置 |
| US20170277963A1 (en) * | 2016-03-24 | 2017-09-28 | Fujitsu Limited | Image processing device, image processing method and computer-readable non-transitory medium |
| CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
| CN109683710A (zh) * | 2018-12-20 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种手掌法向量确定方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949587A (zh) * | 2021-03-31 | 2021-06-11 | 上海电机学院 | 基于关键点的手部握姿矫正方法、系统及计算机可读介质 |
| CN115100506A (zh) * | 2022-06-27 | 2022-09-23 | 平安银行股份有限公司 | 双录场景下矫正屏幕的图像方法、服务器及系统 |
| CN115100506B (zh) * | 2022-06-27 | 2024-05-24 | 平安银行股份有限公司 | 双录场景下矫正屏幕的图像方法、服务器及系统 |
| CN116862767A (zh) * | 2023-06-30 | 2023-10-10 | 苏州城市学院 | 一种线扫光伏组件图片的弹性矫正与拼接方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349096A (zh) | 手掌图像的校正方法、装置、设备及存储介质 | |
| CN105956997B (zh) | 图像形变处理的方法和装置 | |
| CN109583445A (zh) | 文字图像校正处理方法、装置、设备及存储介质 | |
| KR100724134B1 (ko) | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 | |
| CN110288614A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN104200454B (zh) | 鱼眼图像畸变校正方法及装置 | |
| CN109377467A (zh) | 训练样本的生成方法、目标检测方法和装置 | |
| CN109887073B (zh) | 岩心的三维数字模型构建方法及装置 | |
| CN108389155A (zh) | 图像处理方法、装置及电子设备 | |
| CN110009667A (zh) | 基于罗德里格斯变换的多视点云全局配准方法 | |
| CN113129425B (zh) | 一种人脸图像三维重建方法、存储介质及终端设备 | |
| CN109711419A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
| US20170064284A1 (en) | Producing three-dimensional representation based on images of a person | |
| CN105719248A (zh) | 一种实时的人脸变形方法及其系统 | |
| CN110555812A (zh) | 图像调整方法、装置和计算机设备 | |
| WO2024045442A1 (zh) | 图像矫正模型的训练方法、图像矫正方法、设备及存储介质 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| KR101597915B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN108447023A (zh) | 图像处理方法、装置及电子设备 | |
| JP2016157174A (ja) | ３次元空間データ補間プログラム、ならびに、それを組み合わせて実現する形状発生プログラム | |
| CN109579796B (zh) | 一种投影后影像的区域网平差方法 | |
| CN116777769A (zh) | 畸变图像的校正方法及装置、电子设备、存储介质 | |
| CN112581460B (zh) | 扫描规划方法、装置、计算机设备和存储介质 | |
| CN113126944B (zh) | 深度图的显示方法、显示装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |