CN113780201A - 手部图像的处理方法及装置、设备和介质 - Google Patents

Abstract

本公开提供了一种手部图像的处理方法及装置、设备和介质，涉及计算机视觉技术领域。实现方案为：将待处理手部图像输入手部检测神经网络，获取手部检测神经网络所输出的检测结果，该检测结果包括待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，至少一个区域为基于多个第一手掌关键点和/或手掌轮廓线来确定的；至少基于多个第一手掌关键点和/或至少一个区域的信息度，确定待处理手部图像的质量是否合格；以及响应于确定待处理手部图像的质量合格，基于多个第一手掌关键点确定待处理手部图像的感兴趣区域。

Description

手部图像的处理方法及装置、设备和介质

技术领域

本公开一般涉及计算机视觉技术领域，更具体地说，涉及用于身份识别的手部图像的处理方法。

背景技术

随着人工智能的发展，依靠生物特征的身份认证技术近年来得到了广泛的应用，尤其是人脸识别的发展最为迅速。与此同时，基于手指和手掌特征的身份认证技术也渐渐得到应用，例如，可以通过采集并识别用户的手部图像，实现对用户的身份进行识别。对所采集的手部图像进行有效的图像处理以及图像分析有助于提高基于手部图像进行身份识别的效率以及识别结果的准确性。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种手部图像的处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种手部图像的处理方法，包括：将待处理手部图像输入手部检测神经网络，获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

根据本公开的另一方面，提供了一种手部图像的处理装置，包括：获取模块，被配置为将待处理手部图像输入手部检测神经网络，并获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；第一确定模块，被配置为至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及第二确定模块，被配置为响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的一个或多个实施例，通过神经网络对手部图像进行处理并基于神经网络所输出的多个手掌关键点以及手掌的至少一个区域的信息度来判断手部图像的质量，以获得清晰的手部图像，从而可以提高图像的处理效率和识别结果的准确性。同时，通过引入神经网络能够快速判定手部图像质量，以获取清晰的手部图像，从而可以自动过滤掉不清晰的图片，无需限制用户的手部状态，也无需限制手的方向，提升用户体验。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本发明实施例的手部图像的处理方法的流程图；

图2示出了根据本发明实施例的手部检测神经网络的训练方法的流程图；

图3示出了根据本发明实施例的待处理手部图像中所生成的锚点的示意图；

图4示出了根据本发明实施例的手部检测神经网络输出的手部图像的示意图；

图5示出了根据本发明实施例的手部图像的处理方法的流程图；

图6示出了根据本发明实施例的基于手部图像进行身份识别的方法的流程图；

图7示出了根据本发明实施例的手部图像的处理装置的结构框图；

图8示出了根据本发明实施例的手部检测神经网络的训练装置的结构框图；

图9示出了根据本发明实施例的基于手部图像进行身份识别的装置的结构框图；

图10示出了能够用于实现本发明的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

现有技术中，对视频逐帧判断图像质量，获得清晰图像的耗时较长。并且在采集手部图像时，需要限制手掌的状态、手掌方向等，例如要求手指张开，尤其强调大拇指张开，以保证所采集的手部图像质量合格，便于后续对手部图像中手掌特征的识别。这样的手掌采集方式对用户的配合度高，采集的速度慢，给用户带来了较差的用户体验。

为了解决上述问题，本公开应用神经网络快速对手部图像进行处理，可以精准有效的输出手掌关键点信息以及手部图像中手掌的至少一个区域的信息度，从而能够保证获得具有足够特征的清晰手部图像，提升识别结果的准确性。同时，通过引入神经网络能够快速判定手部图像质量，从而能够高效获取清晰的手部图像，自动过滤掉不清晰的图片，并且无需限制用户的手掌状态，也无需限制手掌方向，提升用户体验。

以下将结合附图对本公开的手部图像的处理方法进行进一步描述。

图1示出了根据本公开示例性实施例的手部图像的处理方法的流程图。

如图1所示，所述手部图像的处理方法100可以包括：

步骤S101、将待处理手部图像输入手部检测神经网络，获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；

步骤S102、至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及

步骤S103、响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

由此，通过神经网络对手部图像进行处理，同时输出手掌关键点信息和手掌的至少一个区域的信息度，并基于所输出的信息来确定手部图像质量，从而能够提高图像的处理效率并及时排除质量不合格的手部图像，以提高后续基于手部图像进行身份识别的识别结果的准确性。

手掌的信息度例如可以包括以下各项中的至少其中之一：掌纹数量、掌纹清晰度、掌静脉数量、掌静脉清晰度。信息度表征信息量的多少。信息度会影响后续手掌识别结果的准确性，可以理解的是，信息度越大，所含信息量越大，可用于比对的信息越多，识别结果准确性越高。因此，本公开实施例中的技术方案通过手掌的信息度能够判断手部图像的质量是否合格。

根据一些实施例，所述手部检测神经网络包括主干网络和与主干网络连接的至少一个子网络，至少一个子网络包括信息检测子网络，还可以包括手掌轮廓检测子网络和手指轮廓检测子网络，所述待处理手部图像输入所述主干网络，所述主干网络的输出分别输入各子网络。例如，当子网络包括信息检测子网络、手掌轮廓检测子网络和手指轮廓检测子网络时，主干网络的输出分别输入所述信息检测子网络、所述手掌轮廓检测子网络和所述手指轮廓检测子网络，所述信息检测子网络输出手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，所述手掌轮廓检测子网络输出手掌轮廓线，所述手指轮廓检测子网络输出手指轮廓线，此时检测结果还包括所述手掌轮廓检测子网络所输出的手掌轮廓线和所述手指轮廓检测子网络所输出的手指轮廓线。可以理解的是，信息检测子网络可以包括关键点检测网络和信息度检测网络两个并行的子网络。

由此，在所述手部检测神经网络中，主干网络设置在浅层网络中，用于执行对手部图像所进行的通用计算和检测流程，在神经网络的深层网络中设置有多个子网络的分支，各个子网络可以共享主干网络的计算结果并以主干网络的计算结果作为各个子网络的输入。在各个子网络中再根据各自的需求并行地进行计算，并分别输出相应的检测结果，通过主干网络和子网络结合的设置，提高了计算资源的利用率和神经网络的计算速度。

可以理解的，手部检测神经网络并不局限于采用上述架构，例如，手部检测神经网络可以不包括手掌轮廓检测子网络和/或手指轮廓检测子网络。也就是说，手掌轮廓线和/或手指轮廓线例如也可以采用通用的机器视觉算法来获得，或者手掌轮廓线和/或手指轮廓线通过独立训练得到的神经网络来获得。

下面以手部检测神经网络包括主干网络、信息检测子网络和手掌轮廓检测子网络为例，来介绍手部检测神经网络的训练方法。

图2示出了根据本公开示例性实施例的手部检测神经网络的训练方法的流程图。如图2所示，所述手部检测神经网络的训练方法200可以包括：步骤S201、获取手部样本图像中手掌的多个手掌真实关键点以及真实手掌轮廓线；步骤S202、基于所述多个手掌真实关键点将所述手部样本图像中的手掌划分为至少一个真实区域；步骤S203、确定所述至少一个真实区域中每一个真实区域的真实信息度；步骤S204、将所述手部样本图像输入手部检测神经网络的主干网络，所述主干网络的输出输入到所述信息检测子网络和手掌轮廓检测子网络，获取所述信息检测子网络所输出的所述手部样本图像中手掌的多个手掌预测关键点，以及手掌的至少一个预测区域的预测信息度，其中，所述至少一个预测区域基于所述多个手掌预测关键点，并且获取所述手掌轮廓检测子网络所输出的预测手掌轮廓线；步骤S205、基于所述多个手掌真实关键点、所述至少一个真实区域的真实信息度、所述多个手掌预测关键点和所述多个预测区域的预测信息度，计算第一损失值，并且基于所述真实手掌轮廓线和预测手掌轮廓线，计算第二损失值；以及步骤S206、基于所述第一损失值调整所述信息检测子网络的参数，基于所述第二损失值调整手掌轮廓检测子网络的参数，以及基于所述第一损失值和第二损失值调整所述主干网络的参数。由此，通过手部样本图像对手部检测神经网络进行学习和训练并基于真实的手掌特征对神经网络的参数进行调整，以得到对于待处理的手部图像能够输出手掌关键点和信息度等信息的神经网络，并用于手部图像的快速有效的处理。

手部检测神经网络包括主干网络、信息检测子网络、手掌轮廓检测子网络和手指轮廓检测子网络时，神经网络的训练方法与上述类似，在此不作赘述。根据一些实施例，所述的方法还包括：对所述多个第一手掌关键点进行处理，得到处理后的多个第二手掌关键点；其中，所述至少一个区域为基于所述多个第二手掌关键点和/或手掌轮廓线来确定的，并且至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：至少基于处理后的所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；相应的，所述响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域，包括：响应于确定所述待处理手部图像的质量合格，基于所述多个第二手掌关键点确定所述待处理手部图像的感兴趣区域。

由此，通过对第一手掌关键点进行处理，以获得更加准确的第二手掌关键点，从而能够提高图像质量判断的准确性，获得清晰的手部图像，进而提高后续身份识别的准确性。

在一个示例性实施例中，所述的方法中对所述多个第一手掌关键点进行处理包括：基于所述多个第一手掌关键点和/或手掌轮廓线，确定至少一个锚点，其中，所述多个第二手掌关键点包括所述多个第一手掌关键点和所述至少一个锚点。

由此，通过对多个第一手掌关键点和/或手掌轮廓线进行处理，能够生成更多数量的第二手掌关键点，以用于待处理手部图像的质量判断和待处理手部图像的感兴趣区域的确定。由于生成的关键点的数量越多，单个点对判断结果的影响越小，因此可以通过生成更多数量的关键点来减小不准确的点对判断结果的准确性的影响，进而能够提高质量判断结果的准确率。

根据一些实施例，所述多个第一手掌关键点包括至少一个第一预设标签的关键点，并且基于所述多个第一手掌关键点和/或手掌轮廓线，确定至少一个锚点包括：基于所述手掌轮廓线确定手掌的质心；以及针对所述至少一个第一预设标签的关键点中的每一个第一预设标签的关键点，将以该第一预设标签的关键点为起点并且经过所述质心的射线与所述手掌轮廓线的交点确定为所述锚点。其中，第一预设标签的关键点可以是预先确定的较为准确的关键点，并基于每一个预先确定的较为准确的关键点来确定其对应的锚点，以减少不准确的点对判断结果的准确性的影响。

图3示出了根据本发明实施例的待处理手部图像中所生成的锚点的示意图。如图3所示，点301和点302为第一预设标签的关键点，是可以预先确定的较为准确的关键点。根据手掌轮廓线上多个点计算出手掌质心，将第一预设标签的关键点301和质心的连线与手掌轮廓线(虚线所示)的交叉点作为锚点304，将第一预设标签的关键点302和质心的连线与手掌轮廓线的交叉点作为锚点303。由此，根据第一预设标签的关键点和手掌轮廓线通过几何关系生成锚点，以将检测出的多个第一手掌关键点和所生成锚点作为处理后的关键点并用于后续流程中的手掌对齐。可以理解的是，用于对齐的点数量越多，其中某个不准的点的影响越小。如果图3中的第一手掌关键点305不准确，在没有生成两个锚点的情况下，第一手掌关键点305不准确的影响会很大，通过预先确定较为准确的第一预设标签的关键点来生成更多的锚点，用于对齐的点就更多，不准的点的影响会减小。可以理解的是，由于常被袖口遮挡，点303和点304很难作为关键点被稳定、准确的检测到。

在一个示例性实施例中，所述待处理手部图像为手部视频中的当前视频帧，所述对所述多个第一手掌关键点进行处理包括：响应于确定所述多个第一手掌关键点的数量大于预设值，获取所述当前视频帧之前的至少一个在先视频帧中手掌的多个参考关键点；将所述当前视频帧中的所述多个第一手掌关键点和所述至少一个在先视频中的所述多个参考关键点均仿射变换至参考帧，以得到所述多个第一手掌关键点各自对应的第一变换点和每一在先视频帧中的所述多个参考关键点各自对应的第二变换点；针对每一第一变换点，响应于确定该第一变换点和所述至少一个在先视频帧中各自与该第一变换点对应的多个第二变换点之间的距离小于第一距离阈值，确定该第一变换点对应的第一手掌关键点为准确关键点；以及根据所述准确关键点，确定所述第二手掌关键点。由此，能够在第一手掌关键点的数量大于预设值时，将剔除冗余的第一手掌关键点，而只利用位置准确的第二手掌关键点对待处理手部图像进行质量判断和确定待处理手部图像的感兴趣区域，进而能够提高质量判断结果的准确性和后续身份识别的准确性。

示例性的，所述参考帧可以是当前视频帧之前的一个在先视频帧，例如是所述手部视频中的第1帧，所述预设值可以表示将多个视频帧进行仿射变换至参考帧并对齐各帧图像时所需的关键点数量。

在一个示例中，将手部视频中的第1帧图像定义为参考帧，将手部视频中的第2帧至当前视频帧(例如第5帧)上的关键点仿射变换至第1帧图像，以得到各帧的关键点在参考帧上对应的变换点，即第1帧至第4帧中的多个参考关键点所各自对应的第二变换点和当前视频帧(第5帧)上的多个第一手掌关键点各自对应的第一变换点。针对每一个第一变换点，比较该第一变换点在第1-4帧上对应的第二变换点与该第一变换点之间的距离。如果该第一变换点与第1-4帧所对应的第二变换点距离小于第一距离阈值，则说明该第一变换点所对应的第一手掌关键点的位置准确，可以将该第一手掌关键点确定为第二手掌关键点并用于后续流程。如果该第一变换点与第1-4帧所对应的第二变换点距离大于第一距离阈值，则说明该第一变换点所对应的第一手掌关键点的位置不准确，是冗余的。由此，能够在第一手掌关键点的数量大于预设值时，可以将剔除冗余的第一手掌关键点，而只利用位置准确的第二手掌关键点用于手掌对齐。

在一个示例性实施例中，所述待处理手部图像为手部视频中的当前视频帧，所述对所述多个第一手掌关键点进行处理包括：获取所述当前视频帧之前的至少一个在先视频帧中手掌的多个参考关键点；针对每一第一手掌关键点，基于该第一手掌关键点的位置以及所述至少一个在先视频帧中各自与该第一手掌关键点对应的至少一个参考关键点的位置，更新该第一手掌关键点的位置；将位置更新后的每一第一手掌关键点确定为所述第二手掌关键点。由于手掌关键点的检测位置可能不稳定或存在误差，通过至少一个在先视频帧中检测得到的第一关键点位置信息来更新并修正当前视频帧中检测得到的多个第一手掌关键点的位置，以得到多个第二手掌关键点，从而能够得到更稳定、准确的手掌关键点位置信息，并基于更新后的多个第二手掌关键点对手部图像进行质量判断，提高图像质量判断结果的准确性。

上述给出三个示例性实施例来描述如何对多个第一手掌关键点进行处理，以得到数量更多并且更加准确的多个第二手掌关键点。可以理解的，可以结合上述三个示例性实施例中的至少两者，以获得数量更多并且更加准确的第二手掌关键点，进一步提高图像质量判断的准确性。

根据一些实施例，至少基于处理后的所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：至少基于所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定质量指标；以及基于所述质量指标，确定所述待处理手部图像的质量是否合格，其中，所述质量指标包括以下至少一项：归一化信息度、手掌完整性、手掌倾斜角度和手掌移动速度。

所述多个第二手掌关键点由多个第一手掌关键点经处理得到，这一处理过程可减小不准确的关键点对判断结果的准确率的影响，并且还可以剔除冗余的关键点而只利用位置准确的关键点来判断图像质量是否合格。因此，基于多个第二手掌关键点所确定的质量指标的准确性也较高，从而能够避免因为质量指标的误差过大而导致排除了质量合格的图像或者未能成功排除质量不合格的图像等现象的发生。

可以理解的，所述质量指标也可以部分地或全部地由所述手部检测神经网络直接输出，并基于所述手部检测神经网络所输出的质量指标，确定所述待处理手部图像的质量是否合格。通过手部检测神经网络直接输出质量指标，节省了人工处理、计算的繁琐，可以提高图像的处理效率并及时排除质量不合格的手部图像，以提高后续基于手部图像进行身份识别的识别结果的准确性。

可以理解的，待处理手部图像的质量是否合格可以基于一个或多个质量指标来进行判断，以确保所述待处理手部图像的质量合格。

下面的实施例将示例性的对其中的几个指标的检测给出进一步的描述，但本公开的技术方案并不局限于实施例中所列出的质量指标来进行质量判断，也可以根据方法的具体应用场景来增加对图像其他属性的检测，例如手掌的变形检测，用于判断待处理手部图像的质量是否合格。

根据一些实施例，所述质量指标包括归一化信息度时，手掌的至少一个区域的信息度包括手掌区域内多个子区域的信息度，所述手掌区域是由手掌轮廓线和/或所述多个第二手掌关键点来确定的；其中，至少基于所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定质量指标包括：根据所述多个子区域的信息度计算所述手掌区域的整体信息度；以及由所述整体信息度除以手掌面积来得到所述归一化信息度。

手掌区域内每个子区域的信息度可以表示该子区域所包含的信息量，具体地，可以表示该子区域所包含的生物特征的清晰度和数量，例如掌静脉的清晰度和数量，掌纹清晰度和数量。

根据一些实施例，确定所述待处理手部图像的质量是否合格包括：确定所述归一化信息度是否大于信息度阈值。信息度阈值可以包括以下各项中的至少其中一个：用于表示掌静脉的清晰度的第一清晰度阈值、用于表示掌静脉数量的第一数量阈值、用于表示掌纹的清晰度的第二清晰度阈值、用于表示掌纹数量的第二数量阈值。

根据一些实施例，可以基于手掌轮廓线和/或多个第二手掌关键点确定手掌区域，并将所确定的手掌区域划分为多个子区域。示例性的，子区域的划分方式可以但不局限于将手掌区域划分为网格，例如是20×20的网格，其中每一个网格对应一个子区域。在这种情况下，确定质量指标可以包括：获取手部检测神经网络所预测并输出的每一个网格(即子区域)对应的信息度；根据多个子区域的信息度计算所述手掌区域的整体信息度；以及由所述整体信息度除以手掌区域的面积来得到所述归一化信息度。

图4示出了根据本公开示例性实施例的手部检测神经网络输出的手部图像的示意图，图4中的多个点401例如可以为各自相应的多个子区域的中心点，手部检测神经网络的输出还包括每一个点401的信息度(图中未示出)。在图4示意的示例中，仅示出信息度大于预设阈值的多个子区域的中心点401。可以理解的，图4和图3可以为同一手掌，仅是示意的角度不同。

根据一些实施例，所述质量指标包括手掌完整性时，至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定质量指标包括：响应于满足以下各项中的至少一项，确定所述待处理手部图像中的手掌完整：所述多个第二手掌关键点的数量不小于预设数值、所述多个第二手掌关键点包括第二预设标签的关键点、基于所述多个第二手掌关键点所确定的虚拟关键点位于所述待处理手部图像中、基于所述多个第二手掌关键点所确定的虚拟关键点在所述待处理手部图像所处的图像坐标系中的横坐标和/或纵坐标在预设坐标范围内、所述手掌轮廓线的下沿与所述待处理手部图像的下边缘之间的距离大于第二距离阈值，其中，所述多个第二手掌关键点包括食指的指根线的第一外端点和小指的指根线的第二外端点，所述虚拟关键点为以所述第一外端点和所述第二外端点为相邻顶点所确定的矩形的另外两个顶点，该矩形的长宽比满足第一比例并且所述矩形的另外两个顶点位于所述第一外端点和第二外端点的连线的靠近手掌的质心的一侧。由此，通过基于关键点的数量、是否包括特定关键点、虚拟关键点的位置、手掌的长宽比是否满足特定比例以及手掌轮廓线下沿与图像下边缘的距离是否大于特定距离，来判断图像中是否包括完整手掌，能够保证合格图像包括完整手掌。

示例性的，可以基于包含完整手掌的样本图像来确定上述第一比例。例如，在该样本图像中，手掌关键点包括食指的指根线的第一外端点和小指的指根线的第二外端点，以第一外端点和第二外端点为顶点作矩形，并且该矩形包括完整的手掌中间区域。可以基于该矩形的长宽比确定为上述第一比例，例如，该矩形的长宽比和上述第一比例之间的差值的绝对值可以小于预设误差阈值。

图4中示例性的示出了第二预设标签的关键点403和第二预设标签的关键点404的位置，第二预设标签的关键点是可以预先确定位置较为准确的关键点。示例性的，结合图3和图4所示，第二预设标签的关键点404和第一预设标签的关键点302可以为同一关键点。

参见图3所示，待处理手部图像的下边缘是指待处理手部图像的靠近手掌轮廓线的下沿(对应手掌的根部)的边缘。

可以理解的，手掌的多个第二关键点可以包括所有手指的指根线的两个端点，以及手掌和手腕连接线的两个端点。因此，可以根据手掌的多个第二关键点确定待处理手部图像中手掌区域的位置，并且能够根据关键点的数量和位置来判断手掌区域的完整性。

图4中还示例性地示出了多个第二手掌关键点402-1至402-5的位置。可以理解的是，所述手掌的多个第二手掌关键点可以包括图4中所示出的点402-1至402-5，也可以根据实际的应用场景和需要对关键点的数量和位置做出调整，本公开不仅仅是限定于图4中所示出的关键点数量及位置。

在一个示例中，所有手指根部的指节线的两个端点以及手掌与手腕连接线的两个端点等关键点的位置为手掌区域的确定提供了一定的适应性和兼容性。例如，可根据手掌的大小自适应的调节手掌区域的大小，基于关键点所确定的手掌区域可以根据目标对象实际的大小、形状进行自适应的调节，以获得不同大小、形状的手掌区域，进一步保证了在基于手部图像进行身份识别的过程中可以提取到完整的手掌特征。

可以理解的是，可以通过手掌关键点的数量和关键点之间的位置关系来确定手掌的完整性。不完整的手部图像会导致手掌特征的缺失，进而影响基于手部图像进行身份识别时识别结果的准确性，因此，在手部图像处理的过程中应及时排除手掌不完整的手部图像，保证用于后续身份识别的手部图像满足完整性的要求，并可以从中提取到完整的手掌特征，以提高识别结果的准确性。

根据一些实施例，所述质量指标包括手掌倾斜角度时，所述手掌倾斜角度为通过以下其中一种方式来获得：由所述手部检测神经网络来预测得到；基于所述多个第二手掌关键点之间的角度关系来获得；基于第一连线、第二连线的长度比例获得；以及基于所述多个第二手掌关键点和/或手掌轮廓线所确定的手掌区域的长宽比来获得；其中，所述第一连线为所述多个第二手掌关键点中第三预设标签的关键点和第四预设标签的关键点之间的连线，所述第二连线为所述多个第二手掌关键点中第五预设标签的关键点和第六预设标签的关键点之间的连线，并且所述第一连线和第二连线均能够表征手掌区域的长度或宽度。由此，通过手掌关键点的几何位置关系，来计算手掌的倾斜角度。

示例性的，第一连线和第二连线两者的长度可以大致均等于手掌区域的长度或宽度，在这种情况下，第一连线、第二连线的长度比例大致为1时，可以确定手掌不倾斜。

可以理解的，第一连线和第二连线中至少一者的长度也可以不等于手掌区域的长度或宽度，例如，可以为手掌区域的长度或宽度的1/2、1/3等，具体取决于所选定的第三预设标签的关键点、第四预设标签的关键点、第五预设标签的关键点和第六预设标签的关键点的位置。相应地，可以根据第一连线和第二连线各自相应的关键点的位置来设定用以确定手掌倾斜角度的判定条件。

图4示意的示例中，第三预设标签的关键点可以复用上述的第二预设标签的关键点404，第五预设标签的关键点可以复用上述的第二预设标签的关键点403，图4中还示出了第四预设标签的关键点402-5和第六预设标签的关键点402-4。由此，可以通过第三预设标签的关键点404和第四预设标签的关键点402-5之间的第一连线，与第五预设标签的关键点403和第六预设标签的关键点402-4之间的第二连线的长度比例来计算手掌的倾斜角度。在该示例中，第一连线的长度大致等于手掌区域的宽度，第二连线的长度大致等于手掌区域的宽度的1/3。在这种情况下，第一连线、第二连线的长度比例大致为3时，可以确定手掌不倾斜。

可以理解的，手掌的倾斜角度也可以通过其它方式获得，例如，可以由手部检测神经网络直接预测得到，这种方式可以节省人工处理、计算的繁琐，处理速度较快。

根据一些实施例，确定所述待处理手部图像的质量是否合格包括：确定所述倾斜角度是否小于预设角度。可以理解的是，手掌的过度倾斜可能会导致显示在手部图像中的手掌区域不完整，并且影响手掌识别的准确性。因此，只保留倾斜角度在一定范围内的手部图像，即倾斜角度在预设角度范围内的手部图像，有助于获得更完整的手掌区域，可以避免由于手掌过度倾斜造成识别错误或识别不稳定的问题。

上述内容中在对多个第一手掌关键点进行处理，得到处理后的多个第二手掌关键点之后，具体描述了如何基于多个第二手掌关键点和/或手掌的至少一个区域的信息度，确定待处理手部图像的质量是否合格。可以理解的，也可以直接基于多个第一手掌关键点和/或手掌的至少一个区域的信息度，确定待处理手部图像的质量是否合格。

也就是说，至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定质量指标；以及基于所述质量指标，确定所述待处理手部图像的质量是否合格，其中，所述质量指标包括以下至少一项：归一化信息度、手掌完整性、手掌倾斜角度和手掌移动速度。基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格的具体实现方案与基于多个第二手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格的方案类似，在此不再详述。

在实际应用中，可以根据实际需求替选地基于所检测到的多个第一手掌关键点和/或手掌的至少一个区域的信息度来确定所述质量指标，并基于所述质量指标来确定所述待处理手部图像的质量是否合格，而无需再处理所述多个第一手掌关键点来获取多个第二手掌关键点，以节省计算资源。

根据一些实施例，所述质量指标包括手掌移动速度时，确定所述待处理手部图像的质量指标还包括：基于所述手部视频中两个或者多个视频帧中的多个第一手掌关键点或多个第二手掌关键点，确定手掌的移动速度。

可以根据视频流中两个视频帧或者更多的视频帧中手掌的多个第一手掌关键点或多个第二手掌关键点的位置变化来确定手掌的移动速度，对于手掌移动速度过快的手部图像进行及时的排除，以确保质量合格的手部图像中手部图像的稳定性，进而保证了在基于手部图像进行身份识别的过程中识别结果的稳定性和准确性。

根据一些实施例，所述的方法还包括：确定所述待处理手部图像的曝光度是否满足预设条件，其中，将待处理手部图像输入手部检测神经网络为响应于确定所述待处理手部图像的曝光度满足预设条件而执行的。由此，只有在待处理手部图像的曝光合适的情况下，才进行进一步的图像质量判断，提高效率。

示例性的，可以基于手掌所在区域中亮度饱和区域占整个手掌所在区域的比例来确定待处理图像的曝光度是否满足预设条件，当亮度饱和区域的占比超过一定阈值时，可以认为该图像过曝。通过对各像素亮度的检测，及时排除过度曝光的图像，以避免过曝在基于手部图像进行身份识别时对特征识别产生影响。在一个示例中，确定所述待处理图像的曝光度是否满足预设条件还包括确定所述待处理图像的亮度过暗不满足预设条件而被排除。

图5示出了根据本发明实施例的手部图像的处理方法的流程图。如图5所示，将视频流中的当前帧图像输入手掌检测神经网络，获取手掌检测神经网络所输出的多个第一手掌关键点和手掌的多个区域的信息度信息(即信息度)。然后，结合视频流中位于当前帧图像之前的至少一个在先帧图像中的历史关键点信息和当前帧图像的关键点信息来更新当前帧图像的手掌关键点信息，以获得更稳定、准确并且数量更多的多个第二手掌关键点。之后，基于更新的多个第二手掌关键点，对当前帧图像做手掌的完整性和信息度判断。若当前帧图像通过了手掌关键点的检测、手掌完整性检测以及信息度检测，即，手掌完整、图像清晰，则对当前帧图像进行后续的比对流程。若当前帧图像未通过手掌关键点的检测、手掌完整性检测以及信息度检测中的一项或多项，则将视频流中的下一帧图像输入到手掌检测神经网络，重复以上的逻辑对下一帧图像进行图像处理流程。

根据一些实施例，所述待处理手部图像包括第一图像和/或第二图像，所述第一图像的感兴趣区域包括手掌中间区域，所述第二图像的感兴趣区域包括手掌中间区域、拇指和手腕之间的区域以及手指与手掌的交界区域；所述第一图像为在红外光下采集的，第二图像为在可见光下采集的。

也就是说，本公开实施例中的技术方案适用于对可见光图像和红外图像的质量判断，第一图像包含手掌的掌静脉特征，第二图像包含手掌的掌纹特征。通过对两个图像分别进行质量的判断，能够获得质量合格的可见光手部图像和红外手部图像，使得可见光手部图像和红外手部图像包括足够的清晰掌纹掌静脉特征，进而能够保证在第一图像和第二图像中分别提取到完整、清晰的掌静脉和掌纹特征，用于身份的识别，进而提高识别结果的准确性。

根据一些实施例，所述的方法还包括：分别基于第一图像和第二图像中的多个第一手掌关键点或多个第二手掌关键点，对第一图像和第二图像进行仿射变换，以将第一图像和第二图像分别对齐到预设模板上；分别对对齐的第一图像和对齐的第二图像进行感兴趣区域的截取。

示例性的，所述第一图像的感兴趣区域包括手掌中间区域，所述第二图像的感兴趣区域包括手掌中间区域、拇指和手腕之间的区域以及手指与手掌的交界区域。由此，根据不同特征的分布特点来确定不同的感兴趣区域，以确保能够在感兴趣区域中提取到完整的手掌特征。根据一个实施例，确定待处理手部图像的质量是否合格包括：确定所述第一图像的质量是否合格；以及确定所述第二图像的质量是否合格。

根据本公开的另一方面，还提供一种基于手部图像进行身份识别的方法。如图6所示，所述基于手部图像进行身份识别的方法600可以包括：步骤S601、利用前述手部图像的处理方法确定待处理手部图像的质量是否合格；步骤S602、响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定待处理手部图像的感兴趣区域；以及步骤S603、基于所述待处理手部图像进行身份识别。由此，经由上述手部图像的处理方法所得到的手部图像具备清晰、完整的手掌特征，并且可以基于神经网络所输出的多个手掌关键点确定多个感兴趣区域，并相应的提取手掌特征以进行身份的识别。

根据本公开的另一方面，还提供一种手部图像的处理装置，如图7所示，所述手部图像的处理装置700包括：获取模块701，被配置为将待处理手部图像输入手部检测神经网络，获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；第一确定模块702，被配置为至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及第二确定模块703，被配置为响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

手部图像的处理装置700的模块701-703的操作与前面描述的步骤S101-步骤S103的操作类似，在此不作赘述。

根据本公开的另一方面，还提供一种手部检测神经网络的训练装置，如图8所示，所述手部检测神经网络的训练装置800包括：第一获取模块801，被配置为获取手部样本图像中手掌的多个手掌真实关键点以及真实手掌轮廓线；划分模块802，被配置为基于所述多个手掌真实关键点将所述手部样本图像中的手掌划分为至少一个真实区域；第三确定模块803，被配置为确定所述多个真实区域中每一个真实区域的真实信息度；第二获取模块804，被配置为将所述手部样本图像输入手部检测神经网络的主干网络，所述主干网络的输出输入到所述信息检测子网络和手掌轮廓检测子网络，获取所述信息检测子网络所输出的所述手部样本图像中手掌的多个手掌预测关键点，以及手掌的至少一个预测区域的预测信息度，其中，所述至少一个预测区域基于所述多个手掌预测关键点，并且获取所述手掌轮廓检测子网络所输出的预测手掌轮廓线；计算模块805，被配置为基于所述多个手掌真实关键点、所述至少一个真实区域的真实信息度、所述多个手掌预测关键点和所述多个预测区域的预测信息度，计算第一损失值，并且基于所述真实手掌轮廓线和预测手掌轮廓线，计算第二损失值；以及调整模块806，被配置为基于所述第一损失值调整所述信息检测子网络的参数，基于所述第二损失值调整手掌轮廓检测子网络的参数，以及基于所述第一损失值和第二损失值调整所述主干网络的参数。由此，通过手部样本图像对信息检测子网络进行学习和训练并基于真实的手掌特征对信息检测子网络的参数进行调整，以得到对于待处理的手部图像能够输出手掌关键点和信息度等信息的信息检测子网络，并用于手部图像的快速有效的处理。

手掌检测神经网络的训练装置800的模块801-806的操作与前面描述的步骤S201-步骤S206的操作类似，在此不作赘述。

根据本公开的另一方面，还提供一种基于手部图像进行身份识别的装置，如图9所示，所述基于手部图像进行身份识别的装置900包括：第四确定模块901，被配置为利用前述手部图像的处理方法确定待处理手部图像的质量是否合格；第五确定模块902，被配置为响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定待处理手部图像的感兴趣区域；以及识别模块903，被配置为基于所述待处理手部图像进行身份识别。

基于手部图像进行身份识别的装置900的模块901-903与前面描述的步骤S601-步骤S603的操作类似，在此不作赘述。

根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。

根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

图10是示出根据本公开的示例性实施例的电子设备的示例的框图。要注意的是，图10所示出的结构仅是一个示例，根据具体的实现方式，本公开的电子设备可以仅包括图10所示出的组成部分中的一种或多个。

电子设备1000例如可以是通用计算机(例如膝上型计算机、平板计算机等等各种计算机)、移动电话、个人数字助理。根据一些实施例，电子设备1000可以是门禁设备或支付设备。

电子设备1000可被配置为拍摄图像，对所拍摄的图像进行处理，并且响应于所述处理所获得的数据而提供声音提示。例如，电子设备1000可被配置为拍摄图像，对该图像进行处理以基于处理结果进行身份识别，基于识别结果生成声音数据，并且输出声音数据提醒用户。

根据一些实施方式，所述电子设备1000可以被配置为包括门禁设备或支付设备或者被配置为能够可拆卸地安装到门禁设备或支付设备上。

电子设备1000可以包括摄像机1004，用于获取图像。摄像机1004可以包括但不限于摄像头或照相机等，被配置为获取包括待识别对象的初始图像。电子设备1000还可以包括电子电路1100，所述电子电路1100包括被配置为执行如前所述的方法的步骤(例如图1的流程图中所示的方法步骤)的电路。电子设备1000还可以包括声音合成电路1005，所述声音合成电路1005被配置为基于身份识别结果合成提示声音。所述声音合成电路1005例如可以通过专用芯片实现。电子设备1000还可以包括声音输出电路1006，所述声音输出电路1006被配置为输出所述声音数据。所述声音输出电路1006可以包括但不限于耳机、扬声器、或振动器等，及其相应驱动电路。

根据一些实施方式，所述电子设备1000还可以包括图像处理电路1007，所述图像处理电路1007可以包括被配置为对图像进行各种图像处理的电路。图像处理电路1007例如可以包括但不限于以下中的一个或多个：被配置为对图像进行降噪的电路、被配置为对图像进行去模糊化的电路、被配置为对图像进行几何校正的电路、被配置为对图像进行特征提取的电路、被配置为对图像中的对象进行对象检测和/或识别的电路，等等。

上述的各种电路(例如声音合成电路1005、声音输出电路1006、图像处理电路1007、电子电路1100中的一个或多个可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现。例如，上述的各种电路中的一个或多个可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。

根据一些实施方式，电子设备1000还可以包括通信电路1008，所述通信电路1008可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

根据一些实施方式，电子设备1000还可以包括输入设备1009，所述输入设备1009可以是能向电子设备1000输入信息的任何类型的设备，并且可以包括但不限于各种传感器、鼠标、键盘、触摸屏、按钮、控制杆、麦克风和/或遥控器等等。

根据一些实施方式，电子设备1000还可以包括输出设备1010，所述输出设备1010可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、视觉输出终端、振动器和/或打印机等。尽管电子设备1000根据一些实施例用于视障辅助设备，基于视觉的输出设备可以方便用户的家人或维修工作人员等从电子设备1000获得输出信息。

根据一些实施方式，电子设备1000还可以包括处理器1001。所述处理器1001可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。处理器1001例如可以是但不限于中央处理单元CPU或微处理器MPU等等。电子设备1000还可以包括工作存储器1008，所述工作存储器1002可以存储对处理器1001的工作有用的程序(包括指令)和/或数据(例如图像、文字、声音，以及其他中间数据等)的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。电子设备1000还可以包括存储设备1003，所述存储设备1003可以包括任何非暂时性存储设备，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。工作存储器1002和存储设备1003可以被集合地称为“存储器”，并且在有些情况下可以相互兼用。

根据一些实施方式，处理器1001可以对摄像机1004、声音合成电路1005、声音输出电路1006、图像处理电路1007、通信电路1008、电子电路1100以及电子设备1000包括的其他各种装置和电路中的至少一个进行控制和调度。根据一些实施方式，图10中所述的各个组成部分中的至少一些可通过总线1013而相互连接和/或通信。

软件要素(程序)可以位于所述工作存储器1002中，包括但不限于操作系统1002a、一个或多个应用程序1002b、驱动程序和/或其他数据和代码。

根据一些实施方式，用于进行前述的控制和调度的指令可以被包括在操作系统1002a或者一个或多个应用程序1002b中。

根据一些实施方式，执行本公开所述的方法步骤(例如图1的流程图中所示的方法步骤)的指令可以被包括在一个或多个应用程序1002b中，并且上述电子设备1000的各个模块可以通过由处理器1001读取和执行一个或多个应用程序1002b的指令来实现。换言之，电子设备1000可以包括处理器1001以及存储程序的存储器(例如工作存储器1002和/或存储设备1003)，所述程序包括指令，所述指令在由所述处理器1001执行时使所述处理器1001执行如本公开各种实施例所述的方法。

根据一些实施方式，声音合成电路1005、声音输出电路1006、图像处理电路1007、通信电路1009、电子电路1100中的至少一个所执行的操作中的一部分或者全部可以由处理器1001读取和执行一个或多个应用程序1002的指令来实现。

软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如所述存储设备1003)中，并且在执行时可以被存入工作存储器1001中(可能被编译和/或安装)。因此，本公开提供存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备(例如视障辅助设备)的处理器执行时，致使所述电子设备执行如本公开各种实施例所述的方法。根据另一种实施方式，软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。

还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现各个电路、单元、模块或者元件。例如，所公开的方法和设备所包含的电路、单元、模块或者元件中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。

根据一些实施方式，电子设备1000中的处理器1001可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。电子设备1001的其他模块也可以类似地分布。这样，电子设备1000可以被解释为在多个位置执行处理的分布式计算系统。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (17)

1.一种手部图像的处理方法，包括：

将待处理手部图像输入手部检测神经网络，获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；

至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及

响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

2.根据权利要求1所述的方法，所述方法还包括：

对所述多个第一手掌关键点进行处理，得到处理后的多个第二手掌关键点；

其中，所述至少一个区域为基于所述多个第二手掌关键点和/或手掌轮廓线来确定的，并且至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：

至少基于处理后的所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；

其中，所述响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域，包括：

响应于确定所述待处理手部图像的质量合格，基于所述多个第二手掌关键点确定所述待处理手部图像的感兴趣区域。

3.根据权利要求2所述的方法，其中，所述对所述多个第一手掌关键点进行处理包括：

基于所述多个第一手掌关键点和/或手掌轮廓线，确定至少一个锚点，其中，所述多个第二手掌关键点包括所述多个第一手掌关键点和所述至少一个锚点。

4.根据权利要求3所述的方法，其中，所述多个第一手掌关键点包括至少一个第一预设标签的关键点，并且基于所述多个第一手掌关键点和/或手掌轮廓线，确定至少一个锚点包括：

基于所述手掌轮廓线确定手掌的质心；以及

针对所述至少一个第一预设标签的关键点中的每一个第一预设标签的关键点，将以该第一预设标签的关键点为起点并且经过所述质心的射线与所述手掌轮廓线的交点确定为所述锚点。

5.根据权利要求2项所述的方法，其中，所述待处理手部图像为手部视频中的当前视频帧，所述对所述多个第一手掌关键点进行处理包括：

响应于确定所述多个第一手掌关键点的数量大于预设值，获取所述当前视频帧之前的至少一个在先视频帧中手掌的多个参考关键点；

将所述当前视频帧中的所述多个第一手掌关键点和所述至少一个在先视频中的所述多个参考关键点均仿射变换至参考帧，以得到所述多个第一手掌关键点各自对应的第一变换点和每一在先视频帧中的所述多个参考关键点各自对应的第二变换点；

针对每一第一变换点，响应于确定该第一变换点和所述至少一个在先视频帧中各自与该第一变换点对应的多个第二变换点之间的距离小于第一距离阈值，确定该第一变换点对应的第一手掌关键点为准确关键点；以及

根据所述准确关键点，确定所述第二手掌关键点。

6.根据权利要求2所述的方法，其中，所述待处理手部图像为手部视频中的当前视频帧，所述对所述多个第一手掌关键点进行处理包括：

获取所述当前视频帧之前的至少一个在先视频帧中手掌的多个参考关键点；

针对每一第一手掌关键点，基于该第一手掌关键点的位置以及所述至少一个在先视频帧中各自与该第一手掌关键点对应的至少一个参考关键点的位置，更新该第一手掌关键点的位置；

将位置更新后的每一第一手掌关键点确定为所述第二手掌关键点。

7.根据权利要求2-6中任一项所述的方法，其中，至少基于处理后的所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：

至少基于所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定质量指标；以及

基于所述质量指标，确定所述待处理手部图像的质量是否合格，

其中，所述质量指标包括以下至少一项：归一化信息度、手掌完整性、手掌倾斜角度和手掌移动速度。

8.根据权利要求7所述的方法，其中，所述质量指标包括归一化信息度时，手掌的至少一个区域的信息度包括手掌区域内多个子区域的信息度，所述手掌区域是由手掌轮廓线和/或所述多个第二手掌关键点来确定的；

其中，至少基于所述多个第二手掌关键点和/或所述至少一个区域的信息度，确定质量指标包括：

根据所述多个子区域的信息度计算所述手掌区域的整体信息度；以及

由所述整体信息度除以手掌面积来得到所述归一化信息度。

9.根据权利要求7或8所述的方法，其中，所述质量指标包括手掌完整性时，至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定质量指标包括：

响应于满足以下各项中的至少一项，确定所述待处理手部图像中的手掌完整：

所述多个第二手掌关键点的数量不小于预设数值、所述多个第二手掌关键点包括第二预设标签的关键点、基于所述多个第二手掌关键点所确定的虚拟关键点位于所述待处理手部图像中、所述手掌轮廓线的下沿与所述待处理手部图像的下边缘之间的距离大于第二距离阈值，

其中，所述多个第二手掌关键点包括食指的指根线的第一外端点和小指的指根线的第二外端点，所述虚拟关键点为以所述第一外端点和所述第二外端点为顶点所确定的矩形的另外两个顶点，该矩形的长宽比满足第一比例并且所述矩形的另外两个顶点位于所述第一外端点和第二外端点的连线的靠近手掌的质心的一侧。

10.根据权利要求7-9任一项所述的方法，其中，所述质量指标包括手掌倾斜角度时，所述手掌倾斜角度为通过以下其中一种方式来获得：

由所述手部检测神经网络来预测得到；

基于所述多个第二手掌关键点之间的角度关系来获得；

基于第一连线、第二连线的长度比例获得；以及

基于所述多个第二手掌关键点和/或手掌轮廓线所确定的手掌区域的长宽比来获得；

其中，所述第一连线为所述多个第二手掌关键点中第三预设标签的关键点和第四预设标签的关键点之间的连线，所述第二连线为所述多个第二手掌关键点中第五预设标签的关键点和第六预设标签的关键点之间的连线，并且所述第一连线和第二连线均能够表征手掌区域的长度或宽度。

11.根据权利要求1所述的方法，其中，至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格，包括：

至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定质量指标；以及

基于所述质量指标，确定所述待处理手部图像的质量是否合格，

其中，所述质量指标包括以下至少一项：归一化信息度、手掌完整性、手掌倾斜角度和手掌移动速度。

12.根据权利要求1-11中任一项所述的方法，其中，所述待处理手部图像包括第一图像和/或第二图像，所述第一图像的感兴趣区域包括手掌中间区域，所述第二图像的感兴趣区域包括手掌中间区域、拇指和手腕之间的区域以及手指与手掌的交界区域；所述第一图像为在红外光下采集的，第二图像为在可见光下采集的。

13.如权利要求1-12任一项所述的方法，其中，所述手部检测神经网络包括主干网络、信息检测子网络、手掌轮廓检测子网络和手指轮廓检测子网络，所述待处理手部图像输入所述主干网络，所述主干网络的输出分别输入所述信息检测子网络、所述手掌轮廓检测子网络和所述手指轮廓检测子网络，所述信息检测子网络输出手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，

并且所述检测结果还包括所述手掌轮廓检测子网络所输出的手掌轮廓线和所述手指轮廓检测子网络所输出的手指轮廓线。

14.一种手部图像的处理装置，包括：

获取模块，被配置为将待处理手部图像输入手部检测神经网络，并获取所述手部检测神经网络所输出的检测结果，所述检测结果包括所述待处理手部图像中手掌的多个第一手掌关键点以及手掌的至少一个区域的信息度，其中，所述至少一个区域为基于所述多个第一手掌关键点和/或手掌轮廓线来确定的；

第一确定模块，被配置为至少基于所述多个第一手掌关键点和/或所述至少一个区域的信息度，确定所述待处理手部图像的质量是否合格；以及

第二确定模块，被配置为响应于确定所述待处理手部图像的质量合格，基于所述多个第一手掌关键点确定所述待处理手部图像的感兴趣区域。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-13中任一项所述的方法。

Images