CN111104813A - 二维码图像关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种二维码图像关键点检测方法、装置、电子设备及存储介质。二维码图像关键点检测方法包括：对于待检测的包含二维码的图像，将该图像输入已训练的关键点检测模型；根据所述关键点检测模型输出的检测结果，得到所述图像中二维码的关键点坐标；由于本公开采用的关键点检测模型的训练图像样本中包含由对包含二维码的原始图像进行裁剪、扩充、旋转得到的至少两种图像样本。由这些训练图像样本训练得到的关键点检测模型，能够有效识别不同尺寸、不同图像质量和/或不同拍摄角度的二维码的关键点。本公开提供的技术方案能够准确识别出图像中二维码的关键点的坐标，检测准确性高。

Description

二维码图像关键点检测方法、装置、电子设备及存储介质

技术领域

本公开涉及图像识别技术领域，尤其涉及二维码图像关键点检测方法、装置、电子设备及存储介质。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。例如，基于图像进行人脸识别、二维码识别等。

以二维码识别为例，二维码是生活中常见的一种编码形式，被广泛地用于移动支付、信息获取、用户校验等场景中。二维码由布置在正方形网格中的黑色方块组成，并根据不同的排布方式编码不同的内容。在基于图像进行二维码识别过程中，传统方法先通过将包含二维码的图像二值化，再找到图像中二维码的多个关键点，基于多个关键点的坐标实现该二维码的透视变换，进而识别二维码信息。

然而，传统图像识别方法对于待识别的图像的质量要求较高，当图像内容较为复杂，或者针对图像中二维码的拍摄角度较偏，或者图像中二维码被污染等情况时，该方法容易出现二维码的关键点误识别，进而导致透视变换无法有效进行，影响图像中二维码信息的有效识别。

发明内容

本公开提供一种二维码图像关键点检测方法、装置、电子设备及存储介质，以至少解决相关技术中二维码图像中关键点检测不准确的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种二维码图像关键点检测方法，包括：

获取待检测的图像；所述图像中包含二维码；

将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点；

根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息；

其中，所述关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

在其中一个实施例中，所述关键点检测模型具体用于，

对输入的所述图像进行特征提取，得到所述图像的特征图；

根据所述特征图得到用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息。

在其中一个实施例中，所述关键点检测模型包括特征提取模块和关键点预测模块；所述特征提取模块中包括多个深度可分离卷积层；

所述特征提取模块，用于通过所述多个深度可分离卷积层对输入的所述图像进行特征提取，得到所述图像对应的多个特征图；

所述关键点预测模块，用于根据所述多个深度可分离卷积层中的目标深度可分离卷积层输出的特征图，确定用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息；

其中，所述目标深度可分离卷积层的数量小于所述多个深度可分离卷积层的数量。

在其中一个实施例中，所述关键点检测模型的训练步骤包括：

获取包含二维码的原始图像；

对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建所述训练图像样本；

获取所述训练图像样本中二维码的关键点的已知坐标信息；

根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；

当所述待训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度满足设定条件时，结束训练。

在其中一个实施例中，所述获取所述训练图像样本中二维码的关键点的已知坐标信息之前，还包括：

对所述训练图像样本进行缩放，以得到设定大小的训练图像样本；

和/或，

检测所述二维码在所述训练图像样本中的图像占比；将所述图像占比低于设定阈值的训练图像样本删除。

在其中一个实施例中，所述关键点包括二维码的三个定位符和一个校验符。

在其中一个实施例中，在得到所述图像中二维码的关键点的坐标信息之后，还包括：

根据所述关键点的坐标信息，实现二维码的透视变换；

根据所述透视变换的结果，识别所述图像中的二维码。

根据本公开第二方面，提供一种二维码图像关键点检测装置，包括：

图像获取单元，被配置为执行获取待检测的图像；所述图像中包含二维码；

模型调用单元，被配置为执行将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点；

关键点识别单元，被配置为执行根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息；

其中，所述关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

在其中一个实施例中，所述关键点检测模型具体用于，

对输入的所述图像进行特征提取，得到所述图像的特征图；根据所述特征图得到用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息。

在其中一个实施例中，所述关键点检测模型包括特征提取模块和关键点预测模块；所述特征提取模块中包括多个深度可分离卷积层；

所述特征提取模块，用于通过所述多个深度可分离卷积层对输入的所述图像进行特征提取，得到所述图像对应的多个特征图；

所述关键点预测模块，用于根据所述多个深度可分离卷积层中的目标深度可分离卷积层输出的特征图，确定用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息；

其中，所述目标深度可分离卷积层的数量小于所述多个深度可分离卷积层的数量。

在其中一个实施例中，所述的二维码图像关键点检测装置，还包括：

样本获取单元，被配置为执行获取包含二维码的原始图像；对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建所述训练图像样本；以及，获取所述训练图像样本中二维码的关键点的已知坐标信息；

模型训练单元，被配置为执行根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；当所述待训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度满足设定条件时，结束训练。

在其中一个实施例中，所述的二维码图像关键点检测装置，还包括图像处理单元；

所述图像处理单元，被配置为执行在获取所述训练图像样本中二维码的关键点的已知坐标信息之前，对所述训练图像样本进行缩放，以得到设定大小的训练图像样本；

和/或，被配置为执行检测所述二维码在所述训练图像样本中的图像占比；将所述图像占比低于设定阈值的训练图像样本删除。

在其中一个实施例中，所述关键点包括二维码的三个定位符和一个校验符。

在其中一个实施例中，所述的二维码图像关键点检测装置，还包括：

透视变换单元，被配置为执行根据所述关键点的坐标信息，实现二维码的透视变换；

二维码识别单元，被配置为执行根据所述透视变换的结果，识别所述图像中的二维码。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一方面所述的方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由二维码图像关键点检测电子设备的处理器执行时，使得二维码图像关键点检测电子设备能够执行如上述任一方面所述的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被计算机运行时，使得所述计算机执行上述任一方面所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

对于待检测的二维码图像，将其输入通过特定方式训练的关键点检测模型；根据所述关键点检测模型输出的检测结果，得到所述图像中二维码的关键点坐标；由于本公开采用的关键点检测模型采用的训练图像样本中，包含由对包含二维码的原始图像进行裁剪、扩充、旋转得到的至少两种图像样本，由这些训练图像样本训练得到的关键点检测模型，能够有效识别不同尺寸、不同图像质量和/或不同拍摄角度的二维码的关键点。因此，采用本公开的关键点检测模型对待检测的图像中二维码的关键点进行检测时，能够准确识别出图像中二维码的关键点的坐标信息，特别是针对尺寸不一、图像质量较差和/或拍摄角度较偏的二维码图像，通过本公开实施例提供的技术方案，能够显著提高关键点检测准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种二维码图像关键点检测方法的应用环境图。

图2是根据一示例性实施例示出的二维码的关键点的示意图。

图3是根据一示例性实施例示出的一种二维码图像关键点检测方法的流程图。

图4是根据一示例性实施例示出的深度可分离卷积层的结构图。

图5是根据一示例性实施例示出的关键点预测模块预测二维码关键点坐标的流程图。

图6是根据一示例性实施例示出的一种关键点检测模型训练的流程图。

图7是根据一示例性实施例示出的样本图像预处理的示意性效果图。

图8是根据一示例性实施例示出的一种二维码图像识别方法的流程图。

图9是根据一示例性实施例示出的一种二维码图像关键点检测装置的框图。

图10是根据一示例性实施例示出的一种二维码图像识别装置的框图。

图11是根据一示例性实施例示出的一种关键点检测模型的训练装置的框图。

图12是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种二维码图像关键点检测方法的应用环境图。参照图1，该应用环境图包括电子设备100。该电子设备100是具有二维码图像关键点检测功能，该电子设备100可以是智能手机、平板电脑或个人计算机等等。图1中以电子设备100是智能手机为例进行说明。电子设备100获取用户选择的待检测图像，如图A，待检测图像中包含有目标对象，例如二维码。电子设备100可以基于预设的关键点检测模型，预测得到图像中二维码的关键点的坐标信息，如图2中的二维码为由布置在白色背景上的正方形网格中的黑色方块组成的编码，其中关键点的坐标信息包括定位符10的坐标信息和校验符20的坐标信息。

需要说明的是，本公开实施例的二维码图像关键点检测方法，可以针对电子设备中保存的图像进行关键点检测，还可以应用在扫码识别场景、长按识别场景等，具体本公开不做限定。

图3是根据一示例性实施例示出的一种二维码图像关键点检测方法的流程图，如图3所示，该二维码检测方法用于如图1所示的电子设备中，包括以下步骤。

在步骤S101中，获取待检测的图像；所述图像中包含二维码。

本公开实施例中，待检测的图像可以是电子设备中保存的图像，也可以电子设备当前扫描或者拍摄得到的图像。

其中，二维码可以根据不同的排布方式编码不同的内容，比如点状二维码、环状二维码和辐射状二维码等；在实际场景中，二维码可以是微信公众号二维码、自助点单二维码、收款二维码等。对应地，待检测图像是指包含有二维码的图片，比如包含有微信公众号二维码的图片、包含有自助点单二维码的图片、包含有收款二维码的图片等。此外，二维码可以为不带用户头像标识的二维码，或者带有用户头像标识的二维码。

示例性地，在对电子设备本地图像场景中，电子设备打开显示本地保存的二维码图像,或者接收好友发送的二维码图像，通过电子设备的图像编辑选项启动二维码关键点检测功能，将当前显示的图像作为待检测的图像。

示例性地，在扫码识别场景中，比如扫描包含有微信公众号二维码的图片的场景中，用户打开电子设备的二维码检测功能，对图片中的二维码进行扫描；即电子设备通过摄像设备实时采集取景框内显示的图像，并将取景框内显示的图像作为待检测图像。

示例性地，在长按识别场景中，用户通过长按电子设备显示的包含有二维码的图片，触发电子设备对图片中的二维码进行识别；在此场景下，将电子设备显示的包含有二维码的图片，作为待检测图像。

在步骤S102中，将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点。

其中，二维码的关键点可以理解为，用于唯一识别各个二维码的点，或者是表征同一类型的二维码的共性的点。例如，人脸的关键点包括为人脸中五官以及五官相对位置/比例的点；二维码的关键点包括三个定位符和一个校验符，具体参见图2。

其中，已训练的关键点检测模型可以是一种能够有效地预测出图像中二维码的关键点及其坐标信息的神经网络模型，例如深度可分离卷积网络模型，根据实际情况，还可以选用其他类型的网络模型。

本公开实施例中，采用的关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。由于采用的训练图像样本经过特定的处理，涵盖了多种复杂的情况，因此通过这些训练图像样本得到的已训练的关键点检测模型，对图像中二维码的关键点的识别精度更高，容错性更好。

在步骤S103中，根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息。

其中，图像中二维码的关键点的坐标信息，可以为关键点在图像中的位置坐标，也可以为关键点相对于二维码所在区域的相对位置坐标，可以根据具体应用场景选择。

例如，对于二维码图像，根据所述关键点检测模型针对所述图像输出的识别结果，可以得到的二维码定位符在图像中的位置坐标，以及二维码校验符在图像中的位置坐标。根据定位符和校验符在图像中的位置坐标，可以确定出图像中的二维码所在区域。

基于本公开上述实施例，对于待检测的图像，将该图像输入通过特定方式训练得到的关键点检测模型；根据所述关键点检测模型输出的检测结果，得到所述图像中二维码的关键点坐标；由于本公开采用的关键点检测模型的训练图像样本中包含由对包含二维码的原始图像进行裁剪、扩充、旋转得到的至少两种图像样本。由于采用的训练图像样本经过特定的处理，涵盖了多种复杂的情况，因此由这些训练图像样本训练得到的关键点检测模型，能够有效识别不同尺寸、不同图像质量和/或不同拍摄角度的二维码的关键点。因此，采用本公开的关键点检测模型对待检测的图像中二维码的关键点进行检测时，能够准确识别出图像中二维码的关键点的坐标信息，特别是针对尺寸不一、图像质量较差和/或拍摄角度较偏的图像，通过本公开实施例提供的技术方案，能够显著提高关键点检测准确性。

本公开一个实施例中，所述关键点检测模型具体用于，对输入的图像进行特征提取，得到所述图像的特征图；以及，根据所述特征图得到用于标记二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标，根据三个维度的预测结果输出所述图像中二维码的关键点的坐标信息。

若从功能上划分，关键点检测模型可以包括特征提取模块和关键点预测模块；其中，所述特征提取模块，用于对输入的图像进行特征提取，得到所述图像的特征图；所述关键点预测模块，用于根据所述特征图得到用于标记二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标，根据三个维度的预测结果输出所述图像中二维码的关键点的坐标信息。

在一个具体实施例中，二维码关键点包括二维码的三个定位符和一个校验符，参见图4所示，对应的关键点检测模型采用深度可分离卷积网络模型，比如MobileNet-V1模型，并对其进行调整。该模型可以分为两个功能模块，一是特征提取模块，二是关键点预测模块，下面分别展开说明。

(一)特征提取模块，用于对输入的所述图像进行特征提取，得到所述图像对应的多个特征图。特征提取模块可以采用类似MobileNet-V1的结构，但与普通MobileNet-V1的结构不同之处包括，对特征通道数进行了压缩。通过压缩特征通道数，可控制特征提取模块对输入的二维码图像进行特征提取所需要的模型参数和计算量。各层的输入输出关系如表1所示。

表1

其中，针对Conv1深度可分离卷积层，输入尺寸128×128×16中的128×128表示输入的特征图的大小，16表示输入通道数目；输出尺寸64×64×32中的64×64表示输出的特征图的大小，32表示输出通道数目；其他深度可分离卷积层的输入输出关系也是参照上述解释，具体不再赘述。表1中每个深度可分离卷积层(Conv0～Conv17)中都可以包括深度卷积以及点卷积，此外每个深度可分离卷积层的操作还包含了批量归一化操作(BatchNormalization)与ReLU激活操作，通过深度可分离卷积层，在特征图提取效果相当的情况下，可以大大减少计算量和模型参数量。

示例性地，特征提取模型对输入图像进行一次深度卷积操作，并对深度卷积操作后的特征图进行归一化操作以及激活操作；对归一化操作以及激活操作的特征图进行一次点卷积操作，并对点卷积操作后的特征图进行归一化操作以及激活操作，以实现对输入图像进行一次深度可分离卷积操作；以此类推，可以对输入图像进行多次深度可分离卷积操作，从而得到输入图像对应的多个特征图。

例如，结合表1和图4所示，针对Conv1深度可分离卷积层，特征提取模型采用16个大小为3×3的卷积核与对应输入通道的特征图进行深度卷积操作，得到16个特征图，其中3×3的卷积核的作用可以理解为，将3×3区域的特征提取到1×1的区域中，也就是通过该卷积核得到的结果中一个像素能够反映出3×3区域的特征，由此实现了对输入的特征图的滤波效果；对深度卷积操作后的特征图进行归一化操作以及ReLU激活操作，得到16个归一化操作以及ReLU激活操作后的特征图；采用32个大小为1×1的卷积核分别对16个归一化操作以及ReLU激活操作后的特征图进行点卷积操作，得到32个特征图；对点卷积操作后的特征图进行归一化操作以及ReLU激活操作，得到32个归一化操作以及ReLU激活操作后的特征图。可选地，表1中每个深度可分离卷积层(Conv0～Conv17)均可采用图3所示的结构。一般地，卷积核越小，所需要的参数和计算量越小，因此基于本公开上述实施例的深度可分离卷积层，深度卷积操作的卷积核大小为3×3，并通过点卷积融合不同通道的特征信息，能够有效节约对输入图像进行深度可分离卷积操作所需要的参数和计算量。

(二)关键点预测模块，用于根据特征提取模块提取到的特征图，预测所述图像中二维码的关键点的坐标信息。具体可以用于根据特征提取模块的多个深度可分离卷积层中的目标深度可分离卷积层输出的特征图，确定用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息。

在一可选实施方式，如图5所示，关键点预测模块在识别图像中二维码的关键点的位置坐标时，具体包括以下步骤：

步骤S401，从特征提取模块的多个深度可分离卷积层输出的特征图中，筛选出目标特征图。

可选地，如上述实施例所述，特征提取模块包括多个深度可分离卷积层，每个深度可分离卷积层均可得到输入图像对应的特征图；关键点预测模块从这些特征图中，筛选出靠后的深度可分离卷积层输出的特征图，作为目标特征图。具体可以包括,针对输入的所述图像，根据所述多个深度可分离卷积层中至少两个目标深度可分离卷积层输出的特征图，得到所述图像的目标特征图；其中，所述目标深度可分离卷积层对应的感受野大于设定的感受野阈值，所述目标深度可分离卷积层的数量小于所述多个深度可分离卷积层的数量。

例如，参考上述表1的特征提取模块，将其中的Conv7、Conv9、Conv11、Conv13、Conv14、Conv15、Conv16、Conv17这8个深度可分离卷积层作为目标深度可分离卷积层，根据这8个目标深度可分离卷积层输出的特征图得到目标特征图。需要说明的是，Conv7、Conv9这2个深度可分离卷积层输出的特征图称为浅层特征图。在深度神经网络中，越往后的深度可分离卷积层输出的特征图的非线性越强，语义信息越高级，Conv7之前的层对应的感受野太小，舍弃对于二维码的关键点检测的影响较小。在卷积神经网络中，感受野的定义是卷积层输出的特征图上的像素点在原始图像上映射的区域大小。

步骤S402，根据步骤S401得到的目标特征图，预测用于标记二维码所在区域的检测框。

示例性地，可以预先在各个目标深度可分类卷积层中，生成指定大小的检测框，作为用于标记二维码所在区域的检测框。例如，参考上述表1的特征提取模块，Conv7、Conv9、Conv11、Conv13、Conv14、Conv15、Conv16、Conv17这8个深度可分离卷积层都设置有对应的锚点(也称为检测框)，最小尺度为0.1，最大尺度为0.8。比如，本公开针对Conv7、Conv9这2个深度可分离卷积层输出的浅层特征图，同时引入了两个小尺度的锚点；这样，有利于准确确定待检测图像中二维码的位置，同时提高了对小尺度的二维码的检测效果。需要说明的是，选取0.1与0.8主要是考虑到二维码占全图的范围，大致在0.1～0.8之间。

步骤S403，对目标特征图进行第一全连接处理，得到所述检测框内包含二维码的置信度；对目标特征图进行第二全连接处理，得到所述检测框的坐标；对目标特征图进行第三全连接处理，得到所述检测框内关键点的坐标。

其中，若二维码为矩形二维码，那么检测框可以是矩形框，检测框的坐标可以为矩形的四个顶点的坐标；类似地，关键点也可以用矩形框表示，例如图2所示的，关键点的坐标可以为矩形的四个顶点的坐标。相应地，关键点预测模块对目标特征图进行第一全连接处理、第二全连接处理和第三全连接处理，得到检测框内包含二维码的置信度、检测框的坐标与对应的二维码的定位符与校验符的坐标。

本公开实施例提供的关键点预测模块，结合检测框，对目标特征图进行三次全连接处理，得到检测框内包含二维码的置信度、检测框的坐标与对应的二维码的定位符与校验符的坐标；方便准确确定图像中二维码的关键点的位置信息，提高了图像中二维码的关键点检测的准确度。

至此，通过上述实施例的关键点检测模型，包括特征提取模块和关键点预测模块，特征提取模块通过深度可分离卷积层提取待检测二维码图像的特征图，既能够有效提取特征图，为后续关键点识别提供基础，又有利于减少模型参数量和计算量；并且，关键点预测模块对于多个深度可分离卷积层输出的待检测二维码图像的多个特征图，筛选其中一部分而非全部作为目标特征图，基于目标特征图进行二维码关键点的预测，进一步地减少计算量。因此通过本公开的关键点检测模型对二维码图像中关键点进行检测时，既能够有效检测二维码关键点，还可以大大减少运算量，提高二维码关键点检测效率。

并且，本公开的二维码图像关键点检测方法，通过特定图像样本对关键点检测模型进行训练，基于该关键点检测模型对待检测二维码图像中的关键点进行检测，相比于传统二维码关键点检测方法，在二维码图像不规范的情况下，也能准确检测图像中二维码的定位符与校验符，并且基于关键点检测模型中特征提取模块的结构特征和关键点预测模块的逻辑特征，减小了模型参数量和计算量，使得检测效果高。而对于其他不同的场景，例如人脸检测、人体骨骼检测等，关键点的类型、布局和数量等方面均存在差异，不同场景对关键点检测模型的结构和性能有着不同的要求，因此，本公开的用于二维码图像的关键点检测模型，无论结构、关键点检测逻辑和训练方式均不同于其他场景中适用的关键点检测模型，因此在其他场景中适用的关键点检测模型，也无法直接应用到本公开的二维码关键点检测的场景中并实现类似的技术效果。

参见图6所示，本公开的一个实施例中，所述关键点检测模型的训练步骤包括：

步骤S501，获取包含二维码的原始图像；对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建训练图像样本；

在一示例实施例中，训练图像样本可以通过如下步骤获取到：

首先，采集多个包含有二维码的原始图像样本。可基于大数据技术，获取网络上包含有二维码的图像，作为原始图像样本。

其次，对原始图像样本进行预处理，得到预处理后的图像样本；预处理包括剪切、扩充、旋转中的至少两项处理。

示例性地，参考图7，图7(a)为包含二维码的原始图像样本，以随机比例裁剪(Crop)出包含有二维码的正方形区域，得到第一图像样本如图7(b)所示；以随机比例将原始图像样本扩充(Pad)为正方形，得到第二图像样本如图7(c)所示；对原始图像样本进行旋转操作，得到包含有更多角度信息的二维码的图像，并裁剪或者扩充为包含有二维码的正方形区域，得到第三图像样本如图7(d)所示。

需要说明的是，训练图像样本可以是正方形，也可以根据二维码的实际情况，设置为其他形状的训练图像样本，对于训练图像样本的形状不作限定。此外，除上述预处理之外，还可以对原始图像样本进行其他方式的预处理，比如去除噪声、增强对比度等，以提高训练图像样本的质量。

步骤S502，获取各个训练图像样本中二维码的关键点的已知坐标信息；

本公开一个实施例中，在上述步骤S501之后，步骤502之前，还可以对所述训练图像样本进行缩放，以得到设定大小的训练图像样本；和/或，检测所述二维码在所述训练图像样本中的图像占比；将所述图像占比低于设定阈值的训练图像样本删除。

示例性地，对所述训练图像样本进行缩放，得到256×256像素的训练图像样本；在本步骤获取各个训练图像样本中二维码的关键点的已知坐标信息之后，还可以将训练图像样本中二维码的关键点的已知坐标进行归一化处理，比如将二维码的关键点的已知坐标(x,y)分别除以256，得到训练图像样本中二维码的关键点的归一化坐标。这样，可以使得关键点检测模型的训练数据更加丰富。

示例性地，继续以二维码二维码图像关键点检测为例，可基于利用ZXing、ZBar等现有算法的自动检测方式或者人工标注方式，对预处理得到的训练图像样本中的二维码的关键点的位置进行标注。具体例如，分别对预处理得到的训练图像样本中的二维码的定位符和校验符的位置进行标注。

示例性地，若某一个训练图像样本中，二维码所占的图像占比小于16×16像素，可以将该训练图像样本删除，不参与到关键点检测模型的训练，通过调节该阈值，可以调节关键点检测模型能够检测到的二维码的最小大小。

步骤S503，根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；

示例性地，模型训练可以借助Caffe、TensorFlow等深度学习框架完成。模型训练的优化器可以采用Momentum优化器，初始学习率设置为0.1，学习率的下降采用Cosine衰减的策略。模型训练的Batch大小设置为1024，Epoch大小设置为100。模型通过反向传播进行参数更新，当学习率下降为0时，得到训练好的关键点检测模型。

步骤S504，当所述待训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度满足设定条件时，结束训练。

示例性地，模型识别精度可以用模型训练的损失函数表示，具体包括：

对于所述检测框内包含二维码的置信度的预测损失，对应的第一损失函数可以为交叉熵损失函数；对于所述检测框的坐标的预测损失，对应的第二损失函数可以为Smooth_L1损失函数；对于二维码的定位符与校验符的坐标的预测损失，对应的第三损失函数可以为Smooth_L1损失函数。训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度，可以通过第一损失函数、第二损失函数和第三损失函数综合确定。

本公开实施例提供的技术方案中，通过对关键点检测模型进行反复训练，有利于提高关键点检测模型输出的二维码的关键点的坐标的准确度，使得后对图像中二维码的识别更加准确。

参见图8所示，本公开实施例还提供一种二维码图像关键点检测及二维码识别方法，包括步骤：

步骤S701，获取待检测的图像；所述图像中包含二维码。

步骤S702，将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点。

步骤S703，根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息。

步骤S704，根据所述关键点的坐标信息，实现二维码的透视变换。

步骤S705，根据所述透视变换的结果，识别所述图像中的二维码。

在一个实施例中，二维码的关键点包括二维码的三个定位符和一个校验符。在得到二维码的三个定位符和一个校验符的坐标之后，可以采用如下透视变换公式，实现二维码的透视变换。

将四个关键点的坐标值(x,y)与根据二维码的版本号确定的透视变换校正后预期的定位符与校验符的坐标值(X，Y)代入上述公式中，即可求解出公式中的其他参数，其中，因为二维码为是二维平面，所以公式中参数Z在运算中可以被约分。

上述实施例的二维码图像识别方法，基于关键点检测模型的结果进行二维码透视变换，改进了传统二维码识别方法在待检测的图片内容较为复杂、二维码的拍摄角度较大、二维码信息被污染等情况下，实现二维码变透视变换任务时成功率低的缺点。通过一个关键点检测模型，直接利用关键点检测模型的检测结果进行二维码的透视变换，具有较强的鲁棒性与较高的准确性，提高了待检测的图片中二维码的识别准确度。

基于与上述实施例中的二维码图像关键点检测方法相同的思想，本文还提供二维码图像关键点检测装置。

图9是根据一示例性实施例示出的一种二维码图像关键点检测装置001框图。参照图9，该二维码图像关键点检测装置001包括：

图像获取单元801，被配置为执行获取待检测的图像；所述图像中包含二维码；

模型调用单元802，被配置为执行将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点；

关键点识别单元803，被配置为执行根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息；

其中，所述关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

在一个实施例中，所述关键点检测模型具体用于，对输入的所述图像进行特征提取，得到所述图像的特征图；根据所述特征图得到用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息。

在一个实施例中，所述关键点检测模型包括特征提取模块和关键点预测模块；所述特征提取模块中包括多个深度可分离卷积层；

所述特征提取模块，用于通过所述多个深度可分离卷积层对输入的所述图像进行特征提取，得到所述图像对应的多个特征图；

所述关键点预测模块，用于根据所述多个深度可分离卷积层中的目标深度可分离卷积层输出的特征图，确定用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息；

其中，所述目标深度可分离卷积层的数量小于所述多个深度可分离卷积层的数量。

在一个实施例中，上述的二维码图像关键点检测装置还包括：

样本获取单元，被配置为执行获取包含二维码的原始图像；对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建所述训练图像样本；以及，获取所述训练图像样本中二维码的关键点的已知坐标信息；

模型训练单元，被配置为执行根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；当所述待训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度满足设定条件时，结束训练。

在一个实施例中，上述的二维码图像关键点检测装置还包括图像处理单元。

所述图像处理单元，被配置为执行在获取所述训练图像样本中二维码的关键点的已知坐标信息之前，对所述训练图像样本进行缩放，以得到设定大小的训练图像样本；和/或，被配置为执行检测所述二维码在所述训练图像样本中的图像占比；将所述图像占比低于设定阈值的训练图像样本删除。

在一个实施例中，所述关键点包括二维码的三个定位符和一个校验符。

在一个实施例中，如图10所示，二维码图像关键点检测装置还包括：

透视变换单元804，被配置为执行根据所述关键点的坐标信息，实现二维码的透视变换；

二维码识别单元805，被配置为执行根据所述透视变换的结果，识别所述图像中的二维码。

图11是根据一示例性实施例示出的一种关键点检测模型的训练装置003框图。参照图11，该装置003包括：

样本获取单元901，被配置为执行获取包含二维码的原始图像；对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建训练图像样本；

已知坐标获取单元902，被配置为执行获取各个训练图像样本中二维码的关键点的已知坐标信息；

模型训练单元903，被配置为执行根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；

损失检测单元904，被配置为执行当所述关键点检测模型对所述训练图像样本中二维码的关键点的坐标识别结果的损失满足设定条件时，结束训练；

其中，所述训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

本公开提供的二维码图像关键点检测装置001、图像识别装置002、关键点检测模型的训练装置003均可以实现为一种计算机程序的形式，计算机程序可在电子设备上运行。电子设备的存储器中可存储组成关键点检测装置001、图像识别装置002或者关键点检测模型的训练装置003中的各个程序模块。

关于上述实施例中的二维码图像关键点检测装置001、二维码图像关键点检测002和关键点检测模型的训练装置003，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图12示出了一示例性实施例中电子设备的内部结构图，该电子设备可以是电子设备或者服务器，当为电子设备时，该电子设备具体可以是手机、平板电脑、笔记本电脑等中的至少一种。当为服务器时，该电子设备具体可以是独立的服务器或者是多个服务器组成的服务器集群。该电子设备可以用于实现上述任一实施例的二维码图像关键点检测方法的步骤，或者可以用于实现上述任一实施例的图像识别方法的步骤，或者可以用于实现上述任一实施例的关键点检测模型的训练方法的步骤。

如图12所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该电子设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现二维码图像关键点检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述任一实施例的二维码图像关键点检测方法的步骤，或者上述任一实施例的图像识别方法的步骤，或者上述任一实施例的关键点检测模型的训练方法的步骤。

进一步地，在一个实施例中，该电子设备还可以包括通过系统总线连接的显示屏和输入装置。其中，显示屏可以是LED显示屏、液晶显示屏或者电子墨水显示屏；输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的物理按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一示例性实施例中，还提供了一种电子设备，包括处理器，用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一实施例的二维码图像关键点检测方法，或者上述任一实施例的图像识别方法，或者上述任一实施例的关键点检测模型的训练方法。

在一示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行上述任一实施例的二维码图像关键点检测方法的步骤，或者上述任一实施例的图像识别方法的步骤，或者上述任一实施例的关键点检测模型的训练方法的步骤。可选地，该存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种二维码图像关键点检测方法，其特征在于，包括：

获取待检测的图像；所述图像中包含二维码；

将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点；

根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息；

其中，所述关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

2.根据权利要求1所述的二维码图像关键点检测方法，其特征在于，所述关键点检测模型具体用于，

对输入的所述图像进行特征提取，得到所述图像的特征图；

根据所述特征图得到用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息。

3.根据权利要求2所述的二维码图像关键点检测方法，其特征在于，所述关键点检测模型包括特征提取模块和关键点预测模块；所述特征提取模块中包括多个深度可分离卷积层；

所述特征提取模块，用于通过所述多个深度可分离卷积层对输入的所述图像进行特征提取，得到所述图像对应的多个特征图；

所述关键点预测模块，用于根据所述多个深度可分离卷积层中的目标深度可分离卷积层输出的特征图，确定用于标记所述图像中二维码所在区域的检测框，预测所述检测框内包含二维码的置信度、预测所述检测框的坐标以及预测二维码的关键点的坐标；根据三个维度的预测结果，输出所述图像中二维码的关键点的坐标信息；

其中，所述目标深度可分离卷积层的数量小于所述多个深度可分离卷积层的数量。

4.根据权利要求1所述的二维码图像关键点检测方法，其特征在于，所述关键点检测模型的训练步骤包括：

获取包含二维码的原始图像；

对所述原始图像进行裁剪、扩充、旋转中的至少两项处理，根据处理后的图像构建所述训练图像样本；

获取所述训练图像样本中二维码的关键点的已知坐标信息；

根据所述训练图像样本以及所述关键点的已知坐标信息，对待训练的关键点检测模型进行训练；

当所述待训练的关键点检测模型对训练图像样本中二维码的关键点的坐标识别精度满足设定条件时，结束训练。

5.根据权利要求4所述的二维码图像关键点检测方法，其特征在于，所述获取所述训练图像样本中二维码的关键点的已知坐标信息之前，还包括：

对所述训练图像样本进行缩放，以得到设定大小的训练图像样本；

和/或，

检测所述二维码在所述训练图像样本中的图像占比；将所述图像占比低于设定阈值的训练图像样本删除。

6.根据权利要求1至5任一项所述的二维码图像关键点检测方法，其特征在于，

所述关键点包括二维码的三个定位符和一个校验符。

7.根据权利要求1至5任一项所述的二维码图像关键点检测方法，其特征在于，在得到所述图像中二维码的关键点的坐标信息之后，还包括：

根据所述关键点的坐标信息，实现二维码的透视变换；

根据所述透视变换的结果，识别所述图像中的二维码。

8.一种二维码图像关键点检测装置，其特征在于，包括：

图像获取单元，被配置为执行获取待检测的图像；所述图像中包含二维码；

模型调用单元，被配置为执行将所述图像输入已训练的关键点检测模型；所述关键点检测模型用于识别所述图像中二维码的关键点；

关键点识别单元，被配置为执行根据所述关键点检测模型针对所述图像输出的识别结果，得到所述图像中二维码的关键点的坐标信息；

其中，所述关键点检测模型对应的训练图像样本包含第一图像样本、第二图像样本、第三图像样本中的至少两种；所述第一图像样本、第二图像样本、第三图像样本分别由对包含二维码的原始图像进行裁剪、扩充、旋转得到。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。

Images