CN109815770A - 二维码检测方法、装置及系统 - Google Patents

Abstract

本发明提供了一种二维码检测方法、装置及系统，涉及图像处理技术领域，该方法包括：获取待检测图像；待检测图像中包含有二维码；将待检测图像输入至预先训练得到的检测模型；其中，检测模型包括卷积神经网络；通过检测模型对待检测图像进行检测，得到检测结果；检测结果包括二维码在待检测图像中的位置信息。本发明可以有效提高二维码检测的鲁棒性。

Description

二维码检测方法、装置及系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种二维码检测方法、装置及系统。

背景技术

二维码(2-Dimensional Bar Code)又称二维条码，主要是通过某种特定的几何图形按照一定规律对信息进行编码，这种编码方式可以使二维码存储有较为丰富的数据。现有技术中可利用图像采集设备或者光电扫描设备检测二维码，并进一步识别二维码所包含的信息。

现有技术中通常是采用模板匹配法对采集到的包含有二维码的图像进行检测，以确定二维码在图像中的具体位置。然而这种方式容易受到二维码检测环境的影响，经常出现二维码检测失败的问题。诸如，二维码自身面积较小、二维码出现畸变、二维码不完整、二维码上有污损等检测环境较差的情况下都会导致二维码的检测难度增加，也即，现有的二维码检测方式的鲁棒性较差。

发明内容

有鉴于此，本发明的目的在于提供一种二维码检测方法、装置及系统，可以有效提高二维码检测的鲁棒性。

第一方面，本发明实施例提供了一种二维码检测方法，包括：获取待检测图像；所述待检测图像中包含有二维码；将所述待检测图像输入至预先训练得到的检测模型；其中，所述检测模型包括卷积神经网络；通过所述检测模型对所述待检测图像进行检测，得到检测结果；所述检测结果包括所述二维码在所述待检测图像中的位置信息。

进一步，所述检测模型包括依次连接的浅层特征提取网络、深层特征提取网络和全连接网络；其中，所述通过所述检测模型对所述待检测图像进行检测，得到检测结果的步骤，包括：通过所述浅层特征提取网络对所述待检测图像进行初步特征提取，得到所述待检测图像的特征图；通过所述深层特征提取网络提取所述待检测图像的全局特征和局部特征；通过所述全连接网络基于所述全局特征和所述局部特征确定二维码在所述待检测图像中的位置信息。

进一步，所述深层特征提取网络包括全局特征提取子网络和局部特征提取子网络；所述通过所述深层特征提取网络提取所述待检测图像的全局特征和局部特征的步骤，包括：通过所述全局特征提取子网络提取所述特征图的全局特征；通过所述局部特征提取子网络提取所述特征图上的感兴趣区域，并基于所述感兴趣区域和所述全局特征得到所述特征图的局部特征。

进一步，所述局部特征提取子网络包括依次连接的感兴趣区域提取层和池化层；所述池化层还与所述全局特征提取子网络连接；所述感兴趣区域提取层用于提取所述特征图上的多个感兴趣区域；所述池化层用于根据所述感兴趣区域提取层提取的多个所述感兴趣区域以及所述全局特征提取子网络提取的所述全局特征，得到所述特征图的多个局部特征。

进一步，所述感兴趣区域提取层包括多个提取组，每个提取组用于提取所述特征图上的一个感兴趣区域；且每个提取组包括卷积层和/或全连接层。

进一步，所述全连接网络包括多个全连接层，所述全连接网络包括的全连接层的数量与所述提取组的数量相同；所述通过所述全连接网络基于所述全局特征和所述局部特征确定二维码在所述待检测图像中的位置信息的步骤，包括：将所述全局特征和多个所述局部特征输入至所述全连接网络中的多个全连接层；不同的全连接层输入的局部特征不同，且每个全连接层均输入有全局特征；通过所述全连接网络中的每个全连接层对输入的所述全局特征和所述局部特征进行高层特征提取，基于提取的高层特征确定所述待检测图像中的位置信息。

进一步，所述检测模型的训练步骤包括：获取训练图像；将所述训练图像输入至所述检测模型中，计算得到所述检测模型的总损失函数值；基于所述总损失函数值，通过反向传播算法对所述检测模型的参数进行训练。

进一步，所述全连接网络包括多个全连接层；每个所述全连接层的输入为所述深层特征提取网络提取的所述特征图的全局特征以及所述特征图的部分局部特征；不同的所述全连接层输入的局部特征不同；所述计算得到所述检测模型的总损失函数值的步骤，包括：计算所述检测模型中的每个所述全连接层对应的子损失函数值；对多个所述子损失函数值按照预设的权重进行加权运算，得到总损失函数值。

第二方面，本发明实施例还提供一种二维码检测装置，包括：获取模块，用于获取待检测图像；所述待检测图像中包含有二维码；输入模块，用于将所述待检测图像输入至预先训练得到的检测模型；其中，所述检测模型包括卷积神经网络；检测模块，通过所述检测模型对所述待检测图像进行检测，得到检测结果；所述检测结果包括所述二维码在所述待检测图像中的位置信息。

第三方面，本发明实施例还提供一种二维码检测系统，该系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集待检测图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面提供的任一项所述的方法的步骤。

本发明实施例提供了一种二维码检测方法、装置及系统，首先获取包含有二维码的待检测图像，并将待检测图像输入至预先训练得到的检测模型(包括卷积神经网络)，通过检测模型对待检测图像进行检测，得到包括二维码位置信息的检测结果。本发明实施例主要利用卷积神经网络检测二维码，卷积神经网络具有较强的学习能力和数据处理能力，与传统的模板匹配法相比能够适应多种检测环境，因此具有更好的鲁棒性，有助于在检测环境较差的情况下较为准确的检测出二维码。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种二维码检测方法的流程示意图；

图3为本发明实施例提供的一种检测模型的结构示意图；

图4为本发明实施例提供的第二种检测模型的结构示意图；

图5为本发明实施例提供的第三种检测模型的结构示意图；

图6为本发明实施例提供的第四种检测模型的结构示意图；

图7为本发明实施例提供的一种二维码检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的模板匹配法容易受到检测环境的影响，检测鲁棒性较差，基于此，本发明实施例提供的一种二维码检测方法、装置及系统，该技术可应用于任何需要检测二维码的场景，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的二维码检测方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的二维码检测方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端，还可以是需要扫描定位的移动机器人、扫码结账的智能支付台等任何需要检测二维码的设备。

实施例二：

参见图2所示的一种二维码检测方法的流程示意图，该方法可以由前述实施例提供的电子设备执行，该方法可以包括如下步骤：

步骤S202，获取待检测图像。

其中，待检测图像中包含有二维码。在一些实施方式中，可以通过摄像头采集包含有二维码的图像，并将其作为待检测图像。具体实现时，可以在达到图像采集条件时启动摄像头采集图像，该图像采集条件包括但不限于：检测到扫码功能开启、接收到扫码指令等。在另一些实施方式中，可以直接接收人为上传的需要检测的包含有二维码的图像，例如，在获取待检测图像时，向用户提供图像上传通道，并由用户自行选择需要上传的图像，并将用户上传的图像作为待检测图像。

步骤S204，将待检测图像输入至预先训练得到的检测模型。

其中，检测模型包括卷积神经网络(Convolutional Neural Networks,CNN)，卷积神经网络是一类包含有卷积计算且具有深度结构的神经网络，卷积神经网络中通常包括输入层、隐含层和输出层，隐含层又可以包括卷积层，还可以包含池化层和/或全连接层等。每层卷积层都可以由若干卷积单元组成，每个卷积单元的参数都是通过采用诸如反向传播算法最佳化等训练方式得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，而更多层的网路能从低级特征中迭代提取更复杂的特征。通过这种方式，能够较好的应用于图像处理中，从图像中提取出较为丰富全面的特征。基于此，相比于传统的模板匹配法而言，本实施例采用卷积神经网络对待检测图像进行更为准确的检测。

另外，为了使检测模型能够基于待检测图像得到较为准确的检测结果，上述检测模型需要预先进行训练，以使得训练后的检测模型可以输出符合预期的检测结果。在一些实施方式中，可以首先获取训练图像，并将训练图像输入至检测模型中，并计算得到该检测模型的总损失函数值，以便通过反向传播算法，根据总损失函数值对检测模型的参数进行训练，当总损失函数值收敛至预设值时，即可完成检测模型的训练，训练后的检测模型可以输出较为准确的检测结果。

步骤S206，通过检测模型对待检测图像进行检测，得到检测结果。该检测结果包括二维码在待检测图像中的位置信息。

具体实现时，可以将待检测图像输入至检测模型中，通过检测模型对待检测图像进行检测，得到检测模型输出的包含有二维码在待检测图像中的位置信息的检测结果。其中，位置信息可以体现为二维码在待检测图像中的位置坐标，或者可以直接体现为二维码的包围框。

本发明实施例提供的上述二维码检测方法，首先获取包含有二维码的待检测图像，并将待检测图像输入至预先训练得到的检测模型(包括卷积神经网络)，通过检测模型对待检测图像进行检测，得到包括二维码位置信息的检测结果。本发明实施例主要利用卷积神经网络检测二维码，卷积神经网络具有较强的学习能力和数据处理能力，与传统的模板匹配法相比能够适应多种检测环境，因此具有更好的鲁棒性，有助于在检测环境较差的情况下较为准确的检测出二维码。

在一些实施方式中，可参见图3所示的一种检测模型的结构示意图，示意出检测模型包括依次连接的浅层特征提取网络、深层特征提取网络和全连接网络。

其中，上述浅层特征提取网络的输入为待检测图像，浅层特征提取网络的输出为待检测图像的特征图；上述深层特征提取网络的输入为待检测图像的特征图，深层特征提取网络的输出为待检测图像的全局特征和局部特征；上述全连接网络的输入为全局特征和局部特征，全连接网络的输出为检测结果。

基于如上所述的检测模型的网络结构，上述步骤S206可以参照如下步骤1～步骤3执行：

步骤1，通过浅层特征提取网络对待检测图像进行初步特征提取，得到待检测图像的特征图。

其中，浅层特征提取网络可以包括一层或者多层卷积层，每层卷积层由若干卷积单元(也即，卷积核)组成，每个卷积单元用于提取待检测图像中的不同特征。在一种实施方式中，可以采用GoogleNet、VGGNet或RestNet等神经网络结构作为基础卷积神经网络(也即，浅层特征提取网络)，将上述待检测图像输入至基础卷积神经网络，从而得到待检测图像对应的特征图。

通过浅层特征提取网络对待检测图像进行初步特征提取，也即提取待检测图像的浅层特征信息，该浅层特征信息也即前述待检测图像的特征图。

步骤2，通过深层特征提取网络提取待检测图像的全局特征和局部特征。

为了提高检测模型对二维码的检测能力，可以通过深层特征提取网络对上述特征图做进一步信息提取，以得到待检测图像的高层抽象信息。在本实施例中，高层抽象信息包括全局特征和局部特征，全局特征可以理解为特征图上的所有深层特征信息，局部特征可以理解为在全局特征的基础上确定的局部深层特征信息。

在具体实现时，可以采用多种方式对特征图做进一步信息提取，例如采用候选区域(Region Proposal)与池化层(ROI Pooling)结合预测的方式，或者采用若干卷积层与若干全连接层(Fully Connected Layer，FC)组合的方式，进一步提取特征图的全局特征和局部特征。

步骤3，通过全连接网络基于全局特征和局部特征确定二维码在待检测图像中的位置信息。

全连接网络可以包含一个或多个全连接层。全连接网络结合全局特征和局部特征进行位置回归处理，可以基于丰富全面的特征确定二维码的回归框(也可称为二维码的包围框)，进而得到二维码在待检测图像中的位置信息。

本发明实施例通过浅层特征提取网络和深层特征提取网络对待检测图像进行多次特征提取，从而得到待检测图像的高层抽象信息(全局特征和局部特征)，进而通过全连接网络基于高层抽象信息确定二维码在待检测图像中的位置信息。本发明实施例主要利用卷积神经网络检测二维码，卷积神经网络具有较强的学习能力和数据处理能力，与传统的模板匹配法相比能够适应多种检测环境，因此具有更好的鲁棒性，有助于在检测环境较差的情况下较为准确的检测出二维码。

在一些实施方式中，参见图4所示的第二种检测模型的结构示意图，在图3的基础上，图4中进一步示意出深层特征提取网络包括全局特征提取子网络和局部特征提取子网络。

基于上述结构，上述通过深层特征提取网络提取待检测图像的全局特征和局部特征的步骤，包括如下步骤(1)、(2)：

(1)通过全局特征提取子网络提取特征图的全局特征。

其中，全局特征提取子网络可以由卷积层组成，将特征图输入至全局特征提取子网络的卷积层中，卷积层基于特征图做进一步的特征提取，得到特征图的全局特征。

(2)通过局部特征提取子网络提取特征图上的感兴趣区域，并基于感兴趣区域和全局特征得到特征图的局部特征。

在一些实施方式中，可以对特征图做候选区域处理，利用特征图中的纹理、边缘、颜色等信息预先找出特征图中二维码可能出现的位置，并将其作为特征图的感兴趣区域。进一步的，结合感兴趣区域和全局特征确定特征图的局部特征，即在全局特征中查找与感兴趣区域对应的特征，并将其确定为特征图的局部特征。

为便于对上述实施例进行理解，在图4的基础上，图5进一步示意出了第三种检测模型的结构示意图，其中，上述局部特征提取子网络包括依次连接的感兴趣区域提取层和池化层；池化层还与全局特征提取子网络连接。

为了提升二维码的检测鲁棒性，在二维码位置较偏、二维码自身面积较小、二维码破损等多种特殊情况下均可检测出二维码，本实施例中的感兴趣区域提取层用于提取特征图上的多个感兴趣区域。

在一些实施方式中，可以在感兴趣区域提取层中设置有多个提取组，每个提取组用于提取特征图上的一个感兴趣区域，即每个提取组分别用于对特征图进行候选区域处理，每个提取组得到一个特征图的一个感兴趣区域，进而感兴趣区域提取层得到多个感兴趣区域。具体实施时，每个提取组可以包括卷积层和/或全连接层，通过卷积层与全连接层组合的方式对特征图进行候选区域处理，以得到对应的感兴趣区域。

在另一种实施方式中，可以选取RPN(Region Proposal Network，候选区域网络)作为感兴趣区域提取层，利用RPN对特征图进行处理，生成多个目标候选区域，并将每个目标候选区域均作为感兴趣区域。

池化层用于根据感兴趣区域提取层提取的多个感兴趣区域以及全局特征提取子网络提取的全局特征，得到特征图的多个局部特征。为了得到特征图的多个局部特征，将池化层与感兴趣区域提取层和全局特征提取子网络分别连接，并获取感兴趣区域提取层输出的多个感兴趣区域和全局特征提取子网络输出的全局特征。具体的，池化层可以根据每个感兴趣区域，在全局特征中映射出每个感兴趣区域对应的特征，并对各个特征进行区域池化操作，生成每个感兴趣区域对应的区域特征，将其作为每个感兴趣区域对应的局部特征。

本实施例中的池化层可以为ROI(Region of Interest，感兴趣区域)池化层，ROI池化层是针对感兴趣区域的一种池化层，由于ROI池化层会对局部特征进行归一化处理，因此可以使输出的每个局部特征的大小相同。ROI池化层确定局部特征的具体方式参照如下：(1)将感兴趣区域映射到全局特征对应位置；(2)将映射后的全局特征划分为相同大小的区域；(3)对每个区域进行最大池化操作，进而得到大小相同的多个局部特征。

参见图6所示的第四种检测模型的结构示意图，在图5提供的检测模型的基础上，图6具体示意出了全连接网络包括多个全连接层，全连接网络包括的全连接层的数量与提取组的数量相同。实际应用中，全连接层与提取组一一对应。假设前述感兴趣区域提取层中设置有N组提取组，即设置有提取组1、提取组2直至提取组N，则全连接网络中包括N个全连接层，即全连接层1、全连接层2直至全连接层N，并且提取组1对应全连接层1，提取组2对应全连接层2，提取组N对应全连接层N。

基于上述结构，上述通过全连接网络基于全局特征和局部特征确定二维码在待检测图像中的位置信息的步骤，包括如下步骤(1)、(2)：

(1)将全局特征和多个局部特征输入至全连接网络中的多个全连接层。其中，不同的全连接层输入的局部特征不同，且每个全连接层均输入有全局特征。当前述感兴趣区域提取层中设置有N组提取组时，上述ROI池化层将对应输出N个局部特征，此时，与提取组1对应的局部特征1将与全局特征一同输入至全连接层1，同理，与提取组2对应的局部特征2将与全局特征一同输入至全连接层2，与提取组N对应的局部特征N将与全局特征一同输入至全连接层N。

(2)通过全连接网络中的每个全连接层对输入的全局特征和局部特征进行高层特征提取，基于提取的高层特征确定待检测图像中的位置信息。在具体实施时，位置信息可以为二维码在待检测图像中的坐标数据，也可以是通过回归框标出二维码图像在待检测图像中的所处位置。

在具体实施时，本发明实施例还提供了一种训练如图6所示的检测模型的训练过程，该过程可以参照如下步骤1至步骤3执行：

步骤1，获取训练图像。

其中，训练图像中包括二维码，并且携带有二维码得位置信息。为了提高检测模型的检测精度，可以提供处于多种检测环境下的训练图像，例如，二维码图像完整、二维码图像缺损、二维码位置偏斜、二维码图像畸变、二维码图像污损或者破损或二维码图像带边缘等多种情况。具体实现时，训练图像还可以携带有二维码位置的标签。

步骤2，将训练图像输入至检测模型中，计算得到检测模型的总损失函数值。

在一些实施方式中，可以将训练图像输入至浅层特征提取网络，通过浅层特征提取网络确定并输出训练图像的特征图，然后将训练图像的特征图分别输入至深层特征提取网络中的全局特征提取子网络和局部特征提取子网络，从而得到训练图像的全局特征和多个局部特征，并将全局特征和多个局部特征输入至全连接网络，以计算得到检测模型的总损失函数值。当检测模型的损失函数值越小时，检测模型的鲁棒性越好。

训练过程中的检测模型在获取训练图像的多个局部特征时，首先需要将训练图像的特征图输入至局部特征提取子网络中的感兴趣区域提取层，并通过感兴趣区域提取层内的多个提取组提取训练图像的特征图对应的多个感兴趣区域，其中，每个提取组用于提取训练图像的特征图的一个感兴趣区域，然后将训练图像的特征图的每个感兴趣区域均输入至局部特征提取子网络中的池化层，以使池化层基于多个感兴趣区域和训练图像的全局特征确定训练图像的多个局部特征。

因为全连接网络包括多个全连接层，并且每个全连接层的输入为深层特征提取网络提取的特征图的全局特征以及特征图的部分局部特征，不同的全连接层输入的局部特征不同，所以每个全连接层得到的子损失函数值不同，因此在上述步骤2计算得到检测模型的总损失函数值时的步骤，包括：

(1)计算检测模型中的每个全连接层对应的子损失函数值。因为全连接层与前述局部特征提取子网络中的提取组一一对应，因此，各个全连接层计算得到的子损失函数值与局部特征提取子网络输出的局部特征也将一一对应，例如，当前述局部特征提取子网络输出N个局部特征时，全连接层1将根据局部特征1和全局特征计算得到对应的子损失函数值1，全连接层2将根据局部特征2和全局特征计算得到对应的子损失函数值2，全连接层N将根据局部特征N和全局特征计算得到对应的子损失函数值N。

(2)对多个子损失函数值按照预设的权重进行加权运算，得到总损失函数值。在实际应用中，可以通过主观经验法、主次指标排队分类法或者调查法对子损失函数值的权重进行设置，使总损失函数值更能体现二维码位置信息的预测值与真实值之间的差异。

步骤3，基于总损失函数值，通过反向传播算法对检测模型的参数进行训练。

其中，反向传播算法主要包括激励传播和权重更新两个环节，通过循环迭代这两个环节，对检测模型的参数进行更新，从而达到训练检测模型的目的。当总损失函数值收敛时，检测模型训练结束。可以理解的是，总损失函数值表征了检测网络的期望输出，总损失函数值越小，可表征检测模型的输出结果越接近于期望输出结果，检测模型输出结果的准确性和可靠性越高。

综上所述，本发明实施例主要利用卷积神经网络检测二维码，卷积神经网络具有较强的学习能力和数据处理能力，与传统的模板匹配法相比能够适应多种检测环境，因此具有更好的鲁棒性，有助于在检测环境较差的情况下较为准确的检测出二维码。

实施例三：

对于实施例二种所提供的二维码检测方法，本发明实施例提供了一种二维码检测装置，参见图7所示的一种二维码检测装置的结构示意图，该装置包括以下模块：

获取模块702，用于获取待检测图像；待检测图像中包含有二维码。

输入模块704，用于将待检测图像输入至预先训练得到的检测模型；其中，检测模型包括卷积神经网络。

检测模块706，通过检测模型对待检测图像进行检测，得到检测结果；检测结果包括二维码在待检测图像中的位置信息。

本发明实施例提供了一种二维码检测装置，首先通过获取模块获取包含有二维码的待检测图像，并由输入模块将待检测图像输入至预先训练得到的检测模型(包括卷积神经网络)，通过检测模块内的检测模型对待检测图像进行检测，得到包括二维码位置信息的检测结果。本发明实施例主要利用卷积神经网络检测二维码，卷积神经网络具有较强的学习能力和数据处理能力，与传统的模板匹配法相比能够适应多种检测环境，因此具有更好的鲁棒性，有助于在检测环境较差的情况下较为准确的检测出二维码。

在一种实施方式中，检测模型包括依次连接的浅层特征提取网络、深层特征提取网络和全连接网络。

其中，浅层特征提取网络的输入为待检测图像，浅层特征提取网络的输出为待检测图像的特征图；深层特征提取网络的输入为待检测图像的特征图，深层特征提取网络的输出为待检测图像的全局特征和局部特征；全连接网络的输入为全局特征和局部特征，全连接网络的输出为检测结果。

基于此，上述检测模块706还用于：通过浅层特征提取网络对待检测图像进行初步特征提取，得到待检测图像的特征图；通过深层特征提取网络提取待检测图像的全局特征和局部特征；通过全连接网络基于全局特征和局部特征确定二维码在待检测图像中的位置信息。

在一些实施方式中，深层特征提取网络包括全局特征提取子网络和局部特征提取子网络；上述检测模块706还用于：通过全局特征提取子网络提取特征图的全局特征；通过局部特征提取子网络提取特征图上的感兴趣区域，并基于感兴趣区域和全局特征得到特征图的局部特征。

在一些实施方式中，上述局部特征提取子网络包括依次连接的感兴趣区域提取层和池化层；池化层还与全局特征提取子网络连接；感兴趣区域提取层用于提取特征图上的多个感兴趣区域；池化层用于根据感兴趣区域提取层提取的多个感兴趣区域以及全局特征提取子网络提取的全局特征，得到特征图的多个局部特征。

在一些实施方式中，上述感兴趣区域提取层包括多个提取组，每个提取组用于提取特征图上的一个感兴趣区域；并且每个提取组包括卷积层和/或全连接层。

另外，上述检测模型中的全连接网络包括多个全连接层，全连接网络包括的全连接层的数量与提取组的数量相同。

基于此，上述检测模块706还用于：将全局特征和多个局部特征输入至全连接网络中的多个全连接层；不同的全连接层输入的局部特征不同，且每个全连接层均输入有全局特征；通过全连接网络中的每个全连接层对输入的全局特征和局部特征进行高层特征提取，基于提取的高层特征确定待检测图像中的位置信息。

在一些实施方式中，上述装置还包括训练模块，用于：获取训练图像；将训练图像输入至检测模型中，计算得到检测模型的总损失函数值；基于总损失函数值，通过反向传播算法对检测模型的参数进行训练。

在一些实施方式中，上述全连接网络包括多个全连接层；每个全连接层的输入为深层特征提取网络提取的特征图的全局特征以及特征图的部分局部特征；不同的全连接层输入的局部特征不同。

上述训练模块还用于计算检测模型中的每个全连接层对应的子损失函数值，并对多个子损失函数值按照预设的权重进行加权运算，得到总损失函数值。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四：

对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种二维码检测系统，该系统包括图像采集装置、处理器和存储装置；图像采集装置，用于采集目标图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如实施例二提供的任一项的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例二提供的任一项所述的方法的步骤。

本发明实施例所提供的二维码检测方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种二维码检测方法，其特征在于，包括：

获取待检测图像；所述待检测图像中包含有二维码；

将所述待检测图像输入至预先训练得到的检测模型；其中，所述检测模型包括卷积神经网络；

通过所述检测模型对所述待检测图像进行检测，得到检测结果；所述检测结果包括所述二维码在所述待检测图像中的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述检测模型包括依次连接的浅层特征提取网络、深层特征提取网络和全连接网络；其中，

所述通过所述检测模型对所述待检测图像进行检测，得到检测结果的步骤，包括：

通过所述浅层特征提取网络对所述待检测图像进行初步特征提取，得到所述待检测图像的特征图；

通过所述深层特征提取网络提取所述待检测图像的全局特征和局部特征；

通过所述全连接网络基于所述全局特征和所述局部特征确定二维码在所述待检测图像中的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述深层特征提取网络包括全局特征提取子网络和局部特征提取子网络；

所述通过所述深层特征提取网络提取所述待检测图像的全局特征和局部特征的步骤，包括：

通过所述全局特征提取子网络提取所述特征图的全局特征；

通过所述局部特征提取子网络提取所述特征图上的感兴趣区域，并基于所述感兴趣区域和所述全局特征得到所述特征图的局部特征。

4.根据权利要求3所述的方法，其特征在于，所述局部特征提取子网络包括依次连接的感兴趣区域提取层和池化层；所述池化层还与所述全局特征提取子网络连接；

所述感兴趣区域提取层用于提取所述特征图上的多个感兴趣区域；

所述池化层用于根据所述感兴趣区域提取层提取的多个所述感兴趣区域以及所述全局特征提取子网络提取的所述全局特征，得到所述特征图的多个局部特征。

5.根据权利要求4所述的方法，其特征在于，所述感兴趣区域提取层包括多个提取组，每个提取组用于提取所述特征图上的一个感兴趣区域；且每个提取组包括卷积层和/或全连接层。

6.根据权利要求5所述的方法，其特征在于，所述全连接网络包括多个全连接层，所述全连接网络包括的全连接层的数量与所述提取组的数量相同；

所述通过所述全连接网络基于所述全局特征和所述局部特征确定二维码在所述待检测图像中的位置信息的步骤，包括：

将所述全局特征和多个所述局部特征输入至所述全连接网络中的多个全连接层；不同的全连接层输入的局部特征不同，且每个全连接层均输入有全局特征；

通过所述全连接网络中的每个全连接层对输入的所述全局特征和所述局部特征进行高层特征提取，基于提取的高层特征确定所述待检测图像中的位置信息。

7.根据权利要求2所述的方法，其特征在于，所述检测模型的训练步骤包括：

获取训练图像；

将所述训练图像输入至所述检测模型中，计算得到所述检测模型的总损失函数值；

基于所述总损失函数值，通过反向传播算法对所述检测模型的参数进行训练。

8.根据权利要求7所述的方法，其特征在于，所述全连接网络包括多个全连接层；每个所述全连接层的输入为所述深层特征提取网络提取的所述特征图的全局特征以及所述特征图的部分局部特征；不同的所述全连接层输入的局部特征不同；

所述计算得到所述检测模型的总损失函数值的步骤，包括：

计算所述检测模型中的每个所述全连接层对应的子损失函数值；

对多个所述子损失函数值按照预设的权重进行加权运算，得到总损失函数值。

9.一种二维码检测装置，其特征在于，包括：

获取模块，用于获取待检测图像；所述待检测图像中包含有二维码；

输入模块，用于将所述待检测图像输入至预先训练得到的检测模型；其中，所述检测模型包括卷积神经网络；

检测模块，通过所述检测模型对所述待检测图像进行检测，得到检测结果；所述检测结果包括所述二维码在所述待检测图像中的位置信息。

10.一种二维码检测系统，其特征在于，所述系统包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集待检测图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。