CN111428530A - 一种二维码图像检测识别设备、装置及方法 - Google Patents

Abstract

本发明公开了一种二维码图像检测识别设备、装置及方法，其中，该装置包括：检测单元，使用目标检测模型和权重数据对获取的目标图片初步检测以得到M个二维码位置信息；图像处理单元获取对应的二维码图像以处理生成第一二维码图像；特征提取单元将第一二维码图像的轮廓信息形成轮廓列表；二维码筛选单元，根据轮廓列表中的坐标点判断第N个轮廓为正方形时，截取其图像以获取第二二维码图像；二维码校准单元计算第二二维码图像任意一边的水平夹角，并依据夹角旋转第二二维码图像，以得到目标二维码图像。通过本发明，能够实现自动查找图像中所包含的多个二维码，并自动裁剪、旋转校正，方便后续解码，提高了二维码的识别效率。

Description

一种二维码图像检测识别设备、装置及方法

技术领域

本发明实施方式涉及图像处理技术领域，尤其是涉及一种二维码图像检测识别设备、装置及方法。

背景技术

二维码(2-Dimensional Bar Code)又称二维码条码，主要是通过某种特定的几何图形按照一定规律对信息进行编码，这种编码方式可以使二维码存储有较为丰富的数据。现有技术中可利用图像采集设备或者光电扫描设备检测二维码，并进一步识别二维码所包含的信息。

在产线生产过程中，通常利用现有技术中的光电扫描设备，即，二维码扫描枪，由工人手持二维码扫描枪对PCB电路板上的二维码进行扫描和读取。在此过程中，需要工人将扫描枪靠近二维码位置，并与二维码角度一致时，才能确保二维码的识别成功。

因此，现有技术中的对PCB电路板上的二维码识别，往往需要多次的人工校准，并且此方法只能一次读取一个二维码，识别效率低。

发明内容

本发明实施方式主要解决的技术问题是提供一种二维码图像检测识别设备、装置及方法，能够自动查找图像中所包含的多个二维码，并自动裁剪、旋转校正，方便后续解码，提高二维码的识别效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种二维码图像检测识别设备，包括控制器以及与所述控制器连接的传感器单元，所述传感器包括用于采集目标图片的摄像头；所述控制器包括：检测单元，用于获取所述传感器采集的目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；图像处理单元，与所述检测单元连接，用于根据所述检测单元检测到的M个所述二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；特征提取单元，与所述图像处理单元连接，用于获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；二维码筛选单元，与所述特征提取单元连接，用于根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；以及在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；二维码校准单元，与所述二维码筛选单元连接，用于计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

其中，所述二维码校准单元，还用于：选取所述第二二维码图像相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算所述水平夹角；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标。

其中，所述图像处理单元包括：二维码处理模块，用于：根据所述目标图片检测到的M个所述二维码位置信息截取二维码图像，并对M个所述二维码图像进行中值平滑、高斯平滑处理，以消除噪点，生成M个无噪点的二维码图像；对所述M个无噪点的二维码图像进行锐化操作，以生成边界清晰的M个二维码图像；以及对所述M个边界清晰的二维码图像进行二值化处理，以得到黑白色的二维码图像；二维码截图模块，用于对所述M个二值化图像进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的第一二维码图像。

其中，所述二维码筛选单元还用于：计算所述轮廓列表中第N个轮廓的最小外接矩形的面积area1，以及计算所述第N个轮廓的面积area2；其中，所述第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；根据所述第N个轮廓的最小外接矩形的面积area1与所述第N个轮廓的面积area2的关系是否满足预设公式，确定所述第N个轮廓是否为正方形；其中，所述预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；c为允许的误差。

其中，当所述二维码筛选单元根据所述轮廓列表中记录的坐标点判断所述第N个轮廓不是正方形时，所述二维码筛选单元还用于：从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；依据预设筛选条件从所述顶点集合中筛选出三个顶点；根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种二维码图像检测识别方法，所述方法包括：获取目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；根据所述目标图片检测到的所述M个二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；以及计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

其中，计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像，具体包括：选取所述第二二维码图像相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算所述水平夹角；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标；以及依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

其中，根据所述目标图片检测到的所述M个二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像，具体包括：根据所述目标图片检测到的M个所述二维码位置信息截取二维码图像，并对M个所述二维码图像进行中值平滑、高斯平滑处理，以消除噪点，生成M个无噪点的二维码图像；对所述M个无噪点的二维码图像进行锐化操作，以生成边界清晰的M个二维码图像；以及对所述M个边界清晰的二维码图像进行二值化处理，以得到黑白色的二维码图像；以及对所述M个二值化图像进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的第一二维码图像。

其中，根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形，具体包括：计算所述轮廓列表中第N个轮廓的最小外接矩形的面积area1，以及计算所述第N个轮廓的面积area2；其中，所述第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；根据所述第N个轮廓的最小外接矩形的面积area1与所述第N个轮廓的面积area2的关系是否满足预设公式，确定所述第N个轮廓是否为正方形；其中，所述预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；c为允许的误差。

其中，当根据所述轮廓列表中记录的坐标点判断第N个轮廓不是正方形时，所述方法还包括：从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；依据预设筛选条件从所述顶点集合中筛选出三个顶点；根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种二维码图像检测识别装置，包括：检测单元，用于获取所述传感器采集的目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；图像处理单元，与所述检测单元连接，用于根据所述检测单元检测到的M个所述二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；特征提取单元，与所述图像处理单元连接，用于获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；二维码筛选单元，与所述特征提取单元连接，用于根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；以及在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；二维码校准单元，与所述二维码筛选单元连接，用于计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

其中，当所述二维码筛选单元根据所述轮廓列表中记录的坐标点判断所述第N个轮廓不是正方形时，所述二维码筛选单元还用于：从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；依据预设筛选条件从所述顶点集合中筛选出三个顶点；根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施方式通过对目标图片进行多目标检测识别以对该目标图片所包含的二维码进行初步检测以获取若干个二维码图片；进一步地，对初步检测得到的若干个二维码图片进行图像处理、填充，根据二维码图片的特征从若干个图片中选取出符合特征的二维码图片，并根据其与水平方向的夹角对每个二维码图片进行校准，从而经一次性的图片识别就能够得到若干个准确、端正的目标二维码图片。从而实现自动查找图像中所包含的多个二维码，并自动裁剪、旋转校正，方便后续解码，提高了二维码的识别效率。

附图说明

图1是本发明实施方式中的一种二维码图像检测识别设备的结构示意图；

图2是图1中的图像处理单元的功能模块示意图；

图3是本发明实施方式中的一种二维码图像检测识别装置的功能模块示意图；

图4是本发明第一实施方式中的一种二维码图像检测识别方法的流程示意图；

图5是现有技术中的深度学习目标检测模型训练方法的流程示意图；

图6是图4中的步骤S302的具体实现方法的流程示意图；

图7是本发明第三实施方式中的一种二维码图像检测识别方法的流程示意图；

图8是本发明第四实施方式中的一种二维码图像检测识别方法的流程示意图。

具体实施方式

为了能够更清楚地理解本的上述目的、特征和优点，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

需要说明的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。

请参阅图1，是本发明实施方式中的一种二维码图像检测识别设备的结构示意图。该二维码图像检测识别设备10包括存储器11、控制器12以及传感器单元13，其中，该存储器11和传感器单元13均与控制器12连接；

该传感器单元13用于采集信息以用于控制器12的处理；在本实施方式中，该传感器单元13包括用于采集目标图片的摄像头130。

进一步地，该控制器12具体包括：

检测单元121，用于对摄像头130采集到的目标图片Pic加载深度学习目标检测模型及预先训练好的权重数据，并使用该目标检测模型和权重数据对该目标图片Pic中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数。在本实施方式中，该深度学习目标检测模型为SSD(Single Shot MultiBox Detector，单个深度神经网络目标检测器)模型；该深度学习目标检测模型及权重数据的训练将在下文进行详细描述。

图像处理单元122，与该检测单元121连接，用于根据该检测单元11检测到的M个二维码位置信息Rec获取对应的M个二维码图像Pic1，并对该M个二维码图像Pic1进行图像处理以生成充实的、正方形的M个二维码图像Pic3。

特征提取单元123，与该图像处理单元122连接，用于获取该M个二维码图像Pic3的轮廓信息，形成轮廓列表ListContour；其中，该轮廓列表ListContour用于记录形成该M个二维码图像Pic3轮廓的坐标点集合。

二维码筛选单元124，与该特征提取单元123连接，用于：根据该轮廓列表ListContour中记录的坐标点判断第N个轮廓是否为正方形；其中，1≤N≤M，且N为整数；以及在确定该第N个轮廓为正方形时，截取该第N个轮廓ContourN对应的图像，以获取二维码图像Pic4。

二维码校准单元125，与该二维码筛选单元124连接，用于计算该二维码筛选单元124截取的第N个轮廓ContourN对应的二维码图像Pic4任意一边的水平夹角Angle，并依据该夹角Angel旋转该二维码图像Pic4以得到目标二维码图像。

该存储器11用于存储和交换各个模块之间的数据、以及记录上述计算机程序本身。

进一步地，请同时参阅图2，该图像处理单元122，包括：

二维码处理模块1221，用于：

依据检测到的M个二维码位置信息Rec截取M个二维码图像Pic1，并分别对该M个二维码图像Pic1进行中值平滑、高斯平滑处理以消除噪点，生成M个无噪点的二维码图像Pic1’；

分别对该M个无噪点的二维码图像Pic1’进行锐化操作，以生成边界清晰的M个二维码图像Pic2；以及

分别对该M个二维该码图像Pic2进行二值化处理以得到黑白色的二值化图像；

具体地，该二维码处理模块1221利用OTSU算法计算该二维码图像Pic2的阈值T，并利用该阈值T对该二维码图像Pic2进行二值化处理，以得到黑白色的二维码图像Pic2’。

在本实施方式中，该二维码处理模块1221分别对M个二维码图像Pic1’进行3次锐化操作，以生成边界清晰的二维码图像Pic2。

二维码截图模块1222，用于对该M个二值化图像分别进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的二维码图像Pic3。

进一步地，该二维码筛选单元124根据该轮廓列表ListContour中记录的坐标点判断第N个轮廓是否为正方形，具体为：

该二维码筛选单元124计算该轮廓列表ListContour中第N个轮廓ContourN的最小外接矩形Rec1的面积area1，以及计算该第N个轮廓ContourN的面积area2；其中，该第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；

该二维码筛选单元124根据该第N个轮廓ContourN的最小外接矩形Rec1的面积area1与该第N个轮廓ContourN的面积area2的关系是否满足预设公式，确定该第N个轮廓是否为正方形；

该预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；其中，c为允许的误差，在本实施方式中，c＝0.05。

具体地，当area1与area2满足a*b-area2<(a*b+area2)/2*c时，能够确定该第N个轮廓ContourN的最小外接矩形Rec1的面积area1与第N个轮廓ContourN的面积area2基本重合，即，该第N个轮廓ContourN为矩形；进一步地，当确定该第N个轮廓ContourN为矩形的情况下，满足a-b<(a+b)/2*c时，能够确定该第N个轮廓ContourN的长和宽相等，即，该第N个轮廓ContourN为正方形。

进一步地，该二维码校准单元125计算该二维码图像Pic4任意一边的水平夹角Angle，具体地为：

该二维码校准单元125选取该二维码图像Pic4相邻的两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算水平夹角Angle；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标。

如上所述，本发明实施方式中的二维码图像检测识别设备10通过对目标图片进行多目标检测识别以对该目标图片所包含的二维码进行初步检测以获取若干个二维码图片；进一步地，对初步检测得到的若干个二维码图片进行图像处理、填充，根据二维码图片的特征(即，图片为正方形)从若干个图片中选取出符合特征的二维码图片，并根据其与水平方向的夹角对每个二维码图片进行校准，从而经一次性的图片识别就能够得到若干个准确、端正的目标二维码图片。

进一步地，当该二维码筛选单元124根据该轮廓列表ListContour中记录的坐标点判断第N个轮廓不是正方形时，处理方式如下：

该二维码筛选单元124还用于：

获取该轮廓列表ListContour中第N个轮廓ContourN的轮廓点集合PointList，查找该轮廓点集合PointList中的凸包坐标，以形成该第N个轮廓ContourN的顶点集合；

依据预设筛选条件从该顶点集合中筛选出三个顶点；

根据该三个顶点的坐标定义的矩形所形成的图像确定为二维码图像Pic4。

其中，该预设筛选条件包括：

条件(1)：三个顶点x1、x2、x3的位置相邻；设顶点x2为位于中间位置的顶点，x1、x3分别为位于x2两边位置的顶点；

条件(2)：三个顶点x1、x2、x3形成的角度为90度；

条件(3)：x2与x1之间的距离为L1，x2与x3之间的距离为L2，|L1-L2|≤c；即，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

如此，当该二维码筛选单元124确定了二维码图像Pic4时，该二维码校准单元125如上所述对该二维码图像Pic4进行校准以获得目标二维码图片。

如上所述，分别对轮廓列表中记录的M个轮廓进行二维码图片的筛选以及校准，以最终从目标图片中检测识别出若干个目标二维码图片；其中，识别出的若干个目标二维码图片的数量可能等于M，还可能小于M。

请参阅图3，是本发明实施方式中的一种二维码图像检测识别装置20的功能模块示意图。该二维码图像检测识别装置20应用于如上所述的二维码图像检测识别设备中，用于识别目标图片中的二维码信息，该装置20包括检测单元21、图像处理单元22、特征提取单元23、二维码筛选单元24以及二维码校准单元25。该二维码图像检测识别装置20的各个模块的功能、以及二维码图像检测识别原理可参阅图1及对应的文字说明，在此不加赘述。

请参阅图4，为本发明实施方式中的一种二维码图像检测识别方法的流程示意图。该方法包括：

步骤S300，获取目标图片Pic，加载深度学习目标检测模型及预先训练好的权重数据，并使用该目标检测模型和权重数据对该目标图片Pic中的二维码位置信息进行初步检测；

在本实施方式中，该深度学习目标检测模型为SSD模型；

请同时参阅图5，深度学习目标检测模型及权重数据的训练，具体实现原理如下所述。

步骤S40，预先采集预定数量的、预定种类的二维码图像，作为训练样本。

在本实施方式中，预先采集300张、常见全部种类的二维码图像，作为训练样本；其中，二维码可以分为堆叠式/行排式二维码和矩阵式二维码。

步骤S41，构建检测模型M1。

其中，利用Pytorch，依据SSD网络结构构建该检测模型M1；具体地，PyTorch是使用GPU和CPU优化的深度学习张量库。

步骤S42，利用该检测模型M1对预先采集的训练样本进行训练，以得到深度学习目标检测模型及权重数据。

具体地，利用检测模型M1对采集到的300张图像进行12000轮的训练，最终得到深度学习目标检测模型及权重数据。

步骤S301，判断目标图片Pic中是否检测到二维码的位置信息；若是，则进入步骤S302；否则，返回步骤S300；

步骤S302，依据检测到的M个二维码位置信息截取M个二维码图像Pic1，并对该M个二维码图像Pic1进行图像处理以生成充实的、正方形的二维码图像Pic3；其中，M≥1，且为整数；

请同时参阅6，步骤S302，即，依据检测到的M个二维码位置信息截取M个二维码图像Pic1，并对该M个二维码图像Pic1进行图像处理以生成充实的、正方形的二维码图像Pic3，具体包括如下步骤：

步骤S302a，依据检测到的M个二维码位置信息截取M个二维码图像Pic1，并对该M个二维码图像Pic1进行中值平滑、高斯平滑处理以消除噪点，生成M个无噪点的二维码图像Pic1’；

步骤S302b，对该M个无噪点的二维码图像Pic1’进行锐化操作，以生成边界清晰的M个二维码图像Pic2；

其中，锐化操作是对该二维码图像Pic1’进行线性滤波处理、卷积核处理、以及高斯平滑处理，以生成该二维码图像Pic2。

具体地，卷积核处理为：预先定义

0	-1	0
			-1	5	-1
0	-1	0

3*3的自定义核，然后对图像和自定义核做卷积操作。

在本实施方式中，分别对M个二维码图像Pic1’进行3次锐化操作，以生成边界清晰的二维码图像Pic2。

步骤S302c，对该M个二维该码图像Pic2进行二值化处理以得到黑白色的二值化图像；

具体地，利用OTSU算法计算该二维码图像Pic2的阈值T，并利用该阈值T对该二维码图像Pic2进行二值化处理，以得到黑白色的二维码图像Pic2’。

步骤S302d，对该M个二值化图像分别进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的二维码图像Pic3。

由于二维码是多个黑白块以一定规则混合形成的图像，“填充二维码图像中的空白区域”具体指代：将二维码图像中白色的区域填充，最终将二维码图像变换成充实的、正方形图像，以从采集到的待检测图像中截取出多个二维码图片。

步骤S303，获取该M个二维码图像Pic3的轮廓信息，形成轮廓列表；其中，该轮廓列表用于记录形成该M个二维码图像Pic3轮廓的坐标点集合；

步骤S304，根据该轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；其中，1≤N≤M，且N为整数；若是，则进入步骤S305；否则，进入步骤S306；

请同时参阅图7，步骤S304，即，根据该轮廓列表中记录的坐标点判断第N个轮廓是否为正方形，具体通过如下步骤实现：

步骤S304a，计算该轮廓列表中第N个轮廓的最小外接矩形1的面积area1，以及计算该第N个轮廓的面积area2；其中，该第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；

步骤S304b，根据该第N个轮廓的最小外接矩形1的面积area1与该第N个轮廓的面积area2的关系是否满足预设公式，确定该第N个轮廓是否为正方形；若是，则进入步骤S305；否则，进入步骤S306；

具体地，该预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；其中，c为允许的误差，在本实施方式中，c＝0.05。当area1与area2满足a*b-area2<(a*b+area2)/2*c时，能够确定该N个轮廓的最小外接矩形1的面积area1与第N个轮廓的面积area2基本重合，即，该第N个轮廓为矩形；进一步地，当确定该第N个轮廓为矩形的情况下，满足a-b<(a+b)/2*c时，能够确定该第N个轮廓的长和宽相等，即，该第N个轮廓为正方形。

步骤S305，截取该第N个轮廓对应的图像以获取二维码图像Pic4，计算该二维码图像Pic4任意一边的水平夹角，并依据该夹角旋转该二维码图像Pic4以得到目标二维码图像；然后，流程结束。

其中，计算该二维码图像Pic4任意一边的水平夹角，具体为：选取该二维码图像Pic4相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算水平夹角；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标；

步骤S306，获取轮廓列表中第N个轮廓的轮廓点集合，查找该轮廓点集合中的凸包坐标，以形成该第N个轮廓的顶点集合；

步骤S307，依据预设筛选条件从该顶点集合中筛选出三个顶点。

其中，该预设筛选条件包括：

条件(1)：三个顶点x1、x2、x3的位置相邻；设顶点x2为位于中间位置的顶点，x1、x3分别为位于x2两边位置的顶点；

条件(2)：三个顶点x1、x2、x3形成的角度为90度；

条件(3)：x2与x1之间的距离为L1，x2与x3之间的距离为L2，|L1-L2|≤c；即，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

步骤S308，根据该三个顶点的坐标定义的矩形所形成的图像确定为二维码图像Pic4。然后，返回步骤S305。

请参阅图8，为本发明第二实施方式中的一种二维码图像检测识别方法的流程示意图，该方法包括：

步骤S400，获取目标图片Pic；

步骤S401，加载深度学习目标检测模型及预先训练好的权重数据，并使用该目标检测模型和权重数据对该目标图片Pic中的二维码位置信息进行初步检测；

在本实施方式中，该深度学习目标检测模型为SSD模型；

步骤S402，判断目标图片Pic中是否检测到二维码的位置信息；若是，则进入步骤S403；否则，返回步骤S400；

步骤S403，获取检测到的M个二维码位置信息Rec；其中，M≥1，且为整数；

步骤S404，依据M个二维码位置信息Rec截取M个二维码图像Pic1；

步骤S405，对该M个二维码图像Pic1进行中值平滑、高斯平滑处理、锐化操作，以生成边界清晰的M个二维码图像Pic2；

其中，锐化操作是对该二维码图像Pic1’进行线性滤波处理、卷积核处理、以及高斯平滑处理，以生成该二维码图像Pic2。

具体地，卷积核处理为：预先定义

0	-1	0
			-1	5	-1
0	-1	0

3*3的自定义核，然后对图像和自定义核做卷积操作。

在本实施方式中，分别对M个二维码图像Pic1’进行3次锐化操作，以生成边界清晰的二维码图像Pic2。

步骤S406，获取该M个二维码图像Pic2的轮廓信息，形成轮廓列表ListContour；其中，该轮廓列表ListContour用于记录形成该M个二维码图像Pic2轮廓的坐标点集合。

步骤S407，计算该轮廓列表ListContour中第N个轮廓ContourN的最小外接矩形Rec1的面积area1；其中，1≤N≤M，且N为整数；该第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b。

步骤S408，计算该第N个轮廓ContourN的面积area2。

步骤S409，判断该第N个轮廓ContourN的最小外接矩形Rec1的面积area1与该第N个轮廓ContourN的面积area2的关系是否满足a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；若是，则进入步骤S410；否则，进入步骤413。

步骤S410，该第N个轮廓ContourN为正方形，并计算该二维码图像Pic4任意一边的水平夹角Angle。

其中，计算该二维码图像Pic4任意一边的水平夹角Angle，具体为：选取该二维码图像Pic4相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算水平夹角Angle；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标；

步骤S411，依据该夹角Angel旋转该二维码图像Pic4以得到目标二维码图像；

步骤S412，强化该目标二维码图片以提高清晰度，并输出该二维码图片；然后，流程结束。

步骤S413，获取轮廓列表ListContour中第N个轮廓ContourN的轮廓点集合PointList。

步骤S414，计算该轮廓点集合PointList是否存在位置相邻的三个顶点，且该三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。若是，则进入步骤S415；否则，进入步骤S416。

步骤S415，根据该三个顶点的坐标定义的矩形所形成的图像确定为二维码图像Pic4。然后，返回步骤S410。

步骤S416，判断该轮廓列表ListContour是否还有未分析的轮廓；若是，则将N累加1，然后返回步骤S407；否则，流程结束。

具体地，通过判断N是否M相等，以确定该轮廓列表ListContour是否还有未分析的轮廓。其中，M为轮廓列表中记录的轮廓总数量。

本发明的一种二维码图像检测识别设备、装置及方法，通过对目标图片进行多目标检测识别以对该目标图片所包含的二维码进行初步检测以获取若干个二维码图片；进一步地，对初步检测得到的若干个二维码图片进行图像处理、填充，根据二维码图片的特征从若干个图片中选取出符合特征的二维码图片，并根据其与水平方向的夹角对每个二维码图片进行校准，从而经一次性的图片识别就能够得到若干个准确、端正的目标二维码图片。从而实现自动查找图像中所包含的多个二维码，并自动裁剪、旋转校正，方便后续解码，提高了二维码的识别效率。

在本发明所提供的实施方式中，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例是示意性的，所述单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施方式，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施方式，这些实施方式不作为对本发明内容的额外限制，提供这些实施方式的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施方式，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (12)

1.一种二维码图像检测识别设备，包括控制器以及与所述控制器连接的传感器单元，所述传感器包括用于采集目标图片的摄像头；

其特征在于，所述控制器包括：

检测单元，用于获取所述传感器采集的目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；

图像处理单元，与所述检测单元连接，用于根据所述检测单元检测到的M个所述二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；

特征提取单元，与所述图像处理单元连接，用于获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；

二维码筛选单元，与所述特征提取单元连接，用于根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；以及在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；

二维码校准单元，与所述二维码筛选单元连接，用于计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

2.根据权利要求1所述的二维码图像检测识别设备，其特征在于，所述二维码校准单元，还用于：选取所述第二二维码图像相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算所述水平夹角；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标。

3.根据权利要求1所述的二维码图像检测识别设备，其特征在于，所述图像处理单元包括：

二维码处理模块，用于：

根据所述目标图片检测到的M个所述二维码位置信息截取二维码图像，并对M个所述二维码图像进行中值平滑、高斯平滑处理，以消除噪点，生成M个无噪点的二维码图像；

对所述M个无噪点的二维码图像进行锐化操作，以生成边界清晰的M个二维码图像；以及

对所述M个边界清晰的二维码图像进行二值化处理，以得到黑白色的二维码图像；

二维码截图模块，用于对所述M个二值化图像进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的第一二维码图像。

4.根据权利要求3所述的二维码图像检测识别设备，其特征在于，所述二维码筛选单元还用于：

计算所述轮廓列表中第N个轮廓的最小外接矩形的面积area1，以及计算所述第N个轮廓的面积area2；其中，所述第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；

根据所述第N个轮廓的最小外接矩形的面积area1与所述第N个轮廓的面积area2的关系是否满足预设公式，确定所述第N个轮廓是否为正方形；

其中，所述预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；c为允许的误差。

5.根据权利要求4所述的二维码图像检测识别设备，其特征在于，当所述二维码筛选单元根据所述轮廓列表中记录的坐标点判断所述第N个轮廓不是正方形时，所述二维码筛选单元还用于：

从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；

依据预设筛选条件从所述顶点集合中筛选出三个顶点；

根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；

其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

6.一种二维码图像检测识别方法，其特征在于，所述方法包括：

获取目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；

根据所述目标图片检测到的所述M个二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；

获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；

根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；

在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；以及

计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

7.根据权利要求6所述的二维码图像检测识别方法，其特征在于，计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像，具体包括：

选取所述第二二维码图像相邻两个顶点P1、P2，并依据公式Atan2((Y2-Y1),(X2-X2))*180/PI)计算所述水平夹角；其中，X1、Y1为顶点P1的坐标，X2、Y2为顶点P2的坐标；以及

依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

8.根据权利要求6所述的二维码图像检测识别方法，其特征在于，根据所述目标图片检测到的所述M个二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像，具体包括：

根据所述目标图片检测到的M个所述二维码位置信息截取二维码图像，并对M个所述二维码图像进行中值平滑、高斯平滑处理，以消除噪点，生成M个无噪点的二维码图像；

对所述M个无噪点的二维码图像进行锐化操作，以生成边界清晰的M个二维码图像；以及

对所述M个边界清晰的二维码图像进行二值化处理，以得到黑白色的二维码图像；以及

对所述M个二值化图像进行膨胀腐蚀操作，以填充二维码图像中的空白区域，生成M个充实的、正方形的第一二维码图像。

9.根据权利要求8所述的二维码图像检测识别方法，其特征在于，根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形，具体包括：

计算所述轮廓列表中第N个轮廓的最小外接矩形的面积area1，以及计算所述第N个轮廓的面积area2；其中，所述第N个轮廓的最小外接矩形的长为a，宽为b，面积area1＝a*b；

根据所述第N个轮廓的最小外接矩形的面积area1与所述第N个轮廓的面积area2的关系是否满足预设公式，确定所述第N个轮廓是否为正方形；

其中，所述预设公式为a*b-area2<(a*b+area2)/2*c，并且a-b<(a+b)/2*c；c为允许的误差。

10.根据权利要求9所述的二维码图像检测识别方法，其特征在于，当根据所述轮廓列表中记录的坐标点判断第N个轮廓不是正方形时，所述方法还包括：

从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；

依据预设筛选条件从所述顶点集合中筛选出三个顶点；

根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；

其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

11.一种二维码图像检测识别装置，其特征在于，包括：

检测单元，用于获取所述传感器采集的目标图片，加载深度学习目标检测模型及预先训练好的权重数据，并使用所述目标检测模型和权重数据对所述目标图片中的二维码位置信息进行初步检测，以得到M个二维码位置信息；其中，M≥1，且为整数；

图像处理单元，与所述检测单元连接，用于根据所述检测单元检测到的M个所述二维码位置信息获取对应的M个二维码图像，并对所述M个二维码图像进行图像处理以生成充实的、正方形的M个第一二维码图像；

特征提取单元，与所述图像处理单元连接，用于获取M个所述第一二维码图像的轮廓信息，形成轮廓列表；其中，所述轮廓信息包括形成M个所述第一二维码图像轮廓的坐标点集合；

二维码筛选单元，与所述特征提取单元连接，用于根据所述轮廓列表中记录的坐标点判断第N个轮廓是否为正方形；以及在确定所述第N个轮廓为正方形时，截取所述第N个轮廓对应的图像，以获取第二二维码图像；其中，1≤N≤M，且N为整数；

二维码校准单元，与所述二维码筛选单元连接，用于计算所述第二二维码图像任意一边的水平夹角，并依据所述夹角旋转所述第二二维码图像，以得到目标二维码图像。

12.根据权利要求11所述的二维码图像检测识别装置，其特征在于，当所述二维码筛选单元根据所述轮廓列表中记录的坐标点判断所述第N个轮廓不是正方形时，所述二维码筛选单元还用于：

从所述轮廓列表中获取所述第N个轮廓的轮廓点集合，查找所述轮廓点集合中的凸包坐标，以形成所述第N个轮廓的顶点集合；

依据预设筛选条件从所述顶点集合中筛选出三个顶点；

根据所述三个顶点的坐标定义的矩形所形成的图像确定为所述第二二维码图像；

其中，所述预设筛选条件包括：三个顶点的位置相邻，所述三个顶点形成的角度为90度，位于中间位置的顶点与位于两边位置的顶点之间的距离偏差小于c。

Images