CN104657728B

CN104657728B - 基于计算机视觉的条码识别系统

Info

Publication number: CN104657728B
Application number: CN201510122501.1A
Authority: CN
Inventors: 刘磊
Original assignee: Jiangsu IoT Research and Development Center
Current assignee: Jiangsu Cas Internet Of Things Technology Venture Capital Co ltd
Priority date: 2015-03-19
Filing date: 2015-03-19
Publication date: 2018-01-09
Anticipated expiration: 2035-03-19
Also published as: CN104657728A

Abstract

本发明涉及一种基于计算机视觉的条码识别系统，包括照相机、FPGA处理器、DSP处理器和通信接口。首先利用FPGA处理器获取原始的图像数据，并对其进行预处理（包括自动白平衡、图像增强、滤波等），然后对图像进行二值化处理，通过数值计算将图片中的物品条码进行定位和提取。然后利用DSP处理器对FPGA定位和提取后的二维码进行旋转、校正以及解码处理。最后将结果通过通信接口传输至后台处理系统。本系统可以用于一维条码和二维条码的识别，当位置探测图像发生畸变时仍然能够准确定位。

Description

基于计算机视觉的条码识别系统

技术领域

本发明涉及条码识别技术领域，尤其是一种基于计算机视觉的条码识别系统。

背景技术

二维码又称二维条码，它是用特定的几何图形按一定的规律在平面上分布的黑白相间的图形，是所有信息数据的一把钥匙。

目前对于二维条码的预处理方法有：(1)利用最大类间类差算法或图像直方图进行二值化；(2)利用Hough变换求取条码倾斜的角度或得到条码的4条边界直线从而找到4个顶点坐标，并针对Hough变换运算量大的缺点提出相应的改进方法；(3)倾斜纠正。但上述算法都存在不足：QR码不同于PDF417码，没有明显的长直线，为Hough变换提取角度带来困难，而且上述算法定位QR码的4个顶点，由于噪声的影响。往往右下角的顶点定位不够准确。针对这一问题，国内外许多学者提出了对右下角顶点的重定位方法能较准确地定位QR码，但运算量较大，并且图像畸变时候不适用。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于计算机视觉的条码识别系统，用于定位和识别条码，特别是QR码。

按照本发明提供的技术方案，所述基于计算机视觉的条码识别系统包括照相机、FPGA处理器、DSP处理器和通信接口，所述照相机用于对传送带上的物品进行拍照，将拍得的图像数据传送给FPGA处理器；所述FPGA处理器获取原始的图像数据，并对其进行预处理，包括自动白平衡、图像增强、滤波，然后对图像进行二值化处理，通过数值计算将图像中的物品条码进行定位和提取；所述DSP处理器对FPGA处理器定位和提取后的条码进行旋转、校正以及解码处理；所述FPGA处理器和DSP处理器的处理结果通过通信接口传输至后台处理系统。

具体的，所述图像增强、滤波是指对图像的灰度值进行拉伸，进行图像的增强，以及采用中值滤波算法对图像进行滤波。

所述对图像进行二值化处理的方法是：

将采集到的图像进行灰度处理后，记条码图像为A(i,j),大小为M×N，分为4块子块图像分别处理，子块记为P_i，i＝1,2,3,4；

计算每一子块的像素的平均值

对每个子块计算局部阈值

并分别进行二值化处理，再利用horzcat和vertcat函数将每个子块二值化处理后的结果合并为一幅图像；其中，k为补偿因子，取0.69～0.82，调节每一子块灰度值之间的差异。

所述将图像中的物品条码进行定位和提取的方法为：

对位置探测图形区域水平和垂直扫描，对每一行的扫描步骤如下：

步骤1、以第一个像素点为起始点，从左至右扫描，直到像素值发生变化或者该行扫描结束，记录每段长度，分别标记为L1，L2，L3，L4，L5，执行步骤2；

步骤2、如果L2：L1∈(0.5，1.5)，L3：L1∈(2.5，3.5)，L4：L1∈(0.5，1.5)，L5：L1∈(0.5，1.5)，则记录L1段起始点与L5段的终点坐标，标记中点坐标，否则不记录；如果该行扫描结束，则执行步骤1扫描下一行，否则执行步骤3；

步骤3、将L2长度赋给L1,L3长度赋给L2，L4长度赋给L3，L5长度赋给L4，向右扫描直到像素值发生变化或者该行扫描结束，重新记录L5的长度，执行步骤2；

用同样的方法进行垂直方向的扫描，并标记得到的中点坐标；取邻域内标记中点最多的三个邻域，对每一个领域内的水平和垂直扫描的中点分别采用最小二乘法拟合直线，求得直线的交点即位置探测图像的中心点位置。

所述对条码进行旋转的方法是：对标记的三个中心点形成的三角形计算三条边长度，得到最长边，记最长边相对的顶点为A，另两个顶点分别记为B、C；以B、C两点的中点O为坐标系原点建立直角坐标系，计算A、B、C三点在新坐标系中的坐标，设图像绕O点顺时针旋转角度θ可以将条码旋正，设A、B、C旋转后对应的点为A1，B1,C1，则角度θ计算公式为

对条码进行旋转后采用双线性变换对几何形变的图像进行校正。

本发明的优点是：本发明所用识别系统和算法可以用于一维条码和二维条码的识别，当位置探测图像发生畸变时仍然能够准确定位。

附图说明

图1系统的工作流程图。

图2旋转算法示意图，其中图2(a)是y_A≤0的情况，图2(b)是y_A>0的情况。

图3校正算法示意图，其中图3(a)是校正前的图像，图3(b)是校正后的图像。

具体实施方式

以下结合附图和实施例对本发明做进一步说明。

本发明的条码识别系统包括照相机、FPGA处理器、DSP处理器和通信接口，系统的工作过程如下：

(1)利用高速照相机对传送带上的物品进行拍照，将拍得的图像数据传送给FPGA处理器的识别软件。

(2)FPGA处理器获取原始的图像数据，并对其进行预处理(包括自动白平衡、图像增强、滤波等)，然后对图像进行二值化处理，通过数值计算将图片中的物品条码(比如快递单条码)进行定位和提取。

(3)然后利用DSP处理器对FPGA处理器定位和提取后的条码进行旋转、校正以及解码处理。

(4)最后将结果通过通信接口(以太网接口、RS232、RS485等可选择)传输至后台处理系统。

系统对拍摄得到的图片进行图像增强，滤波，具体的算法是对图像的灰度值进行拉伸，进行图像的增强，采用中值滤波算法对图像进行滤波。

对图像进行二值化处理方法如下。

以常用的QR码为例，考虑到QR码自身的特点，将其分为4个子块分别处理，能在较短时间内有效地分离目标与背景。具体步骤如下：

(1)将采集到的图像进行灰度处理后，记QR码图像为A(i,j),大小为M×N分为4块子块图像分别处理，子块记为P_i，i＝1,2,3,4。

(2)计算每一子块的像素的平均值

(3)对每个子块计算局部阈值

并分别进行二值化处理，再利用horzcat和vertcat函数将每个子块二值化处理后的结果合并为一幅图像。其中，k为补偿因子，调节每一子块灰度值之问的差异。通过多次实验表明，k＝0.69～0.82。对于偏亮的子块，一般k值较小，对于偏暗的子块，k值较大。

所述通过数值计算将图片中的物品条码进行定位和提取，其方法为：对位置探测图形区域水平和垂直扫描，搜索连续黑白模块长度比大致符合1：1：3：1：1区域，标记得到的区域的中点。分别对水平和垂直扫描得到的中点拟合直线，求得直线的交点即位置探测图形中心。该定位算法当位置探测图像发生畸变时仍然能够准确定位。

对每一行的扫描步骤如下：

步骤1、以第一个像素点为起始点，从左至右扫描，直到像素值发生变化或者该行扫描结束，记录每段长度，分别标记为L1，L2，L3，L4，L5执行步骤2：

步骤2、如果L2：L1∈(0.5，1.5)，L3：L1∈(2.5，3.5)，L4：L1∈(0.5，1.5)，L5：L1∈(0.5，1.5)，则记录L1段起始点与L5段的终点坐标，标记中点坐标，否则不记录。如果该行扫描结束，则执行步骤1，否则执行步骤3；

步骤3、将L2长度赋给L1,L3长度赋给L2，L4长度赋给L3，L5长度赋给L4，向右扫描直到像素值发生变化或者该行扫描结束，重新记录L5的长度，执行步骤2。

用同样的方法进行垂直方向的扫描，标记得到的中点坐标。

取邻域内标记中点最多的三个邻域，对每一个领域内的水平和垂直扫描的中点分别采用最小二乘法拟合直线，求得交点即位置探测图像的中心点位置。

所述对FPGA处理器定位和提取后的二维码进行旋转、校正以及解码处理方法如下。

对标记的三个中心点形成一个近似等腰直角三角形。计算三条边长度，得到最长边。记最长边相对的顶点为A，另两个顶点分别记为B、C。以B、C两点的中点O为坐标系原点建立直角坐标系，如图2，计算A、B、C三点在新坐标系中的坐标，设图像绕O点顺时针旋转角度θ可以将QR码旋正，设A、B、C旋转后对应的点为A1，B1,C1。则由图2可推出角度θ计算公式为

然后采用双线性变换对几何形变的图像进行校正，如图3所示。图3(a)是校正前的图像，图3(b)是校正后的图像。再依据QR码的解码规则对二维码进行解码。

Claims

1.基于计算机视觉的条码识别系统，其特征是，包括照相机、FPGA处理器、DSP处理器和通信接口，

所述照相机用于对传送带上的物品进行拍照，将拍得的图像数据传送给FPGA处理器；

所述FPGA处理器获取原始的图像数据，并对其进行预处理，包括自动白平衡、图像增强、滤波，然后对图像进行二值化处理，通过数值计算将图像中的物品条码进行定位和提取；

所述DSP处理器对FPGA处理器定位和提取后的条码进行旋转、校正以及解码处理；

所述FPGA处理器和DSP处理器的处理结果通过通信接口传输至后台处理系统；

其中，所述图像增强、滤波是指对图像的灰度值进行拉伸，进行图像的增强，以及采用中值滤波算法对图像进行滤波；

所述将图像中的物品条码进行定位和提取的方法为：

步骤1、以第一个像素点为起始点，从左至右扫描，直到像素值发生变化或者该行扫描结束，记录每段长度，分别标记为L1，L2，L3，L4，L5，执行步骤2：

步骤3、将L2长度赋给L1，L3长度赋给L2，L4长度赋给L3，L5长度赋给L4，向右扫描直到像素值发生变化或者该行扫描结束，重新记录L5的长度，执行步骤2；

用同样的方法进行垂直方向的扫描，并标记得到的中点坐标；取邻域内标记中点最多的三个邻域，对每一个领域内的水平和垂直扫描的中点分别采用最小二乘法拟合直线，求得直线的交点即位置探测图像的中心点位置；

所述对条码进行旋转的方法是：对标记的三个中心点形成的三角形计算三条边长度，得到最长边，记最长边相对的顶点为A，另两个顶点分别记为B、C；以B、C两点的中点0为坐标系原点建立直角坐标系，计算A、B、C三点在新坐标系中的坐标，设图像绕0点顺时针旋转角度θ可以将条码旋正，设A、B、C旋转后对应的点为A1，B1，C1，则角度θ计算公式为

2.如权利要求1所述的基于计算机视觉的条码识别系统，其特征是，所述对图像进行二值化处理的方法是：

将采集到的图像进行灰度处理后，记条码图像为A(i，j)，大小为M×N，分为4块子块图像分别处理，子块记为P_i，i＝1，2，3，4；

计算每一子块的像素的平均值

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>a</mi> <mi>v</mi> <mi>e</mi> <mo>&lsqb;</mo> <mn>1</mn> <mo>&rsqb;</mo> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <mi>A</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>N</mi> <mo>/</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>a</mi> <mi>v</mi> <mi>e</mi> <mo>&lsqb;</mo> <mn>2</mn> <mo>&rsqb;</mo> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>N</mi> <mo>/</mo> <mn>2</mn> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <mi>A</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>N</mi> <mo>/</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>a</mi> <mi>v</mi> <mi>e</mi> <mo>&lsqb;</mo> <mn>3</mn> <mo>&rsqb;</mo> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mrow> <mo>(</mo> <mrow> <mi>M</mi> <mo>/</mo> <mn>2</mn> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mi>M</mi> </munderover> <mi>A</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>N</mi> <mo>/</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>a</mi> <mi>v</mi> <mi>e</mi> <mo>&lsqb;</mo> <mn>4</mn> <mo>&rsqb;</mo> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>N</mi> <mo>/</mo> <mn>2</mn> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>/</mo> <mn>2</mn> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mi>M</mi> </munderover> <mi>A</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>N</mi> <mo>/</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

对每个子块计算局部阈值

<mrow> <msub> <mi>T</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>a</mi> <mi>v</mi> <mi>e</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>&rsqb;</mo> </mrow> <mn>255</mn> </mfrac> <mo>&times;</mo> <mi>k</mi> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>

3.如权利要求1所述的基于计算机视觉的条码识别系统，其特征是，对条码进行旋转后采用双线性变换对几何形变的图像进行校正。