CN116882433B - 一种基于机器视觉的扫码识别方法和系统 - Google Patents
一种基于机器视觉的扫码识别方法和系统 Download PDFInfo
- Publication number
- CN116882433B CN116882433B CN202311145797.XA CN202311145797A CN116882433B CN 116882433 B CN116882433 B CN 116882433B CN 202311145797 A CN202311145797 A CN 202311145797A CN 116882433 B CN116882433 B CN 116882433B
- Authority
- CN
- China
- Prior art keywords
- dimensional code
- image
- network
- code image
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1473—Methods for optical code recognition the method including quality enhancement steps error correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1465—Aligning or centring of the image pick-up or image-field by locating a pattern
- G06V30/1468—Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的扫码识别方法和系统，包括：S1：获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像；S2：基于YoloV3目标识别网络提取增强后的二维码图像中二维码的位置；S3：基于S2中提取出的位置裁剪图像增强后的二维码图像，得到裁剪后的二维码图像；S4：对裁剪后的二维码图像进行矫正，获得矫正后的二维码图像；S5：提取矫正后的二维码图像的特征并利用二维码识别网络辨别矫正后的二维码图像是否可被识别。本发明能够有效避免因为图像质量差、环境变化等因素导致的识别错误，提高系统的稳定性和可靠性。
Description
技术领域
本发明属于扫码识别的技术领域，尤其涉及一种基于机器视觉的扫码识别方法和系统。
背景技术
随着移动设备和智能终端的普及，扫码已经成为了一种非常流行的信息获取方式。然而，由于拍摄环境、拍摄角度以及二维码质量等因素的影响，二维码的识别率和识别速度存在一定的限制。因此，需要一种高效、自动的基于机器视觉的扫码识别方法。当前常见的扫码识别方法通常采用传统的图像处理方法或者基于特征的分类器来实现。这些方法通常需要对图像进行预处理，比如二值化、滤波、形态学操作等，以获得二维码的位置和形状信息。然而，这些方法对光照条件、扫码角度和距离等因素非常敏感，容易受到环境噪声的影响，导致二维码无法被准确识别。
发明内容
有鉴于此，本发明提供一种基于机器视觉的扫码识别方法和系统，目的在于提供一种能够高效、准确地识别二维码的方法，该方法能够缓解传统扫码识别方法中存在的对光照、图像变形等因素的敏感度较高，对于复杂背景下的二维码定位困难，二维码矫正精度低等问题。
实现上述目的，本发明提供的一种基于机器视觉的扫码识别方法，包括以下步骤：
S1：获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像；
S2：基于YoloV3目标识别网络提取增强后的二维码图像中二维码的位置；
S3：基于S2中提取出的位置裁剪图像增强后的二维码图像，得到裁剪后的二维码图像；
S4：对裁剪后的二维码图像进行矫正，获得矫正后的二维码图像；
S5：提取矫正后的二维码图像的特征并利用二维码识别网络辨别矫正后的二维码图像是否可被识别。
作为本发明的进一步改进方法：
可选的，所述S1步骤中获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像，包括：
使用任意摄像头拍摄待识别的二维码图像，并对二维码图像进行增强，所述增强的方式为：其中，/>为图像像素坐标，K为高斯滤波器数目，I为二维码图像，E为增强后的二维码图像，为高斯滤波器，其表达式为：/>其中，/>为圆周率，e为自然常数，/>为第k个高斯滤波器的方差。
可选的，所述S2步骤中基于YoloV3目标识别网络提取增强后的二维码图像中二维码的位置，并裁剪得到裁剪后的二维码图像，包括：
将S1获得的增强后的二维码图像输入至目标识别网络，得到二维码的位置，所述目标识别网络的流程为：
S21：定义YoloV3目标识别网络输出：其中，ID为YoloV3目标识别网络，/>为目标识别网络的权重和偏置，output为YoloV3目标识别网络的输出，其组成为：/>其中，p表示网络预测该目标为二维码的概率，c表示网络预测的置信度，/>表示网络预测的二维码外包围矩形中心点及宽高在图像中的相对值，为二维码四个顶点相对于其外包围矩形四个顶点的偏移，用于计算二维码所处的不规则四边形实际的顶点位置，其中1，2，3，4分别对应二维码的左上角、右上角、右下角、左下角顶点，所述网络为YoloV3目标识别网络；
S22：计算网络预测的二维码外包围矩形和真实外包围矩形的误差：其中，S表示YoloV3目标识别网络中定义的检测框数目；/>表示如果第j个检测框有二维码，则其值为1，否则为0；/>表示含有二维码外包围矩形真实中心点及宽高在图像中的相对值；p为网络预测该目标为二维码的概率；/>表示指标权重；
S23：计算网络预测的二维码四个顶点和真实的四个顶点的误差：其中，表示含有二维码真实的四个顶点相对于其外包围矩形四个顶点的偏移；
S24：综合S22和S23中的误差用于迭代更新目标识别网络的参数：目标识别网络参数的迭代更新目标为：/>其中，/>为迭代更新后得到的目标识别网络的权重和偏置，argmin表示获取/>取得最小值的目标识别网络参数的取值。可选的，所述S3步骤中基于S2中提取出的位置裁剪图像增强后的二维码图像，得到裁剪后的二维码图像，包括：
依据S2中迭代更新完成的目标识别网络计算二维码真实的四个顶点位置： 其中，/>和/>为二维码四个顶点所对应的外包围矩形的宽和高。
根据左上、右上、右下和左下的四个顶点，/>，/>和裁剪增强后的二维码图像得到裁剪后的二维码图像。
可选的，所述S4步骤中对裁剪后的二维码图像进行矫正，获得矫正后的二维码图像，包括：
S41：基于S3中获得的裁剪后的二维码图像，对该图像中的每一个像素使用如下公式转换：其中，/>为裁剪后的二维码图像像素的坐标，为矫正后的二维码图像像素的坐标，矫正后的二维码图像为正方形；/>，/>，/>，，/>，/>，/>和/>为转换系数；
S42：计算转换系数：其中， 为矫正后的二维码图像的长度。
可选的，所述S5步骤中提取矫正后的二维码图像的特征并利用二维码识别网络辨别矫正后的二维码图像是否可被识别，包括：
提取矫正后的二维码图像的特征，所述特征包括二值化特征和直方图特征，计算方式为：
S51：基于S4获得的矫正后的二维码图像，对该图像进行二值化：其中，/>和/>分别为矫正后的二维码图像和二值化后的二维码图像在/>处的像素值；
S52：提取二值化后的二维码图像在横轴和纵轴上的直方图，其计算方式为：其中，/>和/>为横轴和纵轴坐标点处二值化后的二维码图像中像素值为1的像素数目，/>为矫正后的二维码图像的长度，/>为横轴直方图，统计了二值化后的二维码图像在横轴每一个位置像素值为1的像素所占比例，/>为纵轴直方图，统计了二值化后的二维码图像在纵轴每一个位置像素值为1的像素所占比例。
将提取的特征与矫正后的二维码图像一同输入二维码识别网络，辨别矫正后的二维码图像是否可被识别：其中，/>为二维码识别网络对输入的二维码图像判定可被识别的概率，/>为二维码识别网络的权重和偏置；/>和/>分别为S52中的横轴和纵轴直方图。
二维码识别网络中的参数根据以下目标进行迭代更新：其中，为目标识别网络的权重和偏置，/>为迭代更新后得到的目标识别网络的权重和偏置，/>表示如果该二维码可被识别，则其值为1，否则为0。利用训练好的二维码识别网络，将提取的特征与矫正后的二维码图像输入至二维码识别网络中，获得识别结果：其中，True表示二维码可被识别，False表示二维码不可被识别。
本发明还提供了一种基于机器视觉的扫码识别系统，包括：
图像采集及增强模块：采集待识别的二维码图像，并对图像进行增强；
目标识别模块：根据增强后的二维码图像提取二维码在图像中的位置；
图像裁剪模块：基于二维码在图像中的位置计算坐标并根据坐标裁剪增强后的二维码图像；
图像矫正模块：对裁剪后的二维码图像进行矫正；
二维码识别模块：依据矫正后的二维码图像及其特征判断二维码是否可被识别。
本发明中采用的图像增强方法能够增强图像的对比度和亮度，降低图像噪声，使得二维码的边缘和特征更加清晰，有利于二维码识别网络的准确识别。
通过使用YoloV3目标识别网络，本发明能够精确地定位二维码的位置，避免了传统方法中因为图像失真、旋转等问题导致的位置不准确而影响识别效果。通过裁剪二维码周围的无效区域，提高二维码识别网络的计算效率和识别准确率。此外，矫正后的二维码图像更加规整，能够有效提升二维码识别的准确率。
本发明采用了基于深度学习的二维码识别网络，相比于传统的基于特征匹配的识别方法，具有更高的识别速度和更好的鲁棒性。
通过将二维码识别任务分为多个步骤，并对每个步骤进行严格的控制和优化，本发明能够有效避免传统方法中因为图像质量差、光照环境变化、扫码角度等因素导致的识别错误或者识别困难，提高了对二维码识别的稳定性和可靠性。
附图说明
图1为本发明一实施例的一种基于机器视觉的扫码识别方法和系统的流程示意图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
实施例1：一种基于机器视觉的扫码识别方法，如图1所示，包括以下步骤：
S1：获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像。
使用任意摄像头拍摄待识别的二维码图像，并对二维码图像进行增强，所述增强的方式为：其中，为图像像素坐标，K为高斯滤波器数目，I为二维码图像，E为增强后的二维码图像，为高斯滤波器，其表达式为：/>其中，/>为圆周率，e为自然常数，/>为第k个高斯滤波器的方差。
在二维码图像获取过程中，可能由于光线条件不佳、图像模糊、噪声干扰等原因导致图像质量不佳，因此需要对图像进行增强。增强可以改善图像的亮度、对比度、清晰度等特征，为后续的二维码识别做好准备。
S2：基于YoloV3目标识别网络提取增强后的二维码图像中二维码的位置。
将S1获得的增强后的二维码图像输入至目标识别网络，得到二维码的位置，所述目标识别网络的流程为：
S21：定义YoloV3目标识别网络输出：其中，ID为YoloV3目标识别网络，/>为目标识别网络的权重和偏置，output为YoloV3目标识别网络的输出，其组成为：其中，p表示网络预测该目标为二维码的概率，c表示网络预测的置信度，/>表示网络预测的二维码外包围矩形中心点及宽高在图像中的相对值，/>为二维码四个顶点相对于其外包围矩形四个顶点的偏移，用于计算二维码所处的不规则四边形实际的顶点位置，其中1，2，3，4分别对应二维码的左上角、右上角、右下角、左下角顶点，所述网络为YoloV3目标识别网络；
S22：计算网络预测的二维码外包围矩形和真实外包围矩形的误差：其中，S表示YoloV3目标识别网络中定义的检测框数目；/>表示如果第j个检测框有二维码，则其值为1，否则为0；/>表示含有二维码外包围矩形真实中心点及宽高在图像中的相对值；p为网络预测该目标为二维码的概率；/>表示指标权重，本实施例中为5；
S23：计算网络预测的二维码四个顶点和真实的四个顶点的误差：其中，表示含有二维码真实的四个顶点相对于其外包围矩形四个顶点的偏移；
S24：综合S22和S23中的误差用于迭代更新目标识别网络的参数：目标识别网络参数的迭代更新目标为：/>其中，/>为迭代更新后得到的目标识别网络的权重和偏置，argmin表示获取/>取得最小值的目标识别网络参数的取值。
目标识别网络参数的迭代更新方式为： 其中，/>；/>为目标识别网络的学习率，用于控制网络参数每次迭代学习的幅度，本实施例中/>；/>为当前迭代次数；/>用于控制计算稳定，本实施例中，/>；/>和/>用于控制权重分配，本实施例中，/>，/>。
S3：基于S2中提取出的位置裁剪图像增强后的二维码图像，得到裁剪后的二维码图像。
依据S2中迭代更新完成的目标识别网络计算二维码真实的四个顶点位置： 其中，/>和/>为二维码四个顶点所对应的外包围矩形的宽和高。
根据左上、右上、右下和左下的四个顶点，/>，/>和/>裁剪增强后的二维码图像得到裁剪后的二维码图像。
在S2中，基于YoloV3目标识别网络，已经成功地提取出二维码在增强后的图像中的位置信息。因此，S3的目的是通过利用S2中提取出的位置信息，对图像进行裁剪。裁剪后的图像将只包含二维码，排除其他干扰元素的影响。这样可以进一步提高后续矫正和识别的准确性和效率。
S4：对裁剪后的二维码图像进行矫正，获得矫正后的二维码图像。
S41：基于S3中获得的裁剪后的二维码图像，对该图像中的每一个像素使用如下公式转换：其中，/>为裁剪后的二维码图像像素的坐标，为矫正后的二维码图像像素的坐标，矫正后的二维码图像为正方形；/>，/>，/>，，/>，/>，/>和/>为转换系数；S42：计算转换系数：其中，/>为矫正后的二维码图像的长度，本实施例中，/>。在S3中裁剪得到的二维码图像可能存在倾斜、旋转等问题，这会影响后续二维码的识别。因此，需要对裁剪后的二维码图像进行矫正，将其恢复成水平或垂直方向。矫正的目的是保证后续的二维码识别准确性和鲁棒性，使得二维码的信息能够被正确解码。
S5：提取矫正后的二维码图像的特征并利用二维码识别网络辨别矫正后的二维码图像是否可被识别。
提取矫正后的二维码图像的特征，所述特征包括二值化特征和直方图特征，计算方式为：
S51：基于S4获得的矫正后的二维码图像，对该图像进行二值化：其中，/>和/>分别为矫正后的二维码图像和二值化后的二维码图像在/>处的像素值；
S52：提取二值化后的二维码图像在横轴和纵轴上的直方图，其计算方式为：其中，/>和/>为横轴和纵轴坐标点处二值化后的二维码图像中像素值为1的像素数目，/>为矫正后的二维码图像的长度，/>为横轴直方图，统计了二值化后的二维码图像在横轴每一个位置像素值为1的像素所占比例，/>为纵轴直方图，统计了二值化后的二维码图像在纵轴每一个位置像素值为1的像素所占比例。
将提取的特征与矫正后的二维码图像一同输入二维码识别网络，辨别矫正后的二维码图像是否可被识别。本实施例中二维码识别网络为VGG16：其中，/>为二维码识别网络对输入的二维码图像判定可被识别的概率，/>为二维码识别网络的权重和偏置；/>和/>分别为S52中的横轴和纵轴直方图。
二维码识别网络中的参数根据以下目标进行迭代更新：其中，为目标识别网络的权重和偏置，/>为迭代更新后得到的目标识别网络的权重和偏置，/>表示如果该二维码可被识别，则其值为1，否则为0。
二维码识别网络参数的迭代更新方式为：其中，；/>为二维码识别网络的学习率，本实施例中，/>；/>为当前迭代次数；/>。
利用训练好的二维码识别网络，将提取的特征与矫正后的二维码图像输入至二维码识别网络中，获得识别结果：其中，True表示二维码可被识别，False表示二维码不可被识别。
实施例2：本发明还公开了一种基于机器视觉的扫码识别系统，包括以下五个模块：
图像采集及增强模块：采集待识别的二维码图像，并对图像进行增强；
目标识别模块：根据增强后的二维码图像提取二维码在图像中的位置；
图像裁剪模块：基于二维码在图像中的位置计算坐标并根据坐标裁剪增强后的二维码图像；
图像矫正模块：对裁剪后的二维码图像进行矫正；
二维码识别模块：依据矫正后的二维码图像及其特征判断二维码是否可被识别。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种基于机器视觉的扫码识别方法，其特征在于，包括以下步骤：
S1：获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像；
S2：基于YoloV3目标识别网络提取增强后的二维码图像中二维码的位置，具体包括：
将S1获得的增强后的二维码图像输入至目标识别网络，得到二维码的位置，所述目标识别网络的流程为：
S21：定义YoloV3目标识别网络输出：其中，ID为YoloV3目标识别网络，/>为目标识别网络的权重和偏置，output为YoloV3目标识别网络的输出，其组成为：/>其中，p表示网络预测该目标为二维码的概率，c表示网络预测的置信度，/>表示网络预测的二维码外包围矩形中心点及宽高在图像中的相对值，/>为二维码四个顶点相对于其外包围矩形四个顶点的偏移，用于计算二维码所处的不规则四边形实际的顶点位置，其中1，2，3，4分别对应二维码的左上角、右上角、右下角、左下角顶点，所述网络为YoloV3目标识别网络；
S22：计算网络预测的二维码外包围矩形和真实外包围矩形的误差：
其中，S表示YoloV3目标识别网络中定义的检测框数目；/>表示如果第j个检测框有二维码，则其值为1，否则为0；/>表示含有二维码外包围矩形真实中心点及宽高在图像中的相对值；p为网络预测该目标为二维码的概率；/>表示指标权重；
S23：计算网络预测的二维码四个顶点和真实的四个顶点的误差：，其中，表示含有二维码真实的四个顶点相对于其外包围矩形四个顶点的偏移；
S24：综合S22和S23中的误差用于迭代更新目标识别网络的参数：，目标识别网络参数的迭代更新目标为：/>其中，/>为迭代更新后得到的目标识别网络的权重和偏置，argmin表示获取/>取得最小值的目标识别网络参数的取值；
S3：基于步骤S2中提取出的位置裁剪图像增强后的二维码图像，得到裁剪后的二维码图像；
S4：对裁剪后的二维码图像进行矫正，获得矫正后的二维码图像；
S5：提取矫正后的二维码图像的特征并利用二维码识别网络辨别矫正后的二维码图像是否可被识别；
提取矫正后的二维码图像的特征，所述特征包括二值化特征和直方图特征，计算方式为：
S51：基于S4获得的矫正后的二维码图像，对该图像进行二值化：其中，/>和/>分别为矫正后的二维码图像和二值化后的二维码图像在
处的像素值；
S52：提取二值化后的二维码图像在横轴和纵轴上的直方图，其计算方式为：其中，/>和/>为横轴和纵轴坐标点处二值化后的二维码图像中像素值为1的像素数目，
为矫正后的二维码图像的长度，/>为横轴直方图，统计了二值化后的二维码图像在横轴每一个位置像素值为1的像素所占比例，/>为纵轴直方图，统计了二值化后的二维码图像在纵轴每一个位置像素值为1的像素所占比例；
将提取的特征与矫正后的二维码图像一同输入二维码识别网络，辨别矫正后的二维码图像是否可被识别：其中，/>为二维码识别网络对输入的二维码图像判定可被识别的概率，/>为二维码识别网络的权重和偏置；/>和/>分别为S52中的横轴和纵轴直方图；
二维码识别网络中的参数根据以下目标进行迭代更新：其中，/>为目标识别网络的权重和偏置，/>为迭代更新后得到的目标识别网络的权重和偏置，表示如果该二维码可被识别，则其值为1，否则为0；
利用训练好的二维码识别网络，将提取的特征与矫正后的二维码图像输入至二维码识别网络中，获得识别结果：其中，True表示二维码可被识别，False表示二维码不可被识别。
2.根据权利要求1所述的基于机器视觉的扫码识别方法，其特征在于，所述步骤S1中，获取待识别的二维码图像，并对图像进行增强，得到增强后的二维码图像，包括：
使用任意摄像头拍摄待识别的二维码图像，并对二维码图像进行增强，所述增强的方式为：其中，为图像像素坐标，K为高斯滤波器数目，I为二维码图像，E为增强后的二维码图像，为高斯滤波器，其表达式为：/>其中，/>为圆周率，e为自然常数，/>为第k个高斯滤波器的方差。
3.根据权利要求2所述的基于机器视觉的扫码识别方法，其特征在于，所述步骤S3中，包括：
依据S2中迭代更新完成的目标识别网络计算二维码真实的四个顶点位置： 其中，/>和/>为二维码四个顶点所对应的外包围矩形的宽和高；
根据左上、右上、右下和左下的四个顶点 和/>裁剪增强后的二维码图像得到裁剪后的二维码图像。
4.根据权利要求3所述的基于机器视觉的扫码识别方法，其特征在于，所述步骤S4中，包括：
S41：基于S3中获得的裁剪后的二维码图像，对该图像中的每一个像素使用如下公式转换：其中，/>为裁剪后的二维码图像像素的坐标，为矫正后的二维码图像像素的坐标，矫正后的二维码图像为正方形；/> 和/>为转换系数；
S42：计算转换系数：其中，/>为矫正后的二维码图像的长度。
5.一种基于机器视觉的扫码识别系统，其特征在于，包括：
图像采集及增强模块：采集待识别的二维码图像，并对图像进行增强；
目标识别模块：根据增强后的二维码图像提取二维码在图像中的位置；
图像裁剪模块：基于二维码在图像中的位置计算坐标并根据坐标裁剪增强后的二维码图像；
图像矫正模块：对裁剪后的二维码图像进行矫正；
二维码识别模块：依据矫正后的二维码图像及其特征判断二维码是否可被识别；
以实现如权利要求1-4任意一项所述的一种基于机器视觉的扫码识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145797.XA CN116882433B (zh) | 2023-09-07 | 2023-09-07 | 一种基于机器视觉的扫码识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145797.XA CN116882433B (zh) | 2023-09-07 | 2023-09-07 | 一种基于机器视觉的扫码识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116882433A CN116882433A (zh) | 2023-10-13 |
| CN116882433B true CN116882433B (zh) | 2023-12-08 |
Family
ID=88271957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311145797.XA Active CN116882433B (zh) | 2023-09-07 | 2023-09-07 | 一种基于机器视觉的扫码识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116882433B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697381A (zh) * | 2018-11-12 | 2019-04-30 | 恒银金融科技股份有限公司 | 一种二维码图像预处理的方法 |
| CN110046529A (zh) * | 2018-12-11 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 二维码识别方法、装置及设备 |
| CN110941970A (zh) * | 2019-12-05 | 2020-03-31 | 深圳牛图科技有限公司 | 基于全卷积神经网络的高速维码定位识别系统 |
| CN111310508A (zh) * | 2020-02-14 | 2020-06-19 | 北京化工大学 | 一种二维码识别方法 |
| CN111597845A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种二维码检测方法、装置、设备及可读存储介质 |
| CN111951287A (zh) * | 2020-08-21 | 2020-11-17 | 公安部交通管理科学研究所 | 一种二维码检测和识读方法 |
| WO2020238239A1 (zh) * | 2019-05-31 | 2020-12-03 | 创新先进技术有限公司 | 二维码识别方法、二维码定位识别模型建立方法及其装置 |
| CN112347805A (zh) * | 2020-11-25 | 2021-02-09 | 广东开放大学（广东理工职业学院） | 一种多目标二维码检测识别方法、系统、装置及存储介质 |
| CN113920294A (zh) * | 2021-10-20 | 2022-01-11 | 广东亿迅科技有限公司 | 一种海量发票的识别方法、系统及存储介质 |
| CN114139564A (zh) * | 2021-12-07 | 2022-03-04 | Oppo广东移动通信有限公司 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
| CN114693908A (zh) * | 2022-03-08 | 2022-07-01 | 东莞理工学院 | 一种基于YOLOv5的工业二维码定位方法 |
| CN115270839A (zh) * | 2022-07-21 | 2022-11-01 | 河南埃尔森智能科技有限公司 | 一种基于PPYOLOv2模型的工业场景QR Code检测与识别方法 |
| CN115457254A (zh) * | 2022-08-31 | 2022-12-09 | 上海致景信息科技有限公司 | 一种基于深度学习的二维码定位正畸方法、介质及处理器 |
| CN116011480A (zh) * | 2023-03-28 | 2023-04-25 | 武汉大水云科技有限公司 | 基于二维码标识符的水位获取方法、装置、设备及介质 |
| WO2023070954A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京航天自动控制研究所 | 一种基于机器视觉的集卡引导和单双箱识别方法和装置 |
| CN116206189A (zh) * | 2022-09-03 | 2023-06-02 | 辽宁科技大学 | 一种曲面图形标识码及其识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10956696B2 (en) * | 2019-05-31 | 2021-03-23 | Advanced New Technologies Co., Ltd. | Two-dimensional code identification and positioning |
-
2023
- 2023-09-07 CN CN202311145797.XA patent/CN116882433B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697381A (zh) * | 2018-11-12 | 2019-04-30 | 恒银金融科技股份有限公司 | 一种二维码图像预处理的方法 |
| CN110046529A (zh) * | 2018-12-11 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 二维码识别方法、装置及设备 |
| CN111597845A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种二维码检测方法、装置、设备及可读存储介质 |
| WO2020238239A1 (zh) * | 2019-05-31 | 2020-12-03 | 创新先进技术有限公司 | 二维码识别方法、二维码定位识别模型建立方法及其装置 |
| CN110941970A (zh) * | 2019-12-05 | 2020-03-31 | 深圳牛图科技有限公司 | 基于全卷积神经网络的高速维码定位识别系统 |
| CN111310508A (zh) * | 2020-02-14 | 2020-06-19 | 北京化工大学 | 一种二维码识别方法 |
| CN111951287A (zh) * | 2020-08-21 | 2020-11-17 | 公安部交通管理科学研究所 | 一种二维码检测和识读方法 |
| CN112347805A (zh) * | 2020-11-25 | 2021-02-09 | 广东开放大学（广东理工职业学院） | 一种多目标二维码检测识别方法、系统、装置及存储介质 |
| CN113920294A (zh) * | 2021-10-20 | 2022-01-11 | 广东亿迅科技有限公司 | 一种海量发票的识别方法、系统及存储介质 |
| WO2023070954A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京航天自动控制研究所 | 一种基于机器视觉的集卡引导和单双箱识别方法和装置 |
| CN114139564A (zh) * | 2021-12-07 | 2022-03-04 | Oppo广东移动通信有限公司 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
| CN114693908A (zh) * | 2022-03-08 | 2022-07-01 | 东莞理工学院 | 一种基于YOLOv5的工业二维码定位方法 |
| CN115270839A (zh) * | 2022-07-21 | 2022-11-01 | 河南埃尔森智能科技有限公司 | 一种基于PPYOLOv2模型的工业场景QR Code检测与识别方法 |
| CN115457254A (zh) * | 2022-08-31 | 2022-12-09 | 上海致景信息科技有限公司 | 一种基于深度学习的二维码定位正畸方法、介质及处理器 |
| CN116206189A (zh) * | 2022-09-03 | 2023-06-02 | 辽宁科技大学 | 一种曲面图形标识码及其识别方法 |
| CN116011480A (zh) * | 2023-03-28 | 2023-04-25 | 武汉大水云科技有限公司 | 基于二维码标识符的水位获取方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116882433A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046529B (zh) | 二维码识别方法、装置及设备 | |
| CN109165538B (zh) | 基于深度神经网络的条形码检测方法及装置 | |
| CN113591967B (zh) | 一种图像处理方法、装置、设备及计算机存储介质 | |
| CN111507324B (zh) | 卡片边框识别方法、装置、设备和计算机存储介质 | |
| CN112307786B (zh) | 一种多个不规则二维码批量定位识别方法 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN113903024A (zh) | 一种手写票据数值信息识别方法、系统、介质及装置 | |
| CN108961262B (zh) | 一种复杂场景下的条码定位方法 | |
| CN111767754B (zh) | 一种识别码的识别方法、装置、电子设备及存储介质 | |
| CN112580383A (zh) | 二维码识别方法、装置、电子设备及存储介质 | |
| CN114037992A (zh) | 仪表示数识别方法、装置、电子设备及存储介质 | |
| CN109190452A (zh) | 作物行识别方法及装置 | |
| CN116882433B (zh) | 一种基于机器视觉的扫码识别方法和系统 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN109993715A (zh) | 一种机器人视觉图像预处理系统及图像处理方法 | |
| CN111047614B (zh) | 一种基于特征提取的复杂场景图像的目标角点提取方法 | |
| CN110298347B (zh) | 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法 | |
| CN112101058A (zh) | 一种试卷条码自动识别方法及装置 | |
| CN116758266A (zh) | 一种指针式仪表的读数方法 | |
| CN115457559B (zh) | 一种将文本及证照类图片智能摆正的方法、装置和设备 | |
| CN116167394A (zh) | 一种条码识别方法及系统 | |
| CN116052020A (zh) | 基于无人机的图像快速解译方法 | |
| CN114927236A (zh) | 一种面向多重目标图像的检测方法及系统 | |
| CN111091086A (zh) | 一种利用机器视觉技术提高物流面单特征信息识别率的方法 | |
| CN118153607B (zh) | 一种基于机器视觉的一维码定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A machine vision based scanning code recognition method and system Granted publication date: 20231208 Pledgee: Bank of Suzhou Limited by Share Ltd. Wuxi branch Pledgor: WUXI WEKAY TECHNOLOGY CO.,LTD. Registration number: Y2024980024894 |