CN115082923A - 一种基于机器视觉的牛奶包装盒生产日期识别方法 - Google Patents

一种基于机器视觉的牛奶包装盒生产日期识别方法 Download PDF

Info

Publication number
CN115082923A
CN115082923A CN202211015752.6A CN202211015752A CN115082923A CN 115082923 A CN115082923 A CN 115082923A CN 202211015752 A CN202211015752 A CN 202211015752A CN 115082923 A CN115082923 A CN 115082923A
Authority
CN
China
Prior art keywords
image
pixel point
production date
gradient
packing box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211015752.6A
Other languages
English (en)
Other versions
CN115082923B (zh
Inventor
王强
丁超
田亚铃
彭悦蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Technological University CDTU
Original Assignee
Chengdu Technological University CDTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Technological University CDTU filed Critical Chengdu Technological University CDTU
Priority to CN202211015752.6A priority Critical patent/CN115082923B/zh
Publication of CN115082923A publication Critical patent/CN115082923A/zh
Application granted granted Critical
Publication of CN115082923B publication Critical patent/CN115082923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于机器视觉的牛奶包装盒生产日期识别方法，包括以下步骤：S1、采集牛奶包装盒生产日期图像，并对牛奶包装盒生产日期图像提取模板图像；S2、根据模板图像，采用多张牛奶包装盒生产日期图像的所有字符的分割区域，构建训练数据集；S3、对训练数据集中每个分割区域调整大小，并计算调整大小后的分割区域的梯度方向直方图特征；S4、采用梯度方向直方图特征对SVM分类器进行训练，得到训练完成的SVM分类器；S5、采用训练完成的SVM分类器对待识别的牛奶包装盒生产日期图像的梯度方向直方图特征进行处理，得到牛奶包装盒生产日期；本发明解决了现有字符识别方法准确率低的问题。

Description

一种基于机器视觉的牛奶包装盒生产日期识别方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于机器视觉的牛奶包装盒生产日期识别方法。
背景技术
我国《食品安全国家标准，预包装食品标签通则》和《食品标识管理规定》等对食品包装生产日期有明确的规定，要求日期打印要完整清晰、无打印不全、漏打、污染等情况出现。牛奶作为人们日常生活中的常用食品，其需求量巨大而且还在不断增长。我国的牛奶生产水平在不断提高。但是，在牛奶的外包装检测方面，还比较落后，尤其是牛奶生产日期检测方面，主要还依靠人工进行检测。远远落后于发达国家的自动化检测手段。
目前我国牛奶包装盒上的生产日期主要采用点阵字符喷印而成，其原因是因为早期的字符喷印主要是点阵喷码机，而重新更换激光喷码机需要巨大的成本，对于我国大多数牛奶生产企业而言，是沉重的负担。
通常，在牛奶包装产线中，每秒的运动速度在6到10个产品之间，其运动速度较快。由于被检测产品处于运动中，导致采集的图像质量容易受到外界因素的影响而变得不可预知，从而增加了图像处理的难度。
相对于连续笔画的字符检测而言，点阵字符由于笔画不连续，要实现自动化检测这种字符是否存在缺陷比较困难。目前，虽然国内已有一些基于视觉的点阵字符识别与缺陷检测设备，但这些设备基本无法完全满足企业检测的需求。其检测精度按照99%计算。一家牛奶生产企业一条生产线一天的牛奶包装量是十万盒左右，以小规模生产企业十条生产线来计算，每天误判的包装量就在一万盒，需要人工对其进行复检，而大量的企业远不止十条生产线。因此，现有的检测方法仍然需要大量的人工进行复检，难以满足企业生产的要求。通过调研，企业对检测误判率的要求一般是万分之三，而现有的检测方法还远不能达到。
在已知的点阵字符识别研究中，主要采用神经网络的方式进行识别。基于CNNs识别反馈的点阵字符检测方法首先采用多尺度窗口获取多个候选区域并建立CNNs对其进行识别，利用投票机制对多个识别结果进行综合决策，然后根据决策结果反向定位点阵字符并完成字符分割，最后采用一种滑动翻转窗口对所有字符进行分割与识别。该方法点阵字符识别率97.50%。影响该识别结果主要有两个方面，首先是字符分割是否准确，其次是识别结果主要依据神经网络，其原理还是一种概率预测，因此无法达到工业检测要求。
现有基于PNN的点阵喷码字符识别方法首先采用FAST角点检测算法定位喷码字符；然后对字符进行倾斜校正，采用的是Hough变换法计算倾斜角度，根据计算的角度将喷码点阵字符旋转到水平位置；再采用水平投影法和垂直投影法将字符分割为单个字符；最后提取点阵喷码字符的HOG特征和网格特征,利用概率神经网络进行识别，识别精度为97.1%。该方法最后也是采用神经网络的方式进行识别。影响识别准确率的因素包括字符定位和准确定和字符分割的准确性。因此，虽然最终的识别结果都在97%左右，但是离工业检测要求的万分之三的误判率，还是有很大的差距。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于机器视觉的牛奶包装盒生产日期识别方法解决了现有字符识别方法准确率低的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于机器视觉的牛奶包装盒生产日期识别方法，包括以下步骤：
S1、采集牛奶包装盒生产日期图像，并对牛奶包装盒生产日期图像提取模板图像；
S2、根据模板图像，采用多张牛奶包装盒生产日期图像的所有字符的分割区域，构建训练数据集；
S3、对训练数据集中每个分割区域调整大小，并计算调整大小后的分割区域的梯度方向直方图特征；
S4、采用梯度方向直方图特征对SVM分类器进行训练，得到训练完成的SVM分类器；
S5、采用训练完成的SVM分类器对待识别的牛奶包装盒生产日期图像的梯度方向直方图特征进行处理，得到牛奶包装盒生产日期。
进一步地，所述步骤S1包括以下分步骤：
S11、采集牛奶包装盒生产日期图像；
S12、以生产日期处于水平位置为条件，将牛奶包装盒生产日期图像进行放置；
S13、对放置后的牛奶包装盒生产日期图像框选出生产日期区域，得到标准字符区域图像；
S14、对标准字符区域图像进行高斯金字塔降采样，得到模板图像。
进一步地，所述步骤S2包括以下分步骤：
S21、根据模板图像，将待检测图像的生产日期区域变换至水平位置；
S22、采用阈值分割模型对变换至水平位置的待检测图像的生产日期区域进行处理，得到点阵字符的区域；
S23、对点阵字符的区域进行数学形态学运算，得到点阵字符的显著区域，并将点阵字符的显著区域中存在的“1”字符提取出来；
S24、判断提取后的点阵字符的显著区域中是否存在多行点阵字符，若是，则采用水平投影，将多行点阵字符拆解成多个单行点阵字符，并跳转至步骤S25，若否，则直接跳转至步骤S25；
S25、提取每行点阵字符的外形轮廓，得到轮廓最小包围矩形；
S26、判断设定的喷码点阵字符的高度与轮廓最小包围矩形的高度的比值是否大于第一阈值，若是，则排除该轮廓最小包围矩形，并跳转至步骤S28，若否，则跳转至步骤S27；
S27、判断轮廓最小包围矩形的宽度与设定的喷码点阵字符的宽度的比值是否大于第二阈值，若是，则跳转至步骤S28，若否，则排除该轮廓最小包围矩形，并跳转至步骤S28；
S28、对经过步骤S26和S27剩余的轮廓最小包围矩形进行分割，得到所有字符的分割区域；
S29、将多张牛奶包装盒生产日期图像的所有字符的分割区域，构建为训练数据集。
上述进一步方案的有益效果为：步骤S21能够将待检测区域旋转到水平位置，步骤S22将字符分割出来，步骤S23将字符较窄的字符提取出来，通过步骤S24到S28能够将所有字符单独分割出来，步骤S21到S28能够准确分割出每个字符，从而为训练和识别做好准备，准确分割是训练和识别的基础。
进一步地，所述步骤S21包括以下分步骤：
S211、根据模板图像生成不同旋转角度的模板子图像；
S212、计算每张模板子图像中每个像素点的梯度，得到所有模板子图像的像素点梯度向量；
S213、计算待检测图像的像素点梯度向量与每张模板子图像的像素点梯度向量内积，得到多个匹配值；
S214、根据最大匹配值对应的模板子图像，得到待检测图像的生产日期区域和旋转角度；
S215、根据旋转角度，将待检测图像的生产日期区域变换至水平位置。
进一步地，所述步骤S212中每张模板子图像的像素点梯度向量为：
Figure 447221DEST_PATH_IMAGE001
Figure 270821DEST_PATH_IMAGE002
Figure 393497DEST_PATH_IMAGE003
Figure 868210DEST_PATH_IMAGE004
其中，
Figure 50930DEST_PATH_IMAGE005
为每张模板子图像的像素点梯度向量，
Figure 361825DEST_PATH_IMAGE006
为每张模板子图像中第
Figure 288193DEST_PATH_IMAGE007
个像素点的梯度向量，
Figure 102565DEST_PATH_IMAGE008
为每张模板子图像中第1个像素点的梯度向量，
Figure 472498DEST_PATH_IMAGE009
为每张模板子图像中第
Figure 270690DEST_PATH_IMAGE010
个像素点的梯度向量，
Figure 748DEST_PATH_IMAGE011
为每张模板子图像中像素点的数量，
Figure 669627DEST_PATH_IMAGE012
为每张模板子图像中第
Figure 708996DEST_PATH_IMAGE007
个像素点在
Figure 728905DEST_PATH_IMAGE013
方向上的梯度，
Figure 997075DEST_PATH_IMAGE014
为每张模板子图像中第
Figure 786039DEST_PATH_IMAGE007
个像素点在
Figure 747042DEST_PATH_IMAGE015
方向上的梯度，
Figure 4979DEST_PATH_IMAGE016
为每张模板子图像中第
Figure 811261DEST_PATH_IMAGE007
个像素点在
Figure 985891DEST_PATH_IMAGE017
位置的像素值，
Figure 586636DEST_PATH_IMAGE018
为每张模板子图像中第
Figure 846716DEST_PATH_IMAGE007
个像素点
Figure 191110DEST_PATH_IMAGE019
的像素值，
Figure 469513DEST_PATH_IMAGE020
为每张模板子图像中第
Figure 506739DEST_PATH_IMAGE007
个像素点在
Figure 988536DEST_PATH_IMAGE021
位置的像素值。
进一步地，所述步骤S22中阈值分割模型为：
Figure 402200DEST_PATH_IMAGE022
Figure 20263DEST_PATH_IMAGE023
其中，
Figure 244702DEST_PATH_IMAGE024
为分割阈值，
Figure 948216DEST_PATH_IMAGE025
为像素点的邻域半径，
Figure 899992DEST_PATH_IMAGE026
为像素点的横坐标，
Figure 903720DEST_PATH_IMAGE027
为像素点的纵坐标，
Figure 17169DEST_PATH_IMAGE028
为像素点
Figure 722826DEST_PATH_IMAGE029
的邻域像素点横坐标索引，
Figure 212713DEST_PATH_IMAGE030
为像素点
Figure 70948DEST_PATH_IMAGE029
的邻域像素点纵坐标索引，
Figure 886457DEST_PATH_IMAGE031
为修正系数，
Figure 564563DEST_PATH_IMAGE032
为标准偏差的动态范围，
Figure 608874DEST_PATH_IMAGE033
为像素点
Figure 56035DEST_PATH_IMAGE034
的像素值。
进一步地，所述步骤S3包括以下分步骤：
S31、将训练数据集中每个分割区域的大小调整为32×32；
S32、对每个32×32分割区域计算梯度方向直方图特征。
进一步地，所述步骤S32中计算梯度方向直方图特征的窗口大小为32×32，块大小为16×16，单元格大小为8×8，梯度方向角度在180°范围内分为9个区间，窗口步长为8，计算出的梯度方向直方图特征数量为324维；
所述梯度方向直方图特征包括：梯度、梯度幅值和梯度方向；
所述梯度公式为：
Figure 42446DEST_PATH_IMAGE035
Figure 207848DEST_PATH_IMAGE036
所述梯度幅值公式为：
Figure 305117DEST_PATH_IMAGE037
所述梯度方向公式为：
Figure 957570DEST_PATH_IMAGE038
其中，
Figure 849302DEST_PATH_IMAGE039
为分割区域的像素点
Figure 767580DEST_PATH_IMAGE040
在
Figure 137381DEST_PATH_IMAGE041
方向的梯度，
Figure 824715DEST_PATH_IMAGE042
为分割区域的像素点
Figure 638081DEST_PATH_IMAGE040
在
Figure 778075DEST_PATH_IMAGE043
方向的梯度，
Figure 482726DEST_PATH_IMAGE044
为分割区域的像素点在
Figure 758987DEST_PATH_IMAGE045
位置的像素值，
Figure 258101DEST_PATH_IMAGE046
为分割区域的像素点
Figure 869080DEST_PATH_IMAGE040
的像素值，
Figure 846263DEST_PATH_IMAGE047
为分割区域的像素点在
Figure 242609DEST_PATH_IMAGE048
位置的像素值，
Figure 912625DEST_PATH_IMAGE049
为梯度幅值，
Figure 27212DEST_PATH_IMAGE050
为梯度方向角度。
综上，本发明的有益效果为：
1、采用高斯金字塔降采样，有效降低了数据量，每降采样一次，数据量减少75%，提高了检测速度，满足了本发明方法在生产线上的检测速度要求。
2、采用梯度方向向量之间的点积进行匹配定位，梯度不受光照变化的影响，对于匹配区域，向量的大小接近，对于不匹配区域，向量的大小区别较大，该方法提高了定位精度，保证了检测区域定位准确可靠。而且，该方法不受光照变化的影响，对于部分遮挡的情况，也可以准确找到字符区域。
3、采用设定字符间距、投影分割及轮廓特征结合的方式进行字符区域分割，保证了字符分割的准确性，
4、采用梯度方向直方图特征作为训练和识别特征，作为一种梯度特征，该特征不受光照变化的影响，判别性高，采用SVM作为分类器，SVM方法有完整的数学理论证明，对于小样本训练，也可以实现准确分类，有效提高了字符识别的准确率。该方法能够满足牛奶包装企业对其生产日期的检测精度要求。
附图说明
图1为一种基于机器视觉的牛奶包装盒生产日期识别方法的流程图；
图2为每行点阵字符的外形轮廓示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
在提高生产日期点阵字符识别准确率中，最关键的因素在于生产日期字符区域的定位准确性和字符分割的准确性。已有方法中，无论是基于投票机制的概率统计方法，还是采用角点校测方法，都不能够在生产日期字符区域定位上达到企业检测要求，对于字符分割问题，现有的方法同样不能保证准确分割。从而导致最终的识别结果达不到企业的检测精度要求。此外，基于CNNs识别反馈的点阵字符检测方法采用卷积神经网络的方式进行识别，需要大量的正负样本进行训练，而实际生产中，负样本是比较少的，从而也限制了识别准确率。
本发明提出了一种新的基于机器视觉的牛奶包装盒生产日期在线检测方法。首先，采用基于梯度方向的方式进行模板匹配，实现字符区域定位，并根据定位结果将字符区域旋转到水平位置；其次，分离出所有点阵字符区域；然后，由于数字的特点，除了数字“1”之外，其他的数字宽度几乎都是一致的，因此，结合投影算法，轮廓提取算法和点阵字符宽度一致的特点，采用数学形态学方法保证点阵字符连通，提取字符区域的轮廓，结合字符间距特点，保证分割的准确性。最后，提取每个字符区域的梯度方向直方图特征，采用SVM（支持向量机）进行训练和识别。为了保证检测速度要求，对图像进行了高斯金字塔降采样，大大降低了图像数据量，从而提高图像处理速度，达到了企业检测的速度要求。
该发明能够准确定位字符区域，能够准确分割出每个字符，采用SVM方式进行训练，需要的样本量小，采用梯度方向直方图作为特征，能够唯一的表达每一张字符图像，因此识别准确率高，识别速度快，能够满足企业实际检测要求。
如图1所示，一种基于机器视觉的牛奶包装盒生产日期识别方法，包括以下步骤：
S1、采集牛奶包装盒生产日期图像，并对牛奶包装盒生产日期图像提取模板图像；
所述步骤S1包括以下分步骤：
S11、采集牛奶包装盒生产日期图像；
在本实施例中，步骤S11中牛奶包装盒生产日期图像优先选取实际生产中在产线的完整清晰的牛奶包装盒生产日期图像。
S12、以生产日期处于水平位置为条件，将牛奶包装盒生产日期图像进行放置；
S13、对放置后的牛奶包装盒生产日期图像框选出生产日期区域，得到标准字符区域图像；
S14、对标准字符区域图像进行高斯金字塔降采样，得到模板图像。
在本实施例中，采样的层数根据实际要求确定，通常设置为4层降采样，得到模板图像，设置高斯降采样的目的是降低数据量，提高计算速度。
S2、根据模板图像，采用多张牛奶包装盒生产日期图像的所有字符的分割区域，构建训练数据集；
所述步骤S2包括以下分步骤：
S21、根据模板图像，将待检测图像的生产日期区域变换至水平位置；
所述步骤S21包括以下分步骤：
S211、根据模板图像生成不同旋转角度的模板子图像；
在本实施例中，步骤S211中根据实际生产中牛奶盒在产线上可能偏移的最大角度，设置模板图像旋转增量角和最大旋转角度，在每个设定的角度内生成一张模板子图像。
S212、计算每张模板子图像中每个像素点的梯度，得到所有模板子图像的像素点梯度向量；
所述步骤S212中每张模板子图像的像素点梯度向量为：
Figure 293239DEST_PATH_IMAGE001
Figure 809671DEST_PATH_IMAGE002
Figure 385009DEST_PATH_IMAGE051
Figure 986892DEST_PATH_IMAGE004
其中，
Figure 305877DEST_PATH_IMAGE005
为每张模板子图像的像素点梯度向量，
Figure 926084DEST_PATH_IMAGE006
为每张模板子图像中第
Figure 937902DEST_PATH_IMAGE007
个像素点的梯度向量，
Figure 495922DEST_PATH_IMAGE008
为每张模板子图像中第1个像素点的梯度向量，
Figure 884178DEST_PATH_IMAGE009
为每张模板子图像中第
Figure 844044DEST_PATH_IMAGE010
个像素点的梯度向量，
Figure 777496DEST_PATH_IMAGE011
为每张模板子图像中像素点的数量，
Figure 353971DEST_PATH_IMAGE012
为每张模板子图像中第
Figure 14759DEST_PATH_IMAGE007
个像素点在
Figure 94711DEST_PATH_IMAGE013
方向上的梯度，
Figure 448332DEST_PATH_IMAGE014
为每张模板子图像中第
Figure 495791DEST_PATH_IMAGE007
个像素点在
Figure 960270DEST_PATH_IMAGE015
方向上的梯度，
Figure 894728DEST_PATH_IMAGE016
为每张模板子图像中第
Figure 684830DEST_PATH_IMAGE007
个像素点在
Figure 439159DEST_PATH_IMAGE017
位置的像素值，
Figure 723641DEST_PATH_IMAGE018
为每张模板子图像中第
Figure 778185DEST_PATH_IMAGE007
个像素点
Figure 208029DEST_PATH_IMAGE019
的像素值，
Figure 980813DEST_PATH_IMAGE020
为每张模板子图像中第
Figure 787095DEST_PATH_IMAGE007
个像素点在
Figure 945413DEST_PATH_IMAGE021
位置的像素值。
S213、计算待检测图像的像素点梯度向量与每张模板子图像的像素点梯度向量内积，得到多个匹配值；
在步骤S213中，在计算一张模板子图像的像素点梯度向量与待检测图像的像素点梯度向量的内积时，采用该张模板子图像在待检测图像中移动的方式，每移动一次，计算一次匹配值，即对于一张模板子图像就存在多个匹配值。
在本实施例中，得到待检测图像的像素点梯度向量的方法为：待检测图像为生产线上采集的牛奶包装盒生产日期图像，通过步骤S12~ S14和S211 ~ S212 方法得到对应的像素点梯度向量。
所述步骤S213中匹配值的公式为：
Figure 811738DEST_PATH_IMAGE052
其中，
Figure 806238DEST_PATH_IMAGE053
为第
Figure 681791DEST_PATH_IMAGE054
张模板子图像第
Figure 445347DEST_PATH_IMAGE055
次移动时的像素点梯度向量与待检测图像的像素点梯度向量的匹配值，
Figure 233306DEST_PATH_IMAGE056
为第
Figure 715103DEST_PATH_IMAGE057
张模板子图像中第
Figure 128767DEST_PATH_IMAGE055
次移动时的第
Figure 12409DEST_PATH_IMAGE058
个像素点梯度向量，
Figure 954957DEST_PATH_IMAGE059
为第
Figure 970055DEST_PATH_IMAGE054
张模板子图像在待检测图像中第
Figure 452989DEST_PATH_IMAGE055
次移动时，所覆盖待检测图像区域中第
Figure 925559DEST_PATH_IMAGE058
个像素点的梯度向量，
Figure 320899DEST_PATH_IMAGE060
为模运算，
Figure 511709DEST_PATH_IMAGE061
为移动次数，
Figure 267176DEST_PATH_IMAGE062
为模板子图像数量，
Figure 859831DEST_PATH_IMAGE063
为像素点的数量。
S214、根据最大匹配值对应的模板子图像，得到待检测图像的生产日期区域和旋转角度；
S215、根据旋转角度，将待检测图像的生产日期区域变换至水平位置。
在本实施例中，因为每一幅模板子图像对应了一个角度，从而得到待检测图像的字符区域位置和对应的旋转角度。对原始采集的待检测图像进行旋转，将生产日期区域变换到水平位置。
S22、采用阈值分割模型对变换至水平位置的待检测图像的生产日期区域进行处理，得到点阵字符的区域；
所述步骤S22中阈值分割模型为：
Figure 675340DEST_PATH_IMAGE022
Figure 602714DEST_PATH_IMAGE064
其中，
Figure 896292DEST_PATH_IMAGE024
为分割阈值，
Figure 609033DEST_PATH_IMAGE025
为像素点的邻域半径，
Figure 329864DEST_PATH_IMAGE026
为像素点的横坐标，
Figure 760846DEST_PATH_IMAGE027
为像素点的纵坐标，
Figure 343268DEST_PATH_IMAGE028
为像素点
Figure 910515DEST_PATH_IMAGE029
的邻域像素点横坐标索引，
Figure 67827DEST_PATH_IMAGE030
为像素点
Figure 454946DEST_PATH_IMAGE029
的邻域像素点纵坐标索引，
Figure 355906DEST_PATH_IMAGE031
为修正系数，
Figure 26928DEST_PATH_IMAGE065
，
Figure 355141DEST_PATH_IMAGE032
为标准偏差的动态范围，
Figure 229556DEST_PATH_IMAGE032
取128，
Figure 668628DEST_PATH_IMAGE033
为像素点
Figure 210468DEST_PATH_IMAGE034
的像素值。
S23、对点阵字符的区域进行数学形态学运算，得到点阵字符的显著区域，并将点阵字符的显著区域中存在的“1”字符提取出来；
S24、判断提取后的点阵字符的显著区域中是否存在多行点阵字符，若是，则采用水平投影，将多行点阵字符拆解成多个单行点阵字符，并跳转至步骤S25，若否，则直接跳转至步骤S25；
S25、提取每行点阵字符的外形轮廓，得到轮廓最小包围矩形，如图2所示；
S26、判断设定的喷码点阵字符的高度与轮廓最小包围矩形的高度的比值是否大于第一阈值，若是，则排除该轮廓最小包围矩形，并跳转至步骤S28，若否，则跳转至步骤S27；
其中，第一阈值大于1，即轮廓最小包围矩形的高度小于设定的喷码点阵字符的高度一定比例。
S27、判断轮廓最小包围矩形的宽度与设定的喷码点阵字符的宽度的比值是否大于第二阈值，若是，则跳转至步骤S28，若否，则排除该轮廓最小包围矩形，并跳转至步骤S28；
其中，第二阈值大于1，即轮廓最小包围矩形的宽度超过设定的喷码点阵字符的宽度一定比例。
S28、对经过步骤S26和S27剩余的轮廓最小包围矩形进行分割，得到所有字符的分割区域；
在本实施例中，对于步骤S28，按照等距方式对轮廓最小包围矩形进行分割。
S29、将多张牛奶包装盒生产日期图像的所有字符的分割区域，构建为训练数据集。
S3、对训练数据集中每个分割区域调整大小，并计算调整大小后的分割区域的梯度方向直方图特征；
所述步骤S3包括以下分步骤：
S31、将训练数据集中每个分割区域的大小调整为32×32；
S32、对每个32×32分割区域计算梯度方向直方图特征。
所述步骤S32中计算梯度方向直方图特征的窗口大小为32×32，块大小为16×16，单元格大小为8×8，梯度方向角度在180°范围内分为9个区间，计算出的梯度方向直方图特征数量为324维；
所述梯度方向直方图特征包括：梯度、梯度幅值和梯度方向；
所述梯度公式为：
Figure 194735DEST_PATH_IMAGE066
Figure 822026DEST_PATH_IMAGE036
所述梯度幅值公式为：
Figure 799209DEST_PATH_IMAGE037
所述梯度方向公式为：
Figure 461134DEST_PATH_IMAGE038
其中，
Figure 865571DEST_PATH_IMAGE039
为分割区域的像素点
Figure 963846DEST_PATH_IMAGE040
在
Figure 744720DEST_PATH_IMAGE041
方向的梯度，
Figure 261152DEST_PATH_IMAGE042
为分割区域的像素点
Figure 836490DEST_PATH_IMAGE040
在
Figure 172793DEST_PATH_IMAGE043
方向的梯度，
Figure 508091DEST_PATH_IMAGE044
为分割区域的像素点在
Figure 613450DEST_PATH_IMAGE045
位置的像素值，
Figure 625268DEST_PATH_IMAGE046
为分割区域的像素点
Figure 714447DEST_PATH_IMAGE040
的像素值，
Figure 571545DEST_PATH_IMAGE047
为分割区域的像素点在
Figure 311836DEST_PATH_IMAGE048
位置的像素值，
Figure 228977DEST_PATH_IMAGE049
为梯度幅值，
Figure 539872DEST_PATH_IMAGE050
为梯度方向角度。
S4、采用梯度方向直方图特征对SVM分类器进行训练，得到训练完成的SVM分类器；
S5、采用训练完成的SVM分类器对待识别的牛奶包装盒生产日期图像的梯度方向直方图特征进行处理，得到牛奶包装盒生产日期。
在本实施例中，步骤S5中待识别的牛奶包装盒生产日期图像的梯度方向直方图特征为：待识别的牛奶包装盒生产日期图像通过步骤S1、S2和S3中的方法，得到的梯度方向直方图特征。

Claims (9)

1.一种基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，包括以下步骤：
S1、采集牛奶包装盒生产日期图像，并对牛奶包装盒生产日期图像提取模板图像；
S2、根据模板图像，采用多张牛奶包装盒生产日期图像的所有字符的分割区域，构建训练数据集；
S3、对训练数据集中每个分割区域调整大小，并计算调整大小后的分割区域的梯度方向直方图特征；
S4、采用梯度方向直方图特征对SVM分类器进行训练，得到训练完成的SVM分类器；
S5、采用训练完成的SVM分类器对待识别的牛奶包装盒生产日期图像的梯度方向直方图特征进行处理，得到牛奶包装盒生产日期。
2.根据权利要求1所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S1包括以下分步骤：
S11、采集牛奶包装盒生产日期图像；
S12、以生产日期处于水平位置为条件，将牛奶包装盒生产日期图像进行放置；
S13、对放置后的牛奶包装盒生产日期图像框选出生产日期区域，得到标准字符区域图像；
S14、对标准字符区域图像进行高斯金字塔降采样，得到模板图像。
3.根据权利要求1所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S2包括以下分步骤：
S21、根据模板图像，将待检测图像的生产日期区域变换至水平位置；
S22、采用阈值分割模型对变换至水平位置的待检测图像的生产日期区域进行处理，得到点阵字符的区域；
S23、对点阵字符的区域进行数学形态学运算，得到点阵字符的显著区域，并将点阵字符的显著区域中存在的“1”字符提取出来；
S24、判断提取后的点阵字符的显著区域中是否存在多行点阵字符，若是，则采用水平投影，将多行点阵字符拆解成多个单行点阵字符，并跳转至步骤S25，若否，则直接跳转至步骤S25；
S25、提取每行点阵字符的外形轮廓，得到轮廓最小包围矩形；
S26、判断设定的喷码点阵字符的高度与轮廓最小包围矩形的高度的比值是否大于第一阈值，若是，则排除该轮廓最小包围矩形，并跳转至步骤S28，若否，则跳转至步骤S27；
S27、判断轮廓最小包围矩形的宽度与设定的喷码点阵字符的宽度的比值是否大于第二阈值，若是，则跳转至步骤S28，若否，则排除该轮廓最小包围矩形，并跳转至步骤S28；
S28、对经过步骤S26和S27剩余的轮廓最小包围矩形进行分割，得到所有字符的分割区域；
S29、将多张牛奶包装盒生产日期图像的所有字符的分割区域，构建为训练数据集。
4.根据权利要求3所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S21包括以下分步骤：
S211、根据模板图像生成不同旋转角度的模板子图像；
S212、计算每张模板子图像中每个像素点的梯度，得到所有模板子图像的像素点梯度向量；
S213、计算待检测图像的像素点梯度向量与每张模板子图像的像素点梯度向量内积，得到多个匹配值；
S214、根据最大匹配值对应的模板子图像，得到待检测图像的生产日期区域和旋转角度；
S215、根据旋转角度，将待检测图像的生产日期区域变换至水平位置。
5.根据权利要求4所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S212中每张模板子图像的像素点梯度向量为：
Figure 801506DEST_PATH_IMAGE001
Figure 147037DEST_PATH_IMAGE002
Figure 500658DEST_PATH_IMAGE003
Figure 298850DEST_PATH_IMAGE004
其中，
Figure 12597DEST_PATH_IMAGE005
为每张模板子图像的像素点梯度向量，
Figure 212634DEST_PATH_IMAGE006
为每张模板子图像中第
Figure 737156DEST_PATH_IMAGE007
个像素点的梯度向量，
Figure 22644DEST_PATH_IMAGE008
为每张模板子图像中第1个像素点的梯度向量，
Figure 290814DEST_PATH_IMAGE009
为每张模板子图像中第
Figure 96090DEST_PATH_IMAGE010
个像素点的梯度向量，
Figure 791514DEST_PATH_IMAGE011
为每张模板子图像中像素点的数量，
Figure 298719DEST_PATH_IMAGE012
为每张模板子图像中第
Figure 370580DEST_PATH_IMAGE007
个像素点在
Figure 14051DEST_PATH_IMAGE013
方向上的梯度，
Figure 395222DEST_PATH_IMAGE014
为每张模板子图像中第
Figure 389723DEST_PATH_IMAGE007
个像素点在
Figure 999696DEST_PATH_IMAGE015
方向上的梯度，
Figure 763253DEST_PATH_IMAGE016
为每张模板子图像中第
Figure 800479DEST_PATH_IMAGE007
个像素点在
Figure 33008DEST_PATH_IMAGE017
位置的像素值，
Figure 181093DEST_PATH_IMAGE018
为每张模板子图像中第
Figure 64735DEST_PATH_IMAGE007
个像素点
Figure 538442DEST_PATH_IMAGE019
的像素值，
Figure 241956DEST_PATH_IMAGE020
为每张模板子图像中第
Figure 708578DEST_PATH_IMAGE007
个像素点在
Figure 181148DEST_PATH_IMAGE021
位置的像素值。
6.根据权利要求3所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S22中阈值分割模型为：
Figure 825755DEST_PATH_IMAGE022
Figure 282145DEST_PATH_IMAGE023
其中，
Figure 772032DEST_PATH_IMAGE024
为分割阈值，
Figure 380999DEST_PATH_IMAGE025
为像素点的邻域半径，
Figure 665350DEST_PATH_IMAGE026
为像素点的横坐标，
Figure 609035DEST_PATH_IMAGE027
为像素点的纵坐标，
Figure 902613DEST_PATH_IMAGE028
为像素点
Figure 615354DEST_PATH_IMAGE029
的邻域像素点横坐标索引，
Figure 851032DEST_PATH_IMAGE030
为像素点
Figure 750855DEST_PATH_IMAGE029
的邻域像素点纵坐标索引，
Figure 582545DEST_PATH_IMAGE031
为修正系数，
Figure 415372DEST_PATH_IMAGE032
为标准偏差的动态范围，
Figure 572683DEST_PATH_IMAGE033
为像素点
Figure 710535DEST_PATH_IMAGE034
的像素值。
7.根据权利要求1所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S3包括以下分步骤：
S31、将训练数据集中每个分割区域的大小调整为32×32；
S32、对每个32×32分割区域计算梯度方向直方图特征。
8.根据权利要求7所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述步骤S32中计算梯度方向直方图特征的窗口大小为32×32，块大小为16×16，单元格大小为8×8，梯度方向角度在180°范围内分为9个区间，窗口步长为8，计算出的梯度方向直方图特征数量为324维。
9.根据权利要求7所述的基于机器视觉的牛奶包装盒生产日期识别方法，其特征在于，所述梯度方向直方图特征包括：梯度、梯度幅值和梯度方向；
所述梯度公式为：
Figure 611495DEST_PATH_IMAGE035
Figure 298828DEST_PATH_IMAGE036
所述梯度幅值公式为：
Figure 361462DEST_PATH_IMAGE037
所述梯度方向公式为：
Figure 501456DEST_PATH_IMAGE038
其中，
Figure 924216DEST_PATH_IMAGE039
为分割区域的像素点
Figure 466056DEST_PATH_IMAGE040
在
Figure 965171DEST_PATH_IMAGE041
方向的梯度，
Figure 326882DEST_PATH_IMAGE042
为分割区域的像素点
Figure 569644DEST_PATH_IMAGE040
在
Figure 716723DEST_PATH_IMAGE043
方向的梯度，
Figure 121159DEST_PATH_IMAGE044
为分割区域的像素点在
Figure 235746DEST_PATH_IMAGE045
位置的像素值，
Figure 16620DEST_PATH_IMAGE046
为分割区域的像素点
Figure 267473DEST_PATH_IMAGE040
的像素值，
Figure 357658DEST_PATH_IMAGE047
为分割区域的像素点在
Figure 959540DEST_PATH_IMAGE048
位置的像素值，
Figure 278526DEST_PATH_IMAGE049
为梯度幅值，
Figure 649465DEST_PATH_IMAGE050
为梯度方向角度。
CN202211015752.6A 2022-08-24 2022-08-24 一种基于机器视觉的牛奶包装盒生产日期识别方法 Active CN115082923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211015752.6A CN115082923B (zh) 2022-08-24 2022-08-24 一种基于机器视觉的牛奶包装盒生产日期识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211015752.6A CN115082923B (zh) 2022-08-24 2022-08-24 一种基于机器视觉的牛奶包装盒生产日期识别方法

Publications (2)

Publication Number Publication Date
CN115082923A true CN115082923A (zh) 2022-09-20
CN115082923B CN115082923B (zh) 2022-11-08

Family

ID=83244844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211015752.6A Active CN115082923B (zh) 2022-08-24 2022-08-24 一种基于机器视觉的牛奶包装盒生产日期识别方法

Country Status (1)

Country Link
CN (1) CN115082923B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309597A (zh) * 2023-05-23 2023-06-23 成都工业学院 一种药盒混装缺陷的视觉在线检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085456A2 (en) * 1999-09-15 2001-03-21 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN104463124A (zh) * 2014-12-11 2015-03-25 天津普达软件技术有限公司 一种奶盒喷打字符识别的方法
CN106156768A (zh) * 2016-07-01 2016-11-23 屈桢深 基于视觉的机动车行驶证检测方法
CN106960196A (zh) * 2017-03-29 2017-07-18 西安电子科技大学 基于模板匹配和svm的工业视频小数字识别方法
CN107103320A (zh) * 2017-04-28 2017-08-29 常熟理工学院 嵌入式医疗数据图像识别及集成方法
WO2017148377A1 (zh) * 2016-03-02 2017-09-08 平安科技（深圳）有限公司 行驶证有效期自动提取方法、设备、系统及存储介质
CN107749058A (zh) * 2017-10-23 2018-03-02 中南大学 一种锅炉管道表面缺陷的机器视觉检测方法及系统
CN108734170A (zh) * 2018-05-25 2018-11-02 电子科技大学 基于机器学习和模板的车牌字符分割方法
CN110006907A (zh) * 2019-04-10 2019-07-12 清华大学深圳研究生院 一种基于机器视觉的压铸件表面缺陷检测方法及系统
CN110503054A (zh) * 2019-08-27 2019-11-26 广东工业大学 文本图像的处理方法及装置
CN113421256A (zh) * 2021-07-22 2021-09-21 凌云光技术股份有限公司 一种点阵文本行字符投影分割方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085456A2 (en) * 1999-09-15 2001-03-21 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN104463124A (zh) * 2014-12-11 2015-03-25 天津普达软件技术有限公司 一种奶盒喷打字符识别的方法
WO2017148377A1 (zh) * 2016-03-02 2017-09-08 平安科技（深圳）有限公司 行驶证有效期自动提取方法、设备、系统及存储介质
CN106156768A (zh) * 2016-07-01 2016-11-23 屈桢深 基于视觉的机动车行驶证检测方法
CN106960196A (zh) * 2017-03-29 2017-07-18 西安电子科技大学 基于模板匹配和svm的工业视频小数字识别方法
CN107103320A (zh) * 2017-04-28 2017-08-29 常熟理工学院 嵌入式医疗数据图像识别及集成方法
CN107749058A (zh) * 2017-10-23 2018-03-02 中南大学 一种锅炉管道表面缺陷的机器视觉检测方法及系统
CN108734170A (zh) * 2018-05-25 2018-11-02 电子科技大学 基于机器学习和模板的车牌字符分割方法
CN110006907A (zh) * 2019-04-10 2019-07-12 清华大学深圳研究生院 一种基于机器视觉的压铸件表面缺陷检测方法及系统
CN110503054A (zh) * 2019-08-27 2019-11-26 广东工业大学 文本图像的处理方法及装置
CN113421256A (zh) * 2021-07-22 2021-09-21 凌云光技术股份有限公司 一种点阵文本行字符投影分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHADER MOHAMMAD 等: "Contour-based character segmentation for printed Arabic text with diacritics", 《JOURNAL OF ELECTRONIC IMAGING》 *
孙志海: "视频目标定位的减法聚类改进算法", 《浙江大学学报(工学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309597A (zh) * 2023-05-23 2023-06-23 成都工业学院 一种药盒混装缺陷的视觉在线检测方法及装置

Also Published As

Publication number Publication date
CN115082923B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111461134B (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
US20210374466A1 (en) Water level monitoring method based on cluster partition and scale recognition
CN109241985B (zh) 一种图像识别方法及装置
CN101807257A (zh) 图像标签信息识别方法
CN111476109A (zh) 票据处理方法、票据处理装置和计算机可读存储介质
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN111091124B (zh) 一种书脊文字识别方法
CN112446370B (zh) 一种电力设备铭牌文本信息识别的方法
CN111709935A (zh) 一种用于地面运动皮带上实时煤矸石定位识别方法
US20140301608A1 (en) Chemical structure recognition tool
CN105303153A (zh) 一种车辆车牌识别方法及装置
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN112085024A (zh) 一种罐表面字符识别方法
CN113591967A (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN112001878A (zh) 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统
CN115082923B (zh) 一种基于机器视觉的牛奶包装盒生产日期识别方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN111652117B (zh) 一种对多文档图像分割的方法及介质
CN112364862B (zh) 一种基于直方图相似度的扰动变形汉字图片匹配的方法
CN111967457A (zh) 一种基于深度学习的ocr检测方法
CN112528740A (zh) 一种压板状态识别方法
CN111914706A (zh) 一种文字检测输出结果质量检测和控制的方法与装置
CN116758545A (zh) 一种基于深度学习的纸质医药包装钢印字符识别方法
CN113822869B (zh) 一种基于机器视觉的透明软性包装袋静态检测方法及系统
CN113269043B (zh) 一种钢卷松卷的实时跟踪识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant