CN111259899A - 一种喷码字符检测方法 - Google Patents
一种喷码字符检测方法 Download PDFInfo
- Publication number
- CN111259899A CN111259899A CN202010029532.3A CN202010029532A CN111259899A CN 111259899 A CN111259899 A CN 111259899A CN 202010029532 A CN202010029532 A CN 202010029532A CN 111259899 A CN111259899 A CN 111259899A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- character
- point
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种喷码字符检测方法:步骤(1)采集一幅合格样品的喷码图像作为基准图像;步骤(2)在基准图像上画框选择待检测的字符区域;步骤(3)采集流水线上待检测的喷码样品图像;步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差,则采用基于特征点匹配的目标跟踪算法跟踪待检测的字符区域;步骤(5)如果待检测的字符区域中可能包含多行文字,则将字符区域图像输入至语义分割神经网络中,将多行文字区域分割为单行;步骤(6)校正扭曲和/或倾斜的单行文字;步骤(7)采用改进的卷积循环神经网络算法识别单行文字;步骤(8)判断是否检测完所有样品,若未完成则重复步骤(3)‑(8),否则结束检测。
Description
技术领域
本发明属于工业视觉检测技术领域,尤其涉及一种喷码字符检测方法。
背景技术
在商品生产过程中,需要在商品包装表面对生产日期、产品批号等信息进行喷码。由于生产环境中不确定因素的干扰,喷码过程中往往会出现漏喷、重码、喷码字符缺失、喷码字符错误等情况。人工检测喷码产品是否合格,速度慢,效率低,且会耗费大量人力成本。
目前常采用机器视觉方法检测喷码字符,用图像传感器采集流水线上的商品包装的喷码图像,再传输给字符检测模块处理。在商品喷码和图像采集过程中,由于机械抖动等原因,图像中喷码字符的位置会发生偏移,导致无法准确定位喷码字符的区域;在工业环境中采集的喷码图像存在噪声、不均匀光照、不均匀背景、低对比度、字符粘连等问题,会影响喷码检测的精度;在实际生产中,有时会将字符喷码在油壶、饮料瓶等曲面物体上,造成字符的弯曲变形;此外工业检测要求较高的准确性和实时性,这些都给喷码字符检测带来了挑战。
近年来随着深度学习的发展,自然场景文字检测与识别技术已经取得了较大进展,但常用的基于深度学习的场景文字检测方法如SSD(Single Shot MultiBox Detector,单次多框检测器)、YOLO(You Only Look Once)、CTPN(Connectionist Text ProposalNetwork,连接文本提议网络)、EAST(Efficient and Accuracy Scene Text)等,网络结构复杂,参数多,计算量大,应用于喷码字符检测问题中实时性不足。专利申请号为CN201810607169.1,名称为“一种基于深度学习的包装喷码检测方法”,采用语义分割神经网络定位字符区域,使用旋转矩形对字符区域进行倾斜校正,采用对折切分的方式将两行字符切分为单行字符,该方法可以较好地提取字符区域。但由于采用了语义分割神经网络对整幅图像进行分割,运算量较大;旋转矩形仅能对字符进行倾斜校正,无法校正弯曲的字符;采用对折切分的方式将两行字符切分为单行字符,无法适应存在多行喷码字符的情况。此外由于连续采集的待检测喷码图像背景相似,喷码字符位置偏差不大,上述方法将每一张待检测的图像视为独立的,未能考虑到这些喷码图像间的关联性。
发明内容
针对现有技术的缺陷和改进需求,本发明的目的在于提供一种复杂场景下的喷码字符检测方法,在噪声、不均匀光照、不均匀背景、低对比度等场景下准确定位喷码字符的区域;并将喷码字符区域内的多行字符分割为单行;校正喷码在曲面上形成的倾斜、弯曲的字符;保证较高的喷码字符识别精度和处理速度。
为实现上述目的,本发明提供了一种复杂场景下的喷码字符检测方法,所述方法包括如下步骤:
步骤(1)采集一幅合格样品的喷码图像作为基准图像。
步骤(2)在基准图像上画框选择待检测的字符区域。
步骤(3)采集流水线上待检测的喷码样品图像。
步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差,则采用基于特征点匹配的目标跟踪算法,跟踪待检测的字符区域。
步骤(5)如果待检测的字符区域中包含多行文字,则将字符区域图像输入至语义分割神经网络中,将多行文字区域分割为单行。
步骤(6)校正扭曲和/或倾斜的单行文字。
步骤(7)采用改进的CRNN算法识别单行文字。
步骤(8)判断是否检测完所有样品,若未完成,重复步骤(3)-(8),否则结束检测。
进一步地,所述步骤(4)包括如下子步骤:
根据特征点的坐标是否位于画框选择的区域内,将特征点划分为前景特征点和背景特征点,得到前景特征点集合Of和背景特征点集合Ob,O=Of∪Ob。
步骤(4.3)采用k最近邻(k-Nearest Neighbor,k-NN)匹配算法对当前图像的特征集合O与基准图像的特征集合P进行特征匹配。
步骤(4.4)对匹配结果进行筛选,剔除误匹配的特征点。匹配点筛选算法为:
若为前景特征点,且与的距离小于设定的阈值θ,且与的距离和与的距离的比值小于设定的阈值γ,则视为正确匹配。将正确匹配的特征点对重新记作(ai,mi),加入集合K中,K表示集合P和特征集合O相匹配的特征点的集合。
其中ai表示特征集合P中检测到的特征点,mi表示特征集合O中与ai对应特征点的索引,|K|表示集合K中的特征点对的总数目。
步骤(4.5)根据匹配结果,计算当前图像文字区域相对于基准图像文字区域的旋转角度和当前图像文字区域的中心坐标。
其中旋转角度的计算方法为:
对于特征集合K中的任意两个特征点对(ai,mi),(aj,mj),记特征点ai,aj的水平距离竖直距离其中分别代表特征点ai的横坐标和纵坐标,同理特征点mi,mj的水平距离竖直距离其中分别代表特征点mi的横坐标和纵坐标;计算集合K中每一对关键点旋转角度的集合取Dθ分布的中值θ作为旋转角度:θ=med(Dθ);
当前图像文字区域中心坐标的计算方法为:
根据旋转角度θ生成旋转矩阵R:计算mi相对于中心c的相对坐标ri=mi-c,集合K中的每一对特征点(ai,mi)都对当前图像文字区域中心进行预测,其预测公式为:h(ai,mi)=ai-Rri,得到一组预测点集合|V|表示集合V中的预测点的总数目。
根据文字区域中心和旋转角度,计算当前图像的文字区域。
进一步地,所述步骤(5)包括如下子步骤:
步骤(5.1)将字符区域图像输入至语义分割神经网络中,将图像中的每个像素分为文字、背景、文字与背景的边界三类,得到一幅三通道的像素概率图,三个通道分别对应当前像素属于文字、背景、边界的概率。
步骤(5.2)对像素概率图进行阈值化,生成文字分割二值图,将黑色像素所在区域作为背景,白色像素区域作为字符区域。
步骤(5.3)文字分割二值图中可能还存在一些伪文字区域,对文字分割二值图做连通域分析,标记出图中所有的连通域,去除图中宽度、高度、面积超出阈值的连通域,输出文本行分割结果。
进一步地,所述步骤(5.1)中的语义分割神经网络的结构为,该神经网络共包括五个子模块,前三个子模块均包含3个卷积层和相应的RELU激活函数进行特征提取,卷积层的输出经过一个大小为2×2且步长为2的最大池化层进行下采样,输入图像经过前三个模块后共经过了8倍下采样,输出一组大小为W/8×H/8的特征图像。
第四个子模块包含3个卷积层和相应的激活函数RELU,对上一模块的特征图像进行编码,针对文本行的长度大于宽度的特点,将3个卷积层的卷积核大小分别设置为3×3,1×3,1×1,更多地编码图像水平方向的信息。
第五个子模块包含1个卷积层和3个反卷积层,每个卷积层和反卷积层均经过激活函数RELU激活,对上一模块编码的特征图像进行解码。每个反卷积层的卷积步长均为2,以实现对上一层输出的2倍上采样,编码的特征图像共经过8倍上采样,使得输出特征图尺寸与卷积神经网络的输入图像尺寸相同,最后经过一个softmax层将每个像素分为3类:文本类,边界类,背景类。输出这个像素属于文字、文字与背景的边界、背景的概率p1、p2、p3,得到文字像素概率图P=(p1,p2,p3)。
上式中xi代表特征图上某一点在第i类上的输出值,si代表点在第i类上的softmax值,k表示分类类别总数。
进一步地,所述步骤(5.1)中的语义分割神经网络的损失函数采用多分类的交叉熵损失函数:
其中yi代表样本的真实概率,si代表神经网络的预测概率,e代表交叉熵函数的损失值,k表示分类类别总数。
进一步地,所述步骤(5.2)中的像素概率图进行阈值化的方法为:对于步骤(5.1)中得到的像素概率图P中的每一个像素点(x,y),若其属于文字类的概率p1(x,y)大于第一阈值thr1或属于边界类的概率p2(x,y)大于第二阈值thr2,则将该像素(x,y)视为文字像素,将文字分割二值图M中的对应位置的像素值置为1,否则置为0。
M(x,y)=1,if(p1(x,y)>thr1)or(p2(x,y)>thr2)
M(x,y)=0,else
进一步地,所述步骤(6)中的扭曲和/或倾斜字符校正方法为:对步骤(5.3)中得到的连通域的每一列,计算连通域在这一列上的高度h=yt-yb,和中点坐标其中xn为当前列的横坐标,yt为连通域的上端点,yb为连通域的下端点。得到一组中点坐标P=((x1,y1),(x2,y2),(x3,y3),...,(xn,yn))和一组高度值H=(h1,h2,h3,...,hn)。
将连通域作为掩膜提取原始的文本行图像,对文本行图像的每一列,提取以中点yi为中心,高度为havg的像素区域,将其映射到以yavg为中心,高度为havg的范围内,得到校正后的文本行图像。其映射公式如下:
进一步地,所述步骤(7)中的字符识别方法使用改进后的卷积循环神经网络(Convolutional Recurrent Neural Network,简写为CRNN)算法,CRNN算法首先使用一组卷积层CNN进行特征提取,再将卷积特征输入至一组双向长短时记忆网络(BiLSTM),提取文字序列特征,使用联结主义时间分类算法(Connectionist temporal classification,简写为CTC)计算损失函数,实现对字符序列的端到端识别。
本发明中对CRNN算法的主要改进在于:将原始CRNN网络中的双向长短时记忆网络层(BiLSTM)部分替换为两个卷积核大小为3,卷积核数目为512的一维卷积层conv1d进行文字序列特征提取,在仅牺牲较小识别精度的情况下,减少了神经网络的运算量,提高了字符识别速度,以满足喷码检测的实时性要求。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:
本发明提出了一种复杂环境下的喷码字符检测方法。首先,根据连续采集的待检测喷码图像背景相似,喷码字符位置偏差不大的特点,采用一种基于特征点匹配的目标跟踪算法,准确定位待检测的文字区域,该方法相对于基于神经网络的文字检测算法速度更快,同时保证较高的准确性;其次,对于提取的文字区域,设计了一个轻量级的语义分割神经网络将多行文字分割为单行,该神经网络相比于常见的语义分割神经网络如FCN、U-Net等,使用了较少的卷积核数目和卷积层数,同时仅将待检测的文字区域图像作为输入,相比于将采集的整幅原始图像作为输入,运算量更小,速度更快,在图像存在噪声、不均匀光照、不均匀背景低对比度,文本行粘连时也能准确分割;再次,本发明提出了一种扭曲喷码字符校正方法,可以准确校正扭曲倾斜的喷码字符;最后,本发明采用改进的CRNN算法识别校正后的单行喷码字符,在保证识别精度的情况下提高了网络的运算速度。
附图说明
图1为本发明实施例中一种喷码字符检测方法的流程示意图;
图2为本发明实施例中采集的基准图像;
图3为本发明实施例中待检测区域跟踪方法的流程示意图;
图4(a)为本发明实施例中一种待检测图像文字区域的定位效果图;
图4(b)为本发明实施例中另一种待检测图像文字区域的定位效果图;
图5为本发明实施例中提取的文字区域;
图6为本发明实施例中语义分割神经网络的结构图;
图7(a)为本发明实施例中语义分割神经网络输出的文字部分的像素概率图;
图7(b)为本发明实施例中语义分割神经网络输出的文字与背景边界部分的像素概率图;
图7(c)为本发明实施例中语义分割神经网络输出的背景部分的像素概率图;
图7(d)为本发明实施例中对像素概率图进行阈值化后生成文字分割二值图;
图8为本发明实施例中文本行分割结果示意图;
图9为本发明实施例中经过扭曲校正后的单行字符。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供了一种喷码字符检测方法,包括:
步骤(1)采集一幅合格样品的喷码图像作为基准图像。如图2所示,为本发明实施例中采集的基准图像
步骤(2)在基准图像上画框选择待检测的字符区域。
步骤(3)采集流水线上待检测的喷码样品图像。
步骤(4)当前图像的字符区域与基准图像的字符区域位置存在偏差,采用基于特征点匹配的目标跟踪算法,跟踪待检测的字符区域。
具体地,如图3所示,对待检测区域进行跟踪的方法包括:
步骤(4.1)采用FAST特征点检测算法检测基准图像的特征点,并使用256位二进制BRISK特征描述子对特征进行描述,得到特征集合O:
根据特征点的坐标是否位于画框选择的区域内,将特征点划分为前景特征点和背景特征点,得到前景特征点集合Of和背景特征点集合Ob,O=Of∪Ob。
步骤(4.3)采用k-NN匹配算法对当前图像的特征集合O与基准图像的特征集合P进行特征匹配,其中k-NN算法的参数k=2,对特征集合P中的每一个特征点计算其描述子fi p与特征集合O中每一个特征点的特征描述子的汉明距离,作为特征点与之间的距离
步骤(4.4)对匹配结果进行筛选,剔除误匹配的特征点。匹配点筛选算法为:
其中ai表示特征集合P中检测到的特征点,mi表示特征集合O中与ai对应特征点的索引,|K|表示集合K中的特征点对的总数目。
步骤(4.5)对于特征集合K中的任意两个特征点对(ai,mi),(aj,mj),记特征点ai,aj的水平距离竖直距离其中分别代表特征点ai的横坐标和纵坐标,同理特征点mi,mj的水平距离竖直距离其中分别代表特征点mi的横坐标和纵坐标,计算集合K中每一对关键点旋转角度的集合Dθ:
取Dθ分布的中值θ作为旋转角度:θ=med(Dθ)
根据旋转角度θ生成旋转矩阵R
将基准图像文字区域中心点记为c,对特征点集合K中的每一对特征点(a,m),计算m相对于中心c的相对坐标rm=m-c。集合K中的每一对特征点(a,m)都对当前图像文字区域中心进行预测,其预测公式为:h(a,m)=a-Rrm,得到一组预测点集合
根据文字区域中心和旋转角度,计算当前图像的文字区域。如图4(a)所示为本发明实施例中一种待检测图像文字区域的定位效果图;图4(b)所示为本发明实施例中另一种待检测图像文字区域的定位效果图。
步骤(5)截取步骤(4)得到的待检测图像文字区域,如图(5)所示,待检测的字符区域中可能包含多行文字,将字符区域图像输入至语义分割神经网络,对字符区域进行文本行分割。
步骤(5.1)将字符区域图像输入至如图6所示的语义分割神经网络中,将图像中的每个像素分为文字、背景、文字与背景的边界三类,输出这个像素属于文字、文字与背景的边界、背景的概率p1、p2、p3,得到文字像素概率图P=(p1,p2,p3)。
如图6所示,所述步骤(5.1)中的语义分割神经网络的结构为,该神经网络共包括五个子模块,前三个子模块均包含3个卷积层和相应的RELU激活函数进行特征提取,卷积层的输出经过一个大小为2×2且步长为2的最大池化层进行下采样,输入图像经过前三个模块后共经过了8倍下采样,输出一组大小为W/8×H/8的特征图像。
第四个子模块包含3个卷积层和相应的激活函数RELU,对上一模块的特征图像进行编码,针对文本行的长度大于宽度的特点,将3个卷积层的卷积核大小分别设置为3×3,1×3,1×1,更多地编码图像水平方向的信息。
第五个子模块包含1个卷积层和3个反卷积层,每个卷积层和反卷积层均经过激活函数RELU激活,对上一模块编码的特征图像进行解码。每个反卷积层的卷积步长均为2,以实现对上一层输出的2倍上采样,编码的特征图像共经过8倍上采样,使得输出特征图尺寸与卷积神经网络的输入图像尺寸相同,最后经过一个softmax层将每个像素分为3类:文本类,边界类,背景类。输出这个像素属于文字、文字与背景的边界、背景的概率p1、p2、p3,得到文字像素概率图P=(p1,p2,p3)。
上式中xi代表特征图上某一点在第i类上的输出值,si代表点在第i类上的softmax值,k表示分类类别总数。
语义分割神经网络的损失函数采用多分类的交叉熵损失函数:
步骤(5.2)对于步骤(5.1)中得到的像素概率图P中的每一个像素点,若其属于文字类的概率大于第一阈值thr1或属于边界类的概率大于第二阈值thr2,则将该像素视为文字像素,将文字分割二值图M中的对应位置的像素值置为1,否则置为0。
M(x,y)=1,if(p1(x,y)>thr1)or(p2(x,y)>thr2)
M(x,y)=0,else
如图7所示,为本发明实施例中语义分割神经网络输出的结果示意图,其中图7(a)为文字部分的像素概率图;图7(b)为文字与背景边界部分的像素概率图;图7(c)为背景部分的像素概率图;图7(d)为对像素概率图进行阈值化后生成文字分割二值图。
步骤(5.3)文字分割二值图M中可能还存在一些伪文字区域,对文字分割二值图M做连通域分析,标记出图中所有的连通域,去除图中宽度、高度、面积超出阈值的连通域,输出文本行分割结果。如图8所示,为本发明实施例中文本行分割结果示意图。
步骤(6)对步骤(5.3)中得到的连通域的每一列,计算连通域在这一列上的高度h=yt-yb,和中点坐标其中xn为当前列的横坐标,yt为连通域的上端点,yb为连通域的下端点。得到一组中点坐标P=((x1,y1),(x2,y2),(x3,y3),...,(xn,yn))和一组高度值H=(h1,h2,h3,...,hn)。
将连通域作为掩膜提取原始的文本行图像,对文本行图像的每一列,提取以中点yi为中心,高度为havg的像素区域,将其映射到以yavg为中心,高度为havg的范围内,得到校正后的文本行图像。其映射公式为:
如图9所示为本发明实施例中经过扭曲校正后的单行字符。
步骤(7)采用改进的卷积循环神经网络(Convolutional Recurrent NeuralNetwork,简写为CRNN)算法识别文本行。对CRNN的具体改进在于:将原始CRNN网络中的双向长短时记忆网络层(BiLSTM)部分替换为两个卷积核大小为3,卷积核数目为512的一维卷积层conv1d进行文字序列特征提取。
步骤(8)判断是否检测完所有样品,若未完成,重复步骤(3)-(8),否则结束检测。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种喷码字符检测方法,其特征在于,所述方法包括如下步骤:
步骤(1)采集一幅合格样品的喷码图像作为基准图像;
步骤(2)在基准图像上画框选择待检测的字符区域;
步骤(3)采集流水线上待检测的喷码样品图像;
步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差,则采用基于特征点匹配的目标跟踪算法,跟踪待检测的字符区域;
步骤(5)如果待检测的字符区域中可能包含多行文字,则将字符区域图像输入至语义分割神经网络中,将多行文字区域分割为单行;
步骤(6)校正扭曲和/或倾斜的单行文字;
步骤(7)采用改进的卷积循环神经网络算法识别单行文字;
步骤(8)判断是否检测完所有样品,若未完成则重复步骤(3)-(8),否则结束检测。
2.如权利要求1所述的喷码字符检测方法,其特征在于,所述步骤(4)包括如下子步骤:
步骤(4.1)采用特征点检测算法检测基准图像的特征点,并使用二进制特征描述子对特征进行描述,得到特征点集合O;
步骤(4.2)采用与步骤(4.1)相同的特征点检测算法与特征描述子,对当前图像进行特征检测,得到特征点集合P;
步骤(4.3)采用k最近邻匹配算法对当前图像的特征集合O与基准图像的特征集合P进行特征匹配;
步骤(4.4)对匹配结果进行筛选,剔除误匹配的特征点;
步骤(4.5)根据匹配结果,计算当前图像文字区域相对于基准图像文字区域的旋转角度和当前图像文字区域的中心坐标。
3.如权利要求1或2所述的喷码字符检测方法,其特征在于,所述步骤(5)包括如下子步骤:
步骤(5.1)将字符区域图像输入至语义分割神经网络中,将图像中的每个像素分为文字、背景、文字与背景的边界三类,得到一幅三通道的像素概率图,三个通道分别对应当前像素属于文字、背景、边界的概率;
步骤(5.2)对像素概率图进行阈值化,生成文字分割二值图,将黑色像素所在区域作为背景,白色像素区域作为字符区域;
步骤(5.3)文字分割二值图中可能还存在一些伪文字区域,对文字分割二值图做连通域分析,标记出图中所有的连通域,去除图中宽度、高度、面积超出阈值的连通域,输出文本行分割结果。
6.如权利要求1或2所述的喷码字符检测方法,其特征在于,所述步骤(4.5)具体为:
旋转角度的计算方法为:
对于特征集合K中的任意两个特征点对(ai,mi),(aj,mj),记特征点ai,aj的水平距离竖直距离其中分别代表特征点ai的横坐标和纵坐标,同理特征点mi,mj的水平距离竖直距离其中分别代表特征点mi的横坐标和纵坐标,计算集合K中每一对关键点旋转角度的集合Dθ:取Dθ分布的中值θ作为旋转角度:θ=med(Dθ);
当前图像文字区域中心坐标的计算方法为:
根据旋转角度θ生成旋转矩阵R:计算mi相对于中心c的相对坐标ri=mi-c,集合K中的每一对特征点(ai,mi)都对当前图像文字区域中心进行预测,其预测公式为:h(ai,mi)=ai-Rri,得到一组预测点集合|V|表示集合V中的预测点的总数目;
根据文字区域中心和旋转角度,计算当前图像的文字区域。
7.如权利要求3所述的喷码字符检测方法,其特征在于,所述步骤(5.1)中的语义分割神经网络包括五个子模块,前三个子模块均包含3个卷积层和相应的RELU激活函数进行特征提取,卷积层的输出经过一个大小为2×2且步长为2的最大池化层进行下采样,输入图像经过前三个模块后共经过了8倍下采样,输出一组大小为W/8×H/8的特征图像;
第四个子模块包含3个卷积层和相应的激活函数RELU,对上一模块的特征图像进行编码,针对文本行的长度大于宽度的特点,将3个卷积层的卷积核大小分别设置为3×3,1×3,1×1,更多地编码图像水平方向的信息;
第五个子模块包含1个卷积层和3个反卷积层,每个卷积层和反卷积层均经过激活函数RELU激活,对上一模块编码的特征图像进行解码,每个反卷积层的卷积步长均为2,以实现对上一层输出的2倍上采样,编码的特征图像共经过8倍上采样,使得输出特征图尺寸与卷积神经网络的输入图像尺寸相同,最后经过一个softmax层将每个像素分为3类:文本类、边界类和背景类,输出这个像素属于文字、文字与背景的边界、背景的概率p1、p2、p3,得到文字像素概率图P=(p1,p2,p3);
上式中xi代表特征图上某一点在第i类上的输出值,si代表点在第i类上的softmax值,k表示分类类别总数。
9.如权利要求1或2所述的喷码字符检测方法,其特征在于,所述步骤(6)中的扭曲和/或倾斜字符校正方法为:
对步骤(5.3)中得到的连通域的每一列,计算连通域在这一列上的高度h=yt-yb,和中点坐标其中xn为当前列的横坐标,yt为连通域的上端点,yb为连通域的下端点,得到一组中点坐标P=((x1,y1),(x2,y2),(x3,y3),...,(xn,yn))和一组高度值H=(h1,h2,h3,...,hn);
10.如权利要求1或2所述的喷码字符检测方法,其特征在于,所述步骤(7)中的字符识别方法使用改进后的卷积循环神经网络(Convolutional Recurrent NeuralNetwork,CRNN)算法,CRNN算法首先使用一组卷积层CNN进行特征提取,再将卷积特征输入至一组双向长短时记忆网络,提取文字序列特征,使用联结主义时间分类算法计算损失函数,实现对字符序列的端到端识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010029532.3A CN111259899B (zh) | 2020-01-13 | 2020-01-13 | 一种喷码字符检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010029532.3A CN111259899B (zh) | 2020-01-13 | 2020-01-13 | 一种喷码字符检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111259899A true CN111259899A (zh) | 2020-06-09 |
CN111259899B CN111259899B (zh) | 2022-11-08 |
Family
ID=70950425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010029532.3A Active CN111259899B (zh) | 2020-01-13 | 2020-01-13 | 一种喷码字符检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111259899B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754513A (zh) * | 2020-08-07 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 产品表面缺陷分割方法、缺陷分割模型学习方法及装置 |
CN111860521A (zh) * | 2020-07-21 | 2020-10-30 | 西安交通大学 | 一种畸变喷码字符逐层分割的方法 |
CN111967545A (zh) * | 2020-10-26 | 2020-11-20 | 北京易真学思教育科技有限公司 | 文本检测方法、装置、电子设备及计算机存储介质 |
CN112101336A (zh) * | 2020-09-09 | 2020-12-18 | 杭州测质成科技有限公司 | 一种基于计算机视觉的智能数据采集方式 |
CN112183545A (zh) * | 2020-09-29 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种任意形状的自然场景文本识别方法 |
CN112418226A (zh) * | 2020-10-23 | 2021-02-26 | 济南信通达电气科技有限公司 | 一种鱼眼分合闸状态识别的方法及装置 |
CN112541417A (zh) * | 2020-12-03 | 2021-03-23 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
CN112883957A (zh) * | 2020-09-23 | 2021-06-01 | 浙江浩腾电子科技股份有限公司 | 一种车胎文本检测和识别方法 |
CN112990367A (zh) * | 2021-04-25 | 2021-06-18 | 杭州晟视科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
CN113159031A (zh) * | 2021-04-21 | 2021-07-23 | 广州逅艺文化科技有限公司 | 一种手写文本检测方法、装置及存储介质 |
CN113537216A (zh) * | 2021-07-22 | 2021-10-22 | 凌云光技术股份有限公司 | 一种点阵字体文本行倾斜校正方法及装置 |
CN113807147A (zh) * | 2020-06-15 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 一种目标检测及其网络的训练方法、装置 |
CN114511704A (zh) * | 2022-04-19 | 2022-05-17 | 科大智能物联技术股份有限公司 | 一种基于高速产线的喷印码识别检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090316990A1 (en) * | 2008-06-20 | 2009-12-24 | Akira Nakamura | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
EP3032461A1 (en) * | 2014-12-10 | 2016-06-15 | Ricoh Company, Ltd. | Detecting unkown identical products in an image |
CN107622271A (zh) * | 2016-07-15 | 2018-01-23 | 科大讯飞股份有限公司 | 手写文本行提取方法及系统 |
CN108921163A (zh) * | 2018-06-08 | 2018-11-30 | 南京大学 | 一种基于深度学习的包装喷码检测方法 |
CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
CN109117713A (zh) * | 2018-06-27 | 2019-01-01 | 淮阴工学院 | 一种全卷积神经网络的图纸版面分析与文字识别方法 |
CN109724990A (zh) * | 2019-01-08 | 2019-05-07 | 上海大学 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
CN110298343A (zh) * | 2019-07-02 | 2019-10-01 | 哈尔滨理工大学 | 一种手写黑板板书识别方法 |
-
2020
- 2020-01-13 CN CN202010029532.3A patent/CN111259899B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090316990A1 (en) * | 2008-06-20 | 2009-12-24 | Akira Nakamura | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
EP3032461A1 (en) * | 2014-12-10 | 2016-06-15 | Ricoh Company, Ltd. | Detecting unkown identical products in an image |
CN107622271A (zh) * | 2016-07-15 | 2018-01-23 | 科大讯飞股份有限公司 | 手写文本行提取方法及系统 |
CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
CN108921163A (zh) * | 2018-06-08 | 2018-11-30 | 南京大学 | 一种基于深度学习的包装喷码检测方法 |
CN109117713A (zh) * | 2018-06-27 | 2019-01-01 | 淮阴工学院 | 一种全卷积神经网络的图纸版面分析与文字识别方法 |
CN109724990A (zh) * | 2019-01-08 | 2019-05-07 | 上海大学 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
CN110298343A (zh) * | 2019-07-02 | 2019-10-01 | 哈尔滨理工大学 | 一种手写黑板板书识别方法 |
Non-Patent Citations (3)
Title |
---|
QUANG NHAT VO等: ""Text line segmentation using a fully convolutional network in handwritten document images"", 《IET IMAGE PROCESSING》 * |
徐凤强: ""基于机器视觉的自动检测算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士)·信息科技辑》 * |
杨化超著: "《图像局部不变性特征及其匹配问题研究与应用》", 31 December 2013, 北京:测绘出版社 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807147A (zh) * | 2020-06-15 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 一种目标检测及其网络的训练方法、装置 |
CN113807147B (zh) * | 2020-06-15 | 2024-05-21 | 北京达佳互联信息技术有限公司 | 一种目标检测及其网络的训练方法、装置 |
CN111860521A (zh) * | 2020-07-21 | 2020-10-30 | 西安交通大学 | 一种畸变喷码字符逐层分割的方法 |
CN111754513B (zh) * | 2020-08-07 | 2024-03-22 | 腾讯科技(深圳)有限公司 | 产品表面缺陷分割方法、缺陷分割模型学习方法及装置 |
CN111754513A (zh) * | 2020-08-07 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 产品表面缺陷分割方法、缺陷分割模型学习方法及装置 |
CN112101336A (zh) * | 2020-09-09 | 2020-12-18 | 杭州测质成科技有限公司 | 一种基于计算机视觉的智能数据采集方式 |
CN112883957A (zh) * | 2020-09-23 | 2021-06-01 | 浙江浩腾电子科技股份有限公司 | 一种车胎文本检测和识别方法 |
CN112883957B (zh) * | 2020-09-23 | 2022-04-22 | 浙江浩腾电子科技股份有限公司 | 一种车胎文本检测和识别方法 |
CN112183545A (zh) * | 2020-09-29 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种任意形状的自然场景文本识别方法 |
CN112183545B (zh) * | 2020-09-29 | 2024-05-17 | 佛山市南海区广工大数控装备协同创新研究院 | 一种任意形状的自然场景文本识别方法 |
CN112418226B (zh) * | 2020-10-23 | 2022-11-25 | 济南信通达电气科技有限公司 | 一种鱼眼分合闸状态识别的方法及装置 |
CN112418226A (zh) * | 2020-10-23 | 2021-02-26 | 济南信通达电气科技有限公司 | 一种鱼眼分合闸状态识别的方法及装置 |
CN111967545A (zh) * | 2020-10-26 | 2020-11-20 | 北京易真学思教育科技有限公司 | 文本检测方法、装置、电子设备及计算机存储介质 |
CN112541417B (zh) * | 2020-12-03 | 2022-09-16 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
CN112541417A (zh) * | 2020-12-03 | 2021-03-23 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
CN113159031A (zh) * | 2021-04-21 | 2021-07-23 | 广州逅艺文化科技有限公司 | 一种手写文本检测方法、装置及存储介质 |
CN113159031B (zh) * | 2021-04-21 | 2024-05-10 | 广州逅艺文化科技有限公司 | 一种手写文本检测方法、装置及存储介质 |
CN112990367A (zh) * | 2021-04-25 | 2021-06-18 | 杭州晟视科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
CN113537216A (zh) * | 2021-07-22 | 2021-10-22 | 凌云光技术股份有限公司 | 一种点阵字体文本行倾斜校正方法及装置 |
CN113537216B (zh) * | 2021-07-22 | 2024-05-31 | 凌云光技术股份有限公司 | 一种点阵字体文本行倾斜校正方法及装置 |
CN114511704A (zh) * | 2022-04-19 | 2022-05-17 | 科大智能物联技术股份有限公司 | 一种基于高速产线的喷印码识别检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111259899B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259899B (zh) | 一种喷码字符检测方法 | |
CN110837835B (zh) | 一种基于边界点检测的场景文本端到端识别方法 | |
CN109800698B (zh) | 基于深度学习的图标检测方法、图标检测系统和存储介质 | |
Jiao et al. | A configurable method for multi-style license plate recognition | |
Dave | Segmentation methods for hand written character recognition | |
CN106682629B (zh) | 一种复杂背景下身份证号识别算法 | |
CN112836650B (zh) | 一种质量检验报告扫描图像表格语义解析方法与系统 | |
CN110020692B (zh) | 一种基于印刷体模板的手写体分离与定位方法 | |
CN112085024A (zh) | 一种罐表面字符识别方法 | |
CN110598690A (zh) | 一种端到端光学字符检测识别方法与系统 | |
Shivakumara et al. | Fractals based multi-oriented text detection system for recognition in mobile video images | |
Mehul et al. | Text-based image segmentation methodology | |
CN111553346A (zh) | 一种基于字符区域感知的场景文本检测方法 | |
CN112819840B (zh) | 一种融合深度学习与传统处理的高精度图像实例分割方法 | |
CN112115948A (zh) | 一种基于深度学习的芯片表面字符识别方法 | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN112541491A (zh) | 基于图像字符区域感知的端到端文本检测及识别方法 | |
CN111368632A (zh) | 一种签名识别方法及设备 | |
CN111368742A (zh) | 基于视频分析的双黄交通标线的重建识别方法及系统 | |
CN114387592B (zh) | 一种复杂背景下字符定位和识别方法 | |
Zhang et al. | A vertical text spotting model for trailer and container codes | |
CN113657225B (zh) | 一种目标检测方法 | |
CN110991440A (zh) | 一种像素驱动的手机操作界面文本检测方法 | |
Jetley et al. | Two-stage hybrid binarization around fringe map based text line segmentation for document images | |
CN116994269A (zh) | 一种图像文档中印章相似度比对方法及对比系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |