CN110070090B - 一种基于手写文字识别的物流标签信息检测方法及系统 - Google Patents

一种基于手写文字识别的物流标签信息检测方法及系统 Download PDF

Info

Publication number
CN110070090B
CN110070090B CN201910338270.6A CN201910338270A CN110070090B CN 110070090 B CN110070090 B CN 110070090B CN 201910338270 A CN201910338270 A CN 201910338270A CN 110070090 B CN110070090 B CN 110070090B
Authority
CN
China
Prior art keywords
label
information
handwritten
image
chinese characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910338270.6A
Other languages
English (en)
Other versions
CN110070090A (zh
Inventor
安平
倪超
尤志翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910338270.6A priority Critical patent/CN110070090B/zh
Publication of CN110070090A publication Critical patent/CN110070090A/zh
Application granted granted Critical
Publication of CN110070090B publication Critical patent/CN110070090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于手写文字识别的物流标签信息检测方法及系统，该方法包括：捕捉并提取出标签面单上包含手写汉字信息区域的标签图像；裁剪，去除标签信息区域图像边缘背景；校正倾角；预处理；构建二次判别函数分类器MQDF和深度置信网络DBN的融合模型；利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好的汉字进行合并，获取连续文字表达信息；按每个单独信息区域划分将对应信息导入到标签信息管理系统中。该系统包括：依次连接的限定图像区域采集模块、标签信息区域检测模块、标签信息区域提取与处理模块、手写汉字预处理与特征提取模块以及手写汉字信息识别模块。本发明缩短了提取时间，提高了分拣效率。

Description

一种基于手写文字识别的物流标签信息检测方法及系统
技术领域
本发明涉及图像模式识别技术领域，特别涉及一种基于手写文字识别的物流标签信息检测方法及系统。
背景技术
手写汉字识别是图像模式识别领域中的热点研究课题，对于计算机信息处理发展具有重要的意义，近年来基于深度学习的手写汉字识别在效率和准确性上得到了突破性进展。
目前市面上仍处于电子标签面单和普通手写标签面单共存的状况，普通手写标签面单并没有完全被电子标签面单所取代。某些大型快递分拣企业开始利用条码扫描系统结合电子标签面单实现了自动化分拣，提高了工作效率。由于经济条件原因，许多中小型物流分拣企业未能使用条码扫描系统和电子面单，只能依靠人工对普通手写快递面单进行分拣操作，低下的分拣效率及高昂的人员培训成本使得中小型企业逐渐失去了行业竞争力。
发明内容
本发明针对上述现有技术中存在的问题，提出一种基于手写文字识别的物流标签信息检测方法及系统，可以在较短时间内提取到快递单面上的手写汉字信息，能明显提高小中型分拣企业在普通手写标签快递分拣中的效率。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种基于手写文字识别的物流标签信息检测方法，其包括以下：
S11：当贴有普通手写标签面单的快递随传送带经过限定图像采集区域时，捕捉并提取出标签面单上包含手写汉字信息区域的标签图像；
S12：对提取到的标签图像进行裁剪，去除标签信息区域图像边缘背景；
所述S12具体包括：
S121：测量出模板标签图像信息区域最外侧矩形四个顶点位置坐标，同时按各信息区域的划分测量出每个内侧矩形顶点位置点坐标；
S122：利用特征检测算法将视频流中待检测标签与模板标签的特征点进行检测匹配，求出两幅图像之间的仿射变换矩阵；
S123：根据得到的仿射变换矩阵的逆矩阵求出模板标签上外侧矩形区域四个顶点位置坐标在待检测标签上对应的四个顶点坐标，得到具有一定倾斜角度的矩形待检测区域，对其进行剪裁；
S13：根据已求出的四个顶点坐标计算待检测标签的倾角及中心位置坐标，并以中心位置为中心转动倾角以校正倾角；
S14：对倾角校正后的待检测标签的标签信息区域图像做二值化与平滑处理，并利用得到的仿射变换矩阵H求出标签内侧矩形各顶点位置，按顶点位置进行剪裁获得分块标签，然后利用基于投影的切分算法提取出每个分块标签上的汉字字符，对汉字字符进行规整化处理，提取其特征，并对特征进行降维处理；
S15：构建修改的二次判别函数分类器MQDF和深度置信网络DBN的融合模型，融合模型的工作过程包括：训练、识别以及融合；
所述S15具体包括：
S151：训练阶段，利用手写汉字数据库中的汉字对MQDF和DBN同时训练，其中MQDF提取汉字梯度特征，DBN提取汉字层次特征；
S152：识别阶段，对于MQDF设置预设阈值T作为其分类识别可信度Rc的阈值并规定MQDF输出结果判定规则，对于DBN则直接进行分类输出；
S153：融合阶段，将两个分类器的识别部分调整到同一个可比较域中；
S16：利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好的汉字进行合并，获取连续文字表达信息；
S17：按每个单独信息区域划分将对应信息导入到标签信息管理系统中。
较佳地，所述S122在检测匹配时，由于特征点间存在一定误匹配，采用消除误匹配的随机采样一致RANSAC算法消除匹配误差。
较佳地，所述S122中的采用消除误匹配的随机采样一致RANSAC算法消除匹配误差具体包括：
S1221：将待检测标签与模板标签进行ORB特征检测与匹配，找出匹配特征点对坐标集合；
S1222：从以上特征点对坐标集合中随机抽出多对样本数据，然后带入多对样本点计算出仿射变换矩阵H的9个元素值，并记为模型M；
其中，
Figure BDA0002039865460000031
H满足：
Figure BDA0002039865460000032
其中，(x，y)为模板标签上的匹配点坐标，(x’，y’)为待检测标签上的匹配点坐标，s为尺度参数；
S1223：设特征点对坐标集合中所有数据与模型M的投影误差为代价函数Q，若数据的代价函数值小于设定的阈值，则将该数据加入内点集I，内点集为受信任的坐标点对集合；
其中，代价函数Q的计算公式为：
Figure BDA0002039865460000033
S1224：如果当前内点集I元素的个数大于设定的最优内点集I_best,则更新I_best＝I，同时更新迭代次数k；
其中，
Figure BDA0002039865460000034
p为置信度，w为内点的比例，m为计算模型所需要的最少样本数；
S1225：如果计算的迭代次数大于k，则退出；否则迭代次数加1，并重复上述，迭代次数在不大于最大迭代次数k的情况下，迭代次数加1；一旦大于最大迭代次数k，计算停止，迭代结束。
较佳地，所述S123中的待检测标签上对应的四个顶点坐标计算方法如下：
Figure BDA0002039865460000041
其中，H为仿射变换矩阵，H-1为H的逆矩阵。
较佳地，所述S13中待检测标签的倾角及中心位置坐标的计算方法为：
P＝((x1+x2+x3+x4)/4,(y1+y2+y3+y4)/4)；
Figure BDA0002039865460000042
其中，(x1,y1),(x2,y2),(x3,y3),(x4,y4)为待检测区域的四个顶点位置坐标，θ为倾角，P为中心位置坐标。
较佳地，所述S14具体包括：
S141：将获取到的标签信息区域图像进行二值化、平滑去噪处理；
S142：根据得到的仿射变换矩阵的逆矩阵求出模板标签上每个内侧单独信息区域的顶点位置坐标在待检测标签上对应的位置坐标；
S143：根据求出的各坐标对每个单独信息区域进行剪裁；
S144：使用投影切分算法对每个单独信息区域手写汉字做切分处理，逐一分割手写汉字字符；
S145：利用规整化算法对每个手写汉字字符进行规整化操作，调整变形手写汉字的质心位置及密度分布；
S146：提取规整化后汉字的方向特征，作为汉字的分类特征，并对特征进行降维处理。
较佳地，所述S152中的MQDF的分类识别可信度Rc的计算方法为：
RC＝1-d1/d2，
其中，假设识别差由小到大排列时，d1、d2为前δ个可能的识别差的前两个可能识别差。
较佳地，所述S153中将两个分类器的识别部分调整到同一个可比较域中的计算方法为：
p(wi|xh,xg)＝αp(wi|xg)+βp(wi|xh)，
其中，wi为第i类，xg为MQDF的梯度特征，xh为DBN的层次特征，p(wi|xg)为MQDF后验概率，p(wi|xh)为DBN后验概率，p(wi|xh,xg)为MQDF-DBN融合概率模型，α和β为权衡因子。
本发明还提供一种基于手写文字识别的物流标签信息检测系统，其包括：依次连接的限定图像区域采集模块、标签信息区域检测模块、标签信息区域提取与处理模块、手写汉字预处理与特征提取模块以及手写汉字信息识别模块；其中，
所述限定图像区域采集模块用于限定快递上的标签进入规定的图像采集区域，并对标签图像进行采集；
所述标签信息区域检测模块利用准备好的模板标签对采集到的图像中的快递标签进行特征检测与匹配，并将整个信息区域剪裁提取出来；
所述标签信息区域处理模块对其中的标签进行倾角校正处理，并分割标签上的每块信息区域；
所述手写汉字预处理与特征提取模块对分割后的每块信息区域内的手写汉字进行切分、规整化处理，调整每个汉字字符的质心位置及密度分布，提取单个手写汉字方向特征，并对特征进行降维处理；
所述手写汉字信息识别模块利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好汉字信息进行合并，获取整段信息，按每个信息区域划分部分将对应信息导入到标签信息管理系统中。
较佳地，所述限定视频图像区域采集模块包括：限位装置、高清相机、图像采集卡以及上位机；其中，
限位装置设置于传送带的上游，高清相机设置于传送带的中游并垂直于传送带，所述高清相机与所述图像采集卡相连，所述图像采集卡与所述上位机相连；
所述限位装置用于限定快递上的标签进入规定的图像采集区域；
所述高清相机用于对标签图像进行采集，获取图像信号；
所述图像采集卡用于将所述高清相机获取到的图像信号采集到所述上位机中，并将其保存；
所述上位机用于对所述图像采集卡保存的图像信号进行实时检测与字符识别，获取识别后的连续字符信息，并将连续字符信息导入到快递信息管理系统之中。
较佳地，所述限位装置包括：两条平行于传送带的限位线；
所述两条平行于传送带的限位线用于限定快递包裹的快递标签放置在传送带上的指示区域内，保证传送带运行时，标签能完整进入高清相机捕捉的视野范围。
相较于现有技术，本发明具有以下优点：
(1)本发明的基于手写文字识别的物流标签信息检测方法及系统，利用修正的二次判别函数分类器MQDF和深度置信网络DBN的融合模型对快递标签上的手写汉字进行分类识别，可以在较短时间内提取到快递面单上的手写汉字信息，能明显提高中小型分拣企业在普通手写标签快递分拣中的效率，缩短整体物流分发周期，实现快递信息的自动化管理；
(2)本发明的基于手写文字识别的物流标签信息检测方法及系统，利用ORB特征检测方法实现标签面单信息区域的快速检测，可以进一步缩短快递单面上的手写汉字信息的提取时间。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的一实施例的基于手写文字识别的物流标签信息检测方法的流程图；
图2为本发明的实施例的标签面单上的各信息区域的划分示意图；
图3为本发明的实施例的修改的二次判别函数分类器MQDF和深度置信网络DBN融合模型；
图4为本发明的较佳实施例的基于手写文字识别的物流标签信息检测方法的步骤S122的具体流程图；
图5为本发明的较佳实施例的基于手写文字识别的物流标签信息检测方法的步骤S14的具体流程图；
图6为本发明的实施例的基于手写文字识别的物流标签信息检测系统的结构示意图。
标号说明：1-限定图像区域采集模块，2-标签信息区域检测模块，3-标签信息区域提取与处理模块，4-手写汉字预处理与特征提取模块，5-手写汉字信息识别模块。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明的一实施例的基于手写文字识别的物流标签信息检测方法的流程图。
请参考图1，本实施例的基于手写文字识别的物流标签信息检测方法包括以下步骤：
S11：当贴有普通手写标签面单的快递随传送带经过限定图像采集区域时，捕捉并提取出标签面单上包含手写汉字信息区域的标签图像；
S12：对提取到的标签图像进行裁剪，去除标签信息区域图像边缘背景；
所述步骤S12具体包括：
S121：测量出模板标签图像信息区域最外侧矩形四个顶点位置坐标，同时按各信息区域的划分测量出每个内侧矩形顶点位置点坐标，如图2所示为一快递标签面单上的各信息区域的划分示意图；
S122：利用特征检测算法将视频流中待检测标签与模板标签的特征点进行检测匹配，求出两幅图像之间的仿射变换矩阵；
S123：根据得到的仿射变换矩阵的逆矩阵求出模板标签上外侧矩形区域四个顶点位置坐标在待检测标签上对应的四个顶点坐标，得到具有一定倾斜角度的矩形待检测区域，对其进行剪裁；
S13：根据已求出的四个顶点坐标计算待检测标签的倾角及中心位置坐标，并以中心位置为中心转动倾角以校正倾角；
S14：对倾角校正后的待检测标签的标签信息区域图像做二值化与平滑处理，并利用得到的仿射变换矩阵H求出标签内侧矩形各顶点位置，按顶点位置进行剪裁获得分块标签，然后利用基于投影的切分算法提取出每个分块标签上的汉字字符，对汉字字符进行规整化处理，提取其特征，并对特征进行降维；
S15：构建修改的二次判别函数分类器MQDF和深度置信网络DBN的融合模型，如图3所示，融合模型的工作过程包括：训练、识别以及融合；
所述步骤S15具体包括：
S151：训练阶段，利用手写汉字数据库中的汉字对MQDF和DBN同时训练，其中MQDF提取汉字梯度特征，DBN提取汉字层次特征；
S152：识别阶段，对于MQDF设置预设阈值T作为其分类识别可信度Rc的阈值并规定MQDF输出结果判定规则，对于DBN则直接进行分类输出；当Rc>T时，判定识别结果为最终识别结果,否则将汉字样本输入到DBN中进行识别；
S153：融合阶段，将两个分类器的识别部分调整到同一个可比较域中；具体地，计算方法如下：
(1)调整到同一个可比较域中计算公式如下：
p(wi|xh,xg)＝αp(wi|xg)+βp(wi|xh)
其中，wi为第i类，xg为MQDF的梯度特征，xh为DBN的层次特征，p(wi|xg)为MQDF后验概率，p(wi|xh)为DBN后验概率，p(wi|xh,xg)为MQDF-DBN融合概率模型，α和β为权衡因子，根据MQDF和DBN各自表现来指定；
(2)MQDF-DBN融合模型对汉字字符的最终分类结果为：
Figure BDA0002039865460000091
(3)整个模型对汉字字符的最终识别结果为：
Figure BDA0002039865460000092
其中，wMQDF为MQDF最佳候选结果，w(x)为融合模型的最终分类结果。
S16：利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好的汉字进行合并，获取连续文字表达信息；
S17：按每个单独信息区域划分将对应信息导入到标签信息管理系统中。
较佳实施例中，步骤S122在检测匹配时，由于特征点间存在一定误匹配，采用消除误匹配的随机采样一致RANSAC算法消除匹配误差。
具体地，如图4所示，步骤S122中的采用消除误匹配的随机采样一致RANSAC算法消除匹配误差包括：
S1221：将待检测标签与模板标签进行ORB特征检测与匹配，找出匹配特征点对坐标集合；
{(xi,yi),(x′i,y′i)|i＝1,2…n}
其中，(x，y)为待检测标签上的坐标点，(x’，y’)为模板标签上的坐标点，n为已找到的匹配点对数；
S1222：从以上特征点对坐标集合中随机抽出4对样本数据，然后带入4对样本点计算出仿射变换矩阵H的9个元素值，并记为模型M；仿射变换矩阵H如下：
Figure BDA0002039865460000101
其中，H满足：
Figure BDA0002039865460000102
(x，y)为模板标签上的匹配点坐标，(x’，y’)为待检测标签上的匹配点坐标，s为尺度参数；
S1223：设特征点对坐标集合中所有数据与模型M的投影误差为代价函数Q，若数据的代价函数值小于设定的阈值，则将该数据加入内点集I，内点集为受信任的坐标点对集合；
代价函数Q的计算公式为：
Figure BDA0002039865460000103
其中，i表示已找到的n对匹配点中的第i对匹配点；
S1224：如果当前内点集I元素的个数大于设定的最优内点集I_best,则更新I_best＝I，同时更新迭代次数k；
其中，
Figure BDA0002039865460000104
p为置信度，取0.995，w为内点的比例，m为计算模型所需要的最少样本数4；
S1225：如果计算的迭代次数大于k(由I_best计算得到)，则退出；否则迭代次数加1，并重复上述步骤，迭代次数在不大于最大迭代次数k的情况下，迭代次数加1；一旦大于最大迭代次数k，计算停止，迭代结束。
较佳实施例中，步骤S123中的待检测标签上对应的四个顶点坐标计算方法如下：
Figure BDA0002039865460000111
其中，H为仿射变换矩阵，H-1为H的逆矩阵。
较佳实施例中，步骤S13中待检测标签的矩形区域的倾角及中心位置计算方法如下：
(1)假设已经得到待检测标签信息区域外侧矩形四个顶点位置：(x1,y1),(x2,y2),(x3,y3),(x4,y4)；依次为矩形的左上方点、右上方点、左下方点、右下方点。
(2)计算整个待剪裁区域倾斜角度θ及矩形区域的中心位置P：
Figure BDA0002039865460000112
P＝((x1+x2+x3+x4)/4,(y1+y2+y3+y4)/4)
对矩形区域内所有像素点围绕中心位置点P顺时针旋转θ度。
较佳实施例中，如图5所示，步骤S14具体包括：
S141：将获取到的标签信息区域图像进行二值化、平滑去噪处理；
S142：根据得到的仿射变换矩阵的逆矩阵求出模板标签上每个内侧单独信息区域的顶点位置坐标在待检测标签上对应的位置坐标；
S143：根据求出的各坐标对每个单独信息区域进行剪裁；
S144：使用投影切分算法对每个单独信息区域手写汉字做切分处理，逐一分割手写汉字字符；
S145：利用规整化算法对每个手写汉字字符进行规整化操作，调整变形手写汉字的质心位置及密度分布；
S146：提取规整化后汉字的方向特征，作为汉字的分类特征，并对特征进行降维处理。
较佳实施例中，步骤S152中的MQDF的分类识别可信度Rc的计算方法为：
RC＝1-d1/d2，
其中，d1、d2为前δ个可能的识别差(假设识别差由小到大排列)的前两个可能识别差。
较佳实施例中，步骤S153中将两个分类器的识别部分调整到同一个可比较域中的计算方法为：
p(wi|xh,xg)＝αp(wi|xg)+βp(wi|xh)，
其中，wi为第i类，xg为MQDF的梯度特征，xh为DBN的层次特征，p(wi|xg)为MQDF后验概率，p(wi|xh)为DBN后验概率，p(wi|xh,xg)为MQDF-DBN融合概率模型，α和β为权衡因子。
如图6所示为本发明的实施例的基于手写文字识别的物流标签信息检测系统的结构示意图。
请参考图6，本实施例的基于手写文字识别的物流标签信息检测系统包括：依次连接的限定图像区域采集模块1、标签信息区域检测模块2、标签信息区域提取与处理模块3、手写汉字预处理与特征提取模块4以及手写汉字信息识别模块5。其中，限定图像区域采集模块1用于限定快递上的标签进入规定的图像采集区域，并对标签图像进行采集；标签信息区域检测模块2用于利用准备好的模板标签对采集到的图像中的快递标签进行特征检测与匹配，并将整个信息区域剪裁提取出来；标签信息区域处理模块3用于对其中的标签进行倾角校正处理，并分割标签上的每块信息区域；手写汉字预处理与特征提取模块4用于对分割后的每块信息区域内的手写汉字进行切分、规整化处理，调整每个汉字字符的质心位置及密度分布，提取单个手写汉字方向特征，并对特征进行降维处理；手写汉字信息识别模块5用于利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好汉字信息进行合并，获取整段信息，按每个信息区域划分部分将对应信息导入到标签信息管理系统中。
较佳实施例中，限定视频图像区域采集模块包括：限位装置、高清相机、图像采集卡以及上位机；其中，限位装置用于限定快递上的标签进入规定的图像采集区域；高清相机用于对标签图像进行采集；图像采集卡用于将高清相机获取到的图像信号采集到上位机中，并以数据文件的形式保存在硬盘上；上位机用于对硬盘中的图像数据文件进行实时检测与字符识别，获取识别后的连续字符信息，并将连续字符信息导入到快递信息管理系统之中。
较佳实施例中，限位装置包括：两条平行于传送带的限位线；其中，两条平行于传送带的限位线用于限定快递包裹的快递标签放置在传送带上的指示区域内，保证传送带运行时，标签能完整进入高清相机捕捉的视野范围。限位线可以位于传送带上，快递包裹随传送带传送过程中经过两条限位线中间，从而使快递包裹的位置能满足高清相机捕捉快递包裹的快递标签的要求。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种基于手写文字识别的物流标签信息检测方法，其特征在于，包括：
S11：从快递分拣传送带获取标签图像；
S12：对提取到的标签图像进行裁剪，去除标签信息区域图像边缘背景；
所述S12具体包括：
S121：测量出模板图像信息区域外侧矩形4个顶点位置坐标，同时测量出面单上寄/收件人姓名、地址、联系电话小矩形区域的多组顶点位置坐标；
S122：利用ORB特征检测算法将视频流中待检测标签与模板标签的特征点进行检测匹配，求出两幅图像之间的仿射变换矩阵；
S123：根据得到的仿射变换矩阵的逆矩阵求出模板标签上外侧矩形区域四个顶点位置坐标在待检测标签上对应的四个顶点坐标，得到具有一定倾斜角度的矩形待检测区域，对其进行剪裁；
S13：根据已求出的四个顶点坐标计算待检测标签的倾角及中心位置坐标，并以中心位置为中心转动倾角以校正倾角；
S14：对倾角校正后的待检测标签的标签信息区域图像做二值化与平滑处理，并利用得到的仿射变换矩阵H求出标签内侧矩形各顶点位置，按顶点位置进行剪裁获得每个分块标签，然后利用基于投影的切分算法提取出每个分块标签上的汉字字符，对汉字字符进行规整化处理，提取其特征，并对特征进行降维处理；
S15：构建修改的二次判别函数分类器MQDF和深度置信网络DBN的融合模型，融合模型的工作过程包括：训练、识别以及融合；
所述S15具体包括：
S151：训练阶段，利用手写汉字数据库中的汉字对MQDF和DBN同时训练，其中MQDF提取汉字梯度特征，DBN提取汉字层次特征；
S152：识别阶段，对于MQDF设置预设阈值T作为其分类识别可信度Rc的阈值并规定MQDF输出结果判定规则，对于DBN则直接进行分类输出；
S153：融合阶段，将两个分类器的识别部分调整到同一个可比较域中；
S16：利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好的汉字进行合并，获取连续文字表达信息；
S17：按每个单独信息区域划分将对应信息导入到标签信息管理系统中。
2.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S122在检测匹配时，由于特征点间存在一定误匹配，采用消除误匹配的随机采样一致RANSAC算法消除匹配误差。
3.根据权利要求2所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S122中的采用消除误匹配的随机采样一致RANSAC算法消除匹配误差具体包括：
S1221：将待检测标签与模板标签进行ORB特征检测与匹配，找出匹配特征点对坐标集合；
S1222：从以上特征点对坐标集合中随机抽出多对样本数据，然后带入多对样本点计算出仿射变换矩阵H的9个元素值，并记为模型M；
其中，
Figure FDA0003061762640000021
H满足：
Figure FDA0003061762640000022
其中，(x，y)为模板标签上的匹配点坐标，(x’，y’)为待检测标签上的匹配点坐标，s为尺度参数；
S1223：设特征点对坐标集合中所有数据与模型M的投影误差为代价函数Q，若数据的代价函数值小于设定的阈值，则将该数据加入内点集I，内点集为受信任的坐标点对集合；
其中，代价函数Q的计算公式为：
Figure FDA0003061762640000023
S1224：如果当前内点集I元素的个数大于设定的最优内点集I_best,则更新I_best＝I，同时更新迭代次数k；
其中，
Figure FDA0003061762640000031
p为置信度，w为内点的比例，m为计算模型所需要的最少样本数；
S1225：如果计算的迭代次数大于k，则退出；否则迭代次数加1，并重复上述，迭代次数在不大于最大迭代次数k的情况下，迭代次数加1；一旦大于最大迭代次数k，计算停止，迭代结束。
4.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S123中的待检测标签上对应的四个顶点坐标计算方法如下：
Figure FDA0003061762640000032
其中，H为仿射变换矩阵，H-1为H的逆矩阵。
5.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S13中待检测标签的倾角及中心位置坐标的计算方法为：
P＝((x1+x2+x3+x4)/4,(y1+y2+y3+y4)/4)；
Figure FDA0003061762640000033
其中，(x1,y1),(x2,y2),(x3,y3),(x4,y4)为待检测区域的四个顶点位置坐标，θ为倾角，P为中心位置坐标。
6.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S14具体包括：
S141：将获取到的标签信息区域图像进行二值化、平滑去噪处理；
S142：根据得到的仿射变换矩阵的逆矩阵求出模板标签上每个内侧单独信息区域的顶点位置坐标在待检测标签上对应的位置坐标；
S143：根据求出的各坐标对每个单独信息区域进行剪裁；
S144：使用投影切分算法对每个单独信息区域手写汉字做切分处理，逐一分割手写汉字字符；
S145：利用规整化算法对每个手写汉字字符进行规整化操作，调整变形手写汉字的质心位置及密度分布；
S146：提取规整化后汉字的方向特征，作为汉字的分类特征，并对特征进行降维处理。
7.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S152中的MQDF的分类识别可信度Rc的计算方法为：
RC＝1-d1/d2，
其中，假设识别差由小到大排列时，d1、d2为前δ个可能的识别差的前两个可能识别差。
8.根据权利要求1所述的基于手写文字识别的物流标签信息检测方法，其特征在于，所述S153中将两个分类器的识别部分调整到同一个可比较域中的计算方法为：
p(wi|xh,xg)＝αp(wi|xg)+βp(wi|xh)，
其中，wi为第i类，xg为MQDF的梯度特征，xh为DBN的层次特征，p(wi|xg)为MQDF后验概率，p(wi|xh)为DBN后验概率，p(wi|xh,xg)为MQDF-DBN融合概率模型，α和β为权衡因子。
9.一种基于手写文字识别的物流标签信息检测系统，其特征在于，包括：依次连接的限定图像区域采集模块、标签信息区域检测模块、标签信息区域提取与处理模块、手写汉字预处理与特征提取模块以及手写汉字信息识别模块；其中，
所述限定图像区域采集模块用于限定快递上的标签进入规定的图像采集区域，并对标签图像进行采集；
所述标签信息区域检测模块利用准备好的模板标签对采集到的图像中的快递标签进行特征检测与匹配，并将整个信息区域剪裁提取出来；所述标签信息区域检测模块包括：
测量出模板图像信息区域外侧矩形4个顶点位置坐标，同时测量出面单上寄/收件人姓名、地址、联系电话小矩形区域的多组顶点位置坐标；
利用ORB特征检测算法将视频流中待检测标签与模板标签的特征点进行检测匹配，求出两幅图像之间的仿射变换矩阵；
根据得到的仿射变换矩阵的逆矩阵求出模板标签上外侧矩形区域四个顶点位置坐标在待检测标签上对应的四个顶点坐标，得到具有一定倾斜角度的矩形待检测区域，对其进行剪裁；
所述标签信息区域处理模块对其中的标签进行倾角校正处理，并分割标签上的每块信息区域；
所述手写汉字预处理与特征提取模块对分割后的每块信息区域内的手写汉字进行切分、规整化处理，调整每个汉字字符的质心位置及密度分布，提取单个手写汉字方向特征，并对特征进行降维处理；具体的，对倾角校正后的待检测标签的标签信息区域图像做二值化与平滑处理，并利用得到的仿射变换矩阵H求出标签内侧矩形各顶点位置，按顶点位置进行剪裁获得每个分块标签，然后利用基于投影的切分算法提取出每个分块标签上的汉字字符，对汉字字符进行规整化处理，提取其特征，并对特征进行降维处理；
所述手写汉字信息识别模块利用融合模型对汉字字符逐一进行分类识别，获取每个汉字分类信息，并将分类好汉字信息进行合并，获取整段信息，按每个信息区域划分部分将对应信息导入到标签信息管理系统中；所述融合模型的工作过程包括：训练、识别以及融合；其中，
训练阶段，利用手写汉字数据库中的汉字对MQDF和DBN同时训练，其中MQDF提取汉字梯度特征，DBN提取汉字层次特征；
识别阶段，对于MQDF设置预设阈值T作为其分类识别可信度Rc的阈值并规定MQDF输出结果判定规则，对于DBN则直接进行分类输出；
融合阶段，将两个分类器的识别部分调整到同一个可比较域中。
10.根据权利要求9所述的基于手写文字识别的物流标签信息检测系统，其特征在于，所述限定图像区域采集模块包括：限位装置、高清相机、图像采集卡以及上位机；其中，限位装置设置于传送带的上游，高清相机设置于传送带的中游并垂直于传送带，所述高清相机与所述图像采集卡相连，所述图像采集卡与所述上位机相连；
所述限位装置用于限定快递上的标签进入规定的图像采集区域；
所述高清相机对标签图像进行采集，获取图像信号；
所述图像采集卡将所述高清相机获取到的图像信号采集到所述上位机中，并将其保存；
所述上位机对所述图像采集卡保存的图像信号进行实时检测与字符识别，获取识别后的连续字符信息，并将连续字符信息导入到快递信息管理系统之中。
CN201910338270.6A 2019-04-25 2019-04-25 一种基于手写文字识别的物流标签信息检测方法及系统 Active CN110070090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910338270.6A CN110070090B (zh) 2019-04-25 2019-04-25 一种基于手写文字识别的物流标签信息检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910338270.6A CN110070090B (zh) 2019-04-25 2019-04-25 一种基于手写文字识别的物流标签信息检测方法及系统

Publications (2)

Publication Number Publication Date
CN110070090A CN110070090A (zh) 2019-07-30
CN110070090B true CN110070090B (zh) 2021-06-25

Family

ID=67368901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910338270.6A Active CN110070090B (zh) 2019-04-25 2019-04-25 一种基于手写文字识别的物流标签信息检测方法及系统

Country Status (1)

Country Link
CN (1) CN110070090B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781900A (zh) * 2019-10-25 2020-02-11 李东洋 一种基于模式识别的汉字识别系统
CN110991446B (zh) * 2019-11-22 2020-10-23 上海欧冶物流股份有限公司 标签识别方法、装置、设备及计算机可读存储介质
CN112990804A (zh) * 2019-12-16 2021-06-18 菜鸟智能物流控股有限公司 数据处理方法和装置、电子设备以及计算机可读存储介质
CN111507354B (zh) * 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质
CN114322849A (zh) * 2020-09-29 2022-04-12 昆山午力电子有限公司 基于图像识别的物品特征定位系统
CN112560858B (zh) * 2020-10-13 2023-04-07 国家计算机网络与信息安全管理中心 一种联合轻量化网络和个性化特征提取的字符图片检测及快速匹配方法
CN112418265A (zh) * 2020-10-14 2021-02-26 合肥联宝信息技术有限公司 一种标签检测方法、装置及存储介质
CN113537301B (zh) * 2021-06-23 2022-08-16 天津中科智能识别产业技术研究院有限公司 基于模板自适应匹配瓶体标签的缺陷检测方法
CN113743394B (zh) * 2021-08-07 2023-08-11 苏州浪潮智能科技有限公司 一种标签中字符的检测方法、装置、设备及可读介质
CN113822196B (zh) * 2021-09-23 2022-06-21 天津易客满国际物流有限公司 一种方便复制传播的omr运输面单制作及识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN103955889A (zh) * 2013-12-31 2014-07-30 广东工业大学 一种基于增强现实技术的制图类作业评阅方法
CN105160654A (zh) * 2015-07-09 2015-12-16 浙江工商大学 基于特征点提取的毛巾标签缺陷检测方法
CN106056597A (zh) * 2016-05-26 2016-10-26 广州视源电子科技股份有限公司 物体视觉检测方法及装置
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN107273887A (zh) * 2017-07-21 2017-10-20 顺丰科技有限公司 用于识别图像中手写文字的方法、系统及其设备
CN107545391A (zh) * 2017-09-07 2018-01-05 安徽共生物流科技有限公司 一种基于图像识别的物流单据智能分析与自动存储方法
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN109242400A (zh) * 2018-11-02 2019-01-18 南京信息工程大学 一种基于卷积门控循环神经网络的物流快递单号识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108548820B (zh) * 2018-03-28 2023-08-15 浙江理工大学 化妆品纸质标签缺陷检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN103955889A (zh) * 2013-12-31 2014-07-30 广东工业大学 一种基于增强现实技术的制图类作业评阅方法
CN105160654A (zh) * 2015-07-09 2015-12-16 浙江工商大学 基于特征点提取的毛巾标签缺陷检测方法
CN106056597A (zh) * 2016-05-26 2016-10-26 广州视源电子科技股份有限公司 物体视觉检测方法及装置
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107273887A (zh) * 2017-07-21 2017-10-20 顺丰科技有限公司 用于识别图像中手写文字的方法、系统及其设备
CN107545391A (zh) * 2017-09-07 2018-01-05 安徽共生物流科技有限公司 一种基于图像识别的物流单据智能分析与自动存储方法
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN109242400A (zh) * 2018-11-02 2019-01-18 南京信息工程大学 一种基于卷积门控循环神经网络的物流快递单号识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DBN融合模型对脱机手写汉字识别;刘露 等;《哈尔滨理工大学学报》;20171231;第22卷(第6期);第82-86页 *
Offline handwritten Chinese character recognition based on DBN fusion model;Lu Liu等;《IEEE》;20160831;第1807-1811页 *

Also Published As

Publication number Publication date
CN110070090A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070090B (zh) 一种基于手写文字识别的物流标签信息检测方法及系统
CN106156766B (zh) 文本行分类器的生成方法及装置
CN105809123B (zh) 人脸检测方法及装置
CN109740606B (zh) 一种图像识别方法及装置
CN110119741A (zh) 一种有背景的卡证图像信息识别方法
CN105389593A (zh) 基于surf特征的图像物体识别方法
CN101887523A (zh) 利用图片文字与局部不变特征检测图像垃圾邮件的方法
Mishchenko et al. Chart image understanding and numerical data extraction
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN109740607B (zh) 字符图像的残缺区域检测和残缺字符图像恢复方法
Prommas et al. CNN-based Thai handwritten OCR: an application for automated mail sorting
CN113989196A (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
Lin et al. Optical character recognition with fast training neural network
Kamble et al. Geometrical features extraction and knn based classification of handwritten marathi characters
CN112949523A (zh) 从身份证影像图片中提取关键信息的方法与系统
CN112200789A (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN116363655A (zh) 一种财务票据识别方法及系统
Deb et al. An efficient method for correcting vehicle license plate tilt
Al-Shatnawi A skew detection and correction technique for Arabic script text-line based on subwords bounding
Su et al. Skew detection for Chinese handwriting by horizontal stroke histogram
Nasiri et al. A new binarization method for high accuracy handwritten digit recognition of slabs in steel companies
CN114187434A (zh) 一种基于树莓派4b的端到端车牌识别方法
CN107491780A (zh) 一种基于sift的书法防倒挂方法
Araújo et al. Segmenting and recognizing license plate characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant