CN111178464A - 一种基于神经网络的ocr识别在物流行业快递面单的应用 - Google Patents
一种基于神经网络的ocr识别在物流行业快递面单的应用 Download PDFInfo
- Publication number
- CN111178464A CN111178464A CN201911323204.8A CN201911323204A CN111178464A CN 111178464 A CN111178464 A CN 111178464A CN 201911323204 A CN201911323204 A CN 201911323204A CN 111178464 A CN111178464 A CN 111178464A
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- character
- image
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Accounting & Taxation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Character Discrimination (AREA)
- Sorting Of Articles (AREA)
Abstract
本发明公开了一种基于神经网络的OCR识别在物流行业的快递面单的应用,其特征在于,包括以下步骤:第一步定位三段码:先检测条码位置,再根据电子面单模板定位三段码的候选区域,第二步分割,筛选三段码的区域内字符并送入神经网络识别。本发明具有如下优点:提供了一种新的快递分拣方案,能够保证物流分拣中心与总部数据库通信故障时,进行正常分拣,减少快递滞留时间,节约了大量的财力和物力。
Description
技术领域
本发明涉及一种基于神经网络的OCR识别在物流行业快递面单的应用,属于图像处理技术领域。
背景技术
随着网络购物的蓬勃发展,我国每年的快递总量在急剧增加。a年,全国快递服务企业业务量累计完成507.1亿件,同比增长26.6%。如此快速增长的快递量,对快递分拣中心的效率要求很高。对于分拣系统,目前一般使用传统交叉分拣机和AGV小车分拣。AGV搬运速度是恒定的,场地的分拣效率和AGV小车的数量相关,而交叉分拣带的分拣效率可以随着订单量的增大而增大。当订单量足够大的时候,交叉分拣带速度明显高于机器人。AGV对货物的重量以及体积形状有很大的要求,且运作效率有限,所以在一些订单量比较大的仓库中,交叉分拣依旧是客户的首选。快递行业为了提高效率,进行了电子面单和三段码数字化改革。三段码一般包含三个数字字母组合部分:分拨中心代码(一般为省市级集散中心),分部代码(市县下的网点),快递员码。目前的分拣线上主要采用读取条形码信息,将信息与总部数据中心进行交互,得知三段码信息,然后根据三段码信息进行分拣。在此过程中断电,快递量过多等原因导致总部服务器宕机,导致分拨中心无法与总部数据中心进行交互,不能进行分拣,物流车量排队等候卸货,客户等待时间延长,因此分拨中心会浪费大量的时间,财力和物力。由于三段码信息已经打印在电子面单上,所以识别出三段码可以直接进行分拣,无需从数据中心根据条码信息进行信息转换获取三段码信息。在数据中心与分拨中心交互正常后,再将已经分发的快递信息对数据库更新。大大提升了效率,作为故障时刻的补充方案对分拣中心大有脾益。
随着物流行业的快速发展,快递的送达效率是快递公司的不断追求的目标。目前在分拣中心的分拣方案识别快递条形码信息与总部数据库服务器通信获取三段码的信息进行分拣。这种方案下有时会出现条形码信息无法完全获取,无法与总部数据库服务器通信,导致无法获取三段码的信息从而不能进行自动化分拣。本发明提供的方案是在本地分拣识别三段码从而进行分拣,并将分拣信息保存在本地,之后同步到数据库服务器。由于分拣中心的快递来自众多不同的发货方,快递的包裹规格,形状,颜色各异,以及包裹上面单的朝向有诸多不同,直接识别分拣机上方摄像头拍摄的图片中三段码难度较大。本发明采用两步法识别三段码,第一步定位三段码:先检测条码位置,再根据电子面单模板定位三段码的候选区域,第二步分割,聚类三段码的区域内字符并送入神经网络识别。本文调用Fabimage的条码检测接口检测条码。对于识别由于三段码候选区域可能有其他非三段码字符,因此本发明对候选区域的字符建立字库。基于字库设计并训练神经网络模型,进而对三段码进行识别。最终在前期所有快递无人工干预的情况下,自动化分拣比例约为80%,后期人工参与分拣比例约为20%,其中自动化分拣的准确率99.8%。时间上,单件快递的识别时间在300ms以内。目前作为补充方案,在时间,自动化分拣比例和准确率上基本满足分拣中心现场需求。
发明内容
本发明要解决的技术问题是如何对快递面单进行快速高效的识别。
为了解决上述技术问题,本发明的技术方案是提供了一种基于神经网络的OCR识别在物流行业的快递面单的应用。
本发明的技术方案第一步定位三段码:先检测条码位置,再根据电子面单模板定位三段码的候选区域,第二步分割,聚类三段码的区域内字符并送入神经网络识别。在本地分拣识别三段码从而进行分拣,并将分拣信息保存在本地,之后同步到数据库服务器。本发明优点在于:
目前的分拣线上主要采用读取条形码信息,将信息与总部数据中心进行交互,得知三段码信息,然后根据三段码信息进行分拣。在此过程中断电,快递量过多等原因导致总部服务器宕机,导致分拨中心无法与总部数据中心进行交互,不能进行分拣,物流车量排队等候卸货,客户等待时间延长,因此分拨中心会浪费大量的时间,财力和物力。本发明基于改进后应用相比与当前快递面单识别更具优势,该方法结构简单,易于理解,时间成本低,降低财力和物力。
附图说明
图1为本发明提供的一种基于神经网络的OCR识别在物流行业快递面单的应用的工作流程图;
图2为现有中通快递电子面单示意图;
图3a为相机拍摄的原图;
图3b为图3a的梯度图像图;
图3c为条码定位输出结果图;
图3d为矫正条码于水平状态;
图3e为扩大条码ROI区图;
图3f为三段码位置图;
图4a为定位条码上方三段码可能存在的位置一;
图4b为图4a对应的自适应阈值二值图像;
图4c为定位条码上方三段码可能存在的位置二;
图4d为图4c对应的自适应阈值二值图像。
具体实施方式
为使本发明更明显易懂,兹以优选实施例,并配合附图作详细说明如下。
实施例
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种基于神经网络的OCR识别在物流行业快递面单的改进应用,具体的场景分析和案例实施步骤如下:
目前物流行业在对进出港件进行自动化分拣过程中,主要是针对根据条形码的信息获取到快递目的地,然后再进行分拣。这种自动化分拣方式对条形码的完整性要求比较苛刻。对于大型企业自建物流仓库,快递件比较规则(纸箱)是有较高识别分拣效率的。但是对于转运中心,进港件快递包裹包装材料,形状,颜色各异,电子面单的粘贴方式不规范,运输电子面单条形码污损,折叠,遮挡等情况,导致快递在经过摄像头时拍摄出来的图片是可能无法识别整个条形码信息,因此在服务器和转运中心正常通信的情况下,综合三段码信息的识别方案和条形码识别方案自动分拣。
机器识别电子面单的三段码推动了快递行业包裹数字化,为实现快递自动分拨、智能物流打下了基础。本文主要在中通电子面单的快递图片数据集上解决三段码的识别问题。中通电子面单的目前版本如图1所示,
步骤1、利用摄像头对快递电子面单拍摄获取字符图片,由于上件的方向性问题,直接定位出三段码的难度比较大。同时,我们使用梯度检测算法定位出条形码,计算条形码的倾斜角度(如图3a,3b所示)。
步骤2、由于快递上件时具有随意性,摄像头拍摄的位置存在一定的倾斜度,需要对条形码进行矫正,然后根据条形码的位置矫正图片,使条形码处于水平位置状态(如图3d所示),将条形码矫正,处于水平位置状态后,然后扩大条形码的ROI区间(ROI(region ofinterest),感兴趣区域),(如图3e所示),接着根据图1模板和条码和三段码的相对位置上下平移定位三段码位置(如图3f所示)。其中扩大ROI区域的原因一是可以解决条码残缺,不能完全识别的问题,二是打印的三段码的位置相对三段码的左右可能有出入。垂直扩大ROI的区域是面单包裹部分折叠,扭曲的问题,导致三段码和条形码不处于水平位置,或相对位置变小导致切割三段码区域时会切残待识别的三段码字符。
步骤3、根据位置切割三段码图片,将三段码图片进行自适应二值化处理,得到二值三段码图片。再利用opencv2的findContours函数寻找轮廓,根据轮廓的最大边界切割成单个图像。
步骤4、对步骤3所产生的图像,根据图像尺寸进行筛选,去除噪声图像,获得字符图像。由自适应二值图像可以看出,图像中有很多非三段码字符的信息,因此需要对分割出的图像根据大小聚类。根据多次分割得到的数据,单个字符的宽(w)和高(h)的范围是:4<=w<=35,20<h<50个像素点。以将分割后的图片标准化成40x40个像素点大小的图片(如图4a-4d)。
步骤5、通过BP神经网络对字符进行识别;
步骤6、对识别结果根据字符的水平先后位置进行排序组合,获得三段码;
2.所述的BP神经网络训练步骤如下:
步骤1、训练数据集制作,在不同分辨率和不同倾斜角度下分别采集图片作为训练样本,根据待识别的字符的字体制作字符训练样本,包括0到9共10个数字以及A到Z共26个字母;
步骤2、字符模板归一化,在满足后续神经网络的识别率的条件下,根据待识别字符大小将字符模板大小调整至最小;
步骤3、设计BP神经网络,对数据集进行训练,以字符图像作为输入层的输入;以logsig函数作为隐含层,隐含层设计节点36个,输出层是预期的结果,共三十六种输出,设计的指标包含训练步数和目标误差,系统每10步显示一次训练误差的变化曲线,并保存训练结果得到训练好的BP神经网络。
经验证,本发明通过对快递电子面单三段码的改进应用,提出的基于神经网络的OCR在电子面单的改进应用可以更好地对快递物件的分拣,且实现过程相对简单,具有很好的实用价值。
Claims (2)
1.一种基于神经网络的OCR识别在物流行业的快递面单的应用,其特征在于,包括以下步骤:
步骤1、利用摄像头进行图片拍摄,获取字符图像,使用梯度检测算法定位出条形码,计算条形码的倾斜角度;
步骤2、根据倾斜度进行图像进行矫正,然后扩大条形码的ROI区间,根据模板和滑动窗口法定位三段码位置;
步骤3、根据位置切割三段码图片,将三段码图片进行自适应二值化处理,得到二值三段码图片。再利用opencv2的findContours函数寻找轮廓,根据轮廓的最大边界切割成单个图像;
步骤4、对步骤3所产生的图像,根据图像尺寸进行筛选,去除噪声图像,获得字符图像;
步骤5、通过BP神经网络对字符进行识别;
步骤6、对识别结果根据字符的水平先后位置进行排序组合,获得三段码。
2.如权利要求1所述的一种基于神经网络的OCR识别在物流行业的快递面单的应用,其特征在于,所述的BP神经网络训练步骤如下:
步骤1、训练数据集制作,在不同分辨率和不同倾斜角度下分别采集图片作为训练样本,根据待识别的字符的字体制作字符训练样本,包括0到9共10个数字以及A到Z共26个字母;
步骤2、字符模板归一化,在满足后续神经网络的识别率的条件下,根据待识别字符大小将字符模板大小调整至最小;
步骤3、设计BP神经网络,对数据集进行训练,以字符图像作为输入层的输入;以logsig函数作为隐含层,隐含层设计节点36个,输出层是预期的结果,共三十六种输出,设计的指标包含训练步数和目标误差,系统每10步显示一次训练误差的变化曲线,并保存训练结果得到训练好的BP神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911323204.8A CN111178464A (zh) | 2019-12-20 | 2019-12-20 | 一种基于神经网络的ocr识别在物流行业快递面单的应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911323204.8A CN111178464A (zh) | 2019-12-20 | 2019-12-20 | 一种基于神经网络的ocr识别在物流行业快递面单的应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111178464A true CN111178464A (zh) | 2020-05-19 |
Family
ID=70655576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911323204.8A Pending CN111178464A (zh) | 2019-12-20 | 2019-12-20 | 一种基于神经网络的ocr识别在物流行业快递面单的应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178464A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738031A (zh) * | 2020-08-06 | 2020-10-02 | 江苏东大集成电路系统工程技术有限公司 | 一种一维条码识别方法 |
CN112288372A (zh) * | 2020-11-06 | 2021-01-29 | 辽宁黑北健科技有限公司 | 一种可同时识别一维条码和三段码字符的快递单识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794420A (zh) * | 2015-04-27 | 2015-07-22 | 江苏中科贯微自动化科技有限公司 | 面向工业自动化生产的code128码自动识别方法 |
CN105809158A (zh) * | 2014-12-29 | 2016-07-27 | 张继锋 | 包裹单、包裹单的信息识别方法及其识别系统 |
CN106651278A (zh) * | 2017-01-10 | 2017-05-10 | 上海万琛电子商务有限公司 | 一种基于物流分拣系统的数据处理方法 |
US20180053138A1 (en) * | 2016-08-21 | 2018-02-22 | Certainty Logistics LLC | System and method for securely transporting cargo |
CN108960148A (zh) * | 2018-07-05 | 2018-12-07 | 济南东朔微电子有限公司 | 一种基于视频图像的快递面单三段码识别方法 |
CN109242400A (zh) * | 2018-11-02 | 2019-01-18 | 南京信息工程大学 | 一种基于卷积门控循环神经网络的物流快递单号识别方法 |
CN110544066A (zh) * | 2019-08-14 | 2019-12-06 | 刘军 | 一种无纸化且可保护客户信息的快递物流工作方法 |
-
2019
- 2019-12-20 CN CN201911323204.8A patent/CN111178464A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105809158A (zh) * | 2014-12-29 | 2016-07-27 | 张继锋 | 包裹单、包裹单的信息识别方法及其识别系统 |
CN104794420A (zh) * | 2015-04-27 | 2015-07-22 | 江苏中科贯微自动化科技有限公司 | 面向工业自动化生产的code128码自动识别方法 |
US20180053138A1 (en) * | 2016-08-21 | 2018-02-22 | Certainty Logistics LLC | System and method for securely transporting cargo |
CN106651278A (zh) * | 2017-01-10 | 2017-05-10 | 上海万琛电子商务有限公司 | 一种基于物流分拣系统的数据处理方法 |
CN108960148A (zh) * | 2018-07-05 | 2018-12-07 | 济南东朔微电子有限公司 | 一种基于视频图像的快递面单三段码识别方法 |
CN109242400A (zh) * | 2018-11-02 | 2019-01-18 | 南京信息工程大学 | 一种基于卷积门控循环神经网络的物流快递单号识别方法 |
CN110544066A (zh) * | 2019-08-14 | 2019-12-06 | 刘军 | 一种无纸化且可保护客户信息的快递物流工作方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738031A (zh) * | 2020-08-06 | 2020-10-02 | 江苏东大集成电路系统工程技术有限公司 | 一种一维条码识别方法 |
CN112288372A (zh) * | 2020-11-06 | 2021-01-29 | 辽宁黑北健科技有限公司 | 一种可同时识别一维条码和三段码字符的快递单识别方法 |
CN112288372B (zh) * | 2020-11-06 | 2023-09-26 | 辽宁黑北健科技有限公司 | 一种可同时识别一维条码和三段码字符的快递单识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107617573B (zh) | 一种基于多任务深度学习的物流编码识别和分拣方法 | |
US7356162B2 (en) | Method for sorting postal items in a plurality of sorting passes | |
US7720256B2 (en) | Idenitfication tag for postal objects by image signature and associated mail handling | |
CN110070090B (zh) | 一种基于手写文字识别的物流标签信息检测方法及系统 | |
CN101795783B (zh) | 利用与数字印记关联的客户代码处理邮政寄送件的方法 | |
US20160034773A1 (en) | Robust industrial optical character recognition | |
US8126204B2 (en) | Method of processing mailpieces, the method including graphically classifying signatures associated with the mailpieces | |
CN109934255B (zh) | 一种适用于饮料瓶回收机投递物分类识别的模型融合方法 | |
Sharma et al. | Signature and logo detection using deep CNN for document image retrieval | |
CN109741551B (zh) | 一种商品识别结算方法、装置及系统 | |
CN111461133B (zh) | 快递面单品名识别方法、装置、设备及存储介质 | |
CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
CN111178464A (zh) | 一种基于神经网络的ocr识别在物流行业快递面单的应用 | |
CN111476210A (zh) | 基于图像的文本识别方法、系统、设备及存储介质 | |
CN111428682A (zh) | 快件分拣方法、装置、设备及存储介质 | |
Celar et al. | Classification of test documents based on handwritten student ID's characteristics | |
CN110705486B (zh) | 一种基于视频图像识别快递面单上倾斜数字的方法 | |
CN117275011B (zh) | 一种商品识别与商品价签匹配方法、系统、终端及介质 | |
CN113112503B (zh) | 一种基于机器视觉实现药品标签自动检测的方法 | |
US11908220B2 (en) | System and method for automatically recognizing delivery point information | |
CN112966681B (zh) | 商品拍照智能识别建档检索的方法、设备及存储介质 | |
CN111414917B (zh) | 一种低像素密度文本的识别方法 | |
CN114581928A (zh) | 一种表格识别方法及系统 | |
CN110008782A (zh) | 条码信息的获取方法及装置 | |
CN116363655A (zh) | 一种财务票据识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200519 |