CN111091086B - 一种利用机器视觉技术提高物流面单特征信息识别率的方法 - Google Patents

一种利用机器视觉技术提高物流面单特征信息识别率的方法 Download PDF

Info

Publication number
CN111091086B
CN111091086B CN201911265408.0A CN201911265408A CN111091086B CN 111091086 B CN111091086 B CN 111091086B CN 201911265408 A CN201911265408 A CN 201911265408A CN 111091086 B CN111091086 B CN 111091086B
Authority
CN
China
Prior art keywords
picture
target
machine vision
utilizing
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911265408.0A
Other languages
English (en)
Other versions
CN111091086A (zh
Inventor
阮学云
白文杰
倪桥
吕培炎
邵良友
李达
王相
魏玥
李璐璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201911265408.0A priority Critical patent/CN111091086B/zh
Publication of CN111091086A publication Critical patent/CN111091086A/zh
Application granted granted Critical
Publication of CN111091086B publication Critical patent/CN111091086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种利用机器视觉技术提高物流面单特征信息识别率的方法，其包括步骤为：1)读取图片，对图像进行预处理并将目标区域选出，创建模板；2)基于形状匹配原理找出目标并确定位置；3)基于向量求夹角的方式修补形状匹配后的定位角度差；4)将角度修正后的图像经过含有动态参数调整的阈值分割，再对处理后的目标区域进行识别。本发明主要基于HALCON平台上编程实现，阐述了形态学分析和定位分析处理图像、特征提取的具体过程，最后训练一个用于识别包含快递包裹分拣地址信息的三段码分类器。该方法能快速准确地定位识别三段码，具有较高的分拣准确度和稳定性。

Description

一种利用机器视觉技术提高物流面单特征信息识别率的方法
技术领域
本发明涉及机器识别优化领域，具体是一种利用机器视觉技术提高物流面单特征信息识别率的方法。
背景技术
随着互联网电商平台的快速发展，网上购物过程中产生了大量快递包裹，在快递配送的各个环节，目前主要依赖人工手动分拣，而人会产生疲劳，容易发生误操作。针对物流分拣中心人工分拣快递效率低的问题，提出了基于机器视觉的三段码识别技术，三段码是一串包含地址分拣区域的数字与字母的组合。然而传统OCR(Optical CharacterRecognition，光学字符识别)直接匹配定位识别在某些复杂背景下会有一定的偏差，使得物流行业中动态识别面单三段码信息错误率一直较高，因此本发明提出的方法以几何变化优化定位以及参数的变量替换，以达到更好的自适应调整，从而提高OCR识别的准确率。
发明内容
本发明的目的在于：针对上述快递面单特征信息识别率不高的问题，提供一种利用机器视觉技术提高物流面单特征信息识别率的方法，从而提高快递面单特征信息识别率。
本发明实现发明目采用如下技术方案：
一种利用机器视觉技术提高物流面单特征信息识别率的方法，包括以下实施步骤：
步骤1：读取图片，对图像进行预处理并将目标区域选出创建模板；
步骤2：基于形状匹配原理找出目标并确定其所在视图窗口的几何位置；
步骤3：基于向量求夹角的方式修补形状匹配后的定位角度差；
步骤4：将角度修正后的图像经过含有动态参数调整的阈值分割，再对处理后的目标区域进行识别。
作为优选，所述读取图片是指在搭载的机器视觉平台上获取含有面单的图片，对获取到的图片进行灰度化和滤波的预处理。
作为优选，所述通过Blob分析选出图片中的目标区域，基于形状匹配的原理对图片中固定不变化的区域创建模板。
作为优选，目标区域的几何位置在软件中建立，需要的已知参数包括模板图片类型、几何位置坐标、建立的查找角度范围和目标缩放比范围。
作为优选，所述修补的定位角度差可由目标区域中已定直线
Figure BDA0002312686340000021
与两基准点连线
Figure BDA0002312686340000022
所构成的两向量确定，其求解公式如下：
Figure BDA0002312686340000023
Figure BDA0002312686340000024
其中，
Figure BDA0002312686340000025
是修补角度，单位：度(°)；
Figure BDA0002312686340000026
是两基准点连线
Figure BDA0002312686340000027
向量；
Figure BDA0002312686340000028
为已定直线
Figure BDA0002312686340000029
向量。
为了方便几何变换，需将
Figure BDA00023126863400000210
转换成始终与水平向右且逆时针方向的角度angle，其中，依据图3所示分析，当Row[1]>Row[0]时，
Figure BDA00023126863400000211
当Row[1]<Row[0]时，
Figure BDA00023126863400000212
作为优选，所述在图像窗口上建立二维坐标系，利用几何变换的知识将存在偏差的匹配位置矫正精确，几何变换公式如下：
Figure BDA00023126863400000213
其中，a、b为矫正后的区域中心的行与列的坐标，单位：像素；
i、j为矫正前的区域中心的行与列的坐标，单位：像素；
s为位移长度,单位：像素。
作为优选，所述步骤4中动态参数调整阈值分割后识别包括：
步骤4-1：计算待处理平面内的灰度值的平均值和偏差，如果R是一个区域，则从R中取像素p，灰度值g(p)，平面F(F＝|R|)，则特征：
Figure BDA00023126863400000214
Figure BDA0002312686340000031
其中，Mean为平面内的灰度平均值；
Deviation为平面内的灰度偏差，
步骤4-2：通过步骤4-1计算的Mean与Deviation的大小，同时获取平面内待识别目标部分的最低灰度值Min，基于这三个参数的组合计算出不同图片里待识别目标区域的最小MinGray与最大MaxGray的灰度值，基于此范围分割出平面内待识别的区域，基于此分析，推导出式(6)对其进行阈值分割；
Figure BDA0002312686340000032
其中，式中g为调节方差的权重系数。
步骤4-3：利用HALCON自带的OCR字符库识别步骤4-2中分割出的区域，根据字符所提取的特征，与系统中的模板相对比，将置信度最大的值返回，以此达到识别的目的。
本发明与现有技术相比，其有益效果体现在：
1)本发明在模板匹配定位时出现的角度差，利用目标背景的几何位置关系，重新确立目标的中心方位。由于采用向量求解方式求取中心，避免了单纯使用三角函数求解带来的角度限制，也提高了目标区域定位处理的精度。
2)本发明通过基于图像灰度值信息构造的动态参数调整的阈值分割法，能较好的克服光亮的变化，且变量的应用也能较好的适应目标与背景分割。
附图说明
图1是本发明实施例中提供的一种利用机器视觉技术提高物流面单特征信息识别率方法的流程图；
图2是本发明实施例中为提高物流面单特征信息识别率所搭建的系统示意图。
图3是本发明实施例中修补定位物流面单特征信息中角度差的原理示意图。
图4是本发明实施例中识别物流面单特征信息区域的几何中心变换原理示意图。
`
具体实施方式
以下结合具体实施例和说明书附图对本发明具体、详细地解释说明。
本发明适用于对快递分拣中物件的自动化分拣，平台摄取物件图片后，通过软件对图片进行前期的预处理以及创建模板，再基于形状匹配的原理获取待识别目标的大致位置，利用几何向量求取更为精确的位置关系后，再将优化定位后的目标区域图像以动态参数调整，以达到对环境的自适应调整，从而提高面单的识别率。图1所示为本发明一种利用机器视觉技术提高物流面单特征信息识别率方法的流程图，以下分别对每个步骤作详细的解释并举例：
步骤1：读取图片，对图像进行预处理并将目标区域选出创建模板；
具体地，在如图2所示的平台上进行物件的图片摄取。当物件被传送经过光电传感器时，便有触发信号传给摄像机，在光源的补光下摄取图片，并将图片传到处理模块中进行处理；
本实施例中对图像进行预处理需要先对获取到的图片进行灰度化处理，减小后续的计算量，再对其进行图像中值滤波处理，降低图像噪点对图像处理的影响；
本实施例中，通过Blob分析将面单特征信息中固定不变的信息区域分割出，基于快递分拣的动态传送分拣的分析，决定采用基于形状大小可变化的原理创建形状匹配模板。
步骤2：基于形状匹配原理找出目标并确定其所在视图窗口的几何位置；
目标区域的几何位置在软件中建立，需要的已知参数包括模板图片类型、几何位置坐标、建立的查找角度范围和目标缩放比范围；
本实施例中，基于形状模板匹配的原理查找模板，寻找待处理图片中与模板相似度最高的区域，将其发现的模型的位置、旋转和按行、列以及角度的比例返回给匹配结果。
步骤3：基于向量求夹角的方式修补形状匹配后的定位角度差；
具体地，因为步骤2返回的几何位置结果是存在偏差的，无法根据已寻出的模板位置而精确的选取整个目标区域，因而需要对其定位出现的角度差进行矫正。
所修补的定位角度差如图3所示，可由目标区域中已定直线
Figure BDA0002312686340000041
与两基准点连线
Figure BDA0002312686340000042
所构成的两向量确定，其求解公式如下：
Figure BDA0002312686340000043
Figure BDA0002312686340000044
其中，
Figure BDA0002312686340000045
是修补角度，单位：度(°)；
Figure BDA0002312686340000046
是两基准点连线
Figure BDA0002312686340000047
向量；
Figure BDA0002312686340000048
为已定直线
Figure BDA0002312686340000049
向量。
为了方便几何变换，需将
Figure BDA00023126863400000410
转换成始终与水平向右且逆时针方向的角度angle，其中，依据图3所示分析，当Row[1]>Row[0]时，
Figure BDA00023126863400000411
当Row[1]<Row[0]时，
Figure BDA00023126863400000412
本实施例中，在图像窗口上建立二维坐标系，如图4所示，M为未经几何变换前的匹配区域几何中心，N为变换后的匹配区域几何中心，利用几何变换的知识将存在偏差的匹配位置矫正精确，几何变换公式如下：
Figure BDA0002312686340000051
其中，a、b为矫正后的区域中心的行与列的坐标，单位：像素；i、j为矫正前的区域中心的行与列的坐标，单位：像素；s为位移长度，单位：像素。
步骤4：将角度修正后的图像经过含有动态参数调整的阈值分割，再对处理后的目标区域进行识别；
具体地，动态参数调整阈值分割后识别包括以下步骤：
步骤4-1：计算待处理平面内的灰度值的平均值和偏差；
本实施例中，如果R是一个区域，则从R中取像素p，灰度值g(p)，平面F(F＝|R|)，则特征：
Figure BDA0002312686340000052
Figure BDA0002312686340000053
其中，Mean为平面内的灰度平均值；
Deviation为平面内的灰度偏差。
步骤4-2：通过步骤4-1计算的Mean与Deviation的大小，同时获取平面内待识别目标部分的最低灰度值Min，基于这三个参数的组合计算出不同图片里待识别目标区域的最小MinGray与最大MaxGray的灰度值，基于此范围分割出平面内待识别的区域；
本实施例中，基于此分析，推导出式(6)对其进行阈值分割；
Figure BDA0002312686340000054
其中，式中g为调节方差的权重系数。
步骤4-3：利用HALCON自带的OCR字符库识别步骤4-2中分割出的区域，根据字符所提取的特征，与系统中的模板相对比，将置信度最大的值返回，以此达到识别的目的；
具体地，将最终分割出的完整待识别的目标区域基于仿射变换的原理进行转正，再通过HALCON自带的OCR字符库进行识别区域中的每个字符。面单的特征信息识别正确率如表1所示。
表1面单识别率
Figure BDA0002312686340000061
经本发明的改进后，大大缩小了面单特征信息定位的误差范围，增加了识别面单的稳定性。基于图像灰度值信息构造的变量参数能较好的克服光亮的变化，且变量的应用也能较好的适应目标与背景分割，有效地提高了物流面单特征信息的识别率。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (4)

1.一种利用机器视觉技术提高物流面单特征信息识别率的方法，包括以下实施步骤：
步骤1：读取图片，对图像进行预处理并将目标区域选出创建模板；
步骤2：基于形状匹配原理找出目标并确定其所在视图窗口的几何位置；
步骤3：基于向量求夹角的方式在视图窗口中确定的位置上修补形状匹配后的定位角度差；
步骤4：将角度修正后的图像经过含有动态参数调整的阈值分割，再对处理后的目标区域进行识别；
其特征在于：所述步骤3中修补形状匹配后的定位角度差可由目标区域中已定直线
Figure FDA0004064817900000011
与两基准点连线
Figure FDA0004064817900000012
所构成的两向量确定，其求解公式如下：
Figure FDA0004064817900000013
Figure FDA0004064817900000014
其中，
Figure FDA0004064817900000015
是修补角度，单位：度(°)；
Figure FDA0004064817900000016
是两基准点连线
Figure FDA0004064817900000017
向量；
Figure FDA0004064817900000018
为已定直线
Figure FDA0004064817900000019
向量；
为了方便几何变换，将
Figure FDA00040648179000000110
转换成始终与水平向右且逆时针方向的角度angle；
在所述步骤3中的图像窗口上建立二维坐标系，利用几何变换的知识将存在偏差的匹配位置矫正精确，几何变换公式如下：
Figure FDA00040648179000000111
其中，a、b为矫正后的区域中心的行与列的坐标，单位：像素；
i、j为矫正前的区域中心的行与列的坐标，单位：像素；
s为位移长度,单位：像素；
所述步骤4中动态参数调整阈值分割后识别包括以下步骤：
步骤4-1：计算待处理平面内的灰度值的平均值和偏差，如果R是一个区域，则从R中取像素p，灰度值g(p)，平面F，则特征：
Figure FDA00040648179000000112
Figure FDA00040648179000000113
其中，Mean为平面内的灰度平均值；
Deviation为平面内的灰度偏差；
步骤4-2：通过步骤4-1计算的Mean与Deviation的大小，同时获取平面内待识别目标部分的最低灰度值Min，基于这三个参数的组合计算出不同图片里待识别目标区域的最小MinGray与最大MaxGray的灰度值，基于此范围分割出平面内待识别的区域，基于此分析，对其进行阈值分割，推导出式(6)；
Figure FDA0004064817900000021
其中，式中g为调节方差的权重系数；
步骤4-3：利用HALCON自带的OCR字符库识别步骤4-2中分割出的区域，根据字符所提取的特征，与系统中的模板相对比，将置信度最大的值返回，以此达到识别的目的。
2.根据权利要求1所述的一种利用机器视觉技术提高物流面单特征信息识别率的方法，其特征在于：所述步骤1中的读取图片是指在搭载的机器视觉平台上获取含有面单的图片，对获取到的图片进行灰度化和滤波的预处理。
3.根据权利要求1所述的一种利用机器视觉技术提高物流面单特征信息识别率的方法，其特征在于：通过Blob分析选出图片中的目标区域，基于形状匹配的原理对图片中固定不变化的区域创建模板。
4.根据权利要求1所述的一种利用机器视觉技术提高物流面单特征信息识别率的方法，其特征在于：所述步骤2中的目标区域的几何位置在软件中建立，需要的已知参数包括模板图片类型、几何位置坐标、建立的查找角度范围和目标缩放比范围。
CN201911265408.0A 2019-12-11 2019-12-11 一种利用机器视觉技术提高物流面单特征信息识别率的方法 Active CN111091086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911265408.0A CN111091086B (zh) 2019-12-11 2019-12-11 一种利用机器视觉技术提高物流面单特征信息识别率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911265408.0A CN111091086B (zh) 2019-12-11 2019-12-11 一种利用机器视觉技术提高物流面单特征信息识别率的方法

Publications (2)

Publication Number Publication Date
CN111091086A CN111091086A (zh) 2020-05-01
CN111091086B true CN111091086B (zh) 2023-04-25

Family

ID=70394839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911265408.0A Active CN111091086B (zh) 2019-12-11 2019-12-11 一种利用机器视觉技术提高物流面单特征信息识别率的方法

Country Status (1)

Country Link
CN (1) CN111091086B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065503B (zh) * 2021-04-15 2023-12-22 黑龙江惠达科技股份有限公司 基于单目摄像头的苗线识别方法、装置和农机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN105528789A (zh) * 2015-12-08 2016-04-27 深圳市恒科通多维视觉有限公司 机器人视觉定位方法和装置、视觉标定方法和装置
CN106503605A (zh) * 2015-09-01 2017-03-15 南京理工大学 基于立体视觉技术的人体目标识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN106503605A (zh) * 2015-09-01 2017-03-15 南京理工大学 基于立体视觉技术的人体目标识别方法
CN105528789A (zh) * 2015-12-08 2016-04-27 深圳市恒科通多维视觉有限公司 机器人视觉定位方法和装置、视觉标定方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾志鸿 ; 刘军 ; .基于HALCON的快递地址信息识别研究.机电信息.2019,(17),全文. *
汪志华 ; .基于广义霍夫变换的粘连字符验证码的识别.集美大学学报(自然科学版).2018,(01),全文. *

Also Published As

Publication number Publication date
CN111091086A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN109785316B (zh) 一种芯片表观缺陷检测方法
CN105261022B (zh) 一种基于外轮廓的pcb板卡匹配方法及装置
Lee et al. Depth-assisted real-time 3D object detection for augmented reality
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN107561087A (zh) 一种基于机器视觉的鼠标logo定位及缺陷检测方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN104657728B (zh) 基于计算机视觉的条码识别系统
CN113903024A (zh) 一种手写票据数值信息识别方法、系统、介质及装置
CN109978940A (zh) 一种sab安全气囊尺寸视觉测量方法
CN111652069B (zh) 移动机器人的目标识别与定位方法
CN111401449A (zh) 一种基于机器视觉的图像匹配方法
CN114580559A (zh) 一种基于单目视觉系统的测速方法
CN111091086B (zh) 一种利用机器视觉技术提高物流面单特征信息识别率的方法
CN111754525A (zh) 一种基于非精确切分的工业字符检测流程
CN117670887B (zh) 一种基于机器视觉的锡焊高度及缺陷检测方法
CN115841517A (zh) 一种基于dic双圆交比的结构光标定方法和装置
CN117195928B (zh) 一种基于深度学习的条码定位检测方法
CN111178210B (zh) 一种十字标记的图像识别及对准方法
CN115222912A (zh) 目标位姿估计方法、装置、计算设备及存储介质
CN102679871B (zh) 亚像素精度工业物体快速检测方法
CN117670989A (zh) 一种基于旋转目标检测的视觉引导拆垛方法
CN114237280B (zh) 一种无人机精准降落机巢平台的方法
CN113240629B (zh) 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法
JP6890849B2 (ja) 情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant