CN108171750A - 基于视觉的箱子装卸定位识别系统 - Google Patents

基于视觉的箱子装卸定位识别系统 Download PDF

Info

Publication number
CN108171750A
CN108171750A CN201611114560.5A CN201611114560A CN108171750A CN 108171750 A CN108171750 A CN 108171750A CN 201611114560 A CN201611114560 A CN 201611114560A CN 108171750 A CN108171750 A CN 108171750A
Authority
CN
China
Prior art keywords
module
positioning
case number
chest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611114560.5A
Other languages
English (en)
Inventor
覃争鸣
何中平
杨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Original Assignee
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou filed Critical Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority to CN201611114560.5A priority Critical patent/CN108171750A/zh
Publication of CN108171750A publication Critical patent/CN108171750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的箱子装卸定位识别系统，该系统包括：箱子定位模块、图像采集模块、图像预处理模块、箱号定位与分割模块以及箱号字符识别模块；其中，所述箱子定位模块与所述图像采集模块相连；所述图像采集模块与所述图像预处理模块相连；所述图像预处理与所述箱号定位与分割模块相连；所述箱号定位与分割模块与所述箱号字符识别模块相连。本发明方案利用高清摄像装置将采集到的信号分别用于箱子定位、箱号识别，其中定位采用双目立体视觉技术，箱号识别采用基于稀疏表示的字符识别方式，实现了定位精度达到1％以内，字符识别率约为99.43％，基本达到工程应用的标准。

Description

基于视觉的箱子装卸定位识别系统
技术领域
本发明属于机器视觉定位领域，涉及一种基于视觉的箱子装卸定位识别系统。
背景技术
机器视觉技术的运用力求能够在减少人为干预的状态下由机器实时、自动分析图像，从中识别所需的信息，做到实时监控、及时反馈。目前较为先进的箱号识别系统是与箱子定位系统分离的，而机器视觉技术的应用可以有机的将这两项功能合二为一，从而提高集成化，降低成本。
目前箱子定位方式主要有GPS定位、RFID定位、单目视觉定位及双目立体视觉系统定位等定位方式，而国内外针对双目立体视觉系统定位的研究近年来取得了诸多成果，能够满足箱子定位精度要求。
箱号自动识别技术也已日趋完善，主要识别形式有：(1)视频识别系统；(2)条形码识别系统；(3)光学字符识别系统；(4)微波反射识别系统；(5)射频识别系统；(6)人工智能识别系统。对比各种识别方式的优缺点，光学字符识别系统和人工智能识别系统是较为有前景的研究方向。
发明内容
本发明目的在于提供一种基于视觉的箱子装卸定位识别系统，利用高清摄像装置将采集到的信号分别用于箱子定位、箱号识别，其中定位采用双目立体视觉技术，箱号识别采用基于稀疏表示的字符识别方式，实现了定位精度达到1％以内，字符识别率约为99.43％，基本达到工程应用的标准，有效地减少了人工干预的目的。
为解决上述技术问题，本发明采用如下的技术方案：一种基于视觉的箱子装卸定位识别系统，该系统包括：箱子定位模块、图像采集模块、图像预处理模块、箱号定位与分割模块以及箱号字符识别模块；其中，所述箱子定位模块与所述图像采集模块相连；所述图像采集模块与所述图像预处理模块相连；所述图像预处理模块与所述箱号定位与分割模块相连；所述箱号定位与分割模块与所述箱号字符识别模块相连。
进一步地，所述箱子定位模块采用双目立体视觉技术，利用视差原理进行箱子的定位。
进一步地，所述图像采集模块利用多组摄像装置，采用多侧面图像校正方式以提高系统识别准确率。
进一步地，所述图像预处理模块对采集到的原始图像进行降噪、图像增强、边界检测以及二值化处理。
进一步地，所述箱号定位与分割模块采用包络矩形区域增长法进行字符分割。
进一步地，所述箱号字符识别模块采用基于过完备基的向量疏稀表示的方式进行字符识别。
本发明与现有技术相比具有以下的有益效果：
本发明方案利用高清摄像装置将采集到的信号分别用于箱子定位、箱号识别，其中定位采用双目立体视觉技术，箱号识别采用基于稀疏表示的字符识别方式，实现了定位精度达到1％以内，字符识别率约为99.43％，基本达到工程应用的标准。
附图说明
图1是基于视觉的箱子装卸定位识别系统的结构框架图。
图2是双目立体视觉结构示意图。
图3是图像预处理流程图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
参照图1，本发明的一种基于视觉的箱子装卸定位识别系统，该系统包括：箱子定位模块、图像采集模块、图像预处理模块、箱号定位与分割模块以及箱号字符识别模块；其中，所述箱子定位模块与所述图像采集模块相连；所述图像采集模块与所述图像预处理模块相连；所述图像预处理模块与所述箱号定位与分割模块相连；所述箱号定位与分割模块与所述箱号字符识别模块相连。
1)所述箱子定位模块采用双目立体视觉技术，利用视差原理进行箱子的定位；
双目立体视觉(Binocular Stereo Vision)是机器视觉应用的典型方式，即利用视差原理(出自论文《基于双目视觉的集装箱自动识别定位系统的设计》，作者：梁晓波，程文明.设计与研究，2015，1(42)：07-10.)，计算从不同位置摄取的两幅图像的对应点之间的位置偏差，获取物体三维几何信息。
参照图2，两坐标系分别为平面坐标系(x,y,z)和测量坐标系(x1,y1,z1)，两摄像头焦点夹角为2α，两摄像头光轴交于P点，左右两摄像头成像面建立坐标系(x',y')，(1)式为坐标系变换方程：
其中：α为光轴与y1轴之间的夹角；l为左、右摄像头焦距，即O与C点间的距离；f为左、右摄像头焦点与坐标原点O1间的距离。
双目视觉立体定位系统一般状态下两摄像头为对称分布，根据目标点P在两摄像头成像面形成的投影点坐标，利用式(2)计算点P在测量坐标系中的坐标：
最后利用式(3)由行坐标变换得出目标点P的坐标：
2)所述图像采集模块利用多组摄像装置，采用多侧面图像校正方式以提高系统识别准确率；
针对箱子装卸作业在实际应用中的定位与箱号识别，箱号识别模块的图像采集是通过箱子定位模块中的两组双摄像装置采集两侧面图像，因本发明采用多侧面图像校正方式以提高系统识别准确率，需增加两组摄像装置安装在适宜采集箱子的前、后、侧图像位置，摄取箱子的两组图像，每组各三面，通过三幅图像数据的数据处理比对结果，提高箱号识别环节的准确性，有效地改善了该系统在强光照射、字符缺失、字符遮挡等的不利影响因素下的箱号识别。
3)所述图像预处理模块对采集到的原始图像进行降噪、图像增强、边界检测以及二值化处理；
采集到的原始箱子图像不可避免的会受到噪声、畸变、低对比度等影响，通过图片预处理降低这些因素的不利影响从而达到提高识别率的目的。
参照图3，预处理的基本步骤包括：
S31，将原始图像转化为灰度图像同时消除噪声，转化公式为：
f(x,y)＝0.299R+0.578G+0.114B (4)
其中R、G、B为三个色彩分量，对灰度化后的图像进行腐蚀、膨胀和滤波以达到消除噪声、平滑轮廓的目的。
S32，图像增强，采用分段线性变换对图像进行对比度拉伸变换以增加凹凸平面间的对比度。这种方式的原理是提高图像处理的灰度级动态范围。其灰度变换函数为：
其中：(a1,a2)为原图像f(x,y)的灰度范围；(b1,b2)为变换后图像f'(x,y)的灰度范围；L-1为灰度值上限。
S33，边界检测及倾斜校正，边界检测采用顶帽变换(出自论文《基于顶帽变换和模糊C均值聚类的图像分割方法》，作者：赵伟，王希常，李晓寒.计算机技术与发展，2010，20(8)：52-55.)和canny算子(出自论文《A Computational Approach to Edge Detection》，作者：J Canny.《IEEE Transactions on Pattern Analysis&Machine Intelligence》.1986,8(6):679-98)，倾斜校正采用Hough变换(出自论文《A modified Hough transformfor line detection and its performance》，作者：CHUTATOPE O，GUO Linfeng.PatternRecognition，1999，32(2):181-192.)。顶帽变换原理：通过形态学方法如：膨胀、腐蚀、开运算、闭运算等，从原图像中减去开运算图像，图像中留下的部分就是图像边缘。计算式：
H＝F-(F°S) (6)
F一般为原始图像；S为形态学元素。
Canny算子：图像预处理边缘检测的过程，抑制噪声和边缘精确定位的要求相冲突，难以同时满足，边缘检测的算法通常是通过平滑滤波来去除噪声，但这种方式，相对也降低了边缘定位的确定性；并且在改善边缘检测算子对边缘敏感性的同时，噪声的敏感性也提升了。用Canny算子进行多次边缘提取后，再将多次提取的图像叠加后再处理，力求在抵抗噪声干扰与精确定位之间寻找最佳方案。
S34，图像二值化处理，箱子装卸作业易出现光照不均匀、背景复杂、噪声多的情况，对于速度要求不高，整幅图像灰度变化明显，采用单一阈值处理效果不佳，故采用大计算量的自适应阈值法进行二值化处理。这种处理方法是对整幅图像分块处理，对每个区域分别进行阈值选取，提高图像处理的抗干扰能力。
4)进一步地，所述箱号定位与分割模块采用包络矩形区域增长法进行字符分割；
箱体背景一般比较复杂，箱号印刷位置不固定，箱号以外的印刷字符较多，噪声较多，需采用适用于该作业条件的方式进行字符定位，具体步骤如下：
a.绝大多数箱号位于箱体的右上方位置，将图像右上方位置划为重点识别区域进行处理；
b.因箱号有其固定的几种构成方式，剔除预处理后不符合其高宽比、宽度间隙、字符组合形式、区域大小等条件的连通域，再配合填充度、纹理匹配初步选取号码区域；
c.将图像向水平和竖直方向投影，不同排列方式的箱号，波形呈现不同状况，设置合理的阈值就能获得号码区域。
字符识别是对单个字符逐一进行字符特征判断，即字符识别的前提应精准的将单个字符分割提取出来。常用的分割算法主要有：梯度投影直方图法、包络矩形区域增长法、边界跟踪法等。根据箱号的特点，首先采用包络矩形法进行字符分割，分割后若恰好得到11位字符则进入单个字符识别环节。若分割后不是11位字符，则根据其11位号码4个英文字符、6个数字、1个数字校验字符的排列方式、高宽比等信息，以目标像素点最少的列作为分隔线。如果出现黏连现象，则通过水平或竖直方向投影图像得到黏连区域的总高度，结合平均字符高度和字符间间隔，可确定产生黏连的字符，并分割出字符。
箱号的第11个字符有一个矩形的边框，提高识别率的做法是在是识别前消除边框，通过穿透法消除边框，具体步骤如下：
a.消除左边边框：用直线从左到右穿过图像的各行，记直线首次遇到白色像素点的纵坐标为y1，记直线首次遇到黑色像素点的纵坐标为y2，将y1、y2之间的像素点置0；
b.消除右边框：用直线从右到左穿过图像的各行，方法同(a)；
c.消除上下边框：对于图像的每一列，方法同(a)。
若字符缺失大于一个，以上的分割方法失效，三个面均出现这种情况的几率微乎其微，如果发生，则只能通过人工识别。
4)所述箱号字符识别模块采用基于过完备基的向量疏稀表示的方式进行字符识别；
字符识别属于模式识别中图像识别的一个分支。在人工智能和信息领域，模式识别即对事物或现象进行分析处理，继而完成对事物或现象的辨认、分类和认识的过程。本系统采用基于过完备基的向量疏稀表示(出自论文《从压缩传感到低秩矩阵恢复：理论与应用》，作者：彭义刚，索津莉，戴琼海等.自动化学报，2013，39(7)：981-994.)的方式进行字符识别。
经典的支持向量机(SVM)、最近邻算法(NNA)等字符识别方式需要首先进行图像特征提取，而稀疏表示不依赖图像特征的选择，鲁棒性很好。稀疏表示的使用需要事先构建过完备字典，根据优化算法求得系数解便能够精确的对样本字符进行分类。
首先建立过完备字典D，所有列为字典中的元素如下式：
其中：k表示箱号字符种类数；Di表示第i类线性样本空间，i∈[1,k]；表示第i类训练字符的所有字符。
若考虑噪声，第i类字符在矩阵D下的表示为：
其中，D只有与第i类对应的系数不全为0，其他系数均为0。z∈RM为能量很小的噪声。
(8)式为非齐次方程，其解不唯一。稀疏解x0可转化成求解以下极小值L1问题的实现：
L1范数存在一定的局限性，可能会导致额外的估计偏差，致使压缩传感应用时，信号无法完全恢复。采用L1/2来代替L1范数(出自论文《L-1/2Regularization：AThresholding Representation Theory and a FastSolver》，作者：Xu Zongben，ChangXiangyu，Xu Fengmin.IEEE Trans.ON Neural.)，L1/2是非凸的，求得的解为局部最优解。对于样本y，其相对于第i类样本的残差为：
ri(y)＝||y-yi||2＝||y-Aδi(xi)||2 (10)
其中，yi为样本y的重构图像，根据重构图像与原图像的残差来进行分类。
最后通过LARS-LASSO算法(出自论文《一种面向高维数据的，分式Lassa特征选择方法》，作者：施万锋，胡学钢，俞奎.计算机工程与应用，2012，48(1)：157-161.)在满足稀疏正则化约束的条件下，使上式中的残差最小化，得出系数解。
由于箱号字符识别的最终目的是与之前发送来的清单比对校核，所以最后一步工作是将机器视觉系统识别结果与清单比对，若比对一致则将信息传送给数据库，若不一致则发出报警信息，以便操作人员进行及时处理。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于视觉的箱子装卸定位识别系统，其特征在于，所述系统包括：箱子定位模块、图像采集模块、图像预处理模块、箱号定位与分割模块以及箱号字符识别模块；其中，所述箱子定位模块与所述图像采集模块相连；所述图像采集模块与所述图像预处理模块相连；所述图像预处理模块与所述箱号定位与分割模块相连；所述箱号定位与分割模块与所述箱号字符识别模块相连。
2.根据权利要求1所述的基于视觉的箱子装卸定位识别系统，其特征在于，所述箱子定位模块采用双目立体视觉技术，利用视差原理进行箱子的定位。
3.根据权利要求1所述的基于视觉的箱子装卸定位识别系统，其特征在于，所述图像采集模块利用多组摄像装置，采用多侧面图像校正方式以提高系统识别准确率。
4.根据权利要求1所述的基于视觉的箱子装卸定位识别系统，其特征在于，所述图像预处理模块对采集到的原始图像进行降噪、图像增强、边界检测以及二值化处理。
5.根据权利要求1所述的基于视觉的箱子装卸定位识别系统，其特征在于，所述箱号定位与分割模块采用包络矩形区域增长法进行字符分割。
6.根据权利要求1所述的基于视觉的箱子装卸定位识别系统，其特征在于，所述箱号字符识别模块采用基于过完备基的向量疏稀表示的方式进行字符识别。
CN201611114560.5A 2016-12-08 2016-12-08 基于视觉的箱子装卸定位识别系统 Pending CN108171750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611114560.5A CN108171750A (zh) 2016-12-08 2016-12-08 基于视觉的箱子装卸定位识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611114560.5A CN108171750A (zh) 2016-12-08 2016-12-08 基于视觉的箱子装卸定位识别系统

Publications (1)

Publication Number Publication Date
CN108171750A true CN108171750A (zh) 2018-06-15

Family

ID=62526425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611114560.5A Pending CN108171750A (zh) 2016-12-08 2016-12-08 基于视觉的箱子装卸定位识别系统

Country Status (1)

Country Link
CN (1) CN108171750A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN110532870A (zh) * 2019-07-24 2019-12-03 中国铁路上海局集团有限公司 一种轨道式门吊识别集装箱箱号的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN110532870A (zh) * 2019-07-24 2019-12-03 中国铁路上海局集团有限公司 一种轨道式门吊识别集装箱箱号的方法

Similar Documents

Publication Publication Date Title
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
WO2016145940A1 (zh) 人脸认证方法和装置
CN103996052B (zh) 基于三维点云的三维人脸性别分类方法
Asi et al. A coarse-to-fine approach for layout analysis of ancient manuscripts
CN110059634B (zh) 一种大场景人脸抓拍方法
Guan et al. Blood cell image segmentation based on the Hough transform and fuzzy curve tracing
WO2022121025A1 (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN110991398A (zh) 一种基于改进步态能量图的步态识别方法及系统
CN114387592B (zh) 一种复杂背景下字符定位和识别方法
WO2022121021A1 (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN108171750A (zh) 基于视觉的箱子装卸定位识别系统
CN113850792A (zh) 一种基于计算机视觉的细胞分类计数方法及系统
Fan et al. Skew detection in document images based on rectangular active contour
Wang et al. Lane detection algorithm based on density clustering and RANSAC
CN109460768B (zh) 一种用于组织病理学显微图像的文本检测与去除方法
CN109145875B (zh) 一种人脸图像中的黑框眼镜去除方法及装置
Kälber et al. U-Net based Zero-hour Defect Inspection of Electronic Components and Semiconductors.
CN106056575A (zh) 一种基于似物性推荐算法的图像匹配方法
Işikdoğan et al. Automatic recognition of Turkish fingerspelling
Rajan et al. Text detection and character extraction in natural scene images using fractional Poisson model
CN113822869B (zh) 一种基于机器视觉的透明软性包装袋静态检测方法及系统
Wu et al. Face detection based on YCbCr Gaussian model and KL transform
Tao et al. Automatic localization of human eyes in complex background
CN110276260B (zh) 一种基于深度摄像头的商品检测方法
CN110136100B (zh) Ct切片图像的自动分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615

WD01 Invention patent application deemed withdrawn after publication