CN114187583A - 一种用于集装箱、平板车装车组合标识的快速识别方法 - Google Patents

一种用于集装箱、平板车装车组合标识的快速识别方法 Download PDF

Info

Publication number
CN114187583A
CN114187583A CN202111505154.2A CN202111505154A CN114187583A CN 114187583 A CN114187583 A CN 114187583A CN 202111505154 A CN202111505154 A CN 202111505154A CN 114187583 A CN114187583 A CN 114187583A
Authority
CN
China
Prior art keywords
image
container
flat car
car
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111505154.2A
Other languages
English (en)
Inventor
孙小路
梁伟农
张永志
周春侠
荆沐阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Inner Mongolia University of Technology
Original Assignee
China University of Mining and Technology CUMT
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT, Inner Mongolia University of Technology filed Critical China University of Mining and Technology CUMT
Priority to CN202111505154.2A priority Critical patent/CN114187583A/zh
Publication of CN114187583A publication Critical patent/CN114187583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种用于集装箱、平板车装车组合标识的快速识别方法，所述方法包括以下步骤：集装箱的箱号和平板车的车牌号区域的图像采集；创建用于匹配的特征模板；对采集的图像进行预处理；在经过预处理的图像中利用所述特征模板定位出箱号与车号区域；获取箱号及车号字符；建立YOLOv3检测模型；将由上述由步骤1到步骤5获取的箱号及车号字符输入上述YOLOv3检测模型中，输出识别后的箱号与平板车号；将信息输出进入定量装车系统中。本发明无需逐帧进行箱号识别，结合YOLOv3模型进行端到端的检测，加快识别进程，从而解决箱号及车号识别设备在识别过程中识别准确率和识别速率低的问题。

Description

一种用于集装箱、平板车装车组合标识的快速识别方法
技术领域
本发明属于车辆标记检测技术领域，特别是涉及一种用于集装箱、平板车装车组合标识的快速识别方法。
背景技术
为改变煤炭、焦炭、矿石等大宗货物的高污染、低效率的传统物流运营方式，近年来，铁路运输部门推出大宗货物“散改集”的绿色运输方式。该运输方式一般将两个独立的集装箱，置放在平板车上，具有免清理车底、免加固、运费低等优势。但每节这种车皮包含三个车号，分别是平板车号及两个集装箱号，为实现后续装车运输环节的精细化管理，须将三个车号一一登记，录入运销管理信息系统。原铁路装车系统的车号识别，一般基于无线视频识别(RFID)系统，在车皮进入装车站的过程中，通过扫描车型底部电子标签来采集车号，根据车号确定车型，进而确定每节车皮的预装量。这种方式，无法采集平板车上的非固定集装箱箱号信息。近年来，基于机器学习的车号图像识别被广泛应用，集装箱箱号的识别属于自然场景下的文字识别，受光照、恶劣天气影响，存在非车号的文本信息与污损(铁锈、煤灰等)的双重干扰，相较于车牌识别、扫描字符识别，集装箱箱体并不平整，存在凹凸折纹，识别难度更大。
目前，主流的识别方法主要有依据图像边缘特征的模板匹配识别方法(发明专利：一种基于图像处理的货车车号识别系统，专利号：201310616039.1)，还有基于深度神经网络的定位识别模型(发明专利：一种基于深度学习的列车车号检测和识别系统，专利号：201910751748.8、发明专利：一种基于深度神经网络集装箱箱号检测方法，专利号：201910756170.5)，前者方法简单易于实现，但精度常受限于图像的拍摄质量与角度，后者前期需要训练大量的数据和人工标注。
传统的集装箱或车号检测方式与识别技术一般为人工进行特征提取与记录。通常情况下，箱号或车号检测为在视频流中的逐帧检测，采取的方法为在图像上进行窗口滑动进行检索特征的穷举搜索法，或为通过不同图像的相似度进行匹配从而得到箱号或车号的字符位置信息，或根据经验法裁剪图像得到箱号或车号区域。识别方法为通过决策树或SVM等进行识别，但这种方法具有显著的识别速度慢、准确率低和鲁棒性差等缺点，尤其在阴天等光照不均匀的不利于图像识别的复杂场景中，这些缺点尤为明显。并且无效的视频图像占据整个视频流的绝大部分，从而导致集装箱箱号识别的时间较长，效率不高。
发明内容
针对上述现有技术，提出一种用于集装箱、平板车装车组合标识的快速识别方法，所述组合标识包括集装箱的箱号和平板车的车牌号，所述方法包括以下步骤：
步骤1、集装箱的箱号和平板车的车牌号区域的图像采集；
步骤2、创建用于匹配的特征模板；
步骤3、对采集的图像进行预处理；
步骤4、在经过预处理的图像中利用所述特征模板定位出箱号与车号区域；
步骤5、获取箱号及车号字符；
步骤6、建立YOLOv3检测模型；
步骤7、将由上述由步骤1到步骤5获取的箱号及车号字符输入上述YOLOv3检测模型中，输出识别后的箱号与平板车号；
步骤8、将识别后的箱号与平板车号输出进入定量装车系统中。
优选的，步骤1中所述图像采集的方法包括，以两节集装箱为一组置于平板车上，位移激光传感器置于所述平板车上方的横梁上，用于输出速度参数并触发工业相机拍摄系统，所述工业相机拍摄系统包括上工业相机和下工业相机，所述上工业相机和所述下工业相机分别设于所述横梁一侧的竖杆上下方，并对所述集装箱和所述平板车的一侧进行图像采集。
优选的，所述上工业相机预设的采集图像时间t1＝箱号字符长度/平板车运行速度，其预设抓拍等待时间t2＝(车厢长度-箱号字符长度)/平板车运行速度；所述下工业相机预设的采集图像时间t3＝平板车长度/平板车运行速度；每次触发循环上述时间两次。
优选的，每触发一次感应装置，则每节集装箱采集5帧图片，每组集装箱为10帧图片，每节平板车采集5帧图片，每一组采集完毕，重新进入下一组采集，依次循环直至平板车驶出，全部采集完毕。
优选的，步骤2中所述特征模板的获取方法包括，利用机器视觉软件读取图像，在所述图像上绘制感兴趣区域ROI，将绘制的模板区域生成矩形，提取出模板区域的图像作为模板图像创建模板，将创建的模板存成指定路径的文件。
优选的，步骤3中预处理方法包括首先将采集的图像转为灰度图像，对所述灰度图像增强处理，所述增强处理方法包括通过用一个模板逐行扫描所述灰度图像中的每一个像素点，得到像素最大与最小值，取其差得到所述模板中心像素点值的方法来缩放所述灰度图像的灰度值。
优选的，步骤3中预处理方法还包括并将采集的图像中高频区域进行增强处理，使图像更加清晰。
优选的，步骤4中定位方法包括，应用所述特征模板查找预处理图像中含有和所述特征模板相匹配的图像，若识别到，则能定位出箱号与车号区域，若识别不到，则进行下一帧图像的识别，直至识别到含有和所述特征模板相匹配的图像；将得到的图像进行二维仿射变换处理，显示出所述特征模板所在位置；输出仿射变换矩阵数值参数，根据所述特征模板匹配的中心点位置和得到的仿射变换矩阵数值参数定位集装箱箱号或车号具体位置，得到箱号或车号的区域。
优选的，步骤5中获取箱号及车号字符方法包括，对所述区域二值化处理得到字符区域，断开连通域，分割字符，得到的单个箱号和车号字符。
优选的，将所述单个箱号和车号字符分为10类标签训练进行数据训练，所述10类标签分别为0-9的阿拉伯数字，得到YOLOv3检测模型，将由步骤1到步骤5获取的箱号及车号字符输入YOLOv3检测模型对图像逐一进行预测，利用深度神经网络进行特征提取和标签分类定位，输出识别后的箱号与平板车号，将箱号与平板车号输出进入定量装车系统中。
有益效果：本发明通过特征模板匹配得到正面有效图像，将其作为箱号识别的启动步骤。无需逐帧进行箱号识别，结合YOLOv3模型进行端到端的检测，加快识别进程，从而解决箱号及车号识别设备在识别过程中识别准确率和识别速率低的问题。
附图说明
图1是本发明的集装箱进场图像采集过程效果示意图；
图2是本发明的流程示意图；
图3是本发明建立特征匹配模板流程示意图；
图4是本发明的YOLOv3箱号数字识别流程示意图；
具体实施方式
下面结合附图对本发明做更进一步的解释。一种用于集装箱、平板车装车组合标识的快速识别方法，包括以下步骤：
步骤1、集装箱的箱号和平板车的车牌号区域的图像采集；
如图1所示，首先将集装箱为两节为一组，置于一个平板车上，位移激光传感器置于顶部。当集装箱货车驶入时，触发工业相机的采集图片系统，依据集装箱与平板车不同的设定采集时间，分别进行最小帧数的拍摄。采集图像多为正面有效照片。
位移激光传感器3用于识别集装箱车厢及速度判断。激光传感器检测到集装箱进入待识别区域，输出速度参数并触发工业相机拍摄系统；拍摄系统进行图像采集时间设定如下：集装箱尺寸通常为40英尺，根据长度设定抓拍时间范围。当载有集装箱的平板车驶入位移激光传感器3检测范围内，分为触发上工业相机1与下工业相机2的感应装置；上工业相机1(集装箱)时间设定：预设采集图像时间t1＝箱号字符长度/运行速度，预设抓拍等待时间t2＝(车厢长度-箱号字符长度)/运行速度。每次触发感应装置时循环上述时间两次；下工业相机2(平板车)时间设定：预设抓拍时间为t3＝平板车长度/运行速度；以两节集装箱为一组，每触发一次感应装置，则每节车厢采集5帧图片，每组集装箱为10帧图片，每节平板车采集5帧图片。每一组采集完毕，重新进入下一组采集，依次循环直至集装箱驶出，全部采集完毕。
步骤2、创建用于匹配的特征模板；
如图3所示，创建用于匹配的特征模板，用于定位：选中模板中的目标，用矩形选定一个目标区域，显示ROI区域，检查模板的参数并显示出金字塔各层级的图像，以检查层数的合理性，随后确定金字塔层级，使用ROI图像创建模板，获取到轮廓信息，用于显示定位。
步骤3、对采集的图像进行预处理；
分别为对图像集中的每帧图像进行预处理，将RGB图像转为灰度图像。
其中，所述转换公式为：
I＝0.299×R+0.587×G+0.114×B
其中RGB为红、绿、蓝色三通道颜色，I为灰度值，通过公式转换为灰度值。
进行图像增强，通过用一个模板逐行扫描图像中的每一个像素点，得到像素最大与最小值，取其差得到模板中心像素点值的方法来缩放图像的灰度值，即达到图像增强的效果。并将采集到的图像中高频区域进行增强处理，使图像更加清晰，易于下一步的特征模板查找；
步骤4、在经过预处理的图像中利用所述特征模板定位出箱号与车号区域；
从图像中查找特征匹配模板，定位出特征模板的位置。应用特征模板查找过车图像集中含有特征匹配模板的图像，若识别到，则能定位出箱号与车号区域，若识别不到，进行下一帧图像的采集，直至采集到含有特征匹配模板的图像。
模板匹配过程为行列等比例缩放的模板匹配查找，查找时需要设置较小的角度范围，需要较小的行列缩放比例以及较大的金字塔层级设置。
通过image进行搜索图像时，需要设置AngleExtent即角度范围参数进行角度范围锁定，从而将创建模型时的角度和搜索时的角度范围实现真正的重叠。通过NumMatches即模板个数参数，定义匹配得到最大数值量。NumLevels即模板等级参数，定义搜索时金字塔的层数，图像层数越多匹配则越快。设置Greediness贪婪度时通常设定值为0.8，其设定值越高则速度快,但需数值适中，避免查找不到的情况发生。最后通过行、列、角度三个参数输出得到的模板匹配的行、列和角度参数进行下一步字符区域的定位。
步骤5、获取箱号及车号字符；
利用含有特征匹配模板的图像进行仿射变换，显示出特征模板所在位置。通过不同仿射变换矩阵，对模板平移、旋转、缩放进行图像变换的进一步图像处理，得到正面清晰的图像，易于匹配到集装箱上凹凸不平的字符。最终输出仿射变换矩阵数值参数，用于xld特征匹配模板轮廓中。
根据模板匹配的中心点位置定位到了集装箱箱号或车号具体位置，从而得到箱号或车号的区域。
如图4进行YOLOv3箱号数字识别流程，二值化区域轮廓得到字符区域，断开连通域，分割字符。
步骤6、建立YOLOv3检测模型；
通过上一步已得到的单个字符图像和字符位置信息，将分割后得到的箱号及车号字符进行数据训练，将数据分为9个类的标签训练，9个标签为0-9的阿拉伯数字，得到YOLOv3检测模型。
步骤7、将由上述由步骤1到步骤5获取的箱号及车号字符输入上述YOLOv3检测模型中，输出识别后的箱号与平板车号；
将分割后的字符输入YOLOv3模型对图像逐一进行预测，利用深度神经网络进行特征提取和标签分类定位，输出识别后的箱号与平板车号，将信息输出进入定量装车系统中。加快了检测速度，达到实时检测要求，提高了集装箱、平板车装车组合的标识快速识别效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，所述组合标识包括集装箱的箱号和平板车的车牌号，所述方法包括以下步骤：
步骤1、集装箱的箱号和平板车的车牌号区域的图像采集；
步骤2、创建一个用于匹配的特征模板，用于采集到的每帧图像中进行特征匹配；
步骤3、对采集的图像进行预处理；
步骤4、在经过预处理的图像中利用所述特征模板定位出箱号与车号区域；
步骤5、获取箱号及车号字符；
步骤6、建立YOLOv3检测模型；
步骤7、将由上述由步骤1到步骤5获取的箱号及车号字符输入上述YOLOv3检测模型中，输出识别后的箱号与平板车号；
步骤8、将识别后的箱号与平板车号输出进入定量装车系统中。
2.根据权利要求1所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤1中所述图像采集的方法包括，以两节集装箱为一组置于平板车上，位移激光传感器置于所述平板车上方的横梁上，用于输出速度参数并触发工业相机拍摄系统，所述工业相机拍摄系统包括上工业相机和下工业相机，所述上工业相机和所述下工业相机分别设于所述横梁一侧的竖杆上下方，并对所述集装箱和所述平板车的一侧进行图像采集。
3.根据权利要求2所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，所述上工业相机预设的采集图像时间t1＝箱号字符长度/平板车运行速度，其预设抓拍等待时间t2＝(车厢长度-箱号字符长度)/平板车运行速度；所述下工业相机预设的采集图像时间t3＝平板车长度/平板车运行速度；因触发感应装置识别平板车车头，一节平板车上载有两组集装箱，故每组触发识别循环上述t1、t2时间两次进行两节集装箱采集，t3时间一次进行平板车采集。
4.根据权利要求3所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，每触发一次感应装置，则每节集装箱采集5帧图片，每组集装箱为10帧图片，每节平板车采集5帧图片，每一组采集完毕，重新进入下一组采集，依次循环直至平板车驶出，全部采集完毕。
5.根据权利要求1所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤2中所述特征模板的获取方法包括，利用机器视觉软件读取图像，在所述图像上绘制感兴趣区域ROI，将绘制的模板区域生成矩形，提取出模板区域的图像作为模板图像创建模板，将创建的模板存成指定路径的文件。
6.根据权利要求1所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤3中预处理方法包括首先将采集的图像转为灰度图像，对所述灰度图像增强处理，所述增强处理方法包括通过用一个模板逐行扫描所述灰度图像中的每一个像素点，得到像素最大与最小值，取其差得到所述模板中心像素点值的方法来缩放所述灰度图像的灰度值。
7.根据权利要求6所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤3中预处理方法还包括并将采集的图像中高频区域进行增强处理，使图像更加清晰。
8.根据权利要求5所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤4中定位方法包括，应用所述特征模板查找预处理图像中含有和所述特征模板相匹配的图像，若识别到，则能定位出箱号与车号区域，若识别不到，则进行下一帧图像的识别，直至识别到含有和所述特征模板相匹配的图像；将得到的图像进行二维仿射变换处理，显示出所述特征模板所在位置；输出仿射变换矩阵数值参数，根据所述特征模板匹配的中心点位置和得到的仿射变换矩阵数值参数定位集装箱箱号或车号具体位置，得到箱号或车号的区域。
9.根据权利要求8所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，步骤5中获取箱号及车号字符方法包括，对所述区域二值化处理得到字符区域，断开连通域，分割字符，得到的单个箱号和车号字符。
10.根据权利要求9所述的一种用于集装箱、平板车装车组合标识的快速识别方法，其特征在于，将所述单个箱号和车号字符分为10类标签训练进行数据训练，所述10类标签分别为0-9的阿拉伯数字，得到YOLOv3检测模型，将由步骤1到步骤5获取的箱号及车号字符输入YOLOv3检测模型对图像逐一进行预测，利用深度神经网络进行特征提取和标签分类定位，输出识别后的箱号与平板车号，将箱号与平板车号输出进入定量装车系统中。
CN202111505154.2A 2021-12-10 2021-12-10 一种用于集装箱、平板车装车组合标识的快速识别方法 Pending CN114187583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111505154.2A CN114187583A (zh) 2021-12-10 2021-12-10 一种用于集装箱、平板车装车组合标识的快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111505154.2A CN114187583A (zh) 2021-12-10 2021-12-10 一种用于集装箱、平板车装车组合标识的快速识别方法

Publications (1)

Publication Number Publication Date
CN114187583A true CN114187583A (zh) 2022-03-15

Family

ID=80604275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111505154.2A Pending CN114187583A (zh) 2021-12-10 2021-12-10 一种用于集装箱、平板车装车组合标识的快速识别方法

Country Status (1)

Country Link
CN (1) CN114187583A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095388A (zh) * 2023-06-12 2023-11-21 宁波港信息通信有限公司 一种用于堆区内的集卡作业号识别核对方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095388A (zh) * 2023-06-12 2023-11-21 宁波港信息通信有限公司 一种用于堆区内的集卡作业号识别核对方法与系统
CN117095388B (zh) * 2023-06-12 2024-02-06 宁波港信息通信有限公司 一种用于堆区内的集卡作业号识别核对方法与系统

Similar Documents

Publication Publication Date Title
Lee et al. Automatic extraction of characters in complex scene images
LeBourgeois Robust multifont OCR system from gray level images
CN111401372A (zh) 一种扫描文档图文信息提取与鉴别的方法
CN110751079A (zh) 物品检测方法、装置、系统和计算机可读存储介质
Kaur et al. Number plate recognition using OCR technique
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN111080612A (zh) 一种货车轴承破损检测方法
CN108182691B (zh) 识别限速标志的方法、装置及车辆
Dorbe et al. FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country
CN114187583A (zh) 一种用于集装箱、平板车装车组合标识的快速识别方法
Muresan et al. Dot matrix OCR for bottle validity inspection
CN110008782A (zh) 条码信息的获取方法及装置
Khan et al. Car Number Plate Recognition (CNPR) system using multiple template matching
Shambharkar et al. An automatic framework for number plate detection using ocr and deep learning approach
Bala et al. Image simulation for automatic license plate recognition
CN116758545A (zh) 一种基于深度学习的纸质医药包装钢印字符识别方法
Srikanth et al. Automatic vehicle number plate detection and recognition systems: Survey and implementation
CN114399671A (zh) 目标识别方法及装置
Ali et al. Mobile Registration Number Plate Recognition Using Artificial Intelligence
Chandra et al. An automated system to detect and recognize vehicle license plates of Bangladesh
KR100722966B1 (ko) 차량 번호판 영상 최적화 방법
Zhang et al. An effective method for automated railcar number detection and recognition based on deep learning
CN117935242A (zh) 一种基于机器视觉的铁路货车车厢编号识别方法
JP2020087172A (ja) 画像処理プログラム、画像処理方法、および画像処理装置
Bold et al. Smart license plate recognition using optical character recognition based on the multicopter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination