CN111626992B - 一种智能道口验箱方法 - Google Patents

一种智能道口验箱方法 Download PDF

Info

Publication number
CN111626992B
CN111626992B CN202010402420.8A CN202010402420A CN111626992B CN 111626992 B CN111626992 B CN 111626992B CN 202010402420 A CN202010402420 A CN 202010402420A CN 111626992 B CN111626992 B CN 111626992B
Authority
CN
China
Prior art keywords
container
neural network
quality
carried out
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010402420.8A
Other languages
English (en)
Other versions
CN111626992A (zh
Inventor
曹生华
钱学明
王萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Ningmou Wulian Technology Co ltd
Original Assignee
Suzhou Ningmou Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Ningmou Wulian Technology Co ltd filed Critical Suzhou Ningmou Wulian Technology Co ltd
Priority to CN202010402420.8A priority Critical patent/CN111626992B/zh
Publication of CN111626992A publication Critical patent/CN111626992A/zh
Application granted granted Critical
Publication of CN111626992B publication Critical patent/CN111626992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能道口验箱方法，包括：步骤1：获取集装箱数据集；步骤2：训练深度神经网络模型对集装箱进行检测和评价；步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理；步骤4：对集装箱进行拍摄和OCR识别，通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数。本发明，通过两段触发方式，结合集装箱运输车辆进入道口的流程，适应多种不同道口场景中的集装箱异常点进行精准识别，实时检测出集装箱体的异常情况，快速对集装箱整体情况进行评估完成验箱。

Description

一种智能道口验箱方法
技术领域
本发明涉及计算机数字图像处理与模式识别技技术领域，具体为一种智能道口验箱方法。
背景技术
集装箱是指具有一定强度、刚度和规格专供周转使用的大型装货容器。使用集装箱转运货物，可直接在发货人的仓库装货，运到收货人的仓库卸货，中途更换车、船时，无须将货物从箱内取出换装。因此集装箱是一种伟大的发明。集装箱最大的成功在于其产品的标准化以及由此建立的一整套运输体系。能够让一个载重几十吨的庞然大物实现标准化，并且以此为基础逐步实现全球范围内的船舶、港口、航线、公路、中转站、桥梁、隧道、多式联运相配套的物流系统，这的确堪称人类有史以来创造的伟大奇迹之一。
集装箱的发展意义重大，但是目前的验箱过程还是需要在固定堆场进行拆箱，人工进行分辨与记录，从而导致了经验判断不够准确，验箱效率低下等问题，从而严重限制了集装箱的流转效率，现在随着人工智能技术的发展，出现了一种在集装箱运输车辆通过堆场道口时自动进行验箱的技术，集装箱无需落地就可以自动化完成验箱过程，从而极大地解放了人力资源，提高运营效率。
发明内容
本发明的目的在于提供一种智能道口验箱方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种智能道口验箱方法，包括：
步骤1：获取集装箱数据集；
步骤2：训练深度神经网络模型对集装箱进行检测和评价；
步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理；
步骤4：对集装箱进行拍摄和OCR识别，通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数。
优选的，所述步骤2中训练的深度神经网络模型为集装箱异常检测深度神经网络模型以及集装箱质量评价深度神经网络模型。
优选的，所述步骤4的实施方式为在运输集装箱车辆通过道口入口通过预设摄像头开始采集集装箱图像并进行OCR识别，在运输集装箱车辆驶过道口，在通道处开箱检查时箱内抓拍摄像头进行拍照，然后通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，最后将所有结果进行加权平均得到最终质量分数。
优选的，所述步骤4的实施方式为在运输集装箱车辆通过道口入口通过预设摄像头开始采集集装箱图像并进行OCR识别，然后通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，在运输集装箱车辆驶过道口，在通道处开箱检查时箱内抓拍摄像头进行拍照并通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，最后将所有结果进行加权平均得到最终质量分数。
优选的，所述预设摄像头和箱内抓拍摄像头的启动方式均为通过手动触发按钮启动或者通过在地上划定目标区域，每隔3秒进行采样，从视频帧里截取目标区域进行做差，当差值大于阈值时认为目标区域已经被集装箱覆盖，或者箱门已经打开，并以此作为触发信号。
优选的，所述步骤1中获取的异常检测数据集为神经网络目标检测算法学习集，用于训练在深度图像上的异常检测器，包括原始的图像数据和labelImg标注的xml后缀标签文件，获取的质量评价数据集为神经网络学习集，用于训练在深度图像上的质量评价器，包括原始的图像数据和质量标注分数。
优选的，所述步骤2中集装箱异常检测深度神经网络模型采用基于神经网络的目标检测算法进行集装箱异常点检测，所述基于神经网络的目标检测算法为YOLO、SSD、DSSD、FCOS或者anchor-free，所述集装箱质量评价深度神经网络模型采用基于神经网络的质量评估算法进行集装箱质量评估，所述基于神经网络的质量评估算法为resnet、peleenet、mobilenet或者SPGNet。
优选的，所述anchor-free算法包括输入图像经过深度神经网络经过四次下采样，分辨率降为原来的1/32，以当前输出作为检测层，一条分支进行上采样与之前的网络融合，一条分支继续下采样，最后在得到的五张不同大小的feature上进行回归与分类，根据中心点位置框取目标区域。
优选的，所述SPGNet算法包括首先对于每一个module通过1*1卷积进行通道下降，再等分为两部分，各自进行3*3卷积，最后再把四部分进行拼接，再通过1*1卷积恢复原来的通道数，与输入进行残差链接，以这样的module堆叠15次，组成一个质量评价网络，直接回归集装箱质量分数。
优选的，所述步骤5和步骤6之间还包括使用置信度阈值对集装箱异常点检测结果进行筛选。
与现有技术相比，本发明的有益效果是：
本发明，通过两段触发方式，结合集装箱运输车辆进入道口的流程，在进入初期通过车牌识别系统得到运输车辆相关信息，接着触发第一段检测，对集装箱外进行异常检测与质量分析，并对集装箱箱门OCR进行分析，得到集装箱的净重毛重等属性信息以及编号，所属等信息提交大数据系统；当开门验箱时触发第二段检测机制，对集装箱内进行异常检测以及质量分析，最后将所有质量分析结果进行加权平均，得到最终整体评估，并将所有检测，质量评价结果提交大数据系统。本发明适应多种不同道口场景中的集装箱异常点进行精准识别，实时检测出集装箱体的异常情况，快速对集装箱整体情况进行评估完成验箱。
附图说明
图1是本发明第一实施例的步骤示意图；
图2是本发明第二实施例的步骤示意图；
图3是本发明第三实施例的步骤示意图；
图4是智能道口摄像头假设位置示意图；
图5是用于深度神经网络集装箱异常点检测器训练的样本集(样本图片及其同名标注文件)；
图6是自研异常检测网络示意图；
图7为自研集装箱质量评估网络示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1、图4和图5所示，是本发明一种智能道口验箱方法的总体步骤示意图，本实例包括如下步骤：
步骤1：获取集装箱异常检测数据集及集装箱质量评价数据集；
本实例以预设摄像头拍摄的图片和标注信息为检测样本集，用于训练深度神经网络目标检测器以及质量评估器。
步骤2：训练集装箱异常检测深度神经网络模型以及集装箱质量评价深度神经网络模型；
本实例使用集装箱异常学习样本集对深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤中，可以但不限于包括：将集装箱异常学习样本集转化为VOC标准数据集格式。使用格式转化后的集装箱异常学习样本集对深度神经网络进行模型训练；将集装箱质量评价数据集转化为imagenet标准数据集格式，使用格式转化后的集装箱质量编著学习样本集对深度神经网络进行模型训练。具体地，将集装箱异常学习样本集转化为VOC标准数据集格式，质量评价数据集转化为imagenet标准格式，不仅能够便于计算机进行读取，能够增加上述样本集的可推广性，有利于提高模型训练效率。
步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理，同时在道口屏幕上进行显示；
本实例通过车牌识别系统来识别集装箱运输车辆相关信息，与集装箱信息进行匹配，从而实现数字化管理。
步骤4：通过在道口入口处设立一个手动触发按钮，当有运输集装箱车辆通过在入口处按下按钮，道口验箱系统通过预设摄像头开始采集图像，用于判断集装箱外箱体状况及集装箱属性识别；并将结果在道口屏幕上进行显示。
1)对集装箱箱门进行OCR区域截取并进行识别，得到集装箱净重毛重，最大承重，以及集装箱编号，所属公司等相关信息。
2)使用训练好的网络模型对输出图像进行集装箱异常点检测获得异常点坐标；
3)使用置信度阈值对集装箱异常点检测结果进行筛选，消除模糊样本干扰，特别地本步骤阈值设置较低，避免漏检。
4)使用训练好的质量评价模型对输出图像进行集装箱质量评价，得到该部位集装箱质量信息。
步骤5：当集装箱运输车辆驶过道口，在通道处开箱检查时触发第二触发按钮，箱内抓拍摄像头接收信号进行拍照并通过步骤2获得的网络模型进行异常点检测，并将所有结果在道口屏幕上进行显示；
1)使用训练好的网络模型对输出图像进行集装箱异常点检测获得异常点坐标；
2)使用置信度阈值对集装箱异常点检测结果进行筛选，消除模糊样本干扰，特别地本步骤阈值设置较低，避免漏检.
3)使用训练好的质量评价模型对输出图像进行集装箱质量评价，得到该部位集装箱质量信息。
步骤6：对之前所有获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数。
对由步骤4以及步骤5得到的集装箱质量评估分数进行加权平均，权重根据拍摄的集装箱位置确定，并将结果作为集装箱整体得分。
实施例2：
如图2、图4和图5所示，是本发明一种智能道口验箱方法的总体步骤示意图，本实例包括如下步骤：
步骤1：获取集装箱异常检测数据集及集装箱质量评价数据集；
本实例以预设摄像头拍摄的图片和标注信息为检测样本集，用于训练深度神经网络目标检测器以及质量评估器。
步骤2：训练集装箱异常检测深度神经网络模型以及集装箱质量评价深度神经网络模型；
本实例使用集装箱异常学习样本集对深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤中，可以但不限于包括：将集装箱异常学习样本集转化为VOC标准数据集格式。使用格式转化后的集装箱异常学习样本集对深度神经网络进行模型训练；将集装箱质量评价数据集转化为imagenet标准数据集格式，使用格式转化后的集装箱质量编著学习样本集对深度神经网络进行模型训练。具体地，将集装箱异常学习样本集转化为VOC标准数据集格式，质量评价数据集转化为imagenet标准格式，不仅能够便于计算机进行读取，能够增加上述样本集的可推广性，有利于提高模型训练效率。
步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理，同时在道口屏幕上进行显示；
本实例通过车牌识别系统来识别集装箱运输车辆相关信息，与集装箱信息进行匹配，从而实现数字化管理。
步骤4：通过在道口入口处划定目标区域，当有运输集装箱车辆在通道处停车验箱时会覆盖目标区域，当目标区域被覆盖作为第一触发信号，预设摄像头抓拍图像并判断集装箱外箱体状况及集装箱属性识别；并将结果在道口屏幕上进行显示。
步骤5：在入口处设定手动按钮，当开箱时手动触发该按钮，箱内抓拍摄像头接收信号进行拍照并通过步骤2获得的网络模型进行异常点检测，并将所有结果在道口屏幕上进行显示；
步骤6：使用训练好的网络模型对输出图像进行集装箱异常点检测获得异常点坐标；
使用置信度阈值对集装箱异常点检测结果进行筛选，消除模糊样本干扰，特别地本步骤阈值设置较低，避免漏检.
使用训练好的质量评价模型对输出图像进行集装箱质量评价，得到该部位集装箱质量信息。
步骤6：对之前所有获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数。
对由步骤4以及步骤5得到的集装箱质量评估分数进行加权平均，权重根据拍摄的集装箱位置确定，并将结果作为集装箱整体得分。
实施例3：
如图3、图4和图5所示，是本发明一种智能道口验箱方法的总体步骤示意图，本实例包括如下步骤：
步骤1：获取集装箱异常检测数据集及集装箱质量评价数据集；
本实例以预设摄像头拍摄的图片和标注信息为检测样本集，用于训练深度神经网络目标检测器以及质量评估器。
步骤2：训练集装箱异常检测深度神经网络模型以及集装箱质量评价深度神经网络模型；
本实例使用集装箱异常学习样本集对深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤中，可以但不限于包括：将集装箱异常学习样本集转化为VOC标准数据集格式。使用格式转化后的集装箱异常学习样本集对深度神经网络进行模型训练；将集装箱质量评价数据集转化为imagenet标准数据集格式，使用格式转化后的集装箱质量编著学习样本集对深度神经网络进行模型训练。将集装箱异常学习样本集转化为VOC标准数据集格式，质量评价数据集转化为imagenet标准格式，不仅能够便于计算机进行读取，能够增加上述样本集的可推广性，有利于提高模型训练效率。
步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理，同时在道口屏幕上进行显示；
本实例通过车牌识别系统来识别集装箱运输车辆相关信息，与集装箱信息进行匹配，从而实现数字化管理。
通过在道口入口处规划停车检查区域，每隔3秒进行采样，当有运输集装箱车辆在通道处开箱检查时覆盖区域标志，作为第一触发标志，自动触发验箱抓拍信号，道口验箱系统结束步骤3的视频图像采集并判断集装箱外箱体状况及集装箱属性识别；并将结果在道口屏幕上进行显示。
步骤5：当收到第一触发信号后，箱门摄像头进行视频读流并实时与前一帧进行帧差，当差值大于阈值时或者箱门已经打开作为第二触发信号，箱内抓拍摄像头接收信号进行拍照并通过步骤2获得的网络模型进行异常点检测，并将所有结果在道口屏幕上进行显示；
步骤6：使用训练好的网络模型对输出图像进行集装箱异常点检测获得异常点坐标；
使用置信度阈值对集装箱异常点检测结果进行筛选，消除模糊样本干扰，特别地本步骤阈值设置较低，避免漏检。
使用训练好的质量评价模型对输出图像进行集装箱质量评价，得到该部位集装箱质量信息。
步骤7：对之前所有获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数。
对由步骤4以及步骤5得到的集装箱质量评估分数进行加权平均，权重根据拍摄的集装箱位置确定，并将结果作为集装箱整体得分。
实验结果表明，通过本技术方案，可以在集装箱运输车辆通过道口时，通过标准流程进行统一智能检测，对集装箱外壁以及箱内各异常点实现精准检测；通过我们精心设计的神经网络，单帧图像的集装箱异常点召回率(正确检出的集装箱异常点数量/总的集装箱异常点数量)大于85％，达到大于15帧的处理速率；通过神经网络检测集装箱异常点和低阈值选取方式有效的避免了漏检情况，摒弃检测结果而仅采用跟踪的结果进行计数有效的避免了误检情况；通过神经网络集装箱质量评估模型，最终质量分数可以与理论分数误差可以控制在正负0.5以内(满分10分)。相比现有方法，本发明不但具有较高的准确率，还能大幅提高验箱效率，使得集装箱验箱与道口管理结合，极大提高了集装箱流转效率。
本发明跳出了传统的通过人工统计信息以及验箱的方法，采用预设摄像头采集信息并结合计算机视觉计数能够在运行中实时捕获分析当前场景中的异常点流信息，提出一种全新的基于深度神经网络以及大数据管理系统的智能道口验箱方法方法。
如图6和图7所述，上述实施例中集装箱异常检测深度神经网络模型采用基于神经网络的目标检测算法进行集装箱异常点检测，基于神经网络的目标检测算法为YOLO、SSD、DSSD、FCOS或者anchor-free，集装箱质量评价深度神经网络模型采用基于神经网络的质量评估算法进行集装箱质量评估，基于神经网络的质量评估算法为resnet、peleenet、mobilenet或者SPGNet，anchor-free算法包括输入图像经过深度神经网络经过四次下采样，分辨率降为原来的1/32，以当前输出作为检测层，一条分支进行上采样与之前的网络融合，一条分支继续下采样，最后在得到的五张不同大小的feature上进行回归与分类，根据中心点位置框取目标区域，SPGNet算法包括首先对于每一个module通过1*1卷积进行通道下降，再等分为两部分，各自进行3*3卷积，最后再把四部分进行拼接，再通过1*1卷积恢复原来的通道数，与输入进行残差链接，以这样的module堆叠15次，组成一个质量评价网络，直接回归集装箱质量分数。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种智能道口验箱方法，其特征在于包括：
步骤1：获取集装箱数据集；
步骤2：训练深度神经网络模型对集装箱进行检测和评价；
步骤3：当集装箱运输车辆驶入道口时，车牌识别系统自动抓拍车牌号并上传至大数据管理系统进行管理；
步骤4：对集装箱进行拍摄和OCR识别，通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，并将所有结果进行加权平均得到最终质量分数；
所述步骤2中集装箱异常检测深度神经网络模型采用基于神经网络的目标检测算法进行集装箱异常点检测，所述基于神经网络的目标检测算法为anchor-free，所述集装箱质量评价深度神经网络模型采用基于神经网络的质量评估算法进行集装箱质量评估，所述基于神经网络的质量评估算法为SPGNet；
所述anchor-free算法包括输入图像经过深度神经网络经过四次下采样，分辨率降为原来的1/32，以当前输出作为检测层，一条分支进行上采样与之前的网络融合，一条分支继续下采样，最后在得到的五张不同大小的feature上进行回归与分类，根据中心点位置框取目标区域；
所述SPGNet算法包括首先对于每一个module通过1*1卷积进行通道下降，再等分为两部分，各自进行3*3卷积，最后再把四部分进行拼接，再通过1*1卷积恢复原来的通道数，与输入进行残差链接，以这样的module堆叠15次，组成一个质量评价网络，直接回归集装箱质量分数；
所述步骤4的实施方式为在运输集装箱车辆通过道口入口通过预设摄像头开始采集集装箱图像并进行OCR识别，在运输集装箱车辆驶过道口，在通道处开箱检查时箱内抓拍摄像头进行拍照，然后通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，最后将所有结果进行加权平均得到最终质量分数。
2.根据权利要求1所述的一种智能道口验箱方法，其特征在于：所述步骤2中训练的深度神经网络模型为集装箱异常检测深度神经网络模型以及集装箱质量评价深度神经网络模型。
3.根据权利要求1所述的一种智能道口验箱方法，其特征在于：所述步骤4的实施方式为在运输集装箱车辆通过道口入口通过预设摄像头开始采集集装箱图像并进行OCR识别，然后通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，在运输集装箱车辆驶过道口，在通道处开箱检查时箱内抓拍摄像头进行拍照并通过步骤2获得的网络模型进行异常点检测，对获取到的图像进行集装箱质量评价，最后将所有结果进行加权平均得到最终质量分数。
4.根据权利要求1所述的一种智能道口验箱方法，其特征在于：所述预设摄像头和箱内抓拍摄像头的启动方式均为通过手动触发按钮启动或者通过在地上划定目标区域，每隔3秒进行采样，从视频帧里截取目标区域进行做差，当差值大于阈值时认为目标区域已经被集装箱覆盖，或者箱门已经打开，并以此作为触发信号。
5.根据权利要求1所述的一种智能道口验箱方法，其特征在于：所述步骤1中获取的异常检测数据集为神经网络目标检测算法学习集，用于训练在深度图像上的异常检测器，包括原始的图像数据和labelI mg标注的xml后缀标签文件，获取的质量评价数据集为神经网络学习集，用于训练在深度图像上的质量评价器，包括原始的图像数据和质量标注分数。
6.根据权利要求1所述的一种智能道口验箱方法，其特征在于：所述步骤5和步骤6之间还包括使用置信度阈值对集装箱异常点检测结果进行筛选。
CN202010402420.8A 2020-05-13 2020-05-13 一种智能道口验箱方法 Active CN111626992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010402420.8A CN111626992B (zh) 2020-05-13 2020-05-13 一种智能道口验箱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010402420.8A CN111626992B (zh) 2020-05-13 2020-05-13 一种智能道口验箱方法

Publications (2)

Publication Number Publication Date
CN111626992A CN111626992A (zh) 2020-09-04
CN111626992B true CN111626992B (zh) 2023-06-20

Family

ID=72271881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010402420.8A Active CN111626992B (zh) 2020-05-13 2020-05-13 一种智能道口验箱方法

Country Status (1)

Country Link
CN (1) CN111626992B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743273B (zh) * 2021-08-27 2024-04-05 西安交通大学 基于视频图像目标检测的实时跳绳计数方法、装置和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965799A (zh) * 2018-06-29 2018-12-07 芜湖奥优商贸有限公司 一种物联网的贸易集装箱在线检测系统
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN110910382A (zh) * 2019-11-29 2020-03-24 添维信息科技(天津)有限公司 一种集装箱检测系统
CN110954546A (zh) * 2019-12-20 2020-04-03 上海撬动网络科技有限公司 一种非固定场景的集装箱图像采集和验视系统
CN111127452A (zh) * 2019-12-27 2020-05-08 上海箱云物流科技有限公司 一种基于云端处理的集装箱智能ocr识别方法

Also Published As

Publication number Publication date
CN111626992A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
Doshi et al. Road damage detection using deep ensemble learning
CN104809437B (zh) 一种基于实时视频的车辆检测与跟踪方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN112686923A (zh) 一种基于双阶段卷积神经网络的目标跟踪方法及系统
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN112487894B (zh) 基于人工智能的轨道交通保护区自动巡查方法及装置
CN114295649B (zh) 一种信息关联方法、装置、电子设备及存储介质
CN111311546A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN111626992B (zh) 一种智能道口验箱方法
CN111311545A (zh) 集装箱检测方法、装置及计算机可读存储介质
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN111275682A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN111539257A (zh) 人员重识别方法、装置和存储介质
Patel et al. Vehicle tracking and monitoring in surveillance video
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
Cao et al. Deep discriminant learning-based asphalt road cracks detection via wireless camera network
CN114973156A (zh) 一种基于知识蒸馏的夜间渣土车检测方法
CN114782500A (zh) 基于多目标跟踪的卡丁车比赛行为分析方法
CN114373113A (zh) 一种基于ai技术的野生动物物种图像识别系统
CN113963233A (zh) 一种基于双阶段卷积神经网络的目标检测方法及系统
Bahrami et al. Deep learning-based framework for shipping container security seal detection
CN111967404A (zh) 一种特定场景自动抓拍方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant