CN111311546A - 集装箱检测方法、装置及计算机可读存储介质 - Google Patents

集装箱检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111311546A
CN111311546A CN202010060535.3A CN202010060535A CN111311546A CN 111311546 A CN111311546 A CN 111311546A CN 202010060535 A CN202010060535 A CN 202010060535A CN 111311546 A CN111311546 A CN 111311546A
Authority
CN
China
Prior art keywords
container
image
information
quality evaluation
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010060535.3A
Other languages
English (en)
Inventor
曹生华
钱学明
王萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Box Cloud Logistics Technology Co ltd
Original Assignee
Shanghai Box Cloud Logistics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Box Cloud Logistics Technology Co ltd filed Critical Shanghai Box Cloud Logistics Technology Co ltd
Priority to CN202010060535.3A priority Critical patent/CN111311546A/zh
Publication of CN111311546A publication Critical patent/CN111311546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于检测技术领域，涉及集装箱检测方法、集装箱检测装置及计算机可读存储介质，其中，集装箱检测方法包括：获取关于集装箱的图像信息。通过图像质量评定模型对图像信息进行图像质量评定。在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。从而，本发明能够在进行集装箱的质量评估时，实现节省人力、提升检测效率、统一集装箱的质量评估标准、保障质量评估结果的有效性及准确率的目的。

Description

集装箱检测方法、装置及计算机可读存储介质
技术领域
本发明涉及检测技术领域，特别是涉及集装箱检测方法、集装箱检测装置及计算机可读存储介质。
背景技术
集装箱是指具有一定强度、刚度和规格专供周转使用的大型装货容器。使用集装箱转运货物，可直接在发货人的仓库装货，运到收货人的仓库卸货，中途更换车、船时，无须将货物从箱内取出换装。因此集装箱是一种伟大的发明。集装箱最大的成功在于其产品的标准化以及由此建立的一整套运输体系，能够让一个载重几十吨的庞然大物实现标准化，并且以此为基础逐步实现全球范围内的船舶、港口、航线、公路、中转站、桥梁、隧道、多式联运相配套的物流系统，这的确堪称人类有史以来创造的伟大奇迹之一。
集装箱的发展意义重大，但是大规模的集装箱异常情况管理却成为了一个难题。现在的管理方式都是人工进行观察，并依靠经验进行集装箱的质量评估。这样不仅浪费了大量人力资源，而且对于大规模集装箱管理而言效率低下，准确率无法保障，标准无法统一。
针对以上问题，本领域技术人员一直在寻求解决方法。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
本发明要解决的技术问题在于，针对上述现有技术的缺陷，提供了集装箱检测方法、集装箱检测装置及计算机可读存储介质，以在进行集装箱的质量评估时，节省人力、提升检测效率，并统一集装箱的质量评估标准。
本发明是这样实现的：
本发明提供了一种集装箱检测方法，该集装箱检测方法包括：获取关于集装箱的图像信息。通过图像质量评定模型对图像信息进行图像质量评定。在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。
进一步地，通过图像质量评定模型对图像信息进行图像质量评定的步骤之前，包括：使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型。和/或在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果的步骤之前，包括：使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储集装箱质量评估模型。
进一步地，第一深度神经网络包括VGGNet、ResNet、darknet、SEnet及mobilenet中的一个。和/或第二深度神经网络包括ResNet、VGGNet、inception、QENet以及mobilenet中的一个。
进一步地，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤中，包括：将图像质量评定样本集转化为ImageNet标准数据集格式。使用格式转化后的图像质量评定样本集对第一深度神经网络进行模型训练。
进一步地，通过图像质量评定模型对图像信息进行图像质量评定的步骤中，包括：通过图像质量评定模型对图像信息进行图像质量评定，以获取图像信息的图像质量得分。在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果的步骤中，包括：在图像信息的图像质量得分达到阈值时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。
进一步地，集装箱检测方法还包括：在图像信息的图像质量评定为不合格时，输出重拍命令，以使得拍摄单元重新获取关于集装箱的图像信息。
进一步地，根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应的步骤中，包括：根据对应集装箱的所有的质量评估结果获取集装箱质量评分信息。将集装箱质量评分信息加入云端服务器的数据库中，进行大数据管理，集装箱质量评分信息中包括整体质量得分和/或集装箱标识。
进一步地，根据对应集装箱的所有的质量评估结果获取集装箱质量评分信息的步骤中，包括：获取对应集装箱的所有的质量评估结果。根据所有的质量评估结果进行加权归一化处理，以获取集装箱评分信息。
本发明还提供了一种集装箱检测装置，包括存储器和处理器。处理器用于执行存储器中存储的计算机程序以实现如上所描述的集装箱检测方法的步骤。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上所描述的集装箱检测方法的步骤。
本发明提供的集装箱检测方法、集装箱检测装置及计算机可读存储介质，其中，集装箱检测方法包括：获取关于集装箱的图像信息。通过图像质量评定模型对图像信息进行图像质量评定。在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。从而，本发明能够通过集装箱质量评估模型对关于集装箱的图像信息进行检测，以获取质量评估结果，从而根据质量评估结果能够获取集装箱质量评分信息，避免了人工检测及评估，故而能够节省人力、提升检测效率，并且通过集装箱质量评估模型能够统一集装箱的质量评估标准，此外，在通过集装箱质量评估模型进行检测的操作之前，本发明能够通过图像质量评定模型对关于集装箱的图像信息进行评定或筛选，以保障输入集装箱质量评估模型的图像信息的图像质量，从而，本发明能够保障质量评估结果的有效性及准确率。综上，本发明能够在进行集装箱的质量评估时，实现节省人力、提升检测效率、统一集装箱的质量评估标准、保障质量评估结果的有效性及准确率的目的。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
图1是本发明第一实施例提供的集装箱检测方法的流程示意图；
图2是本发明第二实施例提供的集装箱检测方法的流程示意图；
图3是本发明第三实施例提供的集装箱检测方法的流程示意图；
图4是本发明第四实施例提供的集装箱检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明实施例做进一步详述。
第一实施例：
图1是本发明第一实施例提供的集装箱检测方法的流程示意图。为了清楚的描述本发明第一实施例提供的集装箱检测方法，请参见图1。
本发明第一实施例提供的集装箱检测方法，包括：
S11:获取关于集装箱的图像信息。
在一实施方式中，其中，获取的关于集装箱的图像信息可以是集装箱的预设区域对应的摄像单元拍摄并发送的。具体地，一个集装箱可以与多个摄像单元相对应，且每个摄像单元分别拍摄该集装箱某个区域的图像信息。
在一实施方式中，图像信息中的可以但不限于包括集装箱的区域标识、集装箱标识等等中的至少一项。
S12:通过图像质量评定模型对图像信息进行图像质量评定。
在一实施方式中，在步骤S12:通过图像质量评定模型对图像信息进行图像质量评定之前(例如,在步骤S11:获取关于集装箱的图像信息之前)，可以但不限于包括：使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型。其中，存储图像质量评定模型，例如，将图像质量评定模型存储在本地硬盘中、或将图像质量评定模型存储在云端服务器中。
在一实施方式中,使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤之前,可以但不限于包括:制作图像质量评定样本集。
在一实施方式中，图像质量评定样本集中包括图像质量差的样本(例如，图像亮度过低的样本、图像模糊的样本、图像中的集装箱区域不完整的样本)为负样本，图像质量好的样本(例如图像清晰、完整的样本)为正样本。
在一实施方式中，图像质量评定样本集中的正负样本比例基本为1:1，从而能够有利于图像质量评定模型的训练。对于正样本，人工利用labelImg工具进行标注，标注内容例如可以包括异常点(或异常区域)的位置坐标及异常类型等。
在一实施方式中，第一深度神经网络可以但不限于包括卷积神经网络(例如，VGGNet、ResNet等等)、darknet、SEnet及mobilenet等等中的一个。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤中，可以但不限于包括：将图像质量评定样本集转化为ImageNet标准数据集格式。使用格式转化后的图像质量评定样本集对第一深度神经网络进行模型训练。具体地，将图像质量评定样本集转化为ImageNet标准数据集格式，能够增加上述样本集的可推广性，有利于提高模型训练效率。其中，本实施例中的第一深度神经网络可以但不限于为mobilenet神经网络(又称轻量级神经网络)。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取储图像质量评定模型时，通过第一深度神经网络学习图像质量评定样本集，通过不断减少真是属性与预测属性之间的误差使第一深度神经网络的评定结果与真实结果相近，从而训练出图像质量评定模型。例如，将图像质量评定样本集按ImageNet标准进行存储，并划分一定量测试集进行模型性能验证；使用第一深度神经网络进行训练100个epoch(当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch)，生成图像质量评定模型(或称深度神经网络图像质量评价器)，选取在测试集上准确率最高的作为最终的图像质量评定模型。
S13:在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。
在一实施方式中，在步骤S13:在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果中，可以但不限于包括：通过图像质量评定模型对图像信息进行评定以获取图像质量得分，并在图像质量得分达到阈值判定图像信息的图像质量合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。
在一实施方式中，质量评估结果中可以但不限于包括质量评估得分、集装箱标识、集装箱区域标识等等中的至少一个。
在一实施方式中，在步骤S13:在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果之前(例如，在步骤S11:获取关于集装箱的图像信息之前)，可以但不限于包括：使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储集装箱质量评估模型(或称集装箱质量评估器)。
在一实施方式中，在使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储集装箱质量评估模型的步骤之前，可以但不限于包括：制作集装箱质量评估学习样本集。
在一实施方式中，集装箱质量评估学习样本集中的图片全部重命名为编号加评估得分的组合命名。
在一实施方式中，第二深度神经网络可以但不限于包括ResNet、VGGNet、inception、QENet以及mobilenet等等中的一个。
在一实施方式中，第二深度神经网络可以为QENet，用于训练该第二深度神经网络的集装箱质量评估学习样本集中包括集装箱标识(例如集装箱编号)加评估得分命名的图像信息。其中，QENet是对传统的分类网络进行针对性的结构改进后得到的，能够在速度和准确性之间取得最好的权衡。
在一实施方式中，使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练的步骤中，可以但不限于包括：将多张图像组合成一个batch进行模型训练。
在其他实施方式中，使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练的步骤中，可以但不限于包括：打乱集装箱质量评估学习样本集中的图像信息的顺序，并随机挑选一些图像信息组成一个batch进行模型训练。利用均方差损失作为损失函数以衡量真实质量评估得分与预测得分之间的结果差异。用第二深度神经网络训练200个epoch以生成集装箱质量评估模型。每隔5个epoch进行模型测试挑选操作以挑选出一个性能最好的集装箱质量评估模型。
在其他实施方式中，本实施例提供的集装箱检测方法还可以但不限于包括：通过图像质量评定模型对图像信息进行图像质量评定以判断图像信息对应的图像质量是否合格。在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。在图像信息的图像质量评定为不合格时，输出重拍命令，以使得拍摄单元重新获取关于集装箱的图像信息。
S14:根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。
在一实施方式中，在步骤S14:根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应中，可以但不限于包括：根据质量评估结果获取集装箱质量评分信息。将集装箱质量评分信息加入云端服务器的数据库中，进行大数据管理。
在一实施方式中，在根据质量评估结果获取集装箱质量评分信息的步骤中，可以但不限于包括：获取对应该集装箱的所有的质量评估结果。根据对应该集装箱的所有的质量评估结果进行加权归一化处理，以获取集装箱评分信息。具体的，同一集装箱的不同的图像信息均通过上述的步骤(例如步骤S11至步骤S13)以得到相应的质量评估结果。
在一实施方式中，在根据所有的质量评估结果进行加权归一化处理，以获取集装箱评分信息的步骤中，可以但不限于包括：根据所有的质量评估结果获取所有的质量评估得分。对所有的质量评估得分进行加权平均处理，以获取整个集装箱的整体质量得分。根据整体质量得分和集装箱标识(例如集装箱编号)获取集装箱评分信息。
在一实施方式中，加权平均处理的过程包括：
Figure BDA0002374308130000081
其中，f1+f2+…+fk＝n,f1、f2…fk为权值。
具体地,相对于现有技术，本实施例提供的集装箱检测方法具有以下有益效果：本实施例提供的集装箱检测方法，可以通过摄像单元对集装箱从至少一个特定角度进行拍照，人工标注组成图像质量评定样本集及集装箱质量评估学习样本集；基于样本训练生成图像质量评定模型以及集装箱质量评估模型；采用图像质量评定模型对新获取且待识别的图像进行图像质量评定，评定合格后通过集装箱质量评估模型进行检测，否则重新拍照；对来自同一个集装箱的不同图像评估得分进行加权归一化处理以得到整个集装箱的整体质量得分，从而可以将集装箱的整体质量得分和该集装箱的标识相关联的加入云端服务器的数据库中，以进行大数据管理。本实施例提供的集装箱检测方法能够有效对集装箱进行整体质量评估，可快速进行集装箱质量数据采集分析，并能自动化地与云端服务器的数据库对接，加快集装箱数字化管理效率。
在一实施方式中，本实施例提供的集装箱检测方法可以但不限于应用于集装箱检测装置中。例如,还可以应用于云端服务器中。
实验结果表明，通过本实施例提供的集装箱检测方法，可以快速准确地对集装箱进行质量评估并编入数据库进行大数据管理，对单张图像的响应时间可以控制在50ms内，且可以实现多路并行处理，经过实际验证，对于拍摄效果良好的集装箱图像，质量打分误差可以控制在±0.1以内(真实分数±预测分数)。相比现有方法，本实施例提供的集装箱检测方法不但具有较高的鲁棒性，同时实现了快速响应及多路并行计算，极大加快了集装箱数字化管理效率。
具体地，本实施例提供的集装箱检测方法跳出了传统的人工质量评估方法，能够通过几张图像获取集装箱的整体质量情况，提出一种全新的基于深度神经网络模型获取集装箱的整体质量情况的方法，可以快速实现对集装箱的质量评估，极大地提高大规模集装箱运营效率，节约人力分析成本。
本发明第一实施例提供的集装箱检测方法，包括：S11:获取关于集装箱的图像信息。S12:通过图像质量评定模型对图像信息进行图像质量评定。S13:在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果。S14:根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。从而，本发明第一实施例提供的集装箱检测方法能够通过集装箱质量评估模型对关于集装箱的图像信息进行检测，以获取质量评估结果，从而根据质量评估结果能够获取集装箱质量评分信息，避免了人工检测及评估，故而能够节省人力、提升检测效率，并且通过集装箱质量评估模型能够统一集装箱的质量评估标准，此外，在通过集装箱质量评估模型进行检测的操作之前，本发明第一实施例提供的集装箱检测方法能够通过图像质量评定模型对关于集装箱的图像信息进行评定或筛选，以保障输入集装箱质量评估模型的图像信息的图像质量，从而，本发明第一实施例提供的集装箱检测方法能够保障质量评估结果的有效性及准确率。综上，本发明第一实施例提供的集装箱检测方法能够在进行集装箱的质量评估时，实现节省人力、提升检测效率、统一集装箱的质量评估标准、保障质量评估结果的有效性及准确率的目的。
第二实施例：
图2是本发明第二实施例提供的集装箱检测方法的流程示意图。为了清楚的描述本发明第二实施例提供的集装箱检测方法，请参见图2。
本发明第二实施例提供的集装箱检测方法，包括：
S21:获取关于集装箱的图像信息。
在一实施方式中，其中，获取的关于集装箱的图像信息可以是集装箱的预设区域对应的摄像单元拍摄并发送的。具体地，一个集装箱可以与多个摄像单元相对应，且每个摄像单元分别拍摄该集装箱某个区域的图像信息。
在一实施方式中，图像信息中的可以但不限于包括集装箱的区域标识、集装箱标识等等中的一个。
S22:通过图像质量评定模型对图像信息进行图像质量评定。
在一实施方式中，在步骤S22:通过图像质量评定模型对图像信息进行图像质量评定之前(例如,在S21:获取关于集装箱的图像信息之前)，可以但不限于包括：使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型。其中，存储图像质量评定模型，例如，将图像质量评定模型存储在本地硬盘中、或将图像质量评定模型存储在云端服务器中。
在一实施方式中,使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤之前,可以但不限于包括:制作图像质量评定样本集。
在一实施方式中，图像质量评定样本集中包括图像质量差的样本(例如，图像亮度过低的样本、图像模糊的样本、图像中的集装箱区域不完整的样本)为负样本，图像质量好的样本(例如图像清晰、完整的样本)为正样本。
在一实施方式中，图像质量评定样本集中的正负样本比例基本为1:1，从而能够有利于图像质量评定模型的训练。对于正样本，人工利用labelImg工具进行标注，标注内容例如可以包括异常点(或异常区域)的位置坐标及异常类型等。
在一实施方式中，第一深度神经网络可以但不限于包括卷积神经网络(例如，VGGNet、ResNet等等)、darknet及mobilenet等等中的一个。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤中，可以但不限于包括：将图像质量评定样本集转化为ImageNet标准数据集格式。使用格式转化后的图像质量评定样本集对第一深度神经网络进行模型训练。具体地，将图像质量评定样本集转化为ImageNet标准数据集格式，能够增加上述样本集的可推广性，有利于提高模型训练效率。其中，本实施例中的第一深度神经网络可以但不限于为mobilenet神经网络(又称轻量级神经网络)。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取储图像质量评定模型时，通过第一深度神经网络学习图像质量评定样本集，通过不断减少真是属性与预测属性之间的误差使第一深度神经网络的评定结果与真实结果相近，从而训练出图像质量评定模型。例如，将图像质量评定样本集按ImageNet标准进行存储，并划分一定量测试集进行模型性能验证；使用第一深度神经网络进行训练100个epoch(当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch)，生成图像质量评定模型(或称深度神经网络图像质量评价器)，选取在测试集上准确率最高的作为最终的图像质量评定模型。
S23:在图像信息的图像质量评定为合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果。
在一实施方式中，在步骤S23:在图像信息的图像质量评定为合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果中，可以但不限于包括：通过图像质量评定模型对图像信息进行评定以获取图像质量得分，并在图像质量得分达到阈值判定图像信息的图像质量合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果。
在一实施方式中,在步骤S23:在图像信息的图像质量评定合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果之前(例如，在S21:获取关于集装箱的图像信息之前)，可以但不限于包括：使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型。
在一实施方式中，在使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤之前，可以但不限于包括：制作集装箱异常学习样本集。
在一实施方式中,第三深度神经网络可以但不限于包括RFBNet、YOLO、Fast-RCNN、Faster-RCNN及SSD等等中的一个。
在一实施方式中，使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤中，可以但不限于包括：将集装箱异常学习样本集转化为VOC标准数据集格式。使用格式转化后的集装箱异常学习样本集对第三深度神经网络进行模型训练。具体地，将集装箱异常学习样本集转化为VOC标准数据集格式，不仅能够便于计算机进行读取，能够增加上述样本集的可推广性，有利于提高模型训练效率。
在一实施方式中，集装箱异常学习样本集可以但不限于为SSD神经网络学习样本集，用于训练集装箱异常检测模型(或称深度神经网络异常检测器)。集装箱异常学习样本集中可以包括用labelImg标注的.xml后缀标签文件。
在一实施方式中，使用格式转化后的集装箱异常学习样本集对第三深度神经网络进行模型训练，例如，对格式转化后的集装箱异常学习样本集用第三深度神经网络进行训练20000次，生成集装箱异常检测模型(或称深度神经网络异常检测器)，每隔500次进行模型测试挑选一个性能最好的模型作为最终的集装箱异常检测模型，以将最终的集装箱异常检测模型进行保存操作。
在其他实施方式中，本实施例提供的集装箱检测方法还可以但不限于包括：通过图像质量评定模型对图像信息进行图像质量评定以判断图像信息对应的图像质量是否合格。在图像信息的图像质量评定为合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果。在图像信息的图像质量评定为不合格时，输出重拍命令，以使得拍摄单元重新获取关于集装箱的图像信息。
在其他实施方式中，输出重拍命令的方式可以是直接输出重拍命令至与图像质量不合格的图像信息对应的拍摄单元以使得该拍摄单元重新获取关于集装箱的图像信息，也可以是输出重拍命令后通过转发的方式以使得与图像质量不合格的图像信息对应的拍摄单元获取触发信号以重新获取图像信息。
S24:在根据异常检测结果获取到异常信息时，根据异常信息进行响应。
在一实施方式中，其中，异常信息中可以但不限于包括异常情况分类信息、异常置信度及异常区域坐标中的至少一项。其中，异常情况分类信息例如包括箱体破损类、标签破损类、杂物遗留类等等。
在一实施方式中，其中，异常信息例如包括集装箱标签模糊或损坏、集装箱内有遗留物、集装箱箱体损坏等等。
在一实施方式中，在步骤S24:在根据异常检测结果获取到异常信息时，根据异常信息进行响应中，可以但不限于包括：根据置信阈值信息对异常检测结果进行筛选操作，以更新异常检测结果(从而能够消除模糊、干扰目标以更新异常检测结果)。根据更新后的异常检测结果获取异常信息，以根据异常信息进行响应。
在一实施方式中，在根据置信阈值信息对异常检测结果进行筛选操作，以更新异常检测结果的步骤中，可以但不限于包括：将异常检测结果进行softmax归一化处理以获取置信度信息，置信度信息可以但不限于包括图像信息中的关于集装箱的特征对应的置信度。根据置信度信息和置信阈值信息对所述异常检测结果进行筛选操作，以更新异常检测结果。在根据更新后的检测结果获取异常信息，以根据异常信息进行响应的步骤中，可以但不限于包括：展示异常信息，并突出展示异常信息中的异常区域。其中，突出展示异常信息中的异常区域，例如，显示单元显示异常信息对应的图像信息并框取该图像信息中的异常区域。
在一实施方式中，softmax的操作过程包括：
Figure BDA0002374308130000141
其中，V表示输出矩阵，Vi表示V中的第i个元素。其中，si可以是引入的临时变量，相当于每个输出值都做相应的操作，然后再归一化，求每个si所占的比例，即为每个类别的概率。softmax函数用一个自然底数e先拉大了输入值之间的差异，然后使用一个配分将其归一化为一个概率分布。softmax有一个先拉开差异再归一化的“两步走”战略，因此在分类问题中优势显著。
在一实施方式中，在步骤S24:在根据异常检测结果获取到异常信息时，根据异常信息进行响应中，可以但不限于包括：根据异常检测结果获取到异常信息时，根据异常信息进行异常预警。
在一实施方式中，在根据异常信息进行响应的步骤中，或者在根据异常检测结果获取到异常信息时，根据异常信息进行异常预警的步骤中，可以但不限于包括：将异常信息加入云端服务器的数据库，以进行大数据管理，异常信息中可以但不限于包括异常情况分类信息、异常置信度及异常区域坐标等等中的至少一项。
实验结果表明，通过本实施例提供的集装箱异常检测方法，可以快速准确地对集装箱进行异常检测并提取相关参数编入数据库进行大数据管理，对单张图像的响应时间可以控制在100ms内，且可以实现多路并行处理，经过实际验证，对于拍摄效果良好的集装箱图像，异常检测准确率可以达到90％以上(正确识别数量/总的图像数量)。相比现有方法，本实施例提供的集装箱异常检测方法不但具有较高的检测精确率，同时实现了快速响应及多路并行计算，极大加快了集装箱数字化管理效率。
在其他实施方式中，本实施例提供的集装箱检测方法，可以但不限于是对多张对应集装箱不同的区域的照片进行并行(同时)处理，从而一次性对集装箱各区域进行完整的检测，以判断集装箱是否存在异常且获取反应整个集装箱异常情况的异常信息。
在一实施方式中，本实施例提供的集装箱检测方法可以但不限于应用于集装箱检测装置中,例如,还可以应用于云端服务器中。
在一实施方式中，本实施例提供的集装箱检测方法的中技术特征与本发明第一实施例提供的集装箱检测方法中的技术特征，可以进行任意组合，为使描述简洁，未对本实施例和第一实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本实施例记载的范围。
本发明第二实施例提供的集装箱检测方法，包括：S21:获取关于集装箱的图像信息。S22:通过图像质量评定模型对图像信息进行图像质量评定。S23:在图像信息的图像质量评定为合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果。S24:在根据异常检测结果获取到异常信息时，根据异常信息进行响应。从而，本发明第二实施例提供的集装箱检测方法能够通过集装箱异常检测模型对关于集装箱的图像信息进行检测，以判断集装箱是否异常，避免了人工检测，故而能够节省人力、提升检测效率，并且，在通过集装箱异常检测模型进行检测的操作之前，本发明能够通过图像质量评定模型对关于集装箱的图像信息进行评定或筛选，以保障输入集装箱异常检测模型的图像信息的图像质量，从而，本发明第二实施例提供的集装箱检测方法能够保障集装箱异常异常检测结果的有效性及准确率。综上，本发明第二实施例提供的集装箱检测方法能够在进行集装箱异常检测时，实现节省人力、提升检测效率、保障异常检测结果的有效性及准确率的目的，并且能够极大地提高大规模集装箱运营效率。
第三实施例：
图3是本发明第三实施例提供的集装箱检测方法的流程示意图。为了清楚的描述本发明第三实施例提供的集装箱检测方法，请参见图3。
本发明第三实施例提供的集装箱检测方法，包括：
S31:获取关于集装箱的图像信息。
在一实施方式中，其中，获取的关于集装箱的图像信息可以是集装箱的预设区域对应的摄像单元拍摄并发送的。具体地，一个集装箱可以与多个摄像单元相对应，且每个摄像单元分别拍摄该集装箱某个区域的图像信息。
在其他实施方式中，在步骤S31:获取关于集装箱的图像信息中，可以但不限于包括：获取关于集装箱的多张图像信息。其中，多张图像信息可以但不限于为对应集装箱的多个预设角度(例如集装箱的八个不同的角度)的图像信息。
在一实施方式中，图像信息中的可以但不限于包括集装箱的区域标识、集装箱标识等等中的至少一项。
S32:通过图像质量评定模型对图像信息进行图像质量评定。
在一实施方式中，在步骤S32:通过图像质量评定模型对图像信息进行图像质量评定之前(例如,在S31:获取关于集装箱的图像信息之前)，可以但不限于包括：使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型(或称深度神经网络图像质量评价器)。其中，存储图像质量评定模型，例如，将图像质量评定模型存储在本地硬盘中、或将图像质量评定模型存储在云端服务器中。
在一实施方式中,使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤之前,可以但不限于包括:制作图像质量评定样本集。
在一实施方式中，图像质量评定样本集中包括图像质量差的样本(例如，图像亮度过低的样本、图像模糊的样本、图像中的集装箱区域不完整的样本)为负样本，图像质量好的样本(例如图像清晰、完整的样本)为正样本。
在一实施方式中，图像质量评定样本集中的正负样本比例基本为1:1，从而能够有利于图像质量评定模型的训练。对于正样本，人工利用labelImg工具进行标注，标注内容例如可以包括异常点(或异常区域)的位置坐标及异常类型等。
在一实施方式中，第一深度神经网络可以但不限于包括卷积神经网络(例如，VGGNet、ResNet等等)、darknet、SEnet及mobilenet等等中的一个。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储图像质量评定模型的步骤中，可以但不限于包括：将图像质量评定样本集转化为ImageNet标准数据集格式。使用格式转化后的图像质量评定样本集对第一深度神经网络进行模型训练。具体地，将图像质量评定样本集转化为ImageNet标准数据集格式，能够增加上述样本集的可推广性，有利于提高模型训练效率。其中，本实施例中的第一深度神经网络可以但不限于为mobilenet神经网络(又称轻量级神经网络)。
在一实施方式中，使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取储图像质量评定模型时，通过第一深度神经网络学习图像质量评定样本集，通过不断减少真是属性与预测属性之间的误差使第一深度神经网络的评定结果与真实结果相近，从而训练出图像质量评定模型。例如，将图像质量评定样本集按ImageNet标准进行存储，并划分一定量测试集进行模型性能验证；使用第一深度神经网络进行训练100个epoch(当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch)，生成图像质量评定模型(或称深度神经网络图像质量评价器)，选取在测试集上准确率最高的作为最终的图像质量评定模型。
在其他实施方式中，在步骤S32:通过图像质量评定模型对图像信息进行图像质量评定中，可以但不限于包括：S32:通过图像质量评定模型对同时或分别对多张图像信息进行图像质量评定。
S33:在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果，验箱结果包括质量评估结果和/或异常检测结果。
在一实施方式中，应当理解的，验箱结果可以但不限于包括质量评估结果、异常检测结果等等。
在一实施方式中，质量评估结果中可以但不限于包括质量评估得分、集装箱标识、集装箱区域标识等等中的至少一个。
在一实施方式中，在步骤S33:在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果中，可以但不限于包括：通过图像质量评定模型对图像信息进行评定以获取图像质量得分，并在图像质量得分达到阈值判定图像信息的图像质量合格时，根据图像信息进行验箱操作以获取验箱结果。
在一实施方式中，在步骤S33:在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果中，可以但不限于包括：在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测以获取质量评估结果，和/或通过集装箱异常检测模型对图像信息进行检测以获取异常检测结果。
在一实施方式中，在通过集装箱异常检测模型对图像信息进行检测以获取异常检测结果的步骤之前(例如，在步骤S31:获取关于集装箱的图像信息之前)，可以但不限于包括：使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型。
在一实施方式中,第三深度神经网络可以但不限于包括RFBNet、YOLO、Fast-RCNN、Faster-RCNN及SSD等等中的一个。
在一实施方式中，在使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤之前，可以但不限于包括：制作集装箱异常学习样本集。
在一实施方式中，使用集装箱异常学习样本集对第三深度神经网络进行模型训练，以获取并存储集装箱异常检测模型的步骤中，可以但不限于包括：将集装箱异常学习样本集转化为VOC标准数据集格式。使用格式转化后的集装箱异常学习样本集对第三深度神经网络进行模型训练。具体地，将集装箱异常学习样本集转化为VOC标准数据集格式，不仅能够便于计算机进行读取，能够增加上述样本集的可推广性，有利于提高模型训练效率。
在一实施方式中，集装箱异常学习样本集可以但不限于为SSD神经网络学习样本集，用于训练集装箱异常检测模型(或称深度神经网络异常检测器)。集装箱异常学习样本集中可以包括用labelImg标注的.xml后缀标签文件。
在一实施方式中，使用格式转化后的集装箱异常学习样本集对第三深度神经网络进行模型训练，例如，对格式转化后的集装箱异常学习样本集用第三深度神经网络进行训练20000次，生成集装箱异常检测模型(或称深度神经网络异常检测器)，每隔500次进行模型测试挑选一个性能最好的模型作为最终的集装箱异常检测模型，以将最终的集装箱异常检测模型进行保存操作。
在一实施方式中，在通过集装箱质量评估模型对图像信息进行检测以获取质量评估结果的步骤之前(例如，在步骤S31:获取关于集装箱的图像信息之前)，可以但不限于包括：使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储集装箱质量评估模型(或称集装箱质量评估器)。
在一实施方式中，在使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储集装箱质量评估模型的步骤之前，可以但不限于包括：制作集装箱质量评估学习样本集。
在一实施方式中，集装箱质量评估学习样本集中的图片全部重命名为编号加评估得分的组合命名。
在一实施方式中，第二深度神经网络可以但不限于包括ResNet,VGGNet,inception、QENet以及mobilenet等等中的一个。
在一实施方式中，第二深度神经网络可以为QENet，用于训练该第二深度神经网络的集装箱质量评估学习样本集中包括集装箱标识(例如集装箱编号)加评估得分命名的图像信息。其中，QENet是对传统的分类网络进行针对性的结构改进后得到的，能够在速度和准确性之间取得最好的权衡。
在一实施方式中，使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练的步骤中，可以但不限于包括：将多张图像组合成一个batch进行模型训练。
在其他实施方式中，使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练的步骤中，可以但不限于包括：打乱集装箱质量评估学习样本集中的图像信息的顺序，并随机挑选一些图像信息组成一个batch进行模型训练。利用均方差损失作为损失函数以衡量真实质量评估得分与预测得分之间的结果差异。用第二深度神经网络训练200个epoch以生成集装箱质量评估模型。每隔5个epoch进行模型测试挑选操作以挑选出一个性能最好的集装箱质量评估模型，以将最好的集装箱质量评估模型进行保存操作。
在其他实施方式中，本实施例提供的集装箱检测方法还可以但不限于包括：通过图像质量评定模型对图像信息进行图像质量评定以判断图像信息对应的图像质量是否合格。在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果。在图像信息的图像质量评定为不合格时，输出重拍命令，以使得拍摄单元重新获取关于集装箱的图像信息。
在其他实施方式中，输出重拍命令的方式可以是直接输出重拍命令至与图像质量不合格的图像信息对应的拍摄单元以使得该拍摄单元重新获取关于集装箱的图像信息，也可以是输出重拍命令后通过转发的方式以使得与图像质量不合格的图像信息对应的拍摄单元获取触发信号以重新获取图像信息。
S34:根据验箱结果获取集装箱信息，以根据集装箱信息进行响应，其中，集装箱信息包括集装箱质量评分信息和/或异常信息。
在一实施方式中，其中，异常信息中可以但不限于包括异常情况分类信息、异常置信度及异常区域坐标中的至少一项。其中，异常情况分类信息例如包括箱体破损类、标签破损类、杂物遗留类等等。
在一实施方式中，其中，异常信息例如包括集装箱标签模糊或损坏、集装箱内有遗留物、集装箱箱体损坏等等。
在一实施方式中，在步骤S34:根据验箱结果获取集装箱信息，以根据集装箱信息进行响应中，可以但不限于包括：在根据异常检测结果获取到异常信息时，根据异常信息进行响应，和/或根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。
在一实施方式中，在根据异常检测结果获取到异常信息时，根据异常信息进行响应的步骤中，可以但不限于包括：根据置信阈值信息对异常检测结果进行筛选操作，以更新异常检测结果(从而能够消除模糊、干扰目标以更新异常检测结果)。根据更新后的异常检测结果获取异常信息，以根据异常信息进行响应。
在一实施方式中，在根据置信阈值信息对异常检测结果进行筛选操作，以更新异常检测结果的步骤中，可以但不限于包括：将异常检测结果进行softmax归一化处理以获取置信度信息，置信度信息可以但不限于包括图像信息中的关于集装箱的特征对应的置信度。根据置信度信息和置信阈值信息对所述异常检测结果进行筛选操作，以更新异常检测结果。在根据更新后的检测结果获取异常信息，以根据异常信息进行响应的步骤中，可以但不限于包括：展示异常信息，并突出展示异常信息中的异常区域。其中，突出展示异常信息中的异常区域，例如，显示单元显示异常信息对应的图像信息并框取该图像信息中的异常区域。
在一实施方式中，softmax的操作过程包括：
Figure BDA0002374308130000221
其中，V表示输出矩阵，Vi表示V中的第i个元素。其中，si可以是引入的临时变量，相当于每个输出值都做相应的操作，然后再归一化，求每个si所占的比例，即为每个类别的概率。softmax函数用一个自然底数e先拉大了输入值之间的差异，然后使用一个配分将其归一化为一个概率分布。softmax有一个先拉开差异再归一化的“两步走”战略，因此在分类问题中优势显著。
在一实施方式中，在根据异常检测结果获取到异常信息时，根据异常信息进行响应的步骤中，可以但不限于包括：根据异常检测结果获取到异常信息时，根据异常信息进行异常预警。
在一实施方式中，在根据异常信息进行响应的步骤中，或者在根据异常检测结果获取到异常信息时，根据异常信息进行异常预警的步骤中，可以但不限于包括：将异常信息加入云端服务器的数据库，以进行大数据管理，异常信息中可以但不限于包括异常情况分类信息、异常置信度及异常区域坐标等等中的至少一项。
实验结果表明，通过本实施例提供的集装箱异常检测方法，可以快速准确地对集装箱进行异常检测并提取相关参数编入数据库进行大数据管理，对单张图像的响应时间可以控制在100ms内，且可以实现多路并行处理，经过实际验证，对于拍摄效果良好的集装箱图像，异常检测准确率可以达到90％以上(正确识别数量/总的图像数量)。相比现有方法，本实施例提供的集装箱异常检测方法不但具有较高的检测精确率，同时实现了快速响应及多路并行计算，极大加快了集装箱数字化管理效率。
在一实施方式中，在根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应的步骤中，可以但不限于包括：根据质量评估结果获取集装箱质量评分信息。将集装箱质量评分信息加入云端服务器的数据库中，进行大数据管理。
在一实施方式中，在根据质量评估结果获取集装箱质量评分信息的步骤中，可以但不限于包括：获取对应该集装箱的所有的质量评估结果。根据所有的质量评估结果进行加权归一化处理，以获取集装箱评分信息。具体的，同一集装箱的不同的图像信息均通过上述的步骤(例如步骤S31至步骤S33)以得到相应的质量评估结果。
在一实施方式中，在根据所有的质量评估结果进行加权归一化处理，以获取集装箱评分信息的步骤中，可以但不限于包括：根据所有的质量评估结果获取所有的质量评估得分。对所有的质量评估得分进行加权平均处理，以获取整个集装箱的整体质量得分。根据整体质量得分和集装箱标识(例如集装箱编号)获取集装箱评分信息。
在一实施方式中，加权平均处理的过程包括：
Figure BDA0002374308130000231
其中，f1+f2+…+fk＝n,f1、f2…fk为权值。
具体地,相对于现有技术，本实施例提供的集装箱检测方法具有以下有益效果：本实施例提供的集装箱检测方法，可以通过摄像单元对集装箱从至少一个特定角度进行拍照，人工标注组成图像质量评定样本集及集装箱质量评估学习样本集；基于样本训练生成图像质量评定模型以及集装箱质量评估模型；采用图像质量评定模型对新获取且待识别的图像进行图像质量评定，评定合格后通过集装箱质量评估模型进行检测，否则重新拍照；对来自同一个集装箱的不同图像评估得分进行加权归一化处理以得到整个集装箱的整体质量得分，从而可以将集装箱的整体质量得分和该集装箱的标识相关联的加入云端服务器的数据库中，以进行大数据管理。本实施例提供的集装箱检测方法能够有效对集装箱进行整体质量评估，可快速进行集装箱质量数据采集分析，并能自动化地与云端服务器的数据库对接，加快集装箱数字化管理效率。
实验结果表明，通过本实施例提供的集装箱检测方法，可以快速准确地对集装箱进行质量评估并编入数据库进行大数据管理，对单张图像的响应时间可以控制在50ms内，且可以实现多路并行处理，经过实际验证，对于拍摄效果良好的集装箱图像，质量打分误差可以控制在±0.1以内(真实分数±预测分数)。相比现有方法，本实施例提供的集装箱检测方法不但具有较高的鲁棒性，同时实现了快速响应及多路并行计算，极大加快了集装箱数字化管理效率。
具体地，本实施例提供的集装箱检测方法跳出了传统的人工质量评估方法，能够通过几张图像获取集装箱的整体质量情况，提出一种全新的基于深度神经网络模型获取集装箱的整体质量情况的方法，可以快速实现对集装箱的质量评估，极大地提高大规模集装箱运营效率，节约人力分析成本。
在一实施方式中，本实施例提供的集装箱检测方法可以但不限于应用于集装箱检测装置中,例如,还可以应用于云端服务器中。
在一实施方式中，本实施例提供的集装箱检测方法的中技术特征与本发明第一实施例和/或第二实施例提供的集装箱检测方法中的技术特征，可以进行任意组合，为使描述简洁，未对本实施例与第一实施例或第二实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本实施例记载的范围。
本发明第三实施例提供的集装箱检测方法，包括：S31:获取关于集装箱的图像信息。S32:通过图像质量评定模型对图像信息进行图像质量评定。S33:在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果，验箱结果包括质量评估结果和/或异常检测结果。S34:根据验箱结果获取集装箱信息，以根据集装箱信息进行响应，其中，集装箱信息包括集装箱质量评分信息和/或异常信息。因此，本发明第三实施例提供的集装箱检测方法能够在集装箱的验箱过程中，实现节省人力、提升检测效率、保障检测结果的有效性及准确率的目的，并且能够自动化地与云端服务器的数据库对接，加快集装箱数字化管理效率。
第四实施例：
图4是本发明第四实施例提供的集装箱检测装置的结构示意图。为了清楚的描述本发明第四实施例提供的集装箱检测装置1，请参见图4。
本发明第四实施例提供的集装箱检测装置1，包括：处理器A101及存储器A201，其中，处理器A101用于执行存储器A201中存储的计算机程序A6以实现如第一实施例、第二实施例或第三实施例所描述的集装箱检测方法的步骤。
在一实施方式中，本实施例提供的集装箱检测装置可以包括至少一个处理器A101，以及至少一个存储器A201。其中，至少一个处理器A101可以称为处理单元A1，至少一个存储器A201可以称为存储单元A2。具体地，存储单元A2存储有计算机程序A6，当该计算机程序A6被处理单元A1执行时，使得本实施例提供的集装箱检测装置实现如第一实施例、第二实施例或第三实施例所描述的集装箱检测方法的步骤，例如，图1所示的步骤S11:获取关于集装箱的图像信息；步骤S12:通过图像质量评定模型对图像信息进行图像质量评定；步骤S13:在图像信息的图像质量评定为合格时，通过集装箱质量评估模型对图像信息进行检测，以获取质量评估结果；步骤S14:根据质量评估结果获取集装箱质量评分信息，以根据集装箱质量评分信息进行响应。或例如，图2中所示的步骤S21:获取关于集装箱的图像信息；步骤S22:通过图像质量评定模型对图像信息进行图像质量评定；步骤S23:在图像信息的图像质量评定为合格时，通过集装箱异常检测模型对图像信息进行检测，以获取异常检测结果；步骤S24:在根据异常检测结果获取到异常信息时，根据异常信息进行响应。或例如，图3所示的步骤S31:获取关于集装箱的图像信息；步骤S32:通过图像质量评定模型对图像信息进行图像质量评定；步骤S33:在图像信息的图像质量评定为合格时，根据图像信息进行验箱操作，以获取验箱结果，验箱结果包括质量评估结果和/或异常检测结果；步骤S34:根据验箱结果获取集装箱信息，以根据集装箱信息进行响应，其中，集装箱信息包括集装箱质量评分信息和/或异常信息。
在一实施方式中，本实施例中的提供的集装箱检测装置可以包括多个存储器A201(简称为存储单元A2)，存储单元A2可以包括例如随机存取存储器(RAM)和/或高速缓存存储器和/或只读存储器(ROM)等等。
在一实施方式中，存储器A201可以但不限于用于存储图像质量评定模型和/或集装箱异常检测模型等等。
在一实施方式中，集装箱检测装置还包括连接不同组件(例如处理器A101和存储器A201、显示单元A3、拍摄单元A7等等)的总线。
在其他实施方式中，拍摄单元A7可以但不限于是集装箱检测装置外接的。
在一实施方式中，本实施例中的集装箱检测装置还可以包括通信接口(例如I/O接口A4)，该通信接口可以用于与外部设备进行通信。
在一实施方式中，本实施例提供的集装箱检测装置还可以包括通信单元A5。
在一实施方式中，通信单元A5可以但不限于用于将获取到的异常信息发送至云端服务器的数据库中。
本发明第四实施例提供的集装箱检测装置，包括存储器A101和处理器A201，且处理器A101用于执行存储器A201中存储的计算机程序A6以实现如第一实施例、第二实施例或第三实施例所描述的集装箱检测方法的步骤，因此，本实施例提供的集装箱检测装置能够在进行集装箱的质量评估时，实现节省人力、提升检测效率、统一集装箱的质量评估标准、保障质量评估结果的有效性及准确率的目的。
本发明第四实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序A6，该计算机程序A6被处理器A101执行时实现如第一实施例、第二实施例或第三实施例中的集装箱检测方法的步骤，例如图1所示的步骤是S11至步骤S14。或例如图2所示的步骤S21至步骤S24。或例如图3所示的步骤S31至步骤S34。
在一实施方式中，本实施例提供能的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM、RAM、磁盘、光盘、闪存等。
本发明第四实施例提供的计算机可读存储介质中存储的计算机程序A6被处理器A101执行时能够在进行集装箱的质量评估时，实现节省人力、提升检测效率、统一集装箱的质量评估标准、保障质量评估结果的有效性及准确率的目的。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种集装箱检测方法，其特征在于，所述集装箱检测方法包括：
获取关于集装箱的图像信息；
通过图像质量评定模型对所述图像信息进行图像质量评定；
在所述图像信息的图像质量评定为合格时，通过集装箱质量评估模型对所述图像信息进行检测，以获取质量评估结果；
根据所述质量评估结果获取集装箱质量评分信息，以根据所述集装箱质量评分信息进行响应。
2.如权利要求1所述的集装箱检测方法，其特征在于，所述通过图像质量评定模型对所述图像信息进行图像质量评定的步骤之前，包括：
使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储所述图像质量评定模型；和/或
在所述图像信息的图像质量评定为合格时，通过集装箱质量评估模型对所述图像信息进行检测，以获取质量评估结果的步骤之前，包括：
使用集装箱质量评估学习样本集对第二深度神经网络进行模型训练，以获取并存储所述集装箱质量评估模型。
3.如权利要求2所述的集装箱检测方法，其特征在于，
所述第一深度神经网络包括VGGNet、ResNet、darknet、SEnet及mobilenet中的一个；和/或
所述第二深度神经网络包括ResNet、VGGNet、inception、QENet以及mobilenet中的一个。
4.如权利要求2或3所述的集装箱检测方法，其特征在于，所述使用图像质量评定样本集对第一深度神经网络进行模型训练，以获取并存储所述图像质量评定模型的步骤中，包括：
将所述图像质量评定样本集转化为ImageNet标准数据集格式；
使用格式转化后的图像质量评定样本集对所述第一深度神经网络进行模型训练。
5.如权利要求1所述的集装箱检测方法，其特征在于，所述通过图像质量评定模型对所述图像信息进行图像质量评定的步骤中，包括：
通过所述图像质量评定模型对所述图像信息进行图像质量评定，以获取所述图像信息的图像质量得分；
所述在所述图像信息的图像质量评定为合格时，通过集装箱质量评估模型对所述图像信息进行检测，以获取质量评估结果的步骤中，包括：
在所述图像信息的图像质量得分达到阈值时，通过所述集装箱质量评估模型对所述图像信息进行检测，以获取所述质量评估结果。
6.如权利要求1所述的集装箱检测方法，其特征在于，所述集装箱检测方法还包括：
在所述图像信息的图像质量评定为不合格时，输出重拍命令，以使得拍摄单元重新获取关于所述集装箱的图像信息。
7.如权利要求1所述的集装箱检测方法，其特征在于，所述根据所述质量评估结果获取集装箱质量评分信息，以根据所述集装箱质量评分信息进行响应的步骤中，包括：
根据对应所述集装箱的所有的质量评估结果获取集装箱质量评分信息；
将所述集装箱质量评分信息加入云端服务器的数据库中，进行大数据管理，所述集装箱质量评分信息中包括整体质量得分和/或集装箱标识。
8.如权利要求7所述的集装箱检测方法，其特征在于，所述根据对应所述集装箱的所有的质量评估结果获取集装箱质量评分信息的步骤中，包括：
获取对应所述集装箱的所有的质量评估结果；
根据所有的质量评估结果进行加权归一化处理，以获取所述集装箱评分信息。
9.一种集装箱检测装置，其特征在于，包括存储器和处理器；
所述处理器用于执行所述存储器中存储的计算机程序以实现如权利要求1-8中任一项所述的集装箱检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的集装箱检测方法的步骤。
CN202010060535.3A 2020-01-19 2020-01-19 集装箱检测方法、装置及计算机可读存储介质 Pending CN111311546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060535.3A CN111311546A (zh) 2020-01-19 2020-01-19 集装箱检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060535.3A CN111311546A (zh) 2020-01-19 2020-01-19 集装箱检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111311546A true CN111311546A (zh) 2020-06-19

Family

ID=71148351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060535.3A Pending CN111311546A (zh) 2020-01-19 2020-01-19 集装箱检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111311546A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581001A (zh) * 2020-12-24 2021-03-30 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质
CN113066549A (zh) * 2021-04-06 2021-07-02 青岛瑞斯凯尔生物科技有限公司 基于人工智能的医疗器械的临床有效性评估方法及系统
CN115965604A (zh) * 2022-12-30 2023-04-14 平湖市凯鑫塑业股份有限公司 一种基于箱包配件的箱包安全监控方法及系统
CN117649226A (zh) * 2024-01-29 2024-03-05 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及系统
CN112581001B (zh) * 2020-12-24 2024-06-07 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799669A (zh) * 2012-07-17 2012-11-28 杭州淘淘搜科技有限公司 一种商品图像视觉质量的自动分级方法
JP2018018354A (ja) * 2016-07-28 2018-02-01 高砂香料工業株式会社 ディープラーニングを用いた飲食品の品質予測方法及び飲食品
CN207263653U (zh) * 2017-10-11 2018-04-20 杭州海康机器人技术有限公司 集装箱表面检测系统及集装箱车检查站
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN109035225A (zh) * 2018-07-12 2018-12-18 中国计量大学 一种汽车刹车片外观质量检验照明系统设计质量评价方法
CN109104571A (zh) * 2018-09-04 2018-12-28 深圳市平方科技股份有限公司 一种集装箱表面图像采集方法
CN109190922A (zh) * 2018-08-10 2019-01-11 中车青岛四方机车车辆股份有限公司 一种车辆质量评估方法及装置
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799669A (zh) * 2012-07-17 2012-11-28 杭州淘淘搜科技有限公司 一种商品图像视觉质量的自动分级方法
JP2018018354A (ja) * 2016-07-28 2018-02-01 高砂香料工業株式会社 ディープラーニングを用いた飲食品の品質予測方法及び飲食品
CN207263653U (zh) * 2017-10-11 2018-04-20 杭州海康机器人技术有限公司 集装箱表面检测系统及集装箱车检查站
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN109035225A (zh) * 2018-07-12 2018-12-18 中国计量大学 一种汽车刹车片外观质量检验照明系统设计质量评价方法
CN109190922A (zh) * 2018-08-10 2019-01-11 中车青岛四方机车车辆股份有限公司 一种车辆质量评估方法及装置
CN109104571A (zh) * 2018-09-04 2018-12-28 深圳市平方科技股份有限公司 一种集装箱表面图像采集方法
CN109833025A (zh) * 2019-03-29 2019-06-04 广州视源电子科技股份有限公司 一种视网膜的异常检测方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581001A (zh) * 2020-12-24 2021-03-30 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质
CN112581001B (zh) * 2020-12-24 2024-06-07 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质
CN113066549A (zh) * 2021-04-06 2021-07-02 青岛瑞斯凯尔生物科技有限公司 基于人工智能的医疗器械的临床有效性评估方法及系统
CN115965604A (zh) * 2022-12-30 2023-04-14 平湖市凯鑫塑业股份有限公司 一种基于箱包配件的箱包安全监控方法及系统
CN117649226A (zh) * 2024-01-29 2024-03-05 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及系统
CN117649226B (zh) * 2024-01-29 2024-04-16 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及系统

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111311546A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN111311545A (zh) 集装箱检测方法、装置及计算机可读存储介质
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN112070134A (zh) 电力设备图像分类方法、装置、电力设备及存储介质
CN111127452A (zh) 一种基于云端处理的集装箱智能ocr识别方法
CN111861966B (zh) 模型训练方法、装置及缺陷检测方法、装置
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
CN114037907A (zh) 输电线路的检测方法、装置、计算机设备、存储介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN111275682A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN116681677A (zh) 一种锂电池缺陷检测方法、装置及系统
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN112668365A (zh) 一种物料入库识别方法、装置、设备及存储介质
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN115937195A (zh) 表面缺陷检测方法、装置和计算机设备
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN114266737A (zh) 缺陷检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination