CN111798446A - 集装箱图像筛选方法、计算设备及存储介质 - Google Patents

集装箱图像筛选方法、计算设备及存储介质 Download PDF

Info

Publication number
CN111798446A
CN111798446A CN202010690733.8A CN202010690733A CN111798446A CN 111798446 A CN111798446 A CN 111798446A CN 202010690733 A CN202010690733 A CN 202010690733A CN 111798446 A CN111798446 A CN 111798446A
Authority
CN
China
Prior art keywords
container
image
original
component
shooting direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010690733.8A
Other languages
English (en)
Other versions
CN111798446B (zh
Inventor
池浩塬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiaodong Network Technology Co ltd
Original Assignee
Shanghai Qiaodong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiaodong Network Technology Co ltd filed Critical Shanghai Qiaodong Network Technology Co ltd
Priority to CN202010690733.8A priority Critical patent/CN111798446B/zh
Publication of CN111798446A publication Critical patent/CN111798446A/zh
Application granted granted Critical
Publication of CN111798446B publication Critical patent/CN111798446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种集装箱图像筛选方法、计算设备及存储介质，涉及自动化技术领域，为解决集装箱图像采集不规范的问题而发明。通过智能化手段对非固定场景下采集的集装箱原图进行拍摄方向检测，防止出现同一方向图像被多次传入以及箱体被过度遮挡情况；通过图像分割技术获得集装箱部件的切割图像，并进行图像部件的查缺检测，防止集装箱原图中出现部件缺失或者拍摄不全的情况，可以避免图像采集过程中的误拍、错拍等不当操作，为后续的验箱环节提供标准化的箱体素材。整个流程完全自动化实现，无需人工干预，提高图像筛选效率并能够保证图像质量的规范性。

Description

集装箱图像筛选方法、计算设备及存储介质
技术领域
本发明涉及自动化技术领域，尤其涉及一种集装箱图像筛选方法、计算设备及存储介质。
背景技术
随着国际贸易的日益频繁，物流运输业也在磅礴发展中。作为货物运输的重要单元，集装箱是实现货物灵活运输的常用工具。在海、路货物运输高度发达的今天，集装箱的使用已经司空见惯，集装箱的检验工作也十分普遍。集装箱检验的目的主要在于确保集装箱的安全使用，防止货损的发生。传统的验箱过程是在码头堆场由验箱员逐个进行箱体检查，生成验箱报告。随着科学技术的发展，现阶段的验箱过程越来越趋向高效和智能，自动化的验箱方式应运而生。目前，许多先进的集装箱检验技术都着力解决验箱的第一个环节——集装箱表面信息的获取，试图用电子设备代替人工来获取集装箱表面图像。
现有技术中，采集集装箱图像的工作是在检测通道中完成。检测通道内的固定机位上安装有摄像头和控制盒，摄像头包括前摄像头、后摄像头、左摄像头、右摄像头以及顶部摄像头。通过控制盒内的控制器控制各个摄像头进行图像采集。之后对采集的图片数据进行传输、存储、人工视验等一系列处理。
现有的集装箱图像采集方法需要将集装箱运输到指定的验箱通道中，通过固定机位的摄像头采集图像信息，验箱场所必须固定，无法打破地域屏障，降低了验箱工作在空间和时间上的灵活性，影响了智能化时代下物流流转效率。
本专利提供一种基于非固定场景验箱的图像筛选方案，非固定场景验箱是指由人工手持移动式采集设备进行图像采集，无需设立固定的验箱场所和检测通道，不对检测场景和箱体堆放姿态做严格要求。但是非固定场景下，集装箱图像由人工手动采集，缺乏一套严格定义的图像采集规范，所采集图像在拍摄角度、拍摄内容等方面存在差异性和不确定性，会对后续的验箱环节产生准确性方面的影响。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的集装箱图像筛选方法、计算设备及存储介质。
第一方面，本发明提供了一种集装箱图像筛选方法，该方法包括：
接收采集设备发送的集装箱原图，集装箱原图包括至少一个拍摄方向的图片；
识别集装箱原图的拍摄方向，并判断拍摄方向与集装箱原图的方向通道标签是否对应；
若判断结果为是，则对集装箱原图进行图像分割，获得集装箱的部件子图，并判断部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
第二方面，本发明提供了一种计算设备，包括：接收单元、处理器、存储器、通信接口、通信总线和输出单元，接收单元、处理器、存储器、通信接口和输出单元通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令用于控制计算设备执行以下操作：
接收采集设备发送的集装箱原图，集装箱原图包括至少一个拍摄方向的图片；
识别集装箱原图的拍摄方向，并判断拍摄方向与集装箱原图的方向通道标签是否对应；
若判断结果为是，则对集装箱原图进行图像分割，获得集装箱的部件子图，并判断部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
第三方面，本发明提供了一种计算机存储介质，该计算机存储介质中存储有至少一可执行指令，该可执行指令使移动式采集设备执行以下操作：
接收采集设备发送的集装箱原图，集装箱原图包括至少一个拍摄方向的图片；
识别集装箱原图的拍摄方向，并判断拍摄方向与集装箱原图的方向通道标签是否对应；
若判断结果为是，则对集装箱原图进行图像分割，获得集装箱的部件子图，并判断部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
本发明提供的集装箱图像筛选方法、计算设备及存储介质，通过智能化手段对非固定场景下采集的集装箱原图进行拍摄方向检测，防止同一方向图像被多次传入以及箱体被过度遮挡情况的出现；通过图像分割技术获得集装箱部件的切割图像，并进行图像部件的查缺检测，防止集装箱原图中出现部件缺失或者拍摄不全的情况，可以避免图像采集过程中的误拍、错拍等不当操作，为后续的验箱环节提供标准化的箱体素材。整个流程完全自动化实现，无需人工干预，提高图像筛选效率并能够保证图像质量的规范性。在提高验箱准确性的同时，还可以为验箱环节的数据分析提供数据保障，实现图像信息的深度利用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种集装箱图像筛选方法的流程图；
图2示出了本发明实施例提供的另一种集装箱图像筛选方法的流程图；
图3示出了本发明实施例提供的一种神经网络模型结构示意图；
图4示出了本发明实施例提供的一种模型预测过程的示意图；
图5示出了本发明实施例提供的另一种拍摄方向信息示意图；
图6示出了本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
本发明实施例提供一种集装箱图像筛选方法，该方法主要应用于非固定场景中。在非固定场景下，采集者使用手持式图像采集枪、相机、摄像机、具有拍照功能的手机或平板电脑对集装箱进行图像采集。采集设备通过GSM、3G、4G、5G等移动数据网络、无线热点网络将图像回传给计算设备，或者通过红外传输、蓝牙传输、近场通信技术(NFC)与计算设备近距离传输图像，或者还可以将图像存储于采集设备本地，并通过有线传输方式连接并发送给计算设备。由计算设备执行如图1所示的集装箱图像筛选方法：
S101、接收采集设备发送的集装箱原图，集装箱原图包括至少一个拍摄方向的图片。
如前所述，集装箱原图由采集者手持采集设备完成采集，需要从不同角度对集装箱进行拍摄。本实施例中，当对集装箱内外进行全面验箱检测时，要求采集者采集八个方向的集装箱原图，分别是：
A1、集装箱外部左后侧方向箱体图像；
A2、集装箱外部右后侧方向箱体图像；
A3、集装箱外部左前侧方向箱体图像；
A4、集装箱外部右前侧方向箱体图像；
A5、集装箱外部正面箱门闭合图像；
A6、集装箱外部正面箱门对开图像；
A7、集装箱内部由外向内的图像；
A8、集装箱内部由内向外的图像。
其中，A1至A5为集装箱外部图像，用于对集装箱表面进行检查，A6至A8为集装箱内部图像，用于对集装箱内部进行检查。
实际应用中，可以依据检测需求确定集装箱原图的种类和数量，例如当进行箱号信息采集时，可以仅拍摄集装箱外部正面箱门对开图像。本实施例不对计算设备在步骤S101中接收的集装箱原图的种类和数量进行限制。
S102、识别集装箱原图的拍摄方向，并判断拍摄方向与集装箱原图的方向通道标签是否对应。
本步骤中，计算设备判断所传入图像是否为特定方向的集装箱图像，一方面用于对图像的拍摄方向进行校验，保证图像内容的规范性，另一方面用于防止出现同一方向图像被多次传入以及箱体被过度遮挡情况。
采集设备可以按照规定的拍摄顺序对不同方向的图像进行采集，并依次获得当前采集图像的拍摄方向信息。或者采集设备也可在采集者的控制下自定义拍摄顺序并在完成拍摄后由采集者人工标记不同图像的拍摄方向信息。图像的拍摄方向信息作为集装箱原图的属性信息与原图绑定发送给计算设备，计算设备在解析图像数据时获得该方向信息，作为方向通道标签使用。
在另一种实现方式中，采集设备按照规定的拍摄顺序对不同方向的图像进行采集，并在每拍摄完一张图像之后，通过与该图像方向类型对应的数据通道将图像发送给计算设备，计算设备根据接收图像的通道类型确定图像的方向通道标签。在本实施例中，当需要拍摄八个方向的图像时，采用八个通道进行数据传输。
需要说明的是，本实施例中所述通道并非是指具体的通信信道，亦非计算机的进程或线程，而是一种由人为预先规定并遵守使用的数据规范/协议，例如可以通过不同的数据队列对不同类型图像进行传输。
获得集装箱原图后，计算设备通过深度神经网络对图像进行分析，获得图像的拍摄方向信息，然后与图像的方向通道标签进行比对，当两者比对一致时，表明其图像内容在拍摄方向维度上符合要求，进入步骤S103；当两者比对不一致时，向采集设备发送重新采集指令。
在一种实现方式中，当接收到前述八种方向的集装箱原图时，计算设备分别对八张图像进行本步骤的比对操作，对其中不符合拍摄方向要求的图像，要求采集设备重新拍摄，待八张图像全部通过方向比对后，执行步骤S103。
S103、若判断结果为是，则对集装箱原图进行图像分割，获得集装箱的部件子图，并判断部件子图的数量及类型是否符合预设要求。
本步骤中，对集装箱原图按部件进行分割比较的目的在于，防止集装箱原图中存在部件缺失或者拍摄不全的情况，可以避免图像采集过程中的误拍、错拍等不当操作。不同拍摄方向的集装箱原图中，应当包含的部件数量及种类如下所示：
B1、集装箱外部左后侧方向箱体图像的图像内容由左到右包括：前侧角柱、侧板、顶梁与底梁、后侧角柱、左侧箱门与右侧箱门、门槛与门楣。
B2、集装箱外部右后侧方向箱体图像的图像内容由右到左包括：前侧角柱、侧板、顶梁与底梁、后侧角柱、左侧箱门与右侧箱门、门槛与门楣。
B3、集装箱外部左前侧方向箱体图像的图像内容由右到左包括：前侧角柱、前壁、前楣、前槛、前侧角柱、侧板、顶梁与底梁。
B4、集装箱外部右前侧方向箱体图像的图像内容由左到右包括：前侧角柱、前壁、前楣、前槛、前侧角柱、侧板、顶梁与底梁。
B5、集装箱外部正面箱门闭合图像的图像内容包括：左侧箱门、右侧箱门、左后侧角柱、右后侧角柱、门槛与门楣、左右8个铰链、4根锁杆、上下8个锁杆支架及4个锁杆夹、左右4个门把手及门把手托架、上下8个锁头、集装箱综合资料牌。
B6、集装箱外部正面箱门对开图像的图像内容包括：左侧箱门、右侧箱门、门槛与门楣、左侧板、右侧板、上侧板、地板。
B7、集装箱内部由外向内的图像的图像内容包括：左侧板、右侧板、上侧板、地板、前壁。
B8、集装箱内部由内向外的图像的图像内容包括：左侧板、右侧板、上侧板、地板、左侧箱门、右侧箱门。
本步骤中，通过深度神经网络对集装箱原图进行图像分析，并分割出原图中各个集装箱部件的部件子图，然后将该部件子图的数量和类型，与集装箱原图所要求的部件的数量和类型进行比对，如若缺少部件子图，说明采集者在拍摄图像时没有拍到该部件，计算设备向采集设备发送重新采集指令；若未缺少部件子图，则执行步骤S104。
在一种实现方式中，当接收到前述八种方向的集装箱原图时，计算设备分别对八张图像进行图像分割和部件子图的比较，对缺少部件子图的图像要求采集设备重新拍摄，待八张图像全部通过部件比对后，执行步骤S104。
S104、若判断结果为是，则输出筛选完毕通知。
在通过前述步骤S102、S103的检测后，表示集装箱图像符合验箱图像标准，输出筛选完毕通知，并将集装箱图像进行存储以便后续验箱环节使用。该筛选完毕通知可由计算设备发送给采集设备并通过采集设备进行输出，或者也可以在计算设备的监控界面中予以输出。
本发明提供的集装箱图像筛选方法，通过智能化手段对非固定场景下采集的集装箱原图进行拍摄方向检测，防止出现同一方向图像被多次传入以及箱体被过度遮挡情况；通过图像分割技术获得集装箱部件的切割图像，并进行图像部件的查缺检测，防止集装箱原图中出现部件缺失或者拍摄不全的情况，可以避免图像采集过程中的误拍、错拍等不当操作，为后续的验箱环节提供标准化的箱体素材。整个流程完全自动化实现，无需人工干预，提高图像筛选效率并能够保证图像质量的规范性。在提高验箱准确性的同时，还可以为验箱环节的数据分析提供数据保障，实现图像信息的深度利用。
实施例二
进一步，作为对前述实施例方案的改进，本发明还提供了另一种集装箱图像筛选方法，本实施例以采集集装箱八个方向的图像为例进行说明。如图2所示，该方法包括：
S201、接收采集设备发送的集装箱原图。
计算设备分别通过八个数据通道接收采集设备发送的八个拍摄方向的集装箱原图，基于通道信息获得各个集装箱原图的方向通道标签，即前述实施例一中A1至A8所示方向。
S202、对集装箱原图进行图像预处理。
本实施例中，需要对图像进行缩放处理，将图像尺寸统一为计算设备规定的尺寸。在一种实施方式中，可以采用最近邻插值算法进行图像缩放，即目标图像的任意一点的x,y坐标的像素值取源图像最接近x,y坐标的X，Y坐标的像素值，以达到扩大或缩小图像尺寸的目的。
最近邻插值算法是一种最基本、最简单的图像缩放算法，效果也是最不好的，放大后的图像有较严重的马赛克，缩小后的图像有较严重的失真。效果不好的原因在于其简单的最临近插值方法引入了严重的图像失真，比如，当由目标图像的坐标反推得到的源图像的坐标是一个浮点数的时候，采用了四舍五入的方法，直接采用了和这个浮点数最接近的象素的值，这种方法存在一定误差，例如当推得坐标值为0.75的时候，其取值为1。
作为一种优化，可以采用双线型内插值算法进行图像缩放，其充分利用了源图像中虚拟点四周的四个真实存在的像素值来共同决定目标图像中的一个像素值，因此缩放效果比最邻近插值更优。
双线型内插值算法的具体原理是：假设源图像大小为mxn，目标图像为axb。那么两幅图像的边长比分别为：m/a和n/b，通常这个比例是浮点型数据。目标图像的第(i,j)个像素点可以通过边长比对应回源图像。其对应坐标为(i*m/a,j*n/b)。由于m/a和n/b大多是浮点型数据，因此(i*m/a,j*n/b)一般来说也不会是整数，而非整数的坐标是无法在图像这种离散数据上使用的。双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值(灰度值或者RGB值)。例如，对于坐标(2.5,4.5)，其最近的四个像素是(2，4)、(2，5)、(3，4)，(3，5)。若图像为灰度图像，那么(i，j)点的灰度值可以通过一下公式计算：
f(i,j)＝w1*p1+w2*p2+w3*p3+w4*p4；
其中，pi(i＝1,2,3,4)为最近的四个像素点，wi(i＝1,2,3,4)为各点相应权值。
在完成图像缩放处理后，还需要进一步对图像的色彩分量通道进行归一化处理。归一化的目的主要在于消除图像中光照和阴影对像素色彩分量的影响。本实施例中可以采用归一化RGB算法实现。其公式为：
r＝R/(R+G+B)；
g＝B/(R+G+B)；
b＝1-r-g；
举例而言，假设T1时刻的像素A的像素值为RGB(30,60,90)，T2时刻上，受到光照或阴影影响，像素A的像素值为RGB(60,120,180)。经由上述公式运算可得：
T1时刻的像素A的像素值为rgb(1/6,1/3,2/3)
T2时刻的像素A的像素值为rgb(1/6,1/3,2/3)
可见，通过归一化处理后，T1和T2时刻的RGB的值保持一致，即消除了像素A在T2时刻上的光照或阴影影响。
以上以RGB色彩空间为例进行说明，实际应用中，当采用其他色彩空间时，可以依照上述公式进行改用，或将其他色彩空间转换为RGB色彩空间后再使用上述公式。本实施例中所述的其他色彩空间包括但不限于：HSV、HSI、CMYK、HSL、HSB、XYZ、Lab、YUV。
步骤S201中涉及的图像缩放算法及色彩分量通道归一化算法仅为示例性说明，实际应用中可采用的算法不限于此。
S203、基于级联的神经网络模型对集装箱原图进行图像识别，获得方向分类结果。
对于经过预处理后的集装箱原图，通过级联的神经网络模型对图像内容进行识别，获得其方向分类结果。方向分类结果有八个类别，即前述A1至A8所述的八个方向。在模型训练阶段，使用带有方向标签的图像数据作为训练样本，训练样本的方向标签可由人工标注获得。
S204、判断拍摄方向与集装箱原图的方向通道标签是否对应。
对于每一张集装箱原图，将模型获得的方向分类结果与步骤S201中获得的方向通道标签进行比对，如果比对结果一致，则通过方向检测，进入后续步骤S205，否则通知采集设备重新采集图像。
S205、基于级联的神经网络模型对集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜。
本发明提供的方案主要应用于非固定场景中，采集者可以在任何地点对集装箱进行图像采集。本步骤的意义一方面在于，从图像中剔除背景元素，分离出集装箱图像，以供后续进行部件分割。另一方面，在多集装箱场景下(例如码头堆砌场景中)，对不同集装箱进行分割，提取出独立的箱体图像。
本实施例中，可以采用与步骤S204相同的神经网络模型获得边界框及边缘掩膜信息，其中，边界框为集装箱体最小外接矩形的左上坐标和右下坐标，边缘掩膜(binarymask)为集装箱体的边界分割结果。
在本实施例的一种实现方式中，步骤S204和步骤S205可以合并为一个步骤执行，即构建一个神经网络模型，通过一次预测过程获得集装箱原图的拍摄方向、边界框及边缘掩膜信息。如图3所示，级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的集装箱原图；
特征提取网络，用于提取集装箱原图的图像特征；
区域提议网络RPN，用于基于图像特征计算集装箱原图中的感兴趣区域RoI；
感兴趣区域对齐网络，用于对感兴趣区域的区域大小进行归一化处理；
输出层，用于输出集装箱的拍摄方向、边界框及边缘掩膜信息。
其中，输出的拍摄方向信息即为前述方向分类结果，模型预测过程如图4所示。
S206、基于级联的神经网络模型对集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
在获得集装箱体的分割图像后，进一步执行本步骤，对集装箱图像中的各个部件进行分割，获得独立的部件子图。不同拍摄方向图像中应当包含的部件如前述实施例中B1至B8所示。
本实施例中，将对应一个集装箱的八个方向的集装箱原图称为一组图像，分别对一组图像中的每个图像进行部件子图的提取，然后执行下述步骤S207。
本步骤中，可以采用图3所示的神经网络模型获得部件子图，即将步骤S205获得的集装箱体分割图像作为输入进行模型预测，获得各个集装箱部件的边界框及边缘掩膜信息。
S207、判断部件子图的数量及类型是否符合预设要求。
所述预设要求用于对集装箱部件的数量和种类进行限定，实际应用中，可以根据不同的检测需求确定预设要求中集装箱部件的数量和种类，当需要对集装箱进行全面探伤检测时，该预设要求所确定的集装箱部件包含前述B1至B8中所示的所有部件。
本步骤中，当判断部件子图有所缺失时，通知采集设备重新进行图像采集，当判断部件子图不缺失时，执行下述步骤S208进行同箱检测。
S208、从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图。
同箱检测的目的在于，判断多个集装箱原图是否是针对同一个集装箱采集获得的。其手段是对不同集装箱原图中的同一个集装箱部件进行形态学匹配，如果两者在算法层面上被认为形态一致，则认为多个集装箱原图是同一个集装箱的图像。
本实施例中，可以对以下至少一者部件子图进行选择，实际应用中当需要对集装箱进行全面探伤检测时，可以对下述九类部件子图全部进行选择：
C1、集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
C2、集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
C3、集装箱外部左后侧方和集装箱外部正面的箱门；
C4、集装箱外部右后侧方和集装箱外部正面的箱门；
C5、集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
C6、集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
C7、集装箱内部由前而后和集装箱内部由后而前的内部侧板；
C8、集装箱内部由前而后和集装箱内部由后而前的内部顶板；
C9、集装箱内部由前而后和集装箱内部由后而前的地板。
S209、根据预设的匹配算法计算部件子图之间是否匹配。
对于上述步骤中获得的同一部件的两个部件子图，分别提取部件子图的图像特征，图像特征包括以下至少一项：角点特征、纹理特征、形态特征。然后将两个部件子图的图像特征进行叠加匹配，获得叠加图像中图像特征的最小外接矩形，若最小外接矩形为凸多边形，则通过同箱检测，否则通知采集设备重新进行图像采集。
本实施例中，可以通过基于FLANN的匹配器(FLANN based Matcher)进行上述匹配。FLANN意为快速最近邻逼近搜索函数库(Fast Approximate Nearest Neighbor SearchLibrary)，能够实现图像的快速高效匹配。特征匹配记录下目标图像与待匹配图像的特征点(KeyPoint)，并根据特征点集合构造特征量(descriptor)，对这个特征量进行比较、筛选，最终得到一个匹配点的映射集合，然后根据这个集合的大小对图像匹配程度进行初步判断，并进一步基于集合中特征点的图像位置进行外接矩形判断。
实际应用中，还可以使用暴力匹配器(Brute-Force)等SIFT匹配机制进行部件子图匹配，本实施例对可采用的算法种类不做限制。
在一种实现方式中，考虑到图像质量对匹配算法的误差影响，可以对匹配结果进行冗余设定，例如当基于多个集装箱部件进行同箱检测时，可以设定允许20％的匹配误差率。例如，匹配的集装箱部件为5个时，当存在不超过1个的部件匹配失败时，可以认为通过同箱检测。
S210、输出筛选完毕通知。
在基于前述步骤依次通过拍摄方向检测、图像分割检测及同箱检测后，执行本步骤，输出筛选完毕通知，该通知表示：采集设备采集的图像符合预设规范要求，并且计算设备完成了集装箱部件的图像识别和拆解，计算设备将拆解后的部件图像予以存储，以便后续验箱环节使用。
若图像筛选失败，则向采集设备发送重新采集指令，筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。当前述方向识别、图像分割或同箱检测中任一或多个环节没有通过检测时，计算设备在对应的检测环节中通知采集设备重新进行图像采集。实际应用中，计算设备可以通知采集设备对八种集装箱图像全部进行重新采集，也可以仅针对没有通过检测的图像通知重新采集。
进一步的，为便于采集者知悉图像缺陷所在并作出正确调整，随重新采集指令一并发送的，还可以包括重拍指示信息，该信息包括：拍摄方向信息、应包含部件信息、同箱提示信息。其中，拍摄方向信息用于提示正确的拍摄方向，八种图像的拍摄方向信息可以如图5所示；应包含部件信息用于提示图像中应包含的部件数量和种类，实际应用中，应包含部件信息可以包含图像中所有应包含部件的部件信息，也可以仅包含图像中缺失部件的部件信息，当实现方式为前者时，所述应包含部件信息如前述B1至B8所示；同箱提示信息用于提示拍摄的多张图像不属于同一集装箱图像，还可进一步提示八种类型的集装箱原图中，哪两张图像不符合同箱要求。
实施例三
如图6所示，本发明还提供了一种计算设备，包括：接收单元、处理器、存储器、通信接口、通信总线和输出单元，所述接收单元、所述处理器、所述存储器、所述通信接口和所述输出单元通过所述通信总线完成相互间的通信。
处理器可以是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。采集设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于使得计算设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
进一步的，所述计算设备用于：
当所述集装箱原图包括两个以上的拍摄方向的图片时，在判断所述部件子图的数量及类型是否符合预设要求之后，若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
进一步的，所述计算设备用于：基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
进一步的，所述计算设备用于：基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
进一步的，所述级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的所述集装箱原图；
特征提取网络，用于提取所述集装箱原图的图像特征；
区域提议网络，用于基于所述图像特征计算所述集装箱原图中的感兴趣区域；
感兴趣区域对齐网络，用于对所述感兴趣区域的区域大小进行归一化处理；
输出层，用于输出所述集装箱的拍摄方向、边界框及边缘掩膜信息。
进一步的，所述计算设备用于：从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
进一步的，所述计算设备用于执行下述至少一者选择：
集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
集装箱外部左后侧方和集装箱外部正面的箱门；
集装箱外部右后侧方和集装箱外部正面的箱门；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
集装箱内部由前而后和集装箱内部由后而前的内部侧板；
集装箱内部由前而后和集装箱内部由后而前的内部顶板；
集装箱内部由前而后和集装箱内部由后而前的地板。
进一步的，所述计算设备用于：提取所述部件子图的图像特征，所述图像特征包括角点特征、纹理特征、形态特征；
计算获得所述部件子图中图像特征的最小外接矩形；
若所述最小外接矩形为凸多边形，则通过同箱检测。
进一步的，所述计算设备用于：在识别所述集装箱原图的拍摄方向之前，对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
进一步的，所述计算设备用于：若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
进一步的，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
实施例四
本发明还提供了一种非易失性计算机存储介质，该计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的方法。
可执行指令具体可以用于使得采集设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
进一步的，当所述集装箱原图包括两个以上的拍摄方向的图片时，在所述判断所述部件子图的数量及类型是否符合预设要求之后，若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
进一步的，所述识别所述集装箱原图的拍摄方向，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
进一步的，所述对所述集装箱原图进行图像分割，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
进一步的，所述级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的所述集装箱原图；
特征提取网络，用于提取所述集装箱原图的图像特征；
区域提议网络，用于基于所述图像特征计算所述集装箱原图中的感兴趣区域；
感兴趣区域对齐网络，用于对所述感兴趣区域的区域大小进行归一化处理；
输出层，用于输出所述集装箱的拍摄方向、边界框及边缘掩膜信息。
进一步的，所述基于所述部件子图，对所述集装箱原图进行同箱检测，包括：
从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
进一步的，所述从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图，包括执行下述至少一者选择：
集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
集装箱外部左后侧方和集装箱外部正面的箱门；
集装箱外部右后侧方和集装箱外部正面的箱门；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
集装箱内部由前而后和集装箱内部由后而前的内部侧板；
集装箱内部由前而后和集装箱内部由后而前的内部顶板；
集装箱内部由前而后和集装箱内部由后而前的地板。
进一步的，所述根据预设的匹配算法计算所述部件子图之间是否匹配，包括：
提取所述部件子图的图像特征，所述图像特征包括角点特征、纹理特征、形态特征；
计算获得所述部件子图中图像特征的最小外接矩形；
若所述最小外接矩形为凸多边形，则通过同箱检测。
进一步的，在所述识别所述集装箱原图的拍摄方向之前，对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
进一步的，若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
进一步的，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
本发明还公开了以下内容：
1、一种集装箱图像筛选方法，所述方法包括：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
2、根据1所述的方法，当所述集装箱原图包括两个以上的拍摄方向的图片时，在所述判断所述部件子图的数量及类型是否符合预设要求之后，所述方法进一步包括：
若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
所述输出筛选完毕通知，包括：
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
3、根据1所述的方法，所述识别所述集装箱原图的拍摄方向，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
4、根据1所述的方法，所述对所述集装箱原图进行图像分割，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
5、根据3或4所述的方法，所述级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的所述集装箱原图；
特征提取网络，用于提取所述集装箱原图的图像特征；
区域提议网络，用于基于所述图像特征计算所述集装箱原图中的感兴趣区域；
感兴趣区域对齐网络，用于对所述感兴趣区域的区域大小进行归一化处理；
输出层，用于输出所述集装箱的拍摄方向、边界框及边缘掩膜信息。
6、根据2所述的方法，所述基于所述部件子图，对所述集装箱原图进行同箱检测，包括：
从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
7、根据6所述的方法，所述从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图，包括执行下述至少一者选择：
集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
集装箱外部左后侧方和集装箱外部正面的箱门；
集装箱外部右后侧方和集装箱外部正面的箱门；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
集装箱内部由前而后和集装箱内部由后而前的内部侧板；
集装箱内部由前而后和集装箱内部由后而前的内部顶板；
集装箱内部由前而后和集装箱内部由后而前的地板。
8、根据6所述的方法，所述根据预设的匹配算法计算所述部件子图之间是否匹配，包括：
提取所述部件子图的图像特征，所述图像特征包括角点特征、纹理特征、形态特征；
计算获得所述部件子图中图像特征的最小外接矩形；
若所述最小外接矩形为凸多边形，则通过同箱检测。
9、根据1所述的方法，在所述识别所述集装箱原图的拍摄方向之前，所述方法进一步包括：
对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
10、根据2所述的方法，所述方法进一步包括：
若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
11、根据10所述的方法，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
12、一种计算设备，包括：接收单元、处理器、存储器、通信接口、通信总线和输出单元，所述接收单元、所述处理器、所述存储器、所述通信接口和所述输出单元通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令用于控制所述计算设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
13、根据12所述的计算设备，所述计算设备用于：
当所述集装箱原图包括两个以上的拍摄方向的图片时，在判断所述部件子图的数量及类型是否符合预设要求之后，若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
14、根据12所述的计算设备，所述计算设备用于：基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
15、根据12所述的计算设备，所述计算设备用于：基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
16、根据14或15所述的计算设备，所述级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的所述集装箱原图；
特征提取网络，用于提取所述集装箱原图的图像特征；
区域提议网络，用于基于所述图像特征计算所述集装箱原图中的感兴趣区域；
感兴趣区域对齐网络，用于对所述感兴趣区域的区域大小进行归一化处理；
输出层，用于输出所述集装箱的拍摄方向、边界框及边缘掩膜信息。
17、根据13所述的计算设备，所述计算设备用于：从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
18、根据17所述的计算设备，所述计算设备用于执行下述至少一者选择：
集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
集装箱外部左后侧方和集装箱外部正面的箱门；
集装箱外部右后侧方和集装箱外部正面的箱门；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
集装箱内部由前而后和集装箱内部由后而前的内部侧板；
集装箱内部由前而后和集装箱内部由后而前的内部顶板；
集装箱内部由前而后和集装箱内部由后而前的地板。
19、根据17所述的计算设备，所述计算设备用于：提取所述部件子图的图像特征，所述图像特征包括角点特征、纹理特征、形态特征；
计算获得所述部件子图中图像特征的最小外接矩形；
若所述最小外接矩形为凸多边形，则通过同箱检测。
20、根据12所述的计算设备，所述计算设备用于：在识别所述集装箱原图的拍摄方向之前，对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
21、根据13所述的计算设备，所述计算设备用于：若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
22、根据21所述的计算设备，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
23、一种计算机存储介质，所述计算机存储介质中存储有至少一可执行指令，所述可执行指令使移动式采集设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
24、根据23所述的计算机存储介质，当所述集装箱原图包括两个以上的拍摄方向的图片时，在所述判断所述部件子图的数量及类型是否符合预设要求之后，若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
25、根据23所述的计算机存储介质，所述识别所述集装箱原图的拍摄方向，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
26、根据23所述的计算机存储介质，所述对所述集装箱原图进行图像分割，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
27、根据25或26所述的计算机存储介质，所述级联的神经网络模型依次由以下各层组成：
输入层，用于输入待分析的所述集装箱原图；
特征提取网络，用于提取所述集装箱原图的图像特征；
区域提议网络，用于基于所述图像特征计算所述集装箱原图中的感兴趣区域；
感兴趣区域对齐网络，用于对所述感兴趣区域的区域大小进行归一化处理；
输出层，用于输出所述集装箱的拍摄方向、边界框及边缘掩膜信息。
28、根据24所述的计算机存储介质，所述基于所述部件子图，对所述集装箱原图进行同箱检测，包括：
从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
29、根据28所述的计算机存储介质，所述从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图，包括执行下述至少一者选择：
集装箱外部左后侧方向和集装箱外部右前侧方向的侧板；
集装箱外部右后侧方向和集装箱外部左前侧方向的侧板；
集装箱外部左后侧方和集装箱外部正面的箱门；
集装箱外部右后侧方和集装箱外部正面的箱门；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门楣；
集装箱外部正面箱门闭合和集装箱外部正面箱门打开的门槛；
集装箱内部由前而后和集装箱内部由后而前的内部侧板；
集装箱内部由前而后和集装箱内部由后而前的内部顶板；
集装箱内部由前而后和集装箱内部由后而前的地板。
30、根据28所述的计算机存储介质，所述根据预设的匹配算法计算所述部件子图之间是否匹配，包括：
提取所述部件子图的图像特征，所述图像特征包括角点特征、纹理特征、形态特征；
计算获得所述部件子图中图像特征的最小外接矩形；
若所述最小外接矩形为凸多边形，则通过同箱检测。
31、根据23所述的计算机存储介质，在所述识别所述集装箱原图的拍摄方向之前，对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
32、根据24所述的计算机存储介质，若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
33、根据32所述的计算机存储介质，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种集装箱图像筛选方法，其特征在于，所述方法包括：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
2.根据权利要求1所述的方法，其特征在于，当所述集装箱原图包括两个以上的拍摄方向的图片时，在所述判断所述部件子图的数量及类型是否符合预设要求之后，所述方法进一步包括：
若判断结果为是，则基于所述部件子图，对所述集装箱原图进行同箱检测；
所述输出筛选完毕通知，包括：
当所述集装箱原图为同一集装箱的拍摄图片时，输出所述筛选完毕通知。
3.根据权利要求1所述的方法，其特征在于，所述识别所述集装箱原图的拍摄方向，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得方向分类结果。
4.根据权利要求1所述的方法，其特征在于，所述对所述集装箱原图进行图像分割，包括：
基于级联的神经网络模型对所述集装箱原图进行图像识别，获得集装箱的边界框及边缘掩膜；
基于级联的神经网络模型对所述集装箱的边界框及边缘掩膜进行图像识别，获得集装箱部件的边界框及边缘掩膜。
5.根据权利要求2所述的方法，其特征在于，所述基于所述部件子图，对所述集装箱原图进行同箱检测，包括：
从多个不同拍摄方向的集装箱原图中，选择同一部件的部件子图；
根据预设的匹配算法计算所述部件子图之间是否匹配；
若结果匹配，则通过同箱检测。
6.根据权利要求1所述的方法，其特征在于，在所述识别所述集装箱原图的拍摄方向之前，所述方法进一步包括：
对所述集装箱原图进行图像预处理，所述图像预处理包括尺寸缩放处理、色彩分量通道归一化处理。
7.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
若图像筛选失败，则向所述采集设备发送重新采集指令，所述筛选失败包括：拍摄方向与方向通道标签不对应、缺少部件子图、集装箱原图为不同集装箱的图像。
8.根据权利要求7所述的方法，其特征在于，所述重新采集指令中进一步携带重拍指示信息，包括：拍摄方向信息、应包含部件信息、同箱提示信息。
9.一种计算设备，其特征在于，包括：接收单元、处理器、存储器、通信接口、通信总线和输出单元，所述接收单元、所述处理器、所述存储器、所述通信接口和所述输出单元通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令用于控制所述计算设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
10.一种计算机存储介质，所述计算机存储介质中存储有至少一可执行指令，其特征在于，所述可执行指令使移动式采集设备执行以下操作：
接收采集设备发送的集装箱原图，所述集装箱原图包括至少一个拍摄方向的图片；
识别所述集装箱原图的拍摄方向，并判断所述拍摄方向与所述集装箱原图的方向通道标签是否对应；
若判断结果为是，则对所述集装箱原图进行图像分割，获得集装箱的部件子图，并判断所述部件子图的数量及类型是否符合预设要求；
若判断结果为是，则输出筛选完毕通知。
CN202010690733.8A 2020-07-17 2020-07-17 集装箱图像筛选方法、计算设备及存储介质 Active CN111798446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010690733.8A CN111798446B (zh) 2020-07-17 2020-07-17 集装箱图像筛选方法、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010690733.8A CN111798446B (zh) 2020-07-17 2020-07-17 集装箱图像筛选方法、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN111798446A true CN111798446A (zh) 2020-10-20
CN111798446B CN111798446B (zh) 2024-08-09

Family

ID=72807510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010690733.8A Active CN111798446B (zh) 2020-07-17 2020-07-17 集装箱图像筛选方法、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN111798446B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744213A (zh) * 2021-08-23 2021-12-03 上海明略人工智能(集团)有限公司 餐品摆盘整齐度检测方法、系统、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048543A (ko) * 2017-10-31 2019-05-09 주식회사 소네트 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법
KR20190054369A (ko) * 2017-11-13 2019-05-22 한국전자통신연구원 영상 기반 물류 컨테이너 무결성도 측정 장치 및 그 방법
CN110942461A (zh) * 2019-12-20 2020-03-31 上海撬动网络科技有限公司 一种固定场景集装箱智能化验视系统
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048543A (ko) * 2017-10-31 2019-05-09 주식회사 소네트 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법
KR20190054369A (ko) * 2017-11-13 2019-05-22 한국전자통신연구원 영상 기반 물류 컨테이너 무결성도 측정 장치 및 그 방법
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN110942461A (zh) * 2019-12-20 2020-03-31 上海撬动网络科技有限公司 一种固定场景集装箱智能化验视系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO MI 等: "A fast automated vision system for container corner casting recognition", 《JOURNAL OF MARINE SCIENCE AND TECHNOLOGY》, vol. 24, no. 1, 31 December 2016 (2016-12-31), pages 54 - 60 *
王平 等: "集装箱表面的超高频RFID标签天线设计", 《微波学报》, vol. 27, no. 2, 30 April 2011 (2011-04-30), pages 42 - 46 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744213A (zh) * 2021-08-23 2021-12-03 上海明略人工智能(集团)有限公司 餐品摆盘整齐度检测方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111798446B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
WO2021203618A1 (zh) 图像样本生成方法及系统、目标检测方法
US11544916B2 (en) Automated gauge reading and related systems, methods, and devices
US8355569B2 (en) Object region extracting device
US7894689B2 (en) Image stitching
CA2778267C (en) A method for automatic material classification and texture simulation for 3d models
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
JP2007508633A (ja) 物体輪郭画像を解析する方法および画像処理装置、物体を検出する方法および画像処理装置、産業用視覚装置、スマートカメラ、画像ディスプレイ、セキュリティシステム、ならびにコンピュータプログラム製品
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
CN112649436A (zh) 一种非固定场景的集装箱图像采集和验视系统
CN111161295B (zh) 一种菜品图像背景剥离方法
WO2021102741A1 (zh) 一种免疫层析检测的图像分析方法以及系统
CN115829965A (zh) 一种基于深度学习的x射线图像中气孔缺陷的检测方法
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN111798446B (zh) 集装箱图像筛选方法、计算设备及存储介质
JPH0793561A (ja) エッジ及び輪郭抽出装置
CN117456371B (zh) 一种组串热斑检测方法、装置、设备及介质
CN117036235A (zh) 一种继电保护柜端子排线序检测方法
CN114708192A (zh) 一种目标物计数方法、系统、存储介质及计算机设备
CN112069841B (zh) X光违禁品包裹跟踪方法及装置
CN115272741A (zh) 一种细长柔性物体检测方法、终端设备及存储介质
AU2018204115B2 (en) A method for automatic material classification and texture simulation for 3d models
Al Nachar et al. Towards an automatic image co-registration technique using edge dominant corners primitives
US20240161303A1 (en) Methods and apparatuses for auto segmentation using bounding box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant