CN110954546A - 一种非固定场景的集装箱图像采集和验视系统 - Google Patents

Abstract

本发明公开了一种非固定场景的集装箱图像采集和验视系统，其包括多视图图像采集单元、定位单元、终端处理单元、数据传输单元、人机交互单元、服务器单元，其中服务器单元又包括图像预处理单元、一致性检测单元、分视图图像分割单元和集装箱缺陷验视单元。该系统可直接部署在移动平台，通过图像采集和处理，实现对集装箱的智能化验视。本发明适用于雨、雾、灰尘、低光照等不同自然环境和车道、停车场、道口、树荫等不同自然场景，能够快速、准确地进行非固定场景的集装箱检验，有效提高集装箱的使用效率。

Description

一种非固定场景的集装箱图像采集和验视系统

技术领域

本发明属于电子技术应用领域，具体涉及一种非固定场景的集装箱图像采集和验视系统，和一套非固定场景的集装箱图像处理流程。

背景技术

随着科学技术的进步和国家进出口贸易的增加，物流运输行业处于逐年迅速发展和需求大量提升的环境，在其运输过程中对集装箱的需求量也是逐年增加。集装箱码头每日会有成千上万的集装箱在流通，而这些集装箱通常由集装箱车实现在陆地上的运输。为了确保货物在运输途中的安全，需要对集装箱车上的集装箱实施验视检测，确保集装箱没有损伤。

现有技术中，装有货物的集装箱在送达目的地后，需要将空的集装箱还回到指定场地由专门人员进行检验，检验符合再次使用的标准后再将集装箱投入使用，这样就造成集装箱载具的二次空驶，降低了集装箱及集装箱车的使用效率，且需要投入大量的专业技术人员、划设专门的检验场地，耗费了大量的人力物力。

基于图像的集装箱检测技术，可以在卸货地直接对集装箱进行检验，即可在任何场景对集装箱的损伤情况进行检测，且不需要司机或其他人员具有检验集装箱的能力；检验合格后集装箱就可以再次使用，及时安排货物进行装载，进而有效提高集装箱的使用效率，节约人力物力。

发明内容

为了能实现随时随地地对集装箱进行检验，本发明的发明目的在于提供一种非固定场景的集装箱图像采集和验视系统，能有效提高集装箱的使用效率。

本发明的发明目的是通过以下技术方案来实现的:

一种非固定场景的集装箱图像采集和验视系统，包括多视图图像采集单元、定位单元、终端处理单元、数据传输单元、人机交互单元和服务器单元，其中服务器单元又包括图像预处理单元、一致性检测单元、分视图图像分割单元和图像验视单元。系统的具体实现步骤为：

步骤1.在多视图图像采集单元，使用摄像设备分别从多个角度拍摄多个视图，将其统称为图像信息，并将采集到的图像信息传输给终端处理单元；

步骤2.在步骤1的同时，定位单元通过gps定位拍摄图片的位置信息，将位置信息和图像信息打包传输给终端处理单元；

步骤3.使用终端处理单元将接收到的图像信息、位置信息与集装箱信息进行关联，并通过数据传输单元发送给服务器单元进行数据处理；

步骤3.1.在图像预处理单元，对采集到的图像信息进行预处理，即进行图像定位、去噪、增强等算法，其中图像用于将图像中的集装箱位置定位出来，排除其他外部背景的干扰，图像去噪和图像增强用于对定位出来的集装箱做预处理，以适应不同的自然环境条件；

步骤3.2.在一致性检测单元，使用基于图像处理的算法判断步骤1中采集到的图像信息是否来自同一件集装箱。如果是，转步骤3.3；如果不是，报错，终端处理程序给出异常信息；

步骤3.3.在分视图图像分割单元，分别不同的视图，对集装箱的各部件进行分割；

步骤3.4.在图像验视单元，针对分割出来的各部件，分别内箱和外箱进行缺陷检测和验视，包括但不限于破损、漏洞、锈蚀、变形、污损、丢失等，进而确定集装箱的整体情况；

步骤4.将服务器单元计算出的检验结果通过数据传输单元反馈给终端处理单元，并和集装箱箱型信息一起通过人机交互单元进行显示。

其中，多视图图像采集单元采集的图像信息包含能反映集装箱内、外表面状况的一组视图，还包含箱体平面图像、箱体视频或者箱体3D图像等；

定位单元采集集装箱图像信息采集时的位置和时间信息，以防止用户使用伪造图片。

图像预处理单元针对由步骤1中采集到的每一幅图像组成的图像信息，进行集装箱定位，图像去噪和增强等。具体地，由于所述的验视系统不规定固定的使用场景，则所述的定位为使用基于图像定位的算法，将图像中的集装箱定位出来，过滤掉不同场景下的各种背景信息；所述的图像去噪为使用图像去噪等手段，对定位出来的集装箱进行噪声过滤，过滤掉图像中的雨雾灰尘等；所述的增强为使用图像增强的算法，对不同的自然环境包括逆光、暗光、阴影和不同时间段的光线变化等情况进行相应的增强操作，将与集装箱图像信息有关的部分突出显示。

分视图图像分割单元基于图一所示内容，使用基于图像分割的算法将侧板、角柱、铰链、箱门、横梁、地板等主要部件分离出来。

图像验视单元基于先验知识，对由步骤3.3中分割出来的各部件进行验视，确定其磨损程度、变形程度、锈蚀程度、污渍情况等；再根据各部件在整体结构中的作用和重要性，对整个集装箱进行验视，确定其是否完好满足下一次使用要求。

进一步，多视图图像采集单元还用于采集包含集装箱箱型信息的二维码，并将二维码通过数据传输单元进行传输，同时将图像信息与集装箱箱型信息进行关联。

优选地，多视图图像采集单元为摄像头或者3D扫描设备。

进一步，图像预处理单元还用于对步骤1中各视图所包含的图像信息进行识别，如果能识别出集装箱箱体的完好性，则将识别结果通过人机交互单元进行显示，以及将识别结果通过数据传输单元发送给服务器单元，程序终止；如果不能识别出集装箱箱体的完好性，则再将图像信息通过数据传输单元发送给服务器单元。

优选地，图像预处理单元还用于判断多视图图像采集单元采集的图像信息是否是真实的集装箱照片，即该照片是否是对着实物集装箱拍摄的。

进一步，终端处理单元还通过数据传输单元接收服务器单元发送的集装箱箱体检验结果，并将集装箱箱体检验结果通过人机交互单元进行显示。其中，所述的集装箱信息包含集装箱箱型信息。

优选地，终端处理单元还用于在接收到服务器单元发送的集装箱箱体检验结果后，如果检验结果为合格则终端处理单元保存相应的输入数据并进行结果展示，如检测结果不合格，将不合格原因在人机交互单元上进行显示。

进一步，人机交互单元还用于采集集装箱箱型信息，并将集装箱箱型信息传输给终端处理单元。

优选地，人机交互单元由触摸屏组成，或者由显示屏和按钮组成。

采用以上技术方案，本发明的有益效果是：集装箱完好性检测可以在不同的场景下进行，且不要求操作人员具备集装箱检验的能力，有效地提高了集装箱及集装箱车的使用效率，节约了人力物力。

附图说明

图1为集装箱各部件装配图，为分视图图像分割单元的实现提供分割依据。

图2为实施例一所提供的非固定场景的集装箱图像采集和验视系统的使用流程示意图。

图3为实施例二所提供的非固定场景的集装箱图像采集和验视系统的使用流程示意图。

图4为实施例三所提供的非固定场景的集装箱图像采集和验视系统的使用流程示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、单元和流程的任何修改、替换和改进。在下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。

现在将参考地描述示例实施方式，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、操作流程或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、设备等。在其它情况下，不详细示出或描述公知结构、设备或者算法细节以避免模糊本发明的主要技术创意。

本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一：

本实施例所公开的非固定场景的集装箱图像采集和验视系统，载体为手持终端设备(如手机、平板电脑、手持3D扫描设备等)。下面进行详细描述。

S1图像采集阶段：卡车司机在完成集装箱卸货并清理干净集装箱后，直接通过手持验箱终端，按照拍摄要求进行集装箱图片拍摄，终端设备将单次拍摄图像、拍摄图片的序号和采集拍摄的位置信息和时间信息进行打包，上传至服务器单元进行处理。拍摄图像包括集装箱的左后侧外部箱门图像、右后侧外部箱门图像、左前侧外部箱门图像、右前侧外部箱门图像，集装箱尾部外侧箱门正面图像、对开门外部图像、集装箱内部由内而外、由外而内图像。

S2初步筛选阶段：初筛阶段主要是针对拍摄到的单张集装箱图像和标准的拍摄要求图进行比对，查看是否是集装箱，集装箱是否完整，是否符合该图像的拍摄要求和拍摄标准。

S3一致性检测阶段：所有图像拍摄结束并满足拍摄要求后，对所有的拍摄图像进行一致性检测，提取集装箱横梁的特征，和箱门的箱号特征，结合拍摄的时间，地点等信息，确保拍摄的一组图片来自于同一个集装箱。

S4集装箱缺陷验视阶段：经一致性检测合格的一组图像数据，在服务器端进行集装箱的缺陷判断，根据不同船公司适货标准，对检测到的缺陷进行判定是否为适货集装箱，如果适货，则集装箱进入出口配货环节，如果不适货，对缺陷现象的集装箱提示缺陷情况，返回堆场进行人工复检和维修处理。

S5数据同步阶段：集装箱检测结果服务器端进行保存，并将检测时拍摄的照片信息，检测结果信息打包发送给船公司进行同步。

具体的S1包括：

S11.司机在手持验箱终端上输入船公司名、箱型、箱号等信息；

S12.根据拍照要求，司机在手持终端上分别拍摄集装箱对应的图像，包括集装箱的左后侧外部箱门图像、右后侧外部箱门图像、左前侧外部箱门图像、右前侧外部箱门图像，集装箱尾部外侧箱门正面图像、对开门外部图像、集装箱内部由内而外、由外而内图像。

S13.手持终端在每次拍摄图像的时候，同步获取拍摄图像的位置信息和时间信息，和拍摄图像数据，拍摄图像序号一起发给云服务器进行拍照合格判断。

S2包括：

S21.服务器端接收到手持终端上传的单张图像信息，对图像进行预处理和集装箱定位，判定当前拍摄是否符合要求，保存处理结果并返回检测信息给手持终端；

S22.手持终端接收服务器端返回的初筛判定，判定合格的图像提醒司机拍摄下一张图像，判定不合格的图像给出错误提示，司机继续该图像的拍照直到合格；

S23.手持终端在完成全部图片拍摄后，将图片数据统一发送到服务器端进行下一步集装箱验视。

S3包括：

S31.服务器端接收到全部图片数据，对图片进行一致性检测，提取集装箱横梁的特征，和箱门的箱号特征，结合拍摄的时间，地点等信息，确保拍摄的一组图片来自于同一个集装箱，如果是同一个集装箱则执行S41步骤，不是同一个集装箱，返回错误信息，并执行S32步骤；

S32.手持终端接收服务器端返回的错误信息，提醒用户对应图像重新拍摄上传，执行S11步骤。

S4包括：

S41.一致性检测通过的图像数据，分别对各个图像进行缺陷判定，集装箱的左后侧外部箱门图像检测侧板凹陷，漏光，锈蚀程度，上梁、底梁弯曲，变形，撕裂，后柱弯曲，后楣弯曲，箱门门板弯曲等；右后侧外部图像检测上梁、底梁弯曲，变形，撕裂，侧板凹陷或漏光，锈蚀程度，后柱弯曲，后楣弯曲，箱门门板弯曲；右前侧外部图像检测上梁、底梁弯曲，变形，撕裂，侧板凹陷或漏光，锈蚀程度，前柱弯曲，前楣弯曲，前板凹陷，漏光；左前侧外部图像检测上梁、底梁弯曲，变形，撕裂，侧板凹陷或漏光，锈蚀程度，前柱弯曲，前楣弯曲，前板凹陷，漏光；关门照图像检测门附件完整性，包括铭牌、锁头、门把手托架、铰链等，门封条丢失、断裂、变形，门板弯曲、凹陷、长度或高度上的变形、后柱、后楣、J型条柱弯曲变形；开门照检测箱门粘贴物、箱底杂物、油污、划痕、灰尘，顶板侧板漏光、凹陷等；内部照从外往里图像检测箱底有无杂物，油污，划痕及过多灰尘，顶板，侧板有无明显漏光，凹陷，或张贴胶带等，四角有无漏水；内部照从里往外图像检测箱门四角是否漏光漏水，箱底有无杂物，油污，划痕及过多灰尘,顶板，侧板有无明显漏光，凹陷，或张贴胶带等；

S42.根据不同船公司的适货标准，对检测到的缺陷进行判定是否为适货集装箱，将验箱结果包括适货信息和缺陷信息等返回给手持终端设备；

S43.手持终端设备接收到集装箱的验箱报告，对于适货的集装箱直接进入出口配货环节，对于不适货的集装箱，提示缺陷情况，返回堆场进行人工复检和维修处理。

S5包括：

S51.手持终端在用户确认验箱结果后，把验箱图像数据和验箱结果报告发送给船公司。

实施例二：

本实施例是在实施例一的基础上进行改进，非固定场景的集装箱图像采集和验视系统包含多视图图像采集单元、终端处理单元、数据传输单元、人机交互单元和服务器单元，其中数据传输单元和人机交互单元同实施例一，本实施例中不再描述。

随着二维码技术不断普遍应用，可以将集装箱和货物的相关信息(例如验箱时间、箱型、箱号、船公司、提单号、集装箱封号等)生成二维码，在物流的各个环节中可以通过扫描该二维码了解集装箱和货物的相关信息，并完成相关的环节的操作。在本实施例中，无固定场地集装箱检验系统的图像采集单元还可以采集二维码，终端处理单元对采集到的二维码进行识别，自动识别出集装箱的箱型，这样就不需要非固定场景的集装箱图像采集和验视系统的使用者手动输入集装箱的相关信息。如图3所示。

实施例三：

本实施例是在实施例一或二的基础上进行改进，本实施例改进的重点在于终端处理单元，图像采集单元、数据处理单元和人机交互单元参考实施例一或二。

在本实施例中，为了减少网络的传输量，终端处理单元内还设有一个模板库，在将箱体图像与集装箱箱型信息关联后，将图像信息与模板库中的模板进行比较，通过比较如果能识别出集装箱是否完好，则通过人机交互单元进行显示，并将识别结果通过数据传输单元发送给服务器；如果不能识别出箱体图像的完好性，则再将箱体图像信息通过数据传输单元发送给服务器。结合图4，程序具体执行过程如下：

1.人机交互单元采集集装箱箱型信息。

2.多视图图像采集单元采集集装箱图像信息。

3.将采集到的图像信息与集装箱信息进行关联，并通过数据传输单元发送给服务器单元。

4.将箱体图片信息与模板库中的模板进行比较，如果能识别出集装箱是否完好，则通过人机交互单元进行显示，并将识别结果通过数据传输单元发送给服务器；如果不能识别出箱体图像的完好性，则再将箱体图像信息通过数据传输单元发送给服务器做进一步的识别。

5.服务器单元计算出集装箱箱体检验结果，通过数据传输单元发送到人机交互单元进行显示。

Claims (13)

1.一种非固定场景的集装箱图像采集和验视系统，其特征在于包括如下步骤：

步骤1.在多视图图像采集单元，使用摄像设备分别从多个角度拍摄多个视图，将其统称为图像信息，并将采集到的图像信息传输给终端处理单元；

步骤2.在步骤1的同时，定位单元通过gps定位拍摄图片的位置信息，将位置信息和图像信息打包传输给终端处理单元；

步骤3.使用终端处理单元将接收到的图像信息、位置信息与集装箱信息进行关联，并通过数据传输单元发送给服务器单元进行数据处理；

步骤3.1.在图像预处理单元，对采集到的图像信息进行预处理，即进行图像定位、去噪、增强等算法，其中图像用于将图像中的集装箱位置定位出来，排除其他外部背景的干扰，图像去噪和图像增强用于对定位出来的集装箱做预处理，以适应不同的自然环境条件；

步骤3.2.在一致性检测单元，使用基于图像处理的算法判断步骤1中采集到的图像信息是否来自同一件集装箱。如果是，转步骤3.3；如果不是，报错，终端处理程序给出异常信息；

步骤3.3.在分视图图像分割单元，分别不同的视图，对集装箱的各部件进行分割；

步骤3.4.在图像验视单元，针对分割出来的各部件，分别内箱和外箱进行缺陷检测和验视，包括但不限于破损、漏洞、锈蚀、变形、污损、丢失等，进而确定集装箱的整体情况；

步骤4.将服务器单元计算出的检验结果通过数据传输单元反馈给终端处理单元，并和集装箱箱型信息一起通过人机交互单元进行显示。

2.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述多视图图像采集单元还用于采集包含集装箱箱型信息的二维码，并将二维码通过数据传输单元进行传输，同时将图像信息与集装箱箱型信息进行关联。

3.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述多视图图像采集单元为摄像头或者3D扫描设备。

4.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述多视图图像采集单元采集的图像信息包含能反映集装箱内、外表面状况的一组视图，还包含箱体平面图像、箱体视频或者箱体3D图像等。

5.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述定位单元采集集装箱图像信息采集时的位置和时间信息，这些信息和对应的图像信息一起传输到终端处理单元，以防止用户使用伪造图片。

6.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述终端处理单元还用于对箱体平面图像、箱体视频或者箱体3D图像等图像信息进行识别，如果能识别出集装箱箱体的完好性，则将识别结果通过人机交互单元进行显示，以及将识别结果通过数据传输单元发送给服务器单元；如果不能识别出集装箱箱体的完好性，则再将图像信息通过数据传输单元发送给服务器单元。

7.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述图像预处理单元用于对图像信息进行集装箱定位，图像去噪和增强等。具体地，由于所述的验视系统不规定固定的使用场景，则所述的定位为使用基于图像定位的算法，将图像中的集装箱定位出来，过滤掉不同场景下的各种背景信息；所述的图像去噪为使用图像去噪等手段，对定位出来的集装箱进行噪声过滤，过滤掉图像中的雨雾灰尘等；所述的增强为使用图像增强的算法，对不同的自然环境包括逆光、暗光、阴影和不同时间段的光线变化等情况进行相应的增强操作，将与集装箱图像信息有关的部分突出显示。

8.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述图像预处理单元还用于判断多视图图像采集单元采集的图像信息是否是真实的集装箱照片，即该照片是否是对着实物集装箱拍摄的。

9.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述分视图图像分割单元基于附录一图示内容，使用基于图像分割的算法将侧板、角柱、铰链、箱门、横梁、地板等主要部件分离出来。

10.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述图像验视单元基于先验知识，对由步骤3.3中分割出来的各部件进行验视，确定其磨损程度、变形程度、锈蚀程度、污渍情况等；再根据各部件在整体结构中的作用和重要性，对整个集装箱进行验视，确定其是否完好满足下一次使用要求。所述的先验知识应包括机械设计、材料力学、结构力学等知识。

11.根据权利要求1所述一种非固定场景的集装箱图像采集和验视系统，其特征在于所述图像验视单元得出集装箱箱体检验结果后，如果检验结果为合格则终端处理单元保存相应的输入数据并进行结果展示，如检测结果不合格，将不合格原因在终端处理单元上进行显示。

12.根据权利要求1所述一种无固定场地集装箱检验系统，其特征在于所述人机交互单元还用于采集集装箱箱型信息，并将集装箱箱型信息传输给终端处理单元。

13.根据权利要求1所述一种无固定场地集装箱检验系统，其特征在于所述人机交互单元由触摸屏组成，或者由显示屏和按钮组成。

Images