CN111382762A - 空箱识别方法及系统 - Google Patents

空箱识别方法及系统 Download PDF

Info

Publication number
CN111382762A
CN111382762A CN201811632412.1A CN201811632412A CN111382762A CN 111382762 A CN111382762 A CN 111382762A CN 201811632412 A CN201811632412 A CN 201811632412A CN 111382762 A CN111382762 A CN 111382762A
Authority
CN
China
Prior art keywords
empty
image
vehicle
empty box
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811632412.1A
Other languages
English (en)
Inventor
姚彦洁
刘永春
张*
张
赵自然
张丽
邢宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN201811632412.1A priority Critical patent/CN111382762A/zh
Priority to US16/725,926 priority patent/US11151422B2/en
Priority to NL2024575A priority patent/NL2024575B1/en
Publication of CN111382762A publication Critical patent/CN111382762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种空箱识别方法及识别系统，该方法包括以下步骤：获取报关信息，从所述报关信息中提取申报为空箱或空车的车辆；对所述车辆进行X射线检查，获取所述车辆的透射图像；将所述透射图像输入预先训练得到的空箱识别模型，以便所述空箱识别模型定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果；以及将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符。根据本公开的空箱识别方法及识别系统，通过对申报为空箱或空车的车辆的透射图像进行智能分析，能够在不开箱的情况下准确地确定车辆是否为空，并在很大程度上减轻安检人员的工作量。

Description

空箱识别方法及系统
技术领域
本公开涉及辐射成像安全检查技术领域，特别是涉及一种针对车辆的空车箱进行安全检查的空箱识别方法和系统。
背景技术
X射线透射成像技术作为一种非介入式检查手段，被广泛应用于口岸、海关、边检等安检场景，对过关车辆进行风险评估。集装箱和厢式货车作为现代物流重要的交通运输工具，近年来屡被不法分子利用进境、过境的空箱进行走私活动。作为智能鉴别功能的一个重要内容，智能空箱识别的业务需求十分迫切。随着进出口贸易量的急剧增加，人工审图给出鉴别结论的方式已经远远无法满足安检任务的需求。因此，实现可以代替人眼的智能鉴别功能成为辐射成像安全检查技术的研究目标。
目前的空箱识别或验证存在两种解决方案，分别是视频监控方式和称重方式。对于申报为空的车辆，第一种方式是利用摄像头对过关车辆进行监控，此过程要求开启箱门，监控人员通过图像查看箱体载货状态并做出结论。这种方式的最大问题是人为干预过多，通关效率较低，且误判率较高。第二种方式是对过关车辆进行称重，通过与备案重量进行比较，得出风险指标。此方式要求对过关车辆的重量进行备案，只能对重量偏差明显的走私行为有效。虽然市场上已经存在以上两种解决方案，但这些方案只在特定条件下有效，均存在着高漏检或高误报的问题。
发明内容
本公开的目的旨在解决现有技术中存在的上述问题和缺陷的至少一个方面。
根据本公开的一个方面的实施例，提供了一种空箱识别方法，包括以下步骤：
获取报关信息，从所述报关信息中提取申报为空箱或空车的车辆；
对所述车辆进行X射线检查，获取所述车辆的透射图像；
将所述透射图像输入预先训练得到的空箱识别模型，以便所述空箱识别模型定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果；以及
将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符。
在一些实施例中，所述图像识别结果包含所述候选区域的类别信息、位置信息以及置信度。
在一些实施例中，所述空箱识别模型是通过监督学习方式训练的，包括以下步骤：
建立空箱识别任务的训练样本图像数据库，其中训练样本图像数据包括训练样本图像及其对应的标注信息；
根据所述空箱识别任务确定基于卷积神经网络的检测网络，并进行初始化；以及
利用所述训练样本图像数据对初始化的所述检测网络进行训练，得到空箱识别模型。
在一些实施例中，所述建立空箱识别任务的训练样本图像数据库包括：
采用样本增强方法扩增异常的图像数据；以及
根据所述空箱识别任务对所述异常的图像数据进行标注。
在一些实施例中，所述利用所述训练样本图像数据对初始化的所述检测网络进行训练包括：
将训练样本图像及其标注信息缩放至合适的检测网络输入；以及
利用如下优化函数对检测网络进行训练：
L＝Lcls+λLreg
其中，Lcls是训练样本数据的类别损失；
Lreg是训练样本数据的位置回归损失；
λ是控制参数。
在一些实施例中，所述对所述车辆进行X射线检查，获取所述车辆的透射图像为仅对所述车辆的车箱进行X射线检查，获取所述车辆的车箱的透射图像。
在一些实施例中，在所述将所述透射图像输入预先训练得到的空箱识别模型之前，还包括对所述透射图像进行预处理的步骤。
在一些实施例中，所述预处理包括对所述透射图像进行去条纹处理。
在一些实施例中，所述后处理分析包括利用得分阈值与非极大值抑制，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域。
在一些实施例中，所述将所述图像识别结果与所述报关信息进行比较，判定是否与所述报关信息相符包括：
如果图像识别结果与所述报关信息相符，则认为风险较低；
如果图像识别结果与所述报关信息不符，则认为风险较高。
根据本公开的另一方面，还提供了一种空箱识别系统，包括：
数据采集设备，包括：
车辆数据提取模块，所述车辆数据提取模块适用于从报关信息中提取申报为空箱或空车的车辆；和
透射图像采集模块，对申报为空箱或空车的所述车辆进行X射线检查，获取所述车辆的透射图像；
数据处理设备，所述数据处理设备利用空箱识别模型对所述透射图像进行识别，以便定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果，然后将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符；以及
控制器，所述控制器控制所述数据采集设备和所述数据处理设备的工作状态。
在一些实施例中，所述透射图像采集模块仅对申报为空箱或空车的所述车辆的车箱进行X射线检查，获取所述车辆的车箱的透射图像。
在一些实施例中，所述数据处理设备还包括预处理模块，所述预处理模块适用于对所述透射图像采集模块所采集的透射图像进行预处理。
在一些实施例中，所述数据处理设备还包括后处理模块，所述后处理模块适用于利用得分阈值与非极大值抑制，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域。
在一些实施例中，还包括存储设备，所述存储设备与所述数据采集设备和所述数据处理设备连接，并适用于存储所述车辆的报关信息、透射图像以及识别结果。
根据本公开上述各种实施例所述的空箱识别方法及识别系统通过对申报为空箱或空车的车辆的透射图像进行智能分析，判断被检查车辆是否与申报一致，从而判定车辆是否存在夹藏的风险，即是否涉及伪报或瞒报，可以在一定程度上替代人工自动鉴别透视图像，提高空集装箱或空厢式货车的通关效率，实现“一站式”智能验放。本公开能够在不开箱的情况下准确地确定车辆是否为空，并在很大程度上减轻安检人员的工作量。
附图说明
图1是根据本公开的一个示例性实施例的空箱识别方法的示意性流程图；
图2是根据本公开的一个示例性实施例的空箱识别模型训练过程的示意图；以及
图3是根据本公开的一个示例性实施例的空箱识别系统的结构示意图。
具体实施方式
虽然将参照含有本发明的较佳实施例的附图充分描述本发明，但在此描述之前应了解本领域的普通技术人员可修改本文中所描述的发明，同时获得本发明的技术效果。因此，须了解以上的描述对本领域的普通技术人员而言为一广泛的揭示，且其内容不在于限制本发明所描述的示例性实施例。
另外，在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本披露实施例的全面理解。然而明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。在其他情况下，公知的结构和设备以图示的方式体现以简化附图。
根据本公开的总体上的发明构思，提供了一种空箱识别方法，包括以下步骤：获取报关信息，从所述报关信息中提取申报为空箱或空车的车辆；对所述车辆进行X射线检查，获取所述车辆的透射图像；将所述透射图像输入预先训练得到的空箱识别模型，以便所述空箱识别模型定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果；以及将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符。
图1示出了根据本公开的一种空箱识别方法的一个优选实施例。如图所示，该空箱识别方法包括：
S1：获取报关信息，从报关信息中提取申报为空箱或空车的车辆1。具体地，获取车辆1的报关信息，提取空箱或空车所在的字段，具体如“HS_C”、“VEHICLE_TYPE”、“STATUS”等，如果字段对应内容为“8609******”或“空车”等则表示车辆1申报信息是空箱或空车。
S2：对申报为空箱或空车的车辆1进行X射线检查，得到该车辆1的透射图像；当车辆1申报信息不是空箱或空车时，则不对该车辆1进行X射线检查。
S3：将所得到的透射图像输入预先训练得到的空箱识别模型，以便空箱识别模型定位出透射图像的候选区域，并对候选区域进行类别、位置的归并等后处理分析以获得图像识别结果。透射图像例如可以经过去条纹等预处理后，然后再进入已训练的空箱识别模型进行智能分析，得到针对车辆的候选区域的分析结果，此结果中包含候选区域的类别信息、位置信息及置信度。其中，类别信息例如可以包括“empty”和“anomaly”，具体可以根据任务自行设定。位置信息例如可以用一个矩形框表示，通过获取矩形框的坐标(x1，y1，x2，y2)得到，其中x1和y1为矩形框左上角顶点的坐标值，x2和y2是矩形框右下角顶点的坐标值；置信度为0-1之间的数值，数值越大表示为某一类别的概率越高。
S4：将图像识别结果与报关信息进行比较，判定是否与报关信息相符。结合报关数据的申报信息，对上述图像识别结果进行分析，如果识别结果与申报信息相符，则认为风险较低；如果识别结果与申报信息不符，则认为风险较高。具体地，根据标注数据定义的类别信息，如果识别结果的类别信息为“empty”，则表明车辆1是空箱或空车，车辆1载货状况与申报信息相符，风险较低；如果识别结果的类别信息为“anomaly”，则表明车辆1不是空箱或空车，有夹藏的可能性，即车辆1载货状况与申报信息不符，风险较高，同时可以根据位置信息获得异常区域的位置坐标。
在上述的步骤(3)中，可以利用得分阈值与非极大值抑制等后处理方法，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域，以得到最终的图像识别结果。具体过程是：利用得分阈值过滤掉置信度较低的候选区域矩形框，之后，利用非极大值抑制方法合并剩余的矩形框，同一位置只保留一个置信度最高的矩形框。最终的识别结果展示出目标区域是否是空的类别信息、位置信息以及置信度信息。
如图2所示，在一种示例性实施例中，该空箱识别模型是利用监督学习方法训练得到的，主要包括以下步骤：
S31：建立空箱识别任务的训练样本图像数据库，其中，训练样本图像数据包括训练样本图像及其对应的标注信息。首先需要获取目标数据。这里是指申报为空箱或空车的车辆1的透射图像，既要包括正常图像，又要包括夹货的异常图像。由于实际的异常图像过少，所以可以采用样本增强方法扩增异常数据。样本增强方法是将历史图像中的夹货位置裁剪出，再将裁剪出的货物区域图像经过随机融合处理，插入到正常图像的车箱区域中，伪装成箱体夹带货物的训练样本。所谓随机融合处理，是对裁剪区域进行一系列图像处理操作后融合到箱体任意区域，包括但不限于以下至少之一：旋转、翻转、加随机噪声、灰度变化、尺度变化等。同时，考虑到不同成像设备的透射图像存在差异，为保证模型的泛化能力，在构建训练数据库时，尽可能包含多种设备图像。由于空箱识别模型是采用基于目标检测的监督学习方法训练的，因此需要根据空箱识别任务对训练样本图像数据库进行标注。标注信息包括目标区域的类别信息和位置信息。其中，类别信息表明该目标的类别属性，即“empty”或“anomaly”，位置信息是用矩形框的坐标(x1，y1，x2，y2)表示。
S32：根据空箱识别任务确定基于卷积神经网络的检测网络，并进行初始化；可以选用faster-rcnn目标检测网络，也可以选用其他端到端的深度学习目标检测结构。本实施例以faster-rcnn目标检测网络为例，其基础网络是卷积神经网络，采用共享卷积的方式实现多目标的类别和位置的优化。根据空箱识别任务修改网络参数，并初始化网络参数，准备进行模型的训练工作。
S33：利用训练数据对初始化的检测网络进行训练，得到空箱识别模型。首先将构建的图像数据库中的训练图像及其标注信息传入初始化的检测网络，训练得到空箱识别模型。其中，将图像按比例缩放至600像素到1024像素之间，同时标注信息也做相应变化。然后利用如下优化函数对检测网络进行训练：
L＝Lcls+λLreg
其中，Lcls是训练样本数据的类别损失；
Lreg是训练样本数据的位置回归损失；
λ是控制参数。
在本公开的一些实施例中，为了提高通关效率，也可以采用快检模式，即在对车辆进行X射线检查时仅对车辆的车箱进行X射线检查，仅获取车辆的车箱的透射图像。
图3示出了根据本公开的一种示例性实施例的检查系统的结构。如图3所示，该检查系统包括数据采集设备5、数据处理设备6和控制器7。该数据采集设备5包括车辆数据提取模块和透射图像采集模块，其中车辆数据提取模块适用于从报关信息中提取申报为空箱或空车的车辆1；透射图像采集模块对车辆1进行X射线检查，获取车辆1的透射图像。数据处理设备6利用空箱识别模型对透射图像进行识别，以便定位出透射图像的候选区域，并对候选区域进行后处理分析以获得图像识别结果，然后将图像识别结果与对应的报关信息进行比较，判定是否与报关信息相符。控制器7控制数据采集设备5和数据处理设备6的工作状态。
根据一些实施例，透射图像采集模块包括由X射线源2和探测器3组成的辐射成像设备，该透射图像采集模块与控制器7连接，以便在控制器7的控制下采集车辆1的透射图像。其中，X射线源2可以是同位素、X光机、加速器等，X射线源2和探测器3可以是单能或双能。
在一些实施例中，透射图像采集模块仅对申报为空箱或空车的车辆1的车箱进行X射线检查，获取车辆1的车箱的透射图像，以提高通关效率。
在一些实施例中，数据处理设备6还包括预处理模块，预处理模块适用于对透射图像采集模块所采集的透射图像进行去条纹等预处理。
在一些实施例中，数据处理设备6还包括后处理模块，后处理模块适用于利用得分阈值与非极大值抑制，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域。
如图3所示，该空箱识别系统还包括存储设备8，该存储设备8分别与数据采集设备5和数据处理设备6连接，并适用于存储车辆1的报关信息、透射图像以及识别结果。
根据本公开上述各种实施例所述的空箱识别方法及识别系统通过对申报为空箱或空车的车辆进行X射线检查，得到透射图像，利用训练的空箱识别模型对过预处理的图像进行智能分析，确定透射图像的候选兴趣区域；对候选区域进行类别、位置的归并等后处理分析，得出图像识别结果；将图像识别结果与申报信息进行比较，判定是否与申报相符，给出最终的风险评估结论。这样，可以智能分析申报为空箱或空车的车辆是否存在夹带风险，并给出夹带嫌疑在车辆成像中的位置，以此辅助最终的验放决策。该系统和方法可以在不开箱的情况下准确地确定车辆载货区域是否为空，能极大减轻安检人员的工作量，同时也能做到24小时值守。
本领域的技术人员可以理解，上面所描述的实施例都是示例性的，并且本领域的技术人员可以对其进行改进，各种实施例中所描述的结构在不发生结构或者原理方面的冲突的情况下可以进行自由组合。
在详细说明本发明的较佳实施例之后，熟悉本领域的技术人员可清楚的了解，在不脱离随附权利要求的保护范围与精神下可进行各种变化与改变，且本发明亦不受限于说明书中所举示例性实施例的实施方式。

Claims (15)

1.一种空箱识别方法，包括以下步骤：
获取报关信息，从所述报关信息中提取申报为空箱或空车的车辆；
对所述车辆进行X射线检查，获取所述车辆的透射图像；
将所述透射图像输入预先训练得到的空箱识别模型，以便所述空箱识别模型定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果；以及
将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符。
2.根据权利要求1所述的空箱识别方法，其中，所述图像识别结果包含所述候选区域的类别信息、位置信息以及置信度。
3.根据权利要求1所述的空箱识别方法，其中，所述空箱识别模型是通过监督学习方式训练的，包括以下步骤：
建立空箱识别任务的训练样本图像数据库，其中训练样本图像数据包括训练样本图像及其对应的标注信息；
根据所述空箱识别任务确定基于卷积神经网络的检测网络，并进行初始化；以及
利用所述训练样本图像数据对初始化的所述检测网络进行训练，得到空箱识别模型。
4.根据权利要求3所述的空箱识别方法，其中，所述建立空箱识别任务的训练样本图像数据库包括：
采用样本增强方法扩增异常的图像数据；以及
根据所述空箱识别任务对所述异常的图像数据进行标注。
5.根据权利要求3所述的空箱识别方法，其中，所述利用所述训练样本图像数据对初始化的所述检测网络进行训练包括：
将训练样本图像及其标注信息缩放至合适的检测网络输入；以及
利用如下优化函数对检测网络进行训练：
L＝Lcls+λLreg
其中，Lcls是训练样本数据的类别损失；
Lreg是训练样本数据的位置回归损失；
λ是控制参数。
6.根据权利要求1所述的空箱识别方法，其中，所述对所述车辆进行X射线检查，获取所述车辆的透射图像为仅对所述车辆的车箱进行X射线检查，获取所述车辆的车箱的透射图像。
7.根据权利要求1所述的空箱识别方法，其中，在所述将所述透射图像输入预先训练得到的空箱识别模型之前，还包括对所述透射图像进行预处理的步骤。
8.根据权利要求7所述的空箱识别方法，其中，所述预处理包括对所述透射图像进行去条纹处理。
9.根据权利要求1所述的空箱识别方法，其中，所述后处理分析包括利用得分阈值与非极大值抑制，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域。
10.根据权利要求1-9中任一项所述的空箱识别方法，其中，所述将所述图像识别结果与所述报关信息进行比较，判定是否与所述报关信息相符包括：
如果图像识别结果与所述报关信息相符，则认为风险较低；
如果图像识别结果与所述报关信息不符，则认为风险较高。
11.一种空箱识别系统，包括：
数据采集设备，包括：
车辆数据提取模块，所述车辆数据提取模块适用于从报关信息中提取申报为空箱或空车的车辆；和
透射图像采集模块，对申报为空箱或空车的所述车辆进行X射线检查，获取所述车辆的透射图像；
数据处理设备，所述数据处理设备利用空箱识别模型对所述透射图像进行识别，以便定位出所述透射图像的候选区域，并对所述候选区域进行后处理分析以获得图像识别结果，然后将所述图像识别结果与对应的所述报关信息进行比较，判定是否与所述报关信息相符；以及
控制器，所述控制器控制所述数据采集设备和所述数据处理设备的工作状态。
12.根据权利要求11所述的空箱识别系统，其中，所述透射图像采集模块仅对申报为空箱或空车的所述车辆的车箱进行X射线检查，获取所述车辆的车箱的透射图像。
13.根据权利要求11所述的空箱识别系统，其中，所述数据处理设备还包括预处理模块，所述预处理模块适用于对所述透射图像采集模块所采集的透射图像进行预处理。
14.根据权利要求11所述的空箱识别系统，其中，所述数据处理设备还包括后处理模块，所述后处理模块适用于利用得分阈值与非极大值抑制，过滤掉置信度过小的候选区域，并合并同一位置区域附近的重叠候选区域。
15.根据权利要求11所述的空箱识别系统，其中，还包括存储设备，所述存储设备与所述数据采集设备和所述数据处理设备连接，并适用于存储所述车辆的报关信息、透射图像以及识别结果。
CN201811632412.1A 2018-12-28 2018-12-28 空箱识别方法及系统 Pending CN111382762A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811632412.1A CN111382762A (zh) 2018-12-28 2018-12-28 空箱识别方法及系统
US16/725,926 US11151422B2 (en) 2018-12-28 2019-12-23 Empty container identification method and system
NL2024575A NL2024575B1 (en) 2018-12-28 2019-12-24 Empty container identification method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811632412.1A CN111382762A (zh) 2018-12-28 2018-12-28 空箱识别方法及系统

Publications (1)

Publication Number Publication Date
CN111382762A true CN111382762A (zh) 2020-07-07

Family

ID=71124014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811632412.1A Pending CN111382762A (zh) 2018-12-28 2018-12-28 空箱识别方法及系统

Country Status (3)

Country Link
US (1) US11151422B2 (zh)
CN (1) CN111382762A (zh)
NL (1) NL2024575B1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
CN112308073A (zh) * 2020-11-06 2021-02-02 中冶赛迪重庆信息技术有限公司 废钢火车装卸料转载状态识别方法、系统、设备及介质
CN113409239A (zh) * 2020-12-04 2021-09-17 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法
CN115168075A (zh) * 2022-07-13 2022-10-11 深圳市泰洲科技有限公司 一种海关报关辅助装置及控制方法
CN116863205A (zh) * 2023-06-15 2023-10-10 深圳市软筑信息技术有限公司 一种用于海关的集装箱空箱检测方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673608A (zh) * 2021-06-03 2021-11-19 厦门锐特信息技术有限公司 一种基于PaddleOCR框架集装箱号识别系统和方法
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303748A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和检测行李物品中的枪支的方法
CN108303747A (zh) * 2017-01-12 2018-07-20 清华大学 检查设备和检测枪支的方法
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596275B1 (en) 2004-03-01 2009-09-29 Science Applications International Corporation Methods and systems for imaging and classifying targets as empty or non-empty
US10268924B2 (en) * 2016-12-05 2019-04-23 Sap Se Systems and methods for integrated cargo inspection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303748A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和检测行李物品中的枪支的方法
CN108303747A (zh) * 2017-01-12 2018-07-20 清华大学 检查设备和检测枪支的方法
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
CN112308073A (zh) * 2020-11-06 2021-02-02 中冶赛迪重庆信息技术有限公司 废钢火车装卸料转载状态识别方法、系统、设备及介质
CN112308073B (zh) * 2020-11-06 2023-08-25 中冶赛迪信息技术(重庆)有限公司 废钢火车装卸料转载状态识别方法、系统、设备及介质
CN113409239A (zh) * 2020-12-04 2021-09-17 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法
CN113409239B (zh) * 2020-12-04 2022-07-19 中广核贝谷科技有限公司 一种基于辐射成像的集装箱空箱检测方法
CN115168075A (zh) * 2022-07-13 2022-10-11 深圳市泰洲科技有限公司 一种海关报关辅助装置及控制方法
CN115168075B (zh) * 2022-07-13 2023-04-07 深圳市泰洲科技有限公司 一种海关报关辅助装置及控制方法
CN116863205A (zh) * 2023-06-15 2023-10-10 深圳市软筑信息技术有限公司 一种用于海关的集装箱空箱检测方法和系统

Also Published As

Publication number Publication date
NL2024575B1 (en) 2021-10-13
US20200210785A1 (en) 2020-07-02
NL2024575A (en) 2020-07-10
US11151422B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN111382762A (zh) 空箱识别方法及系统
JP7476194B2 (ja) 画像処理のためのシステムおよび方法
DE102018006765B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
US20180196158A1 (en) Inspection devices and methods for detecting a firearm
CA3123632A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
EP2859506B1 (en) System and method for detection cargo container seals
US10163200B2 (en) Detection of items in an object
CN104821025B (zh) 客流检测方法及其检测系统
CN110197166A (zh) 一种基于图像识别的车体装载状态识别装置及方法
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN113989702A (zh) 一种目标识别方法和装置
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
CN114677740A (zh) 一种人包关联快速寻人方法、系统、存储介质和终端
CN109741398A (zh) 图像识别方法、装置和计算机存储介质
DE102018006764B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
Chinthalachervu et al. Driver drowsiness detection and monitoring system using machine learning
KR102048948B1 (ko) 영상 분석 장치 및 방법
Skladchykov et al. Application of YOLOX deep learning model for automated object detection on thermograms
CN116110127A (zh) 一种多联动的加油站套现行为识别系统
DE102019105276A1 (de) Verfahren und System zum Detektieren eines Objekts im Fahrgastraum eines Fahrzeugs
CN115457427A (zh) 一种加油流程监控方法、装置、电子设备及存储介质
CN114882597B (zh) 一种目标行为的识别方法、装置及电子设备
CN112001333A (zh) 一种基于集装箱x射线图像的智能识别方法
CN114170583B (zh) 一种基于卷积神经网络的车辆检测系统
CN114494227A (zh) 货运业务中的货物安检方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination