CN105784732B - 检查方法和检查系统 - Google Patents

Abstract

公开了一种检查方法和系统。该方法包括：获取被检查货物的透射图像；对所述透射图像进行处理，得到感兴趣区域；利用废料检测模型对所述感兴趣区域进行检查，以确定所述透视图像的感兴趣区域是否包含废料货物。依靠本发明，可以在一定程度上减轻人力判别，降低开箱检测率，有助于安全快速地监管废物进出口。

Description

检查方法和检查系统

技术领域

本发明的实施例涉及辐射成像，具体涉及一种能够检查三废材料的检查方法和检查系统。

背景技术

自90年代，中国开放对废料(例如废渣等)进出口以来，废料进出口业务逐年增多，面临的问题逐渐浮出水面。如监管某些被禁止进出口的废物，废料混合装箱难于监管，废物中夹带问题，错报废物类型问题。目前检查手段，还主要集中于人工判别货物X射线扫描图像，开箱检测，报关单信息分析(报关废物类型，重量)。人力资源的消耗导致废料进出口业务的监管举步维艰。废料进出口监管将逐渐失去可控性，最终导致不可再利用废物，重污染性等废物流入国内，破坏生态环境。如何有效地管理废料进出口正是海关面临的尖锐问题。

发明内容

鉴于现有技术中的一个或多个问题，提出了一种检查方法和检查系统，用于检查货物中是否包含废料。

在本发明的一个方面，提出了一种检查方法，包括：获取被检查货物的透射图像；对所述透射图像进行处理，得到感兴趣区域；利用废料检测模型对所述感兴趣区域进行检查，以确定所述透视图像的感兴趣区域是否包含废料货物。

优选地，利用废料检测模型对所述感兴趣区域进行检查的步骤包括：对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息；利用基于样本货物的描述性特征而创建的废料检测模型对所述感兴趣区域的描述信息进行分类，以确定所述透射图像的感兴趣区域是否包含废料货物。

优选地，对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息的步骤包括：对感兴趣区域进行分区，并对区域图像进行边缘提取；从提取的边缘中的有效位置处抽取纹理特征；从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

优选地，如下建立所述字典：在每个样本图像中进行等间距采样，并在每个位置抽取纹理特征；对所有位置抽取的纹理特征进行聚类，得到多个聚类中心的特征描述，形成字典。

优选地，所述废料检测模型是针对废纸、废金属、和废塑料货物而建立的。

优选地，对所述透射图像进行处理的步骤包括：检测所述透射图像中的空气区域和穿不透区域；将空气区域和穿不透区域排除在所述感兴趣区域之外。

优选地，所述的方法还包括步骤：对于未能够通过所述废料货物检测模型检测到的货物，通过人工方式进行标注，重新训练所述废料货物检测模型。

优选地，人工标注的过程包括标注图像中的废料货物的位置和摆放姿态。

在本发明的另一方面，提出了一种检查系统，包括：扫描成像系统，对被检查货物进行扫描，以获取被检查货物的透射图像；数据处理装置，对所述透射图像进行处理，得到感兴趣区域，并且利用废料检测模型对所述感兴趣区域进行检查，以确定所述透视图像的感兴趣区域是否包含废料货物。

优选地，数据处理装置对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息，并且利用基于样本货物的描述性特征而创建的废料检测模型对所述感兴趣区域的描述信息进行分类，以确定所述透射图像的感兴趣区域是否包含废料货物。

优选地，数据处理装置对感兴趣区域进行分区，并对区域图像进行边缘提取，从提取的边缘中的有效位置处抽取纹理特征，从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

利用上述技术方案，可以在一定程度上减轻人力判别，降低开箱检测率，有助于安全快速地监管废物进出口。

附图说明

为了更好的理解本发明，将根据以下附图对本发明的实施例进行描述：

图1A和图1B是根据本发明一个实施方式的检查系统的结构示意图；

图2是描述根据本发明实施例的检查方法的流程图；

图3是描述根据本发明实施例的货物区域位置及形状限制示意图；

图4是描述根据本发明实施例的货物四种堆放模式的示意图；

图5A是在本发明的实施例中堆放模式1情况下的废纸及其局部纹理块的示意图；

图5B是在本发明的实施例中堆放模式1情况下的废塑料及其局部纹理块的示意图；

图5C是在本发明的实施例中堆放模式1情况下废塑料及其局部纹理块的另一示意图；

图5D是在本发明的实施例中堆放模式2情况下废塑料及其局部纹理块的示意图；

图5E是在本发明的实施例中堆放模式2情况下废塑料及其局部纹理块的另一示意图；

图5F是在本发明的实施例中堆放模式2情况下废金属及其局部纹理块的示意图；

图5G是在本发明的实施例中堆放模式3情况下废金属及其局部纹理块的示意图；

图6是描述车厢区域提取过程的示意图；

图7示出了Leung-Malik(LM)滤波器组的示意图；

图8是描述根据本发明实施例的方法中BOW字典训练过程的示意图；以及

图9是描述根据本发明实施例的方法中对获取区域直方图描述过程的示意图。

附图没有对实施例的所有电路或结构进行显示。贯穿所有附图相同的附图标记表示相同或相似的部件或特征。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

鉴于海关对废料货物的检测效率比较低为问题，本发明的实施例提出了一种检查方法和系统，其利用图像处理方式自动识别货物中是否包含废料物品。利用透射扫描系统获取被检查货物的透射图像，并且对透射图像进行处理，得到感兴趣区域，然后利用废料检测模型对感兴趣区域进行检查，以确定所述透视图像的感兴趣区域是否包含废料货物。具体而言，利用计算机视觉算法分析货物X射线图像内容，提取出主体货物区域并自动识别主体货物区域的废品种类。从而在具体应用中，可以使用识别得到的主体货物废品种类，与报关单上的报关废品类型进行比较，查看是否一致。对于非主体货物区域，在满足一定限制条件下，这些区域被认为是小货物区域。如果在集装箱中存在这些小货物区域，将会被认为可能存在混装风险。

图1A和图1B是根据本发明一个实施方式的检查系统的结构示意图。图1A示出了检查系统的俯视示意图，图1B示出了检查系统的正视示意图。如图1A和图1B所示，射线源110产生X射线，经过准直器120准直后，对移动的集装箱卡车140进行安全检查，由探测器150接收穿透卡车的射线，在诸如计算机之类的数据处理装置160得到透射图像。根据本发明的实施例，在通过扫描得到集装箱卡车140的透射图像后，在数据处理装置160对透射图像进行处理，得到感兴趣区域，例如主体货物区域，然后利用废料检测模型对感兴趣区域进行检查，以确定透视图像的感兴趣区域是否包含废料货物。

图2是描述根据本发明实施例的检查方法的流程图。如图2所示，在步骤S21，利用透射扫描系统得到集装箱卡车140的透射图像。例如通过X射线扫描系统对集装箱卡车140进行透射扫描，得到透射图像。

在步骤S22，在数据处理装置160对透射图像进行处理，得到感兴趣区域，例如主体货物区域。

在步骤S23，利用废料检测模型对感兴趣区域进行检查，以确定透视图像的感兴趣区域是否包含废料货物。例如，抽取感兴趣区域的描述信息，然后利用基于样本货物的描述性特征而创建的废料检测模型对感兴趣区域的描述信息进行分类，以确定透射图像的感兴趣区域是否包含废料货物。

在本发明的实施例中，在建立分类器模型之前可以对样本货物图像进行预处理，然后提取主体货物区域，对主体货物区域进行特征提取，在提取的特征的基础上建立分类器模型。

例如，射线扫描图像预处理的过程包括X射线图像的基本校正过程，车厢区域提取，尺度变换和灰度变换等。基本校正过程包括减本地除空气，亮度校正和几何校正。在基本校正完成之后，X射线图像便可以参与到后续的一系列预处理算法中。

车厢提取，主要用来定位集装箱位置，并抽取集装箱区域图像。尺度变换，主要用来将集装箱区域图像缩放到合适的尺寸，并用于后续算法的使用，如主体货物区域提取，特征提取。灰度变换，主要用来将图像的灰度值变换到指定范围内。

例如，对X射线图像采用均值为0方差为10的高斯核滤波。对滤波后的结果，进行边缘提取，然后分别向下，向右投影，见图6。接下来，处理向下投影直方图，分析每一点的梯度大小，发现最大上升沿以及最大下降沿，记录其位置，并将其作为车厢的左右边界。处理向右投影直方图，处理方法与处理向下投影直方图一致，从而发现车厢的上下边界。

优选地，在尺度变换中将车厢图像缩放到原来的0.5倍。所有后续的操作均在缩放后的图像上进行。在灰度变换中，优选地将灰度值变换到0～255区间。这样便于进一步的图像处理等操作。

主体货物区域提取过程包括图像分割，形态学操作，有效区域面积限制，区域位置限制，区域形状限制等。图像分割过程是将集装箱图像分割成若干区域，并将这些区域作为候选货物区域。在后续的处理中，将对这些区域进行逐步挑选，最终找到集装箱中的主体货物区域。形态学操作是在分割区域上进行形态学开操作，消除过小噪声区域。通过此操作过滤掉一些无效噪声区域，仅仅保留一部分有效区域在候选区域列表中。

优选地，采用SRM(Statistical Region Merge)分割算法，分割算法参数设定为0.2。这一参数代表着图像的复杂度，值越大，则认为图像信息越复杂，得到的分割区域越多。将所有的分割区域看作是候选主体区域。

优选地，采用形态学开操作。形态学开操作可以使对象的轮廓变得光滑，断开狭窄的间断和消除细的突出物。优选地，这里采用半径为5的平面圆盘形的结构元素。

考虑到X射线图像的性质，优选地，灰度值在120以上的像素点均可以被认为属于集装箱车厢。这些像素点是无效像素点。其他像素点被认为是有效像素点。在每个候选区域内，计算有效像素点的个数占整个区域面积的百分比。优选地，若有效像素点个数占整个区域面积的90％以上的话，则认为此区域为有效区域。否则为无效区域。基于有效区域面积限制，将从候选区域列表中过滤掉一些无效区域。

考虑到，在集装箱中堆放货物的一般规律，货物中心常常会位于车厢的中心位置附近。所有中心偏向车厢四边的区域，均被认为是无效货物区域。基于区域位置限制，将从候选区域列表中过滤掉一些无效区域。

通过限制区域面积占其外接矩形区域面积的比率，以及外接矩形的长宽比来过滤掉一些不可能是货物的区域。优选地，将第一个阈值设定为0.7，外接矩形的长宽比的阈值设定为0.9。也就是说，若区域面积与其外接矩形面积的比例大于0.7，并且外接矩形长宽比小于0.9，则认为此区域为有效区域，否则为无效区域。基于区域形状限制，可以将条状，不规则丝状区域等无效区域去除，见图3。

此外，还可以进行有效区域面积限制和区域位置限制等操作。例如基于X射线图像的特点，通过阈值限制的办法判断当前像素点是否是集装箱背景。如果是集装箱背景，则认为当前像素点为无效点。否则，认为当前像素点属于货物区域，即为有效点。在候选的每个分割区域内，计算有效像素点占区域面积的百分比。如果这个百分比在一定范围之内，则认为这个区域为有效区域。通过这个限制过滤掉一些无效区域，仅仅保留有效区域在候选区域列表中。

区域位置限制的目的是进一步确定有效区域。例如，货物区域中心一般集中在集装箱的中部。对于那些区域中心在集装箱边上的区域认为是无效区域，见图3中主体货物区域上侧的“不规则丝状区域”和“条状区域”。通过这个限制过滤掉一些无效区域，仅仅保留一部分有效区域在候选区域列表中。

区域形状限制的目的是进一步确定主体货物的区域。例如，货物区域一般呈现矩形状或圆形状，见图3中间的“主体货物区域”。那些呈现细条形状或不规则的细丝状的区域被认为是无效区域，见图3中的“不规则丝状区域”和“条状区域”。通过这个限制过滤掉一些无效区域，仅仅保留一部分有效区域在候选区域列表中。

进行完上述一系列操作后，在候选区域列表中，一般将只会存在一两个区域，将这些区域认为是这个集装箱中的主体货物区域。后续的特征提取将在主体货物区域中完成。

主体货物区域特征提取的过程是利用图像处理算法对主体货物图像进行特征抽取，从而方便后续的分类。考虑到不同类型的货物在装进集装箱时存在不同的堆放模式，并且考虑货物材质的不同以及货物形状的不同，所设计的获取区域特征需要同时可以刻画这两方面的信息——堆放模式信息和纹理信息。

货物的常规堆放模式分为四种类型，如图4所示。废纸常呈现堆放模式1；废塑料常呈现堆放模式1和2；废金属常呈现堆放模式1，2和3。对堆放模式的刻画有利于三废货物的区分，见图5A-5G所示。例如，纹理信息直接反映着在X射线图像中基本图像单元的性质，更是货物类型的性质。对于废纸、废塑料、废金属的局部纹理见图5A-5G。可见，废纸常常捆绑成捆，上部因质量厚度较小，呈现束状纹理。废塑料有时捆绑成捆，有时散放成堆，上部因质量厚度较小，常呈现束状纹理或平缓过渡纹理。废金属有时捆绑成捆，有时散放成堆，还有时非捆绑摆放，纹理常常呈现灰度均匀或基本形状明显。

根据本发明的实施例，可以使用联合特征，既能刻画货物的堆放模式，又能刻画局部位置的纹理特性。可以使用两种特征提取方法分别进行特征刻画，然后拼接起来作为联合特征。

优选地，采用BOW(Bag of Words)+Texton特征提取方法对在主体货物区域内的货物堆放模式以及局部纹理信息进行同时刻画。Texton是由48个滤波器组成，其中2个是在6个方向和3个尺度下的高斯导数滤波器，8个是Laplacian滤波器，4个是高斯滤波器，见图7。

在建立图像BOW特征时，涉及两部分，第一部分字典建立，第二部分基于字典建立元素直方图。字典建立过程见图8所示。首选组织所有的训练图像样本(已经完成X射线扫描图像预处理过程)。分别处理每个训练样本，在每个图像上进行等间距采样，优选地，采样间隔设定为5，并在采样位置处抽取Texton特征。汇集所有在训练样本图像上采样位置处的特征，并在其上使用Kmeans算法进行聚类。优选地，设置100个聚类中心。Kmeans算法聚类结束后，得到100个聚类中心的特征描述。从而将这100个聚类中心看做为具有100个元素的字典，每个字典元素都有一个向量进行描述。

建立区域特征直方图过程见图9所示。首先对区域图像进行边缘提取，遍历每个边缘位置。在每个边缘位置处，优选地，使用0均值10方差的高斯型随机数在当前边缘位置处进行随机采样，如果随机采样位置为有效位置(灰度值小于指定阈值120)，则抽取当前位置的Texton特征，并在字典中找到其最邻近的元素，从而在直方图中进行记录。对主体货物区域内的每个边缘位置，均采样如上的处理方法，最终得到这个区域的直方图描述特征。

通过这样的区域图像特征提取方法，可以有效地同时刻画货物的堆放模式，以及局部的纹理细节信息。

得到样本货物的联合特征后，就可以借此建立分类器模型。例如，可以使用‘1对其他’多分类模型。对于四分类问题(废纸、废塑料、废金属、非三废)，一共需要4个分类器。这种多分类模型常常因分类器个数较少，效率较高，普遍用于多分类问题。虽然在本发明的实施例中是针对三种废料“废纸”、“废塑料”和“废金属”，但是本领域的技术人员可以想到针对其他的废料来创建分类器对货物进行分类识别。

优选地，基本分类器选择SVM(Support Vector Machine)。对废纸、废金属、废塑料、非三废，四类训练图像数据分别通过上述处理过程得到对主体货物图像的特征直方图描述。伴随着每个主体货物图像区域的特征直方图描述，对每种货物类型给出一个类别标号。优选地，废纸的类别标号为0，废金属的类别标号为1，废塑料的类别标号为2，其他的类别标号为3。

然后，采用“1对多”多分类模型，训练4个分类器。例如，训练“废纸”与“废金属、废塑料和非三废”的分类器1时，读取组织后的训练数据，将废纸训练样本类别标号设为+1，其他所有训练样本标号设为-1。

训练“废金属”与“废纸、废塑料和非三废”的分类器2时，读取组织后的训练数据，将废金属训练样本类别标号设为+1，其他所有训练样本标号设为-1。

训练“废塑料”与“废纸、废金属和非三废”的分类器3时，读取组织后的训练数据，将废塑料训练样本类别标号设为+1，其他所有训练样本标号设为-1。

训练“非三废”与“废纸、废金属和废塑料”的分类器4时，读取组织后的训练数据，将非三废训练样本类别标号设为+1，其他所有训练样本标号设为-1。

在检测阶段，同样对被检查货物的透射图像进行上述除建立分类器之外的其他过程，例如预处理、主体区域提取、特征提取等操作，得到联合特征后，利用创建的分类模型进行分类识别。

例如，在检测阶段，输入待检测货物X射线扫描图，使其分别经过上述建立分类器之前的处理过程，从而得到待检测货物的主体货物区域，以及货物区域的特征描述向量。将主体货物区域特征描述向量依次送入多分类模型中的四个分类器。若第三个分类器将其分为+1，则表明这个集装箱中的主体货物应该为废塑料。若第四个分类器将其分为+1，则表明这个集装箱中的主体货物应该为非三废。得到检查结果后，在图中突出显示，例如用红框标明废料区域，辅助判图人员与报关单进行对比，确定该货物是否包含废料。

根据一些实施例，对于未能够通过所述废料货物检测模型检测到的货物，通过人工方式进行标注，重新训练所述废料货物检测模型。然后利用训练的货物检测模型，也就是分类器，对后续的货物进行检查。具体来说，在人工标注的过程中，判图员可以利用输入装置标注图像中的废料货物的位置和摆放姿态等。这样使得能够快速对分类器进行训练。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (12)

1.一种检查方法，包括：

获取被检查货物的透射图像；

对所述透射图像进行处理，得到感兴趣区域；

利用废料检测模型对所述感兴趣区域进行检查，以确定所述透射图像的感兴趣区域是否包含废料货物，其中所述废料检测模型是基于废料的堆放模式信息和纹理信息创建的。

2.如权利要求1所述的检查方法，其中利用废料检测模型对所述感兴趣区域进行检查的步骤包括：

对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息；

利用基于样本货物的描述性特征而创建的废料检测模型对所述感兴趣区域的描述信息进行分类，以确定所述透射图像的感兴趣区域是否包含废料货物。

3.如权利要求2所述的检查方法，其中对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息的步骤包括：

对感兴趣区域进行分区，并对区域图像进行边缘提取；

从提取的边缘中的有效位置处抽取纹理特征；

从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

4.如权利要求3所述的检查方法，其中如下建立所述字典：

在每个样本图像中进行等间距采样，并在每个位置抽取纹理特征；

对所有位置抽取的纹理特征进行聚类，得到多个聚类中心的特征描述，形成字典。

5.如权利要求1所述的检查方法，其中所述废料检测模型是针对废纸、废金属、和废塑料货物而建立的。

6.如权利要求1所述的检查方法，其中对所述透射图像进行处理的步骤包括：

检测所述透射图像中的空气区域和穿不透区域；

将空气区域和穿不透区域排除在所述感兴趣区域之外。

7.如权利要求1所述的检查方法，还包括步骤：

对于未能够通过所述废料货物检测模型检测到的货物，通过人工方式进行标注，重新训练所述废料货物检测模型。

8.如权利要求7所述的检查方法，其中人工标注的过程包括标注图像中的废料货物的位置和摆放姿态。

9.一种检查系统，包括：

扫描成像系统，对被检查货物进行扫描，以获取被检查货物的透射图像；

数据处理装置，对所述透射图像进行处理，得到感兴趣区域，并且利用废料检测模型对所述感兴趣区域进行检查，以确定所述透射图像的感兴趣区域是否包含废料货物，其中所述废料检测模型是基于废料的堆放模式信息和纹理信息创建的。

10.如权利要求9所述的检查系统，数据处理装置对所述感兴趣区域提取废料货物的堆放模式和纹理的描述信息，并且利用基于样本货物的描述性特征而创建的废料检测模型对所述感兴趣区域的描述信息进行分类，以确定所述透射图像的感兴趣区域是否包含废料货物。

11.如权利要求10所述的检查系统，数据处理装置对感兴趣区域进行分区，并对区域图像进行边缘提取，从提取的边缘中的有效位置处抽取纹理特征，从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

12.一种存储介质，存储有计算机可读指令，当所述计算机可读指令被执行时，实现如权利要求1-8之一所述的检查方法。