CN105808555A - 检查货物的方法和系统 - Google Patents

Abstract

公开了一种检查货物的方法和系统。该方法包括步骤：获得被检查货物的透射图像；对所述透射图像进行处理，得到感兴趣区域；对所述感兴趣区域进行特征提取，并根据提取的特征确定所述被检查货物的货物信息；基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。根据上述方案，能够协助判图员准确判断所涉及的货物是否允许通过。

Description

检查货物的方法和系统

技术领域

本发明的实施例涉及货物的检查，具体涉及基于货物的辐射图像来对货物进行检查。

背景技术

在目前辐射安检领域，对X射线图像的分析仅仅停留在双能材料识别，丝分辨，穿透测试等方面。这些方面往往提供给安检人员对货物最底层的理解，如货物材料组成、形状。却无法回答像这样的问题，“这个货物是否与其报关货物相符呢？”，“易于发生夹藏的区域在哪里呢”，“在这个时间段内，这家公司运输这个货物到那个国家是否异常呢？”，“放在旁边的那一小堆货物是什么？”。目前这些问题都需要凭借安检人员的丰富经验以及对图像内容的仔细推敲才能回答。随着海关吞吐量的增多，寻找一个智能化的解决方案是一个必然的方向。

发明内容

鉴于现有技术中的一个或多个问题，提出了一种对货物进行检查方法和系统，能够智能地进行推断并给出处理建议。

在本发明的一个方面，提出了一种检查货物的方法，包括步骤：获得被检查货物的透射图像；对所述透射图像进行处理，得到感兴趣区域；对所述感兴趣区域进行特征提取，并根据提取的特征确定所述被检查货物的货物信息；基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。

优选地，所述货物信息具体为货物的堆放模式，所述对所述感兴趣区域进行特征提取的步骤包括：对所述感兴趣区域提取被检查货物的堆放模式的描述信息；其中，基于所述描述信息确定所述透射图像的感兴趣区域中货物的堆放模式的概率。

优选地，对所述感兴趣区域提取被检查货物的堆放模式的描述信息的步骤包括：对感兴趣区域进行分区，并对区域图像进行边缘提取；从提取的边缘中的有效位置处抽取纹理特征；从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

优选地，如下建立所述字典：在每个样本图像中进行等间距采样，并在每个位置抽取纹理特征；对所有位置抽取的纹理特征进行聚类，得到多个聚类中心的特征描述，形成字典。

优选地，对所述被检查货物提取货物区域并且通过阈值限定来剔除无货物区域，从而确定感兴趣区域。

优选地，基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见的步骤包括：

通过将基于报关单确定的堆放模式的货物类型概率与基于透射图像确定的堆放模式的概率相乘来确定一致性概率，并且在该一致性概率低于预定值的情况下，判断该货物与报关单中的货物不符。

优选地，所述货物信息具体为货物类型，所述对所述感兴趣区域进行特征提取的步骤包括：对所述感兴趣区域提取被检查货物的货物类型的描述信息；其中，基于所述描述信息确定所述透射图像的感兴趣区域中货物的货物类型的概率；使用所述概率并联合进出口公司、进出口时间、和进出口国家得到该货物与报关单上货物类型一致性的概率值。

优选地，对货物类型的概率是根据原子序数和电子密度而确定的。

优选地，基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见的步骤包括：通过比较预测的货物类型和报关单货物类型的税费差异，和对出口管制程度的分析，来建立代价模型，进而给出对该货物的推荐处理意见。

优选地，所述的方法还包括步骤：利用图像内容检索引擎，获得与被检查货物相似的货物列表；根据与所述货物列表相关的进出口公司、进出口国家和进出口时间建立分布关系描述；基于所建立的分布关系描述确定所述货物是否属于正常货物。

优选地，根据货物的类型，对检索到的相似货物图像列表进行分类，并计算不同国家、不同公司在不同时间段内进出口相同类型货物的概率。

优选地，通过建立时间轴，来显示不同时间段内进出口相似货物的情况。

优选地，在每个时间段内，通过不同的图形显示不同进出口国家对，并显示不同进出口公司进出口相似货物的概率分布。

优选地，所述的方法还包括步骤：向用户提示偏离于主体堆放模式的货物区域、无法进行货物类型预测的较小货物区域、或与全局纹理有较大差异的局部区域。

优选地，所述的方法还包括步骤：采用交互式的推断方法确定单独成堆但堆较小无法参与到全局信息推断当中的货物的货物类型。

优选地，所述的方法还包括步骤：根据局部区域的纹理信息推断可以呈现这种纹理的货物的类型分布、平均原子序数、或在集装箱中的位置。

优选地，所述的方法还包括步骤：抽取指定区域内的纹理特征；基于图像内容检索，得到相似度高于预定值的纹理块列表；确定纹理块列表的货物种信息，从而建立呈现此类纹理的货物类型分布。

优选地，通过双能材料识别算法得到被检查货物的平均原子序数。

优选地，利用图像缩放尺度和指定区域的像素位置得到指定区域在集装箱中的实际位置。

在本发明的另一方面，提出了一种检查货物的系统，包括：辐射成像系统，对被检查货物进行扫描，以获得被检查货物的透射图像；数据处理装置，对所述透射图像进行处理，得到感兴趣区域，对所述感兴趣区域进行特征提取，根据提取的特征确定所述被检查货物的货物信息，基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。

利用上述的方案，通过对射线图像内容和报关单数据的分析，能够给出不同的推断结论和相应的处理意见，方便判图员提高效率和准确度。

附图说明

为了更好的理解本发明，将根据以下附图对本发明的实施例进行描述：

图1A和图1B示出了根据本发明实施例的货物检查系统的结构示意图；

图2是描述根据本发明实施例的货物检查方法的示意性流程图；

图3是描述根据本发明实施例的方案中涉及的四种堆放模式的示意图；

图4是描述根据本发明实施例的方案对混合物分层推断的示意图；

图5是描述根据本发明实施例的方案中异常事件推断的可视化示意图；

图6是描述根据本发明实施例的堆放模式预测及推荐处理意见的流程图；

图7是描述根据本发明实施例的货物类型预测、风险程度估计及推荐处理意见的流程图；

图8是描述根据本发明实施例的相似货物分布推断的流程图。

附图没有对实施例的所有电路或结构进行显示。贯穿所有附图相同的附图标记表示相同或相似的部件或特征。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

基于货物X射线图像和报关单数据的智能分析推断系统，是一个可以自动分析货物类型，自动给出易于夹藏区域，自动推断混合货物组成，自动判断异常运货行为，并根据风险程度给出推荐处理意见的智能化分析推断方案。例如，可以有效地解决海关正面临的棘手问题，如“运输的货物与其报关货物类型是否相符？”，“如何快速的引导安检人员定位易于发生夹藏的位置？”，“混合货物可能由什么组成？”，“这次进出口行为是否异常？”。通过对X射线图像内容和报关单数据的分析，系统将会分级给出不同的推断结论和相应的处理意见。

针对现有技术中的问题，本发明提出在获得被检查货物的透射图像后，对所述透射图像进行处理，得到感兴趣区域，然后对感兴趣区域进行特征提取，并根据提取的特征确定被检查货物的货物信息，进而基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。

图1A和图1B是根据本发明一个实施方式的检查系统的结构示意图。图1A示出了检查系统的俯视示意图，图1B示出了检查系统的正视示意图。如图1A和图1B所示，射线源110产生X射线，经过准直器120准直后，对移动的集装箱卡车140进行安全检查，由探测器150接收穿透卡车的射线，在诸如计算机之类的数据处理装置160得到透射图像。

根据本发明的实施例，在通过扫描得到集装箱卡车140的透射图像后，在数据处理装置160对透射图像进行处理，得到感兴趣区域，例如主体货物区域，然后对感兴趣区域进行特征提取，并根据提取的特征确定被检查货物的货物信息，进而基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。

图2是描述根据本发明实施例的检查方法的流程图。如图2所示，在步骤S21，通过透射扫描系统获得被检查货物的透射图像。例如，当被检测集装箱卡车以一定的速度经过检测区域时，就可以产生一幅透视图像。不同扫描设备的射线源的能量/剂量、探测器尺寸、机械结构、车速和出束频率的不同，使得获取图像的分别率略有不同。在一些实施例中，根据需要对透视图像先做归一化处理，即亮度归一化和分辨率统一缩放到例如5*5(mm/pixel)。

在步骤S22,对所述透射图像进行处理，得到感兴趣区域。预处理的过程可以得到主体货物区域。例如，先提取透射图像中的集装箱区域，然后提取主体货物区，例如通过排除主体货物的外围区域，以避免干扰和减少无效的计算量。

此外，在一些实施例中，也可以去除图像中的空气区域和穿不透区域的影响。本发明实施例中直接采用阈值的方法检测出透视图像中的空气区域和穿不透区域。在进行货物检测的时候，可以避免空气区域和穿不透区域的影响，不仅可以加快检测速度，还可以减少误报。

在步骤S23，对所述感兴趣区域进行特征提取，并根据提取的特征确定所述被检查货物的货物信息。根据不同的实施例，这里的货物信息可以为货物的堆放模式(例如以概率值表示)或者货物的类型(例如属于某种特定货物的概率值)等等。在其他实施例中，货物的类型可以通过原子序数和/或电子密度和/或质量厚度等来确定。

在步骤S24，基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。例如结合基于图像处理得到的货物信息和从报关单得到的货物信息给出推荐意见，如二者之间不一致，则不允许通过，或者按照一致性概率分级处理。

在本发明实施例中，货物检查系统可以包括，(1)全局信息推断，(2)局部信息推断，(3)主动学习。全局信息推断系统主要分为货物堆放模式推断，货物类型推断，混合货物分层推断，异常事件推断。

货物堆放模式推断是通过分析货物X射线图像来预测货物堆放模式，从而推断其与报关货物类型(来自报关单数据)相一致的概率，并给出推荐处理意见。

货物类型由海关HSCODE编码指定。货物在集装箱中的堆放存在着一般规律，主要可以分为四种常见的堆放模式，如图3所示。一般情况下，不同的货物类型常常对应着不同的堆放模式，例如纸浆货物一般呈现堆放模式1，谷类货物一般呈现堆放模式2，酒类货物一般呈现堆放模式3，摩托车货物一般呈现堆放模式4。使用图像分析技术可以给出对当前货物堆放模式的预测。通过检索报关单上的信息，可以给出当前货物的报关类型，进而得到此类型货物的常规堆放模式。结合两方面信息，可以推断当前货物与报关货物类型(来自报关单数据)相一致的概率。通过货物堆放模式的一致性程度，给出推荐处理意见。

图6示出了货物堆放模式预测及推荐处理建议流程。在步骤S61，S62和S63，扫描得到扫描图像并对集装箱卡车的扫描图像进行集装箱区域提取，然后通过分割算法提取货物区域。优选地，分割算法这里采用SRM(StatisticalRegionMerge)算法。对分割后的区域进一步处理，采用阈值限制方法剔除无货物区域，对面积没有超过整个集装箱面积1/3的区域剔除，剩下的区域认为是主体货物区域。

在步骤S64，对主体货物区域进行图像特征提取。优选地，这里采用Texton+BOW(BagofWords，词袋)方法，但不限于这种组合。例如对所述感兴趣区域提取被检查货物的堆放模式的描述信息，基于描述信息确定所述透射图像的感兴趣区域中货物的堆放模式的概率。

优选地，对感兴趣区域提取被检查货物的堆放模式的描述信息的步骤包括：对感兴趣区域进行分区，并对区域图像进行边缘提取；从提取的边缘中的有效位置处抽取纹理特征；从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。优选地，如下建立所述字典：在每个样本图像中进行等间距采样，并在每个位置抽取纹理特征；对所有位置抽取的纹理特征进行聚类，得到多个聚类中心的特征描述，形成字典。

在步骤S65，最后引入SVM(SupportVectorMachine)分类模型进行分类，并得到预测堆放模式。

在步骤S66，S67和S68，通过检索报关单，可以得到货物的报关类型，进而可以得到货物的常规堆放模式。例如，通过将基于报关单确定的堆放模式的货物类型概率与基于透射图像确定的堆放模式的概率相乘来确定一致性概率，并且在该一致性概率低于预定值的情况下，判断该货物与报关单中的货物不符。使用如下概率公式计算货物类型一致性概率：

p(Cargo|StackMode_predict)＝p(Cargo|StackMode_manifest)p(StackMode_manifest|StackMode_predict)

其中p(Cargo|StackMode_manifest)表示基于报关单确定的货物类型概率，p)StackMode_manifest|StackMode_predict)表示基于预测的堆放模式确定的概率，即基于透射图像确定的堆放模式的概率。

此外，推荐处理建议可以分为四个等级，可以通过，似乎有些不同，似乎需要仔细检查，需要仔细检查。

货物种类推断是通过分析货物X射线图像内容，双能材料识别信息以及报关单上的数据来预测货物可能的类型，从而来推断其与报关货物类型(来自报关单数据)相一致的概率，并给出风险程度和推荐处理意见。货物类型由海关HSCODE编码指定。对货物类型的预测需要对图像内容信息，双能材料识别信息和来自报关单上的数据，如进出口公司，进出口国家，进出口时间等信息进行建模，从而完成联合推断。通过推断结果，最终给出其与报关单上的货物类型相一致的概率。通过对预测货物类型和报关货物类型(来自报关单数据)的税费差异，出口管制程度的分析，来建立代价模型，从而给出风险程度，并以此为依据给出推荐处理方案。

图7是描述根据本发明实施例的货物类型预测、风险程度估计及推荐处理意见的流程图。在步骤S71，S72和S73，对集装箱卡车的扫描图像进行集装箱区域提取，然后通过分割算法提取货物区域。优选地，分割算法这里采用SRM算法。对分割后的区域进一步处理，采用阈值限制方法剔除无货物区域，对面积没有超过整个集装箱面积1/3的区域剔除，剩下的区域认为是主体货物区域。

在步骤S74，对主体货物区域进行图像特征提取，优选地，这里采用Texton+BOW(BagofWords)方法，但不限于这种组合。优选地，在步骤S75，引入SVM(SupportVectorMachine)分类模型进行分类，并得到初步预测货物类型。在步骤S76，使用概率模型联合报关单信息，其中包括进出口公司，进出口时间，进出口国家。

概率公式如下：

$\begin{array}{c}p\left(C\arg o\right|\mathrm{Info})\≈\\ \frac{1}{2}*p\left(C\arg o\right|\mathrm{Image})*p\left(\mathrm{Country}\right|C\arg o)*p\left(\mathrm{Company}\right|C\arg o)\\ *p\left(\mathrm{Time}\right|C\arg o)\end{array}$

其中Z是归一化常数，p(Cargo|Image)表示基于图像信息确定的货物类型概率，p(Country|Cargo)表示基于进出口国家确定的货物类型概率，p(Company|Cargo)表示基于进出口公司确定的货物类型概率，p(Time|Cargo)表示基于进出口时间确定的货物类型概率。

在步骤S77，利用下面基于税费和货物管制的代价模型来计算代价值，然后在步骤S78，根据代价值确定风险程度：

$\mathrm{Cost}=\frac{1}{\exp (-\mathrm{\α}|T_m-T_p\left|\right)*\exp (-\mathrm{\β}{C}_p)}$

其中T_m为针对于报关单上的货物类型需征收的税率；T_p是针对于预测货物类型需征收的税率；C_p是预测货物类型是否是管制货物，是则为1，否则为0；α，β为参数用来控制税率和管制对代价模型的影响程度。在步骤S79，给出推荐处理建议可以分为四个等级，可以通过，似乎有些不同，似乎需要仔细检查，需要仔细检查。

混合货物分层推断是通过物理数学模型来推断混合货物的组成成分。分层推断示意图见图4。优选地，按每隔10个原子序数构建一个层，进行此段中的物质显示。将具有能谱分布的X射线等效地看成某一能量的单能X射线。从而整个物理过程简化成某个等效单能X射线穿过混合物质的过程。通过建立单能X射线穿过混合物质的衰减规律公式，导出输入射线强度和输出射线强度的关系。通过有监督学习的方法求解不同原子序数物质在未知的等效能量X射线下的质量衰减系数。在实际进行混合物质推断时，可以通过稀疏方法，来计算质量厚度的稀疏解，从而推断混合物的组成。

对于加速器产生的具有能谱分布X射线，其穿过物质的衰减规律如下：

$I={\∫}_0^E{I}_{E^{\′}}{e}^{-\mathrm{\μ}(E^{\′},Z)t_m\left(Z\right)}{\mathrm{dE}}^{\′}$

其中I_E‘为在能量为E′的X射线剂量；I为X射线穿过物质后的总剂量；μ(E′，Z)为质量衰减系数，其与物质的原子序数和X射线能量有关；t_m为质量厚度，其与物质的原子序数有关。

用μ_eff(Z)表示在指定能谱分布X射线下的质量衰减系数，其只与物质的原子序数有关，并将这一项定义为等效质量衰减系数。从而上述公式可以写成：

$I=I_0{e}^{-{\mathrm{\μ}}_{\mathrm{eff}}\left(Z\right)t_m\left(Z\right)}$

其中I₀表示X射线的输出剂量，I表示X穿过物质后的剂量，μ_eff(Z)为等效质量衰减系数，t_m(Z)表示质量厚度。

对于混合物，则上述公式可以写成

$I=I_0{e}^{-{\mathrm{\Σ}}_k{\mathrm{\μ}}_{\mathrm{eff}}\left(Z_k\right)t_m\left(Z_k\right)}$

计算透明度lnT：

$\ln T=\ln \frac{I_0}{I}=\underset{k}{\mathrm{\Σ}}{\mathrm{\μ}}_{\mathrm{eff}}\left(Z_k\right)t_m\left(Z_k\right)$

对于双能系统存在高能和低能X射线能谱，因而存在

$\left(\begin{array}{c}\ln T_{\mathrm{low}}\\ \ln T_{\mathrm{high}}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{low}}}\left(Z_0\right)& & {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{low}}}\left(Z_n\right)\\ & ...& \\ {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{high}}}\left(Z_0\right)& & {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{high}}}\left(Z_n\right)\end{array}\right)\left(\begin{array}{c}{t}_m\left(Z_0\right)\\ .\\ .\\ .\\ t_m\left(Z_n\right)\end{array}\right)$

简化成如下矩阵表达形式

Y＝MX

其中 $M=\left(\begin{array}{ccc}{\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{low}}}\left(Z_0\right)& & {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{low}}}\left(Z_n\right)\\ & ...& \\ {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{high}}}\left(Z_0\right)& & {\mathrm{\μ}}_{{\mathrm{eff}}_{\mathrm{high}}}\left(Z_n\right)\end{array}\right),X=\left(\begin{array}{c}{t}_m\left(Z_0\right)\\ .\\ .\\ .\\ t_m\left(Z_n\right)\end{array}\right),Y=\left(\begin{array}{c}\ln T_{\mathrm{low}}\\ \ln T_{\mathrm{high}}\end{array}\right)$ 由于针对于不同能谱的等效质量衰减系数并不是特定常数，因而无法通过实验得出。优选地，在本专利中，采用有监督稀疏字典学习算法，但不限于此。具体算法如下：

1)字典学习，建立如下优化函数：

$\underset{M}{\min }\underset{l}{\overset{N}{\mathrm{\Σ}}}{\left|\right|Y_l-M{X}_l\left|\right|}_2^2$

2)基于训练样本对{X，Y}，进行字典学习，得到矩阵M。

3)混合物组成成分推断，建立如下优化函数：

${\min }_X{\left|\right|Y-\mathrm{MX}\left|\right|}_2^2,s.t.{\left|\right|X\left|\right|}_0\≤L$

4)最小化上述函数得到稀疏解X，非零项即表示可能的组成成分。

基于上述描述的混合物成分推断算法便可以实现混合物分层显示。

异常事件推断，是一种基于货物图像内容信息，进出口公司，进出口国家，以及进出口时间信息的异常事件推断方案。一般情况下，不同的进出口公司经营不同的进出口货物，不同的国家偏好进出口特定货物类型，相似种类货物往往集中在一定时间内进出口。推断的过程是，通过图像内容检索引擎，获得与当前扫描货物相似的货物列表，并根据其对应的进出口公司，进出口国家，进出口时间建立分布关系图(见图5)。依靠所建立的分布图以及报关单数据可以直观地给出当前进出口此类货物是否属于常规行为。

图8是描述根据本发明实施例的相似货物分布推断的流程图。对货物图像的前端处理与在货物堆放模式推断中的处理方式基本一致，因此步骤S81，S82和S84与前面参考图6描述的S61，S62和S64相同，这里不再详细描述。

在步骤S85，在获得对货物图像的特征描述后，进入基于图像内容的检索模块，获得相似度达到80％以上的货物图像列表。根据列表中的图像，从其对应的报关单数据中提取进出口国家，进出口公司，进出口时间数据。根据货物的类型，对检索得到的相似货物图像列表进行分类，并计算不同国家，不同公司在不同的时间段内进出口同种类型货物的概率。优选地，在步骤S86，采用图5的可视化方案。通过建立时间轴，来显示不同时间段内进出口相似货物情况。在每个时间片段内，通过不同的椭圆图形显示不同进出口国家对，并在其内部通过不同的椭圆形显示不同的进出口公司进出口相似货物的概率分布。依靠当前扫描货物的进出口国家，进出口公司，进出口时间以及报关货物类型，便可以直观地推断得到此类型货物，被当前公司进出口到指定国家是否属于常规事件。

局部信息推断系统主要分为重点区域引导，单堆货物推断和用户指定局部区域信息推断。

重点区域引导主要负责快速引导用户关注货物X射线图像中的特异性区域。特异性区域主要包括(1)偏离于主体堆放模式的货物区域，(2)无法进行货物类型预测的较小货物区域，(3)与全局纹理有较大差异的局部区域。往往在这些特异性区域中，可能夹带违禁物品。(1),(2)特异性区域的提取，均可通过图像分割和区域识别来间接提供。对无法识别堆放模式或货物类型的区域，并且其面积在指定范围内，均可认为是特异性区域。(3)特异性区域的提取，主要采用基于监督学习的方法建立纹理相似度计算模型，并根据显著性检测方法进行特异性区域检测。

重点区域分为三种不同类型，偏离主体堆放模式的区域、无法进行货物类型预测的较小区域、与全局纹理有较大差异的局部区域。第一二种重点区域均可以通过货物堆放模式推断和货物类型推断进行间接给出。计算第三种重点区域，需要给出纹理相似度的定义。优选地，通过监督学习的方式建立人的理解空间，从而建立纹理块的相似度的定义，但不限于此。

建立人的理解空间步骤：

第一步，从训练货物图像中采集不同的纹理块

第二步，根据人的主观判断，对纹理块的相似度进行比较

第三步，对纹理块进行特征抽取

第四步，采用Stochastictripletembedding算法，建立纹理相似度比较模型，即构建完成理解空间。

纹理相似度模型建立完成之后，便可以采用显著性检测的一般方法完成第三种重点区域的抽取。

单堆货物推断主要负责处理单独成堆但堆较小无法参与到全局信息推断当中的货物，并推断相应的货物类型。主要采用交互式的推断方法，其需要结合图像内容信息和用户交互信息进行联合推断。通过构建在给定图像信息下的货物类型和用户交互响应的联合概率模型来实现联合推断。

单堆货物推断采用交互式的推断方法，依靠图像内容以及人的交互来对单堆货物进行推断识别。优选地，构建概率模型：

p(z，U|x)＝p(U|z，x)p(z|x)

其中z表示货物类别，U表示用户的交互响应，x表示图像内容。

p(z|x)可以通过一般的图像识别算法得到，p(U|z，x)需要通过人的交互响应得到。

交互信息的引入可以有效地增强单纯依靠图像内容所建立的模型的准确性。选择什么样的交互信息是至关重要的。它需要尽可能与可以直接通过算法从图像内容分析得到的信息成为互补，从而引入更多的有效信息帮助识别。

优选地，在这里选择的交互信息是：选择单堆货物最具代表性的纹理块、从候选列表中选择与此单堆货物图像相似的货物。

用户指定局部区域信息推断，主要负责根据局部区域的纹理信息来推断可以呈现这种纹理的货物类型分布，平均原子序数，以及在集装箱中的位置。推断货物类型分布主要采用的是基于纹理的图像检索技术。推断平均原子序数主要通过双能X射线材料识别算法。推断位于集装箱中的位置，需要通过此区域在图像中的位置以及图像放缩比例来确定。

例如，实现步骤如下：第一步，抽取指定区域的纹理特征，优选地，使用FisherVector。第二步，基于图像内容检索，得到相似度达到80％以上的纹理块列表。第三部，通过检索到的纹理块列表，得到其对应的货物种类信息，从而建立可以呈现此类纹理的货物类型分布图。第四步，通过双能材料识别算法，得到平均原子序数。第五步，图像的放缩尺度和指定区域的像素位置得到其在集装箱中的坐标位置。

主动学习系统负责主动发现依靠当前模型难于判别的图像样本，并提供给用户使其帮助进行标注，最后进行模型的在线更新。主动学习模块为全局系统推断和局部系统推断进行实时服务。主动学习系统是底层辅助系统，主要负责货物堆放模型推测和货物类型推测模型服务。主动发现基于当前模型难于识别的样本，并在线更新模型。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (20)

1.一种检查货物的方法，包括步骤：

获得被检查货物的透射图像；

对所述透射图像进行处理，得到感兴趣区域；

对所述感兴趣区域进行特征提取，并根据提取的特征确定所述被检查货物的货物信息；

基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。

2.如权利要求1所述的方法，其中所述货物信息具体为货物的堆放模式，所述对所述感兴趣区域进行特征提取的步骤包括：

对所述感兴趣区域提取被检查货物的堆放模式的描述信息；

其中，基于所述描述信息确定所述透射图像的感兴趣区域中货物的堆放模式的概率。

3.如权利要求2所述的方法，其中对所述感兴趣区域提取被检查货物的堆放模式的描述信息的步骤包括：

对感兴趣区域进行分区，并对区域图像进行边缘提取；

从提取的边缘中的有效位置处抽取纹理特征；

从字典中找到所述纹理特征的最邻近的元素，得到所述区域的直方图描述特征，其中所述字典是基于训练图像样本而建立的。

4.如权利要求3所述的方法，其中如下建立所述字典：

在每个样本图像中进行等间距采样，并在每个位置抽取纹理特征；

对所有位置抽取的纹理特征进行聚类，得到多个聚类中心的特征描述，形成字典。

5.如权利要求1所述的方法，其中对所述被检查货物提取货物区域并且通过阈值限定来剔除无货物区域，从而确定感兴趣区域。

6.如权利要求2所述的方法，其中基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见的步骤包括：

通过将基于报关单确定的堆放模式的货物类型概率与基于透射图像确定的堆放模式的概率相乘来确定一致性概率，并且在该一致性概率低于预定值的情况下，判断该货物与报关单中的货物不符。

7.如权利要求1所述的方法，其中所述货物信息具体为货物类型，所述对所述感兴趣区域进行特征提取的步骤包括：

对所述感兴趣区域提取被检查货物的货物类型的描述信息；

其中，基于所述描述信息确定所述透射图像的感兴趣区域中货物的货物类型的概率；

使用所述概率并联合进出口公司、进出口时间、和进出口国家得到该货物与报关单上货物类型一致性的概率值。

8.如权利要求7所述的方法，其中对货物类型的概率是根据原子序数和电子密度而确定的。

9.如权利要求7所述的方法，其中基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见的步骤包括：通过比较预测的货物类型和报关单货物类型的税费差异，和对出口管制程度的分析，来建立代价模型，进而给出对该货物的推荐处理意见。

10.如权利要求1所述的方法，还包括步骤：

利用图像内容检索引擎，获得与被检查货物相似的货物列表；

根据与所述货物列表相关的进出口公司、进出口国家和进出口时间建立分布关系描述；

基于所建立的分布关系描述确定所述货物是否属于正常货物。

11.如权利要求10所述的方法，其中根据货物的类型，对检索到的相似货物图像列表进行分类，并计算不同国家、不同公司在不同时间段内进出口相同类型货物的概率。

12.如权利要求11所述的方法，其中通过建立时间轴，来显示不同时间段内进出口相似货物的情况。

13.如权利要求10所述的方法，在每个时间段内，通过不同的图形显示不同进出口国家对，并显示不同进出口公司进出口相似货物的概率分布。

14.如权利要求1所述的方法，还包括步骤：

向用户提示偏离于主体堆放模式的货物区域、无法进行货物类型预测的较小货物区域、或与全局纹理有较大差异的局部区域。

15.如权利要求1所述的方法，还包括步骤：

采用交互式的推断方法确定单独成堆但堆较小无法参与到全局信息推断当中的货物的货物类型。

16.如权利要求1所述的方法，还包括步骤：

根据局部区域的纹理信息推断可以呈现这种纹理的货物的类型分布、平均原子序数、或在集装箱中的位置。

17.如权利要求16所述的方法，还包括步骤：

抽取指定区域内的纹理特征；

基于图像内容检索，得到相似度高于预定值的纹理块列表；

确定纹理块列表的货物种信息，从而建立呈现此类纹理的货物类型分布。

18.如权利要求17所述的方法，其中通过双能材料识别算法得到被检查货物的平均原子序数。

19.如权利要求17所述的方法，其中利用图像缩放尺度和指定区域的像素位置得到指定区域在集装箱中的实际位置。

20.一种检查货物的系统，包括：

辐射成像系统，对被检查货物进行扫描，以获得被检查货物的透射图像；

数据处理装置，对所述透射图像进行处理，得到感兴趣区域，对所述感兴趣区域进行特征提取，根据提取的特征确定所述被检查货物的货物信息，基于所确定的货物信息和报关单中的至少部分信息给出对该货物的推荐处理意见。