CN110023990A - 利用配准检测违法物品 - Google Patents

利用配准检测违法物品 Download PDF

Info

Publication number
CN110023990A
CN110023990A CN201780073690.5A CN201780073690A CN110023990A CN 110023990 A CN110023990 A CN 110023990A CN 201780073690 A CN201780073690 A CN 201780073690A CN 110023990 A CN110023990 A CN 110023990A
Authority
CN
China
Prior art keywords
reference picture
check image
container
image
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073690.5A
Other languages
English (en)
Other versions
CN110023990B (zh
Inventor
A·马尔恰诺
N·加迪
L·可汗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Germany Smith Hayman Simplified Joint-Stock Co
Original Assignee
Germany Smith Hayman Simplified Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Germany Smith Hayman Simplified Joint-Stock Co filed Critical Germany Smith Hayman Simplified Joint-Stock Co
Publication of CN110023990A publication Critical patent/CN110023990A/zh
Application granted granted Critical
Publication of CN110023990B publication Critical patent/CN110023990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

在一个实施方式中，提供了一种用于检查容器的方法，包括：将所述容器的检查图像分类在感兴趣容器的一个或多个预定类别的匹配类别中，每个预定类别包括与感兴趣容器的类型相关联的参考图像，其中所述检查图像利用通过所述容器的检查辐射的透射而生成；将所述检查图像的形状模型和与所述匹配类别中的参考图像相关联的相应形状模型进行比较；基于所述比较，将所述检查图像与匹配参考图像相关联；将所述检查图像的一个或多个区域与所述匹配参考图像的相应的一个或多个区域配准；和基于所述配准，绘制所述检查图像和所述匹配参考图像之间的差异。

Description

利用配准检测违法物品
技术领域
本公开涉及通过辐射透射进行检查的方法和系统，并且更具体地涉及用于检测容器中的违法物品的检查。
背景技术
已知的检查方法和系统使用通过容器的辐射的透射。当危险物品或违禁品放置在通过透射检查时具有复杂图案的容器中(例如，制冷单元或车辆的发动机)时，有时难以检测到危险物品(例如武器或爆炸物)或违禁品(例如香烟或毒品)。
附图说明
现在将参照附图仅以示例的方式描述本公开的实施方式，其中：
图1是示出根据本公开的示例性分析器的示意图，该示例性分析器被配置为连接到根据本公开的检查系统；
图2是以检查模式示出根据本公开的移动检查系统的示例的后视图；
图3是以检查模式示出根据本公开的静止检查系统的示例的后视图；
图4是示出根据本公开的示例性方法的流程图；
图5示出了根据本公开的示例性检查图像，其被分类为根据本公开的预定类别；
图6示出了根据本公开的示例性检查图像与根据本公开的匹配类别中的参考图像进行比较；
图7示出了根据本公开的示例性检查图像，其与根据本公开的匹配参考图像相关联；
图8示出了根据本公开的与检查图像配准的示例性匹配参考图像；
图9示出了根据本公开的所绘制的(mapped)差异；
图10是示出根据本公开的示例性方法的细节的流程图；
图11是示出根据本公开的示例性方法的细节的流程图；
图12示意性地示出了根据本公开的参考图像的注释；
图13示意性地示出了灰度级轮廓，其对应于沿着由界标LMi定义的形状的法线的灰度级轮廓的样本；
图14示意性地示出了在普鲁克(Procrustes)分析之后获得的6种模式的形状表示；
图15是示出根据本公开的示例性方法的细节的流程图；
图16A示意性地示出了示例性位移矢量场；
图16B示意性地示出了图16A的示例性位移矢量场的细节；
图17是示出根据本公开的示例性方法的细节的流程图；
图18A示意性地示出了在应用自适应阈值处理之后获得的图像的示例；
和
图18B示意性地示出了在应用形态学运算之后获得的图像的示例；
图19示意性地示出了向用户显示的最终图像；
图20A和20B示意性地示出了梯度直方图的示例；
图21A示意性地示出了卡车的示例性初始图像；
图21B示意性地示出了生成的二进制图像的示例；
图21C示意性地示出了图21B的二值化图像中的感兴趣点的检测；和
图21D示意性地示出了感兴趣区域的生成。
在附图中，相同的附图标记用于表示相同的元素。
具体实施方式
概述
本公开的实施方式涉及一种用于检查容器的方法。容器的检查图像被分类在感兴趣容器的预定类别的类别中。将检查图像的模型与包含在检查图像已被分类在的类别中的参考图像的模型进行比较。参考图像中最接近的参考图像与检查图像相关联，并且相对于检查图像被配准，以绘制检查图像和最接近的参考图像之间的差异。在一些示例中，将分类器应用于绘制的差异，并且确定差异对应于感兴趣对象的概率。
示例性实施方式的详细描述
图1示出了被配置成检查容器3的检查图像2的分析器1。
每个图像2可以由下面更详细描述的检查系统4生成。
如下面将更详细地显而易见的，分析器1可以被配置为(例如通过通信网络5)从系统4接收一个或多个图像2，通信网络5可以是有线网络和/或可以是无线网络。分析器1通常至少包括处理器和存储器，以便执行根据本公开的示例性方法。
如下面关于图2和3进一步详细说明的那样，检查系统4被配置为通过检查辐射6从检查辐射源7通过容器3透射到检查辐射检测器8，来检查容器3。
图2和图3示出了容器3可包括运输容器和/或车辆(例如，汽车、和/或货车、和/或公共汽车、和/或火车、和/或卡车)、和/或运输容器和/或车辆的一部分(例如，发动机、和/或行李箱盖、和/或发动机罩、和/或车顶、和/或地板、和/或车轮、和/或拖车、和/或制冷单元)。因此可以理解，容器3可以是任何类型的容器，并且因此在一些示例中可以是手提箱。
辐射源7被配置成通过容器3的壁的材料(通常是钢)对容器3进行检查，例如以检测和/或识别容器的负载和/或感兴趣对象。作为非限制性示例，感兴趣对象可以包括危险物品(例如武器或爆炸物)和/或违禁品(例如香烟或药物等)。
系统4被配置成在检查模式中对容器3进行整体检查(即，检查整个容器3)或部分检查(即，仅检查容器的选定部分)。部分检查可能是有利的，例如，通常当检查车辆时，可能不检查车辆的驾驶室以保护车辆的驾驶员免受辐射，而检查车辆的后部。
在图2所示的示例中，检查系统4可以是移动的，并且可以从一个位置运输到另一个位置(系统4可以包括机动车辆)。并且，在图3所示的示例中，检查系统4可以是相对于地面是静止的，不能移位。
一种类型的检查系统4的特征可在于检查辐射6的能量和/或剂量。
在图中所示的示例中，检查辐射源7包括X射线发生器。X射线的能量可以在300keV和15MeV之间，剂量可以在2mGy和20Gy之间(Gray)。
在图2所示的示例中，对于例如150mm至350mm之间，典型地例如200mm(7.9英寸)的钢穿透能力，X射线源7的功率可以例如在500keV到9.0MeV之间，典型地例如2MeV、3.5MeV、4MeV或6MeV。在图2所示的实例中，剂量可以例如在20mGy和50mGy之间。
在图3所示的示例中，对于例如300mm至450mm之间，典型地例如410mm(16.1英寸)的钢穿透能力，X射线源7的功率可以例如在4MeV到10MeV之间，典型地例如9MeV。在图3所示的示例中，剂量可以是17Gy。
在附图所示的示例中，除了其他常规电气元件之外，检查辐射检测器8还包括辐射检测线9，例如X射线检测线。检查辐射检测器8可以进一步包括其他类型的检测器，例如可选的伽玛和/或中子检测器，例如其适于检测容器3内放射性伽马和/或中子发射材料的存在，例如同时进行X射线检查。
在图2所示的示例中，检查辐射检测器8还可以包括电动液压悬臂10，其可以在运输模式(图中未示出)和检查位置(图2)中以缩回位置操作。悬臂10可以由液压致动器(例如液压缸)操作。
在图3所示的示例中，检查辐射检测器8还可以包括结构和/或机架10。
检测线9可以安装在悬臂10(图2)或结构和/或机架10(图3)上，该检测线9面向容器3另一侧的源7。
为了检查容器3，在图2所示的示例中，系统4可以包括运动生成装置，使得系统4可以移位，容器3是静止的(这种模式有时被称为“扫描”模式)。替代地或另外地，运动生成装置可以使容器3移位，系统4相对于地面是静止的(图3)。替代地或另外地，在“直通”模式中，系统4不包括运动生成装置，并且容器相对于系统4移动，系统4相对于地面是静止的。
图4、5和6所示的示例性方法可以包括，在S1，将容器3的检查图像2分类在感兴趣容器的一个或多个预定类别Cn的匹配类别Cm中。
在图5的示例中，感兴趣容器的类型包括车辆的制冷单元。应该理解的是，本公开可以应用于其他容器的检查图像，例如汽车的图像。
世界上有几种类型的制冷单元。例如，在欧洲，ISO制冷单元可分为10至15类，最常见的卡车制冷单元可分为15类。在图5的示例中，n被包括在1和8之间，匹配类别Cm是预定类别C1。
如图6所示，在一些示例中，每个预定类别Cn包括与一类感兴趣容器相关联的参考图像2R。
如图4和6所示，该方法还可以包括，在S2，将检查图像2的形状模型与匹配类别Cm内的参考图像2R相关联的对应形状模型进行比较。
如图4和7所示，该方法还可以包括，在S3，基于比较，将检查图像2与匹配参考图像2RM相关联。
如图4和8所示，该方法还可以包括，在S4，将检查图像2的一个或多个区域21、22和23与匹配参考图像2RM的对应的一个或多个区域Z1、Z2和Z3配准。
如图4和9所示，该方法还可以包括，在S5，基于配准，绘制检查图像2和匹配参考图像2RM之间的差异25。
如图5和10所示，在S1，分类可以包括：
在S11，通过将与感兴趣容器的类型(例如预定的制冷单元的类型)相关联的参考图像2R分组，生成每个预定类别Cn；
在S12，通过提取参考图像2R的图像特征，为每个参考图像生成分类描述符；
在S13，通过将分类器应用于每个参考图像2R的分类描述符，来训练分类器；
在S14，通过提取检查图像的图像特征，生成用于检查图像的分类描述符；和
在S15，将所训练的分类器应用于检查图像的分类描述符。
在一些示例中，提取图像特征包括使用预先训练的卷积神经网络。
在一些示例中，在S13被训练并在S15被应用的分类器包括多类支持向量机SVM。SVM的类的数量等于预定类型的数量。
如图6所示，一旦检查图像2被分在匹配类别中，仍然存在类内可变性。因此，在一些示例中，在S2比较形状模型可以包括使用统计形状模型SSM。
在一些示例中，SSM可以包括主动形状模型ASM、和/或主动外观模型AAM、和/或约束本地模型CLM中的至少一个。
SSM的实例是已知的，例如来自Cootes等人的“Active Shape Models-TheirTraining and Application”(于1995年发表于Computer Vision and ImageUnderstanding)、Cootes等人的“An Introduction to Active Shape Models”(于2000年发表于Image Processing and Analysis，牛津大学出版社)、以及Van Ginneken等人的“Active Shape Model Segmentation with Optimal Features”(2000年发表于MedicalImaging，IEEE Transactions)。
如图6和11所示，使用SSM可以包括在S21，在参考图像2R上训练SSM，以获得参考图像2R的参数矢量。例如，N个参考图像2R的参数矢量由pi表示，其中i被包括在1和N之间。
在一些示例中，如图12所示，训练SSM包括，对于每个参考图像2R，通过指示参考图像2R中的一个或多个界标LM来注释参考图像2R。
在一些示例中，在S21训练SSM还包括基于参考图像的注释获得参数矢量pi。
获取图像(例如参考图像2R)的参数矢量pi包括：
堆叠与一个或多个界标LM相关联的坐标，以获得界标的分布模型；
堆叠与每个界标相关联的灰度级轮廓，以获得界标的灰度级矢量；和
通过对堆叠应用主成分分析来近似分布模型和灰度级矢量。
在一些示例中，坐标可以是参考图像2R中的每个界标的坐标(x，y)。
灰度级轮廓的示例是已知的，例如来自Cootes等人的“An Introduction toActive Shape Models”(2000年发布于Image Processing and Analysis，牛津大学出版社)。如图13所示，每个灰度级轮廓可以对应于沿着由界标LMi定义的形状的法线的灰度级轮廓的样本。
在一些示例中，获得参数矢量pi可以进一步包括，在近似分布模型之前应用普鲁克(Procrustes)分析。图14显示了普鲁克分析后获得的6种模式的形状表示。
如图6和11所示，在S22，使用SSM可以包括将所训练的SSM应用于检查图像2，以获得检查图像的参数矢量。检查图像2的参数矢量由pIm表示。获得检查图像2的参数矢量pIm包括与获得参考图像2R的参数矢量pi所执行的步骤相同的步骤。
在一些示例中，在S3，将检查图像2与匹配参考图像2RM相关联包括对所获得的形状矢量pi和pIm，即所获得的检查图像的形状矢量pIm和参考图像的形状矢量pi，应用k-最近邻(k-NN)算法。
获得的参数矢量具有低维度(例如4或5维)。因此，可以将每个矢量pi与矢量pIm进行比较，并且可以识别矢量pi中的最近邻pNN。
在一些示例中，在S4执行的配准中，检查图像2被认为是固定图像，而匹配参考图像2RM被认为是移动图像。这可以降低检查中感兴趣对象可能变形或衰减的风险。
在一些示例中，固定图像和移动图像都可以被分成不同的区域，并且因此在S4执行的配准可以被同化为分段刚性模型。
如图8和15所示，在S4，将检查图像2的一个或多个区域(例如区域21、22或23)与匹配参考图像2RM的相应的一个或多个区域(例如区域Z1、Z2或Z3)配准包括，对于检查图像2的每个区域以及匹配参考图像2RM的每个对应区域：
在S41，生成特征点24；
在S42，确定检查图像2的区域的特征点24与匹配参考图像2RM的区域的特征点24之间的对应关系；和
在S43，基于所述确定，确定从检查图像的区域到匹配参考图像的区域的变换。
在一些示例中，特征点24可以包括尺度不变特征变换(SIFT)点或加速鲁棒特征(SURF)点中的至少一个。迭代地，生成SIFT或SURF特征点，并且确定检查图像和匹配参考图像的对应区域的对应关系。在一些示例中，可以使用过滤算法(例如，随机抽样一致性(RANSAC)算法)来过滤异常值对应关系。
在一些示例中，在S4处配准可以进一步包括，对于匹配参考2RM的每个区域：
在S44，基于变换的确定，确定位移矢量场；和
在S45，将方向扩散方法应用于位移矢量场。
所确定的位移矢量场的示例在图16A和16B中示出。位移矢量场可以是密集的，在匹配参考图像2RM中的区域Z1、Z2和Z3之间的边界处具有不连续性。
在S45应用的方向扩散方法能够获得更平滑的场。方向扩散方法的一个示例从Tang等人的“Direction Diffusion”(1999年发表于Computer Vision)中已知。它可以对位移矢量进行归一化，并同时演化场I的X和Y分量的各向同性扩散方程：
对于i＝1和i＝2，其中i＝1与位移矢量场的X分量相关联，并且i＝2与位移矢量场的Y分量相关联。
在边界处应用具有最大值的高斯核也可以避免在图像2RM的其他区域处的归一化。
在一些示例中，如图17所示，在S5处所绘制的差异25包括：
在S51，提取所绘制的差异25的图像，如下面更详细描述的；
在S52，获得所绘制的差异25的二值化图(map)；
在S53，将经过训练的二进制支持向量机SVM应用于二值化的所绘制的差异25；和
在S54，基于SVM的应用，确定差异对应于感兴趣对象的概率。
在一些示例中，在S51处提取可以包括通过确定以下内容来提取检查图像2和所配准的匹配参考2RM图像之间的差异的图像Diff：
Diff＝IReg-Ifixed
其中IReg与所配准的匹配参考图像2RM相关联，并且Ifixed与检查图像2相关联。
替代地或另外地，在S51处提取可以包括通过确定以下内容，提取通过所配准的匹配参考图像2RM执行的检查图像2的划分的图像Div：
Div＝1-Irr,其中
图像Div源自兰伯特定律(Lambert’s law)。
图9中示出了图像Diff的示例。
如图9、17、18A和18B所示，该方法可以进一步包括在S52获得所绘制的差异的二值化图。在一些示例中，在S52处获得二值化图包括将自适应阈值处理应用于所提取的图像(例如，图9中所示的图像Diff，但是这也可以应用于图像Div)，以获得图18A中所示的图像。在一些示例中，该方法可以进一步包括，在S52，在已经应用自适应阈值之后，将形态学运算应用于所提取的图像(即，图18A中所示的图像)，以获得图18B中所示的二值化的所绘制的差异25的图像。
图18B中所示的图像中的每个二值化映射差值25对应于包含潜在感兴趣对象(例如危险物品或违禁品)的区域。
在S53处应用所训练的SVM可以包括，将二进制SVM应用于通过在S52执行的二值化获得的所绘制的差异25，如图18A和18B所示。
在一些示例中，训练二进制SVM包括：
预先确定所绘制的差异25的标准；和/或
预定义所绘制的差异在参考图像中的一个或多个位置。
在一些示例中，标准包括以下中的至少一个：尺寸、形状、强度或纹理。在训练期间，如果二值化的所绘制的差异25不符合标准，SVM将学习丢弃二值化的所绘制的差异25作为误报，例如因为它们太小(例如小于10cmx10cm，取决于容器和感兴趣对象)或者在图像上太微弱，或者因为它们位于某些位置(这依赖于关于容器的特定位置的知识，这些位置不太可能包含例如非法产品)。
在S53处应用训练的SVM之后，在S54处基于SVM的应用确定所绘制的差异对应于感兴趣对象的概率。
如图19所示，该方法可以进一步包括基于映射输出信号，例如从在S54执行的步骤导出。该信号可以被配置为引起视觉警报，例如显示检查图像2上的方形26，指示感兴趣对象的位置。替代地或另外地，信号可以被配置为引起听觉警报，以在发现感兴趣对象时吸引用户的注意力。因此，用户可以搜索容器以进行检查。
在一些示例中，该方法可以包括，在S1执行分类之前，通过以下方式确定检查图像2对应于感兴趣容器：
提取梯度直方图；和
将提取的梯度直方图和与感兴趣容器相关联的梯度直方图进行比较。
梯度直方图的示例从Dalal等人的“Histograms of Oriented Gradients forHuman Detection”(2005发表于Computer Vision and Pattern Recognition)已知。示例也显示在图20A和20B中。在图20A中，梯度直方图对应于感兴趣容器(例如制冷单元)，而在图20B中，梯度直方图不对应于感兴趣容器。比较可以包括使用所训练的SVM。
在上面的公开中，检查图像最初对应于待检查的容器，例如制冷单元的初始图像。如图21A所示，可能的情况是初始检查图像不对应于待检查的容器，例如检查卡车的初始图像并且仅对卡车的制冷单元感兴趣。在这样的示例中，该方法可以进一步包括通过选择容器的初始图像中的感兴趣区域来生成检查图像。如图21B至21D所示，选择可包括：
二值化初始图像(如图21B所示)；
检测所二值化的图像中的感兴趣点，例如拖车的角落(如图21C所示)；
基于所述检测，生成感兴趣区域(如图21D所示)；和
基于所述生成，裁剪初始图像。
如图1所示，应当理解，在根据本公开的方法的示例中，分析器1可以被配置为通过通信网络12从数据库11检索参考图像，这要归功于配置的通信服务器13提供远程数据管理系统。替代地或另外地，数据库11可以至少部分地位于分析器1中。
在图1所示的示例中，服务器13还可以通过网络12向多个地理上分布的分析器1提供对数据库11的访问。
在一些示例中，数据库11可以由检查系统4检查的检查图像填充。这使得能够丰富和/或更新数据库11。
替代地或另外地，检查图像2可以由分析器1从数据库11检索。
本公开可以应用于在第一位置由系统4(例如由能谱和几何形状限定)检查容器(例如运输容器或车辆)的情况。分析器1可以执行检查图像2与存储在数据库11中的参考图像2R的比较，而不管分析器1和/或数据库11相对于系统4的位置。在一些示例中，分析器1和/或数据库11可以位于与第一位置不同的第二位置。在一些示例中，参考图像2R对应于在能谱和/或几何形状上由与系统4类似或相同的系统检查的检查图像。
变型和修改
在本公开的上下文中，系统或分析器的其他变型和修改对于本领域技术人员将是显而易见的，并且上述各种特征可以具有或不具有上述其他特征的优点。
例如，分析器1和/或数据库11可以至少部分地形成检查系统4的一部分。
应理解，检查辐射源可包括其他辐射源，例如伽马射线或中子。检查辐射源还可以包括不适合由电源激活的源，例如放射源，例如使用Co60或Cs137的放射源。
作为一种可能性，提供了一种包括计算机程序指令的计算机程序、计算机程序产品或计算机可读介质，以使可编程计算机执行本文描述的任何一种或多种方法。在示例实现中，与本文中的分析器1和/或通信网络5和/或12相关的活动的至少一些部分可以用软件实现。应该理解，如果需要，本公开的软件组件可以以ROM(只读存储器)形式实现。通常，如果需要，软件组件可以使用常规技术以硬件来实现。
在一些示例中，分析器1和/或通信网络5和/或12的组件可以使用专用应用程序和硬件。
如对于本领域技术人员显而易见的，服务器13不应该被理解为单个实体，而是指包括至少一个处理器和存储器的物理和/或虚拟设备，存储器可以包括在一个或多个服务器中，这些服务器可以位于单个位置或者可以彼此远离以形成分布式网络(例如“服务器群”，例如，使用有线或无线技术)。
在一些示例中，一个或多个存储器元件(例如，数据库11和/或处理器的存储器)可以存储用于本文描述的操作的数据。这包括能够存储被执行以实施本公开中描述的活动的软件、逻辑、代码或处理器指令的存储器元件。
处理器可以执行与数据相关联的任何类型的指令，以实现本公开中在此详述的操作。在一个示例中，处理器可以将元件或物品(article)(例如，数据)从一个状态或事物变换为另一个状态或事物。在另一示例中，本文概述的活动可以用固定逻辑或可编程逻辑(例如，由处理器执行的软件/计算机指令)来实现，并且本文中标识的元件可以是某种类型的可编程处理器、可编程数字逻辑(例如，现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))、ASIC，包括数字逻辑、软件、代码、电子指令、闪存、光盘、CD-ROM、DVD ROM、磁卡或光卡，适用于存储电子指令的其他类型的机器可读介质，或其任何合适的组合。
通信网络5和通信网络12可以仅形成一个网络。
分析器1接收的数据通常可以通过一系列可能的通信网络5和/或12接收，至少例如：基于卫星的通信网络；基于电缆的通信网络；基于电话的通信网络；基于移动电话的通信网络；互联网协议(IP)通信网络；和/或基于计算机的通信网络。
在一些示例中，通信网络5和/或12和/或分析器1可以包括一个或多个网络。网络可以以任何形式供应，包括但不限于局域网(LAN)、无线局域网(WLAN)、虚拟局域网(VLAN)、城域网(MAN)、广域网(WAN)、虚拟专用网络(VPN)、内联网、外联网、任何其他适当的体系结构或系统，或其促进网络通信的任何组合。
上述实施方式应被理解为说明性示例，并且设想其他实施方式。应当理解，关于任何一个实施方式描述的任何特征可以单独使用，或者与所描述的其他特征组合使用，并且还可以与任何其他实施方式，或任何其他实施方式的任何组合的一个或多个特征组合使用。此外，在不脱离由所附权利要求限定的本发明的范围的情况下，也可以采用以上未描述的等同物和修改。

Claims (30)

1.一种检查容器的方法，包括：
将所述容器的检查图像分类在感兴趣容器的一个或多个预定类别的匹配类别中，每个预定类别包括与感兴趣容器的类型相关联的参考图像，
其中所述检查图像利用通过所述容器的检查辐射的透射而生成；
将所述检查图像的形状模型和与所述匹配类别中的参考图像相关联的相应的形状模型进行比较；
基于所述比较，将所述检查图像与匹配参考图像相关联；
将所述检查图像的一个或多个区域与所述匹配参考图像的相应的一个或多个区域配准；和
基于所述配准，绘制所述检查图像和所述匹配参考图像之间的差异。
2.根据权利要求1所述的方法，其中所述分类包括：
通过对与感兴趣容器的类型相关联的参考图像进行分组，来生成每个预定类别；
通过提取所述参考图像的图像特征，来为每个所述参考图像生成分类描述符；和
通过将分类器应用于每个所述参考图像的所述分类描述符，来训练所述分类器。
3.根据权利要求1或2所述的方法，其中所述分类还包括：
通过提取所述检查图像的图像特征，生成针对所述检查图像的分类描述符；和
将所训练的分类器应用于所述检查图像的所述分类描述符。
4.根据权利要求2或3所述的方法，其中提取所述图像特征包括：使用预先训练的卷积神经网络。
5.根据权利要求2、3或4所述的方法，其中所述分类器包括多类支持向量机。
6.根据权利要求1至5中任一项所述的方法，还包括在所述分类之前，通过以下方式确定所述检查图像对应于感兴趣容器：
提取梯度直方图；和
将提取的梯度直方图和与感兴趣容器相关联的梯度直方图进行比较。
7.根据权利要求1至6中任一项所述的方法，其中比较所述形状模型包括：使用统计形状模型SSM，所述统计形状模型包括以下中的至少一个：
主动形状模型ASM；和/或
主动外观模型AAM；和/或
约束本地模型CLM。
8.根据权利要求7所述的方法，其中使用所述SSM包括：
在所述参考图像上训练所述SSM，以获得所述参考图像的参数矢量；和
将所训练的SSM应用于所述检查图像，以获得所述检查图像的参数矢量。
9.根据权利要求8所述的方法，其中训练所述SSM包括对于每个参考图像：
通过指示所述参考图像中的一个或多个界标，来注释所述参考图像；和
基于所述参考图像的所述注释，获得所述参数矢量。
10.根据权利要求8或9所述的方法，其中获得图像的所述参数矢量包括：
堆叠与一个或多个界标相关联的坐标，以获得所述界标的分布模型；
堆叠与每个界标相关联的灰度级轮廓，以获得所述界标的灰度级矢量；和
通过对所述堆叠应用主成分分析，来近似所述分布模型和所述灰度级矢量。
11.根据权利要求10所述的方法，还包括：在近似所述分布模型之前，应用普鲁克分析。
12.根据权利要求1至11中任一项所述的方法，其中将所述检查图像与所述匹配参考图像相关联包括：对所获得的形状矢量应用k-最近邻k-NN算法。
13.根据权利要求1至12中任一项所述的方法，其中将所述检查图像的一个或多个区域与所述匹配参考图像的相应的一个或多个区域配准包括：对于所述检查图像的每个区域以及所述匹配参考图像的每个相应的区域，
生成特征点；
确定所述检查图像的所述区域的所述特征点与所述匹配参考图像的所述区域的所述特征点之间的对应关系；
基于所述确定，确定从所述检查图像的所述区域到所述匹配参考图像的所述区域的变换。
14.根据权利要求13所述的方法，还包括：对于所述匹配参考图像的每个区域，
基于所述变换的所述确定，确定位移矢量场；和
将方向扩散方法应用于所述位移矢量场。
15.根据权利要求1至14中任一项所述的方法，其中绘制所述差异包括：
通过确定以下内容，来提取所述检查图像和所配准的匹配参考图像之间的所述差异的图像Diff：
Diff＝IReg-Ifixed；和/或
通过确定以下内容，来提取通过所配准的匹配参考图像执行的所述检查图像的所述划分的图像Div：
Div＝1-Irr,且
其中IReg与所配准的匹配参考图像相关联；并且Ifixed与所述检查图像相关联。
16.根据权利要求15所述的方法，还包括：通过以下方式获得二值化图：
对提取的图像应用自适应阈值处理；和
在应用所述自适应阈值之后，对提取的图像应用形态学运算。
17.根据权利要求16所述的方法，还包括：
将所训练的二进制支持向量机SVM应用于所述二值化图；和
基于所述应用，确定所述差异对应于感兴趣对象的概率。
18.根据权利要求17所述的方法，其中训练所述二进制SVM包括：
预先确定所绘制的差异的标准；和/或
预定义所绘制的差异在所述参考图像中的一个或多个位置。
19.根据权利要求18所述的方法，其中所述标准包括以下内容中的至少一者：尺寸、和/或形状、和/或强度、和/或纹理。
20.根据权利要求17至19中任一项所述的方法，其中所述感兴趣对象包括以下内容中的至少一者：
危险物品，例如武器或爆炸物；和/或
违禁品，例如香烟或毒品。
21.根据权利要求1至20中任一项所述的方法，还包括：通过选择所述容器的初始图像中的感兴趣区域，来生成所述检查图像。
22.根据权利要求21所述的方法，其中所述选择包括：
二值化所述初始图像；
检测所二值化的图像中的感兴趣点；
基于所述检测，生成所述感兴趣区域；和
基于所述生成，裁剪所述初始图像。
23.根据权利要求1至22中任一项所述的方法，其中所述容器包括以下内容中的至少一者：
运输容器；和/或
车辆，例如汽车、和/或货车、和/或公共汽车、和/或火车、和/或卡车；和/或
运输容器和/或车辆的部分，例如发动机、和/或行李箱盖、和/或发动机罩、和/或车顶、和/或地板、和/或车轮、和/或拖车、和/或制冷单元。
24.根据权利要求1至23中任意一项所述的方法，还包括：
基于所述绘制，输出信号。
25.根据权利要求24所述的方法，其中所述信号被配置为引起以下内容中的至少一者：
视觉警报；
听觉警报。
26.根据权利要求1至25中任一项所述的方法，还包括：从以下内容中的至少一者接收所述检查图像和/或所述参考图像：
检查系统，被配置为用于检查所述容器；和/或
数据库。
27.根据权利要求1至26中任一项所述的方法，其中通过所述容器的检查辐射包括：
被包含在300keV和15MeV之间的能量；和
被包含在2mGy和20Gy之间的剂量。
28.一种包括处理器和存储器的分析器，所述分析器被配置为执行包括以下步骤的方法：
将所述容器的检查图像分类在感兴趣容器的一个或多个预定类别的匹配类别中，每个预定类别包括与感兴趣容器的类型相关联的参考图像，
其中所述检查图像利用通过所述容器的检查辐射的透射而生成；
将所述检查图像的形状模型和与所述匹配类别中的参考图像相关联的相应的形状模型进行比较；
基于所述比较，将所述检查图像与匹配参考图像相关联；
将所述检查图像的一个或多个区域与所述匹配参考图像的相应的一个或多个区域配准；和
基于所述配准，绘制所述检查图像和所述匹配参考图像之间的差异。
29.根据权利要求28所述的分析器，还被配置为执行根据权利要求2至27中任一项所述的方法。
30.一种计算机程序产品，包括程序指令，所述程序指令用于对处理器进行编程，以执行根据权利要求1至27中任一项所述的方法，或对处理器进行编程，以提供根据权利要求28或29所述的分析器。
CN201780073690.5A 2016-11-28 2017-11-24 利用配准检测违法物品 Active CN110023990B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1620098.2A GB2556941B (en) 2016-11-28 2016-11-28 Detection of irregularities using registration
GB1620098.2 2016-11-28
PCT/GB2017/053545 WO2018096355A1 (en) 2016-11-28 2017-11-24 Detection of irregularities using registration

Publications (2)

Publication Number Publication Date
CN110023990A true CN110023990A (zh) 2019-07-16
CN110023990B CN110023990B (zh) 2024-05-03

Family

ID=58073363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073690.5A Active CN110023990B (zh) 2016-11-28 2017-11-24 利用配准检测违法物品

Country Status (5)

Country Link
US (1) US11062440B2 (zh)
EP (1) EP3545493A1 (zh)
CN (1) CN110023990B (zh)
GB (1) GB2556941B (zh)
WO (1) WO2018096355A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582014A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 容器识别方法、设备及计算机可读存储介质
CN112034523A (zh) * 2020-08-17 2020-12-04 长沙理工大学 一种危化品检测方法和检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091924A (en) * 1989-08-09 1992-02-25 Heimann Gmbh Apparatus for the transillumination of articles with a fan-shaped radiation beam
US20050134440A1 (en) * 1997-10-22 2005-06-23 Intelligent Technolgies Int'l, Inc. Method and system for detecting objects external to a vehicle
CN103310219A (zh) * 2012-03-08 2013-09-18 佳能株式会社 配准对象形状的精度评估方法和设备、配准的方法和设备
CN105372712A (zh) * 2014-09-02 2016-03-02 清华大学 车辆检查方法和系统
CN105809655A (zh) * 2014-12-30 2016-07-27 清华大学 车辆检查方法和系统
CN105809088A (zh) * 2014-12-30 2016-07-27 清华大学 车辆识别方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6025849B2 (ja) * 2011-09-07 2016-11-16 ラピスカン システムズ、インコーポレイテッド マニフェストデータをイメージング／検知処理に統合するｘ線検査システム
GB2525228B (en) * 2014-04-16 2020-05-06 Smiths Heimann Sas Identification or determination of a load based on texture
CN105787495A (zh) * 2014-12-17 2016-07-20 同方威视技术股份有限公司 具有车辆参考图像检索及比对功能的车辆检查系统和方法
EP3772702A3 (en) * 2016-02-22 2021-05-19 Rapiscan Systems, Inc. Methods for processing radiographic images
CN106651881B (zh) * 2016-12-28 2023-04-28 同方威视技术股份有限公司 车辆检查系统、车辆部位识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091924A (en) * 1989-08-09 1992-02-25 Heimann Gmbh Apparatus for the transillumination of articles with a fan-shaped radiation beam
US20050134440A1 (en) * 1997-10-22 2005-06-23 Intelligent Technolgies Int'l, Inc. Method and system for detecting objects external to a vehicle
CN103310219A (zh) * 2012-03-08 2013-09-18 佳能株式会社 配准对象形状的精度评估方法和设备、配准的方法和设备
CN105372712A (zh) * 2014-09-02 2016-03-02 清华大学 车辆检查方法和系统
CN105809655A (zh) * 2014-12-30 2016-07-27 清华大学 车辆检查方法和系统
CN105809088A (zh) * 2014-12-30 2016-07-27 清华大学 车辆识别方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582014A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 容器识别方法、设备及计算机可读存储介质
CN112034523A (zh) * 2020-08-17 2020-12-04 长沙理工大学 一种危化品检测方法和检测系统
CN112034523B (zh) * 2020-08-17 2022-07-19 长沙理工大学 一种危化品检测方法和检测系统

Also Published As

Publication number Publication date
US20200226732A1 (en) 2020-07-16
GB2556941B (en) 2021-10-20
CN110023990B (zh) 2024-05-03
US11062440B2 (en) 2021-07-13
WO2018096355A1 (en) 2018-05-31
GB201620098D0 (en) 2017-01-11
GB2556941A (en) 2018-06-13
EP3545493A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
US10706335B2 (en) Multi-perspective detection of objects
US11423592B2 (en) Object detection training based on artificially generated images
Jaccard et al. Detection of concealed cars in complex cargo X-ray imagery using deep learning
CN105809655B (zh) 车辆检查方法和系统
US9412019B2 (en) Methods for extracting shape feature, inspection methods and apparatuses
CN106663190B (zh) 基于纹理的负载的识别或确定
US20090052622A1 (en) Nuclear material detection system
EP2846290A2 (en) Vehicle classification from laser scanners using fisher and profile signatures
US8090169B2 (en) System and method for detecting items of interest through mass estimation
Jaccard et al. Automated detection of cars in transmission X-ray images of freight containers
US20150269190A1 (en) Method and system for vehicle identification
CN110023990A (zh) 利用配准检测违法物品
CN113508388A (zh) 使用数据生成的分类器
CN112602101A (zh) 用于运输工具货物管理的方法和系统
Rogers et al. Detection of cargo container loads from X-ray images
EP1918738A2 (en) Methods for determining a position and shape of a bag placed in a baggage handling container using x-ray image analysis
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
CN108303435B (zh) 检查设备和对集装箱进行检查的方法
US20220351517A1 (en) Object identification system and method
EP3869400A1 (en) Object identification system and computer-implemented method
Palmer et al. Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data
CN113312970A (zh) 目标物体识别方法、装置、计算机设备和存储介质
CN113723469A (zh) 基于空谱联合网络的可解释高光谱图像分类方法及装置
US20220245886A1 (en) Techniques for generating synthetic three-dimensional representations of threats disposed within a volume of a bag
CN107077728A (zh) 确定图像中的均匀度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant