CN117092713A - 建立车辆模板库的方法和系统 - Google Patents

建立车辆模板库的方法和系统 Download PDF

Info

Publication number
CN117092713A
CN117092713A CN202311011132.XA CN202311011132A CN117092713A CN 117092713 A CN117092713 A CN 117092713A CN 202311011132 A CN202311011132 A CN 202311011132A CN 117092713 A CN117092713 A CN 117092713A
Authority
CN
China
Prior art keywords
image
vehicle
template
visual features
inspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311011132.XA
Other languages
English (en)
Inventor
陈志强
张丽
李元景
邢宇翔
石杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN202311011132.XA priority Critical patent/CN117092713A/zh
Publication of CN117092713A publication Critical patent/CN117092713A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/426—Imaging image comparing, unknown with known substance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/631—Specific applications or type of materials large structures, walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

公开了一种建立车辆模板库的方法和系统。该方法包括：对被检查车辆进行X射线扫描，获得被检查车辆的X射线图像；对所述X射线图像进行预处理，获得经处理的X射线图像；对所述经预处理的X射线图像进行线性变换，获得待检图像；使用第一神经网络模型，获取所述待检图像的视觉特征；使用编码器方法，建立车辆模板库；以及基于所述待检图像的所述视觉特征，从所述车辆模板库中检索出模板图像。

Description

建立车辆模板库的方法和系统
本申请是2020年5月28日递交的申请号为202010471992.1的发明专利申请的分案申请。
技术领域
本公开的实施例一般涉及辐射检查，具体涉及车辆检查方法和系统。
背景技术
利用辐射成像是对各种车辆(例如大型集装箱型货车，小型货车等)进行安全检查的一种重要手段。通过对车辆进行X射线辐射成像并生成全车的X射线辐射图像之后，安全检查员通过查看该X射线辐射图像，来确认检查车辆上是否存在嫌疑物，从而达到安全检查的目的。
随着安全检查级别的逐步提高，大型货车安检工作中对于相关嫌疑物检测的需求也越来越大。同时随着近几年机器学习、深度神经网络的快速发展，人工智能产业逐渐被应用到现代生活的各个方面，其带来的效果也是有目共睹的。计算机视觉作为人工智能产业的分支，是目前科研、开发、应用最为广泛的方向，其相应的算法每年以爆炸的速度迭代更新。
计算机视觉中的目标检测算法在安全检查领域得到很好的应用，并且取得了较好效果，因此基于X射线的辐射图像的嫌疑物自动检查研究发展迅猛，例如：货物走私、爆炸物检查、毒品检查等。目前已有的相关算法多用在便于携带的行李可疑物检测中，基于大型货车产生的辐射图像的可疑物自动检查中应用较少，并且取得的效果不尽理想。
公开内容
鉴于现有技术中的一个或多个问题，提出了一种车辆检查方法和系统。
在本公开的一个方面，提出了一种车辆检查方法，包括：获取被检查车辆的待检图像；使用第一神经网络模型获取所述待检图像的视觉特征；基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像；确定所述待检图像与所述模板图像之间的变动区域；以及向用户呈现所述变动区域。
根据一些实施例，所述车辆模板库是通过以下而建立的：获取多个模板车辆图像；使用所述第一神经网络模型获取所述多个模板车辆图像的视觉特征；以及对所述视觉特征进行聚类操作，将聚类后的所述视觉特征作为所述车辆模板库。
根据一些实施例，所述基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像包括：计算所述待检图像的所述视觉特征与所述车辆模板库中所有视觉特征之间的特征相似度，将最大特征相似度所对应的模板车辆图像作为所述模板图像。
根据一些实施例，确定所述待检图像与所述模板图像之间的变动区域包括：配准所述待检图像与所述模板图像；提取配准的所述待检图像和所述模板图像的特征图；以及确定所述待检图像与所述模板图像的特征图之间的差异。
根据一些实施例，所述待检图像和所述模板图像的所述特征图是使用第二神经网络模型提取的。
根据一些实施例，向用户呈现所述变动区域的步骤包括：将所述变动区域在所述待检图像上突出显示。
根据一些实施例，在所述提取被检查车辆的待检图像之前，所述方法还包括：对被检查车辆进行X射线扫描，得到被检查车辆的X射线图像；以及对所述X射线图像进行预处理。
根据一些实施例，所述方法还包括：对经预处理的X射线图像进行线性变换，以获得所述待检图像。
在本公开的另一方面，提出了一种车辆检查系统，包括：
显示设备，
图像处理器，
存储设备，与所述图像处理器耦接，并存储有计算机可读指令，所述计算机可读指令在由所述图像处理器执行时使得所述图像处理器：
获取被检查车辆的待检图像；
使用第一神经网络模型获取所述待检图像的视觉特征；
基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像；
确定所述待检图像与所述模板图像之间的变动区域；以及
控制所述显示设备向用户呈现所述变动区域。
根据一些实施例，所述车辆模板库是通过以下而建立的：获取多个模板车辆图像；使用所述第一神经网络模型获取所述多个模板车辆图像的视觉特征；以及对所述视觉特征进行聚类操作，将聚类后的所述视觉特征作为所述车辆模板库。
根据一些实施例，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：计算所述待检图像的所述视觉特征与所述车辆模板库中所有视觉特征之间的特征相似度，将最大特征相似度所对应的模板车辆图像作为所述模板图像。
根据一些实施例，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：配准所述待检图像与所述模板图像；提取配准的所述待检图像和所述模板图像的特征图；以及检测所述待检图像与所述模板图像的特征图之间的差异。
根据一些实施例，所述待检图像和所述模板图像的所述特征图是使用第二神经网络模型提取的。
根据一些实施例，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：控制所述显示设备将所述变动区域在所述待检图像上突出显示。
根据一些实施例，所述系统还包括：辐射成像设备，对被检查车辆进行X射线扫描，得到被检查车辆的X射线图像，
其中所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：对所述X射线图像进行预处理。
根据一些实施例，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：对经预处理的X射线图像进行线性变换，以获得所述待检图像。
在本公开的再一方面，提供了一种存储指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据任意上述方法。
本公开的实施例结合的深度学习算法，提出一种车型模板检索和嫌疑物品差异自动检测的组合方法，解决了如下问题：(1)解决匹配过程中的立体形变问题，使得模板图像和待检图像的匹配更准确；(2)解决模板库的生成的数据量少，速度慢，检索匹配到的模板误差大，匹配速度慢等问题；(3)使用深度神经网络解决在差异检测过程中出现的由于嫌疑物与货物、扫描噪声等造成的误检问题。
附图说明
为了更好地理解本公开，将根据以下附图对本公开进行详细描述：
图1是描述根据本公开实施例的车辆检查方法的示意性流程图；
图2是描述在根据本公开实施例的车辆检查方法中建立车辆模板库和检索模板图像的示意图；
图3A和图3B分别示出了获取的车辆X射线图像经过裁剪处理获得车辆局部图像的过程和线性变换组合的过程；
图4示出了在根据本公开实施例的方法中检测待检图像与模板图像之间的差异的流程图；以及
图5示出了根据本公开实施例的车辆检查系统的结构示意图。
具体实施方式
下面将详细描述本公开的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本公开。在以下描述中，为了提供对本公开的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本公开。在其他实例中，为了避免混淆本公开，未具体描述公知的结构、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本公开至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
车辆的智能安检在通常采用如下方式：车辆底盘检测系统主要使用数字相机对车辆底盘进行拍摄，安检人员通过检查地盘的可见光图像来判断该车辆的底盘是否藏有可疑的夹带物；车辆内部的安全检测主要通过安检人员手持探测器，扫描车辆内部的各个角落，或人为翻查疑似区域的物品来进行的。这两种方式对安检人员的专业性要求较高，耗费安检时间，效率低下，往往会造成大量待安检车辆的堆积，在一定程度上，操作人员的注意力不集中会漏检一些可疑物品。而X射线方式是通过对车辆整体进行X射线穿透形成全车的辐射图像，通过不同物质的X射线穿透程度不同的性质来辅助查验人员发现嫌疑物。
车辆是三维立体的目标，经过X射线检测仪器形成的图像为二维的图像，因此在图像中会有大量目标区域的重叠，加之车辆内部的货物杂乱，形状各异，安检人员也无法同时对图像所有区域进行检查，因此这对安检人员通过直接观察图像发现嫌疑物造成了很大的难度。
目前计算机视觉中的目标检测算法在安防领域得到很好的利用，并取得了较好效果。目前已有的相关算法多用在便于携带的行李可疑物检测中，然而基于大型货车设备产生的透视图像的违禁品自动检测研究文献和专利还比较少。同时，现有的车型模板匹配方法满足单一的车型模板匹配项目，但当其应用到其他项目中时，如车辆可疑物品检测等，取得的效果差强人意。现有车型模板匹配方式主要使用基于内容的图像检索技术：1)图像预处理：对扫描图像进行裁车，取原图中车辆所在的最小矩形位置作为待处理的子图像，去除周围的空气部分；然后将这些车辆子图像的大小进行缩放，缩放比例系数可根据具体的图像原始大小、提取的特征点数量等信息进行调整；2)特征提取：使用信息检索领域常用的词袋(Bag of words，BOW)模型对全图进行分块统计；3)检索模型建立：BOW模型的特点采用构建公知的KD树模型，通过公开代码的快速最近邻搜索算法(Fast library forapproximate nearest neighbors，FLANN)进行特征匹配。提取过程：预处理后得到的图像，系统检索其设备号对应的检索模型中搜索出与其最相似的空车模板。
现有的嫌疑物检测方法通过输入待检图像和模板图像，利用边缘信息进行车辆裁剪，再经过降采样将被裁区域统一尺寸，随后对裁剪区域进行刚性配准、幅值变换、弹性配准后，对得到的两幅图像进行差值计算，得到差图，再经过一系列的后处理，最后显示出差异部分。
综上所述，车型模板匹配和嫌疑物检测方法均有很大的劣势。车型模板匹配主要依靠词袋模型进行检索，这种方式检测效率较低，容易出现误报。在差异检测中使用的sift算法和FLANN算法，虽是基于图像的特征提取匹配方法，但这种方法会出现匹配错误的车型模板，配准率不高。差异检测方法主要依赖图像间的差值，及图像的后处理方式进行检测，这种方式人为因素比较大，后处理的方式虽然在一定程度上降低了误报率，但是出现了较多的漏检，同时，差值计算在一定程度上可以满足小车的检测速度和精度，但大型货车提取的图像区域较大，检测速度有很大影响，精度也有下降。
为了解决上述问题，并且实现更高效、准确的车辆检查，本公开的实施例结合的深度学习算法，提出一种车型模板检索和嫌疑物品差异自动检测的组合方法，解决了如下问题：(1)解决匹配过程中的立体形变问题，使得模板图像和待检图像的匹配更准确；(2)解决模板库的生成的数据量少，速度慢，检索匹配到的模板误差大，匹配速度慢等问题；(3)使用深度神经网络解决在差异检测过程中出现的由于嫌疑物与货物、扫描噪声等造成的误检问题。
在本公开一些实施例的车辆检查方法中，获取被检查车辆的待检图像；使用第一卷积神经网络模型获取所述待检图像的视觉特征；基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像；确定所述待检图像与所述模板图像之间的变动区域；以及向用户呈现所述变动区域。上述实施例中，将经过预处理的车辆模板数据进行线性变换组合，再经过第一神经网络提取车辆的特征，从而建立车辆模板库；将经过预处理的待检图像进行线性变换组合，再经过第一卷积神经网络提取出待检车辆的特征，将该特征与车辆模板库中的特征进行匹配、聚类，将最相似的车辆模板提取出来。将得到的模板图像和待检图像，同时输入到第二卷积神经网络中，对关键位置进行显著性检测，最后在结果中表示夹带物。从而提高了车辆中嫌疑物识别率和算法实时性，同时满足了相同场景下跨设备应用的要求。
图1是描述根据本公开实施例的车辆检查方法的示意性流程图。如图1所示，在步骤S11，获取被检查车辆的待检图像。不同的辐射扫描设备由于射线源的能量/剂量不同，探测器尺寸不同，所以对同一车辆不同设备下扫描得到的辐射图像不尽相同。本公开实施例中采用的两幅图像(包括待检图像和用于构建车辆模板库的模板图像)原则上应选择同一应用现场下的获取的辐射图像。辐射图像的分辨率由扫描设备决定，由于货车车辆的长宽各异，在扫描图像中车辆四周往往存在大小不一的空气区域。这些空气区域不但影响了算法的效率，其噪声还可能对算法的效果造成影响。在本公开实施例中，在获取被检查车辆的待检图像之前，对被检查车辆进行X射线扫描，得到被检查车辆的X射线图像，然后对所述X射线图像进行预处理。另外在构建车辆模板库之前还需要获取大量的车辆的模板图像的X射线图像。本实施例中通过裁剪和降采样来对获取的X射线图像进行预处理。
首先裁剪出X射线图像中车辆部分的区域。使用经训练的卷积神经网络，以模型提取的车辆特征作为主要依据，定位到车辆的目标大概区域。随后通过一些必要的去噪及非线性“增白”手段，判断X射线图像中车辆的位置，将车辆所在最小矩形作为子图像进行后续处理，例如，例如开运算、闭运算等，获得车辆局部的最大联通区域。图3A示出了获取的车辆X射线图像经过裁剪处理获得车辆局部图像的过程。
接着，对车辆局部图像进行降采样。若经过裁剪处理之后的图像仍然过大则可考虑通过降采样来进一步缩小图像尺寸。
由于裁剪得到的车辆角度不相同，因此还需要特定的预处理方式将车辆的方向统一为一个方向。判断并改变车辆方向的预处理方式为：由于车头与车厢的前后位置是固定，因此可以通过判断车头与车厢的相对位置，来确定该车的朝向，再对图像做镜像变换，从而得到统一方向的车头。
为了方便后续差异检测进行可疑物品的检测，对待检图像或模板图像进行线性变换，得到在同一标准下的图像。此过程结果的好坏对后面差异检测的结果有很大的影响。线性变换方法有很多，如透视变换、仿射变换等。特征提取的方法很多，本领域技术人员易于理解，也可以联想到特征提取方法的若干替代算法。比如经典的尺度不变特征变换匹配算法(Scale Invariant Feature Transform，SIFT)，最小核值相似区算子(SmallestUnivalue Segment Assimilating Nucleus,SUSAN)，Harris角点检测算子，Surf算法(Speed Up Robust Feature)等等。优选的，由于此过程只需将图像进行旋转、平移，因此基础变换方式选用仿射变换，结合卷积神经网络来学习得到仿射变换需要的6个参数，最后再利用双线性插值的方法，将变换后的像素信息放入空的特征图中，从而得到最终待检图像或模板图像，如图3B所示。
参照图1，在步骤S12，使用第一神经网络模型提取所述待检图像的视觉特征。在本实施例中，第一神经网络模型采用卷积神经网络(CNN)来构建一个编码器，从而获得待检图像的视觉特征。在一些实施例中，该第一神经网络的各个参数可以通过训练得到。例如，使用大量车辆样本图像作为训练样本对该第一神经网络进行训练，对输入的模板车辆X进行卷积操作，经过深度神经网络的精提取，训练一个X＝g(Z)的模型，Z为特征空间中的特征。
在步骤S13，基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像。车辆模板库是根据大量的车辆模板图像而构建的，后续会对车辆模板库的构建进行详细描述。从车辆模板库中检索出模板图像涉及到将待检图像与模板库中的模板图像进行匹配，从而得到与待检图像最相似的模板图像。
在步骤S14，确定所述待检图像与所述模板图像之间的变动区域。在实施例中，该步骤实现待检图像与模板图像之间的差异检测，进而检测出嫌疑物。现有方法是对待检图像和模板图像匹配后的图像求差，即得到差图，但是使用差图的方式受限于模板匹配的影响较大，若模板与待检图像之间匹配较差会出现很多误检测，为了消除误检测，算法需要大量后处理方式。而本申请中差异检测方法使用神经网络提取待检图像与模板图像的特征图，并且确定特征图之间的差异。在一定程度上可以降低误检测同时省去了大量的后处理方式。
在步骤S15，向用户呈现所述变动区域。这一步骤是为了更好的将检测到的嫌疑物位置在待检图像中标示出来，方便检查人员观察。例如可以将嫌疑物边界用特定颜色的曲线标注或是直接将嫌疑物区域的所有像素上色等等。
图2是描述在根据本公开实施例的车辆检查方法中建立车辆模板库和检索模板图像的示意图。
首先在方框201，获取多个车辆模板图像。与获取待检图像类似地，多个模板车辆图像需要获取大量的车辆的模板图像的X射线图像，并通过裁剪和降采样来对获取的X射线图像进行预处理。同样为了方便后续差异检测进行可疑物品的检测，经过预处理的模板图像进行组合线性变换，得到在同一标准下的图像。
在实施例中，在方框202，使用第一神经网络模型获取所述多个车辆模板图像的视觉特征。在本实施例中，第一神经网络模型采用卷积神经网络(CNN)来构建一个编码器，从而获得车辆模板图像的视觉特征。在一些实施例中，该第一神经网络的各个参数可以通过训练得到。例如，使用大量车辆样本图像作为训练样本对该第一神经网络进行训练，对输入的模板车辆X进行卷积操作，经过深度神经网络的精提取，训练一个X＝g(Z)的模型，Z为特征空间中的特征。利用第一神经网络模型对所有的车辆模板图像数据进行编码，即提取特视觉征，保存这些视觉特征。这一过程可以在短时间内对大量的模板车辆图像进行特征提取。
在方框203，对提取的视觉特征进行聚类操作。为了加速模板图像查找的速度，本公开使用了聚类方法。聚类方法主要有：FCM聚类算法、SOM聚类算法、层次聚类算法、k-means聚类算法。考虑到模板图像提取效率，在本实施例中使用k-means聚类方法，该方法是比较经典的聚类算法之一。由于该算法在大规模数据集上的使用效率较高，因此被广泛的应用，目前很多的算法均围绕该算法进行的扩展和改进。
在方框204，将聚类后的所述视觉特征作为所述车辆模板库。在实施例中，使用聚类算法将相似的同类车型归为一类，从而得到最终的车辆模板库。
同样地，在方框205，获取被检查车辆的待检图像，在方框206，使用第一神经网络模型获取所述待检图像的视觉特征。
在方框207，计算所述待检图像的所述视觉特征与所述车辆模板库中所有视觉特征之间的特征相似度，将最大特征相似度所对应的模板车辆图像作为所述模板图像。在实施例中，计算提取的待检图像的视觉特征与所构建的车辆模板库内所有的车辆模板图像的视觉特征之间的欧氏距离，计算出的最小欧式距离所对应的车辆模板图像的即为最终输出的模板图像，也就是与待检图像匹配的模板图像，如方框208所示。
上述建立车辆模板库和提取车辆模板图像的过程节省了人力、时间和内存资源的占用。
图4示出了在根据本公开实施例的方法中检测待检图像与模板图像之间的差异的流程图。在步骤S41，配准所述待检图像与所述模板图像。例如用基于特征点对齐的方法将待检图像与模板图像进行配准。
在步骤S42，提取配准的所述待检图像和所述模板图像的特征图。在实施例中，使用共享参数的全卷积孪生网络(Fully Convolutional Siamese Metric Networks)提取待检图像的特征图以及模板图像的特征图。全卷积孪生网络如同一个特征提取器同时提取模板图像z和待检图像x的特征，然后将提取到的特征送入另一个函数g，那么相似性度量函数其实就是/>函数g可以是一个很简单的距离度量或者相似度度量。这种孪生网络早已被广泛应用与人脸确认，关键描述点学习，one-shot字符识别。
在步骤S43，确定所述待检图像与所述模板图像的特征图之间的差异。在实施例中，孪生网络在提取模板图像z和待检图像x的特征之后，送到相似度函数里计算一下相似度。例如相似度函数是使用交叉相关，公式如下，
其实就是将作为一个卷积核，在/>上进行卷积，相似度大的地方，那么自然响应值就大。即孪生网络可以通过提取的特征图对来确定特征图之间的差异，从而确定嫌疑物在待检图像中的位置。在实施例中，计算上述两个特征图中相同位置的距离，根据设定的阈值，大于阈值区域即为差异部分。通过使用全卷积孪生网络实现的差异检测可以降低误检测同时省去了大量的后处理方式。
图5示出了根据本公开实施例的车辆检查系统的结构示意图。如图1所示，根据本公开实施例的车辆检查系统涉及X射线辐射成像的安全检查技术，特别是车辆中嫌疑物自动检测技术中的自动差异检测技术。车辆特别是货车车辆扫描图像进行嫌疑物检测，可以避免传统方式的检测漏洞与人工判图效果较差的问题，对于辅助小车安检有重要意义。
如图5所示的系统包括辐射成像设备150，存储设备120，图像处理器140和显示设备130。
在一些实施例中，辐射成像设备150对被检查车辆进行X射线扫描，得到被检查车辆的X射线图像。存储设备120存储所述X射线图像，以及计算机可读指令。
图像处理器140与存储设备120耦接，并且执行所述计算机可读指令，并获取被检查车辆的待检图像；使用第一神经网络模型获取所述待检图像的视觉特征；基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像；确定所述待检图像与所述模板图像之间的变动区域；以及控制所述显示设备向用户呈现所述变动区域。显示设备130向用户呈现所述变动区域。
例如，当有车辆需要检查时，辐射成像设备150会对该车辆进行X射线扫描，获得车辆的X射线图像。图像处理器140对该X射线图像进行预处理和组合线性变换，以生成该车辆的待检图像。图像处理器140还可以构建车辆模板库。具体地，图像处理器140获取多个模板车辆图像；使用所述第一神经网络模型获取所述多个模板车辆图像的视觉特征；以及对所述视觉特征进行聚类操作，将聚类后的所述视觉特征作为所述车辆模板库。在构建后车辆模板库之后，将待检图像与车辆模板库中的车辆模板图像进行匹配，以获得模板图像。在实施例中，图像处理器140计算所述待检图像的所述视觉特征与所述车辆模板库中所有视觉特征之间的特征相似度，将最大特征相似度所对应的模板车辆图像作为所述模板图像。图像处理器140配准所述待检图像与所述模板图像；提取配准的所述待检图像和所述模板图像的特征图；以及检测所述待检图像与所述模板图像的特征图之间的差异。差异大的区域就是嫌疑物所在的区域。
显示设备130用于显示X光扫描图像，还用于根据差异区域的数据在待查验图像上用某种颜色线条画出待检图像和最佳模板图像的差异区域。在待检查图像上用某种颜色的线条标明差异区域的轮廓，以提示检查员此处有嫌疑物，以达到较好的安全检查对比提示效果。
以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了车辆检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本公开，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本公开能够以多种形式具体实施而不脱离公开的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (9)

1.一种建立车辆模板库的方法，包括：
对被检查车辆进行X射线扫描，获得被检查车辆的X射线图像；
对所述X射线图像进行预处理，获得经处理的X射线图像；
对所述经预处理的X射线图像进行线性变换，获得待检图像；
使用第一神经网络模型，获取所述待检图像的视觉特征；
使用编码器方法，建立车辆模板库；以及
基于所述待检图像的所述视觉特征，从所述车辆模板库中检索出模板图像。
2.根据权利要求1所述的建立车辆模板库的方法，其中，使用所述编码器方法，建立所述车辆模板库包括：
获取多个模板车辆图像；
使用所述第一神经网络对所述多个模板车辆图像进行卷积操作，经过所述第一神经网络的精提取，训练一个X＝g(Z)的模型，其中Z为视觉特征空间中的视觉特征；
使用所述模型，对所述模板车辆图像进行编码，即提取视觉特征，并且保存所述视觉特征；以及
使用k-means聚类方法对所述视觉特征进行聚类操作，将聚类后的所述视觉特征作为所述车辆模板库。
3.根据权利要求2所述的车辆检查方法，其中，基于所述待检图像的所述视觉特征，从车辆模板库中检索出模板图像包括：
计算所述待检图像的视觉特征与所述车辆模板库中所有视觉特征之间的欧氏距离，将最小欧式距离所对应的模板车辆图像作为所述模板图像。
4.一种建立车辆模板库的系统，包括：
辐射成像设备，对被检查车辆进行X射线扫描，得到被检查车辆的X射线图像，
图像处理器，以及
存储设备，与所述图像处理器耦接，并存储有计算机可读指令，所述计算机可读指令在由所述图像处理器执行时使得所述图像处理器：
对被检查车辆进行X射线扫描，获得被检查车辆的X射线图像；
对所述X射线图像进行预处理，获得经处理的X射线图像；
对经预处理的X射线图像进行线性变换，获得所述待检图像；
使用第一神经网络模型，获取所述待检图像的视觉特征；
使用编码器方法，建立车辆模板库；以及
基于所述待检图像的所述视觉特征，从所述车辆模板库中检索出模板图像。
5.根据权利要求4所述的建立车辆模板库的系统，其中，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：
获取多个模板车辆图像；
使用所述第一神经网络对所述多个模板车辆图像进行卷积操作，经过所述第一神经网络的精提取，训练一个X＝g(Z)的模型，其中Z为视觉特征空间中的视觉特征；
使用所述模型，对所述模板车辆图像进行编码，即提取视觉特征，并且保存所述视觉特征；以及
使用k-means聚类方法对所述视觉特征进行聚类操作，将聚类后的所述视觉特征作为所述车辆模板库。
6.根据权利要求5所述的建立车辆模板库的系统，其中，所述计算机可读指令在由所述图像处理器执行时还使得所述图像处理器：
计算所述待检图像的视觉特征与所述车辆模板库中所有视觉特征之间的欧氏距离，将最小欧式距离所对应的模板车辆图像作为所述模板图像。
7.一种存储指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据权利要求1至3中任一项所述的方法。
8.一种车辆检查方法，包括：
根据权利要求1所述的方法；
确定待检图像与模板图像之间的变动区域；以及
向用户呈现所述变动区域。
9.一种车辆检查系统，包括根据权利要求4所述的设备以及显示设备，所述显示设备用于向用户呈现待检图像与模板图像之间的变动区域。
CN202311011132.XA 2020-05-28 2020-05-28 建立车辆模板库的方法和系统 Pending CN117092713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311011132.XA CN117092713A (zh) 2020-05-28 2020-05-28 建立车辆模板库的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311011132.XA CN117092713A (zh) 2020-05-28 2020-05-28 建立车辆模板库的方法和系统
CN202010471992.1A CN113805240B (zh) 2020-05-28 2020-05-28 车辆检查方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010471992.1A Division CN113805240B (zh) 2020-05-28 2020-05-28 车辆检查方法和系统

Publications (1)

Publication Number Publication Date
CN117092713A true CN117092713A (zh) 2023-11-21

Family

ID=78745569

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311011132.XA Pending CN117092713A (zh) 2020-05-28 2020-05-28 建立车辆模板库的方法和系统
CN202010471992.1A Active CN113805240B (zh) 2020-05-28 2020-05-28 车辆检查方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010471992.1A Active CN113805240B (zh) 2020-05-28 2020-05-28 车辆检查方法和系统

Country Status (4)

Country Link
US (1) US20230206414A1 (zh)
EP (1) EP4160274A1 (zh)
CN (2) CN117092713A (zh)
WO (1) WO2021238855A1 (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7921120B2 (en) * 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101050962A (zh) * 2007-05-18 2007-10-10 成都君悦图像技术有限公司 汽车物理特征参数的测量方法
US8131018B2 (en) * 2008-02-08 2012-03-06 Tk Holdings Inc. Object detection and recognition system
CN103034838B (zh) * 2012-12-03 2015-08-19 中国人民解放军63963部队 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN104036275B (zh) * 2014-05-22 2017-11-28 东软集团股份有限公司 一种车辆盲区内目标对象的检测方法及其装置
CN105320703B (zh) * 2014-08-05 2018-07-24 北京大学 相似车辆检索中的查询扩展方法及装置
CN105372712B (zh) * 2014-09-02 2017-12-12 清华大学 车辆检查方法和系统
CN105807335B (zh) * 2014-12-30 2019-12-03 清华大学 车辆底盘检查方法和系统
CN105809655B (zh) * 2014-12-30 2021-06-29 清华大学 车辆检查方法和系统
CN105354533B (zh) * 2015-09-28 2018-11-09 江南大学 一种基于词袋模型的卡口无牌车辆车型识别方法
CN107644209A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN109191491B (zh) * 2018-08-03 2020-09-08 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN109271980A (zh) * 2018-08-28 2019-01-25 上海萃舟智能科技有限公司 一种车辆铭牌全信息识别方法、系统、终端及介质
CN109684986B (zh) * 2018-12-19 2022-11-08 新大陆数字技术股份有限公司 一种基于车辆检测跟踪的车辆分析方法及系统
CN110826484A (zh) * 2019-11-05 2020-02-21 上海眼控科技股份有限公司 车辆重识别的方法、装置、计算机设备及模型训练方法
CN111078946A (zh) * 2019-12-04 2020-04-28 杭州皮克皮克科技有限公司 一种基于多目标区域特征聚合的卡口车辆检索方法及系统

Also Published As

Publication number Publication date
CN113805240A (zh) 2021-12-17
WO2021238855A1 (zh) 2021-12-02
US20230206414A1 (en) 2023-06-29
EP4160274A1 (en) 2023-04-05
CN113805240B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN105809655B (zh) 车辆检查方法和系统
US10013615B2 (en) Inspection methods and devices
Jovančević et al. Automated exterior inspection of an aircraft with a pan-tilt-zoom camera mounted on a mobile robot
CN101833664A (zh) 基于稀疏表达的视频图像文字检测方法
Ali et al. Vision-based concrete crack detection technique using cascade features
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
Tsujii et al. Automatic draft reading based on image processing
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
Mitiche et al. Image segmentation by conventional and information-integrating techniques: a synopsis
EP3311333B1 (fr) Appariement d'images d'articles postaux avec des descripteurs de singularites du champ de gradient
CN116486296A (zh) 目标检测方法、装置及计算机可读存储介质
EP3349049B1 (en) Inspection devices and methods for inspecting a container
Ghamisi et al. Anomaly detection in automated fibre placement: learning with data limitations
Laggoune et al. Tree ring analysis
CN113805240B (zh) 车辆检查方法和系统
CN113887652B (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
CN115984186A (zh) 基于多分辨率知识提取的精细产品图像异常检测方法
Huang et al. Morphological building index (MBI) and its applications to urban areas
Guo et al. Robust approach for suburban road segmentation in high‐resolution aerial images
Jaszewski et al. Evaluation of maritime object detection methods for full motion video applications using the pascal voc challenge framework
MAARIR et al. Building detection from satellite images based on curvature scale space method
Colmenarez et al. Frontal-view face detection
Lu et al. Detecting text in natural scenes with multi-level MSER and SWT
Chen et al. Automatic detection of microfabric defects with Gabor fractal network
Asha et al. A survey on content based image retrieval based on edge detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination