CN104750697A - 基于透视图像内容的检索系统、检索方法以及安全检查设备 - Google Patents

基于透视图像内容的检索系统、检索方法以及安全检查设备 Download PDF

Info

Publication number
CN104750697A
CN104750697A CN201310734306.5A CN201310734306A CN104750697A CN 104750697 A CN104750697 A CN 104750697A CN 201310734306 A CN201310734306 A CN 201310734306A CN 104750697 A CN104750697 A CN 104750697A
Authority
CN
China
Prior art keywords
image
retrieval
fluoroscopy images
characterization
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310734306.5A
Other languages
English (en)
Other versions
CN104750697B (zh
Inventor
李元景
赵自然
张健
李强
顾建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN201310734306.5A priority Critical patent/CN104750697B/zh
Priority to BR112015003324-5A priority patent/BR112015003324B1/pt
Priority to PCT/CN2014/094491 priority patent/WO2015096676A1/zh
Priority to EP18189711.7A priority patent/EP3422217A1/en
Priority to EP14200142.9A priority patent/EP2894577B1/en
Priority to US14/580,571 priority patent/US20150186374A1/en
Priority to PL14200142T priority patent/PL2894577T4/pl
Publication of CN104750697A publication Critical patent/CN104750697A/zh
Application granted granted Critical
Publication of CN104750697B publication Critical patent/CN104750697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G01V5/228—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays using stereoscopic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

公开了一种基于透视图像内容的检索系统,包括：预分类模块,用于对透视图像进行预分类处理，将所述透视图像划分为纹理图像和非纹理图像两类；图像内容特征提取模块，用于对所述透视图像内容进行特征提取；图像表征模块，用于对所述透视图像内容的特征描述向量进行整合，构建图像表征向量；检索模块，用于基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果；多样性过滤模块，用于对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果；相关度反馈调节模块，用于接受用户对检索结果的信息反馈，并进行检索模型的更新；以及交互模块，用于显示检索结果并采集用户对检索结果的满意程度的反馈。

Description

基于透视图像内容的检索系统、检索方法以及安全检查设备
技术领域
本发明涉及辐射成像、图像理解、机器学习、辅助查验等交叉领域，具体而言涉及基于安检辐射透视图像内容的检索系统。
背景技术
辐射透视成像技术是对货物、行李等进行无侵犯检查的主要手段，目前已经在机场、海关、车站、大型集会等场所广泛使用。辐射成像的物理机制导致其所呈现出的图像特点与自然图像有明显的差异。这一差异直接导致安检人员无法感性地理解图像内容，甚至对危险物品的敏感程度极度降低。因此对安检透视图像的全局或局部的检索，从而从数据库中找到相似图像，并给出注释信息，如相似程度、目标属性（原子序数范围，质量、厚度范围）、危险程度，有了极大的需求。目前在安全检查领域，对透视图像的检索主要是基于文件名和时间的检索，没有引入任何透视图像内容信息。随着辐射安全检查设备普遍使用，会产生大量的历史图像数据，如果没有方便的检索比对手段，那么大量的历史图像不会带来任何正面效应。
目前在基于图像内容检索领域，主要集中在对自然图像和医学透视图像。对自然图像的内容检索在近几年已经有了迅速的发展，并且产生了多个实际应用产品，如谷歌图像检索系统、百度图像检索系统等。对医学透视图像的内容检索，主要关注于从数据库中精确查询与所检查部位相同的其他患者，从而方便医生比较不同患者同种部位的病变差异。但这类系统目前仍然处于试验阶段。由于医学图像数据内容较为单一，导致其无法直接应用于更广泛的辐射透视图像。
近年来，随着机器学习、模式识别等领域的迅速发展，快速寻找内容相似透视图像提供给安检人员进行比对分析等辅助手段已成为业界关注焦点。但由于货物种类的复杂性以及透视图像的特殊性，导致在这一特定邻域的发展较为缓慢，并且鲜见相关内容的公开。
发明内容
针对于安检透视图像的特殊性——扫描物品种类繁多、物品结构信息叠加、自然表观信息损失和图像分辨率大，以及辅助安检人员增进对透视图像的理解和检测的实际需求，本发明提出了一套可以实时基于透视图像内容检索并给出多样性（内容相似但物品种类不同）的检索结果以及相关注释信息的系统。
该检索系统主要实现的功能有：（1）图像内容的模糊检索，给出多样性（内容相似但物品种类不同）的检索结果；（2）并行计算，实现检索结果的实时返回；（3）给出检索结果的注释信息，如相似程度、目标属性、常见程度、危险程度；（4）根据用户反馈信息，自动调整检索模型。该检索系统主要可以用于培训安检人员对X射线图像的理解，辅助安检人员分析图像内容，提高检查效率等。
根据本发明的实施例，提供了一种基于安检透视图像内容的检索系统，所述检索系统包括：
预分类模块,用于对透视图像进行预分类处理，将所述透视图像划分为纹理图像和非纹理图像两类；
图像内容特征提取模块，用于对所述透视图像内容进行特征提取；
图像表征模块，用于对所述透视图像内容的特征描述向量进行整合，构建图像表征向量；
检索模块，用于基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果；
多样性过滤模块，用于对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果；
相关度反馈调节模块，用于接受用户对检索结果的信息反馈，并进行检索模型的更新；以及
交互模块，用于显示检索结果并采集用户对检索结果的满意程度的反馈。
所述检索系统实现了图像内容的模糊检索，能够给出多样性（内容相似但物品种类不同）的检索结果；通过并行计算，实现了检索结果的实时返回；能够给出检索结果的注释信息，如相似程度、目标属性、常见程度、危险程度等；根据用户反馈信息，检索系统还可以自动调整检索模型。
优选地，所述图像内容特征提取模块对于纹理图像：建立图像金字塔，然后逐层进行超像素划分，最后以超像素为单元建立纹理描述向量；对于非纹理图像：建立图像金字塔，逐层逐像素进行特征点检测，对检测到的特征点建立特征描述向量。
优选地，所述图像表征模块对于纹理图像：采用码书策略，统计所有以超像素为单元建立起来的所述纹理描述向量，建立直方图，并以直方图作为图像的表征向量；对于非纹理图像：聚合所有建立在特征点上的特征描述向量，从而构成一个特征向量集合，并以这个特征向量集合作为图像的表征向量。
优选地，所述检索模块对于纹理图像：图像表征采用一个特征向量表示；对于非纹理图像：图像表征采用一个特征向量集合表示。
优选地，所述交互模块采用两级树形显示方案：通过鼠标在扫描图像上选取检索区域；当检索区域选取完成后，实时在其周围显示两级树形检索结果；第一级，显示多样性过滤模块的输出结果；第二级，显示与上一级同种货物类型的其它相似图像；当鼠标滑过每一级节点时，会呈现出用户对此检索结果的满意程度选择标签；在获得反馈信息后，将所述反馈信息传递给所述相关度反馈调节模块。
本发明还提供了一种基于透视图像内容的检索方法,所述检索方法包括：
预分类步骤,用于对透视图像进行预分类处理，将所述透视图像划分为纹理图像和非纹理图像两类；
图像内容特征提取步骤，用于对所述透视图像内容进行特征提取；
图像表征步骤，用于对所述透视图像内容的特征描述向量进行整合，构建图像表征向量；
检索步骤，用于基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果；
多样性过滤步骤，用于对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果；
相关度反馈调节步骤，用于接受用户对检索结果的信息反馈，并进行检索模型的更新；以及
交互步骤，用于显示检索结果并采集用户对检索结果的满意程度的反馈。
附图说明
通过参考以下描述的实施例，本发明的这些和其他方面将是清楚的并得到阐述。
在附图中
图1示出了根据本发明的实施例的基于安检辐射透视图像内容的检索系统；以及
图2示出了树形检索结果显示的示意图。
具体实施方式
为使本发明的目的、结构和优点更加清楚，下面结合附图对本发明进一步地进行详细描述。其中，为简化起见，在附图和说明书中仅示出了多种可能的设置之一。本领域技术人员能够理解，在不脱离本发明精神的情况下，能够对本发明的以下实施例做出各种改变和替换。
图1示出了根据本发明的实施例的基于安检透视图像内容的检索系统100。所述检索系统100包括：预分类模块101、图像内容特征提取模块102、图像表征模块103、检索模块104、多样性过滤模块105、相关度反馈调节模块106、以及交互模块107。
预分类模块
所述预分类模块101对透视图像进行预分类处理，将其划分为纹理图像和非纹理图像两类。而在后续的处理过程中，检索系统将对纹理图像和非纹理图像进行独立处理。
图像内容特征提取模块
所述图像内容特征提取模块102对透视图像内容进行特征提取。基于预分类处理结果，对纹理图像和非纹理图像进行独立处理。
对于纹理图像：建立图像金字塔，然后逐层进行超像素划分，最后以超像素为单元建立纹理描述向量。
对于非纹理图像：建立图像金字塔，逐层逐像素进行特征点检测，对检测到的特征点建立特征描述向量。
图像表征模块
所述图像表征模块103对图像内容的所述特征描述向量进行整合，构建图像表征向量。对纹理图像和非纹理图像进行独立处理。
对于纹理图像：采用码书（codebook）策略，统计所有以超像素为单元建立起来的所述纹理描述向量，建立直方图，并以直方图作为图像的表征向量。
对于非纹理图像：聚合所有建立在特征点上的特征描述向量，从而构成一个特征向量集合，并以这个特征向量集合作为图像的表征向量。
检索模块
所述检索模块104基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果。利用检索模型，能够快速地得到初级候选结果。
多样性过滤模块
所述多样性过滤模块105对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果。
相关度反馈调节模块
所述相关度反馈调节模块106接受用户对检索结果的信息反馈，并进行检索模型的更新。
交互模块
所述交互模块107显示检索结果并采集用户对检索结果的满意程度的反馈。
根据本发明的另一实施例，还提供了一种基于安检透视图像内容的检索方法。所述检索方法包括：预分类步骤、图像内容特征提取步骤、图像表征步骤、检索步骤、多样性过滤步骤、相关度反馈调节步骤、以及交互步骤。
预分类步骤
在所述预分类步骤中，对透视图像进行预分类处理，将其划分为纹理图像和非纹理图像两类。而在后续的处理过程中，检索系统将对纹理图像和非纹理图像进行独立处理。
图像内容特征提取步骤
在所述图像内容特征提取步骤中，对透视图像内容进行特征提取。基于预分类处理结果，对纹理图像和非纹理图像进行独立处理。
对于纹理图像：建立图像金字塔，然后逐层进行超像素划分，最后以超像素为单元建立纹理描述向量。
对于非纹理图像：建立图像金字塔，逐层逐像素进行特征点检测，对检测到的特征点建立特征描述向量。
图像表征步骤
在所述图像表征步骤中，对图像内容的所述特征描述向量进行整合，构建图像表征向量。对纹理图像和非纹理图像进行独立处理。
对于纹理图像：采用码书（codebook）策略，统计所有以超像素为单元建立起来的所述纹理描述向量，建立直方图，并以直方图作为图像的表征向量。
对于非纹理图像：聚合所有建立在特征点上的特征描述向量，从而构成一个特征向量集合，并以这个特征向量集合作为图像的表征向量。
检索步骤
在所述检索步骤中，基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果。利用检索模型，能够快速地得到初级候选结果。
多样性过滤步骤
在所述多样性过滤步骤中，对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果。
相关度反馈调节步骤
在所述相关度反馈调节步骤中，接受用户对检索结果的信息反馈，并进行检索模型的更新。
交互步骤
在所述交互步骤中，显示检索结果并采集用户对检索结果的满意程度的反馈。
本发明所提出的基于安检辐射透视图像内容的检索系统和检索方法实现了图像内容的模糊检索，能够给出多样性（内容相似但物品种类不同）的检索结果；通过并行计算，实现了检索结果的实时返回；能够给出检索结果的注释信息，如相似程度、目标属性、常见程度、危险程度等；根据用户反馈信息，检索系统可以自动调整检索模型。根据本发明的检索系统和检索方法主要可以用于培训安检人员对X射线图像的理解，辅助安检人员分析图像内容，提高检查效率等。
整个检索系统/方法的运行还可以分为如图1中不同的虚线所划分的四个部分。第一部分是透视图像的表征数据库的建立与更新（以108表示）；第二部分是检索图像的表征计算、检索、多样性过滤以及检索结果显示（以109表示）；第三部分是获取用户信息反馈并调整检索模型（以110表示）；第四部分是透视图像数据库更新（以111表示）以及与透视图像表征数据库的同步。
以下将描述上述各部分的运行机制：
（1）透视图像表征数据库建立与更新
对透视图像数据库中所有未构建图像表征的透视图像，首先经过预分类步骤，得到对图像内容的初级判断（纹理图像或非纹理图像），然后经过图像内容特征提取步骤，得到对图像内容描述的特征向量，最后经过图像表征步骤，构造图像表征，并将其存入透视图像表征数据库。
（2）透视图像检索及检索结果显示
用户提交检索图像，首先经过预分类步骤，得到对图像内容的初级判断（纹理图像或非纹理图像），然后经过图像内容特征提取步骤，得到对图像内容描述的特征向量，最后经过图像表征步骤，构建图像表征。得到图像表征后，进入检索步骤，依靠检索模型从透视图像表征数据库中寻找相似度较高的一组透视图像表征集合，进而得到初级候选结果。然后进入多样性过滤步骤，从初级候选结果中挑选出一个可以覆盖多个货物种类的子集。使用这个子集索引从透视图像数据库中选择相应的透视图像输出。
（3）用户信息反馈更新检索模型
通过交互步骤，用户对检索引擎返回的检索结果的满意度进行评价，并将评价结果反馈给检索系统。检索系统利用反馈信息进行模型参数调节，并触发透视图像表征数据库的更新过程。
（4）透视图像数据库更新
用户提交检索图像到透视图像数据库，将会自动触发透视图像表征数据库的建立过程，从而实现透视图像数据库和透视图像表征数据库的同步。
不失一般性，这里给出一个使用具体算法的实施例。然而能够理解，根据本发明的教导，本领域技术人员可以在不偏离本发明思想的情况下对于实施例中的具体算法进行改变或替换。
预分类模块
在检索图像上随机采样50*50图像块，总采样图像块的覆盖面积需要大于图像总面积的60％。对图像块进行方向梯度直方图（HOG-Histogram of Oriented Gradient)特征描述，依靠支持向量机(SVM-Support Vector Machine)分类器进行分类。
这里采用的是HOG特征描述并用SVM分类模型进行分类，但不限于这种组合。任何纹理特征和分类器都可应用于本发明中。
图像内容特征提取模块
对纹理图像和非纹理图像采用不同的方法进行图像内容特征提取。
对于纹理图像：
<1> 以超像素为单元进行特征描述
采用统计区域合并(SRM-Statistical Region Merge)算法对图像进行超像素分割建立超像素标号图。对图像等间距采样，在采样点处的20*20区域建立HOG特征描述。基于超像素标号图，整合每个超像素内的采样点的HOG特征描述，形成对超像素的HOG特征描述。
<2> 在训练图像集上建立超像素特征字典
对每一幅训练图像中的所有超像素，建立特征描述。利用K均值（KMeans）算法对所有超像素HOG特征描述向量聚成2000类。从而构建成容量为2000的超像素特征字典。该字典将要用于图像表征模块。
这里采用SRM算法进行超像素分割，并用HOG纹理特征描述，但不限于这种组合。任何图像分割算法和纹理特征描述算法都可以应用于本发明中。
对于非纹理图像：
在图像上利用SIFT(Scale-Invariant Feature Transform)算法进行特征点检测以及特征描述，从而构建特征描述向量集合。
这里采用SIFT算法进行特征检测和特征描述，但不限于这种组合。任何特征点检测算法和特征描述算法都可以应用于本发明中。
图像表征模块
对纹理图像和非纹理图像采用不同的图像表征方法。
对于纹理图像：
基于超像素特征字典，对图像中的所有超像素的特征描述进行量化，从而构成图像表征向量。该表征向量的维度等于超像素特征字典的容量，并且极度稀疏。
对于非纹理图像：
将所有特征点特征向量的集合作为图像表征。
检索模块
相似度比较采用欧式距离。
对于纹理图像：
图像表征采用一个特征向量表示。利用k近邻（KNN）算法从透视图像表征数据库中查找与检索图像的表征较相似的条目，根据条目索引从透视图像数据库中得到透视图像数据，作为初级候选结果。构建拥有200个元素的初级候选结果。
对于非纹理图像：
图像表征采用一个特征向量集合表示。对特征向量集合中的每个特征向量，利用k近邻（KNN）算法从图像表征数据库中查找与检索图像表征相似的条目，根据条目索引从透视图像数据库中得到透视图像数据。若在特征向量集合中至少有3个特征向量指向同一个透视图像，那么将其加入到初级候选结果中。构建拥有200个元素的初级候选结果。
这里相似度比较采用欧式距离，但本发明不限于此。任何可以进行相似度测量的方法都可以应用于本发明中，如流行学习（Manifold Learning）等。
多样性过滤模块
采用结构SVM模型（structural SVM），从初级检索结果中挑选出3个可以最大覆盖不同货物种类的图像。
相关度反馈调节模块
接受用户对检索结果的信息反馈，并进行检索模型的更新。
交互模块
采用两级树形显示方案，如图2所示。通过鼠标在扫描图像上选取检索区域。当检索区域选取完成后，实时在其周围显示两级树形检索结果。第一级，显示多样性过滤模块的输出结果；第二级，显示与上一级同种货物类型的其它相似图像。当鼠标滑过每一级节点时，会呈现出用户对此检索结果的满意程度选择标签。在获得反馈信息后，会将所述反馈信息传递给相关度反馈调节模块。
根据本发明的又一实施例，还公开了一种安全检查设备，其包括如以上所述的基于透视图像内容的检索系统。
尽管已在附图以及前述描述中详细说明及描述了本发明，但该说明及描述将被视为说明性或例示性的而非限制性的；本发明并不限于所公开的实施例。本领域技术人员在实践所主张的本发明时可从对附图、公开内容及附加的权利要求的研究来理解并实现所公开的实施例的其他变化。
在权利要求和说明书中，词语“包含”不排除其他元素或步骤，且“一”不排除复数个。单个元素或其他单元可实现权利要求中所叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实并不指示不可有利地使用这些措施的组合。不应将权利要求中的任何附图标记解释为限制范围。

Claims (14)

1. 一种基于透视图像内容的检索系统,所述检索系统包括：
预分类模块,用于对透视图像进行预分类处理，将所述透视图像划分为纹理图像和非纹理图像两类；
图像内容特征提取模块，用于对所述透视图像内容进行特征提取；
图像表征模块，用于对所述透视图像内容的特征描述向量进行整合，构建图像表征向量；
检索模块，用于基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果；
多样性过滤模块，用于对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果；
相关度反馈调节模块，用于接受用户对检索结果的信息反馈，并进行检索模型的更新；以及
交互模块，用于显示检索结果并采集用户对检索结果的满意程度的反馈。
2. 根据权利要求1所述的基于透视图像内容的检索系统，其特征在于，所述图像内容特征提取模块
对于纹理图像：建立图像金字塔，然后逐层进行超像素划分，最后以超像素为单元建立纹理描述向量；
对于非纹理图像：建立图像金字塔，逐层逐像素进行特征点检测，对检测到的特征点建立特征描述向量。
3. 根据权利要求1所述的基于透视图像内容的检索系统，其特征在于，所述图像表征模块
对于纹理图像：采用码书策略，统计所有以超像素为单元建立起来的所述纹理描述向量，建立直方图，并以直方图作为图像的表征向量；
对于非纹理图像：聚合所有建立在特征点上的特征描述向量，从而构成一个特征向量集合，并以这个特征向量集合作为图像的表征向量。
4. 根据权利要求1所述的基于透视图像内容的检索系统，其特征在于，所述检索模块
对于纹理图像：图像表征采用一个特征向量表示；
对于非纹理图像：图像表征采用一个特征向量集合表示。
5. 根据权利要求1所述的基于透视图像内容的检索系统，其特征在于，所述交互模块采用两级树形显示方案：通过鼠标在扫描图像上选取检索区域；当检索区域选取完成后，实时在其周围显示两级树形检索结果；第一级，显示多样性过滤模块的输出结果；第二级，显示与上一级同种货物类型的其它相似图像；当鼠标滑过每一级节点时，会呈现出用户对此检索结果的满意程度选择标签；在获得反馈信息后，将所述反馈信息传递给所述相关度反馈调节模块。
6. 一种基于透视图像内容的检索方法,所述检索方法包括：
预分类步骤,用于对透视图像进行预分类处理，将所述透视图像划分为纹理图像和非纹理图像两类；
图像内容特征提取步骤，用于对所述透视图像内容进行特征提取；
图像表征步骤，用于对所述透视图像内容的特征描述向量进行整合，构建图像表征向量；
检索步骤，用于基于检索模型从图像表征数据库中检索到与所检索的图像表征向量相似度较高的若干幅图像，从而构建初级候选结果；
多样性过滤步骤，用于对所述初级候选结果进行过滤，挑选出可以覆盖多个货物种类的图像子集，从而构成多样性的检索结果；
相关度反馈调节步骤，用于接受用户对检索结果的信息反馈，并进行检索模型的更新；以及
交互步骤，用于显示检索结果并采集用户对检索结果的满意程度的反馈。
7. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，在所述图像内容特征提取步骤中
对于纹理图像：建立图像金字塔，然后逐层进行超像素划分，最后以超像素为单元建立纹理描述向量；
对于非纹理图像：建立图像金字塔，逐层逐像素进行特征点检测，对检测到的特征点建立特征描述向量。
8. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，在所述图像表征步骤中
对于纹理图像：采用码书策略，统计所有以超像素为单元建立起来的所述纹理描述向量，建立直方图，并以直方图作为图像的表征向量；
对于非纹理图像：聚合所有建立在特征点上的特征描述向量，从而构成一个特征向量集合，并以这个特征向量集合作为图像的表征向量。
9. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，在所述检索步骤中
对于纹理图像：图像表征采用一个特征向量表示；
对于非纹理图像：图像表征采用一个特征向量集合表示。
10. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，在所述交互步骤中，采用两级树形显示方案：通过鼠标在扫描图像上选取检索区域；当检索区域选取完成后，实时在其周围显示两级树形检索结果；第一级，显示多样性过滤步骤的输出结果；第二级，显示与上一级同种货物类型的其它相似图像；当鼠标滑过每一级节点时，会呈现出用户对此检索结果的满意程度选择标签；在获得反馈信息后，将所述反馈信息传递给所述相关度反馈调节步骤。
11. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，所述检索方法还包括透视图像表征数据库建立与更新：
对透视图像数据库中所有未构建图像表征的透视图像；经过预分类步骤，得到对图像内容的初级判断（纹理图像或非纹理图像）；经过图像内容特征提取步骤，得到对图像内容描述的特征向量；经过图像表征步骤，构造图像表征，并将所述图像表征存入透视图像表征数据库。
12. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，所述检索方法还包括用户信息反馈更新检索模型：
通过交互步骤，用户对检索引擎返回的检索结果的满意度进行评价，并将评价结果反馈给检索系统；检索系统利用反馈信息进行模型参数调节，并触发透视图像表征数据库的更新过程。
13. 根据权利要求6所述的基于透视图像内容的检索方法，其特征在于，所述检索方法还包括透视图像数据库更新：
用户提交检索图像到透视图像数据库，将自动触发透视图像表征数据库的建立过程，从而实现透视图像数据库和透视图像表征数据库的同步。
14. 一种安全检查设备，其包括如权利要求1-5所述的基于透视图像内容的检索系统。
CN201310734306.5A 2013-12-27 2013-12-27 基于透视图像内容的检索系统、检索方法以及安全检查设备 Active CN104750697B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201310734306.5A CN104750697B (zh) 2013-12-27 2013-12-27 基于透视图像内容的检索系统、检索方法以及安全检查设备
PCT/CN2014/094491 WO2015096676A1 (zh) 2013-12-27 2014-12-22 基于透视图像内容的检索系统、检索方法以及安全检查设备
BR112015003324-5A BR112015003324B1 (pt) 2013-12-27 2014-12-22 Sistema e método de recuperação com base em conteúdos de imagens fluoroscópicas e dispositivo de inspeção de segurança
EP14200142.9A EP2894577B1 (en) 2013-12-27 2014-12-23 Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
EP18189711.7A EP3422217A1 (en) 2013-12-27 2014-12-23 Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
US14/580,571 US20150186374A1 (en) 2013-12-27 2014-12-23 Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
PL14200142T PL2894577T4 (pl) 2013-12-27 2014-12-23 System wyszukiwania, sposób wyszukiwania oraz urządzenie kontroli bezpieczeństwa oparte na zawartości obrazów fluoroskopowych

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310734306.5A CN104750697B (zh) 2013-12-27 2013-12-27 基于透视图像内容的检索系统、检索方法以及安全检查设备

Publications (2)

Publication Number Publication Date
CN104750697A true CN104750697A (zh) 2015-07-01
CN104750697B CN104750697B (zh) 2019-01-25

Family

ID=52292685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310734306.5A Active CN104750697B (zh) 2013-12-27 2013-12-27 基于透视图像内容的检索系统、检索方法以及安全检查设备

Country Status (6)

Country Link
US (1) US20150186374A1 (zh)
EP (2) EP2894577B1 (zh)
CN (1) CN104750697B (zh)
BR (1) BR112015003324B1 (zh)
PL (1) PL2894577T4 (zh)
WO (1) WO2015096676A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101514A1 (zh) * 2015-12-16 2017-06-22 清华大学 检查货物的方法、系统和装置
CN108303435A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
WO2019128698A1 (zh) * 2017-12-26 2019-07-04 同方威视技术股份有限公司 辅助安检方法、装置和系统
CN110147749A (zh) * 2019-05-10 2019-08-20 中国民航大学 一种民航丢失行李辅助找回方法
CN110162639A (zh) * 2019-04-16 2019-08-23 深圳壹账通智能科技有限公司 识图知意的方法、装置、设备及存储介质
CN110969090A (zh) * 2019-11-04 2020-04-07 口碑(上海)信息技术有限公司 基于深度神经网络的水果品质识别方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778639A (zh) * 2016-12-23 2017-05-31 常州纺织服装职业技术学院 一种基于姿态相对时空特征统计描述的运动数据检索方法
CN108875798B (zh) * 2018-05-29 2022-06-24 电子科技大学 一种基于空间金字塔池化的超像素级特征提取方法
CN111126479A (zh) * 2019-12-20 2020-05-08 山东浪潮人工智能研究院有限公司 一种基于无监督独特性优化的图像描述生成方法及系统
CN113326860B (zh) * 2020-05-29 2023-12-15 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备和计算机存储介质
CN112836113B (zh) * 2021-02-09 2024-02-02 百度在线网络技术（北京）有限公司 信息处理方法、装置、设备、存储介质及计算机程序
CN117710700A (zh) * 2024-02-05 2024-03-15 厦门她趣信息技术有限公司 一种基于深度学习的相似图像检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851703A (zh) * 2006-05-10 2006-10-25 南京大学 数字图像检索中的主动半监督相关反馈方法
US20100128955A1 (en) * 2008-11-24 2010-05-27 Vivek Walimbe Methods and apparatus for generating and archiving x-ray fluoroscopy images
CN102254303A (zh) * 2011-06-13 2011-11-23 河海大学 遥感图像分割方法及遥感图像检索方法
US20110314049A1 (en) * 2010-06-22 2011-12-22 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US20120033896A1 (en) * 2010-08-08 2012-02-09 Geoffrey Louis Barrows Visual Motion Processing with Offset Downsampling
CN103324650A (zh) * 2012-10-23 2013-09-25 深圳市宜搜科技发展有限公司 一种图像检索方法及系统
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012256B1 (en) * 2001-12-21 2006-03-14 National Recovery Technologies, Inc. Computer assisted bag screening system
DE60323486D1 (de) * 2002-05-30 2008-10-23 Sharp Kk Bildverarbeitungseinrichtung
WO2006007723A1 (en) * 2004-07-20 2006-01-26 William Awad System and method for detecting the presence of a threat in a package
CA2584683A1 (en) * 2006-04-20 2007-10-20 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons
US8645516B2 (en) * 2008-02-22 2014-02-04 Accenture Global Services Limited System for analyzing user activity in a collaborative environment
CN101408932B (zh) * 2008-04-11 2012-06-20 浙江师范大学 一种基于指纹结构特征与纹理分析的指纹图像匹配方法
JP5300387B2 (ja) * 2008-09-12 2013-09-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN102172026B (zh) * 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US8401309B2 (en) * 2008-12-30 2013-03-19 International Business Machines Corporation Security screening image analysis simplification through object pattern identification
US8396870B2 (en) * 2009-06-25 2013-03-12 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
CN102467564B (zh) * 2010-11-12 2013-06-05 中国科学院烟台海岸带研究所 一种基于改进支持向量机相关反馈的遥感图像检索方法
CN103207910B (zh) * 2013-04-08 2017-02-08 河南大学 基于分层特征和遗传规划相关反馈的图像检索方法
CN103226616A (zh) * 2013-05-16 2013-07-31 南京龙渊微电子科技有限公司 一种图像内容检索系统及其图像内容稀疏学习方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851703A (zh) * 2006-05-10 2006-10-25 南京大学 数字图像检索中的主动半监督相关反馈方法
US20100128955A1 (en) * 2008-11-24 2010-05-27 Vivek Walimbe Methods and apparatus for generating and archiving x-ray fluoroscopy images
US20110314049A1 (en) * 2010-06-22 2011-12-22 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US20120033896A1 (en) * 2010-08-08 2012-02-09 Geoffrey Louis Barrows Visual Motion Processing with Offset Downsampling
CN102254303A (zh) * 2011-06-13 2011-11-23 河海大学 遥感图像分割方法及遥感图像检索方法
CN103324650A (zh) * 2012-10-23 2013-09-25 深圳市宜搜科技发展有限公司 一种图像检索方法及系统
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIA LI: "Classification of textured and non-textured images using region segmentation", 《INTERNATINAL CONFERENCE ON IMAGE PROCESSING,2000》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101514A1 (zh) * 2015-12-16 2017-06-22 清华大学 检查货物的方法、系统和装置
CN108303435A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
CN108303435B (zh) * 2017-01-12 2020-09-11 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
WO2019128698A1 (zh) * 2017-12-26 2019-07-04 同方威视技术股份有限公司 辅助安检方法、装置和系统
US11055869B2 (en) 2017-12-26 2021-07-06 Nuctech Company Limited Security inspection based on scanned images
CN110162639A (zh) * 2019-04-16 2019-08-23 深圳壹账通智能科技有限公司 识图知意的方法、装置、设备及存储介质
CN110147749A (zh) * 2019-05-10 2019-08-20 中国民航大学 一种民航丢失行李辅助找回方法
CN110147749B (zh) * 2019-05-10 2023-05-05 中国民航大学 一种民航丢失行李辅助找回方法
CN110969090A (zh) * 2019-11-04 2020-04-07 口碑(上海)信息技术有限公司 基于深度神经网络的水果品质识别方法及装置

Also Published As

Publication number Publication date
BR112015003324A2 (pt) 2017-07-04
PL2894577T3 (pl) 2019-05-31
WO2015096676A1 (zh) 2015-07-02
EP2894577B1 (en) 2018-10-03
PL2894577T4 (pl) 2019-05-31
US20150186374A1 (en) 2015-07-02
BR112015003324B1 (pt) 2021-12-14
CN104750697B (zh) 2019-01-25
EP2894577A1 (en) 2015-07-15
EP3422217A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
CN104750697A (zh) 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN106897737B (zh) 一种基于超限学习机的高光谱遥感图像地物分类方法
Mery et al. Automated X-ray object recognition using an efficient search algorithm in multiple views
Chen et al. Fast auto-clean CNN model for online prediction of food materials
Khan et al. Automated design for recognition of blood cells diseases from hematopathology using classical features selection and ELM
Vijayalakshmi et al. CNN based approach for identifying banana species from fruits
Buvana et al. Content-based image retrieval based on hybrid feature extraction and feature selection technique pigeon inspired based optimization
Mosinska-Domanska et al. Active learning for delineation of curvilinear structures
Xia et al. Trademark image retrieval via transformation-invariant deep hashing
Dandotiya et al. Image retrieval using edge detection, RLBP, color moment method for YCbCr and HSV color space
Rahman et al. Biomedical CBIR using “bag of keypoints” in a modified inverted index
Natrajan et al. A Transfer Learning based CNN approach for Classification of Horticulture plantations using Hyperspectral Images
Farooque et al. A dual attention driven multiscale-multilevel feature fusion approach for hyperspectral image classification
Sun et al. Visual cognition inspired vehicle re-identification via correlative sparse ranking with multi-view deep features
Kanimozhi et al. Octagonal lattice-based triangulated shape descriptor engaging second-order derivatives supplementing image retrieval
Ghaderi et al. Weakly supervised pairwise Frank–Wolfe algorithm to recognize a sequence of human actions in RGB-D videos
Chang et al. Affective image classification using multi-scale emotion factorization features
Kumar et al. An improved support vector machine kernel for medical image retrieval system
Sugiarto et al. An improved wood identification accuracy using gaussian pyramid and laplacian edge detection based on android smartphone
Ban et al. Image classification using DETR based object-level feature
Qin et al. Spectral clustering with anchor graph based on set-to-set distances for large-scale hyperspectral images
Pei et al. A rapid vehicle recognition and retrieval system
Misale et al. Learning visual words for content based image retrieval
Li et al. A synthetic integrative algorithm of fast concurrent detection-recognition with effective tracking of aerial objects based on deep learning of CNN
Dong et al. A Two-Branch Neural Network Based on Superpixel Segmentation and Auxiliary Samples

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant