CN106503121B - 一种x光安检图像的结构化描述方法及系统 - Google Patents

Abstract

本发明公开了一种X光安检图像的结构化描述方法及系统，本方案通过对现有各类违禁物品的X光图像进行训练，形成相应的违禁物品X光图像训练图像库，在此基础上进一步的对对待识别的X光图像进行分割，并与训练图像库中经过训练的图像进行比对匹配，根据比对匹配结果对X光安检图像进行分析、理解，并产生结构化描述数据。本方案应用范围广，性能稳定可靠，降低人工监看的成本，提高了违禁物品发现的几率和准确程度，进而提高X光安检的智能化、信息化水平，有效解决现有技术所存在的问题。

Description

一种X光安检图像的结构化描述方法及系统

技术领域

本发明涉及安全技术，具体涉及X光安检技术。

背景技术

近年来，随着航空、铁路、城市交通及快递物流业的高速发展，X光安检机被广泛使用，用于保障旅客及货物的安全。X光安检的目的是利用X光透视图像找出或发现货物包裹中夹带的违禁物品，主要包括易燃、易爆品、腐蚀性物品、管制刀具及枪械、珍稀动植物制品、毒品及易制毒化学品、区域专售商品以及公安需要查处的物品。

目前，X光安检机主要依靠人工监看的方式来进行工作，监看人员通过观察X光图像，根据常见违禁品的形状及色彩，辨别图像中是否有可疑物品。这种方式效率低、可靠性差，容易发生漏判或误判的现象。尤其是目前X光安检机的数量迅猛增加的情况下，人工监看越来越难以满足海量货物检查处理的需求。另外，X光图像属于非结构化数据，难以分类和检索。若要在海量的X光图像中通过文本信息检索的方式查找图像，例如查找“瓶装液体”，无法获得符合条件的图像集合。

据此，现有部分X光安检机产品具备一定的识别探测报警功能。例如：国外具有代表性的X光安检机为Smiths Detection公司的HI-SCAN系列安检机、美国美国Rapiscan系列安检机，以及中国国内同方威视的CX系列安检机、深圳思迈奥公司的SMA系列等。这些X光安检机产品所采用的识别技术能够识别一些锂电池、金属枪支、金属刀具、打火机充气罐等简单的违禁物品，但是这些X光安检机所采用的识别技术普遍存在以下问题：识别的违禁品种类有限，准确率不高，特别仅限于本公司的X光机使用，无法支持其他同类的X光机，不具有学习功能，用户无法自行添加违禁物品样本，也无法给出报警物品的详细信息。

申请号为CN201010137848.0的中国发明专利公开了一种基于结构化描述的视频监控管理方法及系统。该方案可以对视频图像进行分析、理解，并产生结构化描述数据，视频数据和描述数据之间存在着对应关系，用户通过对视频描述数据的操作来实现对视频图像数据的查询、浏览、检索等信息化的应用，工作性能稳定可靠，适用范围较为广泛，解决了海量视频数据分析和管理的问题，降低人工监控的成本，提高了现有视频监控系统的智能化、信息化技术水平。但是该方案属于是针对监控视频图像，而非X光安检图像，无法解决X光安检图像的自动识别与文本描述问题。

公开号为CN105652857A的中国发明专利公开了一种远程X射线安检机实时监控方法。该方案通过在地图上显示X射线安检机的位置、运行状态及名称，通过颜色指示X射线安检机是否在运行及其运行状态，并在点击地图上X射线安检机的名称后，客户端可以显示该X射线安检机的全部相关运行状态参数；通过客户端可远程查询X射线安检机的运行状态，并在X射线安检机出现异常时，通过颜色指示，直接表现出异常位置，方便维修人员及时做出应对，提高了维修效率，缩短了X射线安检机从异常状态到恢复使用的停滞时间。该方案主要是解决X光安检机的网络化管理问题，而并非针对X光图像中违禁品的识别与描述。

大连理工大学2002年硕士学位论文《双能量X光图像分割与识别技术及其应用研究》设计公开了一套炸弹图像的自动识别算法。论文根据炸弹在双能量X光图像中的特性，提出了三种分割算法，确立了适合双能量X光图像特点的炸弹图像目标判别准则，对于X光图像中炸弹的正确识别率可达90％以上。该方案主要是针对X光图像中炸弹的识别，而非针对各种各样的违禁物品，还无法解决实际工作中除炸弹以为的其他违禁物品的识别与描述。

沈阳理工大学2014年硕士学位论文《X光安检图像处理方法及研究》，该论文针对违禁品检测的难点和目前检测方法的局限性，提出了一种基于安检图像特征点的匹配方法，在整个匹配过程中不同阶段采取不同匹配策略，充分利用图像的灰度信息和角点位置等信息，搭建了“安检图像实验与处理系统”。该系统虽然实现了基本的图像分割与检测识别功能，但是分割和识别的准确程度不高，也无法给出违禁品性质方面的描述，距离实际应用有一定的距离。

综上所述，现有的X光安检技术，无法解决X光图像的识别与描述问题。再者，目前的X光机识别报警技术只针对炸弹、枪支、刀具、电池等少量物品，违禁物品数据库无法添加，识别率不高且无法给出图像的准确描述信息，无法实现X光图像的查询检索功能，无法对海量的X光图像进行分析管理和信息化应用。

发明内容

针对现有X光图像处理技术所存在的问题，需要一种能够对X光安检图像进行结构化描述的新技术。

由此本发明所要解决的技术问题是提供一种X光安检图像的结构化描述方法及系统，以对X光安检图像进行结构化描述，提高X光安检识别效率和智能化。

为了解决上述技术问题，本发明提供的一种X光安检图像的结构化描述方法包括:

建立相应物品X光图像的训练图像库，该训练图像库中包含有若干不同类别且进行了语义标记的图像；

针对待识别的X光图像，根据待识别的X光图像中物品图像的不同颜色及灰度，将该X光图像分割成若干个子图像；

对于每个子图像，与训练图像库中的图像进行比对，根据图像匹配的结果得到子图像的基本语义信息；

根据各子图像的基本语义信息，分析并生成待识别X光图像的结构化描述元数据。

在本结构化描述方法的优选方案中，所述结构化描述方法还包括将X光图像和结构化描述元数据之间建立对应关系，并向用户提供应用服务的步骤。

在本结构化描述方法的优选方案中，建立的X光图像训练图像库中可以随时增加新物品的X光图像，并进行语义标记。

在本结构化描述方法的优选方案中，X光图像的分割方式包括自动、半自动或人工三种方式，自动分割方式由控制程序全程自动完成X光图像的分割，半自动分割方式由控制程序自动完成X光图像的分割，并由人工对分割后的子图像进行优化完善；人工分割方式由人工完成X光图像的分割，由控制程序显示和记录分割的结果。

在本结构化描述方法的优选方案中，子图像与训练库中的图像的比对时，通过比较图像的特征，当两幅图像的特征相似程度达到预定的阈值范围时，则认为两幅图像匹配成功。

在本结构化描述方法的优选方案中，在待识别X光图像的子图像与训练库中的图像匹配成功，可进行报警处理。

为了解决上述技术问题，本发明提供的一种X光安检图像的结构化描述系统，包括：

安检图像结构化描述模块，所述安检图像结构化描述模块能够读取X光安检图像，并对读取的安检X光图像进行分析处理，获得X光图像的结构化描述元数据；

数据存储模块，用于存储和管理X光图像和结构化描述元数据。

优选的，所述结构化描述系统还包括应用服务模块，所述应用服务模块与数据存储模块数据连接，利用数据存储模块中存储的X光图像和结构化描述元数据为终端用户提供各种数据应用服务。

优选的，所述结构化描述系统还包括一报警处理模块，对所述安检图像结构化描述模块产生的实时报警信息进行处理。

优选的，所述安检图像结构化描述模块包括：

训练图像库子模块，所述训练图像库子模块建立相应物品X光图像的训练图像库，该训练图像库中包含有若干不同类别且进行了语义标记的图像；

X光图像分割子模块，所述X光图像分割子模块对待识别的X光图像进行分割，形成若干个子图像；

图像比对子模块，所述图像比对子模块分别与训练图像库子模块和X光图像分割子模块数据连接，将X光图像分割子模块分割形成的若干子图像与训练图像库子模块中训练图像进行比对，根据图像匹配的结果形成子图像的基本语义信息；

结构化描述子模块，所述结构化描述子模块与图像比对子模块数据连接，根据图像比对子模块数据形成的子图像基本语义信息生成待识别的X光图像的结构化描述元数据。

本发明提供的X光安检图像结构化描述方案，可以对X光安检图像进行分析、理解，并产生结构化描述数据，且在安检图像和描述数据之间形成对应关系，不仅大大提高X光安检识别的准确性，并且用户通过对结构化描述数据的操作来实现对安检图像数据的查询、浏览、检索等信息化的应用，工作性能稳定可靠，适用范围较为广泛，解决了海量安检图像分析和管理的问题，降低人工监控的成本，提高了现有包裹X光安检系统的智能化、信息化技术水平。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中进行X光安检图的结构化描述的流程图；

图2为本发明实例中训练图像库中违禁品X光图像及语义标记示意图；

图3为本发明实例中对待识别X光图像进行分割的示意图；

图4为本发明实例中形成的结构化描述元数据的示意图；

图5为本发明实例中X光安检图的结构化描述系统示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本发明通过对现有各类违禁物品的X光图像进行训练，形成相应的违禁物品X光图像训练图像库，在此基础上进一步的对对待识别的X光图像进行分割，并与训练图像库中经过训练的图像进行比对匹配，根据比对匹配结果对X光安检图像进行分析、理解，并产生结构化描述数据。

这里的描述数据包含了物品名称、种类、材质、包装形式、图像特点等文本信息，后续用户可以通过对结构化描述数据进行查询、检索、浏览等信息化，系统发现违禁物品时可以推送报警。

参见图1，其所示为本发明进行X光安检图像的结构化描述的具体流程图。

由图可知，对X光安检图像进行结构化描述的过程主要包括如下的步骤：

(1)建立一个违禁物品X光图像的训练图像库，训练图像库中包含有若干不同类别且进行了语义标记的图像。

这里的训练图像库中可以随时增加新的违禁品X光图像，并进行语义标记。

再者，该训练库中的违禁品X光图像可以为完整的图像，也可以是经过裁剪的X光图像，语义标记的内容包括物品名称、种类、材质、包装形式、图像特点等，如图2所示。

标记完成后，对图像或者经过裁剪的图像进行特征提取，并根据提取的特征建立索引。提取的特征包括违禁品图像的颜色特征、形状特征、纹理特征。提取特征并建立特征索引的目的是提高后续比对识别和查找的速度。

(2)读取待识别的X光图像，根据待识别的X光图像中物品图像的不同颜色及灰度，把图像分割成若干个子图像(如图3所示)。

通过分割将待识别图像分成若干个子图像，每个子图像只包含1个完整的物品，且子图像的边缘为所包含物品图像区域的最小外接矩形。

这里对X光图像的分割方式包括自动、半自动和人工三种方式：

自动方式是指X光图像分割由计算机系统(控制程序)独立完成，过程中没有人工参与或干预。

半自动是指X光图像分割由计算机系统(控制程序)和人工共同完成，由计算机系统(控制程序)完成初步分割，人工对计算机系统(控制程序)分割的结果进行优化和完善。

人工方式是指X光图像的分割完全由人工完成，计算机系统(控制程序)并不参与分割区域的确定过程，只是显示和记录人工分割的结果。

对于上述三种分割方式，在具体应用时可根据实际需求选用。

(3)针对分割形成的每个子图像，将其逐一与训练图像库中的图像进行比对，根据图像匹配的结果得到子图像的基本语义信息。

这里子图像与训练库中的图像的比对，是通过比较图像的特征来进行的，涉及到的图像特征包括图像的形状、颜色、纹理等特征。当两幅图像的特征相似程度达到某种条件规定的范围时(如预定的阈值范围)，则认为两幅图像匹配成功。

另外，当子图像与训练库中的多幅图像匹配成功时，需要根据子图像与每一副图像匹配的相似度数值进行排序，找到最相似的一副图像作为匹配成功的候选图像，由此保证匹配的精度。

在此基础上，如果待识别X光图像的子图像与训练库中违禁品图像匹配成功，可进行报警处理。

(4)根据各子图像的基本语义信息，分析并生成待识别X光图像的结构化描述元数据。

本步骤中，根据获得的各子图像的基本语义信息，分析并生成待识别X光图像的结构化描述元数据。子图像的基本语义信息包括物品名称、种类、材质、包装形式、图像特点等，其是通过比对成功的与之匹配的训练库图像的标记信息继承而来的。这些基本语义信息通过预定的编码格式与规则自动生成待识别X光图像的结构化描述元数据。

这里的结构化描述元数据包括图像名称、日期时间、子图像区域信息、报警信息、相似度信息等，还进一步包含了物品名称、种类、材质、包装形式、图像特点等文本信息，如图4所示。

(5)将X光图像和生成的结构化描述元数据之间建立对应关系，进行存储，并据此向用户提供浏览、查询、检索等应用服务。

(6)用户对X光图像结构化描述元数据进行查询、检索和浏览等操作，获得相应的图像数据结果。

据此，用户可对X光图像结构化描述元数据进行查询、检索和浏览等操作，获得相应的图像数据结果，比如查询“短枪”和“手提箱”关键字组合，在查询记录中将显示所有符合该条件的图像报警记录。

基于本方案，用户可通过对结构化描述数据进行查询、检索、浏览等信息化操作，可以对海量的X光图像进行分析管理和信息化应用。再者，在方案实施过程中，在发现违禁物品时可自动及时推送报警，降低人工监看的成本，提高了违禁物品发现的几率和准确程度，进而提高X光安检的智能化、信息化水平。

以下通过一具体应用实例来说明本X光安检图像结构化描述方案的实施过程。

参见图5，其所示为本实例中X光安检图像的结构化描述系统，该结构化描述系统能够针对X光安检机形成的X光安检图像进行违禁物品的识别、结构化描述以及报警等。

由图可知，该结构化描述系统100主要包括安检图像结构化描述模110、数据存储模块120，应用服务模块130，及报警处理模块140。

其中，安检图像结构化描述模110，能够从X光安检机200中读取X光安检图像，并对读取的安检X光图像进行分析处理，获得X光图像的结构化描述元数据。

该安检图像结构化描述模110具体包括：训练图像库子模块、X光图像分割子模块、图像比对子模块以及结构化描述子模块，这四个功能子模块。

训练图像库子模块用于建立相应违禁物品X光图像的训练图像库，该训练图像库中包含有若干不同类别且进行了语义标记的图像。

X光图像分割子模块对获取到的待识别的X光图像进行分割，形成若干个子图像。

图像比对子模块分别与训练图像库子模块和X光图像分割子模块数据连接，将X光图像分割子模块分割形成的若干子图像逐一与训练图像库子模块中训练图像进行比对，根据图像匹配的结果形成子图像的基本语义信息。另外，该图像比对子模块在某个子图像与训练图像库子模块中训练图像匹配成功时，则立即形成相应的报警信息。

结构化描述子模块与图像比对子模块数据连接，用于根据图像比对子模块数据形成的子图像基本语义信息生成待识别的X光图像的结构化描述元数据。

数据存储模块120，其与安检图像结构化描述模110数据连接，具体与安检图像结构化描述模110中的结构化描述子模块数据连接，用于存储和管理X光图像和结构化描述元数据。

应用服务模块130，其与数据存储模块120连接，利用数据存储模块中存储的X光图像和结构化描述元数据为终端用户提供各种数据应用服务，如检索、浏览、统计分析等数据应用服务。

报警处理模块140，其与安检图像结构化描述模110数据连接，具体与安检图像结构化描述模110中的图像比对子模块数据连接，用于对安检图像结构化描述模块110产生的实时报警信息进行处理。

这里的报警处理模块包括声光报警装置和详细报警信息显示装置。声光报警装置主要通过声音、闪光等手段提醒相关人员注意，详细报警信息显示装置则通过屏幕等装置把报警时间、报警地点、报警内容等信息显示给相关人员。

据此构成结构化描述系统100在具体使用时，与X光安检机200配合使用，可对X光安检机200形成的X光安检图像进行违禁物品的识别、结构化描述以及报警；这里的X光安检机200为任何规格，型号的X光安检机，如通道式X光机或者便携式X光机等。

同时通过应用服务模块130向用户终端300提供各种数据应用服务。

以下结合附图3和图4给出的实例，说明一下本结构化描述系统100的运行过程。

将待安检物品(如包裹)送入X光安检机200，X光安检机检查包裹后，产生包裹的X光安检图像，并将包裹的X光安检图像存储为JPEG或者BMP图像。

与X光安检机200数据连接的结构化描述系统100，其中的安检图像结构化描述模块110从X光安检机读取完整的X光安检图像，并对安检图像进行分析处理，获得X光图像的结构化描述元数据。

其中，安检图像结构化描述模块110中的X光图像分割子模块对获取的完整的X光安检图像，根据该X光安检图像的不同颜色及灰度，把图像分割成若干个子图像，图3所示实例为分割成7个子图像。

接着，安检图像结构化描述模块110中的图像比对子模块将分割形成的若干子图像逐一与预先建立的训练图像库子模块中的各个训练图像进行比对，并根据图像匹配的结果形成子图像的基本语义信息。若待识别X光图像的某个子图像与训练库中违禁品图像匹配成功，则形成报警信息，并传至报警处理模块110。

再者，安检图像结构化描述模块110中结构化描述子模块根据每个子图像的基本语义信息，分析生成待识别的X光图像的结构化描述元数据，并传至数据存储模块120。图4所示实例中，生成的结构化描述元数据包括图像名称、日期时间、子图像区域信息、报警信息、相似度信息、物品名称、种类、材质、包装形式、图像特点等文本信息。

安检图像结构化描述模块110通过分析处理，在发现可疑违禁物品时，发送报警信息给报警处理模块140。

报警处理模块140会发出声光报警，并把详细报警信息显示给相关人员。

同时，安检图像结构化描述模块110分析生产的X光图像的结构化描述元数据与X光安检图像绑定保存在数据存储模块120中。

应用服务模块130利用数据存储模块120中存储的X光图像和结构化描述元数据为终端用户300提供包括检索、浏览、统计分析等各种数据应用服务。

本系统在运行时，X光安检机、安检图像结构化描述模块、数据存储模块、应用服务模块、终端用户之间优选采用网络通讯的方式传输数据。

由上可见，该系统可以对X光安检图像进行分析、理解，并产生结构化描述数据，该描述数据包含了物品名称、种类、材质、包装形式、图像特点等文本信息，用户可以对结构化描述数据进行查询、检索、浏览等信息化操作，系统发现违禁物品时可以推送报警。

最后需要指出的上述方法与系统，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、软盘、光盘片、或是任何机器可读取(如智能型手机、计算机可读取)储存媒体，当机器加载程序代码且执行，如智能型手机加载且执行，机器成为用以实行本方法的装置。

再者，上述方法与系统亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器，如智能型手机接收、加载且执行，机器成为用以实行本方法的装置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种X光安检图像的结构化描述方法，其特征在于，所述结构化描述方法依次包括如下步骤:

首先，建立相应物品X光图像的训练图像库，该训练图像库中包含有若干不同类别且进行了语义标记的图像；所述训练库中的违禁品X光图像为完整的图像，或经过裁剪的X光图像；在语义标记完成后，对图像或者经过裁剪的图像进行特征提取，并根据提取的特征建立索引；

接着，针对待识别的X光图像，根据待识别的X光图像中物品图像的不同颜色及灰度，将该X光图像分割成若干个子图像；通过分割将待识别图像分成若干个子图像，每个子图像只包含1个完整的物品，且子图像的边缘为所包含物品图像区域的最小外接矩形；

接着，对于每个子图像，与训练图像库中的图像进行比对，根据图像匹配的结果得到子图像的基本语义信息；所述子图像的基本语义信息通过比对成功的与之匹配的训练库图像的标记信息继承而来；

最后，根据各子图像的基本语义信息，分析并生成待识别X光图像的结构化描述元数据，在X光安检图像和描述数据之间形成对应关系。

2.根据权利要求1所述的一种X光安检图像的结构化描述方法，其特征在于，所述结构化描述方法还包括将X光图像和结构化描述元数据之间建立对应关系，并向用户提供应用服务的步骤。

3.根据权利要求1所述的一种X光安检图像的结构化描述方法，其特征在于，建立的X光图像训练图像库中可以随时增加新物品的X光图像，并进行语义标记。

4.根据权利要求1所述的一种X光安检图像的结构化描述方法，其特征在于，X光图像的分割方式包括自动、半自动或人工三种方式，自动分割方式由控制程序全程自动完成X光图像的分割，半自动分割方式由控制程序自动完成X光图像的分割，并由人工对分割后的子图像进行优化完善；人工分割方式由人工完成X光图像的分割，由控制程序显示和记录分割的结果。

5.根据权利要求1所述的一种X光安检图像的结构化描述方法，其特征在于，子图像与训练库中的图像的比对时，通过比较图像的特征，当两幅图像的特征相似程度达到预定的阈值范围时，则认为两幅图像匹配成功。

6.根据权利要求1所述的一种X光安检图像的结构化描述方法，其特征在于，在待识别X光图像的子图像与训练库中的图像匹配成功，可进行报警处理。

7.一种X光安检图像的结构化描述系统，其特征在于，所述结构化描述系统包括：

安检图像结构化描述模块，所述安检图像结构化描述模块能够读取X光安检图像，并对读取的安检X光图像进行分析处理，获得X光图像的结构化描述元数据；所述安检图像结构化描述模块基于权利要求1-6中任一项所述的结构化描述方法获得X光图像的结构化描述元数据；

数据存储模块，用于存储和管理X光图像和结构化描述元数据。

8.根据权利要求7所述的一种X光安检图像的结构化描述系统，其特征在于，所述结构化描述系统还包括应用服务模块，所述应用服务模块与数据存储模块数据连接，利用数据存储模块中存储的X光图像和结构化描述元数据为终端用户提供各种数据应用服务。

9.根据权利要求7所述的一种X光安检图像的结构化描述系统，其特征在于，所述结构化描述系统还包括一报警处理模块，对所述安检图像结构化描述模块产生的实时报警信息进行处理。

10.根据权利要求7所述的一种X光安检图像的结构化描述系统，其特征在于，所述安检图像结构化描述模块包括：

训练图像库子模块，所述训练图像库子模块建立相应物品X光图像的训练图像库，该训练图像库中包含有若干不同类别且进行了语义标记的图像；

X光图像分割子模块，所述X光图像分割子模块对待识别的X光图像进行分割，形成若干个子图像；

图像比对子模块，所述图像比对子模块分别与训练图像库子模块和X光图像分割子模块数据连接，将X光图像分割子模块分割形成的若干子图像与训练图像库子模块中训练图像进行比对，根据图像匹配的结果形成子图像的基本语义信息；

结构化描述子模块，所述结构化描述子模块与图像比对子模块数据连接，根据图像比对子模块数据形成的子图像基本语义信息生成待识别的X光图像的结构化描述元数据。