CN111126238A - 一种基于卷积神经网络的x光安检系统及方法 - Google Patents

一种基于卷积神经网络的x光安检系统及方法 Download PDF

Info

Publication number
CN111126238A
CN111126238A CN201911316782.9A CN201911316782A CN111126238A CN 111126238 A CN111126238 A CN 111126238A CN 201911316782 A CN201911316782 A CN 201911316782A CN 111126238 A CN111126238 A CN 111126238A
Authority
CN
China
Prior art keywords
ray
end server
ray image
module
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911316782.9A
Other languages
English (en)
Other versions
CN111126238B (zh
Inventor
刘立钊
曹隽逸
刘飞
连梓豪
陈锐铭
李毓彪
席靖
宋恒杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911316782.9A priority Critical patent/CN111126238B/zh
Publication of CN111126238A publication Critical patent/CN111126238A/zh
Application granted granted Critical
Publication of CN111126238B publication Critical patent/CN111126238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开的一种基于卷积神经网络的X光安检系统，包括依次连接的X光安检模块、图像获取模块、后端服务器、显示模块；X光安检模块用于获取物品的X光图像，并将X光图像传递至图像获取模块；图像获取模块用于从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；后端服务器用于将X光图像进行危险品检测，得到检测结果，并传输到显示模块；显示模块用于人机交互并显示检测结果以及对检测出的危险品进行报警提醒；定期进行复检持续更新危险品检测模型的参数，本发明充分考虑到安检过程实时性、准确性的要求，具有广阔的应用前景。

Description

一种基于卷积神经网络的X光安检系统及方法
技术领域
本发明涉及安检防控领域，特别涉及一种基于卷积神经网络的X光安检系统及方法。
背景技术
X光安检机是当前使用最为广泛的安检防控设施，常应用于地铁站、火车站、机场、政府机关大楼、会展中心等场所。X光安检机适用于非侵入式筛查待检物体，其主要部分为X射线发生器，用于在待检物体进入安检机隧道时对其进行X光成像。X光安检机成像的颜色取决于待检物体的材料，一般地，有机材料(如纸张、衣服和大多数炸药)以橙色显示，铝等混合材料以绿色显示。无机材料(如铜)显示为蓝色，X光不可透射的物体显示为黑色。成像颜色的深浅取决于材料的密度或厚度。
通用物体检测是计算机视觉中最基本、最具挑战性的问题之一，其目的是在自然图像中从大量预定义的类别中定位目标并进行分类。传统的物体检测算法如梯度直方图(Histogram of Oriented Gradient)、图像金字塔(image pyramid)和滑动窗口(slidingwindow)具有检测精度较低，检测速度较慢的缺点。2012年，Alex Krizhevsky等人在ILSRVC图像分类比赛中提出了深层卷积网络。自此以后，计算机视觉的研究领域开始聚焦于使用深度学习方法代替传统方法，在近十年的研究中，取得了一系列巨大的突破。典型的卷积神经网络包含卷积层、池化层以及全连接层。卷积神经网络利用了卷积运算的三个特点：稀疏交互、参数共享、等变表示来改进传统的机器学习算法，在图像分类、物体检测、实例分割等计算机视觉任务上表现突出。
现代物体检测算法大体上可以分为两类：①.两阶段检测算法，包括提取候选区域与分类两个阶段，例如Faster RCNN等；②.一阶段检测算法，不单独检测候选区域，整个检测过程为单一流水线过程，例如SSD(single shot multi-box detector)等。一般地，两阶段检测算法具有较高的检测精度而一阶段检测算法则具有较高的检测速率。
在实验中，为了提高检测精度，大多数方法聚焦于加深卷积神经网络的层数，通过加大模型参数以获得更好的拟合效果。然而，参数量达到百万、千万级别的模型在检测实时性以及部署实用性上有无法弥补的缺陷。基于此，设计轻量高效的神经网络模型成为近年来计算机视觉学术界十分活跃的课题。较为著名的轻量级模型有MobileNet V1、ShuffleNet V1、MobileNet V2、ShuffleNet V2等。这些模型主要采用了节省参数与节约计算成本的卷积操作，如深度可分离卷积、分组卷积等。实验数据表明，这些轻量级模型在保证准确度的同时大大减少了以往深层卷积网络的参数，节约了计算开销。
在安检图像危险品检测的场景下，检测模型需要具有实时性以及准确性。同时，需要考虑检测模型部署到传统安检设备的成本。因此，必须探究轻量、高效的检测模型，在节约计算设备成本的前提下尽可能提高检测精度。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于卷积神经网络的X光安检系统，对输入图像应用物体检测算法标定可疑危险品的位置并判断危险品的类别，缓解了由于物体重叠造成检测准确率下降的问题，本系统在检测过程中无需分别经过形状与颜色的检测，并通过使用轻量、高效的卷积神经网络以保证危险品检测的实时性，同时提供了对危险品检测的数据分析功能、增量训练功能以及远程监控等对实际安检场景具有帮助的实用功能。
本发明的另一目的在于提供一种基于卷积神经网络的X光安检方法。
本发明的目的通过以下的技术方案实现：
一种基于卷积神经网络的X光安检系统，其特征在于，包括依次连接的X光安检模块、图像获取模块、后端服务器、显示模块；
所述X光安检模块用于获取物品的X光图像，并将X光图像传递至图像获取模块；
所述图像获取模块用于从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；
所述后端服务器用于将X光图像进行危险品检测，得到检测结果，并传输到显示模块；
所述显示模块用于人机交互并显示检测结果。
进一步地，X光安检模块还包括物体传输单元。
进一步地，所述图像获取模块通过数据传输协议将X光图像传输到后端服务器。
进一步地，所述后端服务器包含物体检测模型深度学习模块、数据库，所述数据库用于存储检测结果，所述物体检测模型深度学习模块用于对X光图像进行危险品检测，具体如下：
步骤一、将待检测的X光图像转换为RGB三通道二维像素数组；
步骤二、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，经过特征提取，输出经过特征编码后的特征映射；
步骤三、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
步骤四、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
步骤五、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
步骤六、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果。
进一步地，所述步骤二中，特征提取网络使用深度可分离卷积和逐点卷积。
进一步地，所述步骤三至五使用的卷积操作为深度可分离卷积与空洞卷积。
进一步地，所述物体检测模型深度学习模块采用基于轻量级卷积神经网络的一阶段物体检测模型SSDLite—MobileNetV2。
进一步地，还包括抽样复检，具体为：
安检人员在显示模块创建一个新的抽样复检会话；
通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数。
本发明的另一目的通过以下的技术方案实现：
一种基于卷积神经网络的X光安检方法，包括以下步骤：
S1、X光安检模块获取物品的X光图像；
S2、图像获取模块从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；
S3、后端服务器的物体检测模型深度学习模块对X光图像进行处理，并返回检测出检测结果，检测结果包括危险品位置坐标、危险品类别以及检测置信度；
S301、将待检测的X光图像转换为RGB三通道二维像素数组；
S302、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，经过特征提取，输出经过特征编码后的特征映射；
S303、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
S304、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
S305、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
S306、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果；
S4、后端服务器通过数据传输协议将检测结果传输到显示模块；
S5、显示模块对检测结果进行可视化展示，当检测结果包含危险品时，进行报警提醒；
S6、通过抽样复检更新安检系统后端服务器所搭载的模型参数，实现增量训练；
S601、安检人员在显示模块创建一个新的抽样复检会话；
S602、通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
S603、后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
S604、后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数；
S7、获取一定时间段内安检系统检测结果的统计信息；安检人员通过显示模块输入获取一定时间内检测结果统计信息并发送指令到后端服务器，后端服务器根据指令计算所请求的统计信息并返回显示模块。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明利用深度学习的轻量级物体检测模型对X光图像危险品进行识别，减少了计算开销，减小了检测出现漏检、误检的可能性，提高了检测精度以及检测效率，还能减少传统X光安检设备人工配比，节约人力成本，带来经济效益。
2、对输入图像应用物体检测算法标定可疑危险品的位置并判断危险品的类别，缓解了由于物体重叠造成检测准确率下降的问题。
3、本发明考虑到安检过程所需的实时性以及准确性要求，所使用的模型小，对于存储条件或者计算条件受限的设备，无需额外更换便可以直接部署本系统，减少了硬件成本；同时，本发明所提出的安检系统能取得较高的检测精度以及约1秒/幅X光图像的平均检测速率。
4、本发明提出的系统提供了安检检测结果的统计数据，安检人员可以分析统计数据做到动态调整，积极预防。这使得安检过程由被动变为主动，提升了安检站点的安全系数。
5、本发明提出的安检系统具有良好的迭代更新特性，由安检工作人员复检的数据将反馈给安检系统以持续优化系统所搭载的模型参数，这使得安检系统对新出现的危险品具有较好的适应性，满足了在不同环境下保证安检检测准确度的要求。
附图说明
图1为本发明所述一种基于卷积神经网络的X光安检系统结构框图；
图2为本发明所述一种基于卷积神经网络的X光安检方法流程图；
图3为本发明所述实施例中用户交互流程图；
图4为本发明所述实施例中检测结果样例图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
一种基于卷积神经网络的X光安检系统，(下简称“安检系统”)，其目的是解决人工识别X光图像危险品可能出现的误判、漏检的问题，在保证检测效率的同时，减少安检设备的人工配比，提高安检设备的经济效益，如图1所示，包括依次连接的X光安检模块、图像获取模块、后端服务器、显示模块；还包括物体传输模块，用于传输待测物品；
其中，所述X光安检模块用于获取物品的X光图像，并将X光图像传递至图像获取模块；X光安检模块与其他三个模块的耦合度较低，在不更换现有安检机硬件设备的条件下，安检系统仍能通过相应的适配方法与之连通，从而减少了硬件更换成本；
所述图像获取模块用于从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，这里采用JSON格式输出，并通过数据传输协议将该数据格式的X光图像传输到后端服务器；
所述后端服务器用于将X光图像进行危险品检测，得到检测结果，并传输到显示模块；后端服务器包含物体检测模型深度学习模块、数据库，所述数据库用于将检测结果以数据库表的形式储存，以便用户后续执行复检功能，需要注意的是，上述输出结果的内容可以根据用户设置进行相应调整，并非唯一的方案；所述物体检测模型深度学习模块采用具有轻量、高效特性的深度学习的物体检测模型，这里采用基于轻量级卷积神经网络的一阶段物体检测模型SSDLite—MobileNetV2，用于对X光图像进行危险品检测，具体如下：
步骤一、将待检测的X光图像转换为RGB三通道二维像素数组；
步骤二、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，使用深度可分离卷积和逐点卷积，经过特征提取，输出经过特征编码后的特征映射；
步骤三、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
步骤四、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
步骤五、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
步骤六、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果。
所述步骤三至五使用的卷积操作为深度可分离卷积与空洞卷积；还包括抽样复检，具体为：
安检人员在显示模块创建一个新的抽样复检会话；
通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数。
所述显示模块用于人机交互并显示检测结果，完成用户的各项安检需求。
一种基于卷积神经网络的X光安检方法，如图2所示，包括以下步骤：
S1、X光安检模块获取物品的X光图像；
S2、图像获取模块从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；
S3、后端服务器的物体检测模型深度学习模块对X光图像进行处理，并返回检测出检测结果，检测结果包括危险品位置坐标、危险品类别以及检测置信度；
S301、将待检测的X光图像转换为RGB三通道二维像素数组；
S302、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，经过特征提取，输出经过特征编码后的特征映射；
S303、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
S304、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
S305、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
S306、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果；
S4、后端服务器通过数据传输协议将检测结果传输到显示模块；
S5、前端用户图形界面对检测结果进行可视化展示，当检测结果包含危险品时，进行报警提醒；
S6、通过抽样复检更新安检系统后端服务器所搭载的模型参数，实现增量训练；
S601、安检人员在显示模块创建一个新的抽样复检会话；
S602、通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
S603、后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
S604、后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数；
S7、获取一定时间段内安检系统检测结果的统计信息；安检人员通过显示模块输入获取一定时间内检测结果统计信息并发送指令到后端服务器，后端服务器根据指令计算所请求的统计信息并返回显示模块。
参阅图3描述的安检系统与用户交互的流程图，完成一次X光图像危险品检测可以包括以下步骤：
SI1、用户通过账号及密码登陆本发明所提出的基于轻量、高效的卷积神经网络的X光安检图像危险品检测系统，即基于卷积神经网络的X光安检系统，安检系统进行身份认证并同意或拒绝用户登陆；
SI2、用户选择安检系统检测功能，安检系统进行预检排查各模块是否相互连通且工作正常；
所述的预检包括但不限于检查X光安检机是否能正常成像，图像获取模块是否能获得X光图像，图像处理模块、后端服务器以及前端用户图形界面(显示模块)是否能进行数据传输；预检正常，以下步骤可以继续进行，否则安检系统将停止后续操作等待维修；
SI3、X光安检机对待检物品进行X光成像，并将生成的X光图像通过安检机图像输出接口传送至安检系统图像获取模块；
SI4、图像获取模块将得到的X光图像通过Http请求传输至安检系统后端服务器；
需要注意的是，上述Http请求仅为此步骤优选的数据传输协议，并非唯一的方案，下同；
SI5、后端服务器利用搭载的深度学习的物体检测模型对X光图像进行危险品检测，输出X光图像中各个危险品的位置坐标、危险品类别、检测置信度；
优选地，上述深度学习的物体检测模型为基于轻量级卷积神经网络MobileNetV2-SSDLite的一阶段物体检测算法；
需要注意的是，任何具有轻量、高效特性的深度学习的物体检测模型都可以作为本发明所提出的安检系统搭载的模型，因此仅仅更换所述具有轻量、高效特性的物体检测模型而对其余部分没有进行创造性改进的X光安检系统应涵盖在本发明的保护范围之内；
优选地，上述结果以JSON(JavaScript Object Notation)格式输出；
优选地，服务器在输出检测结果后还会将结果及对应X光图像以数据库表的形式存储起来，以便用户后续执行复检功能；
需要注意的是，上述输出结果的内容可以根据用户设置进行相应调整，并非唯一的方案；
SI6、后端服务器将上述检测结果通过Http响应传输至前端用户图形界面(显示模块)；
需要注意的是，上述Http响应仅为此步骤优选的数据传输协议，并非唯一的方案，下同；
SI7、前端根据获得数据的格式对结果进行渲染并展示，若检测结果包含危险品，则进行报警提醒；
优选地，前端将后端传输的JSON格式数据经渲染后展示为带有检测框的图像；
优选地，用户可以通过安检系统的辅助检测功能对经过上述步骤未检出的危险品进行手动报警提醒；
优选地，用户可以在任意一台可以登陆安检系统前端用户图形界面(显示模块)的设备上通过账号及密码远程地访问一台指定的安检系统，并对其进行人工辅助检测。这一功能有益于整合人力资源，减少每台安检机所需配备的人员。
完成一次抽样复检可以包括以下步骤：
SII1、用户通过账号及密码登陆安检系统，安检系统进行身份认证并同意或拒绝用户登陆；
SII2、用户选择安检系统抽样复检功能，安检系统进行预检排查前端用户图形界面(显示模块)与后端服务器模块是否相互连通且工作正常；
所述的预检包括但不限于后端服务器与前端用户界面是否能进行数据传输，后端服务器所存储的检测结果的数据库表是否能访问；预检正常，以下步骤可以继续进行，否则安检系统将停止后续操作等待维修；
SII3、前端通过Http请求向后端提请复检；
所述的复检请求的参数可以包括复检X光图像的数量、复检所检查的时间范围；
SII4、后端从存储检测结果的数据库表中提取满足前端请求的X光图像及其对应的检测结果，通过Http响应将数据返回至前端；
SII5、用户在前端与安检系统进行交互，并为每一张待复检的X光图像进行是否含有危险品的判断；
优选地，用户在判断一张X光图像包含危险品时，可以利用前端提供的标注工具对危险品进行标注并分类，如图4所示；
优选地，在用户复检完毕后，安检系统将用户判断结果作为标准，计算安检系统对复检样本的检测准确率与检测召回率，以反映一段时期内安检系统的检测情况；
SII6、前端将用户复检结果通过数据传输协议传输至后端服务器，后端服务器对数据进行处理后开始对搭载的深度学习的物体检测模型进行增量训练，调整模型参数。
用户查看所述统计数据的流程可以包括以下步骤：
SIII1、用户通过账号及密码登陆安检系统，安检系统进行身份认证并同意或拒绝用户登陆；
SIII2、用户选择安检系统的查看统计数据功能，安检系统进行预检排查前端用户图形界面模块与后端服务器模块是否相互连通且工作正常；
所述的预检包括但不限于后端服务器与前端用户界面是否能进行数据传输，后端服务器所存储的检测结果的数据库表是否能访问；预检正常，以下步骤可以继续进行，否则安检系统将停止后续操作等待维修；
SIII3、前端通过Http请求向后端提请获得安检结果的统计数据；
所述的请求可以包含的参数有统计图表的类别，统计数据的时间范围；
SIII4、后端从存储检测结果的数据库表中提取满足前端请求的数据记录，计算得到所请求的统计图表的原始数据，并将数据返回至前端；
SIII5、前端接收数据并进行展示；
优选地，后端服务器将可供生成统计图表的文本数据传输至前端，前端通过渲染得到所请求的统计图表并展示；
优选地，用户可以导出所请求的统计图表及原始数据，导出数据的格式可以包括csv、excel、png、jpg。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的X光安检系统，其特征在于，包括依次连接的X光安检模块、图像获取模块、后端服务器、显示模块；
所述X光安检模块用于获取物品的X光图像，并将X光图像传递至图像获取模块；
所述图像获取模块用于从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；
所述后端服务器用于将X光图像进行危险品检测，得到检测结果，并传输到显示模块；
所述显示模块用于人机交互并显示检测结果。
2.根据权利要求1所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述X光安检模块还包括物体传输单元，物体传输单元用于将待测物体在安检系统中进行传输。
3.根据权利要求1所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述图像获取模块通过数据传输协议将X光图像传输到后端服务器。
4.根据权利要求1所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述后端服务器包含物体检测模型深度学习模块、数据库，所述数据库用于存储检测结果，所述物体检测模型深度学习模块用于对X光图像进行危险品检测，具体如下：
步骤一、将待检测的X光图像转换为RGB三通道二维像素数组；
步骤二、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，经过特征提取，输出经过特征编码后的特征映射；
步骤三、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
步骤四、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
步骤五、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
步骤六、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果。
5.根据权利要求4所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述步骤2中，特征提取网络使用深度可分离卷积和逐点卷积。
6.根据权利要求4或5所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述步骤三至五使用的卷积操作为深度可分离卷积与空洞卷积。
7.根据权利要求4所述的一种基于卷积神经网络的X光安检系统，其特征在于，所述物体检测模型深度学习模块采用轻量、高效特性的深度学习的物体检测模型。
8.根据权利要求4所述的一种基于卷积神经网络的X光安检系统，其特征在于，还包括抽样复检，具体为：
安检人员在显示模块创建一个新的抽样复检会话；
通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数。
9.一种基于卷积神经网络的X光安检方法，其特征在于，包括以下步骤：
S1、X光安检模块获取物品的X光图像；
S2、图像获取模块从X光安检模块图像输出接口获取待测物品的X光图像，将X光图像转换为安检系统所接受的数据格式，并将该数据格式的X光图像传输到后端服务器；
S3、后端服务器的物体检测模型深度学习模块对X光图像进行处理，并返回检测出检测结果，检测结果包括危险品位置坐标、危险品类别以及检测置信度；
S301、将待检测的X光图像转换为RGB三通道二维像素数组；
S302、将RGB三通道二维像素数组输入至物体检测模型深度学习模块的特征提取网络，经过特征提取，输出经过特征编码后的特征映射；
S303、对特征映射进行若干次卷积处理，得到具有不同尺度的特征映射；
S304、将不同尺度的特征映射输入至检测模型的检测网络，对每一个特征映射的每一个像素点生成若干个边界框；
S305、检测网络输出判断每一个边界框为不同待检测类别的置信度和偏移量；
S306、对上述结果采用非极大值抑制算法以得到最终包含危险品的边界框，以及所对应的危险品类别、置信度结果；
S4、后端服务器通过数据传输协议将检测结果传输到显示模块；
S5、前端用户图形界面对检测结果进行可视化展示，当检测结果包含危险品时，进行报警提醒；
S6、通过抽样复检更新安检系统后端服务器所搭载的模型参数，实现增量训练；
S601、安检人员在显示模块创建一个新的抽样复检会话；
S602、通过显示模块向后端服务器请求随机抽样的X光图像以及对应的检测结果；
S603、后端服务器将上述X光图像以及对应的检测结果传输至显示模块并进行显示，安检人员通过人工辅助检测功能，对显示的X光图像进行人工检测，人工检测结果经过数据处理后传输到后端服务器；
S604、后端服务器利用人工检测结果对物体检测模型进行增量训练，并更新物体检测模型参数；
S7、获取一定时间段内安检系统检测结果的统计信息；安检人员通过显示模块输入获取一定时间内检测结果统计信息并发送指令到后端服务器，后端服务器根据指令计算所请求的统计信息并返回显示模块。
CN201911316782.9A 2019-12-19 2019-12-19 一种基于卷积神经网络的x光安检系统及方法 Active CN111126238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911316782.9A CN111126238B (zh) 2019-12-19 2019-12-19 一种基于卷积神经网络的x光安检系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911316782.9A CN111126238B (zh) 2019-12-19 2019-12-19 一种基于卷积神经网络的x光安检系统及方法

Publications (2)

Publication Number Publication Date
CN111126238A true CN111126238A (zh) 2020-05-08
CN111126238B CN111126238B (zh) 2023-06-20

Family

ID=70500509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911316782.9A Active CN111126238B (zh) 2019-12-19 2019-12-19 一种基于卷积神经网络的x光安检系统及方法

Country Status (1)

Country Link
CN (1) CN111126238B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665572A (zh) * 2020-05-30 2020-09-15 中国船舶重工集团公司第七一三研究所 一种基于x光机图像机场旅客安检智能辅助系统及方法
CN111815616A (zh) * 2020-07-21 2020-10-23 山西卡斯特网络科技有限公司 一种基于深度学习的x光安检图像中危险品检测方法
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112164194A (zh) * 2020-10-28 2021-01-01 上海铁维物联网科技有限公司 单向智能通道报警系统
CN112215095A (zh) * 2020-09-24 2021-01-12 西北工业大学 违禁品检测方法、装置、处理器和安检系统
CN112364903A (zh) * 2020-10-30 2021-02-12 盛视科技股份有限公司 基于x光机的物品分析及多维图像关联方法与系统
CN112633057A (zh) * 2020-11-04 2021-04-09 北方工业大学 一种公交车内异常行为智能监控方法
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
CN113326753A (zh) * 2021-05-20 2021-08-31 同济大学 一种针对重叠问题的x射线安检违禁品检测方法
CN113436151A (zh) * 2021-06-07 2021-09-24 中国铁道科学研究院集团有限公司电子计算技术研究所 安检方法、装置、电子设备及存储介质
CN114994100A (zh) * 2022-06-06 2022-09-02 河南双晟智能科技有限公司 一种自助式铁路旅客安检系统及其检测方法
CN118660145A (zh) * 2024-08-21 2024-09-17 湖南苏科智能科技有限公司 安检图像转换方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、系统及电子设备
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备
CN109946746A (zh) * 2019-03-21 2019-06-28 长安大学 一种基于深度神经网络的安检系统及方法
CN110543857A (zh) * 2019-09-05 2019-12-06 安徽启新明智科技有限公司 基于图像分析的违禁物识别方法、装置、系统和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、系统及电子设备
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备
CN109946746A (zh) * 2019-03-21 2019-06-28 长安大学 一种基于深度神经网络的安检系统及方法
CN110543857A (zh) * 2019-09-05 2019-12-06 安徽启新明智科技有限公司 基于图像分析的违禁物识别方法、装置、系统和存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665572A (zh) * 2020-05-30 2020-09-15 中国船舶重工集团公司第七一三研究所 一种基于x光机图像机场旅客安检智能辅助系统及方法
CN111815616A (zh) * 2020-07-21 2020-10-23 山西卡斯特网络科技有限公司 一种基于深度学习的x光安检图像中危险品检测方法
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112215095A (zh) * 2020-09-24 2021-01-12 西北工业大学 违禁品检测方法、装置、处理器和安检系统
CN112164194B (zh) * 2020-10-28 2022-01-14 上海铁维物联网科技有限公司 单向智能通道报警系统
CN112164194A (zh) * 2020-10-28 2021-01-01 上海铁维物联网科技有限公司 单向智能通道报警系统
CN112364903A (zh) * 2020-10-30 2021-02-12 盛视科技股份有限公司 基于x光机的物品分析及多维图像关联方法与系统
CN112633057A (zh) * 2020-11-04 2021-04-09 北方工业大学 一种公交车内异常行为智能监控方法
CN112633057B (zh) * 2020-11-04 2024-01-30 北方工业大学 一种公交车内异常行为智能监控方法
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
CN113326753A (zh) * 2021-05-20 2021-08-31 同济大学 一种针对重叠问题的x射线安检违禁品检测方法
CN113326753B (zh) * 2021-05-20 2022-04-19 同济大学 一种针对重叠问题的x射线安检违禁品检测方法
CN113436151A (zh) * 2021-06-07 2021-09-24 中国铁道科学研究院集团有限公司电子计算技术研究所 安检方法、装置、电子设备及存储介质
CN114994100A (zh) * 2022-06-06 2022-09-02 河南双晟智能科技有限公司 一种自助式铁路旅客安检系统及其检测方法
CN118660145A (zh) * 2024-08-21 2024-09-17 湖南苏科智能科技有限公司 安检图像转换方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111126238B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111126238B (zh) 一种基于卷积神经网络的x光安检系统及方法
WO2021073370A1 (zh) 物品检测方法、装置、系统和计算机可读存储介质
CN109977921B (zh) 一种输电线路隐患检测方法
CN108090458A (zh) 人体跌倒检测方法和装置
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
CN109558792B (zh) 一种基于样本和特征检测互联网徽标内容的方法和系统
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN112651966A (zh) 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法
CN108680796A (zh) 用于计算机显示器的电磁信息泄漏检测系统及方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN113850228A (zh) 基于多模态融合的道路裂缝检测方法和系统
Liu et al. DBF‐YOLO: UAV Small Targets Detection Based on Shallow Feature Fusion
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
CN108711172A (zh) 基于细粒度分类的无人机识别与定位方法
CN110222694A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN114898044B (zh) 检测对象成像方法、装置、设备及介质
CN109829973A (zh) 一种基于轻应用的三维可视化系统
CN104361357A (zh) 基于图片内容分析的相片集分类系统及分类方法
CN107316131A (zh) 一种基于图像识别的电能计量装置安装工艺质量检测系统
CN114972880A (zh) 一种标签识别方法、装置、电子设备及存储介质
Sun et al. Image recognition technology in texture identification of marine sediment sonar image
CN114493963A (zh) 一种矿山生态环境监测与修复系统
KR102388777B1 (ko) ３６０도 ｖｒ 카메라를 이용한 연도변 조사 서비스 제공 시스템
Tan et al. Building defect inspection and data management using computer vision, augmented reality, and BIM technology
CN118038021A (zh) 基于改进yolov4的变电站作业现场异物入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant