CN113792826B - 基于神经网络和多源数据的双视角关联安检方法及系统 - Google Patents

基于神经网络和多源数据的双视角关联安检方法及系统 Download PDF

Info

Publication number
CN113792826B
CN113792826B CN202111359136.8A CN202111359136A CN113792826B CN 113792826 B CN113792826 B CN 113792826B CN 202111359136 A CN202111359136 A CN 202111359136A CN 113792826 B CN113792826 B CN 113792826B
Authority
CN
China
Prior art keywords
image
article
ray
atomic number
equivalent atomic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111359136.8A
Other languages
English (en)
Other versions
CN113792826A (zh
Inventor
邓意麒
龙啸海
盛成功
彭贤
许嘉慧
段亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Ke Ke Intelligent Technology Co ltd
Original Assignee
Hunan Ke Ke Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Ke Ke Intelligent Technology Co ltd filed Critical Hunan Ke Ke Intelligent Technology Co ltd
Priority to CN202111359136.8A priority Critical patent/CN113792826B/zh
Publication of CN113792826A publication Critical patent/CN113792826A/zh
Application granted granted Critical
Publication of CN113792826B publication Critical patent/CN113792826B/zh
Priority to PCT/CN2022/094768 priority patent/WO2023087653A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V11/00—Prospecting or detecting by methods combining techniques covered by two or more of main groups G01V1/00 - G01V9/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geophysics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络和多源数据的双视角关联安检方法及系统，方法包括：将输入数据和输出数据，输入深度神经网络模型进行训练；将需要检出的物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器；获取主和辅X光成像系统采集到的X光图像以及对应的等效原子序数信息，输入训练好的深度神经网络模型进行识别，并将识别出的物品等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果。本发明通过深度神经网络模型对X光图像进行物品识别，对物品的等效原子序数进行分类，并通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，提高了物品的检出率，且提高了物品检出效率。

Description

基于神经网络和多源数据的双视角关联安检方法及系统
技术领域
本发明涉属于安检人工智能识别领域，尤其涉及一种基于神经网络和多源数据的双视角关联安检方法及系统。
背景技术
目前的安检系统，通常采用X光检测，即客户将物品放在安检机上，安检机通过X光对物品物品进行X光成像，并将X光成像的图片显示在安检人员的检测窗口，以使安检人员人工识别是否存在违禁物品。然而，人工识别违禁物品的准确性较低，且识别判断过程耗时较长，在安检任务繁忙的过程中，识别效率和准确率均难以满足安检要求，从而从易导致漏检情况频发。
神经网络（Neural Networks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。近年来，神经网络技术作为一种人工智能识别方法，在智能识别领域的应用越来越广泛，且识别准确率越来越高。
发明专利CN111290040 A公开了一种基于图像识别的主动式双视角关联的，其对于违禁品进行投影，将俯视图和侧视角检测到的违禁品进行投影，投影到同一个图像进行显示，从而提高违禁品的检出率。但是原理在于：“通过对比物体在f（俯视）和c（侧视）中X光成像轮廓二值化后送入推理模型得到的分类结果及其置信度判断是否为同一物体；若同一个物体在f（俯视）和c（侧视）中都能完整显示，则它的宽度相等，响应于确定侧视角和俯视图的图像是否属于同一物体”即其关联的原理为：首先需要两个X光成像相互垂直，然后基于同一个违禁品宽度相同，将两个图上的宽度相同的违禁品相关联，进而相互投影。其存在如下问题：从数据来源方面，其仅根据违禁品成像轮廓的二值化信息判断物品类别，未利用物品图像颜色变化、等效原子序数变化情况等其他信息，易导致对同样轮廓不同密度不同材质物品的误报和漏报；从使用模型角度，物品直接送入推理模型意味着直接利用有限个特征点进行一对一比较，没有充分利用物品成像的多尺度特征，尤其在X光成像本就信息量有限的情况下易导致误报或漏报，从而影响后续关联；在两种及两种以上形状或X光成像轮廓相同、尺寸相同，但材质不同的物品以同一角度、同一传送带方向上起始位置、不同高度的情况下，仅仅依靠图像轮廓和图像宽度难以对轮廓、尺寸相同但材质不同的物品进行有效区分，从而导致物品之间无法正确关联；此外，对于双X光源安检机，两个视角成像面存在非正交的可能，使得利用两个视角成像面正交从而宽度相等进行侧视角和俯视角关联的条件不再成立，故而此种条件下不可用发明专利CN111290040 A进行关联。由于物品类别判断方式采用一对一遍历推理模型数据库比较的形式，使得计算复杂度会随着特征向量的维度和模型数据库的规模成指数增加，从而导致大大影响计算速率，不能有效解决现实条件中物品数量不断增加、类别日新月异的实际情况。
因此，有必要提供一种基于深度学习算法的神经网络模型来实现安检物品的自动识别标注，并利用等效原子序数信息，通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，以提高安检中违禁物品的识别效率和准确率。
发明内容
本发明的目的在于提供一种基于神经网络和多源数据的双视角关联安检方法及系统，本发明通过物品在不同视角X光成像系统下所成X光图像及其对应等效原子序数信息进行关联，并通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，提高了物品的检出率，且提升了物品检出效率。
为解决上述问题，本发明的技术方案是：
一种基于神经网络和多源数据的双视角关联安检方法，在安检系统中设置主X光成像系统和辅X光成像系统，主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧，且两个光源通过准直器后所成X光线束处于同一平面；所述方法，包括如下步骤：
建立深度神经网络模型；
建立X光图像样本库，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据；
将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，其中，图片标注结果包括物品名称和物品检测框；
将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型；
将需要检出的所有物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器；
获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果。
进一步的改进，所述获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤，包括：
获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像a和图像b，其中，图像a与主X光成像系统得到的X光图像对应，图像b与辅X光成像系统得到的X光图像对应；
将图像a呈现在检测窗口；
将图像a识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像a中物品的材料类别Class A，将图像b识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像b中物品的材料类别Class B；
根据图像a和图像b中分别对应的物品的位置、名称、材料类别和置信度，判断是否对图像a和图像b的检测结果进行关联。
进一步的改进，所述X光图像样本库包括物品的X光图像，设立不同的物品关联项目，每一所述物品关联项目包括多种类别的物品；所述根据图像a和图像b中分别对应的物品的位置、名称、材料类别和置信度，判断是否对图像a和图像b的检测结果进行关联的步骤，包括：
3.1 若Class A和Class B为同一材料类别，对图像a和图像b中的物品进行如下判断：
3.1.1若图像a与图像b中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功，则将图像a和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.1.2若图像a与图像b中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并保留原结果；
3.1.3若图像a与图像b中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像a中检测出的物品的置信度大于预设阈值t，或者图像a中检测出物品置信度的k倍大于对应图像b检测出的物品置信度，则将图像b中物品类别替改为和图像a中物品同一类别；否则将图像a中物品类别替改为和图像b中物品同一类别；
3.2 若Class A和Class B为不同材料类别，则将图像a 和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.3 若Class A和Class B有一为空，即其中一张图像没有发现对应物品，对图像a和图像b进行如下判断：
3.3.1若对同一位置，图像a中检测到物品，图像b中未检测到物品，则将图像a中检测到的物品信息补充标注到图像b中，其中，物品信息包括物品检测框、物品类别和置信度；
3.3.2 若对同一位置，图像a中未检测到物品，图像b中检测到物品，则将图像b中检测到的物品信息补充标注到图像a中。
进一步的改进，物品的等效原子序数信息通过如下方法得到：
分别以图像a和图像b中标注的物品检测框中心点位置为中心，计算周围n*n像素矩阵对应的平均等效原子序数，得到图像a和图像b中物品对应的等效原子序数；
将图像a中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class A；将图像b中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class B。
进一步的改进，所述安检通道内设置有传送带，所述安检通道的通道壁转动连接有转盘，所述主X光成像系统和辅X光成像系统分别与所述转盘固定连接；所述转盘的转轴与所述检测平面垂直；所述安检通道的入口之前还设置有金属探测器；所述获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤之前，还包括：
通过所述金属探测器检测是否存在金属物品；
若是，所述获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤，还包括：
5.1在图像a和图像b均未检测到物品时，控制所述传送带停止传输，并控制所述转盘转动预设角度，以获取主X光成像系统和辅X光成像系统分别再次采集到的X光图像以及对应的等效原子序数信息，将再次采集到的X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像c和图像d，其中，图像c与主X光成像系统得到的X光图像对应，图像d与辅X光成像系统得到的X光图像对应；
5.2将图像c识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像c中物品的材料类别Class C，将图像d识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像d中物品的材料类别Class D；
5.3 若Class C和Class D为同一材料类别，对图像c和图像d中的物品进行如下判断：
5.3.1若图像c与图像d中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功，则将图像c和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.3.2若图像c与图像d中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并将图像c的物品标注补充到图像a中；
5.3.3若图像c与图像d中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像c中检测出的物品的置信度大于预设阈值t，或者图像c中检测出物品置信度的k倍大于对应图像d检测出的物品置信度，则将图像d中物品类别替改为和图像c中物品同一类别，并将图像c的物品标注关联补充到图像a中；否则将图像c中物品类别替改为和图像d中物品同一类别，并将图像d的物品标注关联补充到图像a中；
5.4 若Class C和Class D为不同材料类别，则将图像c 和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.5 若Class C和Class D有一为空，即其中一张图像没有发现对应物品，对图像c和图像d进行如下判断：
5.5.1若对同一位置，图像c中检测到物品，图像d中未检测到物品，则将图像c中检测到的物品信息补充标注到图像d中，并将图像c的物品标注补充到图像a中，其中，物品信息包括物品检测框、物品类别和置信度；
5.5.2若对同一位置，图像c中未检测到物品，图像d中检测到物品，则将图像d中检测到的物品信息补充标注到图像c中，且将图像d的物品标注补充到图像a中；
5.6 若图像c和图像d均未检测到物品，则启动所述传送带。
进一步的改进，所述X光图像样本库还包括违禁物品零件的X光图像，所述违禁物品零件能够组装成所述违禁物品，所述图片标注结果包括违禁物品零件标注；所述方法，还包括：
建立违禁物品与违禁物品零件的映射关系表；
所述获取主X光成像系统和辅X光成像系统采集到的违禁物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的违禁物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤，还包括：
根据图像a和图像b分别对应的标注结果，判断是否存在违禁物品零件；
当存在违禁物品零件时，根据图像a和图像b中检测到的违禁物品零件查询所述映射关系表，以得到违禁物品零件组装结果，所述组装结果为违禁物品名称；
将所述违禁物品零件进行组装得到组装图像，所述组装图像为各个违禁物品零件组装得到的完整违禁物品图像；
将所述组装图像和所述组装结果呈现在检测窗口。
进一步的改进，所述X光图像样本库还包括非违禁物品的X光图像，所述图片标注结果包括非违禁物品名称；所述根据图像a和图像b分别对应的标注结果，判断是否存在违禁物品零件的步骤之前，还包括：
通过所述深度神经网络模型，识别主X光成像系统采集到的X光图像中的非违禁物品，并识别主X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
若是，则得到标注违禁物品或违禁物品零件的识别结果的图像a；
通过所述深度神经网络模型，识别辅X光成像系统采集到的X光图像中的非违禁物品，并识别辅X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
若是，则得到标注违禁物品或违禁物品零件的识别结果的图像b。
进一步的改进，图像a与图像b中检测到的物品是否处于同一位置通过如下方式判定：
计算图像a和图像b检测物品检测框x方向的iou，其中x方向为图像的水平方向；
如果iou大于预设阈值D，则认为图像a和图像b的物品是同一个物品，其中iou的计算公式为：
Figure 385266DEST_PATH_IMAGE001
Figure 630302DEST_PATH_IMAGE002
Figure 426351DEST_PATH_IMAGE003
Figure 149456DEST_PATH_IMAGE004
和
Figure 229408DEST_PATH_IMAGE005
分别表示图像a中检测出的物品检测框的左顶点横坐标和右顶点横坐标，
Figure 629034DEST_PATH_IMAGE006
和
Figure 427226DEST_PATH_IMAGE007
分别表示图像b中检测出的物品检测框的左顶点横坐标和右顶点横坐标,
Figure 891705DEST_PATH_IMAGE008
表示取
Figure 639212DEST_PATH_IMAGE009
和
Figure 898155DEST_PATH_IMAGE007
中的较小的数值，
Figure 183643DEST_PATH_IMAGE010
表示取
Figure 497819DEST_PATH_IMAGE004
和
Figure 286783DEST_PATH_IMAGE007
中较大的数值。
进一步的改进，将图像b中检测到的物品标注补充到图像a中的方法如下：
根据图像b中物品检测框两端的x坐标，在图像a中寻找对应的轮廓，用找到的对应轮廓的外接矩形作为物品检测框，物品检测框的两边分别平行于水平方向和垂直于水平方向，标注到图像a中，若物品检测框为多个则选择使得位置误差函数最小的物品检测框,位置误差函数如下:
Figure 247786DEST_PATH_IMAGE011
其中
Figure 568040DEST_PATH_IMAGE012
分别表示图像a中检测出的物品检测框与图像b中检测出的物品检测框之间的左右顶点x坐标差之差、左顶点x坐标之差以及中点x坐标之差。
以上方法同样适用于将图像a中检测到的物品标注补充到图像b中。
本发明还提供一种基于神经网络和多源数据的双视角关联安检系统，应用上述任一项所述的基于神经网络和多源数据的双视角关联安检方法；所述安检系统包括双光源X光源安检机、深度神经网络检测单元、等效原子序数分类单元、双视角图像关联单元、标注单元、物品图像信息存储单元和检测图像显示单元；
所述安检机上安装有主X光成像系统和辅X光成像系统；主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧边处，且两者的光源通过准直器后所成X光线处于同一检测平面；主X光成像系统和辅X光成像系统用于对物品分别进行X光成像得到不同视角下的X光图像；
所述物品图像存储单元用于存储物品的原始主X图像和辅X光图像、经过关联标注后的物品主X光图像和辅X光图像，以及配对信息；
所述深度神经网络检测单元用于建立深度神经网络模型，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据，将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型，并用于获取主X光成像系统和辅X光成像系统采集到的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别；
所述等效原子序数分类单元用于对检测出的物品的等效原子序数进行分类；
所述双视角图像关联单元用于将主X光成像系统和辅X光成像系统中的物品对进行配对，若配对不成功则根据情况进行替改或补充；
所述标注单元用于标注物品的种类、物品检测框和置信度等信息；
检测图像显示单元用于显示经标注单元标注后的X光图像。
本发明的优点：
本发明通过两个视角进行关联，并通过深度神经网络模型对X光图像进行物品识别，对物品的等效原子序数进行分类，并通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，提高了物品的检出率，且提高了物品检出效率。
附图说明
图1为辅X光图像；
图2为关联后的主X光图像；
图3为关联前的主X光图像；
图4为本发明的流程图。
具体实施方式
本发明提供一种基于神经网络和多源数据的双视角关联安检方法，在安检系统设置主X光成像系统和辅X光成像系统，主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧边处，且两者的光源通过准直器后所成X光线处于同一检测平面；所述方法，包括如下步骤：
步骤S10，建立深度神经网络模型；
步骤S20，建立X光图像样本库，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据，其中，优选所述X光图像样本库包括物品的X光图像；
步骤S30，将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，其中，图片标注结果包括物品名称和物品检测框；
步骤S40，将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型；其中，如果物品为非违禁物品，可以不用进行名称标注，而仅对违禁物品进行名称标注，以使安检人员的注意力能够集中在具有名称标注的违禁物品上，以快速注意到违禁物品的存在。
步骤S50，将需要检出的所有物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器；
步骤S60，获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果。此处的物品指的是同一物品。物品可以是同一行李，同一快递，或其他。
本发明通过两个视角进行关联，并通过深度神经网络模型对X光图像进行物品识别，对物品的等效原子序数进行分类，并通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，提高了物品的检出率，且提高了物品检出效率。
进一步的改进，所述步骤S60，包括：
步骤S601，获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像a和图像b，其中，图像a与主X光成像系统得到的X光图像对应，图像b与辅X光成像系统得到的X光图像对应；
步骤S602，将图像a呈现在检测窗口；该检测窗口可以为安检人员的检测窗口。
步骤S603，将图像a识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像a中物品的材料类别Class A，将图像b识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像b中物品的材料类别Class B；
步骤S604，根据图像a和图像b中分别对应的物品的位置、名称、材料类别和置信度，判断是否对图像a和图像b的检测结果进行关联。
具体的，所述X光图像样本库包括物品的X光图像，设立不同的物品关联项目，每一所述物品关联项目包括多种类别的物品；仅对违禁物品名称进行标注，而不对非违禁物品标注，可以避免标注名称太多导致安检人员的注意力分散。所述步骤S604，包括：
3.1 若Class A和Class B为同一材料类别，对图像a和图像b中的物品进行如下判断：
3.1.1若图像a与图像b中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功（如锤子和水果刀），则将图像a 和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.1.2若图像a与图像b中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并保留原结果；
3.1.3若图像a与图像b中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像a中检测出的物品的置信度大于预设阈值t，或者图像a中检测出物品置信度的k倍大于对应图像b检测出的物品置信度，则将图像b中物品类别替改为和图像a中物品同一类别；否则将图像a中物品类别替改为和图像b中物品同一类别；
3.2 若Class A和Class B为不同材料类别，则将图像a 和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.3 若Class A和Class B有一为空，即其中一张图像没有发现对应物品，对图像a和图像b进行如下判断：
3.3.1若对同一位置，图像a中检测到物品，图像b中未检测到物品，则将图像a中检测到的物品信息补充标注到图像b中，其中，物品信息包括物品检测框、物品类别和置信度；
3.3.2 若对同一位置，图像a中未检测到物品，图像b中检测到物品，则将图像b中检测到的物品信息补充标注到图像a中。
所述关联项目包含的物品由工作人员预先设定。
本发明中，图像a与图像b中检测到的物品是否处于同一位置通过如下方式判定：
计算图像a和图像b检测物品检测框x方向的iou，其中x方向为图像的水平方向；如果iou大于预设阈值D，则认为图像a和图像b的物品是同一个物品，其中iou的计算公式为：
Figure 374322DEST_PATH_IMAGE001
Figure 283372DEST_PATH_IMAGE002
Figure 195702DEST_PATH_IMAGE003
Figure 455782DEST_PATH_IMAGE004
和
Figure 347646DEST_PATH_IMAGE005
分别表示图像a中检测出的物品检测框的左顶点横坐标和右顶点横坐标，
Figure 111203DEST_PATH_IMAGE006
和
Figure 414008DEST_PATH_IMAGE007
分别表示图像b中检测出的物品检测框的左顶点横坐标和右顶点横坐标,
Figure 941810DEST_PATH_IMAGE008
表示取
Figure 89895DEST_PATH_IMAGE009
和
Figure 770275DEST_PATH_IMAGE007
中的较小的数值，
Figure 260293DEST_PATH_IMAGE010
表示取
Figure 806550DEST_PATH_IMAGE004
和
Figure 23905DEST_PATH_IMAGE006
中较大的数值。
具体的，将图像b中检测到的物品标注补充到图像a中的方法如下：
根据图像b中物品检测框两端的x坐标，在图像a中寻找对应的轮廓，用找到的对应轮廓的外接矩形作为物品检测框，物品检测框的两边分别平行于水平方向和垂直于水平方向，标注到图像a中，若物品检测框为多个则选择使得位置误差函数最小的物品检测框，位置误差函数如下:
Figure 106261DEST_PATH_IMAGE011
其中
Figure 16448DEST_PATH_IMAGE012
分别表示图像a中检测出的物品检测框与图像b中检测的出物品检测框之间的左右顶点x坐标差之差、左顶点x坐标之差以及中点x坐标之差。
以上方法同样适用于将图像a中检测到的物品标注补充到图像b中。
进一步的，物品的等效原子序数信息通过如下方法得到：
分别以图像a和图像b中标注的物品检测框中心点位置为中心，计算周围n*n像素矩阵对应的平均等效原子序数，得到图像a和图像b中物品对应的等效原子序数；
将图像a中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class A；将图像b中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class B。此处的物品包括违禁物品，当然，若还需要进一步标注出非违禁物品，此处的物品也可以包括非违禁物品。
此处引入物品的等效原子序数信息来表征物品的材料种类，以使物品识别不仅通过图像的形状识别，还能结合材料识别，以使识别物品的准确度更高。例如，图像识别到为枪，但是材料种类为塑料，则表示识别结果为塑料枪，该综合识别结果为非违禁物品。图像识别到为枪，但是材料种类为钢材，则表示识别结果为真枪，该综合识别结果为违禁物品。
具体的，所述方法满足下列条件中的至少一者：
C的取值区间为[80,95]；
D的取值区间为[0.15,0.4]；
k的取值区间为[1,1.5]；
聚类算法为k-means聚类算法；
n为整数，且取值区间为[1,50]。
进一步的改进，所述安检系统设置有安检通道，所述安检通道内设置有传送带，所述安检通道的通道壁转动连接有转盘，所述主X光成像系统和辅X光成像系统分别与所述转盘固定连接；所述转盘的转轴与所述检测平面垂直；所述安检通道的入口之前还设置有金属探测器；所述步骤S60之前，还包括：
步骤S70，通过所述金属探测器检测是否存在金属物品；检测到金属物品，则表示当前检测物品中存在物品的可能性大。
若是，所述步骤S60，还包括：
5.1在图像a和图像b均未检测到物品时，控制所述传送带停止传输，并控制所述转盘转动预设角度，以获取主X光成像系统和辅X光成像系统分别再次采集到的X光图像以及对应的等效原子序数信息，将再次采集到的X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像c和图像d，其中，图像c与主X光成像系统得到的X光图像对应，图像d与辅X光成像系统得到的X光图像对应；
5.2将图像c识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像c中物品的材料类别Class C，将图像d识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像d中物品的材料类别Class D；
5.3 若Class C和Class D为同一材料类别，对图像c和图像d中的物品进行如下判断：
5.3.1若图像c与图像d中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功，则将图像c和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.3.2若图像c与图像d中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并将图像c的物品标注补充到图像a中；
5.3.3若图像c与图像d中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像c中检测出的物品的置信度大于预设阈值t，或者图像c中检测出物品置信度的k倍大于对应图像d检测出的物品置信度，则将图像d中物品类别替改为和图像c中物品同一类别，并将图像c的物品标注补充到图像a中；否则将图像c中物品类别替改为和图像d中物品同一类别，并将图像d的物品标注补充到图像a中；
5.4 若Class C和Class D为不同材料类别，则将图像c和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.5 若Class C和Class D有一为空，即其中一张图像没有发现对应物品，对图像c和图像d进行如下判断：
5.5.1若对同一位置，图像c中检测到物品，图像d中未检测到物品，则将图像c中检测到的物品信息补充标注到图像d中，并将图像c的物品标注补充到图像a中，其中，物品信息包括物品检测框、物品类别和置信度；
5.5.2 若对同一位置，图像c中未检测到物品，图像d中检测到物品，则将图像d中检测到的物品信息补充标注到图像c中，且将图像d的物品标注补充到图像a中。
具体的，由于当前检测物品中存在物品的可能性大，但是当前X光图像中未检测到物品，则有可能是视角的问题，导致识别不出来。此时控制传送带停止传输，可以为调节视角进行验证争取时间，也可以对当前检测物品进行短暂截留。通过旋转转盘调节视角，以改变主X光成像系统和辅X光成像系统的采集角度得到再次采集的X光图像，并针对再次采集的X光图像进行物品识别。
5.6 若图像c和图像d均未检测到物品，则启动所述传送带。图像c和图像d均未检测到物品，表示当前检测画面确实不包含物品，可以启动传送带将当前检测画面传送出去。
进一步的改进，所述X光图像样本库还包括违禁物品零件的X光图像，所述违禁物品零件能够组装成所述违禁物品，所述图片标注结果包括违禁物品零件标注；所述方法，还包括：步骤S80，建立违禁物品与违禁物品零件的映射关系表；
所述步骤S60，还包括：
步骤S605，根据图像a和图像b分别对应的标注结果，判断是否存在违禁物品零件；
步骤S606，当存在违禁物品零件时，根据图像a和图像b中检测到的违禁物品零件查询所述映射关系表，以得到违禁物品零件组装结果，所述组装结果为违禁物品名称；
步骤S607，将所述违禁物品零件进行组装得到组装图像，所述组装图像为各个违禁物品零件组装得到的完整违禁物品图像；
步骤S608，将所述组装图像和所述组装结果呈现在安检人员的检测窗口。
上述方法应用于检测违禁物品零件，以防止某些人员为了逃避安检，将违禁物品拆成零件后进行安检。这种情况下通常安检人员无法由拆散的零件直接关联到违禁物品，而通过本实施例的方法，能从违禁物品零件对应到违禁物品，即使违禁物品拆卸成多个零件由不同人员携带，也能检测出违禁物品；如果同一检测违禁物品中，存在违禁物品的所有零件或主要零件，还能对违禁物品零件进行组合得到组装图像，以提高安检的智能性。
进一步的改进，所述X光图像样本库还包括非违禁物品的X光图像，所述图片标注结果包括非违禁物品名称；所述步骤S605之前，还包括：
步骤S609，通过所述深度神经网络模型，识别主X光成像系统采集到的X光图像中的非违禁物品，并识别主X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
步骤S610，若是，则得到标注违禁物品或违禁物品零件的识别结果的图像a；
步骤S611，通过所述深度神经网络模型，识别辅X光成像系统采集到的X光图像中的非违禁物品，并识别辅X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
步骤S612，若是，则得到标注违禁物品或违禁物品零件的识别结果的图像b。
上述步骤用于避免某些人员将违禁物品组装在非违禁物品上，以使模型无法识别违禁物品，也可以避免某些人员将违禁物品零件组装在非违禁物品上，以使模型无法识别违禁物品零件。
本发明还提供一种基于神经网络和多源数据的双视角关联安检系统，应用上述任一项所述的基于神经网络和多源数据的双视角关联安检方法；所述安检系统包括双光源X光源安检机、深度神经网络检测单元、等效原子序数分类单元、双视角图像关联单元、标注单元、物品图像信息存储单元和检测图像显示单元；
所述安检机上安装有主X光成像系统和辅X光成像系统；主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧边处，且两者的光源通过准直器后所成X光线处于同一检测平面；主X光成像系统和辅X光成像系统用于对物品分别进行X光成像得到不同视角下的X光图像；
所述物品图像存储单元用于存储物品的原始主X图像和辅X光图像、经过关联标注后的物品主X光图像和辅X光图像，以及配对信息；
所述深度神经网络检测单元用于建立深度神经网络模型，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据，将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型，并用于获取主X光成像系统和辅X光成像系统采集到的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别；
所述等效原子序数分类单元用于对检测出的物品的等效原子序数进行分类；
所述双视角图像关联单元用于将主X光成像系统和辅X光成像系统中的物品对进行配对，若配对不成功则根据情况进行替改或补充；
所述标注单元用于标注物品的种类、物品检测框和置信度等信息；
检测图像显示单元用于显示经标注单元标注后的X光图像。
双视角关联检测策略
基于神经网络和多源数据的双视角关联安检方法及系统，包括如下步骤：步骤一、将输入数据和输出数据，分别输入深度神经网络模型进行训练；步骤二、将需要检出的所有物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器；步骤三、获取主X光成像系统和辅X光成像系统采集到的X光图像以及对应的等效原子序数信息；步骤四、将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别；步骤五、将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，对检测结果进行关联。本发明通过深度神经网络模型对X光图像进行物品识别，对物品的等效原子序数进行分类，并通过关联策略对已检测到的结果进行关联，对未检索到物品的X光图像进行自动标注，提高了物品的检出率，且提高了物品检出效率。
1.1 结论
1.1.1 测试结果
1.1.2 在3019对主辅X光图像数据集上测试，共9591个实例，双视角检测正确了6516，单视角检测正确了6135，关联检测策略帮助模型多检测正确了381个实例。精确率提高1.2个百分点，召回率提高4个百分点，f1score提高了2.7个百分点。具体如表1所示，采用本发明方法的检测结果：
表1 本发明方法的检测结果
Figure 276701DEST_PATH_IMAGE013
表2 仅主视角的检测结果
Figure 828905DEST_PATH_IMAGE014
表3 本发明和仅主视角的检测结果对比表
Figure 703451DEST_PATH_IMAGE015
1.1.3 适用场景
1）地铁、汽车站常规物品包裹的场景
地铁、汽车站等常规物品包裹背景大多情况下背景不会过于复杂，每个物品所包含的物品名称不会太多，遮挡情况相对较少，对于物品中摆放角度特殊的物品，通过辅X光图像的关联检测可以有效得提高检测效果。
2）快递行业场景
快递行业场景中物品大多使用纸盒或纸箱包裹，所以物品角度往往比较特殊，单个视角检测效果有限，并且快递背景相对更加简单，所以双视角关联检测策略在快递行业场景会有效提高检测效果。
1.2 策略
一种基于神经网络和多源数据的双视角关联安检方法大致的流程如图4所示。
1. 建立深度神经网络模型；
2. 建立X光图像样本库，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据；
3. 将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，其中，图片标注结果包括物品名称和物品检测框；
4. 将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型；
5. 将需要检出的所有物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器。
6. 获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果。
步骤6中关联检测结果所提的关联项目允许配对类别列表如下：
关联项目1 = [‘塑料罐’,‘塑料瓶’,‘金属罐’,‘金属瓶’,‘玻璃罐’,‘玻璃瓶’,‘绿色喷雾’,‘礼花弹’,‘手榴弹’,‘橙色喷雾’,‘酒精’]
关联项目2 = [‘打火机油’, ‘绿色喷雾’, ‘金属罐’, ‘金属打火机’]
关联项目3 = [‘水果刀’, ‘折叠刀’, ‘菜刀’, ‘手枪’]
关联项目4 = [‘剪刀’, ‘锯子’, ‘手铐’, ‘指虎’, ‘水果刀’]
关联项目5 = [‘铁锤’, ‘弹弓’, ‘扳手’,‘金属打火机堆’,‘手枪’, ‘金属棍’]
关联项目6 = [‘铁锤’,‘斧头’,‘弹弓’,‘金属打火机堆’,‘手枪’,‘金属棍’]
关联项目7 = [‘手枪’, ‘电池’, ‘金属打火机’, ‘手雷’, ‘电子打火机’, ‘金属火柴’, ‘双节棍’]
关联项目8 = [‘烟花’, ‘鞭炮’, ‘打火机堆’]
关联项目9 = [‘扳手’, ‘钳子’, ‘橡胶棒’, ‘手枪’, ‘镁棒’]
关联项目10 = [‘金属棍’, ‘手枪’, ‘玻璃瓶’]
关联项目11 = [‘金属棒’, ‘铁锤’]
关联项目12 = [‘水果刀’, ‘钳子’]
关联项目13 = [‘礼花弹’,‘打火机油’]
关联项目14 = [‘手铐’, ‘金属火柴’]
关联项目15 = [‘剪刀’, ‘钳子’]
效果图如图1-3所示。图1为辅X光图像，图2为同一时刻的主X光图像并进行了关联检测，虚线表示的为辅X光图像关联补充到主X光图像的两把枪。图3为同一时刻的主X光图像，未使用关联检测，其中的两把枪未检测出。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于神经网络和多源数据的双视角关联安检方法，其特征在于，在安检系统中设置主X光成像系统和辅X光成像系统，主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧，且两个光源通过准直器后所成X光线束处于同一平面；所述方法，包括如下步骤：
建立深度神经网络模型；
建立X光图像样本库，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据；
将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，其中，图片标注结果包括物品名称和物品检测框；
将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型；
将需要检出的所有物品类别对应的等效原子序数信息输入聚类算法训练得到等效原子序数分类器；
获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果：
获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像a和图像b，其中，图像a与主X光成像系统得到的X光图像对应，图像b与辅X光成像系统得到的X光图像对应；
将图像a呈现在检测窗口；
将图像a识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像a中物品的材料类别Class A，将图像b识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像b中物品的材料类别Class B；
根据图像a和图像b中分别对应的物品的位置、名称、材料类别和置信度，判断是否对图像a和图像b的检测结果进行关联；
所述X光图像样本库包括物品的X光图像，设立不同的物品关联项目，每一所述物品关联项目包括多种类别的物品；所述根据图像a和图像b中分别对应的物品的位置、名称、材料类别和置信度，判断是否对图像a和图像b的检测结果进行关联的步骤，包括：
3.1 若Class A和Class B为同一材料类别，对图像a和图像b中的物品进行如下判断：
3.1.1若图像a与图像b中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功，则将图像a和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.1.2若图像a与图像b中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并保留原结果；
3.1.3若图像a与图像b中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像a中检测出的物品的置信度大于预设阈值t，或者图像a中检测出物品置信度的k倍大于对应图像b检测出的物品置信度，则将图像b中物品类别替改为和图像a中物品同一类别；否则将图像a中物品类别替改为和图像b中物品同一类别；
3.2 若Class A和Class B为不同材料类别，则将图像a 和图像b视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤3.3；
3.3 若Class A和Class B有一为空，即其中一张图像没有发现对应物品，对图像a和图像b进行如下判断：
3.3.1若对同一位置，图像a中检测到物品，图像b中未检测到物品，则将图像a中检测到的物品信息补充标注到图像b中，其中物品信息包括物品检测框、物品类别和置信度；
3.3.2 若对同一位置，图像a中未检测到物品，图像b中检测到物品，则将图像b中检测到的物品信息补充标注到图像a中。
2.如权利要求1所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，物品的等效原子序数信息通过如下方法得到：
分别以图像a和图像b中标注的物品检测框中心点位置为中心，计算周围n*n像素矩阵对应的平均等效原子序数，得到图像a和图像b中物品对应的等效原子序数；
将图像a中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class A；将图像b中的物品对应的等效原子序数作为物品的等效原子序数信息，输入训练好的等效原子序数分类器，得到等效原子序数对应的材料类别Class B。
3.如权利要求1所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，所述安检通道内设置有传送带，所述安检通道的通道壁转动连接有转盘，所述主X光成像系统和辅X光成像系统分别与所述转盘固定连接；所述转盘的转轴与检测平面垂直；所述安检通道的入口之前还设置有金属探测器；所述获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤之前，还包括：
通过所述金属探测器检测是否存在金属物品；
若是，所述获取主X光成像系统和辅X光成像系统采集到的物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤，还包括：
5.1在图像a和图像b均未检测到物品时，控制所述传送带停止传输，并控制所述转盘转动预设角度，以获取主X光成像系统和辅X光成像系统分别再次采集到的X光图像以及对应的等效原子序数信息，将再次采集到的X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，以得到标注识别结果的图像c和图像d，其中，图像c与主X光成像系统得到的X光图像对应，图像d与辅X光成像系统得到的X光图像对应；
5.2将图像c识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像c中物品的材料类别Class C，将图像d识别出的物品的等效原子序数信息输入训练好的等效原子序数分类器，得到图像d中物品的材料类别Class D；
5.3 若Class C和Class D为同一材料类别，对图像c和图像d中的物品进行如下判断：
5.3.1若图像c与图像d中均检测到物品，且物品处于同一位置但是不属于同一关联项目，则配对不成功，则将图像c和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.3.2若图像c与图像d中均检测到物品，物品处于同一位置且物品类别完全相同，则配对成功，并将图像c的物品标注补充到图像a中；
5.3.3若图像c与图像d中均检测到物品，物品处于同一位置，但检测到的物品类别不同，且属于同一关联项目，则配对成功并进行如下判断：
如果图像c中检测出的物品的置信度大于预设阈值t，或者图像c中检测出物品置信度的k倍大于对应图像d检测出的物品置信度，则将图像d中物品类别替改为和图像c中物品同一类别，并将图像c的物品标注补充到图像a中；否则将图像c中物品类别替改为和图像d中物品同一类别，并将图像d的物品标注补充到图像a中；
5.4 若Class C和Class D为不同材料类别，则将图像c和图像d视为两个分别仅有一个视角检测成功的不同物品实例，并对两个物品实例分别执行步骤5.5；
5.5 若Class C和Class D有一为空，即其中一张图像没有发现对应物品，对图像c和图像d进行如下判断：
5.5.1若对同一位置，图像c中检测到物品，图像d中未检测到物品，则将图像c中检测到的物品信息补充标注到图像d中，并将图像c的物品标注补充到图像a中，其中，物品信息包括物品检测框、物品类别和置信度；
5.5.2 若对同一位置，图像c中未检测到物品，图像d中检测到物品，则将图像d中检测到的物品信息补充标注到图像c中，且将图像d的物品标注补充到图像a中；
5.6 若图像c和图像d均未检测到物品，则启动所述传送带。
4.如权利要求1所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，所述X光图像样本库还包括违禁物品零件的X光图像，所述违禁物品零件能够组装成所述违禁物品，所述图片标注结果包括违禁物品零件标注；所述方法，还包括：
建立违禁物品与违禁物品零件的映射关系表；
所述获取主X光成像系统和辅X光成像系统采集到的违禁物品的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别，并将识别出的违禁物品的等效原子序数信息输入训练好的等效原子序数分类器，以得到关联检测结果的步骤，还包括：
根据图像a和图像b分别对应的标注结果，判断是否存在违禁物品零件；
当存在违禁物品零件时，根据图像a和图像b中检测到的违禁物品零件查询所述映射关系表，以得到违禁物品零件组装结果，所述组装结果为违禁物品名称；
将所述违禁物品零件进行组装得到组装图像，所述组装图像为各个违禁物品零件组装得到的完整违禁物品图像；
将所述组装图像和所述组装结果呈现在检测窗口。
5.如权利要求4所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，所述X光图像样本库还包括非违禁物品的X光图像，所述图片标注结果包括非违禁物品名称；所述根据图像a和图像b分别对应的标注结果，判断是否存在违禁物品零件的步骤之前，还包括：
通过所述深度神经网络模型，识别主X光成像系统采集到的X光图像中的非违禁物品，并识别主X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
若是，则得到标注违禁物品或违禁物品零件的识别结果的图像a；
通过所述深度神经网络模型，识别辅X光成像系统采集到的X光图像中的非违禁物品，并识别辅X光成像系统采集到的X光图像中的非违禁物品是否连接有违禁物品或违禁物品零件；
若是，则得到标注违禁物品或违禁物品零件的识别结果的图像b。
6.如权利要求1至5中任一项所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，图像a与图像b中检测到的物品是否处于同一位置通过如下方式判定：
计算图像a和图像b检测物品检测框x方向的iou，其中x方向为图像的水平方向；
如果iou大于预设阈值D，则认为图像a和图像b的物品是同一个物品，其中iou的计算公式为：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
分别表示图像a中检测出的物品检测框的左顶点横坐标和右顶点横坐标，
Figure DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE007
分别表示图像b中检测出的物品检测框的左顶点横坐标和右顶点横坐标,
Figure DEST_PATH_IMAGE008
表示取
Figure DEST_PATH_IMAGE009
和
Figure 534573DEST_PATH_IMAGE007
中的较小的数值，
Figure DEST_PATH_IMAGE010
表示取
Figure 825615DEST_PATH_IMAGE004
和
Figure 621663DEST_PATH_IMAGE006
中较大的数值。
7.如权利要求1至5中任一项所述的基于神经网络和多源数据的双视角关联安检方法，其特征在于，将图像b中检测到的物品标注补充到图像a中的方法如下：
根据图像b中物品检测框两端的x坐标，在图像a中寻找对应的轮廓，用找到的对应轮廓的外接矩形作为物品检测框，物品检测框的两边分别平行于水平方向和垂直于水平方向，标注到图像a中，若物品检测框为多个则选择使得位置误差函数最小的物品检测框，位置误差函数如下：
Figure DEST_PATH_IMAGE011
其中
Figure DEST_PATH_IMAGE012
分别表示图像a中检测出的物品检测框与图像b中检测出的物品检测框之间的左右顶点x坐标差之差、左顶点x坐标之差以及中点x坐标之差；以上方法同样适用于将图像a中检测到的物品标注补充到图像b中。
8.一种基于神经网络和多源数据的双视角关联安检系统，其特征在于，应用权利要求1至5中任一项所述的基于神经网络和多源数据的双视角关联安检方法；所述安检系统包括双光源X光源安检机、深度神经网络检测单元、等效原子序数分类单元、双视角图像关联单元、标注单元、物品图像信息存储单元和检测图像显示单元；
所述安检机上安装有主X光成像系统和辅X光成像系统；主X光成像系统和辅X光成像系统的光源位置分别位于安检通道的相邻侧边处，且两者的光源通过准直器后所成X光线处于同一检测平面；主X光成像系统和辅X光成像系统用于对物品分别进行X光成像得到不同视角下的X光图像；
所述物品图像存储单元用于存储物品的原始主X图像和辅X光图像、经过关联标注后的物品主X光图像和辅X光图像，以及配对信息；
所述深度神经网络检测单元用于建立深度神经网络模型，将X光图像样本库和X光图像对应物品的等效原子序数信息作为深度神经网络模型的输入数据，将X光图像样本库中的图片标注结果作为深度神经网络模型的输出数据，将输入数据和输出数据，分别输入深度神经网络模型进行训练，以得到用于识别物品的深度神经网络模型，并用于获取主X光成像系统和辅X光成像系统采集到的X光图像以及对应的等效原子序数信息，将X光图像以及对应的等效原子序数信息输入训练好的深度神经网络模型进行识别；
所述等效原子序数分类单元用于对检测出的物品的等效原子序数进行分类；
所述双视角图像关联单元用于将主X光成像系统和辅X光成像系统中的物品对进行配对，若配对不成功则根据情况进行替改或补充；
所述标注单元用于标注物品的种类、物品检测框和物品置信度等信息；
检测图像显示单元用于显示经标注单元标注后的X光图像。
CN202111359136.8A 2021-11-17 2021-11-17 基于神经网络和多源数据的双视角关联安检方法及系统 Active CN113792826B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111359136.8A CN113792826B (zh) 2021-11-17 2021-11-17 基于神经网络和多源数据的双视角关联安检方法及系统
PCT/CN2022/094768 WO2023087653A1 (zh) 2021-11-17 2022-05-24 基于神经网络和多源数据的双视角关联安检方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111359136.8A CN113792826B (zh) 2021-11-17 2021-11-17 基于神经网络和多源数据的双视角关联安检方法及系统

Publications (2)

Publication Number Publication Date
CN113792826A CN113792826A (zh) 2021-12-14
CN113792826B true CN113792826B (zh) 2022-02-18

Family

ID=78877372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111359136.8A Active CN113792826B (zh) 2021-11-17 2021-11-17 基于神经网络和多源数据的双视角关联安检方法及系统

Country Status (2)

Country Link
CN (1) CN113792826B (zh)
WO (1) WO2023087653A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792826B (zh) * 2021-11-17 2022-02-18 湖南苏科智能科技有限公司 基于神经网络和多源数据的双视角关联安检方法及系统
CN114660097B (zh) * 2022-03-23 2023-06-02 成都智元汇信息技术股份有限公司 一种基于双源双视角的同步校正方法及系统
CN116958646B (zh) * 2023-06-12 2024-01-30 北京声迅电子股份有限公司 基于x光图像的违禁物品检测方法
CN117347396B (zh) * 2023-08-18 2024-05-03 北京声迅电子股份有限公司 基于XGBoost模型的物质种类识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900503A (zh) * 2012-12-27 2014-07-02 清华大学 提取形状特征的方法、安全检查方法以及设备
CN105403925A (zh) * 2015-10-26 2016-03-16 公安部第一研究所 一种平板便携式双能量x射线检查装置及双能量材料分辨方法
CN109977877A (zh) * 2019-03-28 2019-07-05 北京邮电大学 一种安检智能辅助判图方法、系统以及系统控制方法
CN110488368A (zh) * 2019-07-26 2019-11-22 中控智慧科技股份有限公司 一种基于双能x光安检机的违禁品识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796733B2 (en) * 2007-02-01 2010-09-14 Rapiscan Systems, Inc. Personnel security screening system with enhanced privacy
US10572963B1 (en) * 2017-07-14 2020-02-25 Synapse Technology Corporation Detection of items
CN109946746A (zh) * 2019-03-21 2019-06-28 长安大学 一种基于深度神经网络的安检系统及方法
GB202002266D0 (en) * 2020-02-19 2020-04-01 Nw Pro Ltd Object identification system and method
CN111290040A (zh) * 2020-03-12 2020-06-16 安徽启新明智科技有限公司 一种基于图像识别的主动式双视角关联的方法
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
CN113792826B (zh) * 2021-11-17 2022-02-18 湖南苏科智能科技有限公司 基于神经网络和多源数据的双视角关联安检方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900503A (zh) * 2012-12-27 2014-07-02 清华大学 提取形状特征的方法、安全检查方法以及设备
CN105403925A (zh) * 2015-10-26 2016-03-16 公安部第一研究所 一种平板便携式双能量x射线检查装置及双能量材料分辨方法
CN109977877A (zh) * 2019-03-28 2019-07-05 北京邮电大学 一种安检智能辅助判图方法、系统以及系统控制方法
CN110488368A (zh) * 2019-07-26 2019-11-22 中控智慧科技股份有限公司 一种基于双能x光安检机的违禁品识别方法及装置

Also Published As

Publication number Publication date
CN113792826A (zh) 2021-12-14
WO2023087653A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
CN113792826B (zh) 基于神经网络和多源数据的双视角关联安检方法及系统
EP3379491B1 (en) Surface defect detection
US20180196158A1 (en) Inspection devices and methods for detecting a firearm
CN109685780B (zh) 一种基于卷积神经网络的零售商品识别方法
CN108038424B (zh) 一种适用于高空作业的视觉自动化检测方法
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN105809091B (zh) 检查方法和系统
CN112712093B (zh) 安检图像识别方法、装置、电子设备及存储介质
EP3745298B1 (en) Classification method and system for high-throughput transparent articles
Ribeiro et al. An adaptable deep learning system for optical character verification in retail food packaging
Chang et al. Detecting prohibited objects with physical size constraint from cluttered X-ray baggage images
CN110363812A (zh) 一种图像识别方法
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
CN111680729A (zh) 基于x光机图像机场旅客安检危险品实时高识别率方法
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
CN105426926B (zh) 一种对amoled进行检测分类的方法及装置
CN111178198A (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
Allegra et al. Exploiting egocentric vision on shopping cart for out-of-stock detection in retail environments
Kurnaz et al. Alet (automated labeling of equipment and tools): A dataset for tool detection and human worker safety detection
CN114187314A (zh) 一种用于安检机x光的物质决策分类着色方法
CN106919917A (zh) 人脸比对方法
Bondarchuk System of technical vision for autonomous unmanned aerial vehicles
Tang et al. An improved GANs model for steel plate defect detection
Ji et al. A Computer Vision-Based System for Metal Sheet Pick Counting.
Amatya et al. The state of the art–Vehicle Number Plate Identification–a complete Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A dual view correlated security inspection method and system based on neural networks and multi-source data

Granted publication date: 20220218

Pledgee: Bank of Changsha Limited by Share Ltd. Wangcheng branch

Pledgor: Hunan Ke Ke Intelligent Technology Co.,Ltd.

Registration number: Y2024980001307

PE01 Entry into force of the registration of the contract for pledge of patent right