CN115359345A - 一种基于异类别元学习的x光下重叠物体识别方法 - Google Patents

一种基于异类别元学习的x光下重叠物体识别方法 Download PDF

Info

Publication number
CN115359345A
CN115359345A CN202211125583.1A CN202211125583A CN115359345A CN 115359345 A CN115359345 A CN 115359345A CN 202211125583 A CN202211125583 A CN 202211125583A CN 115359345 A CN115359345 A CN 115359345A
Authority
CN
China
Prior art keywords
color
meta
learning
data set
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211125583.1A
Other languages
English (en)
Other versions
CN115359345B (zh
Inventor
邓意麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Ke Ke Intelligent Technology Co ltd
Original Assignee
Hunan Ke Ke Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Ke Ke Intelligent Technology Co ltd filed Critical Hunan Ke Ke Intelligent Technology Co ltd
Priority to CN202211125583.1A priority Critical patent/CN115359345B/zh
Publication of CN115359345A publication Critical patent/CN115359345A/zh
Application granted granted Critical
Publication of CN115359345B publication Critical patent/CN115359345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种基于异类别元学习的X光下重叠物体识别方法，本发明采用异类别元学习的方法进行训练，且通过KIOU loss的方式使得预测框快速达到稳定值，还通过逐层识别的方式识别重叠物品。本发明可以对少样本物体进行很好的学习，并且提高了YOLO的训练效率，同时对重叠物体进行分离，提高了重叠物识别准确率，便于安检人员识别重叠物体，极大提高安检识别效率。

Description

一种基于异类别元学习的X光下重叠物体识别方法
技术领域
本发明涉及安全检测领域，特别是涉及一种基于异类别元学习的X光下重叠物体识别方法。
背景技术
在公共安防领域内，使用X光对包内物体进行中经常存在物体堆叠等情况，在多数情况下安检员不能完全确定当前场景下所有物体，需要拦截开包检测进行物体确认，在人流量大的情况下会极大的增加检查增加拥堵程度，影响出行体验，此外安检员检测效率与工作时间劳累程度高度相关，高频率开包检测会使得安检员在后半工作时间内效率低下。
目前目标检测等技术已经拓展到安检领域，其中以YOLO为代表的目标检测框架以及他的改进模型，与以RCNN为基础的检测框架以及他的改进模型被应用于安检领域中X光下危险物识别，在数据足够多的情况下也能识别部分重叠物体。
现有目标检测的技术方案，主要分为2类，一类为单阶段检测，另一类为两阶段检测。其中两阶段检测的方案主要分为以下三步，首先选定可能的框的大小，然后通过滑动窗口对可能框进行匹配，最后通过匹配上的框通过网络再进行识别。单阶段检测以YOLO为例，首先将图片分割为K*K个像素，然后对图像中物体的中心值与K*K的像素进行对应并且对框进行回归得到最终结果。
但是现有技术方案的存在如下缺点：
（1）在安防领域中违禁品多为小样本数据，当目标样本数据数量足够少时，直接训练网络往往效果很差，通过网络通过数据增广或是使用预训练模型的方法或许能提高精度，但是效果有限很难达到预期。
（2）使用元学习可以对模型进行较好的初始化参数在小样本数据集中可以得到很好的效果，但是元学习目前大都应用于图像识别领域，即对图片中某一类物品进行检测。而安检时是同时对多类物品进行检测，因此使用元学习方案对目标检测数据集进行拆分难度大。
（3）目前元学习按照相同类别数进行划分，数据集存在类别数量不同时，便不能进行网络参数的更新，而安检时，进行目标检测中若使用元学习，往往类别数量不同。
（4）YOLOv5 模型中CIOU loss虽然考虑到物体中心位置以及物体的长宽比例，但是在某些任务上中心点并不能很好的反应当前物体的重点部分，甚至在某些任务中可能出现物体标定框的中心点不在物体上。比如弯刀的中心点，以及长柄手枪中心点有很大概率不在物体上，具体见图1-1和图1-2，其中黑点代表物体中心点。
发明内容
为解决上述技术问题，本发明提出了一种基于异类别元学习的X光下重叠物体识别方法。本发明可以对少样本物体进行很好的学习，并且提高了YOLO的训练效率，同时对重叠物体进行分离，提高了重叠物识别准确率，便于安检人员识别重叠物体，极大提高安检识别效率。
本发明的目的通过以下技术方案实现：
一种基于异类别元学习的X光下重叠物体识别方法，包括如下步骤：
S1、通过若干元学习数据集，采用异类别元学习的方式训练得到YOLOv5模型的初始化参数𝜃n；
S2、对YOLOv5加载初始化参数𝜃n，并且使用目标数据集进行训练得到训练好的YOLOv5_meta模型，其中，YOLOv5中回归框CIOU loss中的原中心点回归方法改为重心点回归方法；
S3、采用YOLOv5_meta模型对原始图像中物品进行识别，并逐层识别出物品后，去除识别出的物品的相关区块，直至没有待识别的物品。
进一步的改进，步骤S1包括如下步骤：
步骤一、将收集到的数据集划分为目标数据集以及N个元学习数据集，将每个元学习数据集划分为一个子任务，子任务的类别数量不完全相同，并且将每一个任务均划分为训练集N_i_train以及测试集N_i_test；所述目标数据集包含多类别待检测危险物品的数据集；所述元学习数据集即包含的数据与目标数据集不同的数据集；
步骤二、针对子任务一，初始化YOLOv5模型参数为𝜃0，使用任务一的训练集N_1_train，对YOLOv5模型进行训练，使用训练损失对YOLOv5模型参数更新为𝜃_1_train；
步骤三、使用子任务一的测试集N_1_test对使用𝜃_1_train参数下的YOLOv5模型进行测试，计算此时损失loss1以及此时损失梯度gard1，使用学习率对参数𝜃0更新为𝜃1，更新公式如下：
Figure 100002_DEST_PATH_IMAGE001
(1)
步骤四、将𝜃1依照检测层与前置层进行拆分，检测层的数量为根据子任务一的元学习数据集中物品类别数量进行更改的，并保持与元学习数据集中物品类别数量一致；前置层即检测层之外的部分，层数固定不变，即有：
Figure 100002_DEST_PATH_IMAGE002
(2)
其中
Figure 100002_DEST_PATH_IMAGE003
表示任务一的YOLOv5模型的前置层中𝜃1对应的参数；
Figure 100002_DEST_PATH_IMAGE004
表示任务一的YOLOv5模型的检测层中𝜃1对应的参数；
步骤五、针对任务二，设此时任务二检测类别与任务一不相同，初始化YOLOv5模型参数为𝜃_2_init，此时𝜃_2_init参数为：
Figure 100002_DEST_PATH_IMAGE005
其中
Figure 100002_DEST_PATH_IMAGE006
，沿用上一层前置层中𝜃1对应的参数；
Figure 100002_DEST_PATH_IMAGE007
为任务二中检测层初始参数；
步骤六、使用任务二训练集N_2_train，对YOLOv5模型进行训练，使用训练任务二损失对模型参数更新为𝜃_2_train；
步骤七、使用任务二测试集N_2_test对使用𝜃_2_train参数下的YOLOv5模型进行测试，计算此时损失loss2以及此时损失梯度gard2，使用学习率对参数𝜃1更新为𝜃2，更新公式如下：
Figure 100002_DEST_PATH_IMAGE008
(3)
步骤八、将𝜃2依照检测层与前置层进行拆分，即
Figure 100002_DEST_PATH_IMAGE009
(4)
其中
Figure 100002_DEST_PATH_IMAGE010
表示任务二的YOLOv5模型的前置层中𝜃2对应的参数；
Figure 100002_DEST_PATH_IMAGE011
表示任务二中YOLOv5模型的检测层中𝜃2对应的参数；
步骤九、迭代重复步骤五至步骤八直到将N个任务全部学习自定义次数，并且得到参数𝜃n，此时参数𝜃n即为异类别元学习后YOLOv5模型的初始化参数。
进一步的改进，所述元学习数据集包括 coco数据集、Ixray数据集和OPIXray数据集。
进一步的改进，步骤S2中，重心点回归方法中，重心确定公式如下：
Figure 100002_DEST_PATH_IMAGE012
Figure 100002_DEST_PATH_IMAGE013
(5)
其中，x 0，y 0 ，分别代表图像重心位置的x轴和y轴坐标；f(x i ,y j )代表在x=i，y=j时点的密度；m表示x轴的像素点数量，n表示y轴的像素点数量；
Figure 100002_DEST_PATH_IMAGE014
(6)
其中，color1、color2、color3、color4分别代表橙色orange、绿色green、蓝色blue和黑色black，设定当颜色最浅时则取得当前颜色物体密度最小值；min（color 1 ）代表当前密度最小的橙色物体的密度，max（color 1 ）代表当前密度最大的橙色物体；RGB()函数代表取当前物体颜色的RGB值，f（x i ,yj） color表示x=i，y=j的点的颜色，其中α 1 、α 2 、α 3 和α 4 分别代表最浅橙色物体的密度值、最浅绿色物体的密度值、最浅蓝色物体的密度值、最浅黑色物体的密度值，β 1 、β 2 、β 3 和β 4 分别代表橙色密度的比例因子、绿色密度的比例因子、蓝色密度的比例因子和黑色密度的比例因子；
Figure 100002_DEST_PATH_IMAGE015
(7)
density（）表示密度；
重心点回归方法的重心回归损失KIOU loss如下：
Figure 100002_DEST_PATH_IMAGE016
(8)
其中，KIOU loss表示重心回归损失；Dc表示标签框对角线距离，D k 表示标签框与预测框重心点距离，h r 表示真实框高度，h p 表示预测框高度，w r 表示真实框宽度，w p 表示预测框宽度；当标签框重心与预测框重心点一致时D k 距离为0，仅对宽高比例进行回归，当预测框与真实框宽高一致时后置项为0；IOU表示目标框∩预测框以及目标框∪预测框，abs（）表示取绝对值。
进一步的改进，步骤S3包括如下步骤：
步骤十一、使用训练好的YOLOv5_meta对原始图像中危险物品进行初始识别，并且将识别的N个目标检测框的全部标定；
步骤十二、使用傅里叶变换对原始图像进行频率提取，得到图像边缘信息，将原始图像低频置为0，形成具有边缘信息的原始图像，最后通过逆傅里叶变换还原具有边缘信息的原始图像，此时得到高通滤波后的边缘化特征，形成傅里叶变换之后的边缘图像，并将傅里叶变换之后的边缘图像的边缘进行标定，同时将原始图像中物体的边缘信息区分为区域块，见公式(9)-(11)。
Figure 100002_DEST_PATH_IMAGE017
(9)
Figure 100002_DEST_PATH_IMAGE018
(10)
Figure 100002_DEST_PATH_IMAGE019
(11)
其中，
Figure 100002_DEST_PATH_IMAGE020
表示频率，img表示原始图像，fft（）表示傅里叶变换，
Figure DEST_PATH_IMAGE021
表示高频率特征，
Figure DEST_PATH_IMAGE022
表示边缘图；ifft（）表示傅里叶逆变换；
步骤十三，使用模板匹配找到目标检测框内目标物体具体方向以及位置并且精确到像素点；
步骤十四，结合物体边缘信息、当前图像所有边缘信息以及颜色信息，将物体边缘信息与识别物体划分为识别物体相关区域块以及其他区域块，如果当前区域块与识别物体边缘构成闭环的颜色与识别物体颜色相似则判定为识别物体相关区块，非为物体相关区域块为其他区域块，将识别物体相关区块其去除，此时更新后图像为去除当前识别物体后的图像，此时危险物体会减少N；
步骤十五，重复上述步骤十一到步骤十四操作直到没有待识别的物品。
进一步的改进，所述步骤十四中，如果当前区域块与识别物体边缘构成闭环的颜色与识别物体颜色相似的判断方法如下：若|A _灰度-B_灰度|<0.1*A_灰度，则相似，否则不相似；其中A _灰度表示当前区域块与识别物体边缘构成闭环的颜色的灰度，B_灰度表示识别物体颜色的灰度。
本发明的有益效果在于：
1.本发明进行异类别元学习，克服了现有元学习只能在同类物品上进行的缺陷。
2.通过特殊的步骤提高了异类别元学习的学习效率，降低了其学习时间，提高了识别精度。
3.采用KIOU loss判断预测框，使得预测框重心点与标签框预测重心点重合即可快速达到稳定值，提高了物品识别的速度和准确度。
4.根据颜色、边缘信息等逐层识别重叠物品，提高了对重叠物品的识别精度。
附图说明
利用附图对本发明做进一步说明，但附图中的内容不构成对本发明的任何限制。
图1-1为弯刀在YOLOv5 模型中CIOU loss回归框中中心点示意图；
图1-2为枪在YOLOv5 模型中CIOU loss回归框中中心点示意图；
图2为本发明进行异类别元学习的流程示意图；
图3-1为CIOU loss使用图像中心距离作为损失的示意图；
图3-2为KIOU loss使用图像中心距离作为损失的示意图；
图4为本发明的整体流程图。
具体实施方式
为了使发明的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本发明进行进一步的详细说明。
实施例1
一种基于异类别元学习的X光下重叠物体识别方法，针对小样本难以收敛等问题，本发明通过异类别元学习对模型初始化参数进行学习。目前元学习对不同类别的数据进行学习，主要应用于图像分类任务领域，通过将数据集类别进行等比例划分，然后模型对划分后不同类型数据学习，可以使得学习的模型参数适配不同类型数据，学到最优的初始化参数，从而在新类型少样本的情况下进行识别可以快速达到收敛并到达更高的识别精度。但是元学习对目标检测数据集进行拆分难度比较大，同时直接按照类别拆分可能存在当前数据集包含下一个数据集的类别，而此时该类别依照当前数据集标注规则对下一个数据集类别不进行标注，进而在进行网络学习的时候数据漏标会影响识别效果。此外不同类别目标检测数据集往往类别数不同，模型最后一层参数不同，不同类别数不能直接进行元学习。考虑到上述元学习不能针对于不同类别数量数据进行学习，但是目标检测网络中前面层往往作为特征提取，通过元学习模式依然能获得很好的初始化前置参数，因此本发明提出异类别元学习方案，该方案可以解决不同类别数量的元学习问题。
针对重叠物体识别难等问题，本专利使用YOLOv5模型对目标类别进行标定，凭借YOLOv5模型在目标检测上具备出色的识别精度以及速度对目标物进行初识别，由于图像中高频成分代表图像细节，因此使用高通滤波对图像边缘细节部分进行提取，同时使用语义分割匹配出初识别物体，最后通过出识别物体边缘、模板以及颜色信息，对出识别物体中的非重叠部分进行去除，重新将去除后物体回代上述过程从而到达分离所有重叠危险品的目的，到达提高识别重叠物体的目的，本专利主要实施步骤如下。
步骤一，将收集到的数据集划分为目标数据集以及其他数据集，将数据集中的其他数据划分为N个子任务，本次子任务类别数量可以不同，并且将每一个任务均划分为训练集N_i_train以及测试集N_i_test，（注：上述训练测试集没有漏标等问题，同时数据类别数量可以不同）。
步骤二，针对任务一，初始化YOLOv5模型参数为𝜃0，使用任务一训练集N_1_train，对YOLOv5模型进行训练，使用训练损失对模型参数更新为𝜃_1_train。
步骤三，使用任务一测试集N_1_test对使用𝜃_1_train参数下的YOLOv5模型进行测试，计算此时损失loss1以及此时损失梯度gard1使用学习率为
Figure DEST_PATH_IMAGE023
对参数𝜃0更新为𝜃1，更新公式如下。
Figure DEST_PATH_IMAGE024
(1)
步骤四，将𝜃1依照检测层(根据类别数量进行更改)与前置层（非检测层）进行拆分，即
Figure DEST_PATH_IMAGE025
(2)
步骤五，针对任务二，假设此时任务二检测类别与任务一不相同，初始化YOLOv5模型参数为
Figure DEST_PATH_IMAGE026
，并复制
Figure DEST_PATH_IMAGE027
前置层参数作为
Figure 259304DEST_PATH_IMAGE026
前置层参数，此时
Figure DEST_PATH_IMAGE028
，并将其作为任务二初始参数。依次重复步骤二至步骤五直到将N个任务全部学习自定义次数，并且得到参数𝜃n，此时参数𝜃n即为异类别元学习后的初始化参数步骤四，见图2。
步骤六，对YOLOv5加载初始化参数𝜃n，并且使用目标数据集进行训练，其中对原始YOLOv5中回归框CIOU loss进行改进将原中心点回归改为重心点回归并称为KIOU loss（Key point IOU loss）CIOU loss公式见公式(3)-(4)。
Figure DEST_PATH_IMAGE029
(3)
Figure DEST_PATH_IMAGE030
(4)
其中D2代表预测框中心点与标签框中心点的距离Dc表示标签框对角线距离，v表示长宽高比例影响因子，CIOU loss使用图像中心距离作为损失，以及宽高比进行回归见图3-1。
可见CIOU loss进行回归时同时需要对宽高比以及中心点进行回归，使用本发明KIOU loss见图3-2，当预测框与重心点与标签框预测重心点一致时，仅仅需要对宽高比进行回归可以尽快达到稳定值，KIOU loss 损失见公式(5)。
Figure DEST_PATH_IMAGE031
(5)
公式(5)中D k 代表标签框与预测框重心点距离，h r 表示真实框高度，h p 代表预测框高度，w r 表示真实框宽度，w p 表示预测框宽度。当标签框重心与预测框重心点一致时D k 距离为0，仅需要对宽高比例进行回归，当预测框与真实框宽高一致时后置项为0。重心确定公式见公式(6)。
Figure 363395DEST_PATH_IMAGE012
Figure 674291DEST_PATH_IMAGE013
（6）
公式(6)中x 0，y 0 ，代表图像重心位置，f(x i ,y j )代表在x=i，y=j时点的密度，对于X光成像，不同颜色以及颜色深浅不同密度一般不同。其中黑色呈现一般代表厚重金属，密度较大；蓝色代表一般金属，密度次之；绿色代表混合物，密度略小于金属等材料；而橙色代表有机物，密度最小。因此为提高相应重心识别准确度，本专利f(x i ,y j )密度公式依照X光成像规则 (黑色密度>蓝色密度>绿色密度>黄色密度)所设定，见公式（7）。
Figure 866238DEST_PATH_IMAGE014
(7)
color1到color4分别代表橙色、绿色、蓝色和黑色，一般认为颜色越深密度越大。因此设定当颜色最浅时可同时取得当前颜色物体密度最小值；min(color 1 )代表当前密度最小的橙色物体，RGB()函数代表取当前颜色的RGB值。如果当前颜色f(x i ,y j ) color 属于橙色则带入公式(7)中第一个公式，其中，α 1 代表最浅橙色物体的密度值，β 1 代表橙色密度的比例因子，不同物体密度的比例因子是不同的，比例因子计算公式入公式(8)所示。
Figure DEST_PATH_IMAGE032
(8)
当N=3时，此时f(x i ,y j )成像为蓝色，因为蓝色物体包含金属物体，范围较广，不同金属之间密度差距较大，所以比例因子
Figure DEST_PATH_IMAGE033
大于其他类别。
步骤七，使用训练好的YOLOv5_meta对图片中物体进行初始识别，并且将识别的N个物体框的全部标定。
步骤八，使用傅里叶变换对图像进行频率提取，将图像低频置为0，最后通过逆傅里叶变换还原图像，此时得到高通滤波后的边缘化特征，并将其边缘进行标定，同时将物体边缘信息区分为区域块，见公式(9)-(11)。
Figure DEST_PATH_IMAGE034
(9)
Figure DEST_PATH_IMAGE035
(10)
Figure DEST_PATH_IMAGE036
(11)
步骤九，使用语义分割找到框内目标物体具体方向以及位置并且精确到像素点。
步骤十，结合识别物体边缘信息、当前图像所有边缘信息以及颜色信息。将所有物体边缘信息划分为识别物体相关区域块以及其他区域块，（如果当前区域块与识别物体边缘构成闭环同时颜色与单物体颜色相似则判定为识别物体相关区块，非为物体相关区域块为其他区域块），将识别物体相关区块其去除，此时更新后图像为去除当前识别物体后的图像，此时危险物体会减少N，N代表目标检测框个数。
步骤十一，重复上述步骤七到步骤十一操作直到没有重叠危险物体。通过上述所有步骤可以识别最终所有物体，具体流程图见图4。
其中红色框表示元学习部分，代表步骤一到步骤四过程。该部分内容可学习到更好的参数以解决小样本识别问题。黄色框表示重叠物体去除部分，代表步骤六到步骤九，通过高通滤波、目标匹配、以及颜色信息去除物体的非重叠部分以解决重叠物体识别问题。
最后应当说明的是，以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当了解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于异类别元学习的X光下重叠物体识别方法，其特征在于，包括如下步骤：
S1、通过若干元学习数据集，采用异类别元学习的方式训练得到YOLOv5模型的初始化参数𝜃n；
S2、对YOLOv5加载初始化参数𝜃n，并且使用目标数据集进行训练得到训练好的YOLOv5_meta模型，其中，YOLOv5中回归框CIOU loss中的原中心点回归方法改为重心点回归方法；
S3、采用YOLOv5_meta模型对原始图像中物品进行识别，并逐层识别出物品后，去除识别出的物品的相关区块，直至没有待识别的物品。
2.如权利要求1所述的基于异类别元学习的X光下重叠物体识别方法，其特征在于，步骤S1包括如下步骤：
步骤一、将收集到的数据集划分为目标数据集以及N个元学习数据集，将每个元学习数据集划分为一个子任务，子任务的类别数量不完全相同，并且将每一个任务均划分为训练集N_i_train以及测试集N_i_test；所述目标数据集包含多类别待检测危险物品的数据集；所述元学习数据集即包含的数据与目标数据集不同的数据集；
步骤二、针对子任务一，初始化YOLOv5模型参数为𝜃0，使用任务一的训练集N_1_train，对YOLOv5模型进行训练，使用训练损失对YOLOv5模型参数更新为𝜃_1_train；
步骤三、使用子任务一的测试集N_1_test对使用𝜃_1_train参数下的YOLOv5模型进行测试，计算此时损失loss1以及此时损失梯度gard1，使用学习率对参数𝜃0更新为𝜃1，更新公式如下：
Figure DEST_PATH_IMAGE001
(1)
步骤四、将𝜃1依照检测层与前置层进行拆分，检测层的数量为根据子任务一的元学习数据集中物品类别数量进行更改的，并保持与元学习数据集中物品类别数量一致；前置层即检测层之外的部分，层数固定不变，即有：
Figure DEST_PATH_IMAGE002
(2)
其中
Figure DEST_PATH_IMAGE003
表示任务一的YOLOv5模型的前置层中𝜃1对应的参数；
Figure DEST_PATH_IMAGE004
表示任务一的YOLOv5模型的检测层中𝜃1对应的参数；
步骤五、针对任务二，设此时任务二检测类别与任务一不相同，初始化YOLOv5模型参数为𝜃_2_init，此时𝜃_2_init参数为：
Figure DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
沿用上一层前置层中𝜃1对应的参数；
Figure DEST_PATH_IMAGE007
为任务二中检测层初始参数；
步骤六、使用任务二训练集N_2_train，对YOLOv5模型进行训练，使用训练任务二损失对模型参数更新为𝜃_2_train；
步骤七、使用任务二测试集N_2_test对使用𝜃_2_train参数下的YOLOv5模型进行测试，计算此时损失loss2以及此时损失梯度gard2，使用学习率对参数𝜃1更新为𝜃2，更新公式如下：
(3)
Figure DEST_PATH_IMAGE008
步骤八、将𝜃2依照检测层与前置层进行拆分，即
Figure DEST_PATH_IMAGE009
(4)
其中
Figure DEST_PATH_IMAGE010
表示任务二的YOLOv5模型的前置层中𝜃2对应的参数；
Figure DEST_PATH_IMAGE011
表示任务二中YOLOv5模型的检测层中𝜃2对应的参数；
步骤九、迭代重复步骤五至步骤八直到将N个任务全部学习自定义次数，并且得到参数𝜃n，此时参数𝜃n即为异类别元学习后YOLOv5模型的初始化参数。
3.如权利要求2所述的基于异类别元学习的X光下重叠物体识别方法，其特征在于，所述元学习数据集包括 coco数据集、EDS数据集和OPIXray数据集、以及自制数据集。
4.如权利要求1所述的基于异类别元学习的X光下重叠物体识别方法，其特征在于，步骤S2中，重心点回归方法中，重心确定公式如下：
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
(5)
其中，x 0，y 0 ，分别代表图像重心位置的x轴和y轴坐标；f(x i ,y j )代表在x=i，y=j时点的密度；m表示x轴的像素点数量，n表示y轴的像素点数量；
Figure DEST_PATH_IMAGE014
(6)
其中，color1、color2、color3、color4分别代表橙色orange、绿色green、蓝色blue和黑色black，设定当颜色最浅时则取得当前颜色物体密度最小值；min（color 1 ）代表当前密度最小的橙色物体的密度，max（color 1 ）代表当前密度最大的橙色物体；RGB()函数代表取当前物体颜色的RGB值，f（x i ,y j ） color表示x=i，y=j的点的颜色，其中α 1 、α 2 、α 3 和α 4 分别代表最浅橙色物体的密度值、最浅绿色物体的密度值、最浅蓝色物体的密度值、最浅黑色物体的密度值，β 1 、β 2 、β 3 和β 4 分别代表橙色密度的比例因子、绿色密度的比例因子、蓝色密度的比例因子和黑色密度的比例因子；
Figure DEST_PATH_IMAGE015
(7)
density（）表示密度；
重心点回归方法的重心回归损失KIOU loss如下：
Figure DEST_PATH_IMAGE016
(8)
其中，KIOU loss表示重心回归损失；Dc表示标签框对角线距离，D k 表示标签框与预测框重心点距离，h r 表示真实框高度，h p 表示预测框高度，w r 表示真实框宽度，w p 表示预测框宽度；当标签框重心与预测框重心点一致时D k 距离为0，仅对宽高比例进行回归，当预测框与真实框宽高一致时后置项为0；IOU表示目标框∩预测框以及目标框∪预测框，abs（）表示取绝对值。
5.如权利要求1所述的基于异类别元学习的X光下重叠物体识别方法，其特征在于，步骤S3包括如下步骤：
步骤十一、使用训练好的YOLOv5_meta对原始图像中危险物品进行初始识别，并且将识别的N个目标检测框的全部标定；
步骤十二、使用傅里叶变换对原始图像进行频率提取，得到图像边缘信息，将原始图像低频置为0，形成具有边缘信息的原始图像，最后通过逆傅里叶变换还原具有边缘信息的原始图像，此时得到高通滤波后的边缘化特征，形成傅里叶变换之后的边缘图像，并将傅里叶变换之后的边缘图像的边缘进行标定，同时将原始图像中物体的边缘信息区分为区域块，见公式(9)-(11)
Figure DEST_PATH_IMAGE017
(9)
Figure DEST_PATH_IMAGE018
(10)
Figure DEST_PATH_IMAGE019
(11)
其中，
Figure DEST_PATH_IMAGE020
表示频率，img表示原始图像，fft（）表示傅里叶变换，high_frequence表示高频率特征，border_image表示边缘图；ifft（）表示傅里叶逆变换；
步骤十三，使用模板匹配找到目标检测框内目标物体具体方向以及位置并且精确到像素点；
步骤十四，结合物体边缘信息、当前图像所有边缘信息以及颜色信息，将物体边缘信息与识别物体划分为识别物体相关区域块以及其他区域块，如果当前区域块与识别物体边缘构成闭环的颜色与识别物体颜色相似则判定为识别物体相关区块，非为物体相关区域块为其他区域块，将识别物体相关区块其去除，此时更新后图像为去除当前识别物体后的图像，此时危险物体会减少N；
步骤十五，重复上述步骤十一到步骤十四操作直到没有待识别的物品。
6.如权利要求1所述的基于异类别元学习的X光下重叠物体识别方法，其特征在于，所述步骤十四中，如果当前区域块与识别物体边缘构成闭环的颜色与识别物体颜色相似的判断方法如下：若|A _灰度-B_灰度|<0.1*A_灰度，则相似，否则不相似；其中A _灰度表示当前区域块与识别物体边缘构成闭环的颜色的灰度，B_灰度表示识别物体颜色的灰度。
CN202211125583.1A 2022-09-16 2022-09-16 一种基于异类别元学习的x光下重叠物体识别方法 Active CN115359345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211125583.1A CN115359345B (zh) 2022-09-16 2022-09-16 一种基于异类别元学习的x光下重叠物体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211125583.1A CN115359345B (zh) 2022-09-16 2022-09-16 一种基于异类别元学习的x光下重叠物体识别方法

Publications (2)

Publication Number Publication Date
CN115359345A true CN115359345A (zh) 2022-11-18
CN115359345B CN115359345B (zh) 2023-07-28

Family

ID=84005785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211125583.1A Active CN115359345B (zh) 2022-09-16 2022-09-16 一种基于异类别元学习的x光下重叠物体识别方法

Country Status (1)

Country Link
CN (1) CN115359345B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197787A (zh) * 2023-08-09 2023-12-08 海南大学 基于改进YOLOv5的智能安检方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818768A (zh) * 2021-01-19 2021-05-18 南京邮电大学 一种基于元学习的变电站改扩建违章行为智能化识别方法
CN112884064A (zh) * 2021-03-12 2021-06-01 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法
CN114663729A (zh) * 2022-03-29 2022-06-24 南京工程学院 一种基于元学习的气缸套小样本缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818768A (zh) * 2021-01-19 2021-05-18 南京邮电大学 一种基于元学习的变电站改扩建违章行为智能化识别方法
CN112884064A (zh) * 2021-03-12 2021-06-01 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法
US20220292311A1 (en) * 2021-03-12 2022-09-15 Dibi (Chongqing) Intelligent Technology Research Institute Co., Ltd. Method for object detection and recognition based on neural network
CN114663729A (zh) * 2022-03-29 2022-06-24 南京工程学院 一种基于元学习的气缸套小样本缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG ZHANG等: "A YOLOv5s-SE model for object detection in X-ray security images", THE L0TH INTERNATIONAL CONFERENCE ON CONTROL,AUTOMATION AND INFORMATION SCIENCES *
李宏男等: "面向无人机小样本目标识别的元学习方法研究", 无人系统技术 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197787A (zh) * 2023-08-09 2023-12-08 海南大学 基于改进YOLOv5的智能安检方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115359345B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN110543837A (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN111414906A (zh) 纸质票据图片的数据合成与文本识别方法
CN110598609A (zh) 一种基于显著性引导的弱监督目标检测方法
Kim et al. Multi-task convolutional neural network system for license plate recognition
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN103824090B (zh) 一种自适应的人脸低层特征选择方法及人脸属性识别方法
CN106611420A (zh) 基于反卷积网络和素描图方向约束的sar图像分割方法
CN107025452A (zh) 图像识别方法和图像识别设备
CN108629286A (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN115359345A (zh) 一种基于异类别元学习的x光下重叠物体识别方法
Fan et al. Traffic sign detection and classification for Advanced Driver Assistant Systems
CN113392930A (zh) 基于多层次分治网络的交通标志目标检测方法
CN113673541A (zh) 一种用于目标检测的图像样本生成方法及应用
CN108596244A (zh) 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法
Hu et al. Cca: Exploring the possibility of contextual camouflage attack on object detection
CN114049556A (zh) 一种svm与目标检测算法融合的垃圾分类方法
CN109977862A (zh) 一种车位限位器的识别方法
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法
CN112990234A (zh) 基于改进孪生网络检测超分辨率小样本数据的方法
CN109558872B (zh) 一种车辆颜色识别方法
KR20200071021A (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
CN109886325A (zh) 一种非线性颜色空间分类的模板选择与加速匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for recognizing overlapping objects under X-ray based on heterogeneous meta learning

Granted publication date: 20230728

Pledgee: Bank of Changsha Limited by Share Ltd. Wangcheng branch

Pledgor: Hunan Ke Ke Intelligent Technology Co.,Ltd.

Registration number: Y2024980001307

PE01 Entry into force of the registration of the contract for pledge of patent right