CN115620066A - 一种基于x光图像的物品检测方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种基于X光图像的物品检测方法、装置及电子设备，获取待处理的X光图像之后，分别确定噪声特征向量、各个目标对象的像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量。将上述特征向量输入图像分类模型，确定X光图像对应的X光安检机型号。最后基于X光安检机型号对应的物品检测模型，确定X光图像的物品检测结果。本申请获取X光图像，确定出其对应的X光安检机型号，有利于针对来自不同机型的待处理的X光图像选取适配的物品检测模型，基于适配的物品检测模型确定X光图像的物品检测结果，从而提高物品检测的准确性。

Description

一种基于X光图像的物品检测方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于X光图像的物品检测方法、装置及电子设备。

背景技术

为确保旅客安全，在安检时常采用X光机采集X光图像，基于X光图像识别行李包裹内的刀具、枪支、易燃易爆等危险物品，降低危险发生的概率。传统基于X光图像的物品检测基本依靠人工判别，存在检测速度慢，时效低，人工判别成本高，漏检率高等问题，在很大程度上制约了安检查验的工作效率。

相关技术中，为了提高基于X光图像的物品检测效率，降低人工检测干预，提出了基于X光图像检测模型来实现安检行李危险品的自动识别的技术方案。如公开号CN114387452A提出了一种X光安检图像违禁品检测方法、装置及终端设备。该方案通过弱监督网络模型中的可变形空洞卷积模块，能够学习待测X光安检图像中违禁品更多的特征，同时扩大感受野，以捕捉小目标并预测被遮挡的违禁品特征，更好地解决了目标多姿态变化、目标被遮挡和目标过小的问题。相关技术中X光图像检测模型训练的训练集往往由来自众多X光安检机机型的海量X光图像作为训练样本组合形成，这些样本图像由于不同型号的X光安检机具有各异的X光扫描技术、不同的图像采集技术、不同的机身空间结构以及不同的图像着色算法而差异明显，例如图1和图2所示的是两种X光安检机采集的X光图像。将这些X光图像直接输入给X光图像检测模型进行训练，会导致相同目标在不同机型上的特征产生差异，因此，相关技术虽然减少了人工检测干预，但是物品检测的准确性仍然无法保证。

发明内容

本申请实施例提供了一种基于X光图像的物品检测方法、装置及电子设备，用以解决相关技术物品检测的准确性较差的问题。

第一方面，本申请提供了一种基于X光图像的物品检测方法，所述方法包括：

获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量；

将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量；

分别获取所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量；

将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号；

将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

第二方面，本申请提供了一种基于X光图像的物品检测柱子，所述装置包括：

第一确定模块，用于获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量；

第二确定模块，用于将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量；

第三确定模块，用于分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量；

第四确定模块，用于将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号；

检测模块，用于将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。

上述的技术方案具有如下优点或有益效果：

本申请中，考虑到根据X光安检机成像的特点，不同型号的X光安检机采集的X光图像在图像噪声、目标对象像素数量和图像着色特点等方面均有区别。获取待处理的X光图像之后，分别确定噪声特征向量、各个目标对象的像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量。将上述特征向量输入图像分类模型，确定X光图像对应的X光安检机型号。最后基于X光安检机型号对应的物品检测模型，确定X光图像的物品检测结果。本申请获取X光图像，确定出其对应的X光安检机型号，有利于针对来自不同机型的待处理的X光图像选取适配的物品检测模型，基于适配的物品检测模型确定X光图像的物品检测结果，从而提高物品检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种X光安检机采集的X光图像示意图；

图2为本申请提供的另一种X光安检机采集的X光图像示意图；

图3为本申请提供的基于X光图像的物品检测过程示意图；

图4为本申请提供的水杯的像素分布概率示意图；

图5为本申请提供的雨伞的像素分布概率示意图；

图6为本申请提供的笔记本电脑的像素分布概率示意图；

图7为本申请提供的噪声去除模型结构示意图；

图8为本申请提供的对象识别模型结构示意图；

图9为本申请提供的扩展聚合网络模块结构示意图；

图10为本申请提供的基于X光图像的物品检测框架图；

图11为本申请提供的基于X光图像的物品检测装置结构示意图；

图12为本申请提供的电子设备结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

图3为本申请提供的基于X光图像的物品检测过程示意图，该过程包括以下步骤：

S101：获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量。

本申请提供的基于X光图像的物品检测方法应用于电子设备，该电子设备可以是X光图像采集设备，也可以是PC、平板电脑、服务器等设备。X光图像采集设备可以是采集待处理的X光图像的设备。

如果电子设备为X光图像采集设备，其采集到待处理的X光图像之后，进行后续对X光图像进行物品检测的过程。如果电子设备为PC、平板电脑、服务器等设备，X光图像采集设备与PC、平板电脑、服务器等电子设备连接，X光图像采集设备采集到待处理的X光图像之后，主动向电子设备发送X光图像，或者电子设备主动向X光图像采集设备请求X光图像，当X光图像采集设备接收到请求之后，向电子设备发送X光图像。电子设备接收到X光图像，则认为获取到了待处理的X光图像。

需要说明的是，电子设备中配置有已训练的噪声去除模型、对象识别模型、图像分类模型和物品检测模型。其中可以采用该电子设备来训练上述各个模型，也可以采用其它电子设备对上述各个模型进行训练，训练完成后将各个模型配置在对X光图像进行物品检测的电子设备中。

电子设备获取到待处理的X光图像后，将X光图像输入已训练的噪声去除模型，噪声去除模型对X光图像进行去噪处理，噪声去除模型输出的是去除噪声后的图像，X光图像与去除噪声后的图像尺寸相同，因此可以将X光图像与去除噪声后的图像进行像素级相减，得到X光图像对应的噪声图像。然后统计噪声图像的红绿蓝RGB三通道颜色直方图，根据RGB三通道颜色直方图确定噪声特征向量。噪声特征向量体现噪声图像各个像素点的RGB三通道的像素值的数量分布。

S102：将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量。

电子设备获取到待处理的X光图像后，将X光图像输入已训练的对象识别模型，对象识别模型输出X光图像中的各个目标对象的位置信息。需要说明的是，各个目标对象为训练对象识别模型时所定义的对象，目标对象例如是日常用品，如水杯、雨伞、笔记本电脑和眼镜等。定义日常用品是为了尽可能的识别到X光图像中的各个目标对象。当然也可以定义其它任意物品，例如书本、衣物、洗漱物品等。

电子设备确定出各个目标对象之后，统计各个目标对象的像素数量，然后根据各个目标对象的像素数量确定像素统计特征向量。像素统计特征向量体现各个目标对象的像素数量分布概率。为了便于确定像素统计特征向量，确定出各个目标对象之后，可以先根据各个目标对象的像素数量建立各个目标对象的像素数量分布直方图，根据各个目标对象的像素数量分布直方图获取像素统计特征向量。

S103：分别获取所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量。

电子设备获取X光图像的红色颜色通道，统计红色颜色直方图，得到红色像素统计特征向量，红色像素统计特征向量中包括红色颜色通道各个像素值所对应的像素点数量。同样的电子设备获取X光图像的绿色颜色通道，统计绿色颜色直方图，得到绿色像素统计特征向量，绿色像素统计特征向量中包括绿色颜色通道各个像素值所对应的像素点数量。同样的电子设备获取X光图像的蓝色颜色通道，统计蓝色颜色直方图，得到蓝色像素统计特征向量，蓝色像素统计特征向量中包括蓝色颜色通道各个像素值所对应的像素点数量。

S104：将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号。

电子设备确定出噪声特征向量、像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量之后，将以上各个特征向量输入已训练的图像分类模型。图像分类模型根据输入的各个特征向量来判断X光图像对应的X光安检机型号。本申请不对X光安检机型号进行限定，其可以是已知的各种X光安检机型号，当出现目前未知的X光安检机型号时，可以增加新的X光安检机型号的X光图像样本和X光安检机型号类别标签，根据增加的样本和标签继续训练图像分类模型，以便图像分类模型能够准确输出X光图像对应的X光安检机型号。

S105：将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

电子设备中配置有各个X光安检机型号对应的已训练的物品检测模型，在确定出X光图像对应的X光安检机型号之后，将X光图像输入X光安检机型号对应的已训练的物品检测模型，从而准确确定出X光图像的物品检测结果。

本申请选择噪声特征向量、像素统计特征向量、颜色像素统计特征向量作为图像分类模型输入的原因说明如下：

本申请实现的是通过X光图像来判断对应的X光安检机型号，所以特征的选择必须能表征机型，也就是特征和机型相关性较强。X光图像噪声的产生与X光的量子起伏噪声、散射线散射噪声、图像增强的不均匀性产生的结构噪声、图像传感器产生的电子噪声、光电转换产生的量化噪声、图像压缩和传输系统噪声等有关，而这些模块都属于X光安检机的组成部分，也就是说X光图像噪声与X光机机型有很大的相关性。X光图像中物品占据的像素多少与X光安检机里空间的大小有关，距离物品越远，则物品在成像后占据的像素越少，因此大体积，对应高度较高的X光安检机拍到的视角越大，但同时单个物品占据的像素越少。因此，同类型的物品在X光图像中像素多少能反应不同的X光安检机型号。安检X光图像是伪彩色图像，这种色彩是通过算法合成的，而不同型号的X光安检机采用的色彩合成算法都有差异，因此色彩能反应X光安检机的特点，也就能反应机型的特点。色彩通常用颜色统计直方图表示。

本申请中，考虑到根据X光安检机成像的特点，不同型号的X光安检机采集的X光图像在图像噪声、目标对象像素数量和图像着色特点等方面均有区别。获取待处理的X光图像之后，分别确定噪声特征向量、各个目标对象的像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量。将上述特征向量输入图像分类模型，确定X光图像对应的X光安检机型号。最后基于X光安检机型号对应的物品检测模型，确定X光图像的物品检测结果。本申请获取X光图像，确定出其对应的X光安检机型号，有利于针对来自不同机型的待处理的X光图像选取适配的物品检测模型，基于适配的物品检测模型确定X光图像的物品检测结果，从而提高物品检测的准确性。

为了使确定噪声特征向量更准确，本申请中，所述获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量包括：

获取待处理的X光图像序列，针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的去除噪声后的图像，将所述X光图像与所述去除噪声后的图像进行像素级相减，得到所述X光图像对应的噪声图像；

将所述各个X光图像各自对应的噪声图像的RGB三通道颜色直方图进行累加，得到合成序列直方图，对所述合成序列直方图进行归一化处理得到所述噪声特征向量。

本申请中，电子设备获取待处理的X光图像序列，X光图像序列至少包括1张X光图像，X光图像越少，完成预处理的及时性越优，也就是说确定X光图像对应的X光安检机型号的及时性越优，预计一张X光图像的预处理时间在0.02秒左右，X光图像越多，则确定X光图像序列对应的X光安检机型号的准确率越高，较佳的，X光图像序列包括10张至100张X光图像，当X光图像序列包括多张X光图像时，需要确保多张X光图像来自于同一个X光安检机。具体的，X光图像序列可以是在短时间内连续采集的多张X光图像构成的序列。例如10秒内连续采集15张X光图像作为X光图像序列，并对X光图像序列进行预处理，确定出X光图像序列对应的X光安检机型号。最后将X光图像序列中的各个X光图像分别输入X光安检机型号对应的已训练的物品检测模型，基于物品检测模型确定各个X光图像的物品检测结果。

电子设备获取X光图像序列之后，分别将X光图像序列中的各个X光图像单独输入噪声去除模型，然后得到各个X光图像各自对应的去除噪声后的图像，将各个X光图像与各自对应的去除噪声后的图像进行像素级相减，得到各个X光图像各自对应的噪声图像。针对各个噪声图像，统计该噪声图像的RGB三通道颜色直方图，从而得到各个噪声图像各自的RGB三通道颜色直方图。RGB三通道颜色直方图的横坐标为RGB三通道各通道的像素值，纵坐标为像素值对应的像素点数量。如果X光图像序列中的X光图像为多张，那么得到的噪声图像为多张，多个噪声图像的RGB三通道颜色直方图纵坐标值累加得到合成序列直方图。对合成序列直方图归一化处理，然后根据归一化处理后的直方图获取噪声特征向量。经过归一化处理，将合成序列直方图的坐标值控制在一定的范围内，便于后续图像分类模型基于噪声特征向量完成对X光图像序列所对应的X光安检机型号的判断。

本申请中，获取待处理的X光图像序列，其中包含多张X光图像，然后将各个X光图像各自对应的噪声图像的RGB三通道颜色直方图进行累加，得到合成序列直方图，经过归一化处理后得到最终的噪声特征向量。采用多张X光图像得到的噪声特征向量，能够避免单张X光图像存在的偶然情况带来的噪声特征向量不准确的问题。本申请基于X光图像序列得到的噪声特征向量，能够更准确的体现对应的X光安检机型号采集的X光图像在图像噪声方面的特征。一方面使得确定噪声特征向量更准确，进一步使得确定X光图像对应的X光安检机型号更准确。

本申请中，为了使确定各个目标对象，并统计各个目标对象的像素数量更准确，所述将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量包括：

针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述对象识别模型，基于所述对象识别模型识别所述X光图像中的各个第一候选对象的类型信息、位置信息和识别概率；根据识别概率大于预设的概率阈值的第一候选对象确定目标对象；

根据各个目标对象的位置信息，统计所述各个目标对象的像素数量。

对于获取到的X光图像序列中的各个X光图像，分别将各个X光图像单独输入对象识别模型，本申请将对象识别模型输出的结果称为第一候选对象，具体的，针对各个X光图像，对象识别模型输出该X光图像中的各个第一候选对象的类型信息、位置信息和识别概率。电子设备保存预设的概率阈值，预设的概率阈值例如是0.2、0.3等。本申请筛选出识别概率大于预设的概率阈值的第一候选对象，然后根据筛选出的第一候选对象确定目标对象。可选的，可以直接将筛选出的第一候选对象作为目标对象。

本申请通过预设的概率阈值对各个第一候选对象进行筛选，一方面避免了第一候选对象冗余的问题，另一方面根据识别概率大于预设的概率阈值的第一候选对象确定目标对象，也可以保证确定的目标对象的准确性。

确定出各个X光图像各自的各个目标对象之后，根据各个目标对象的位置信息，统计各个目标对象的像素数量。较佳的，可以根据各个目标对象的类型信息对各个目标对象进行分类，然后针对每一类的目标对象，统计该类的各个目标对象的像素数量，进而确定出该类的各个目标对象的像素统计特征向量。可选的，统计该类的各个目标对象的像素数量之后，可以根据各个目标对象的像素数量的平均值，确定该类的各个目标对象的像素统计特征向量。

为了进一步使确定目标对象更准确，本申请中，所述根据识别概率大于预设的概率阈值的第一候选对象确定目标对象包括：

将识别概率大于预设的概率阈值的第一候选对象作为第二候选对象；

统计所述各个X光图像中，各个类型信息的第二候选对象的数量，选取大于预设的数量阈值的第二候选对象作为目标对象。

电子设备针对X光图像序列中的各个X光图像，将X光图像输入对象识别模型，基于对象识别模型识别X光图像中的各个第一候选对象的类型信息、位置信息和识别概率之后，首先筛选识别概率大于预设的概率阈值的第一候选对象作为第二候选对象。然后统计各个X光图像中，各个类型信息的第二候选对象的数量。电子设备中保存预设的数量阈值，预设的数量阈值例如是3、4等。选取大于预设的数量阈值的第二候选对象作为目标对象。

例如，预设的数量阈值为3，确定出的第二候选对象包括水杯、雨伞、笔记本电脑和眼镜。X光图像序列中的X光图像为10张，10张X光图像中有5张出现过水杯，6张出现过雨伞，7张出现过笔记本电脑，1张出现过眼镜。水杯、雨伞和笔记本电脑的数量大于雨伞的数量阈值，眼镜的数量小于预设的数量阈值，则将各个水杯、雨伞和笔记本电脑作为目标对象。

本申请中，确定出各个目标对象之后，按照目标对象的类型统计每类的各个目标对象的像素数量，进而确定出该类的各个目标对象的像素分布概率。图4至图6分别为本申请提供的水杯、雨伞和笔记本电脑的像素分布概率示意图，如图4所示，统计出水杯的像素分布概率为0-3000像素数量的占比为15％，3000-6000像素数量的占比为74％，6000-9000像素数量的占比为8％，9000-15000像素数量的占比为3％。雨伞的像素分布概率为0-3000像素数量的占比为80％，3000-6000像素数量的占比为14％，6000-9000像素数量的占比为0，9000-15000像素数量的占比为6％。笔记本电脑的像素分布概率为0-8000像素数量的占比为8％，8000-10000像素数量的占比为40％，10000-13000像素数量的占比为52％。根据各类别的各个目标对象的像素分布概率获取像素统计特征向量。

本申请中，电子设备获取到X光图像序列之后，可以通过以下两种方式得到红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，进而输入到图像分类模型，下面分别得这两种方式进行说明。

方式一、所述分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量包括：

分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将所述各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量均作为所述图像分类模型的输入。

在方式一中，对于X光图像序列中的各个X光图像，分别确定各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量。例如X光图像序列中包含10张X光图像，则可以得到10个红色像素统计特征向量、10个绿色像素统计特征向量和10个蓝色像素统计特征向量。考虑到各个X光图像均能体现X光安检机型号的着色特点，因此可以将各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量均作为所述图像分类模型的输入。还以上述举例，可以将10个红色像素统计特征向量、10个绿色像素统计特征向量和10个蓝色像素统计特征向量均作为所述图像分类模型的输入。需要说明的是，各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量仅是图像分类模型的部分输入，其输入还包括噪声特征向量和像素统计特征向量。

需要说明的是，若将各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量均作为图像分类模型的输入，那么图像分类模型在训练时，也是将各个样本X光图像的样本红色像素统计特征向量、样本绿色像素统计特征向量和样本蓝色像素统计特征向量均作为输入进行训练的。

方式二、所述分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量包括：

分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将各个红色像素统计特征向量进行累加，将各个绿色像素统计特征向量进行累加，将各个蓝色像素统计特征向量进行累加，将累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量作为所述图像分类模型的输入。

本申请中，分别确定X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量之后，将各个红色像素统计特征向量进行累加，得到累加后的红色像素统计特征向量。将各个绿色像素统计特征向量进行累加，得到累加后的绿色像素统计特征向量。将各个蓝色像素统计特征向量进行累加，得到累加后的蓝色像素统计特征向量。例如X光图像序列中包含10张X光图像，则可以得到10个红色像素统计特征向量、10个绿色像素统计特征向量和10个蓝色像素统计特征向量。本申请将10个红色像素统计特征向量进行累加，得到累加后的1个红色像素统计特征向量。将10个绿色像素统计特征向量进行累加，得到累加后的1个绿色像素统计特征向量。将10个蓝色像素统计特征向量进行累加，得到累加后的1个蓝色像素统计特征向量。然后将累加后的1个红色像素统计特征向量、1个绿色像素统计特征向量和1个蓝色像素统计特征向量作为图像分类模型的输入。需要说明的是，累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量仅是图像分类模型的部分输入，其输入还包括噪声特征向量和像素统计特征向量。

本申请，将累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量作为图像分类模型的输入，能够避免单张X光图像存在的偶然情况带来的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量不准确的问题。进一步使得确定X光图像对应的X光安检机型号更准确。

需要说明的是，若将累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量作为图像分类模型的输入，那么图像分类模型在训练时，也是将样本X光图像序列中各个样本X光图像的累加样本红色像素统计特征向量、累加样本绿色像素统计特征向量和累加样本蓝色像素统计特征向量作为输入进行训练的。图像分类模型包括支持向量机SVM多分类分类器。

下面对本申请提供的噪声去除模型的结构以及训练过程进行说明。

图7为本申请提供的噪声去除模型结构示意图，所述噪声去除模型包括：卷积层、分离层、滑动窗口层次化变换神经网络Swin Transformer层、残差卷积网络层、合并层、跨步卷积层、卷积激活池化层、第一卷积激活层、卷积激活池化层、卷积层、第二卷积激活层、卷积层上卷积、转置卷积层、分离层、Swin Transformer层、残差卷积网络层、合并层和卷积层；其中，所述第一卷积激活层和第二卷积激活层残差连接，所述跨步卷积层和所述转置卷积层残差连接；

所述噪声去除模型的训练过程包括：

获取第一训练集中的第一样本图像，在所述第一样本图像上添加噪声，得到第二样本图像，将所述第一样本图像和第二样本图像输入噪声去除基础模型，对所述噪声去除基础模型进行训练，得到所述噪声去除模型。

如图7所示，X光图像噪声去除模型采用Swin Transformer层和残差卷积网络层相结合，并将其作为编解码和解码器的核心模块。输入带噪声的X光图像，在编码器端通过卷积层和分离层输入给Swin Transformer层和残差卷积网络层，分离层的作用是将卷积层的结果进行分离并分别输入给Swin Transformer层和残差卷积网络层。经过合并层后通过跨步卷积以及一系列的卷积、线性整流函数ReLU和池化等操作后，在解码端通过卷积层上卷积、卷积、ReLU和转置卷积，以及Swin Transformer和残差卷积网络层，最终得到去噪后的输出图像。合并层的作用是将Swin Transformer层和残差卷积网络层的输出结果进行融合，该融合包括维度拼接、像素级叠加融合或者像素级加权融合等。同时，如图7所示，在编码器和解码器对应的位置上增加残差连接以提高噪声去除模型的表达能力。

噪声去除模型需要无噪声的图像和带噪声的图像对进行训练，本申请将高质量的安检X光图像作为无噪声的图像。高质量的安检X光图像可以是图像分辨率、色彩深度、图像失真等方面满足质量指标的安检X光图像。在第一样本图像上添加高斯噪声、泊松噪声、JPEG压缩导致的噪声以及图像缩放噪声，并调节噪声的强度，得到足够的模型训练样本图像对，最终训练得到噪声去除模型。

本申请中，将高质量的安检X光图像作为第一训练集中的第一样本图像，在第一样本图像上添加噪声，得到第二样本图像，第一样本图像和第二样本图像构成样本图像对。电子设备保存有噪声去除基础模型，噪声去除基础模型的结构与图5所示的噪声去除模型的结构相同，为噪声去除基础模型配置初始权重参数。然后将足够的样本图像对输入噪声去除基础模型，通过对噪声去除基础模型进行迭代训练，得到噪声去除模型。

上述中，高斯噪声，高斯分布，也称正态分布，又称常态分布，记为N(μ，σ^2)，其中μ，σ^2为分布的参数，分别为高斯分布的期望和方差。本申请控制的强度为σ^2，取值范围为1到50。

泊松噪声，公式如下：

通过控制公式中λ的取值来决定噪声的强度，λ取值为[0.1,1]。

JPEG压缩导致的噪声，由压缩图像质量决定噪声的强度，取值范围是[40,95]。

图像缩放噪声，是由图像放大和缩小导致的，本申请将图像缩放比例是[0.5,2]。

足够的模型训练样本图像对需要满足指的是5000x N，其中N是X光安检机型号的数量。

同样的物品，在不同机型的安检X光安检机上扫描出的X光图像上占据的有效像素会不同。因此，需要选择常见的物品作为目标对象进行有效像素的统计分析，本申请选择日常用品作为目标对象，如轨道交通中经常出现的水杯、笔记本电脑、雨伞，快递物流中经常出现的冰袋、书籍，需要说明的是箱包类不属于日常用品，这是因为不同箱包的尺寸差距过大，因为材质布影响到X光图像上导致边界不清，所以像素点数量统计不准确。

下面对本申请提供的对象识别模型的结构和训练过程进行说明。

图8为本申请提供的对象识别模型结构示意图，所述对象识别模型包括：骨干网络Backbone模块、颈部网络Neck模块和检测头网络Head模块；其中，所述Backbone模块包括卷积层标准模块、扩展聚合网络模块和池化卷积模块；所述卷积层标准模块包括卷积层、批标准化Batch Normalization层和激活层；所述扩展聚合网络模块包括通道注意力模块和空间注意力模块；所述池化卷积模块包括池化层和卷积层，所述池化层和卷积层通过拼接模块对特征进行组合；

所述对象识别模型的训练过程包括：

获取第二训练集中的待识别样本图像和对应的第一标注图像，其中，所述第一标注图像中标注有各个样本对象的类型信息和位置信息；将所述待识别样本图像和对应的第一标注图像输入对象识别基础模型，对所述对象识别模型进行训练。

如图8所示，对象识别模型是带注意力机制的卷积神经网络，包括Backbone模块、Neck模块和Head模块，最终输出X光图像中的目标对象的类型信息、识别概率和位置信息。其中，Backbone模块由卷积层标准模块、扩展聚合网络模块、池化卷积模块组成，卷积层标准模块又由卷积层、Batch Normalization层、激活层组成，不同的卷积层标准模块可由不同大小的卷积核组成，并形成不同的网络长度；扩展聚合网络模块由多个不同的卷积层标准模块通过串联和并联以及拼接的方式组成；池化卷积模块由池化层和卷积层组成，并通过拼接模块对特征进行组合。在扩展聚合网络模块中，如图9所示，输入特征经过通道注意力模块和空间注意力模块，对特征进行注意力加权，形成带有注意力机制的特征。Neck模块采用特征金字塔网络FPN(feature pyramid networks)和像素聚合网络PAN(PixelAggregation Network)结合的网络架构，将自底而上和自顶而下的特征金字塔进行特征融合，将分类特征和位置特征进行融合，使对象识别模型具有更丰富的特征和表达能力。Head模块采用辅助头(Auxiliary Head)进行训练，并将辅助头和检测头的损失进行融合，在正负训练样本分配上，通过放宽正样本在分配过程中的约束以获取更多正样本用于训练的概率。

颜色是安检X光图像物品的重要特征，铜、铁等无机物通常显示蓝色，发胶、打火机气等通常显示绿色，饮料、水果等有机物通常显示橙色或者偏红色。但是安检X光图像本质上是伪彩色图像，也就是通过着色算法人工合成的颜色，因此，不同的着色方案表现出不同机型的特点。本申请通过对安检X光图像的颜色统计，利用红色、绿色、蓝色等颜色的偏色不同来区分不同的机型。颜色直方图可以反映图像颜色的概率分布，是图像颜色全局特征，本申请通过在安检X光图像的红色通道、绿色通道、蓝色通道上进行直方图统计，得到红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将这三组向量作为颜色特征向量。

本申请构建SVM多类别分类器作为图像分类模型，在任意两个子类之间设计单个SVM分类器，然后在分类时通过所有子类SVM分类器进行投票，投票最多的类别即为最终的分类结果。将噪声特征向量、像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量输入到SVM多类别分类器，最终判定出X光图像序列所对应的机型，并根据机型索引相应的物品检测模型，以实现模型自适应的安检X光图像物品检测。

图10为本申请提供的基于X光图像的物品检测框架图，如图8所示，输入X光图像序列，X光图像序列经过噪声去除模型，得到去除噪声后的图像，通过像素级相减，得到噪声图像，进而根据噪声图像确定噪声特征向量。X光图像序列经过对象识别模型，得到像素统计特征向量。X光图像序列经过红色颜色统计模型，得到红色像素统计特征向量。X光图像序列经过绿色颜色统计模型，得到绿色像素统计特征向量。X光图像序列经过蓝色颜色统计模型，得到蓝色像素统计特征向量。将噪声特征向量、像素统计特征向量、红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量输入SVM多类别分类器，最终判定出X光图像序列所对应的X光安检机型号。

本申请先训练噪声去除模型，在噪声去除模型训练完成后，再训练SVM多类别分类器。训练SVM多类别分类器时，每种机型采集一定数量的X光图像序列，一般大于两千张X光图像，并且在概率统计下，这些训练的X光图像序列覆盖目标对象类别。

图11为本申请提供的基于X光图像的物品检测装置结构示意图，该装置包括：

第一确定模块111，用于获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量；

第二确定模块112，用于将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量；

第三确定模块113，用于分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量；

第四确定模块114，用于将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号；

检测模块115，用于将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

第一确定模块111，具体用于获取待处理的X光图像序列，针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的去除噪声后的图像，将所述X光图像与所述去除噪声后的图像进行像素级相减，得到所述X光图像对应的噪声图像；将所述各个X光图像各自对应的噪声图像的RGB三通道颜色直方图进行累加，得到合成序列直方图，对所述合成序列直方图进行归一化处理得到所述噪声特征向量。

第二确定模块112，具体用于针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述对象识别模型，基于所述对象识别模型识别所述X光图像中的各个第一候选对象的类型信息、位置信息和识别概率；根据识别概率大于预设的概率阈值的第一候选对象确定目标对象；根据各个目标对象的位置信息，统计所述各个目标对象的像素数量。

第二确定模块112，具体用于将识别概率大于预设的概率阈值的第一候选对象作为第二候选对象；统计所述各个X光图像中，各个类型信息的第二候选对象的数量，选取大于预设的数量阈值的第二候选对象作为目标对象。

第三确定模块113，具体用于分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将所述各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量均作为所述图像分类模型的输入。

第三确定模块113，具体用于分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将各个红色像素统计特征向量进行累加，将各个绿色像素统计特征向量进行累加，将各个蓝色像素统计特征向量进行累加，将累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量作为所述图像分类模型的输入。

装置还包括：

噪声去除模型训练模块116，用于获取第一训练集中的第一样本图像，在所述第一样本图像上添加噪声，得到第二样本图像，将所述第一样本图像和第二样本图像输入噪声去除基础模型，对所述噪声去除基础模型进行训练，得到所述噪声去除模型。

装置还包括：

对象识别模型训练模块117，用于获取第二训练集中的待识别样本图像和对应的第一标注图像，其中，所述第一标注图像中标注有各个样本对象的类型信息和位置信息；将所述待识别样本图像和对应的第一标注图像输入对象识别基础模型，对所述对象识别模型进行训练。

本申请还提供了一种电子设备，如图12所示，包括：处理器121、通信接口122、存储器123和通信总线124，其中，处理器121，通信接口122，存储器123通过通信总线124完成相互间的通信；

所述存储器123中存储有计算机程序，当所述程序被所述处理器121执行时，使得所述处理器121执行以上任一方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口122用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

本申请还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于X光图像的物品检测方法，其特征在于，所述方法包括：

获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量；

将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量；

分别获取所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量；

将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号；

将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

2.如权利要求1所述的方法，其特征在于，所述获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量包括：

获取待处理的X光图像序列，针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的去除噪声后的图像，将所述X光图像与所述去除噪声后的图像进行像素级相减，得到所述X光图像对应的噪声图像；

将所述各个X光图像各自对应的噪声图像的RGB三通道颜色直方图进行累加，得到合成序列直方图，对所述合成序列直方图进行归一化处理得到所述噪声特征向量。

3.如权利要求2所述的方法，其特征在于，所述将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量包括：

针对所述X光图像序列中的各个X光图像，将所述X光图像输入所述对象识别模型，基于所述对象识别模型识别所述X光图像中的各个第一候选对象的类型信息、位置信息和识别概率；根据识别概率大于预设的概率阈值的第一候选对象确定目标对象；

根据各个目标对象的位置信息，统计所述各个目标对象的像素数量。

4.如权利要求3所述的方法，其特征在于，所述根据识别概率大于预设的概率阈值的第一候选对象确定目标对象包括：

将识别概率大于预设的概率阈值的第一候选对象作为第二候选对象；

统计所述各个X光图像中，各个类型信息的第二候选对象的数量，选取大于预设的数量阈值的第二候选对象作为目标对象。

5.如权利要求2所述的方法，其特征在于，所述分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量包括：

分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将所述各个X光图像各自的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量均作为所述图像分类模型的输入。

6.如权利要求2所述的方法，其特征在于，所述分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量包括：

分别确定所述X光图像序列中的各个X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量，将各个红色像素统计特征向量进行累加，将各个绿色像素统计特征向量进行累加，将各个蓝色像素统计特征向量进行累加，将累加得到的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量作为所述图像分类模型的输入。

7.如权利要求1所述的方法，其特征在于，所述噪声去除模型包括：卷积层、分离层、Swin Transformer层、残差卷积网络层、合并层、跨步卷积层、卷积激活池化层、第一卷积激活层、卷积激活池化层、卷积层、第二卷积激活层、卷积层上卷积、转置卷积层、分离层、SwinTransformer层、残差卷积网络层、合并层和卷积层；其中，所述第一卷积激活层和第二卷积激活层残差连接，所述跨步卷积层和所述转置卷积层残差连接；

所述噪声去除模型的训练过程包括：

获取第一训练集中的第一样本图像，在所述第一样本图像上添加噪声，得到第二样本图像，将所述第一样本图像和第二样本图像输入噪声去除基础模型，对所述噪声去除基础模型进行训练，得到所述噪声去除模型。

8.如权利要求3所述的方法，其特征在于，所述对象识别模型包括：Backbone模块、Neck模块和Head模块；其中，所述Backbone模块包括卷积层标准模块、扩展聚合网络模块和池化卷积模块；所述卷积层标准模块包括卷积层、Batch Normalization层和激活层；所述扩展聚合网络模块包括通道注意力模块和空间注意力模块；所述池化卷积模块包括池化层和卷积层，所述池化层和卷积层通过拼接模块对特征进行组合；

所述对象识别模型的训练过程包括：

获取第二训练集中的待识别样本图像和对应的第一标注图像，其中，所述第一标注图像中标注有各个样本对象的类型信息和位置信息；将所述待识别样本图像和对应的第一标注图像输入对象识别基础模型，对所述对象识别模型进行训练。

9.一种基于X光图像的物品检测装置，其特征在于，所述装置包括：

第一确定模块，用于获取待处理的X光图像，将所述X光图像输入已训练的噪声去除模型，基于所述噪声去除模型确定所述X光图像对应的噪声图像，根据所述噪声图像确定噪声特征向量；

第二确定模块，用于将所述X光图像输入已训练的对象识别模型，基于所述对象识别模型识别所述X光图像中的各个目标对象，并统计所述各个目标对象的像素数量，根据所述各个目标对象的像素数量确定像素统计特征向量；

第三确定模块，用于分别确定所述X光图像的红色像素统计特征向量、绿色像素统计特征向量和蓝色像素统计特征向量；

第四确定模块，用于将所述噪声特征向量、所述像素统计特征向量、所述红色像素统计特征向量、所述绿色像素统计特征向量和所述蓝色像素统计特征向量输入已训练的图像分类模型，基于所述图像分类模型确定所述X光图像对应的X光安检机型号；

检测模块，用于将所述X光图像输入所述X光安检机型号对应的已训练的物品检测模型，基于所述物品检测模型确定所述X光图像的物品检测结果。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的方法步骤。

Images