CN114332543B - 一种多模板的安检图像识别方法、设备及介质 - Google Patents

Abstract

本发明公开了一种多模板的安检图像识别方法、电子设备及介质，包括：S1、接收X光机发送的待识别图像；S2、将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；S3、将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像；S4、将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；S5、将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。本发明通过针对待识别图像a0进行三种处理，减少各种物品在X光机上颜色差异导致的识别错误，提高判断各种待识别物品的准确率，从而减少训练的强度和难度。

Description

一种多模板的安检图像识别方法、设备及介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种多模板的安检图像识别方法、设备及介质。

背景技术

安检X光机利用X射线来穿透物品，因为物品的密度不一样，所以会得到不同的反射数据，安检X光机通过反射数据进行处理后成像，成像后的颜色分为橙色、绿色和蓝色。现有技术中，安检X光机的违禁品智能识别过程中，对成像后的颜色依赖度很大，由于安检X光机的性能不同和物品的材质不同，对同一类的物品成像颜色可能会存在偏差，从而会影响违禁品的智能识别，为了解决这种情况，我们需要增加更多场景的训练样本，以消除安检图像中的颜色差异，从而导致训练强度和难度的增加。

发明内容

本发明的目的在于提供一种多模板的安检图像识别方法、设备及介质，针对待识别图像a0进行三种处理，分别是BGR图像转变成RGB图像，BGR图像转变成GBR图像，BGR图像转变成灰度图像。BGR图像转变成RGB图像是为了让图像中蓝色变成橙色，橙色变成蓝色；BGR图像转变成GBR图像是为了让图像中的绿色变成蓝色，蓝色变成绿色；BGR图像转变成灰度图像是为了去除颜色，直接从物品轮廓进行判断，从而减少训练的强度和难度。用以解决不同安检机对同种物体的不同成色而造成的识图影响问题。

一种多模板的安检图像识别方法，具体包括以下步骤：

S1、接收X光机发送的待识别图像；

S2、将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；

S3、将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像；

S4、将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；

S5、将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。

进一步地，所述待识别图像为BGR图像a0，所述颜色转换具体包括以下步骤：

S001、将所述BGR图像a0转换为RGB图像，获得RGB图像a1；

S002、将所述BGR图像a0转换为GBR图像，获得GBR图像a2；

S303、将所述BGR图像a0转换为灰度图像，获得灰度图像a3。

进一步地，所述拼接处理为：将所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3进行水平拼接和/或上下拼接，得到拼接图像P，所述水平拼接为将所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3沿水平线方向直接拼接；所述上下拼接为将所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3沿垂直线方向直接拼接。

进一步地，所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3进行水平拼接和上下拼接，得到拼接图像P，具体包括以下步骤：

Sa：将述BGR图像a0、RGB图像a1进行水平拼接获得第一水平拼接图像P1；

Sb：将述BGR图像a2、RGB图像a3进行水平拼接获得第二水平拼接图像P2；

Sc：将述第一水平拼接图像P1、第二水平拼接图像P2进行上下拼接获得拼接图像P，即

进一步地，所述步骤S4具体包括以下步骤：

根据携带多个分类标签框的预识别图像以BGR图像a0的大小为基准进行图像分割，获得携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3；

将所述携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3进行图片融合，获得携带多个分类标签框的融合图片。

进一步地，所述步骤S4具体包括以下步骤：

根据携带多个分类标签框的预识别图像以待识别图像的大小为基准进行图像分割，获得携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3；

根据所述携带多个分类标签框的RGB图像a1获取每一个分类标签框a1i及其对应的坐标区域d1i,i＝0,1,…,n1，所述n1为RGB图像中分类标签框的总数；

将所述每一个分类标签框a1i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d1i对应的位置；

根据所述携带多个分类标签框的GBR图像a2获取每一个分类标签框a2i及其对应的坐标区域d2i,i＝0,1,…,n2，所述n2为GBR图像中分类标签框的总数；

将所述每一个分类标签框a2i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d2i对应的位置；

根据所述携带多个分类标签框的灰度图像a3获取每一个分类标签框a3i及其对应的坐标区域d3i,i＝0,1,…,n3，所述n3为灰度图像中分类标签框的总数；

将所述每一个分类标签框a3i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d3i对应的位置。

进一步地，所述预先训练的识别模型通过以下步骤获得：

获取训练图像；

对所述训练图像中的物品进行标注获得被预设的分类标签框标注的训练图像；

基于所述训练图像和所述训练图像中预设的分类标签框，对所述识别模型进行训练，得到所述预先训练的识别模型。

进一步地，所述分类标签框包括标签框、分类名称及置信度，所述步骤S5具体包括以下步骤：

根据所述携带多个分类标签框的融合图片，获得每一类的分类标签框；

对于同一类的分类标签框按照置信度由大到小的顺序进行排序；以及

在同一类的分类标签框中，从置信度最大的分类标签框开始依次遍历，使其与所有比其置信度小的分类标签框进行重合程度计算，若所述重合程度大于预设阈值，则直接删除分数低的分类标签框，直到遍历完同一类中的所有分类标签框，所述重合程度O为置信度大的分类标签框A与置信度大的分类标签框B的面积交并比，即

一种多模板的安检图像识别设备，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的一种多模板的安检图像识别方法，所述一个或多个程序包括：

采集模块，用于接收X光机发送的待识别图像；

拼接模块，用于将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；

预识别模块，用于将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像，所述分类标签框包括标签框、分类名称及置信度；

融合模块，用于将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；

非极大值抑制模块，用于将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种多模板的安检图像识别方法。

本发明具有的有益效果：

1、针对同一类的物品成像颜色可能会存在偏差，以及不同安检机智能识别的性能差异，从而影响违禁品的智能识别，因此针对待识别图像a0进行三种处理，分别是BGR图像--RGB图像，BGR图像--GBR图像，BGR图像--灰度图像。BGR图像转变成RGB图像是为了让图像中蓝色变成橙色，橙色变成蓝色；BGR图像转变成GBR图像是为了让图像中的绿色变成蓝色，蓝色变成绿色；BGR图像转变成灰度图像是为了去除颜色，直接从物品轮廓进行判断，从而减少训练的强度和难度；

2、通过转换拼接，获得消除颜色影响的两倍大的拼接图像P，将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像，对所述携带多个分类标签框的预识别图像进行分割融合，获得原始大小的携带多个分类标签框的融合图片，通过非极大值抑制去除置信度低的分类标签框，从而消除多余的候选框，找到最佳的物体检测位置，获得识别图像。

附图说明

图1为本发明的多模板的安检图像识别方法流程示意图；

图2为本发明的多模板的安检图像识别设备结构示意图；

图3为本发明的多模板的安检图像识别方法示意图；

图4为本发明的预识别图像示意图；

图5为本发明的重合程度O示意图；

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖向”、“纵向”、“侧向”、“水平”、“内”、“外”、“前”、“后”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“开有”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

现有技术中物品在X光机上的颜色主要是根据组成物品的化学成份来定义的，通常定义有机物品显示为橙色(或黄色)，无机物表示为蓝色，混合物表示为绿色。具体分为以下几种情况：

有机物：

x光安检机中的有机物，在这一组中，通常常共有的元素为氢、碳、氮、和氧。不管化学链如何，只要某物质的主要构成是这一组的任何元素，它就被显示为有机物的颜色橙色或黄色。如：炸药、药物、塑料、纸、布、木材、液体、和纸等。

混合物：

x光安检机中的图像中的绿色表示：有机物和无机物重叠，若混合物的主要成份为有机物，则图像呈淡绿色，反之则呈绿色。

无机物：

x光安检机中的无机物，显示为蓝色，密度小的无机物呈浅

蓝色，密度较大的无机物呈深蓝色。如大多数的金属、铁、铜、锌、镍、钢、等等。

过厚或密度过大的物体由于不能被X射线穿透，均显示为红色。这对操作员是一个警告信号。(如：铅板、大量黄金、较厚的印刷品等)。

以上是对x光安检机中的各种颜色所表示物品的定义，在实际工作中因为各种物品显示的颜色还与该物品的厚度有关，如：常见的裁纸刀是金属钢制成的应当显示的是蓝色但实际上它显示的却是浅绿色，又如铝属于金属但它显示的颜色却是浅绿色。因此本发明提供一种一种多模板的安检图像识别方法、设备及介质，消除X光图像中物体的颜色差异，减少各种物品在X光机上颜色差异导致的识别错误，从而准确的判断各种待识别物品，提高安检X光机识图的准确率。

实施例1

获取待识别的BGR图像，BGR图像的宽为w，高为h，对应的图像矩阵a0，大小为w*h。

对图像矩阵a0进行三种处理，分别是BGR图像转变成RGB图像，BGR图像转变成GBR图像，BGR图像转变成灰度图像。BGR图像转变成RGB图像是为了让图像中蓝色变成橙色，橙色变成蓝色；BGR图像转变成GBR图像是为了让图像中的绿色变成蓝色，蓝色变成绿色；BGR图像转变成灰度图像是为了去除颜色，直接从物品轮廓进行判断。

分别记以上3种的变换如下：

BGR图像转变成RGB图像后得到的图像矩阵记为a1，大小为w*h；

BGR图像转变成GBR图像后得到的图像矩阵记为a2，大小为w*h；

BGR图像转变成灰度图像后得到的图像矩阵记为a3，大小为w*h；

把原始图像矩阵a0和经过变换后得到的矩阵a1，a2，a3进行直接拼接，得到新的待识别图像矩阵P：

图像矩阵P的大小为2w*2h。

将图像矩阵P输入识别模型进行识别。

二、识别结果分析

因为图像矩阵P是由待识别图像矩阵a0及其三种变化后的图像矩阵组成，分析识别模型的预识别图像，对其中任意一个分类标签框进行处理：

提取识别结果中的分类标签框i，分类标签框i的左上顶点记为

识别框的右下顶点记为

对分类标签框i中的坐标做处理，对任意一个违禁品识别框i坐标信息为

其中

是分类标签框i的左上顶点坐标信息，

是分类标签框i的右下角顶点坐标信息。对上述坐标

进行坐标变换，获得分类标签框i的坐标信息为

新坐标的信息对应如下：

刷新新坐标

对应的像素信息

其中

为坐标点

的像素信息，

为原坐标点

的像素信息。

刷新新坐标

对应的像素信息

其中

为坐标点

的像素信息，

为原坐标点

的像素信息。

每进行依次坐标变换，刷新变换后的坐标点的像素信息。

对所有分类标签框的坐标信息进行处理后，违禁品识别框就全部转换到了w*h的矩阵中，然后通过非极大值抑制的算法，对同个目标识别的多个框进行筛选和综合。

输出最后的识别结果。

实施例2

一种多模板的安检图像识别方法，具体包括以下步骤：

S1、接收X光机发送的待识别图像；

S2、将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；

具体的，所述待识别图像为BGR图像a0，所述步骤S2具体包括以下步骤：

S001、将所述BGR图像转换为RGB图像，获得RGB图像a1；

S002、将所述BGR图像转换为GBR图像，获得GBR图像a2；

S303、将所述BGR图像转换为灰度图像，获得灰度图像a3；

S304、将所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3进行水平拼接和上下拼接，得到拼接图像P，具体包括以下步骤：

Sa：将述BGR图像a0、RGB图像a1进行水平拼接获得第一水平拼接图像P1；

Sb：将述BGR图像a2、RGB图像a3进行水平拼接获得第二水平拼接图像P2；

Sc：将述第一水平拼接图像P1、第二水平拼接图像P2进行上下拼接获得拼接图像P，即

S3、将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像，所述分类标签框包括标签框、分类名称及置信度。

具体的，所述预先训练的识别模型通过以下步骤获得：

获取训练图像；

对所述训练图像中的物品进行标注获得被预设的分类标签框标注的训练图像；

基于所述训练图像和所述训练图像中预设的分类标签框，对所述识别模型进行训练，得到所述预先训练的识别模型。

S4、将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；

具体的，步骤S4具体包括以下步骤：

根据携带多个分类标签框的预识别图像以待识别图像的大小为基准进行图像分割，获得携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3；

根据所述携带多个分类标签框的RGB图像a1获取每一个分类标签框a1i及其对应的坐标区域d1i,i＝0,1,…,n1，所述n1为RGB图像中分类标签框的总数；

将所述每一个分类标签框a1i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d1i对应的位置；

根据所述携带多个分类标签框的GBR图像a2获取每一个分类标签框a2i及其对应的坐标区域d2i,i＝0,1,…,n2，所述n2为GBR图像中分类标签框的总数；

将所述每一个分类标签框a2i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d2i对应的位置；

根据所述携带多个分类标签框的灰度图像a3获取每一个分类标签框a3i及其对应的坐标区域d3i,i＝0,1,…,n3，所述n3为灰度图像中分类标签框的总数；

将所述每一个分类标签框a3i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d3i对应的位置。

S5、将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。

具体的，根据权利要求1所述的一种多模板的安检图像识别方法，其特征在于，所述步骤S5具体包括以下步骤：

根据所述携带多个分类标签框的融合图片，获得每一类的分类标签框；

对于同一类的分类标签框按照置信度由大到小的顺序进行排序；以及

在同一类的分类标签框中，从置信度最大的分类标签框开始依次遍历，使其与所有比其置信度小的分类标签框进行重合程度计算，若所述重合程度大于预设阈值，则直接删除分数低的分类标签框，直到遍历完同一类中的所有分类标签框，所述重合程度O为置信度大的分类标签框A与置信度大的分类标签框B的面积交并比，即

实施例3

一种多模板的安检图像识别设备，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的一种多模板的安检图像识别方法，所述一个或多个程序包括：

采集模块，用于接收X光机发送的待识别图像；

拼接模块，用于将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；

预识别模块，用于将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像，所述分类标签框包括标签框、分类名称及置信度；

融合模块，用于将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；

非极大值抑制模块，用于将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。

实施例4，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种多模板的安检图像识别方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (5)

1.一种多模板的安检图像识别方法，其特征在于，具体包括以下步骤：

S1、接收X光机发送的待识别图像；

S2、将所述待识别图像进行颜色转换获得图像集，并基于所述图像集中的图像进行拼接处理，获得拼接图像P；

所述待识别图像为BGR图像a0，所述颜色转换具体包括以下步骤：

S001、将所述BGR图像a0转换为RGB图像，获得RGB图像a1；

S002、将所述BGR图像a0转换为GBR图像，获得GBR图像a2；

S303、将所述BGR图像a0转换为灰度图像，获得灰度图像a3；

所述BGR图像a0、RGB图像a1、GBR图像a2、灰度图像a3进行水平拼接和上下拼接，得到拼接图像P，具体包括以下步骤：

Sa：将所述BGR图像a0、RGB图像a1进行水平拼接获得第一水平拼接图像P1；

Sb：将所述GBR图像a2、灰度图像a3进行水平拼接获得第二水平拼接图像P2；

Sc：将所述第一水平拼接图像P1、第二水平拼接图像P2进行上下拼接获得拼接图像P，即

；

S3、将所述拼接图像P输入预先训练的识别模型获得携带多个分类标签框的预识别图像，所述分类标签框包括标签框、分类名称及置信度；

S4、将所述携带多个分类标签框的预识别图像进行分割融合获得携带多个分类标签框的融合图片；

步骤S4具体包括以下步骤：

根据携带多个分类标签框的预识别图像以BGR图像a0的大小为基准进行图像分割，获得携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3；

将所述携带多个分类标签框的BGR图像a0、携带多个分类标签框的RGB图像a1、携带多个分类标签框的GBR图像a2、携带多个分类标签框的灰度图像a3进行图片融合，获得携带多个分类标签框的融合图片；

S5、将所述携带多个分类标签框的融合图片进行非极大值抑制处理获得识别图像。

2.根据权利要求1所述的一种多模板的安检图像识别方法，其特征在于，图片融合的具体包括以下步骤：

根据所述携带多个分类标签框的RGB图像a1获取每一个分类标签框a1i及其对应的坐标区域d1i,i=0,1,…,n1，所述n1为RGB图像中分类标签框的总数；

将所述每一个分类标签框a1i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d1i对应的位置；

根据所述携带多个分类标签框的GBR图像a2获取每一个分类标签框a2i及其对应的坐标区域d2i,i=0,1,…,n2，所述n2为GBR图像中分类标签框的总数；

将所述每一个分类标签框a2i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d2i对应的位置；

根据所述携带多个分类标签框的灰度图像a3获取每一个分类标签框a3i及其对应的坐标区域d3i,i=0,1,…,n3，所述n3为灰度图像中分类标签框的总数；

将所述每一个分类标签框a3i融合到携带多个分类标签框的BGR图像a0中与所述坐标区域d3i对应的位置。

3.根据权利要求1所述的一种多模板的安检图像识别方法，其特征在于，所述预先训练的识别模型通过以下步骤获得：

获取训练图像；

对所述训练图像中的物品进行标注获得被预设的分类标签框标注的训练图像；

基于所述训练图像和所述训练图像中预设的分类标签框，对所述识别模型进行训练，得到所述预先训练的识别模型。

4.根据权利要求1所述的一种多模板的安检图像识别方法，其特征在于，所述步骤S5具体包括以下步骤：

根据所述携带多个分类标签框的融合图片，获得每一类的分类标签框；

对于同一类的分类标签框按照置信度由大到小的顺序进行排序；以及

在同一类的分类标签框中，从置信度最大的分类标签框开始依次遍历，使其与所有比其置信度小的分类标签框进行重合程度计算，若所述重合程度大于预设阈值，则直接删除分数低的分类标签框，直到遍历完同一类中的所有分类标签框，所述重合程度O为置信度大的分类标签框A与置信度大的分类标签框B的面积交并比，即

。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

所述计算机程序被处理器执行时能实现根据权利要求1至4中任意一项所述的一种多模板的安检图像识别方法。

Images