CN110909604B - 安检图像检测方法、终端设备、计算机存储介质 - Google Patents

Abstract

本申请提供了一种安检图像检测方法、终端设备以及计算机存储介质，安检图像检测方法包括：获取被检测人体的安检图像，并识别安检图像中的人体部位；基于人体部位，在安检图像中形成多个候选框；提取每个候选框内的图像特征；基于图像特征，将被检测人体身上的物品进行分类。本申请的安检图像检测方法通过在识别出人体部位的安检图像上设置候选框，获取候选框中的图像特征，从而将被检测人体身上所携带的物品进行分类，减少安检图像中不必要的候选框，有效地提高了安检速率。

Description

安检图像检测方法、终端设备、计算机存储介质

技术领域

本申请涉及安检技术领域，特别是涉及一种安检图像检测方法、终端设备、计算机存储介质。

背景技术

目前的安检检测方法中，在检测出的安检图像上设置覆盖整个安检图像的候选框，对遍布安检图像的每个候选框进行图像特征识别，从而检测候选框中是否携带危险物品。

但是现有的检测方法由于需要在整个安检图像中随机生成候选框，如图1所示，生成的候选框数量庞大，造成后续的特征提取以及识别的任务过重，影响图像检测的效率。

发明内容

本申请提供了一种安检图像检测方法、终端设备、计算机存储介质，主要解决的技术问题是如何解决安检图像中候选框生成过多，识别效率低的问题。

为解决上述技术问题，本申请提供了一种安检图像检测方法，所述安检图像检测方法包括：

获取被检测人体的安检图像，并识别所述安检图像中的人体部位；

基于所述人体部位，在所述安检图像中形成多个候选框；

提取每个所述候选框内的图像特征；

基于所述图像特征，将所述被检测人体身上的物品进行分类。

为解决上述技术问题，本申请还提供了一种终端设备，所述终端设备包括获取模块、处理模块、分类模块，其中，所述获取模块、所述分类模块与所述处理模块耦接；

所述获取模块，用于获取被检测人体的安检图像，并识别所述安检图像中的人体部位；

所述处理模块，用于基于所述人体部位，在所述安检图像中形成多个候选框；

所述处理模块，还用于提取每个所述候选框内的图像特征；

所述分类模块，用于基于所述图像特征，将所述被检测人体身上的物品进行分类。

为解决上述技术问题，本申请还提供了另一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的安检图像检测方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的安检图像检测方法。

与现有技术相比，本申请的有益效果是：获取被检测人体的安检图像，并识别所述安检图像中的人体部位，基于所述人体部位，在所述安检图像中形成多个候选框，提取每个所述候选框内的图像特征，基于所述图像特征，将所述被检测人体身上的物品进行分类。本申请的安检图像检测方法通过在识别出人体部位的安检图像上设置候选框，获取候选框中的图像特征，从而将被检测人体身上所携带的物品进行分类，减少安检图像中不必要的候选框，有效地提高了安检速率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是现有技术的安检图像检测方法中安检图像的候选框分布示意图；

图2是本申请提供的安检图像检测方法中安检图像的候选框分布示意图；

图3是本申请提供的安检图像检测方法第一实施例的流程示意图；

图4是本申请提供的安检图像检测方法第二实施例的流程示意图；

图5是本申请提供的安检图像检测方法第三实施例的流程示意图；

图6是本申请提供的安检图像检测方法第四实施例的流程示意图；

图7是本申请提供的终端设备一实施例的结构示意图；

图8是本申请提供的终端设备另一实施例的结构示意图；

图9是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为解决上述技术问题，本申请提出了一种安检图像检测方法，具体请参阅图2和图3，图2是本申请提供的安检图像检测方法中安检图像的候选框分布示意图，图3是本申请提供的安检图像检测方法第一实施例的流程示意图。本实施例的安检图像检测方法应用于可以实现人体安检的终端设备中，例如人体安检仪控制台。下面以人体安检仪控制台为例，介绍本申请提供的安检图像检测方法，具体如下：

如图3所示，本实施例的安检图像检测方法具体包括以下步骤：

S101：获取被检测人体的安检图像，并识别所述安检图像中的人体部位。

其中，当被检测人体通过安检仪的安全通道时，设置在安检仪内控制台控制安检箱对人体自身发射出的太赫兹辐射进行被动接受。当被检测人体身上存在隐藏物品时，隐藏物品会对人体所发射出的太赫兹辐射存在一定程度的遮挡。这是由于太赫兹辐射对不同物体的穿透能力不同而导致的，所以被检测人体身上携带隐藏物品不同，携带的隐藏物品对人体发射出的太赫兹辐射的遮挡程度也不同。在安检图像上具体表现为：太赫兹在安检图像上会呈现出亮暗程度不同的现象，即人体被携带的隐藏物品遮挡的部位在安检图像中的显示灰度与人体未被携带的隐藏物品遮挡的部位在安检图像中的显示灰度不同。

人体发射的太赫兹辐射到安检仪控制台的安检箱中，从而在安检仪的控制台上生成安检图像，且只对产生太赫兹辐射的人体部位进行灰度不同的呈现，不对人体部位周侧进行灰度呈现。因为人体周围的空气中并不存在其他可以产生太赫兹辐射的物品，所以安检图像中所呈现出的图像中人体部位和环境的差距比较明显，从而容易区分被检测人体和人体部位周侧环境。

S102：基于所述人体部位，在所述安检图像中形成多个候选框。

其中，安检仪的控制台通过S101获得安检图像整个人体部位后，基于该安检图像的整个人体部位，形成多个覆盖整个人体部位的候选框。

具体地，例如，候选框可使用RPN网络(完全卷积网络Fully ConvolutionalNetworks for Semantic Segmentation)进行生成，即在太赫兹安检图像中加入多个原始的候选框，将多个原始的候选框进行平移和收缩，形成多个不同规格的候选框，使多个不同规格的候选框覆盖在人体部位上。

进一步地，上述覆盖人体部位的候选框数量越多越好，提取的有用数据越多，这样有利于后续对覆盖被检测人体的候选框的特征提取。

S103：提取每个所述候选框内的图像特征。

其中，基于S102中所形成的多个规格不同的候选框，安检仪控制台提取每个候选框中的图像特征。

具体地，安检仪的控制台在获取到人体部位信息后，进而形成多个覆盖人体部位的候选框，将安检图像作为输入图像在预设的RPN网络中进行多个卷积的特征训练，卷积的特征训练在覆盖人体部位的多个候选框中进行，提取多个卷积特征训练中的准确覆盖人体部位的携带隐藏物品的卷积或指定卷积的特征作为被待检测人体的图像特征。

S104：基于所述图像特征，将所述被检测人体身上的物品进行分类。

其中，安检仪控制台将S103中所提取的图像特征，输入RPN网络的预设分类器，通过分类器识别后，获取最终的识别结果。该识别结果可以为危险物品或者非危险物品，可以但不限于通过正确或错误的标识，还可以应用不同的图像标识，具体的分类识别方法这里不作限定。

在本实施例中，获取被检测人体的安检图像，并识别安检图像中的人体部位，基于人体部位，在安检图像中形成多个候选框，提取每个候选框内的图像特征，基于图像特征，将被检测人体身上的物品进行分类。本实施例的安检图像检测方法通过在识别出人体部位的安检图像上设置候选框，获取候选框中的图像特征，从而将被检测人体身上所携带的物品进行分类，避免使用过多候选框，减少不必要的候选框中的图像特征提取，有效地提高安检速率。

在另一实施例中，如图4所示，安检仪的控制台通过图3所示实施例中S104基于所述图像特征，将所述被检测人体身上的物品进行分类的步骤，进一步包括：

S201：将每个所述候选框内的图像特征输入预设分类器，以获取每个所述候选框的概率分数。

其中，安检仪的控制台提取候选框中的图像特征，该图像特征可以为被检测人体携带物体的形状或者被检测人体携带物体与被检测人体部位在安检图像上辐射的颜色深浅差异等，图像特征的具体提取方式在本实施例中不作限制。预设分类器是指在安检仪的控制台上预先设置各个部位是否携带危险物品的一个分类标准，例如被检测人体的上衣口袋、裤子口袋以及鞋里是安检人员在安检中容易发现藏匿物品的部位，那么在安检仪的控制台中提前对这几个部位设置分类标准，比如设置百分比、概率分数，将被检测人体携带的物品检测出的概率分数与预先设置的分类标准进行比较。

进一步地，被检测人体各部位的预先设置的分类标准在不同部位的百分比、概率分数是不相同的。例如，被检测人体的上衣口袋、裤子口袋以及鞋里是安检人员在安检中容易发现藏匿物品的部位，那么，这几个部位预先设置百分比、概率分数是偏低的，而安检人员根据多年从业经验验证得出的被检测人体不易携带危险物品的部位的百分比、概率分数是偏高的。

安检仪的控制台从每个候选框中获取的图像特征可以为该被检测人体部位中被携带的危险物品的面积占对应候选框面积的比例，或者被检测人体在安检图像上辐射的灰阶比例等，在本实施例中不作限制。

S202：将多个所述人体部位进行分类，基于所述人体部位携带有危险物品的历史概率将多个所述人体部位分为重点人体部位以及一般人体部位。

其中，获取安检人员基于在安检工作中的工作经验，安检仪的控制台上预先将多个人体部位进行区分，将容易携带危险物品的人体部位分类为重点人体部位，将不易携带危险物品的人体部位分类为一般人体部位。

对应地，控制台基于一般人体部位预先设置有第一预设概率分数，基于重点人体部位预先设置有第二预设概率分数，其中，第一预设概率分数大于第二预设概率分数。

进一步地，将分类所得的一般人体部位的候选框概率分数与安检仪控制台预设在分类器内的预先设置的概率分数进行比较，此时是与第一预设概率分数进行比较。若被检测人体的安检图像中，一般人体部位的候选框中携带危险物品的概率分数大于第一预设概率分数时，可判断该候选框对应的人体部位携带有危险物品。若被检测人体的安检图像中，一般人体部位的候选框中携带危险物品的概率分数小于第一预设概率分数时，可判断该候选框对应的人体部位未携带有危险物品。

S203：当所述重点人体部位的候选框的概率分数大于第二预设概率分数时，判定所述被检测人体在所述候选框内携带有危险物品。

其中，控制台基于S202中根据安检人员的在安检工作中的经验事先预设概率分数，将安检图像中的人体部位分类为重点人体部位和一般人体部位后，提取重点人体部位的候选框的概率分数，将提取的概率分数与预先设置的概率分数进行比较，此时是与第二预设概率分数进行比较。

第一预设概率分数大于第二预设概率分数，即越容易携带危险物品的人体部位应当设置更低的预设概率分数，提高控制台对这部分人体部位的关注度。

本实施例中，将每个候选框内的图像特征输入预设分类器，以获取每个候选框的概率分数，基于人体部位携带有危险物品的历史概率将多个人体部位分为重点人体部位以及一般人体部位，当重点人体部位的候选框的概率分数大于第二预设概率分数时，判定被检测人体在候选框内携带有危险物品。本实施例的安检图像检测方法通过预设分类标准，将安检图像上候选框中检测所得的概率分数与预先依据安检人员从业经验而设置的概率分数进行比较，从而判断被检测人体所携带的危险物品及具体所处的人体部位，使携带危险物品的人体部位具体化，有效的提高了安检人员的检测速率。

基于第一实施例S104的基于所述图像特征，将所述被检测人体身上的物品进行分类的步骤，本实施例提出了另一种具体的方法。具体请参阅图5，图5是本申请提供的安检图像检测方法第三实施例的流程示意图。

如图5所示，本实施例的安检图像检测方法具体包括以下步骤：

S301：将判定携带有所述危险物品的候选框保留，删除其它候选框。

其中，具体的判断是否携带危险物品的方法如上述第一实施例和第二实施例所示，在此不再赘述。在对安检图像人体部位上覆盖的多个候选框进行判断后，依据候选框中获取的概率分数与预先设置的概率分数比较后可分类出各人体部位中是否携带有危险物品的候选框，将判断携带有危险物品的候选框保留在安检图像上，以呈现给安检仪控制台旁的安检人员，将判断未携带危险物品的人体部位所覆盖的候选框进行删除。

S302：在保留的所述候选框上生成对应的所述概率分数。

其中，控制台基于S301中删除覆盖未携带危险物品的人体部位的候选框后，将覆盖携带危险物品的人体部位的候选框在安检仪控制台的安检图像中呈现，并在对应候选框旁边生成携带危险物品的概率分数。

进一步地，控制台还可以基于RPN网络对各人体部位中携带有危险物品的候选框按照各人体部位携带危险物品的概率分数大小进行排序，也可将候选框按照从头到脚的顺序进行排序。

进一步地，对于携带有危险物品的人体部位进行判断后，为了更直观的使安检人员可以从安检仪的控制台中得知对应人体部位携带的具体危险物品，可对保留的候选框中的危险物品进行物品种类的判别。例如，被检测人体穿戴衣物中若隐藏有枪支，安检仪的控制台接收人体太赫兹辐射与被隐藏枪支对人体辐射太赫兹的遮挡，并进行呈现，使安检仪控制台旁的安检人员能够通过安检图像获知枪支的形状。

在本实施例中，将判定携带有危险物品的候选框保留，删除其它候选框，在保留的候选框上生成对应的概率分数，或者，根据概率分数对保留的候选框进行排序，或者，对保留的候选框内的物品形状进行识别，并生成所述物品名称。本实施例在已知保留候选框中携带危险物的情况下，通过对候选框中具体危险物品进行判定识别，以使安检人员能从安检仪的控制台中直观的得知该携带危险物的具体种类，节省了安检的时间，提高了安检的效率。

基于第一实施例S102的基于所述人体部位，在所述安检图像中形成多个候选框的步骤，本实施例提出了另一种具体的方法。具体请参阅图6，图6是本申请提供的安检图像检测方法第四实施例的流程示意图。

S401：将所述人体部位输入预设神经网络，并根据所述预设神经网络的输出值生成多个覆盖所述人体部位的候选框。

其中，预设神经网络是一种根据逻辑规则进行推理的过程，它先将信息化成概念，并用符号表示，例如本申请中的安检人员在安检工作中的经验推理出某些人体部位携带危险物品的概率会更高，预设神经网络会根据安检人员的安检经验将安检人员所想的逻辑转化成安检仪控制台中的概念，通过某种符号进行代替，然后，根据符号运算按串行模式进行逻辑推理，这一过程可以写成串行的指令，比如计算机里面的C语言，让安检仪的控制台进行执行。从而得到覆盖整个人体部位的多个候选框。

S402：根据所述预设神经网络的输出值将多个所述人体部位分为重要人体部位以及普通人体部位。

其中，预设神经网络的输出值是通过在神经网络图中输入安检图像的大小，通过多次卷积及池化得到最后的输出结果值，将输出结果值发送到RPN网络中输出，基于RPN网络中输出的输出值对被检测人体的各部位进行分类，具体分类为重要人体部位以及普通人体部位。

RPN网络第一次出现在世人眼中是在Faster RCNN这个结构中，专门用来提取候选框，运用在RCNN和FAST RCNN等物体检测架构，即把物体检测整个流程融入到一个神经网络中。

S403：在所述重要人体部位所在区域生成第一密度的候选框。

其中，控制台在重要人体部位所在区域采用RPN网络生成第一密度的候选框。重要人体部位覆盖足够多的候选框，以便对覆盖该重要人体部位的候选框进行多次卷积池化时，能够获取更多的特征数据，使特征提取数据更为准确。

S404：在所述普通人体部位所在区域生成第二密度的候选框。

其中，控制台在普通人体部位所在区域采用RPN网络生成第二密度的候选框，第二密度小于上述S403中的第一密度。覆盖普通人体部位的候选框数量少于S403中覆盖重要人体部位的候选框数量。

进一步地，在相同面积的人体部位上，候选框数量的多少即为候选框密度的大小。相同面积内候选框在重要人体部位上的数量较大，即为第一密度数值；相同面积内候选框在一般人体部位上的数量较少，即为第二密度数值。第一密度数值大于第二密度数值的设置使得对重要部位的检测更为精准，避免浪费不必要的安检资源。因为第一密度是对重要人体部位进行的设置，重要人体部位所携带的危险物品的概率更高。

为实现上述实施例的安检图像检测方法，本申请还提出了一种终端设备，具体请参阅图7，图7是本申请提供的终端设备一实施例的结构示意图。

其中，终端设备700包括获取模块71、处理模块72以及分类模块73。获取模块71、分类模块73分别与处理模块72耦接。

其中，获取模块71，用于获取被检测人体的安检图像，并识别所述安检图像中的人体部位。

处理模块72，用于基于所述人体部位，在所述安检图像中形成多个候选框。

处理模块72，还用于提取每个所述候选框内的图像特征。

分类模块73，用于基于所述图像特征，将所述被检测人体身上的物品进行分类。

为实现上述实施例的安检图像检测方法，本申请提出了另一种终端设备，具体请参阅图8，图8是本申请提供的终端设备另一实施例的结构示意图。

终端设备800包括存储器81和处理器82，其中，存储器81和处理器82耦接。

存储器81用于存储程序数据，处理器82用于执行程序数据以实现上述实施例的安检图像检测方法。

在本实施例中，处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器82也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图9所示，计算机存储介质900用于存储程序数据，程序数据在被处理器执行时，用以实现如本申请方法实施例中所述的安检图像检测方法。

本申请安检图像检测方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种安检图像检测方法，其特征在于，所述安检图像检测方法包括：

获取被检测人体的安检图像，并识别所述安检图像中的人体部位，所述安检图像是基于所述被检测人体自身发射的太赫兹辐射生成的，所述人体部位包括重要人体部位和普通人体部位；基于所述人体部位，在所述安检图像中形成多个候选框的步骤，包括：

在所述安检图像的重要人体部位所在区域生成第一密度的候选框；

在所述安检图像的普通人体部位所在区域生成第二密度的候选框，所述第一密度大于所述第二密度；

提取每个所述候选框内的图像特征；

基于所述图像特征，将所述被检测人体身上的物品进行分类的步骤，包括：

将每个所述候选框内的图像特征输入预设分类器，以获取每个所述候选框的概率分数；

当所述普通人体部位所在候选框的概率分数大于第一预设概率分数时，判定所述被检测人体在所述候选框内携带有危险物品；

当所述重要人体部位所在候选框的概率分数大于第二预设概率分数时，判定所述被检测人体在所述候选框内携带有危险物品；

所述第一预设概率分数大于所述第二预设概率分数。

2.根据权利要求1所述的安检图像检测方法，其特征在于，所述基于所述图像特征，将所述被检测人体身上的物品进行分类的步骤之后，包括：

将判定携带有所述危险物品的候选框保留，删除其它候选框。

3.根据权利要求2所述的安检图像检测方法，其特征在于，所述将判定携带有所述危险物品的候选框保留，删除其它候选框的步骤之后，包括：

在保留的所述候选框上生成对应的所述概率分数；

或者，根据所述概率分数对保留的所述候选框进行排序；

或者，对保留的所述候选框内的物品形状进行识别，并生成所述物品名称。

4.根据权利要求1所述的安检图像检测方法，其特征在于，所述基于所述人体部位，在所述安检图像中形成多个候选框的步骤，包括：

将所述人体部位输入预设神经网络，并根据所述预设神经网络的输出值生成多个覆盖所述人体部位的候选框；

其中，所述预设神经网络为区域选取神经网络。

5.根据权利要求4所述的安检图像检测方法，其特征在于，所述根据所述预设神经网络的输出值生成多个覆盖所述人体部位的候选框的步骤，包括：

根据所述预设神经网络的输出值将多个所述人体部位分为重要人体部位以及普通人体部位；

在所述重要人体部位所在区域生成第一密度的候选框；

在所述普通人体部位所在区域生成第二密度的候选框；

其中，所述第一密度大于所述第二密度。

6.一种终端设备，其特征在于，所述终端设备包括获取模块、处理模块、分类模块，其中，所述获取模块、所述分类模块与所述处理模块耦接；

所述获取模块，用于获取被检测人体的安检图像，并识别所述安检图像中的人体部位，所述安检图像是基于所述被检测人体自身发射的太赫兹辐射生成的，所述人体部位包括重要人体部位和普通人体部位；

所述处理模块，用于基于所述人体部位，在所述安检图像中形成多个候选框，包括：在所述安检图像的重要人体部位所在区域生成第一密度的候选框；在所述安检图像的普通人体部位所在区域生成第二密度的候选框，所述第一密度大于所述第二密度；

所述处理模块，还用于提取每个所述候选框内的图像特征；

所述分类模块，用于基于所述图像特征，将所述被检测人体身上的物品进行分类，包括：将每个所述候选框内的图像特征输入预设分类器，以获取每个所述候选框的概率分数；当所述普通人体部位所在候选框的概率分数大于第一预设概率分数时，判定所述被检测人体在所述候选框内携带有危险物品；当所述重要人体部位所在候选框的概率分数大于第二预设概率分数时，判定所述被检测人体在所述候选框内携带有危险物品；所述第一预设概率分数大于所述第二预设概率分数。

7.一种终端设备，其特征在于，所述终端设备包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～5任一项所述的安检图像检测方法。

8.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～5任一项所述的安检图像检测方法。