CN110174711B - 终端设备及其异物检测结果评价方法、计算机存储介质 - Google Patents

Abstract

本申请公开了一种终端设备及其异物检测结果评价方法、计算机存储介质，该异物检测结果评价方法包括：获取至少一个待识别的检测图像以及对应的实际异物参数，其中，检测图像包括毫米波/太赫兹安检仪采集获得的至少一个检测图像；识别待识别的检测图像的异物，并获取识别异物参数；基于实际异物参数以及识别异物参数，计算得到待识别的检测图像的对比结果，对比结果包括检出率和误报率；基于对比结果以及预设策略评价检测结果的准确度。通过上述异物检测结果评价方法，本申请的终端设备能够综合评价不同模型的性能，方便模型之间的比较以及选择一个综合能力较高的模型。

Description

终端设备及其异物检测结果评价方法、计算机存储介质

技术领域

本申请涉及安检应用技术领域，特别是涉及一种终端设备及其异物检测结果评价方法、计算机存储介质。

背景技术

在安检领域中，异物检测模型使用不同的性能指标对模型进行评价往往会有不同的结果，也就是说模型的好坏是相对的。异物检测模型的好坏不仅取决于算法和数据，还决定于任务的需求。因此，在安检仪检测过程中选取一个合理的模型评价指标是非常有必要的。

在科研或者比赛中，异物检测模型的召回率和精确率是常用的衡量指标，但这些评价指标都没有考虑不含待测目标的图片所占的比例。在实际的安检应用中，尤其是对人体携带异物的检测中，携带异物的毕竟是少数，所以需要一种新的方式去评价检测结果。

发明内容

为解决上述问题，本申请提供了一种终端设备及其异物检测结果评价方法、计算机存储介质，能够解决现有技术中的异物检测模型评价指标不全面的问题。

本申请采用的一个技术方案是：提供一种异物检测结果评价方法，所述异物检测结果评价方法包括：获取至少一个待识别的检测图像以及对应的实际异物参数，其中，所述检测图像包括毫米波/太赫兹安检仪采集获得的至少一个检测图像；识别所述待识别的检测图像的异物，并获取识别异物参数；基于所述实际异物参数以及所述识别异物参数，计算得到所述待识别的检测图像的对比结果，所述对比结果包括检出率和误报率；基于所述对比结果以及预设策略评价所述检测结果的准确度。

本申请采用的另一个技术方案是：提供一种终端设备，所述终端设备包括处理器以及与所述处理器耦接的存储器；所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的异物检测结果评价方法。

本申请采用的另一个技术方案是：提供一种计算机存储介质，所述计算机存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于实现如上述的异物检测结果评价方法。

本申请提供的一种异物检测结果评价方法包括：终端设备获取至少一个待识别的检测图像以及对应的实际异物参数，其中，检测图像包括毫米波/太赫兹安检仪采集获得的至少一个检测图像；识别待识别的检测图像的异物，并获取识别异物参数；基于实际异物参数以及识别异物参数，计算得到待识别的检测图像的对比结果，对比结果包括检出率和误报率；基于对比结果以及预设策略评价检测结果的准确度；终端设备通过比较识别待识别的检测图像的异物得到的识别异物参数以及实际异物参数，以获得至少包括检出率和误报率的对比结果，并根据对比结果评价异物检测结果评价模型的好坏。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的异物检测结果评价方法第一实施例的流程示意图；

图2是本申请提供的异物检测结果评价方法第二实施例的流程示意图；

图3是本申请提供的异物检测结果评价方法第三实施例的流程示意图；

图4是本申请提供的终端设备一实施例的结构示意图；

图5是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请提供的异物检测结果评价方法第一实施例的流程示意图。图1的异物检测结果评价方法应用于一种具有处理功能的终端设备，其中，终端设备可以为安检仪或者PC电脑等，还可以为智能手机、笔记本、平板电脑等移动终端。移动终端可以通过无线传输或有线传输等方式获取异物检测结果的相关数据，并通过处理模块执行本申请的异物检测结果评价方法。

本实施例的异物检测结果评价方法具体包括以下步骤：

S101：获取至少一个待识别的检测图像以及对应的实际异物参数。

其中，终端设备通过毫米波/太赫兹安检仪采集获取至少一个待识别的检测图像以及根据工作人员输入的数据获取该检测图像对应的实际异物参数。实际异物参数可以包括：测试者所携带的待识别物品的个数与待识别物品所在的预设位置。当异物实际存在的数量为0时，即说明测试者不携带待识别物品；当异物实际存在的数量不为0时，即说明测试者在至少一个预设部位携带至少一个待识别物品。

在本实施例中，待识别物品可以包括：枪支、金属刀具、陶瓷刀具、粉末爆炸物、液体爆炸物、圆形爆炸物、矩形爆炸物、打火机和生活用品，其中，生活用品可以包括：钥匙、手机、钱包、化妆品。在其它实施例中，待识别物品还可以包括其它，例如药物等，本申请对此不作限定。

S102：识别待识别的检测图像的异物，并获取识别异物参数。

其中，终端设备对待识别的检测图像进行识别，记录并输出识别异物参数。

具体地，终端设备构建人体轮廓图像在垂直方向上的垂直空间分布直方图和在水平方向上的水平空间分布直方图。终端设备根据垂直空间分布直方图、水平空间分布直方图和预设人体比例模型，获取人体的肢体位置；并根据人体轮廓图像中灰度值大于预设灰度阈值且轮廓分明的区域，确定金属类异物的位置，以及根据人体轮廓图像中纹理复杂、轮廓分明的几何图像区域，确定非金属类异物的位置；根据灰度图像中，靠近人体轮廓图像边缘的轮廓分明的区域，确定人体轮廓图像边缘的异物的位置；根据肢体位置，标识异物在人体轮廓图像上的位置并生成异物检测结果。

在本实施例中，终端设备可以在异物对应的肢体位置进行框选和标识等，从而输出带有标识框的检测图像以及识别异物参数。其中，识别异物参数可以包括：检测图像所包含的异物的个数与位置。

S103：基于实际异物参数以及识别异物参数，计算得到待识别的检测图像的对比结果，对比结果包括检出率和误报率。

其中，终端设备比较S101中获取的实际异物参数以及S102中获取的识别异物参数，以获取异物检测结果是否准确。

具体地，终端设备多次进行S102的异物识别过程，即可获取多组识别异物参数以及测试次数。以实际异物参数为标准，判断出多组识别异物参数中标识框的数量以及位置，与实际异物参数中待识别物品的个数以及所在的预设位置完全相同的组数，以获得异物检测结果的成功检出次数。以实际异物参数为标准，判断出多组识别异物参数中识别框的数量多于实际异物参数中待识别物品的个数，或者识别框的位置与待识别物品所在的预设位置不同的组数，以获取异物检测结果的误报次数。

进一步地，根据实际异物参数与识别异物参数的对比结果，终端设备进一步获取异物检测结果中的检出率与误报率。其中，检出率＝成功检出次数/测试次数；误报率＝误报次数/测试次数。

S104：基于对比结果以及预设策略评价检测结果的准确度。

其中，终端设备基于至少包括检出率和误报率的对比结果以及预设策略计算异物检测评价结果的得分，并根据得分评价检测结果的准确度。预设策略可以为包括检出率和误报率的计算公式或者计算函数，也可以为基于检出率和误报率的不同权值得到不同的综合得分，以评价检测结果的准确度。

在本实施例中，终端设备获取至少一个待识别的检测图像以及对应的实际异物参数，其中，检测图像包括毫米波/太赫兹安检仪采集获得的至少一个检测图像；识别待识别的检测图像的异物，并获取识别异物参数；基于实际异物参数以及识别异物参数，计算得到待识别的检测图像的对比结果，对比结果包括检出率和误报率；基于对比结果以及预设策略评价检测结果的准确度；终端设备通过比较识别待识别的检测图像的异物得到的识别异物参数以及实际异物参数，以获得至少包括检出率和误报率的对比结果，并根据对比结果评价异物检测结果评价模型的好坏。

对于图1所示实施例中的S104，本申请进一步提出了另一种具体的方法。具体请参阅图2，图2是本申请提供的异物检测结果评价方法第二实施例的流程示意图。

具体地，本实施例的异物检测结果评价方法具体包括以下步骤：

S201：预设一临界检出率，并比较所述临界检出率和检出率。

其中，终端设备预设一临界检出率，并比较预设的临界检出率和检出率。在安检领域中，检出率和误报率都是比较重要的指标，所以在评价异物检测模型的优劣时需要综合权衡上述两个评价指标。进一步地，对于不同的应用场景，根据技术人员的需求一般都需要有一个临界值用于确保检出率在一个合理的范围内。

S202：预设一临界误报率，并比较所述临界误报率和误报率。

其中，终端设备预设一临界误报率，并比较预设的临界误报率和误报率。

S203：当检出率小于临界检出率和/或误报率大于临界误报率时，在原来的评价得分基础上相应减少异物检测结果的评价得分。

其中，当检出率小于临界检出率时，终端设备减少异物检测结果的评价得分；或者，当误报率大于临界误报率时，终端设备减少异物检测结果的评价得分。

具体地，若不考虑临界检出率和临界误报率，异物检测结果的评价得分为80分。如果此时检出率大于临界检出率，且误报率小于临界误报率时，终端设备将不改变异物检测结果的评价得分。如果检出率小于临界检出率，且误报率大于临界误报率时，终端设备将异物检测结果的评价得分乘以第一惩罚阈值；其中，第一惩罚阈值设置为一个小于1的正数，例如0.6或其它数值，异物检测结果的评价得分就减少到48分。如果检出率小于临界检出率，或者误报率大于临界误报率时，终端设备将异物检测结果的评价得分乘以第二惩罚阈值；其中，第二惩罚阈值设置为一个小于1，且大于第一惩罚阈值的正数，例如0.8或其它数值，异物检测结果的评价得分就减少到64分。在本步骤中，检出率和误报率对评价得分的权值或者影响程度相同。本实施例的异物检测结果评价方法还可以设置检出率和误报率分别对评价得分的影响程度。具体请继续参见以下步骤：

S204：预设一评价参数，评价参数用于调节检出率和误报率的重要程度。

其中，终端设备在预设策略中预设一评价参数，该参数用于控制检出率和误报率对评价得分的影响程度。

具体地，当评价参数大于1时，误报率对评价得分的影响大于检出率对评价得分的影响；当评价参数等于1时，误报率对评价得分的影响等于检出率对评价得分的影响；当评价参数小于1时，误报率对评价得分的影响小于检出率对评价得分的影响。

例如，终端设备将异物检测结果的评价得分设置为90分。当评价参数设置为大于1的某个数值时，若误报率降低0.01，检出率不变，异物检测结果的评价得分提高2分；若检出率提高0.01，误报率不变，异物检测结果的评价得分提高1分。当评价参数小于1的某个数值时，若误报率降低0.01，检出率不变，异物检测结果的评价得分提高1分；若检出率提高0.01，误报率不变，异物检测结果的评价得分提高2分。

进一步地，本实施例的异物检测结果评价方法还可以设置当检出率小于临界检出率和/或误报率大于临界误报率时的惩罚程度。具体请继续参见以下步骤：

S205：预设一惩罚参数，惩罚参数用于控制当检出率小于临界检出率和/或误报率大于临界误报率时，异物检测结果评价得分的扣分程度。

其中，终端设备在预设策略中预设一惩罚参数，该参数用于控制检出率和/或误报率不满足条件时，评价得分的扣分程度。

具体地，当惩罚参数为0时，即使检出率小于临界检出率和/或误报率大于临界误报率，终端设备都不会减少异物检测模型的评价得分。当惩罚参数不为0时，惩罚参数越大，当检出率小于临界检出率和/或误报率大于临界误报率时，终端设备对异物检测模型的评价得分扣除的分数越多。

在本实施例中，终端设备在预设策略中预设多种参数，用于综合控制异物检测模型的评价得分，能够进一步综合评价异物检测模型的性能。

对于图1所示实施例中的S103，本申请进一步提出了另一种具体的方法。具体请参阅图3，图3是本申请提供的异物检测结果评价方法第三实施例的流程示意图。

具体地，本实施例的异物检测结果评价方法具体包括以下步骤：

S301：比较实际异物数量及其位置和识别框数量及其位置。

S302：若识别框在检测图像中的位置中包含所有的实际异物，则此次扫描结果为成功检出。

S303，若识别框在检测图像中的位置中至少有一个不存在实际异物，则此次扫描结果为误报。

S304：统计测试次数、成功检出次数以及误报次数，其中，测试次数包括空扫测试次数和非空扫测试次数。

其中，终端设备在进行人体携带异物检测时，被检测对象分为两类，携带异物和不携带异物(空扫)。对于测试者携带异物时的测试，异物检测模型输出结果分为四类：成功检出、成功检出+误报、漏检和漏检+误报；对于测试者不携带异物时的测试，异物检测模型输出结果分为有误报和正确识别为空扫。具体请参阅下表：

其中，表格中的定义为：

一次测试：对被测试对象进行一次扫描、成像、测试、输出测试结果。

成功检出：在一次测试中，如果被测试对象身上携带的所有异物全部被识别出，则此次测试结果为成功检出。

漏检：在一次测试中，如果被测试对象身上携带的所有异物中至少有一处没有被识别出，则此次测试结果为漏检。

误报：在一次测试中，如果至少有一个目标框中没有包含被测试对象携带的异物，则此次测试存在误报。

空扫测试：一次测试中，被测试对象身上没有携带任何异物，则此次测试类型为空扫测试。

非空扫测试：一次测试中，被测试对象身上至少携带一个异物，则此次测试类型为非空扫测试。

测试次数：空扫测试次数+非空扫测试次数。

检出率＝成功检出次数/非空扫测试次数。

误报率＝误报次数/测试次数。

S305：根据误报次数和测试次数的比值计算得到误报率。

S306：根据成功检出次数和非空扫测试次数的比值计算得到检出率。

其中，综合上述评价指标，终端设备根据预设策略获得异物检测模型的评价得分。具体计算公式为：

其中，F为所述异物检测结果的评价得分，α为所述评价参数，β为所述惩罚参数，a为所述临界检出率，b为所述临界误报率。F值越高代表此模型检出性能的综合能力越好。

为实现上述实施例的异物检测结果评价方法，本申请还提供了一种终端设备，具体请参阅图4，图4是本申请提供的终端设备一实施例的结构示意图。

终端设备400包括存储器41以及处理器42，其中，存储器41与处理器42耦接。

存储器41用于存储程序数据，处理器42用于执行程序数据以实现上述实施例的异物检测结果评价方法。

在本实施例中，处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，请继续参阅图5，图5是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质50中存储有程序数据51，该程序数据51在被处理器执行时，用以实现上述实施例的异物检测结果评价方法。

本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种异物检测结果评价方法，其特征在于，所述异物检测结果评价方法用于评价异物检测模型，所述异物检测结果评价方法包括：

获取至少一个待识别的检测图像以及对应的实际异物参数，其中，所述检测图像包括毫米波/太赫兹安检仪采集获得的至少一个检测图像；

识别所述待识别的检测图像的异物，并获取识别异物参数；

基于所述实际异物参数以及所述识别异物参数，计算得到所述待识别的检测图像的对比结果，所述对比结果包括检出率和误报率；

基于所述对比结果以及预设策略评价所述检测结果的准确度，其包括：

基于检出率和误报率的对比结果以及预设策略计算异物检测评价结果的得分，并根据得分评价检测结果的准确度；

预设一临界检出率，并比较所述临界检出率和检出率，预设一临界误报率，并比较所述临界误报率和误报率，当检出率小于临界检出率和/或误报率大于临界误报率时，在原来的评价得分基础上相应减少异物检测结果的评价得分；

预设一惩罚参数，所述惩罚参数用于控制当所述检出率小于所述临界检出率和/或所述误报率大于所述临界误报率时，所述异物检测结果评价得分的扣分程度，当所述惩罚参数为0时，不减少所述异物检测结果的评价得分。

2.根据权利要求1所述的结果评价方法，其特征在于，当预设的所述临界检出率为0和/或所述临界误报率为1时，不减少所述异物检测结果的评价得分。

3.根据权利要求2所述的结果评价方法，其特征在于，所述基于所述对比结果以及预设策略评价所述检测结果的准确度的步骤，进一步包括：

预设一评价参数，所述评价参数用于调节所述检出率和所述误报率的重要程度；

当所述评价参数大于1时，所述误报率对所述评价得分的影响大于所述检出率对所述评价得分的影响；

当所述评价参数等于1时，所述误报率对所述评价得分的影响等于所述检出率对所述评价得分的影响；

当所述评价参数小于1时，所述误报率对所述评价得分的影响小于所述检出率对所述评价得分的影响。

4.根据权利要求3所述的结果评价方法，其特征在于，所述基于所述对比结果以及预设策略评价所述检测结果的准确度的步骤，进一步包括：

基于所述检出率和所述误报率计算所述异物检测结果的评价得分，计算公式如下：

其中，F为所述异物检测结果的评价得分，α为所述评价参数，β为所述惩罚参数，a为所述临界检出率，b为所述临界误报率。

5.根据权利要求1所述的结果评价方法，其特征在于，所述实际异物参数包括实际异物数量及其位置，所述识别异物参数包括识别框数量及其位置；

所述基于所述实际异物参数以及所述识别异物参数，计算得到所述待识别的检测图像的对比结果的步骤，进一步包括：

比较所述实际异物数量及其位置和所述识别框数量及其位置；

若所述识别框在所述检测图像中的位置中包含所有的所述实际异物，则此次扫描结果为成功检出；

若所述识别框在所述检测图像中的位置中至少有一个不存在所述实际异物，则此次扫描结果为误报。

6.根据权利要求5所述的结果评价方法，其特征在于，所述计算得到所述待识别的检测图像的对比结果的步骤，进一步包括：

统计测试次数、成功检出次数以及误报次数，其中，所述测试次数包括空扫测试次数和非空扫测试次数；

根据所述误报次数和所述测试次数的比值计算得到所述误报率；

根据所述成功检出次数和所述非空扫测试次数的比值计算得到所述检出率。

7.一种终端设备，其特征在于，所述终端设备包括处理器以及与所述处理器耦接的存储器；所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～6任一项所述的异物检测结果评价方法。

8.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1～6任一项所述的异物检测结果评价方法。

Images