CN114596585A - 一种人体成像多任务识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种人体成像多任务识别方法、装置、设备及存储介质，该方法包括：获取待识别图像；根据待识别图像确定图像特征信息；获取待识别类型并确定网络识别分支，根据图像特征信息和网络识别分支确定待识别类型的识别结果；根据各识别结果对相应的待处理操作进行处理，解决了安检过程中无法从多方面对人体成像进行识别的问题，满足了安检系统中人体成像识别的多任务需求，丢弃繁杂的工程化处理实现，从多个方面对人体成像进行端到端的人工智能识别，各网络识别分支共享图像特征信息，不同网络识别分支可以进行不同类型图像识别，识别结果更加全面和准确。不同的识别结果对应不同的待处理操作，根据不同的识别结果进行相应处理。

Description

一种人体成像多任务识别方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人体成像多任务识别方法、装置、设备及存储介质。

背景技术

随着社会的发展，交通越来越便利。为保证出行安全，车站、地铁站、机场等公共场所均设置了安检设备进行安全检查。基于毫米波、太赫兹等高频波段的安全检查设备，能够穿透衣服显示全身人体成像，能通过成像看到身上所藏匿的违禁品，包括金属违禁品和非金属违禁品。

目前针对安全检查设备的主流算法，主要对违禁品进行识别，检查类别比较单一。由于识别过程中仅对违禁品位置进行识别，无法全面对乘客进行检查。

发明内容

本发明提供了一种人体成像多任务识别方法、装置、设备及存储介质，以解决从多方面对人体成像进行准确识别的问题。

根据本发明的一方面，提供了一种人体成像多任务识别方法，该方法包括：

获取待识别图像；

根据所述待识别图像确定图像特征信息；

获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；

根据各所述识别结果对相应的待处理操作进行处理。

根据本发明的另一方面，提供了一种人体成像多任务识别装置，包括：

图像获取模块，用于获取待识别图像；

特征确定模块，用于根据所述待识别图像确定图像特征信息；

识别模块，用于获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；

处理模块，用于根据各所述识别结果对相应的待处理操作进行处理。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的人体成像多任务识别方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的人体成像多任务识别方法。

本发明实施例的技术方案，通过获取待识别图像；根据所述待识别图像确定图像特征信息；获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；根据各所述识别结果对相应的待处理操作进行处理，解决了安检过程中无法从多方面对人体成像进行识别的问题，满足了安检系统中人体成像识别的多任务需求，丢弃繁杂的工程化处理实现，从多个方面对人体成像进行端到端的人工智能识别，对待识别图像进行图像特征信息提取，通过待识别类型确定网络识别分支并进行图像识别，不同的网络识别分支共享图像特征信息，根据不同的待识别类型和网络识别分支可以进行不同类型的图像识别，从多角度对图像进行识别，识别结果更加全面和准确。同时为不同的识别结果提供不同的待处理操作，以便根据不同的识别结果进行相应的处理。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种人体成像多任务识别方法的流程图；

图2是根据本发明实施例二提供的一种人体成像多任务识别方法的流程图；

图3是根据本发明实施例二提供的一种多任务识别方法的架构图；

图4是根据本发明实施例二提供的一种确定识别结果的实现原理图；

图5是根据本发明实施例三提供的一种人体成像多任务识别装置的结构示意图；

图6是实现本发明实施例的人体成像多任务识别方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种人体成像多任务识别方法的流程图，本实施例可适用于在安检过程中对待检人员从多角度进行检查的情况，该方法可以由人体成像多任务识别装置来执行，该人体成像多任务识别装置可以采用硬件和/或软件的形式实现，该人体成像多任务识别装置可配置于智能终端、台式计算机、笔记本、智能平板等电子设备中。如图1所示，该方法包括：

S110、获取待识别图像。

在本实施例中，待识别图像具体可以理解为具有识别需求的图像，本申请中的待识别图像通常包括人体，例如，在机场、车站等场所进行安检时，通过安全检查设备对被检人员进行扫描，得到待识别图像。安全检查设备可以是对人体无辐射的毫米波安全检查设备、太赫兹安全检查设备等能够穿透衣服得到全身成像的安全检查设备，安全检查设备的成像和医学X光射线的成像效果类似，但是对身体没有辐射。待识别图像理论上可以采集后存储，在识别时从存储空间获取，也可以实时采集，采集后立即进行处理。通常情况下，在车站等公共场所进行安检时，为保证安全和有效性，需实时对待识别图像进行识别，因此，本申请优选方案为在采集待识别图像后实时进行多任务识别。

S120、根据待识别图像确定图像特征信息。

在本实施例中，图像特征信息具体可以理解为用于表明图像的特征的信息，例如，灰度特征、纹理特征、形状特征等。对待识别图像进行处理，提取待识别图像的特征，得到图像特征信息。特征提取方式可以采用算法、神经网络模型等。

S130、获取待识别类型并确定网络识别分支，根据图像特征信息和网络识别分支确定待识别类型的识别结果。

在本实施例中，待识别类型具体可以理解为待识别图像需要识别的类型，例如，识别隐私部位、识别身体关键点、识别性别、识别违禁品等。网络识别分支具体可以理解为进行不同类型识别的网络。本申请中不同的网络识别分支可以对不同的待识别类型进行识别，同一网络识别分支也可以对不同的待识别类型进行识别。识别结果根据待识别类型的不同而不同，待识别类型为隐私部位时，识别结果可以是隐私部位的坐标，例如，脸部、胸部、裆部。隐私部位的坐标可以通过矩阵框的坐标表示，矩阵框所在位置即为隐私部位。待识别类型为违禁品时，识别结果可以是是否包含违禁品，以及包含违禁品时违禁品的坐标位置。

具体的，待识别类型可以预先设置，每个待识别类型具有与其对应的网络识别分支。待识别类型的数量可以是一个或者多个，即可以同时进行不同类型的识别，实现多任务识别。可以从相应的存储位置获取用户预先设置的待识别类型，待识别类型也可以设置为用户可选模式，通过显示界面向用户展示不同的识别类型，用户通过点击、双击、滑动等方法选择出待识别类型。将图像特征信息作为网络识别分支的输入，通过网络识别分支对图像特征信息进行处理，首先根据图像特征信息确定可能存在目标的位置，然后进一步进行筛选，得到识别结果。目标是指违禁品、隐私等识别目标，与待识别类型相关。在根据待识别类型进行相应的识别时，均以图像特征信息作为输入，实现图像特征信息共享，对待识别图像只需要提取一次图像特征信息即可，提高效率。

S140、根据各识别结果对相应的待处理操作进行处理。

在本实施例中，待处理操作具体可以理解为确定识别结果后对图像进行的相关处理操作，待处理操作与识别结果的类型相关。在进行不同类型的识别时，得到的识别结果不同，执行的待处理操作也不相同。例如，在识别结果为违禁品时，待处理操作可以是违禁品位置显示；识别结果为隐私部位时，待处理操作可以是对隐私部位进行马赛克。

本发明实施例提供一种人体成像多任务识别方法，通过获取待识别图像；根据所述待识别图像确定图像特征信息；获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；根据各所述识别结果对相应的待处理操作进行处理，解决了安检过程中无法从多方面对人体成像进行识别的问题，满足了安检系统中人体成像识别的多任务需求，丢弃繁杂的工程化处理实现，从多个方面对人体成像进行端到端的人工智能识别，对待识别图像进行图像特征信息提取，通过待识别类型确定网络识别分支并进行图像识别，不同的网络识别分支共享图像特征信息，根据不同的待识别类型和网络识别分支可以进行不同类型的图像识别，从多角度对图像进行识别，识别结果更加全面和准确。同时为不同的识别结果提供不同的待处理操作，以便根据不同的识别结果进行相应的处理。

实施例二

图2为本发明实施例二提供的一种人体成像多任务识别方法的流程图，本实施例在上述实施例的基础上进行细化。如图2所示，该方法包括：

S201、获取待识别图像。

S202、对待识别图像进行图像处理，获得目标图像。

在本实施例中，目标图像具体可以理解为待识别图像经过处理后得到的图像。在获取待识别图像后，为了便于进行特征提取，对待识别图像先进行图像处理，例如将待识别图像进行像素归一化处理，将待识别图像的尺寸调整到预设大小等，图像处理后得到目标图像。

S203、对目标图像进行特征提取，确定图像特征信息。

通过神经网络模型对目标图像进行特征提取，得到图像特征信息。进行特征提取的骨干网络可以是残差卷积神经网络resNet50，经过卷积计算，提取人体成像的图像特征信息，得到图像特征信息是共享的，将被用于各种识别任务。提取特征的网络也可以使用VGG网络、MobileNet、DenseNet、特征图金字塔网络(feature pyramid networks,FPN)等网络。

S204、根据网络识别分支确定目标生成规则。

在本实施例中，目标生成规则具体可以理解为预先设置好的检测框生成规则，不同的网络识别分支由于检测的类型不同，因此在生成检测框时规则也不相同。根据网络识别分支与生成规则之间的映射关系确定每个网络识别分支对应的目标生成规则。目标生成规则可以包括生成检测框的数量以及检测框的大小。

S205、按照目标生成规则生成识别候选框。

在本实施例中，识别候选框具体可以理解为图像识别过程中的候选检测框。根据目标识别规则确定识别候选框的大小、比例，在每个像素点生成相应数量的识别候选框。其中，比例是指识别候选框的长宽比，大小可以是识别候选框的长或宽，也可以是识别候选框的面积，在给定比例后，只需要长和宽其中一种，或面积即可生成识别候选框。在图像特征信息所在的特征图上的每个点上生成不同大小和比例的识别候选框，对应到原图基本可以覆盖所有可能出现的物体。

示例性的，在用于违禁品识别的网络识别分支中，需要3种大小5中比例，总共15种识别候选框；在用于隐私部位识别的网络识别分支中，由于隐私部位(如，裆部、胸部、脸部)大小固定，只需要3种大小和1种比例就可以；在用于性别和人体关键点识别的网络识别分支中，主要识别人体部位，只需要1种大小和1种比例就可以找到人体部位。

S206、根据图像特征信息和各识别候选框确定目标候选框。

在本实施例中，目标候选框具体可以理解为可能存在识别目标的检测框。由于识别候选框是在任意的像素点均生成，因此存在大量的识别候选框中不包括目标的情况。通过图像特征信息进行处理，例如，通过卷积的方式提取特征，识别各识别候选框中是否存在目标，实现对识别候选框的筛选，得到目标候选框。

作为本实施例的一个可选实施例，本可选实施例进一步将根据图像特征信息和各识别候选框确定目标候选框优化为A1-A2：

A1、根据图像特征信息对各识别候选框进行筛选，确定备选框。

对图像特征信息进行卷积处理，得到每个识别候选框的类别和坐标信息，对每个识别候选框进行排序，将准确度较高的识别候选框确定为备选框。

示例性的，本申请优先采用RPN(region proposal network)区域建议网络确定备选框。RPN网络首先生成识别候选框，然后通过一个3x3卷积对图像特征信息进行处理，得到更深的特征图，通过使用1x1的卷积分别得到每个识别候选框的类别和坐标位置信息。RPN网络的proposal筛选，先进行分数的排序，然后使用NMS非极大值抑制排除重复的框，得到最终需要的备选框。RPN网络的损失函数计算，分为分类损失和坐标位置回归，分类损失使用softmax的交叉熵损失，坐标位置回归损失使用Smooth L1损失，SmoothL1函数结合了1阶与2阶损失函数，当预测偏移量与真值差距较大时，使用2阶函数时导数太大，模型容易发散而不容易收敛，因此在大于1时采用了导数较小的1阶损失函数，缓和模型发散的情况。

A2、对各备选框进行池化处理，确定各备选框对应的目标候选框。

通过兴趣区域池化层对各备选框进行池化处理，得到设定尺寸的目标候选框。

可以知道的是，在通过RPN网络确定备选框后，备选框的尺寸大小不同，为了满足后续全连接层分类的需求，使用ROIAlign把不同尺寸的候选框输出为规定尺寸的目标候选框。目标候选框和图像特征信息(或者包含图像特征信息的图像)可作为一个特征图输出。示例性的，ROIAlign使用双线性插值的方法来实现池化操作，具体执行步骤如下：先将ROI切分成2×2的单元格，假设需要输出的固定尺度的feature map为2×2；假设采样点数是4，将每个单元格子均分成四个小方格，以每个小方格的中心作为采样点；对采样点像素进行双线性插值，得到该采样点的像素值；对每个单元格内的4个采样点进行max pooling，得到最终的目标候选框。

S207、对目标候选框进行识别，确定识别结果。

根据待识别类型的不同，不同网络识别分支得到的目标候选框中的目标类型通常也是不同的，目标候选框中的目标也可能是不同的，例如，违禁品、身体部位区域框、人体区域框。通过对目标候选框进行识别，可以通过神经网络模型等完成识别，得到每个目标候选框对应的识别结果。根据不同的目标候选框的特征图实现不同任务的分类。根据图像特征信息以及目标候选框完成识别任务，得到相应的识别结果。

当进行性别识别时，为保证识别结果的准确性，可以结合用于识别隐私部位的网络识别分支的识别结果，例如，结合隐私部位坐标进行男女性别预测，得到识别结果。针对此种情况，可以设置网络识别分支的识别顺序，保证在进行识别时所需的数据均可以获取到。当待识别类型为性别识别时，对目标候选框进行识别，确定识别结果包括：获取隐私识别的识别结果，根据隐私识别的识别结果结合目标候选框进行识别，确定性别识别的识别结果。根据隐私识别的识别结果结合目标候选框进行识别的方式与其他识别方式可以是相同的。

示例性的，图3为一种多任务识别方法的架构图，如图3所示，多任务识别方法通过特征提取网络31、RPN(Region Proposal Network)区域建议模块32、RoI Align模块33、ROIHEAD模块34四个部分协作实现。特征提取网络用来提取成像图片的特征，RPN为区域建议网络，用来得到不同大小和宽高比例的候选区域，ROI Align模块把不同尺寸的候选框固定为大小一样的特征图，ROI head的作用就是利用候选框的特征图做不同类型的任务分类。待识别图像35输入到特征提取网络31进行特征提取，得到图像特征信息，通过RPN区域建议模块32生成识别候选框，并确定目标候选框，RoI Align模块33根据图像特征信息和各识别候选框确定目标候选框，并通过ROI HEAD模块34进行识别，确定识别结果。图3中的RPN区域建议模块32可以有多个，根据待识别任务的类型设置，图3以1个为例。

示例性的，图4为本申请提供的一种确定识别结果的实现原理图。本申请主要提供四种识别任务，分别用于识别违禁品、隐私部位、性别、身体关键点。如图4所示，其中，网络识别分支41用于识别违禁品，网络识别分支42用于识别隐私部位，网络识别分支43用于识别性别和身体关键点。待识别图像44通过特征提取网络45进行特征提取，得到图像特征信息，图像特征信息输入到各网络识别分支中进行识别。得到的目标候选框的相关特征及信息全部连接起来，通过不同任务进行识别。

1、二分类任务，主要区别背景和前景来判断是否违禁品，做二分类和坐标回归任务。二分类任务使用的损失函数为分类和坐标回归，在使用之前特征图进行全连接网络。

在二分类基础上，还可以增加多分类任务，即在违禁品的基础上，进一步判断哪一类违禁品。由于在安检中，分类的模糊性很强，所以多分类任务是在二分类的基础上，进一步识别违禁品的类别。将二分类任务识别得到的违禁品位置坐标和ROIAlign输出的目标候选框作为多分类任务的输入，预测违禁品类别和位置坐标。

2、隐私部位识别任务，识别出隐私部位的具体名称以及隐私部位的坐标位置，包括脸部、女性胸部、裆部这个三个部位，方便后续处理。人体隐私部位识别任务也是使用全连接的方式来进行多分类任务，主要区别就是分为脸部、胸部、裆部三个类别。

3、男女性别检测任务，输出男女的性别，为了方便安全检查设备检查后，自动分配安检人员。图4中性别预测以通过隐私部位信息进行预测为例，提取各隐私部位框的特征，加上全局特征，实现男女性别判断的二分类输出。

4、身体关键点检测任务，通过卷积网络实现关键点的检测，示例性的，本申请的身体关键点以鼻子，脖子，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝这14个关键点部位为例。通过在人体区域框内，使用列卷积变化到尺度小卷积，对最终的卷积特征进行像素级别的分类，使用双线性插值的方法映射回最原始图片，就能得到14个关键点。

本申请所提供的多种识别任务之间存在依赖关系和先后顺序。多分类依赖二分类的结果更进一步，男女识别依赖隐私部位的目标候选框的识别结果。任务在第一次训练的时候，要独立进行，对一些任务的网络进行冻结。在训练的过程中，首先是识别任务，训练二分类分支，然后保持特征提取网络的基础网络不改变，再训练多分类任务分支。然后是隐私部位的训练，保持基础特征提取网络不变，隐私部位的目标候选框识别出来后，性别识别是基于隐私部位和全身的特征做性别的分类任务，关键点识别在性别识别任务之后单独训练，冻结其它内容。由此完成了第一阶段的训练。

各识别任务完成独立训练后再进行联合训练，第一阶段训练完成后，各任务的识别结果基本可以满足要求。但是为了提高识别率，本申请在进行训练时可以进行联合训练，控制各任务的损失函数，把全部损失函数连接起来。在输入端为网络输入的人工标签，包括违禁品标签、隐私部位标签、身体关键点标签、男女标签，上述信息是非常好的先验知识，可以使得网络更加强大。在完成联合训练后，得到用于执行不同识别任务的各网络识别分支。

在确定识别结果后，根据不同的识别结果确定相应的待处理操作并进行处理，具体实现方式如下所示，其中，S208-S211、S212-S213及S214为并列步骤。

S208、当识别结果包括违禁品位置和身体关键点位置时，根据违禁品位置和身体关键点位置确定目标映射位置。

在本实施例中，违禁品位置可以通过坐标表示，例如，通过检测框的位置坐标表示违禁品的位置。身体关键点位置也可以通过检测框的位置坐标表示。目标映射位置具体可以理解为违禁品映射到的位置。

具体的，当识别结果包括违禁品位置和身体关键点位置时，此时可以进行违禁品显示。根据违禁品位置和身体关键点位置判断违禁品与身体关键点的位置关系，确定违禁品在待检人员的身体哪一区域，得到目标映射位置，例如，目标映射位置为手。

S209、获取人偶身体部位分布信息。

在本实施例中，人偶身体部位分布信息具体可以理解为用于进行显示的人偶的身体部位分布的信息，通过人偶身体部位分布信息构建的人偶图像代替真实的人体图像。预先给定人偶图像，通过设定的划分规则对人偶图像进行身体部位划分，得到人偶身体部位分布信息并存储。在对违禁品进行展示时获取人偶身体部位分布信息。也可以设置不同的人偶图像或人偶身体部位分布信息，根据待检人员的身高、体重等信息选择相应的人偶图像并确定人偶身体部位分布信息，或者直接根据待检人员的身高、体重等信息选择相应的人偶身体部位分布信息。

S210、根据目标映射位置和人偶身体部位分布信息进行违禁品位置映射。

根据人偶身体部位分布信息可以确定人偶的每个身体部位在图像中的分布信息，将目标映射位置映射到人偶的相应位置处。例如，目标映射位置为手，根据人偶身体部位分布信息确定人偶的手所在的位置，将人偶的手的位置作为违禁品映射后的位置。

S211、根据映射结果进行违禁品识别结果展示。

映射结果可以是违禁品映射后的位置，在相应的位置进行违禁品展示。例如，在待检人员的左边大腿检测出有违禁品，在前端设备上的人偶卡通图的左边大腿显示大小一样的红框，人偶图和待识别图像中人体成像的违禁品位置和大小一一映射。

S212、当识别结果包括性别检测结果时，根据性别检测结果确定安检员类型。

在本实施例中，性别检测结果可以是男或者女。安检员类型包括男性安检员和女性安检员。根据性别检测结果选择相应的安检员类型，例如，选择同一性别的安检员，即安检员类型可以选择与性别检测结果一致的类型。

S213、根据安检员类型分配相应的安检员。

在确定安检员类型后，可以根据安检员类型自动分配安检员。例如，女性旅客分配给女安检员手检。安全检查设备目前主要是辅助人工手检，系统通过男女性别，自动分配安检人员，设备能自动识别男女，被检女性不会被分配给男性的安检人员。实现了自动分配的功能。

S214、当识别结果包括隐私部位信息时，根据隐私部位信息对待识别图像进行隐私处理，确定隐私图像。

在本实施例中，隐私部位信息可以是隐私部位的位置，通过坐标表示。根据隐私部位信息确定隐私部位的位置，对待识别图像中的隐私部位进行隐私处理。例如，脸部、裆部、胸部作为隐私部位，在确定脸部、裆部、胸部的位置信息后，对上述隐私部位进行马赛克处理，得到隐私图像。在保存待检人员的图像时，保存隐私图像，以便工作人员在后续查看数据时查看的是隐私图像，进一步保护待检人员的隐私。

示例性的，若网络识别分支中包括识别违禁品的类别的多分类任务时，在通过多分类任务识别违禁品的类别后，相应的待处理操作可以是根据违禁品的类别进行告警处理，例如，预先设置不同类别违禁品的危险程度，根据危险程度确定提示方式，低危险程度仅在前端设备上显示违禁品位置，中危险程度通过声音进行提示，高危险程度在声音提示的基础上增加警示灯闪烁等，提示声音可根据危险程度的增加而提高，等等。

本发明提供了一种人体成像多任务识别方法，解决了安检过程中无法从多方面对人体成像进行识别的问题，本申请所提供的多任务的综合识别算法，通过共享特征提取网络，实现通过多个任务分支进行网络识别，满足了安检系统中的各种功能算法需求，不再需要传统的找规律工程化方法来实现坐标映射或者独立的任务算法分支。同时增加了男女性别识别来进行自动分配安检人员，网络识别分支直接识别隐私部位并进行隐私处理，不同的网络识别分支执行的任务使得整个安检系统更加高效。多任务的训练需要输入违禁品标签、人体关键点标签等更多信息先验知识信息，交叉训练使得主要的违禁品识别算法更加准确。本申请所提供的综合算法是可以控制的，每个网络识别分支训练完成后，在使用的时候是独立的，可以根据后续需要添加更多的网络识别分支，扩展性强，并且当增加新的网络识别分支时不影响原识别性能，不会对原有的网络识别分支的识别结果造成影响。并且，各网络识别分支共享图像特征信息，不会过多的增加检测时间。

实施例三

图5为本发明实施例三提供的一种人体成像多任务识别装置的结构示意图。如图5所示，该装置包括：图像获取模块51、特征确定模块52、识别模块53和处理模块54。

其中，图像获取模块51，用于获取待识别图像；

特征确定模块52，用于根据所述待识别图像确定图像特征信息；

识别模块53，用于获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；

处理模块54，用于根据各所述识别结果对相应的待处理操作进行处理。

本发明实施例提供一种人体成像多任务识别装置，解决了安检过程中无法从多方面对人体成像进行识别的问题，对待识别图像进行图像特征信息提取，通过待识别类型确定网络识别分析并进行图像识别，不同的网络识别分支共享图像特征信息，根据不同的待识别类型和网络识别分支可以进行不同类型的图像识别，从多角度对图像进行识别，识别结果更加全面和准确。同时为不同的识别结果提供不同的待处理操作，以便根据不同的识别结果进行相应的处理。

可选的，特征确定模块52，包括：

图像处理单元，用于对所述待识别图像进行图像处理，获得目标图像；

特征提取单元，用于对所述目标图像进行特征提取，确定图像特征信息。

可选的，识别模块53，包括：

规则确定单元，用于根据所述网络识别分支确定目标生成规则，

候选框生成单元，用于按照所述目标生成规则生成识别候选框；

目标框确定单元，用于根据所述图像特征信息和各所述识别候选框确定目标候选框；

识别单元，用于对所述目标候选框进行识别，确定识别结果。

可选的，目标框确定单元，具体用于根据所述图像特征信息对各所述识别候选框进行筛选，确定备选框；对各所述备选框进行池化处理，确定各所述备选框对应的目标候选框。

可选的，处理模块54，包括：

映射位置确定单元，用于当所述识别结果包括违禁品位置和身体关键点位置时，根据所述违禁品位置和身体关键点位置确定目标映射位置；

分布信息确定单元，用于获取人偶身体部位分布信息；

位置映射单元，用于根据所述目标映射位置和人偶身体部位分布信息进行违禁品位置映射；

展示确定单元，用于根据映射结果进行违禁品识别结果展示。

可选的，处理模块54，包括：

安检员类型确定单元，用于当所述识别结果包括性别检测结果时，根据所述性别检测结果确定安检员类型；

安检员分配单元，用于根据所述安检员类型分配相应的安检员。

可选的，处理模块54，包括：

隐私处理单元，用于当所述识别结果包括隐私部位信息时，根据所述隐私部位信息对所述待识别图像进行隐私处理，确定隐私图像。

本发明实施例所提供的人体成像多任务识别装置可执行本发明任意实施例所提供的人体成像多任务识别方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6示出了可以用来实施本发明的实施例的电子设备60的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备60包括至少一个处理器61，以及与至少一个处理器61通信连接的存储器，如只读存储器(ROM)62、随机访问存储器(RAM)63等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器61可以根据存储在只读存储器(ROM)62中的计算机程序或者从存储单元68加载到随机访问存储器(RAM)63中的计算机程序，来执行各种适当的动作和处理。在RAM 63中，还可存储电子设备60操作所需的各种程序和数据。处理器61、ROM 62以及RAM 63通过总线64彼此相连。输入/输出(I/O)接口65也连接至总线64。

电子设备60中的多个部件连接至I/O接口65，包括：输入单元66，例如键盘、鼠标等；输出单元67，例如各种类型的显示器、扬声器等；存储单元68，例如磁盘、光盘等；以及通信单元69，例如网卡、调制解调器、无线通信收发机等。通信单元69允许电子设备60通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器61可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器61的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器61执行上文所描述的各个方法和处理，例如人体成像多任务识别方法。

在一些实施例中，人体成像多任务识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元68。在一些实施例中，计算机程序的部分或者全部可以经由ROM 62和/或通信单元69而被载入和/或安装到电子设备60上。当计算机程序加载到RAM 63并由处理器61执行时，可以执行上文描述的人体成像多任务识别方法的一个或多个步骤。备选地，在其他实施例中，处理器61可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人体成像多任务识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种人体成像多任务识别方法，其特征在于，包括：

获取待识别图像；

根据所述待识别图像确定图像特征信息；

获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；

根据各所述识别结果对相应的待处理操作进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像确定图像特征信息，包括：

对所述待识别图像进行图像处理，获得目标图像；

对所述目标图像进行特征提取，确定图像特征信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果，包括：

根据所述网络识别分支确定目标生成规则；

按照所述目标生成规则生成识别候选框；

根据所述图像特征信息和各所述识别候选框确定目标候选框；

对所述目标候选框进行识别，确定识别结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像特征信息和各所述识别候选框确定目标候选框，包括：

根据所述图像特征信息对各所述识别候选框进行筛选，确定备选框；

对各所述备选框进行池化处理，确定各所述备选框对应的目标候选框。

5.根据权利要求1所述的方法，其特征在于，所述根据各所述识别结果确定并执行相应操作，包括：

当所述识别结果包括违禁品位置和身体关键点位置时，根据所述违禁品位置和身体关键点位置确定目标映射位置；

获取人偶身体部位分布信息；

根据所述目标映射位置和人偶身体部位分布信息进行违禁品位置映射；

根据映射结果进行违禁品识别结果展示。

6.根据权利要求1所述的方法，其特征在于，所述根据各所述识别结果确定并执行相应操作，包括：

当所述识别结果包括性别检测结果时，根据所述性别检测结果确定安检员类型；

根据所述安检员类型分配相应的安检员。

7.根据权利要求1所述的方法，其特征在于，所述根据各所述识别结果确定并执行相应操作，包括：

当所述识别结果包括隐私部位信息时，根据所述隐私部位信息对所述待识别图像进行隐私处理，确定隐私图像。

8.一种人体成像多任务识别装置，其特征在于，包括：

图像获取模块，用于获取待识别图像；

特征确定模块，用于根据所述待识别图像确定图像特征信息；

识别模块，用于获取待识别类型并确定网络识别分支，根据所述图像特征信息和网络识别分支确定所述待识别类型的识别结果；

处理模块，用于根据各所述识别结果对相应的待处理操作进行处理。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的人体成像多任务识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的人体成像多任务识别方法。

Images