CN116109542A - 图像识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像识别方法、装置、计算机设备和存储介质。所述方法包括：获取对被测者头部进行成像扫描得到的各扫描图像，扫描图像中包括扫描到的头部平面；对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别；根据各扫描图像中头部平面的平面类别，确定感兴趣区域图像；对感兴趣区域图像进行识别，获得识别结果，识别结果包括识别到鼻咽部目标对象的概率、以及鼻咽部目标对象的位置信息。采用本方法能够对图像中的鼻咽部目标对象进行更精准快速的识别。

Description

图像识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及医疗图像处理技术领域，特别是涉及一种图像识别方法、装置、计算机设备和存储介质。

背景技术

鼻咽癌起源于鼻腔黏膜，是我国南部和东南亚最常见的头颈部恶性肿瘤之一，好发于30～50岁男性，恶性程度相对较高，严重威胁患者健康。临床上采用以放疗为主的治疗方式。随着诊疗技术的进步，鼻咽癌的疗效取得了较大改善，但是仍有少部分患者出现复发或转移。据2018年国际癌症研究机构报道，全球每年新发鼻咽癌129079例，死亡72987例。鼻咽部肿块较为隐蔽，手术或放疗可能会遗留肿瘤病灶，由此导致较高的复发率，约10％的患者在原发部位或区域部位有残留或复发，15％～30％的鼻咽癌患者根治性治疗后出现远处转移，复发和转移成为鼻咽癌治疗失败的主要原因。《鼻咽癌复发、转移诊断专家共识》(2018)指出，早期诊断和治疗的复发或转移鼻咽癌患者生存预后明显优于晚期患者。因此，鼻咽癌的复发诊断具有重要的临床意义。

磁共振影像(MRI)检查是复发鼻咽癌诊断的重要方式，但由于放疗后正常组织结构的改变，增加了复发诊断的困难。在目前的诊断过程中，医生不仅需要逐层的观察磁共振(MR)扫描切片，还需要对比正电子发射断层显像/X线计算机体层成像仪(PET/CT)的结果，进而进行复发诊断。然而，从扫描图像中识别鼻咽癌的过程高度依赖医生的专业知识和临床经验，极其耗时。

发明内容

基于此，有必要针对上述技术问题，提供一种图像识别方法、装置、计算机设备和存储介质，能够辅助医生对图像中的鼻咽部目标对象进行更精准快速的识别。

一种图像识别方法，所述方法包括：

获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

一种图像识别装置，所述装置包括：

获取模块，用于获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

第一识别模块，用于对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

确定模块，用于根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

第二识别模块，用于对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

上述图像识别方法、装置、计算机设备和存储介质，通过对头部扫描图像中的平面进行自动识别，快速定位感兴趣区域图像，然后通过对感兴趣区域图像进行自动识别，确定感兴趣区域图像中包含鼻咽部目标对象的概率、以及鼻咽部目标对象的位置信息，据此，可为鼻咽部目标对象的识别提供参考信息，用以辅助医生对图像中的鼻咽部目标对象进行更精准快速的识别。

附图说明

图1为一个实施例中图像识别方法的流程示意图；

图2为一个实施例中头部平面识别模型的训练过程示意图；

图3为一个实施例中头部平面识别模型的识别流程框架示意图；

图4为一个实施例中感兴趣区域图像的获取流程框架示意图；

图5为一个实施例中对感兴趣区域图像进行识别，获得识别结果步骤的流程示意图；

图6为一个实施例中目标识别模型的训练过程示意图；

图7为一个实施例中对称及非对称卷积网络的示意图；

图8为一个实施例中目标识别模型的网络结构示意图；

图9为一个实施例中预测结果的示意图；

图10为一个实施例中图像识别装置的结构框图；

图11为一个实施例中计算机设备的内部结构图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤S102至步骤S108。

S102，获取对被测者头部进行成像扫描得到的各扫描图像，扫描图像中包括扫描到的头部平面。

被测者指的是患者，扫描图像是指对患者头部进行成像扫描得到的图像，具体可以是磁共振(MR)扫描切片图像。可以理解，扫描图像为二维图像。头部平面是指扫描的头部切面，头部平面包括头部地标平面，头部地标平面可以理解为具有明显特征的平面，例如眼睛平面、鼻子平面和下颚平面。

S104，对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别。

对扫描图像进行识别具体是对该扫描图像中的头部平面进行识别，获得该头部平面所属的平面类别。本实施例中，将头部平面分为以下四类：眼睛平面、鼻子平面、下颚平面和其他平面，对单张扫描图像进行识别获得的平面类别为上述四类中的任意一种。

S106，根据各扫描图像中头部平面的平面类别，确定感兴趣区域图像。

感兴趣区域图像是指可能包含待识别的目标对象的区域图像，本实施例中，待识别的目标对象为鼻咽部目标对象，鼻咽部目标对象具体为鼻咽癌。根据各扫描图像中头部平面的平面类别，可以定位与鼻咽部目标对象相关的关键平面，例如鼻子平面，继而确定感兴趣区域图像。

S108，对感兴趣区域图像进行识别，获得识别结果，识别结果包括识别到鼻咽部目标对象的概率、以及鼻咽部目标对象的位置信息。

对感兴趣区域图像进行识别包括对该感兴趣区域图像中是否包含鼻咽部目标对象进行识别，获得识别到鼻咽部目标对象的概率、以及识别出的鼻咽部目标对象的位置信息。

上述图像识别方法中，通过对头部扫描图像中的平面进行自动识别，快速定位感兴趣区域图像，然后通过对感兴趣区域图像进行自动识别，确定感兴趣区域图像中包含鼻咽部目标对象的概率、以及鼻咽部目标对象的位置信息，据此，可为鼻咽部目标对象的识别提供参考信息，用以辅助医生对图像中的鼻咽部目标对象进行更精准快速的识别。

在一个实施例中，对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别的步骤，具体可以包括：通过训练好的头部平面识别模型，对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别。如图2所示，训练好的头部平面识别模型的训练过程包括以下步骤S202至步骤S206。

S202，获取对样本头部进行成像扫描得到的各样本扫描图像及其对应的类别标签，样本扫描图像中包括扫描到的样本头部平面，类别标签用于指示样本头部平面的真实类别。

样本扫描图像是指其中样本头部平面的真实类别已知的图像，样本扫描图像对应的类别标签用于指示该样本扫描图像中样本头部平面的真实类别。本实施例中，类别标签所指示的真实类别包括眼睛平面、鼻子平面、下颚平面和其他平面。

S204，通过待训练头部平面识别模型，对各样本扫描图像进行识别，获得各样本扫描图像中样本头部平面的预测类别信息。

具体而言，将样本扫描图像输入到待训练头部平面识别模型中，待训练头部平面识别模型对样本扫描图像进行特征提取，基于提取的特征进行映射，输出样本扫描图像中样本头部平面的预测类别信息。预测类别信息具体可以包括样本头部平面的预测类别分别为眼睛平面、鼻子平面、下颚平面和其他平面的概率。

S206，基于预测类别信息与类别标签，调整待训练头部平面识别模型的参数，直至满足训练结束条件，获得训练好的头部平面识别模型。

可以基于样本扫描图像对应的预测类别信息与类别标签之间的误差建立损失函数，头部平面识别模型的训练目标为损失函数的值尽可能小。训练结束条件可以是损失函数的值小于预设阈值，也可以是迭代次数达到预设次数，该预设阈值和预设次数都可以结合实际需求进行设置，此处不做限定。当不满足训练结束条件时，可以根据损失函数的值调整待训练头部平面识别模型的参数，调整参数后返回步骤S204，直至满足训练结束条件，从而获得训练好的头部平面识别模型。

上述实施例中，对头部平面识别模型进行训练，训练完成后，将扫描图像输入到训练好的头部平面识别模型中，可以识别出扫描图像中头部平面的平面类别。头部平面识别模型具体可以采用ResNet18模型，通过使用自然图像上的预训练模型，使得用少量标注数据训练即可达到较高的预测精度。如图3所示，提供一个实施例中头部平面识别模型的识别流程框架示意图，将扫描图像输入到ResNet18模型中，ResNet18模型对每张扫描图像进行识别，获得每张扫描图像分别对应四类别(眼睛平面、鼻子平面、下颚平面和其他平面)的概率，可以取最大概率对应的类别作为扫描图像中头部平面的平面类别。

在一个实施例中，获取对被测者头部进行成像扫描得到的各扫描图像的步骤，具体可以包括：获取对被测者头部按照从一端到另一端的顺序依次进行成像扫描得到的各扫描图像，每一扫描图像对应一个扫描位置。

扫描设备可以设置在处于平躺状态的患者头部上方，与患者头部相对，对患者头部进行成像扫描。具体而言，头部的一端可以指靠近额头的一端，头部的另一端可以指靠近下巴的一端，扫描设备的扫描顺序可以是从额头到下巴，也可以是从下巴到额头。

一次成像扫描可以生成多张扫描图像，按照生成顺序得到一个图像序列，扫描位置具体可以用扫描方向上的位置坐标表示，图像序列中各扫描图像对应的位置坐标依次增加或减小。举例来说，眼睛平面、鼻子平面、下颚平面的扫描图像对应的位置坐标依次增加或减小。

在一个实施例中，根据各扫描图像中头部平面的平面类别，确定感兴趣区域图像的步骤，具体可以包括：根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置；根据第一扫描位置与第二扫描位置之间的各扫描图像，确定感兴趣区域图像。

第一扫描位置与第二扫描位置可以理解为感兴趣区域的边界位置，将第一扫描位置与第二扫描位置之间的各扫描图像，组成感兴趣区域图像。可以理解，感兴趣区域图像为三维图像。具体而言，将从眼睛到下颚之间的扫描区域作为感兴趣区域(VOI)，第一扫描位置可以理解为扫描到的眼睛平面所对应的扫描位置，第二扫描位置可以理解为扫描到的下颚平面所对应的扫描位置，从而将鼻子平面所在的扫描图像与下颚平面所在的扫描图像之间的所有扫描图像组成感兴趣区域图像。

如图4所示，提供了一个实施例中感兴趣区域图像的获取流程框架示意图，从扫描得到的图像序列中，提取从眼睛平面到下颚平面之间的图像作为感兴趣区域图像；提取出感兴趣区域图像后，针对不同个体不同的扫描范围和扫描层厚，还可以进行归一化预处理。归一化预处理可以包括层厚归一化和尺寸归一化，层厚归一化是指通过重采样的方式统一分辨率，尺寸归一化是指通过裁剪或填充的方式将三维影像归一化到同一尺寸。

上述实施例中，通过识别头部平面来提取感兴趣区域图像，可以实现病灶区域的大致定位，使得后续阶段的识别可以聚焦于感兴趣区域图像，减少工作量以及无关区域的干扰，有助于提高后续阶段的识别效率和精度。

对头部进行成像扫描时，可能存在某些头部地标平面(如眼睛平面、鼻子平面或下颚平面)的缺失，可以根据扫描到的任意一个或多个头部地标平面确定第一扫描位置和第二扫描位置。

在一个实施例中，当各扫描图像中头部平面的平面类别中包括眼睛平面和下颚平面时，根据眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置。

各扫描图像中头部平面的平面类别中包括眼睛平面和下颚平面，即扫描到眼睛平面和下颚平面，这种情况下，可以将眼睛平面所在的扫描图像对应的扫描位置作为第一扫描位置，将下颚平面所在的扫描图像对应的扫描位置作为第二扫描位置。

在一个实施例中，当各扫描图像中头部平面的平面类别中不包括眼睛平面、包括鼻子平面和下颚平面时，根据鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置。

各扫描图像中头部平面的平面类别中不包括眼睛平面、包括鼻子平面和下颚平面，即扫描到鼻子平面和下颚平面、未扫描到眼睛平面，这种情况下，可以将鼻子平面所在的扫描图像对应的扫描位置朝着眼睛方向移动第一预设距离得到第一扫描位置，将下颚平面所在的扫描图像对应的扫描位置作为第二扫描位置。其中，第一预设距离可以理解为鼻子平面与眼睛平面之间的物理距离，第一预设距离的值可以结合实际情况进行设置，在一个实施例中可以设为72mm。

在一个实施例中，当各扫描图像中头部平面的平面类别中不包括下颚平面、包括眼睛平面和鼻子平面时，根据眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置。

各扫描图像中头部平面的平面类别中不包括下颚平面、包括眼睛平面和鼻子平面，即扫描到眼睛平面和鼻子平面、未扫描到下颚平面，这种情况下，可以将眼睛平面所在的扫描图像对应的扫描位置作为第一扫描位置，将鼻子平面所在的扫描图像对应的扫描位置朝着下颚方向移动第二预设距离得到第二扫描位置。其中，第二预设距离可以理解为鼻子平面与下颚平面之间的物理距离，第二预设距离的值可以结合实际情况进行设置，在一个实施例中可以设为120mm。

在一个实施例中，当各扫描图像中头部平面的平面类别中不包括眼睛平面和下颚平面、包括鼻子平面时，根据鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置。

各扫描图像中头部平面的平面类别中不包括眼睛平面和下颚平面、包括鼻子平面，即扫描到鼻子平面、未扫描到眼睛平面和下颚平面，这种情况下，可以将鼻子平面所在的扫描图像对应的扫描位置朝着眼睛方向移动第一预设距离得到第一扫描位置，将鼻子平面所在的扫描图像对应的扫描位置朝着下颚方向移动第二预设距离得到第二扫描位置。其中，第一预设距离可以理解为鼻子平面与眼睛平面之间的物理距离，第二预设距离可以理解为鼻子平面与下颚平面之间的物理距离，第一预设距离和第二预设距离的值都可以结合实际情况进行设置，在一个实施例中，第一预设距离为72mm，第二预设距离为120mm。

上述实施例中，通过从扫描图像中识别出的头部地标平面(眼睛平面、鼻子平面、下颚平面)，可以快速并准确地定位感兴趣区域。需要说明的是，在头部地标平面识别的基础上，可以进一步进行地标点的检测和定位，包括鼻子、眼睛、耳朵、下颚等地标点的位置检测，从而进行更精细化的感兴趣区域图像的提取。

在一个实施例中，对感兴趣区域图像进行识别，获得识别结果的步骤，具体可以包括：通过训练好的目标识别模型，对感兴趣区域图像进行识别，获得识别结果；目标识别模型包括：特征提取及融合网络、检测分支网络和分类分支网络。

如图5所示，对感兴趣区域图像进行识别，获得识别结果的步骤，具体可以包括以下步骤S502至步骤S508。

S502，对感兴趣区域图像进行特征提取和特征融合，获得特征图。

具体而言，将感兴趣区域图像输入到目标识别模型中，利用目标识别模型中的特征提取及融合网络，对感兴趣区域图像进行特征提取和特征融合，获得特征图。在一个实施例中，特征提取及融合网络包括特征提取网络和特征融合网络。特征提取网络具体可以采用残差神经网络(如ResNet34，即4个阶段的卷积单元数分别为[3,4,6,3]，也可以采用ResNet18、ResNet50等)，特征融合网络具体可以采用特征金字塔网络(FPN)。

S504，根据特征图进行目标检测，获得各预测区域的位置信息及其置信度。

具体而言，利用目标识别模型中的检测分支网络，对特征图进行目标检测，获得各预测区域的位置信息及其置信度。预测区域是指在感兴趣区域图像中检测到的目标区域，具体可以是长方体框的形式。预测区域的位置信息包括该预测区域的尺寸大小、以及该预测区域中心点与特征图网格点间的偏移量大小。预测区域的置信度用于表示该预测区域为鼻咽部目标对象的概率。

S506，将置信度满足置信度要求的各预测区域作为候选区域，根据各候选区域的位置信息在特征图中对应的特征进行分类识别，获得识别到鼻咽部目标对象的概率。

具体而言，利用目标识别模型中的分类分支网络，将置信度满足置信度要求的各预测区域作为候选区域，将各候选区域的位置信息在特征图中对应的特征进行拼接，对拼接特征进行分类识别，获得识别到鼻咽部目标对象的概率。在一个实施例中，当置信度大于预设置信度时，判定其满足置信度要求，或者当置信度在所有置信度里排前k位时，判定其满足置信度要求。其中，预设置信度和k的值都可以根据实际情况进行设置，此处不做限定。

S508，若概率满足概率要求，根据各候选区域的位置信息获得鼻咽部目标对象的位置信息。

分类分支网络可以理解为二分类网络，分类识别结果包括图像是鼻咽部目标对象的第一概率、以及不是鼻咽部目标对象的第二概率。在一个实施例中，当第一概率大于第二概率时，判定其满足概率要求，或者当第一概率大于预设概率时，判定其满足概率要求。其中，预设概率的值可以根据实际情况进行设置，此处不做限定。

若通过分类分支网络识别到鼻咽部目标对象的概率满足概率要求，则根据通过检测分支网络获得的各候选区域的位置信息获得鼻咽部目标对象的位置信息，具体可以将置信度最大的候选区域的位置信息作为鼻咽部目标对象的位置信息。

上述实施例中，通过包括检测分支网络和分类分支网络的多任务分支网络，进行鼻咽部目标对象的识别和定位，与单纯的分类算法相比，可以直接预测鼻咽部目标对象的位置及大小，分类更具有指向性和可解释性，与用热力图显示分类关注的显著区域相比，更加直观可靠；与单纯的检测算法相比，可以对整幅图像的多个可疑区域进行综合考虑，给出整体的预测判断，更加符合人的判断逻辑，预测精度更高。

需要说明的是，本文中的鼻咽部目标对象可以是复发鼻咽癌，也可以是初发鼻咽癌，即本文实施例可以用于复发鼻咽癌的识别和定位，也可以用于初发鼻咽癌的识别和定位。

在一个实施例中，如图6所示，训练好的目标识别模型的训练过程包括以下步骤S602至步骤S610。

S602，获取样本感兴趣区域图像及其对应的标注信息，标注信息包括在样本感兴趣区域图像中各标注区域的位置信息和类别信息，类别信息用于指示标注区域是否为鼻咽部目标对象。

标注区域是指标注的目标区域，具体可以是长方体框的形式。标注区域的位置信息包括该标注区域的尺寸大小、以及该标注区域的中心点位置。标注区域的类别信息用于指示该标注区域是否为鼻咽癌。

S604，利用特征提取及融合网络，对样本感兴趣区域图像进行特征提取和特征融合，获得样本特征图。

在一个实施例中，特征提取及融合网络包括对称卷积网络、非对称卷积网络和特征融合网络；利用特征提取及融合网络，对样本感兴趣区域图像进行特征提取和特征融合，获得样本特征图的步骤，具体可以包括：利用非对称卷积网络，对样本感兴趣区域图像进行特征提取，获得第一特征图；利用对称卷积网络，对第一特征图进行特征提取，获得第二特征图；利用特征融合网络，对第一特征图和第二特征图进行特征融合，获得样本特征图。

样本感兴趣区域图像为三维图像，包括z、x和y三个方向的图像数据，z方向的分辨率与其他两个方向的差异较大，因此在网络的前部分采用非对称的3d卷积网络进行特征提取，可以有效的提取和融合xy平面的图像特征，同时消除z方向图像特征的干扰；在网络的后部分采用对称的3d卷积网络进行特征提取，可以有效进行三维语义信息的提取和融合。如图7所示，提供了一个实施例中对称及非对称卷积网络的示意图。其中，左侧为对称的3d卷积网络(3d conv block)示意图，卷积核大小为(3*3*3)；右侧为非对称的3d卷积网络(asym 3d conv block)示意图，卷积核大小为(1*3*3)。

具体而言，如图8所示，左侧为特征提取及融合网络的示意图，将样本感兴趣区域图像输入到特征提取及融合网络，在C0-C2的特征提取过程中，采用的卷积核和下采样比例分别为(1,3,3)和(1,2,2)，在C3-C4的特征提取及FPN特征融合过程中，采用的卷积核和下采样比例分别为(3,3,3)和(2,2,2)。特征融合后的P3通过4层3d卷积(kernel size＝3,stride＝1)得到最终的特征图fx，如输入图像大小为(B*1*32*256*256，B为batchsize，1为输入通道数，32*256*256为空间尺寸)，则通过下采样和特征融合后输出的特征图fx的大小为(B*F*32*32*32)，其中F为输出特征的维数。

S606，利用检测分支网络，根据样本特征图进行目标检测，获得各样本预测区域的位置信息及其置信度。

样本预测区域是指在样本感兴趣区域图像中检测到的目标区域，具体可以是长方体框的形式。如图8所示，右侧的上半部分为检测分支网络的示意图，将特征图输入到检测分支网络，通过检测分支网络输出各样本预测区域的位置信息及其置信度。其中，样本预测区域的位置信息包括该样本预测区域的尺寸大小(Size)、以及该样本预测区域中心点与特征图网格点间的偏移量大小(Offset)。样本预测区域的置信度用于表示该样本预测区域为鼻咽癌的概率。

S608，利用分类分支网络，将置信度满足置信度要求的各样本预测区域作为样本候选区域，根据各样本候选区域的位置信息在样本特征图中对应的特征进行分类识别，获得类别识别信息。

取置信度排前k位(topk)的各样本预测区域作为样本候选区域，举例来说，k取值为2，将所有置信度从大到小进行排序，取排在前两位的置信度对应的样本预测区域为样本候选区域。如图8所示，右侧的下半部分为分类分支网络的示意图，通过分类分支网络，根据各样本候选区域的位置信息从特征图上提取相应位置的特征向量，将其在特征维度上进行拼接，经2个全连接层进行分类，对感兴趣区域图像是否为鼻咽癌进行分类预测。

S610，基于各样本预测区域的位置信息及其置信度、类别识别信息以及标注信息，调整目标识别模型中各网络的参数，直至满足训练结束条件，获得训练好的目标识别模型。

可以基于样本感兴趣区域图像对应的目标检测结果、分类识别结果与标注信息之间的误差建立损失函数，目标识别模型的训练目标为损失函数的值尽可能小。训练结束条件可以是损失函数的值小于预设阈值，也可以是迭代次数达到预设次数，该预设阈值和预设次数都可以结合实际需求进行设置，此处不做限定。当不满足训练结束条件时，可以根据损失函数的值调整目标识别模型中各网络的参数，调整参数后返回步骤S604至步骤S608，直至满足训练结束条件，从而获得训练好的目标识别模型。

具体而言，模型训练时的损失函数由检测分支网络损失函数和分类分支网络损失函数组成，损失函数(Loss)的公式可以如下：

其中，检测分支网络中分类损失函数使用Focal Loss(FL)，N_pos表示预测区域数量；检测分支网络中尺寸大小和偏移量的损失函数都采用smooth-L1 Loss(smooth_L1)，N_offset和N_size为N_pos的3倍；分类分支网络直接使用交叉熵损失函数(L_bce)，α为分类分支网络损失函数的权重，为降低训练初始阶段topk候选区域错误选取的干扰，设置α范围为(0,1)。

上述实施例中，对目标识别模型进行训练，训练完成后，将感兴趣区域图像输入到训练好的目标识别模型中，可以对感兴趣图像中的鼻咽癌进行识别和定位。如图9所示，提供了一个实施例中预测结果的示意图，其中包括真实标注区域和预测区域，两者相交区域大，重合度高，表明预测精度高。

应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种图像识别装置1000，包括：获取模块1010、第一识别模块1020、确定模块1030和第二识别模块1040，其中：

获取模块1010，用于获取对被测者头部进行成像扫描得到的各扫描图像，扫描图像中包括扫描到的头部平面。

第一识别模块1020，用于对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别。

确定模块1030，用于根据各扫描图像中头部平面的平面类别，确定感兴趣区域图像。

第二识别模块1040，用于对感兴趣区域图像进行识别，获得识别结果，识别结果包括识别到鼻咽部目标对象的概率、以及鼻咽部目标对象的位置信息。

在一个实施例中，第一识别模块1020具体用于：通过训练好的头部平面识别模型，对各扫描图像进行识别，获得各扫描图像中头部平面的平面类别；训练好的头部平面识别模型的训练过程包括：获取对样本头部进行成像扫描得到的各样本扫描图像及其对应的类别标签，样本扫描图像中包括扫描到的样本头部平面，类别标签用于指示样本头部平面的真实类别；通过待训练头部平面识别模型，对各样本扫描图像进行识别，获得各样本扫描图像中样本头部平面的预测类别信息；基于预测类别信息与类别标签，调整待训练头部平面识别模型的参数，直至满足训练结束条件，获得训练好的头部平面识别模型。

在一个实施例中，获取模块1010具体用于：获取对被测者头部按照从一端到另一端的顺序依次进行成像扫描得到的各扫描图像，每一扫描图像对应一个扫描位置；确定模块1030具体用于：根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置；根据第一扫描位置与第二扫描位置之间的各扫描图像，确定感兴趣区域图像。

在一个实施例中，确定模块1030在根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置时，具体用于：当各扫描图像中头部平面的平面类别中包括眼睛平面和下颚平面时，根据眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置。

在一个实施例中，确定模块1030在根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置时，具体用于：当各扫描图像中头部平面的平面类别中不包括眼睛平面、包括鼻子平面和下颚平面时，根据鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置。

在一个实施例中，确定模块1030在根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置时，具体用于：当各扫描图像中头部平面的平面类别中不包括下颚平面、包括眼睛平面和鼻子平面时，根据眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置。

在一个实施例中，确定模块1030在根据各扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置时，具体用于：当各扫描图像中头部平面的平面类别中不包括眼睛平面和下颚平面、包括鼻子平面时，根据鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置。

在一个实施例中，第二识别模块1040具体用于：对感兴趣区域图像进行特征提取和特征融合，获得特征图；根据特征图进行目标检测，获得各预测区域的位置信息及其置信度；将置信度满足置信度要求的各预测区域作为候选区域，根据各候选区域的位置信息在特征图中对应的特征进行分类识别，获得识别到鼻咽部目标对象的概率；若概率满足概率要求，根据各候选区域的位置信息获得鼻咽部目标对象的位置信息。

在一个实施例中，第二识别模块1040具体用于：通过训练好的目标识别模型，对感兴趣区域图像进行识别，获得识别结果；目标识别模型包括：特征提取及融合网络、检测分支网络和分类分支网络；训练好的目标识别模型的训练过程包括：获取样本感兴趣区域图像及其对应的标注信息，标注信息包括在样本感兴趣区域图像中各标注区域的位置信息和类别信息，类别信息用于指示标注区域是否为鼻咽部目标对象；利用特征提取及融合网络，对样本感兴趣区域图像进行特征提取和特征融合，获得样本特征图；利用检测分支网络，根据样本特征图进行目标检测，获得各样本预测区域的位置信息及其置信度；利用分类分支网络，将置信度满足置信度要求的各样本预测区域作为样本候选区域，根据各样本候选区域的位置信息在样本特征图中对应的特征进行分类识别，获得类别识别信息；基于各样本预测区域的位置信息及其置信度、类别识别信息以及标注信息，调整目标识别模型中各网络的参数，直至满足训练结束条件，获得训练好的目标识别模型。

在一个实施例中，特征提取及融合网络包括对称卷积网络、非对称卷积网络和特征融合网络；利用非对称卷积网络，对样本感兴趣区域图像进行特征提取，获得第一特征图；通过对称卷积网络，对第一特征图进行特征提取，获得第二特征图；通过特征融合网络，对第一特征图和第二特征图进行特征融合，获得样本特征图。

关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定，在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11或12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

需要理解的是，上述实施例中的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。针对数值范围的描述，术语“多个”理解为等于或大于两个。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像识别方法，其特征在于，所述方法包括：

获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

2.根据权利要求1所述的方法，其特征在于，对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别，包括：

通过训练好的头部平面识别模型，对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

所述训练好的头部平面识别模型的训练过程包括：

获取对样本头部进行成像扫描得到的各样本扫描图像及其对应的类别标签，所述样本扫描图像中包括扫描到的样本头部平面，所述类别标签用于指示所述样本头部平面的真实类别；

通过待训练头部平面识别模型，对各所述样本扫描图像进行识别，获得各所述样本扫描图像中样本头部平面的预测类别信息；

基于所述预测类别信息与所述类别标签，调整所述待训练头部平面识别模型的参数，直至满足训练结束条件，获得所述训练好的头部平面识别模型。

3.根据权利要求1所述的方法，其特征在于，获取对被测者头部进行成像扫描得到的各扫描图像，包括：

获取对被测者头部按照从一端到另一端的顺序依次进行成像扫描得到的各扫描图像，每一所述扫描图像对应一个扫描位置；

根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像，包括：

根据各所述扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置；

根据所述第一扫描位置与所述第二扫描位置之间的各扫描图像，确定感兴趣区域图像。

4.根据权利要求3所述的方法，其特征在于，根据各所述扫描图像中头部平面的平面类别，确定第一扫描位置和第二扫描位置，包括下述各项中的任意一项：

第一项：

当各所述扫描图像中头部平面的平面类别中包括眼睛平面和下颚平面时，根据所述眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据所述下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置；

第二项：

当各所述扫描图像中头部平面的平面类别中不包括眼睛平面、包括鼻子平面和下颚平面时，根据所述鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据所述下颚平面所在的扫描图像对应的扫描位置确定第二扫描位置；

第三项：

当各所述扫描图像中头部平面的平面类别中不包括下颚平面、包括眼睛平面和鼻子平面时，根据所述眼睛平面所在的扫描图像对应的扫描位置确定第一扫描位置，根据所述鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置；

第四项：

当各所述扫描图像中头部平面的平面类别中不包括眼睛平面和下颚平面、包括鼻子平面时，根据所述鼻子平面所在的扫描图像对应的扫描位置以及第一预设距离确定第一扫描位置，根据所述鼻子平面所在的扫描图像对应的扫描位置以及第二预设距离确定第二扫描位置。

5.根据权利要求1至4中任一项所述的方法，其特征在于，对所述感兴趣区域图像进行识别，获得识别结果，包括：

对所述感兴趣区域图像进行特征提取和特征融合，获得特征图；

根据所述特征图进行目标检测，获得各预测区域的位置信息及其置信度；

将置信度满足置信度要求的各预测区域作为候选区域，根据各所述候选区域的位置信息在所述特征图中对应的特征进行分类识别，获得识别到鼻咽部目标对象的概率；

若所述概率满足概率要求，根据各所述候选区域的位置信息获得所述鼻咽部目标对象的位置信息。

6.根据权利要求1至4中任一项所述的方法，其特征在于，对所述感兴趣区域图像进行识别，获得识别结果，包括：

通过训练好的目标识别模型，对所述感兴趣区域图像进行识别，获得识别结果；所述目标识别模型包括：特征提取及融合网络、检测分支网络和分类分支网络；

所述训练好的目标识别模型的训练过程包括：

获取样本感兴趣区域图像及其对应的标注信息，所述标注信息包括在所述样本感兴趣区域图像中各标注区域的位置信息和类别信息，所述类别信息用于指示所述标注区域是否为鼻咽部目标对象；

利用特征提取及融合网络，对所述样本感兴趣区域图像进行特征提取和特征融合，获得样本特征图；

利用检测分支网络，根据所述样本特征图进行目标检测，获得各样本预测区域的位置信息及其置信度；

利用分类分支网络，将置信度满足置信度要求的各样本预测区域作为样本候选区域，根据各所述样本候选区域的位置信息在所述样本特征图中对应的特征进行分类识别，获得类别识别信息；

基于各所述样本预测区域的位置信息及其置信度、所述类别识别信息以及所述标注信息，调整所述目标识别模型中各网络的参数，直至满足训练结束条件，获得所述训练好的目标识别模型。

7.根据权利要求6所述的方法，其特征在于，所述特征提取及融合网络包括对称卷积网络、非对称卷积网络和特征融合网络；

利用特征提取及融合网络，对所述样本感兴趣区域图像进行特征提取和特征融合，获得样本特征图，包括：

利用非对称卷积网络，对所述样本感兴趣区域图像进行特征提取，获得第一特征图；

利用对称卷积网络，对所述第一特征图进行特征提取，获得第二特征图；

利用特征融合网络，对所述第一特征图和所述第二特征图进行特征融合，获得样本特征图。

8.一种图像识别装置，其特征在于，所述装置包括：

获取模块，用于获取对被测者头部进行成像扫描得到的各扫描图像，所述扫描图像中包括扫描到的头部平面；

第一识别模块，用于对各所述扫描图像进行识别，获得各所述扫描图像中头部平面的平面类别；

确定模块，用于根据各所述扫描图像中头部平面的平面类别，确定感兴趣区域图像；

第二识别模块，用于对所述感兴趣区域图像进行识别，获得识别结果，所述识别结果包括识别到鼻咽部目标对象的概率、以及所述鼻咽部目标对象的位置信息。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images