CN115018839A - 用于医学检查的图像识别方法、装置和电子装置 - Google Patents

Abstract

本申请涉及一种用于医学检查的图像识别方法、装置和电子装置，其中，该图像识别方法包括：获取待检测的第一图像，所述第一图像中具有目标检查部位，其中所述目标检查部位至少包括一个子检查部位；检测所述第一图像中的第二图像，获取所述第二图像的位置特征，其中所述第二图像为所述子检查部位的图像；提取所述第一图像的深度特征和所述第二图像的深度特征；根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果。通过本申请，解决了相关技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题，实现了准确的判断鼻咽喉镜关键部位图片是否合格的技术效果。

Description

用于医学检查的图像识别方法、装置和电子装置

技术领域

本申请涉及图像检测领域，特别是涉及一种用于医学检查的图像识别方法、装置和电子装置。

背景技术

鼻咽喉镜的检查主要关注鼻咽部偏右、鼻咽部偏左、声门及声门下区、声门上区、喉及下咽、会厌与舌根、左咽会厌襞、右咽会厌襞、左梨状窝、右梨状窝这10个关键部位。在进行检查的过程中，医生会在操作时或者视频回放里将这10个关键部位的图片抓取下来，最后医生会根据这10张图片出具检测报告，并放到检测报告中。鼻咽喉镜的检查时间大概有5分钟左右，医生从这5分钟的视频影像中挑选出10张合格的诊断图片，受限于医生的工作状态和经验积累，难免会出现图片漏选或者挑选的图片并不是最合格的情况。因此需要一种能够检测鼻咽喉镜关键部位图片是否合格的方法来进行辅助。

现有技术中，常见的图像检测技术只是对鼻咽喉镜关键部位图片的整体图片质量进行检测，比如检测图片有无噪点、有无运动模糊、有无曝光等一些图片质量上的问题。而鼻咽喉镜关键部位图片是否合格还需要判断其是否满足医学诊断标准，即关键部位图片上是否包含了所有能够用于诊断的解剖标志部位，且每一个解剖标志部位是否完整、是否清晰。其中，鼻咽喉镜检查中的每个关键部位至少包括一个解剖标志部位。鼻咽喉镜检查中常见的20个解剖标志部位分别是圆枕、咽鼓管咽口、咽隐窝、鼻咽部顶后壁、舌根、会厌谷、咽会厌襞、梨状窝、梨状窝底、下咽喉壁、环后区、会厌、杓会厌襞、杓突、室带、声带、前联合、后联合、喉室、声门下。因此现有技术中还缺少能够检测鼻咽喉镜关键部位图片是否合格的方法。

针对相关技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种用于医学检查的图像识别方法、装置、电子装置和存储介质，以解决相关技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题。

第一个方面，在本实施例中提供了一种用于医学检查的图像识别方法，所述方法包括：

获取待检测的第一图像，所述第一图像中包含目标检查部位，其中所述目标检查部位至少包括一个子检查部位；

检测所述第一图像中的第二图像，获取所述第二图像的位置特征，其中所述第二图像为所述子检查部位的图像；

提取所述第一图像的深度特征和所述第二图像的深度特征；

根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果。

在其中的一些实施例中，所述检测所述第一图像中的第二图像，获取所述第二图像的位置特征包括：

根据预设的第一检测模型检测所述第一图像中的第二图像；

若所述第一图像中的第二图像数量不符合预设值，则确定所述第一图像的识别结果为图像不合格；

若所述第一图像中的第二图像数量符合预设值，则获取所述第二图像的位置特征。

在其中的一些实施例中，所述第二图像的位置特征包括：单个所述第二图像的位置特征和/或多个所述第二图像之间的相对位置特征。

在其中的一些实施例中，所述单个所述第二图像的位置特征至少包括如下之一：

在所述第一图像的坐标系中，所述第二图像的顶点坐标、中心点坐标、中心点与原点的距离、中心点所在象限；

所述第二图像的长度、宽度、面积、长宽比；

所述第二图像与所述第一图像的面积比、所述第二图像在所述第一图像中的相对位置。

在其中的一些实施例中，所述多个所述第二图像之间的相对位置特征至少包括如下之一：

在所述第一图像的坐标系中，多个所述第二图像之间的中心点坐标差值、中心点距离；

多个所述第二图像之间的面积比、长度比、宽度比。

在其中的一些实施例中，所述根据预设的第一检测模型检测所述第一图像中的第二图像包括：

通过训练预设的第二检测模型得到用于检测子检查部位的所述第一检测模型；

将所述第一图像输入至所述第一检测模型中，通过所述第一检测模型检测所述第一图像中的子检查部位，并通过标记框选定所述子检查部位，所述标记框内部的图像则为所述第二图像。

在其中的一些实施例中，所述提取所述第一图像的深度特征和所述第二图像的深度特征包括：

通过预设的用于提取图像特征的预训练模型分别提取所述第一图像的深度特征和所述第二图像的深度特征。

在其中的一些实施例中，所述根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果包括：

通过训练预设的第一分类模型得到用于分类所述第一图像的第二分类模型；

对所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征进行融合得到融合特征，将所述融合特征输入至所述第二分类模型中；

通过所述第二分类模型输出所述第一图像的识别结果，其中所述识别结果包括图像合格和图像不合格。

第二个方面，在本实施例中提供了一种用于医学检查的图像识别装置，所述装置包括：

图像获取模块，用于获取待检测的第一图像，所述第一图像中具有目标检查部位，其中所述目标检查部位至少包括一个子检查部位；

图像检测模块，用于检测所述第一图像中的第二图像，获取所述第二图像的位置特征，其中所述第二图像为所述子检查部位的图像；

特征提取模块，用于提取所述第一图像的深度特征和所述第二图像的深度特征；

图像识别模块，用于根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的用于医学检查的图像识别方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的用于医学检查的图像识别方法。

与相关技术相比，在本实施例中提供的用于医学检查的图像识别方法，通过图像识别设备先获取待检测的包含目标检查部位的第一图像，然后检测第一图像中的子检查部位，并生成相应的第二图像；再获取第二图像的位置特征，以及提取第一图像和第二图像的深度特征，最后根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果，解决了相关技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题，实现了准确的判断鼻咽喉镜关键部位图片是否合格的技术效果。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的用于医学检查的图像识别方法的终端的硬件结构框图；

图2是本实施例的用于医学检查的图像识别方法的流程图；

图3是本优选实施例的用于医学检查的图像识别方法的流程图；

图4是本实施例的用于医学检查的图像识别装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的用于医学检查的图像识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的用于医学检查的图像识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种用于医学检查的图像识别方法，图2是本实施例的用于医学检查的图像识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，获取待检测的第一图像，第一图像中包含目标检查部位，其中目标检查部位至少包括一个子检查部位。

具体的，图像识别设备获取待检测的第一图像，第一图像为目标检查部位的医学图像，而一个目标检查部位中至少包含一个子检查部位，进而在第一图像中至少具有一个子检查部位。

示例性地，在鼻咽喉镜的检查场景下，第一图像则是鼻咽喉镜拍摄的图像，而目标检查部位则为鼻咽喉中被检查的部位，比如鼻咽部偏右、鼻咽部偏左、声门及声门下区、声门上区、喉及下咽、会厌与舌根、左咽会厌襞、右咽会厌襞、左梨状窝、右梨状窝这10个关键部位，这些被检查的关键部位即为目标检查部位。每个关键部位相应的包括一个或多个解剖标志部位，常见的有圆枕、咽鼓管咽口、咽隐窝、鼻咽部顶后壁、舌根、会厌谷、咽会厌襞、梨状窝、梨状窝底、下咽喉壁、环后区、会厌、杓会厌襞、杓突、室带、声带、前联合、后联合、喉室、声门下等20个解剖标志部位，这些解剖标志部位即为子检查部位。

步骤S220，检测第一图像中的第二图像，获取第二图像的位置特征，其中第二图像为子检查部位的图像。

具体的，图像识别设备在获取第一图像后，通过预设的技术手段检测出第一图像中的子检查部位，进而获得子检查部位的图像，该图像可以标记为第二图像。其中第二图像则为第一图像的局部图像。由于目标检查部位中至少包括一个子检查部位，因此应当可以基于第一图像获取至少一个第二图像。在检测出第一图像中的第二图像后，获取第二图像在第一图像中的位置特征。

具体的，位置特征可以是单个第二图像的位置特征，或是多个第二图像之间的相对位置特征，以及两种位置特征的组合。因此位置特征体现了子检查部位与整体目标检查部位的相对关系，以及各个子检查部位之间的相对关系，从而可以根据第二图像的位置特征判断子检查部位的位置是否合理，以及反过来判断子检查部位的检测结果是否有误。

示例性地，在鼻咽喉镜的检查场景下，位置特征反映了解剖标志部位在相应鼻咽喉关键部位中的位置，以及各个解剖标志部位之间的相对位置关系，进而根据第二图像的位置特征判断解剖标志部位的位置是否合理，若是不合理则说明该第一图像变形严重，或是解剖标志部位识别有误。

步骤S230，提取第一图像的深度特征和第二图像的深度特征。

具体的，图像识别设备在基于第一图像获取第二图像之后，采用预设的技术手段提取第一图像和第二图像的深度特征。具体的，可以通过相应的卷积神经网络模型提取第一图像和第二图像的深度特征。

因此在一个优选的实施例中，通过预设的用于提取图像特征的预训练模型分别提取第一图像的深度特征和第二图像的深度特征。其中预训练模型是指已经训练完成可直接使用的卷积神经网络模型，从而在本实施例中，用户不需要再自行训练相应的网络模型用于提取图像的深度特征。示例性地，可以采用ImageNet（图片数据库）的ResNet（残差网络）预训练模型提取第一图像和第二图像的全局平均池化层特征作为深度特征。比如可以使用ResNet34提取图像的全局平均池化层特征作为深度特征。

需要进一步说明的是，第一图像的深度特征用于判断目标检查部位整体上是否清晰、有无噪点、有无运动模糊等，从而判断第一图像的质量；而第二图像的深度特征用于判断子检查部位是否清晰且完整，进而从医学诊断标准判断第一图像的质量。

步骤S240，根据第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征，确定第一图像的识别结果。

具体的，图像识别设备从第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征等三个角度的特征信息来确定第一图像的识别结果。三个不同的特征信息分别从三个不同角度反映了第一图像的质量，因此通过本实施例中的图像识别方法得出的第一图像的识别结果更加精准，能够准确地判断第一图像是否合格，其能否满足医学诊断的要求。

具体的，可以采用图像分类模型对第一图像进行分类，从而获得第一图像的识别结果，其中识别结果包括图像合格和图像不合格两种。因此在一个具体的实施例中，第一图像的识别流程为：通过训练预设的第一分类模型得到用于分类第一图像的第二分类模型；对第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征进行融合得到融合特征，将融合特征输入至第二分类模型中；通过第二分类模型输出第一图像的识别结果，其中识别结果包括图像合格和图像不合格。

具体地在该实施例中，通过图像样本集训练第一分类模型，从而获得训练完备的第二分类模型，识别第一图像时将第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征融合后输入至第二分类模型中，最终获得第一图像的分类结果，该分类结果即为识别结果，进而可以判断第一图像合格或是不合格。示例性地，分类模型可以采用xgboost（分布式梯度增强库）模型，每一个目标检查部位均需要训练一个xgboost模型，每个模型均是合格不合格两个类别。

通过上述步骤，图像识别设备先获取待检测的包含目标检查部位的第一图像，然后检测第一图像中的子检查部位，并生成相应的第二图像；再获取第二图像的位置特征，以及提取第一图像和第二图像的深度特征，最后根据第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征，确定第一图像的识别结果。其中，第二图像的位置特征用于判断子检查部位的位置是否合理，以及反过来判断子检查部位的检测结果是否有误；第一图像的深度特征用于判断目标检查部位整体上是否清晰、有无噪点、有无运动模糊等，从而判断第一图像的质量；而第二图像的深度特征用于判断子检查部位是否清晰且完整，进而从医学诊断标准判断第一图像的质量。因此本实施例中的图像识别方法从三个不同的角度确定医学图像的图像质量，进而能够准确地判断相应的医学图像是否合格。当该图像识别方法应用在鼻咽喉镜检查中，可以解决现有技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题。

在其中的一些实施例中，步骤检测第一图像中的第二图像，获取第二图像的位置特征具体包括：根据预设的第一检测模型检测第一图像中的第二图像；若第一图像中的第二图像数量不符合预设值，则确定第一图像的识别结果为图像不合格；若第一图像中的第二图像数量符合预设值，则获取第二图像的位置特征。

具体的本实施例中，图像识别设备通过预设的第一检测模型来检测第一图像中的子检查部位，并获得相应的第二图像，同时可以获得第二图像的数量，第二图像数量即为在相应的目标检查部位中检测出的子检查部位数量。因此可以通过判断第二图像数量是否满足预设值来判断第一图像中是否完整的包含了应有的子检查部位。比如某个目标检查部位应当具有三个子检查部位，而在第一图像中实际检测出的第二图像仅有两个，则说明该第一图像中的目标检查部位是不完整的。则可能是在拍摄过程中没有完整的拍摄到目标检查部位，部分子检查部位未被拍摄到；或是部分子检查部位图像过于模糊，无法被有效地检测识别。无论是哪种原因导致子检查部位缺失，则该第一图像均是不合格的，无法在后续的医学诊断中被使用。因此在本实施例中，当第一图像中的第二图像数量不符合预设值时，则直接确定第一图像的识别结果为图像不合格，并且该第一图像的识别流程结束；当第一图像中的第二图像数量符合预设值时，则继续获取第二图像的位置特征，并继续对该第一图像进行后续的识别操作。

因此在本实施例中，在获取第二图像的位置特征以及提取第一图像的深度特征和第二图像的深度特征之前，先通过第二图像的数量对第一图像进行初步判断，能够简单有效地直接筛除部分明显不合格的第一图像，从而大大提高了图像识别效率。

在其中的一些实施例中，步骤根据预设的第一检测模型检测第一图像中的第二图像具体包括：通过训练预设的第二检测模型得到用于检测子检查部位的第一检测模型；将第一图像输入至第一检测模型中，通过第一检测模型检测第一图像中的子检查部位，并通过标记框选定子检查部位，标记框内部的图像则为第二图像。

具体的本实施例中，先通过包含子检查部位的图像样本集训练一个用于检测子检查部位的第一检测模型，然后用第一检测模型检测识别第一图像中的子检查部位，并采用相应的标记框来框选出子检查部位，而标记框内的图像则为第二图像。

在其中的一些实施例中，步骤单个第二图像的位置特征至少具体包括如下之一：在第一图像的坐标系中，第二图像的顶点坐标、中心点坐标、中心点与原点的距离、中心点所在象限；第二图像的长度、宽度、面积、长宽比；第二图像与第一图像的面积比、第二图像在第一图像中的相对位置。

具体的，由于第二图像是第一图像的一部分，因此可以在第一图像上建立坐标系来反映第二图像的位置。在采用标记框选定子检查部位的实施例中，每个第二图像在第一图像中的位置特征可以为标记框各个顶点的坐标、标记框的中心点坐标、标记框的中心点与坐标系原点的距离、标记框的中心点所在的坐标系象限；同时还可以通过顶点坐标，计算出第二图像的长度、宽度、面积、长宽比、第二图像与第一图像的面积比等；这些位置特征反映了子检查部位的大小、形状、比例等信息；同时位置特征还包括第二图像在第一图像中的相对位置，比如第二图像是否在第一图像的边缘位置。

在其中的一些实施例中，步骤多个第二图像之间的相对位置特征至少具体包括如下之一：在第一图像的坐标系中，多个第二图像之间的中心点坐标差值、中心点距离；多个第二图像之间的面积比、长度比、宽度比。

具体的，第一图像中还可能包括多个第二图像，因此还需要获取各个第二图像之间的相对位置关系，从而反映同一目标检查部位中各子检查部位之间的相对位置关系。在采用标记框选定子检查部位的实施例中，多个第二图像之间的相对位置特征可以为不同标记框的中心点坐标之间的差值、以及中心点之间的距离；同时在获取每个第二图像的长度、宽度、面积后，还可以计算出不同第二图像之间的面积比、长度比、宽度比等。这些相对位置特征反映了不同子检查部位之间的相对位置关系、相对大小关系等。

下面通过优选实施例对本申请中的技术方案进行描述和说明。

图3是本优选实施例的用于医学检查的图像识别方法的流程图。该本优选实施例中的图像识别方法应用在识别鼻咽喉镜检查中关键部位图片的场景中，如图3所示，该方法包括如下步骤：

步骤S310，对关键部位的图片进行解剖标志位的检测。

具体的，所有鼻咽喉镜关键部位的图片都有其对应的解剖标志位，因此在进行鼻咽喉镜关键部位的合格图片判断前，需要得到每一个解剖标志位的位置信息，即解剖标志位的最大外接矩形在图片的左上角x、y坐标和右下角x、y坐标。至于如何得到每一个解剖标志位的位置信息，可以自行应用目标检测网络来训练一个专门检测解剖标志位的模型。

步骤S320，判断解剖标志位是否齐全。

具体的，如果检测出的解剖标志位对于该关键部位而言不齐全，则该关键部位图片不合格，否则继续执行后续步骤S330。

步骤S330，获取解剖标志位的位置特征。

具体的，单个解剖标志位的位置特征信息为：x轴最小值、x轴最大值、y轴最小值、y轴最大值、长度、宽度、面积、长宽比、中心点坐标、中心点与原点的距离、中心点所在图片的第几象限、与所在关键部位图片的面积比、解剖标志位是否处在图片边缘等。各个解剖标志位间的位置特征信息为：各个解剖标志位间的中心点坐标插值、中心点之间的距离、面积比、长度比、宽度比、IOU等。

步骤S340，确定解剖标志位图片。

目标检测网络通过最大外接矩形选定解剖标志位，则最大外接矩形的内部图片则为解剖标志位图片。

步骤S350，提取关键部位图片的深度特征和提取解剖标志位图片的深度特征。

具体的，用ImageNet的ResNet预训练模型提取关键部位图片的深度特征。具体使用哪一个预训练模型、哪一层特征可以自行设定，本优选实施例中使用的是ResNet34，提取了全局平均池化层特征作为深度特征。与提取关键部位图片的深度特征相同，在提取解剖标志位图片的深度特征中，用ImageNet的ResNet预训练模型提取全局平均池化层特征作为深度特征。具体使用哪一个预训练模型、哪一层特征可以自行设定，本优选实施例中使用的是ResNet34。

步骤S360，将解剖标志位的位置特征、关键部位图片的深度特征和解剖标志位图片的深度特征进行融合。

具体的，本优选实施例中提取了关键部位图片的深度特征，用来判断整张图是否清晰、有无噪点、有无运动模糊等用来判断整幅图片的质量；提取了解剖标志位图片的深度特征，用来判断解剖标志位图片是否清晰且完整；提取了解剖标志位的位置信息，用来判断解剖标志位是否检测合理，是否位置正确，也能辅助判断是否完整。当所有特征提取完成后，将特征进行融合，特征融合可以是其他不同的方式，本优选实施例中用的是特征依次连接操作。

步骤S370，将融合后的特征输入至分类模型中。

具体的，特征融合之后就可送入分类模型中进行关键部位图片的合格不合格分类。其中，图片分类模型可以是任何分类模型，本优选实施例中使用的分类模型是xgboost，每个关键部位都需要训练一个xgboost模型，每个模型均是合格不合格两个类别。

步骤S380，输出图像识别结果。

具体的，通过分类模型输出图像识别结果，图像识别结果包括图像合格和图像不合格两种，分别对应分类模型的两种分类结果。

通过上述优选实施例的说明，可以看出本申请中的技术方案具有如下优点：

1、不仅能判断鼻咽喉镜关键部位图片的质量好坏，还能判断是否符合诊断报告中的标准。

2、结合了关键部位图片、解剖标志位图片和解剖标志位的位置信息，从三个不同维度提取特征，对关键部位图片的合格不合格判断更加准确。

3、提取的深度特征所用的网络模型不需要自行训练，可以使用ImageNet中的预训练模型，实现起来简单方便。

在本实施例中还提供了一种用于医学检查的图像识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳的以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本实施例的用于医学检查的图像识别装置的结构框图，如图4所示，该装置包括：

图像获取模块410，用于获取待检测的第一图像，第一图像中具有目标检查部位，其中目标检查部位至少包括一个子检查部位；

图像检测模块420，用于检测第一图像中的第二图像，获取第二图像的位置特征，其中第二图像为子检查部位的图像；

特征提取模块430，用于提取第一图像的深度特征和第二图像的深度特征；

图像识别模块440，用于根据第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征，确定第一图像的识别结果。

通过上述功能模块的配合，图像识别装置先获取待检测的包含目标检查部位的第一图像，然后检测第一图像中的子检查部位，并生成相应的第二图像；再获取第二图像的位置特征，以及提取第一图像和第二图像的深度特征，最后根据第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征，确定第一图像的识别结果。因此本实施例中的图像识别装置从三个不同的角度确定医学图像的图像质量，进而能够准确地判断相应的医学图像是否合格。当该图像识别装置应用在鼻咽喉镜检查中，可以解决现有技术中存在的无法有效地判断鼻咽喉镜关键部位图片是否合格的问题。

需要进一步说明的是，本实施例中的用于医学检查的图像识别装置的具体工作原理及过程，在上述方法实施例中已经具体说明，在此不再赘述。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待检测的第一图像，第一图像中具有目标检查部位，其中目标检查部位至少包括一个子检查部位。

S2，检测第一图像中的第二图像，获取第二图像的位置特征，其中第二图像为子检查部位的图像。

S3，提取第一图像的深度特征和第二图像的深度特征。

S4，根据第一图像的深度特征、第二图像的深度特征以及第二图像的位置特征，确定第一图像的识别结果。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的用于医学检查的图像识别方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种用于医学检查的图像识别方法。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于医学检查的图像识别方法，其特征在于，所述方法包括：

获取待检测的第一图像，所述第一图像中包含目标检查部位，其中所述目标检查部位至少包括一个子检查部位；

检测所述第一图像中的第二图像，获取所述第二图像的位置特征，其中所述第二图像为所述子检查部位的图像；

提取所述第一图像的深度特征和所述第二图像的深度特征；

根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果。

2.根据权利要求1所述的用于医学检查的图像识别方法，其特征在于，所述检测所述第一图像中的第二图像，获取所述第二图像的位置特征包括：

根据预设的第一检测模型检测所述第一图像中的第二图像；

若所述第一图像中的第二图像数量不符合预设值，则确定所述第一图像的识别结果为图像不合格；

若所述第一图像中的第二图像数量符合预设值，则获取所述第二图像的位置特征。

3.根据权利要求1或权利要求2所述的用于医学检查的图像识别方法，其特征在于，所述第二图像的位置特征包括：单个所述第二图像的位置特征和/或多个所述第二图像之间的相对位置特征。

4.根据权利要求3所述的用于医学检查的图像识别方法，其特征在于，所述单个所述第二图像的位置特征至少包括如下之一：

在所述第一图像的坐标系中，所述第二图像的顶点坐标、中心点坐标、中心点与原点的距离、中心点所在象限；

所述第二图像的长度、宽度、面积、长宽比；

所述第二图像与所述第一图像的面积比、所述第二图像在所述第一图像中的相对位置。

5.根据权利要求3所述的用于医学检查的图像识别方法，其特征在于，所述多个所述第二图像之间的相对位置特征至少包括如下之一：

在所述第一图像的坐标系中，多个所述第二图像之间的中心点坐标差值、中心点距离；

多个所述第二图像之间的面积比、长度比、宽度比。

6.根据权利要求2所述的用于医学检查的图像识别方法，其特征在于，所述根据预设的第一检测模型检测所述第一图像中的第二图像包括：

通过训练预设的第二检测模型得到用于检测子检查部位的所述第一检测模型；

将所述第一图像输入至所述第一检测模型中，通过所述第一检测模型检测所述第一图像中的子检查部位，并通过标记框选定所述子检查部位，所述标记框内部的图像则为所述第二图像。

7.根据权利要求1或权利要求2所述的用于医学检查的图像识别方法，其特征在于，所述提取所述第一图像的深度特征和所述第二图像的深度特征包括：

通过预设的用于提取图像特征的预训练模型分别提取所述第一图像的深度特征和所述第二图像的深度特征。

8.根据权利要求1或权利要求2所述的用于医学检查的图像识别方法，其特征在于，所述根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果包括：

通过训练预设的第一分类模型得到用于分类所述第一图像的第二分类模型；

对所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征进行融合得到融合特征，将所述融合特征输入至所述第二分类模型中；

通过所述第二分类模型输出所述第一图像的识别结果，其中所述识别结果包括图像合格和图像不合格。

9.一种用于医学检查的图像识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测的第一图像，所述第一图像中具有目标检查部位，其中所述目标检查部位至少包括一个子检查部位；

图像检测模块，用于检测所述第一图像中的第二图像，获取所述第二图像的位置特征，其中所述第二图像为所述子检查部位的图像；

特征提取模块，用于提取所述第一图像的深度特征和所述第二图像的深度特征；

图像识别模块，用于根据所述第一图像的深度特征、所述第二图像的深度特征以及所述第二图像的位置特征，确定所述第一图像的识别结果。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求8中任一项所述的用于医学检查的图像识别方法。

Images