CN114581708A - 医学图像中的目标识别的模型训练装置及识别装置 - Google Patents

医学图像中的目标识别的模型训练装置及识别装置 Download PDF

Info

Publication number
CN114581708A
CN114581708A CN202210205466.XA CN202210205466A CN114581708A CN 114581708 A CN114581708 A CN 114581708A CN 202210205466 A CN202210205466 A CN 202210205466A CN 114581708 A CN114581708 A CN 114581708A
Authority
CN
China
Prior art keywords
region
target
training
model
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210205466.XA
Other languages
English (en)
Inventor
王娟
潘晓春
陈素平
夏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibionics Intelligent Technology Co Ltd
Original Assignee
Shenzhen Sibionics Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibionics Intelligent Technology Co Ltd filed Critical Shenzhen Sibionics Intelligent Technology Co Ltd
Priority to CN202210205466.XA priority Critical patent/CN114581708A/zh
Publication of CN114581708A publication Critical patent/CN114581708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本公开描述了一种医学图像中的目标识别的模型训练装置及识别装置。模型训练装置包括获取模块、构建模块和训练模块；获取模块配置为获取作为训练样本的医学图像和训练样本中的目标对应的标注区域；构建模块配置为确定标注区域内的目标的目标区域，并利用训练样本、标注区域和目标区域构建训练集，训练样本中目标区域内的像素确定属于目标；以及训练模块配置为基于训练集训练待训练模型，并利用训练损失函数优化待训练模型以获取经训练模型，其中，在训练损失函数中，利用空间权重减小训练样本中的第一区域的像素对待训练模型的负面影响，第一区域为训练样本中的标注区域内的目标的目标区域以外的区域。由此，能够有效地对小目标进行识别。

Description

医学图像中的目标识别的模型训练装置及识别装置
技术领域
本公开涉及基于人工智能的图像处理领域，具体涉及一种医学图像中的目标识别的模型训练装置及识别装置。
背景技术
近些年来，人工智能技术在计算机视觉领域中取得了巨大的成就。例如，深度学习技术在语义分割、图像分类和目标识别等方面的应用越来越广泛。特别在医学领域，常常通过对医学图像中的目标进行分割、识别或分类以辅助对目标进行分析。
目前，深度学习目标识别技术对大尺寸的目标可以获得较高的识别准确度，但是对小目标(例如细物体或小物体)的识别性能却不尽人意，容易造成漏报和虚警的情况，并且区别小目标的类别也很困难。例如，在眼底图像中，点状出血和微血管瘤等小目标体征由于目标小、颜色浅、颜色接近，因此在深度学习进行目标识别时不易发现，也不易区分。因此，如何有效地对小目标进行识别还有待于研究。
发明内容
本公开是有鉴于上述现有技术的状况而提出的，其目的在于提供一种能够有效地对小目标进行识别的医学图像中的目标识别的模型训练装置及识别装置。
为此，本公开第一方面提供一种医学图像中的目标识别的模型训练装置，包括获取模块、构建模块和训练模块；所述获取模块配置为获取作为训练样本的所述医学图像和所述训练样本中的所述目标对应的标注区域；所述构建模块配置为确定所述标注区域内的所述目标的目标区域，并利用所述训练样本、所述标注区域和所述目标区域构建训练集，其中，所述训练样本中所述目标区域内的像素确定属于所述目标；以及所述训练模块配置为基于所述训练集训练待训练模型，并利用训练损失函数优化所述待训练模型以获取经训练模型，其中，在所述训练损失函数中，利用空间权重减小所述训练样本中的第一区域的像素对所述待训练模型的负面影响，所述第一区域为所述训练样本中的所述标注区域内的所述目标的目标区域以外的区域。在这种情况下，通过获取训练样本中标注区域内的确定像素均属于目标的目标区域以识别标注区域内未确定类别的像素，并结合空间权重对待训练模型进行训练以减小标注区域内的未确定类别的像素对待训练模型的负面影响，进而能够使训练后的待训练模型对输入图像的预测结果的准确性提高。由此，能够有效地对小目标进行识别。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述模型训练装置还包括预处理模块，所述预处理模块配置为在构建所述训练集之前，对所述训练样本进行预处理，其中，在所述预处理中，对所述训练样本进行阈值分割以获取用于识别所述训练样本的感兴趣区域的感兴趣分割结果，并利用所述感兴趣区域对所述训练样本进行裁剪。由此，能够使训练样本的尺寸一致且包含感兴趣区域。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述目标区域由区域分割结果确定，其中，通过对所述标注区域内的图像数据进行欠分割以获取所述区域分割结果。由此，能够基于欠分割获得的区域分割结果识别标注区域内未确定类别的像素。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述构建模块包括阈值分割模块，所述阈值分割模块配置为：基于所述训练样本中所述标注区域对应的图像数据获取待分割图像数据、或基于所述训练样本中所述标注区域对应的图像数据以及感兴趣分割结果中所述标注区域对应的图像数据获取所述待分割图像数据，其中，所述感兴趣分割结果为用于识别所述训练样本的感兴趣区域的二值图像；并且对所述待分割图像数据进行阈值分割，进而获取所述区域分割结果，其中，所述区域分割结果为二值图像。在这种情况下，能够通过阈值分割识别待分割图像数据中的目标区域，并且在标注区域包括感兴趣区域以外的区域时，能够消除感兴趣区域以外的噪声。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述阈值分割模块根据所述目标所属的标注类别的获取阈值方法获取目标分割阈值，利用所述目标分割阈值对所述待分割图像数据进行阈值分割，其中，各个标注类别的获取阈值方法由各个标注类别的平均面积和平均颜色确定，所述获取阈值方法包括第一种方法和第二种方法，所述第一种方法对应的标注类别的平均面积大于所述第二种方法对应的标注类别的平均面积且所述第一种方法对应的标注类别的平均颜色比所述第二种方法对应的标注类别的平均颜色浅；对于所述第一种方法，查找阈值，使所述待分割图像数据内灰度值大于所述阈值的像素的面积小于所述待分割图像数据的面积的预设倍数，将所述阈值作为所述目标分割阈值，其中，所述预设倍数大于0且小于1；对于所述第二种方法，若所述待分割图像数据的最小的边的长度小于预设长度，则取所述待分割图像数据中像素的灰度值的均值作为所述目标分割阈值，否则基于所述待分割图像数据的四个角的区域和中心区域的灰度值确定所述目标分割阈值。在这种情况下，能够根据目标对应的标注类别自身的特点获取目标分割阈值。由此，能够提高阈值分割的准确性。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述阈值分割模块还包括腐蚀模块，所述腐蚀模块配置为在获取所述区域分割结果之前，对所述待分割图像数据的阈值分割结果进行腐蚀操作，其中，腐蚀核k满足公式：
Figure BDA0003529092070000031
其中，h表示所述标注区域的高和w表示所述标注区域的宽，H表示所述训练样本的高度，W表示所述训练样本的宽度，p表示预设的超参数。在这种情况下，能够根据训练样本的大小、标注区域的大小和预设的超参数获取合适大小的腐蚀核。由此，能够抑制过度腐蚀。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述训练损失函数采用加权均衡交叉熵。在这种情况下，能够抑制正负样本失衡，进而进一步提高待训练模型对小目标的识别的准确性。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，在所述空间权重中，所述训练样本中的所述第一区域的像素被分配第一权重，其中，所述第一权重为0。在这种情况下，能够忽略未确定类别的样本，以减小未确定类别的样本对待训练模型的负面影响。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述训练样本中的所述第一区域、第二区域、第三区域和第四区域的像素分别被分配第一权重、第二权重、第三权重和第四权重，其中，所述第二区域为所述目标区域，所述第三区域为感兴趣区域内的不属于所述标注区域的区域，所述第四区域为所述感兴趣区域之外的区域，所述第一权重小于所述第二权重且小于所述第三权重，所述第四权重小于所述第二权重且小于所述第三权重。在这种情况下，能够抑制未确定类别的像素以及感兴趣区域以外的像素对待训练模型的负面影响，提高目标区域以内和感兴趣区域内的无目标区域对待训练模型的正面影响。由此，能够提高模型的准确性。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述待训练模型是语义分割模型，所述待训练模型的预测结果是所述训练样本的语义分割结果。由此，能够对小目标进行识别。
另外，在本公开的第一方面所涉及的模型训练装置中，可选地，所述标注区域的形状为矩形。由此，能够降低标注的难度。
本公开第二方面提供了一种医学图像中目标识别的识别装置，包括：获取模块，其配置为获取作为输入图像的所述医学图像；并且预测模块，其配置为根据本公开的第一方面所述的模型训练装置获得的至少一个经训练模型，确定针对所述输入图像的各个经训练模型的预测结果，基于所述至少一个经训练模型的预测结果获取目标预测结果。
另外，在本公开的第二方面所涉及的识别装置中，可选地，各个经训练模型的预测结果包括所述输入图像中的各个像素属于相应标注类别的概率，所述预测模块按标注类别和像素对所述至少一个经训练模型的预测结果进行集成以获取所述输入图像的各个像素属于相应标注类别的集成概率，基于所述集成概率确定连通区域，基于该连通区域获取各个标注类别对应的所述目标预测结果，其中，若仅存在一个经训练模型，则将所述概率作为所述集成概率，否则对多个经训练模型的预测结果求均值以获取所述输入图像中的各个像素属于相应标注类别的概率均值并作为所述集成概率。在这种情况下，基于集成概率获取目标预测结果，能够进一步提高目标预测结果的准确性。
另外，在本公开的第二方面所涉及的识别装置中，可选地，所述医学图像为眼底图像。在这种情况下，训练后获得的模型能够对眼底图像中的小目标进行识别。
另外，在本公开的第二方面所涉及的识别装置中，可选地，所述目标包括微血管瘤、点状出血、片状出血和线状出血。在这种情况下，训练后获得的模型能够对眼底图像中的小目标进行识别。
根据本公开，提供一种能够有效地对小目标进行识别的医学图像中的目标识别的模型训练装置及识别装置。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开，其中：
图1是示出了本公开示例所涉及的识别目标环境的示例的示意图。
图2是示出了本公开示例所涉及的模型训练装置的示例的框图。
图3是示出了本公开示例所涉及的一些示例的标注区域的示意图。
图4是示出了本公开示例所涉及的一些示例的区域分割结果的示意图。
图5是示出了本公开示例所涉及的构建模块的示例的框图。
图6是示出了本公开示例所涉及的阈值分割模块获取区域分割结果的示例的流程图。
图7是示出了本公开示例所涉及的采用U-Net架构的待训练模型的示例的架构图。
图8是示出了本公开示例所涉及的一些示例的若干个区域的示意图。
图9是示出了本公开示例所涉及的模型训练方法的示例的流程图。
图10是示出了本公开示例所涉及的医学图像中目标识别的识别装置的示例的框图。
图11是示出了本公开示例所涉及的医学图像中目标识别的方法的示例的流程图。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。
本文中的术语“电路”可以指硬件电路和/或硬件电路和软件的组合。在本公开中术语“模型”能够处理输入并且提供相应输出。在本文中，术语“神经网络”、“深度神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。另外，本文提到相关对象(例如，标注区域、待分割图像数据和目标)的矩形特性(例如，边、宽、高、宽度和高度)，若对象本身不为矩形，除非特别说明，可以默认为对象的外接矩形的矩形特性。
现有深度学习目标识别的方案，采用各种形状的框标的标注方式(也即，不要求准确边界的标注方式)对小目标进行识别。但是如上文所简要提及的，该方案对图像中小目标的识别效果不尽人意，存在较大的漏报和虚警的风险。这是由于小目标的面积较小，可提取的特征少，容易受噪声和其他组织的干扰。因此一种更好的方案是通过深度学习目标分割的方式对小目标进行分割从而实现对小目标的识别。但是该方案需要对小目标的边界进行精确标注，造成图像标注的困难。为了克服上面两个方案的不足，本公开通过获得标注区域中确定像素均属于目标的目标区域，并使用已确定目标区域的标注区域作为金标准对医学图像进行分割，从而实现了小目标的准确识别。特别地，本公开采用空间权重的方法处理位于标注区域内且目标区域以外的未确定类别的像素对图像分割的负面影响。在这种情况下，能够有效地对小目标进行识别。
因此，本公开的示例提出了一种训练模型和医学图像中目标识别的方案，以解决上述问题和/或其他潜在问题中的一个或多个。该方案采用图像分割的方法进行目标识别(也即，先获取训练样本中标注区域内确定像素均属于目标的目标区域，然后将已确定目标区域的标注区域进行后处理得到目标识别结果)。具体地，该方案通过确定训练样本中标注区域内的确定像素均属于目标的目标区域以识别标注区域内未确定类别的像素，并结合空间权重(也即，权重的设置可以与像素的位置相关)对神经网络模型进行训练以减小标注区域内的未确定类别的像素对神经网络模型的负面影响，能够提高经训练模型对输入图像(例如，医学图像)的预测结果的准确性。另外，经训练模型可以为经训练的神经网络模型(也即，训练后的神经网络模型)。例如，经训练的语义分割模型。由此，能够优化训练所得的模型的性能，提高模型对小目标的识别的准确性。在一些示例中，经训练模型可以是训练后获得的最优的神经网络模型。
本公开的示例涉及的训练模型和医学图像中目标识别的方案，其有效地对小目标进行识别。本公开的示例涉及的医学图像中目标识别的模型训练装置可以简称为模型训练装置或训练装置。需要说明的是，本公开的示例涉及的方案同样适用于大目标的识别。
本公开的示例涉及的图像可以来自相机、CT扫描、PET-CT扫描、SPECT扫描、MRI、超声、X射线、血管造影照片、荧光图、胶囊内窥镜拍摄的图像或其组合。在一些示例中，图像可以为医学图像。例如，医学图像可以包括但不限于眼底图像、肺部图像、胃部图像、胸部图像和脑部图像等。由此，能够对医学图像中的小目标进行识别。在一些示例中，图像可以为自然图像。自然图像可以为自然场景下观察或者拍摄到的图像。由此，能够对自然图像中的小目标进行识别。以下以图像为医学图像中的眼底图像为例描述了本公开的示例，并且这样的描述并不限制本公开的范围，对于本领域技术人员而言，可以使用其它类型的图像而没有限制。
以下将结合附图来详细描述本公开的示例。图1是示出了本公开示例所涉及的识别目标环境100的示例的示意图。如图1所示，识别目标环境100可以包括计算设备110。计算设备110可以是具有计算能力的任何设备。例如，计算设备110可以为云服务器、个人计算机、大型机和分布式计算系统等。
计算设备110可以获取输入120并利用神经网络模型130(有时也可以被简称为待训练模型130或模型130)生成与输入120对应的输出140。在一些示例中，输入120可以为上述的图像，输出140可以为预测结果、训练参数(例如，权重)、或性能指标(例如，准确率和错误率)等。在一些示例中，神经网络模型130可以包括但不限于语义分割模型(例如，U-Net)、或者其他与图像处理相关的模型。另外，可以利用任何合适的网络结构来实现神经网络模型130。例如，卷积神经网络(CNN)、循环神经网络(RNN)和深度神经网络(DNN)等。
在一些示例中，识别目标环境100还可以包括模型训练装置和模型应用装置(未图示)。模型训练装置可以用于实施训练神经网络模型130的训练方法以获取经训练模型。模型应用装置可以用于实施利用经训练模型获取预测结果的相关方法以对图像中的目标进行识别。另外，在模型训练阶段，神经网络模型130可以是待训练模型130。在模型应用阶段，神经网络模型130可以是经训练模型。
图2是示出了本公开示例所涉及的模型训练装置200的示例的框图。例如，模型训练装置200可以由图1所示的计算设备110来实现。另外，模型训练装置200可以用于训练医学图像中目标识别的模型。
如图2所示，模型训练装置200可以包括获取装置210。获取装置210可以配置为获取作为训练样本的医学图像和训练样本中的目标对应的标注区域。也即，在训练阶段，可以获取医学图像作为训练样本。由此，能够对医学图像中的目标进行识别。在一些示例中，医学图像可以为彩色图像。由此，能够提高对小目标识别的准确性。
另外，医学图像中可以包含相应的目标，目标可以属于至少一个感兴趣的类别(也即，需要识别的类别)。在一些示例中，对于医学图像为眼底图像，目标可以包括微血管瘤、点状出血、片状出血和线状出血等小目标。在这种情况下，训练后获得的模型能够对眼底图像中的小目标进行识别。
图3是示出了本公开示例所涉及的一些示例的标注区域的示意图。
在一些示例中，可以对训练样本中目标进行标注以获取标注区域。另外，标注区域的形状可以为矩形、圆形或与训练样本中目标的形状相匹配的形状(例如，标注区域的形状可以为目标的轮廓)。优先地，标注区域的形状可以为矩形。由此，能够降低标注的难度。作为示例，图3示出了眼底图像中的标注区域D1，其中，标注区域D1的形状为矩形，标注区域D1内的目标为片状出血。
另外，标注区域可以具有相应的标注标签(也即，目标的标注类别)，该标注标签可以用于区分目标的类别。标注类别可以与目标的类别一一对应。例如，对于眼底图像，目标的类别和标注类别可以分别包括但不限于微血管瘤、点状出血、片状出血和线状出血等。在一些示例中，可以用数字表示相应的标注类别。由此，能够方便计算设备110进行计算。另外，标注区域和对应的标注标签可以称为标注结果。
如图2所示，模型训练装置200还可以包括构建模块230。构建模块230可以配置为确定训练样本中的标注区域内的目标的目标区域，并利用训练样本、标注区域和目标区域构建训练集。
另外，训练样本中目标区域内的像素确定属于目标。在一些示例中，目标区域可以由区域分割结果确定。也即，区域分割结果可以用于确定标注区域内的目标的目标区域。在这种情况下，能够识别出标注区域中的目标区域，进而能够基于目标区域确定未确定类别的像素。具体地，训练样本中的标注区域内的目标区域以外的像素可以为未确定类别的像素。但本公开的示例不限于此，在另一些示例中，也可以使用其他任意能够确定目标区域的方式。
另外，区域分割结果可以是能够识别出目标区域的任意形式的数据(例如，图像)。在一些示例中，区域分割结果可以为二值图像。在一些示例中，对于为二值图像的区域分割结果中，可以令值为1的像素对应的区域为目标区域(也即，若像素的值为1，则可以表示训练样本中对应位置的像素属于目标，若像素的值为0，则可以表示训练样本中对应位置的像素为未确定类别的像素)。在这种情况下，能够减小未确定类别的像素对待训练模型130的负面影响。
图4是示出了本公开示例所涉及的一些示例的区域分割结果的示意图。
作为示例，图4示出了图3中的标注区域D1对应的区域分割结果A1，其中，D2为目标区域。另外，为了使区域分割结果A1显示得更清楚，图4的区域分割结果A1是进行了等比例放大的结果，并不表示对本公开的限制，图4的区域分割结果A1实际可以与标注区域D1的大小一致。
在一些示例中，构建模块230可以配置为对训练样本中标注区域内的图像数据进行欠分割以获取区域分割结果(也即，可以通过欠分割分割出标注区域内的目标对应的目标区域以获取区域分割结果)。由此，能够基于欠分割获得的区域分割结果识别标注区域内未确定类别的像素。一般而言，前景目标物误分割为背景但是背景未被误分割为前景目标可以称为欠分割。这里，欠分割可以为标注区域中的属于目标的像素误分割为非目标但标注区域中的不属于目标的像素未被误分割为目标。在这种情况下，能够使区域分割结果中目标区域内的像素确定属于目标。另外，在标注区域以内，目标区域以外的像素不一定属于目标(也即，可以为未确定类别的像素)。在这种情况下，通过对训练样本中标注区域内的图像数据进行欠分割以识别标注区域内未确定类别的像素，后续能够结合空间权重对待训练模型130进行训练以减小标注区域内的未确定类别的像素对待训练模型130的负面影响，进而能够使训练后的待训练模型130对输入图像的预测结果的准确性提高。由此，能够有效地对小目标进行识别。
在一些示例中，构建模块230可以配置为基于训练样本和上述的感兴趣分割结果中标注区域分别对应的图像数据确定标注区域对应的区域分割结果。具体地，构建模块230可以将训练样本中标注区域对应的图像数据(以下将训练样本中标注区域对应的图像数据简称为第一图像数据)和上述的感兴趣分割结果(也即，感兴趣分割结果可以为用于识别训练样本的感兴趣区域的二值图像)中标注区域对应的图像数据(以下将感兴趣分割结果中标注区域对应的图像数据简称为第二图像数据)进行乘积运算以获取待分割图像数据(也即，标注区域内的图像数据)，对待分割图像数据进行欠分割确定标注区域对应的区域分割结果。在这种情况下，在标注区域包括感兴趣区域以外的区域时，能够消除感兴趣区域以外的噪声。
图5是示出了本公开示例所涉及的构建模块230的示例的框图。
在一些示例中，如图5所示，构建模块230可以包括阈值分割模块231。阈值分割模块231可以配置为基于阈值分割获取区域分割结果。
图6是示出了本公开示例所涉及的阈值分割模块231获取区域分割结果的示例的流程图。也即，本公开的一些示例获取区域分割结果的流程。
如图6所示，获取区域分割结果可以包括步骤S102。在步骤S102中，可以基于标注区域获取待分割图像数据。如上所述，第一图像数据可以为训练样本中标注区域对应的图像数据，第二图像数据可以为感兴趣分割结果中标注区域对应的图像数据。也即，可以基于标注区域可以获取第一图像数据和/或第二图像数据，然后基于第一图像数据、或第一图像数据和第二图像数据获取待分割图像数据。
在一些示例中，可以基于第一图像数据获取待分割图像数据。在一些示例，可以基于第一图像数据的颜色通道(例如，红色通道、绿色通道、蓝色通道)获取待分割图像数据。以眼底图像为例，可以基于第一图像数据的绿色通道获取待分割图像数据。具体地，可以从训练样本中获取(例如裁剪)标注区域对应的第一图像数据，然后取第一图像数据的绿色通道(也即G通道)，基于第一图像数据的绿色通道获取待分割图像数据。在一些示例中，可以将第一图像数据的相应颜色通道(绿色通道)作为待分割图像数据以获取待分割图像数据。另外，可以根据医学图像自身的特点选择颜色空间和颜色通道，本公开不做特别限制。
在另一些示例中，可以基于第一图像数据以及第二图像数据获取待分割图像数据。在这种情况下，在标注区域包括感兴趣区域以外的区域时，能够消除感兴趣区域以外的噪声。在一些示例中，可以基于第一图像数据的颜色通道以及第二图像数据获取待分割图像数据。具体地，可以令第一图像数据的颜色通道表示为G1，第二图像数据表示为B1，则待分割图像数据可以表示为I1＝G1
Figure BDA0003529092070000111
B1，其中，I1可以表示待分割图像数据，
Figure BDA0003529092070000112
可以表示元素(也即，像素的灰度值)乘积运算。
需要说明的是，第一图像数据、第二图像数据以及待分割图像数据可以表示相应区域的图像数据(例如，像素数据、数据流或图像)，在实践中，可以根据需要将相应区域的像素的值或像素的位置标记存储在相应的介质(例如内存或磁盘)以形成相应形式的图像数据，进而能够方便处理。另外，第一图像数据、第二图像数据和待分割图像数据的形状可以与标注区域的形状相匹配，也可以为标注区域的外接矩形，可以根据获取区域分割结果的方式进行选择。
另外，获取区域分割结果过程中，若必须利用待分割图像数据的矩形特性(例如，边、长、宽、高、四个角)且标注区域的形状不为矩形时，可以基于标注区域的外接矩形对应的区域获取待分割图像数据。也即，将标注区域的形状转换成矩形后，可以基于转换后的标注区域获取待分割图像数据。
如图6所示，获取区域分割结果还可以包括步骤S104。在步骤S104中，可以对待分割图像数据进行阈值分割以获取区域分割结果。但本公开的示例不限于此，在另一些示例中，也可以使用其他方式对待分割图像数据进行欠分割以获取区域分割结果。
在一些示例中，在步骤S104中，可以利用目标分割阈值(稍后描述)对待分割图像数据进行阈值分割，进而获取区域分割结果。由此，能够通过阈值分割识别待分割图像数据中的目标区域。在一些示例中，在阈值分割中，可以令待分割图像数据中灰度值不小于目标分割阈值的像素的值为1，其他像素的值为0，进而获取区域分割结果。
另外，在待分割图像数据的阈值分割中，获取目标分割阈值的方式可以有多种。例如，可以根据常见的大律法(OTSU)的方式获取目标分割阈值。在一些示例中，获取目标分割阈值的方式可以从本公开的示例中描述的方式中选择至少一种。
在一些示例中，可以根据目标所属的标注类别获取目标分割阈值。在一些示例中，可以根据目标所属的标注类别的获取阈值方法获取目标分割阈值。在这种情况下，能够根据目标对应的标注类别自身的特点获取目标分割阈值。由此，能够提高阈值分割的准确性。另外，标注类别的获取阈值方法可以包括第一种方法和第二种方法。另外，训练样本中目标所属的标注类别可以是已知的。例如训练样本中目标所属的标注类别可以为标注结果中的标注标签。
在一些示例中，各个标注类别的获取阈值方法可以是通过各个标注类别的特征得到。在一些示例中，可以根据各个标注类别的平均面积和平均颜色来确定获取阈值方法。但本公开的示例不限于此，在另外一些示例中，也可以根据经验确定标注类别的获取阈值方法。例如，对于眼底图像，眼底图像中的片状出血可以使用第一种方法，眼底图像中的微血管瘤、点状出血和线状出血可以使用第二种方法。
在一些示例中，各个标注类别的平均面积和平均颜色可以是固定值，可以根据对样本数据进行统计获得。例如，可以对样本数据(例如训练样本)中同类别(例如，对于训练样本，同类别可以指同标注类别)的目标的面积和颜色分别进行求平均以获取平均面积和平均颜色。在另一些示例中，固定值也可以是经验值。
在一些示例中，在根据各个标注类别的平均面积和平均颜色确定标注类别的获取阈值方法中，第一种方法对应的标注类别的平均面积可以大于第二种方法对应的标注类别的平均面积且第一种方法对应的标注类别的平均颜色可以比第二种方法对应的标注类别的平均颜色浅。例如，第一种方法可以针对面积大，颜色浅的这种标注类别的目标(例如，眼底图像中的片状出血)。第二种方法可以针对面积小，颜色深的这种标注类别的目标(例如，眼底图像中的微血管瘤、点状出血和线状出血)。
在一些示例中，在根据各个标注类别的平均面积和平均颜色确定标注类别的获取阈值方法中，可以通过第一预设面积和预设颜色值确定标注类别使用的获取阈值方法。由此，能够自动获取标注类别所使用的获取阈值方法。
在一些示例中，若标注类别的平均面积大于第一预设面积且平均颜色小于预设颜色值(也即，该标注类别的目标的面积相对大，颜色相对浅)，则可以将该标注类别确定为使用第一种方法，否则若标注类别的平均面积不大于第一预设面积且平均颜色不小于预设颜色值(也即，该标注类别的目标的面积相对小，颜色相对深)，则可以将该标注类别确定为使用第二种方法。
在一些示例中，第一预设面积和预设颜色值可以根据区域分割结果进行调整。在一些示例中，第一预设面积和预设颜色值可以是固定值，固定值可以根据对样本数据进行统计获得。也即，可以利用统计学的方法统计少量的样本数据在不同第一预设面积和预设颜色值下的区域分割结果以确定最佳的用于分类的第一预设面积和预设颜色值。
如上所述，可以根据目标所属的标注类别的获取阈值方法获取目标分割阈值。在一些示例中，可以根据目标所属的标注类别的获取阈值方法和训练样本对应的待分割图像数据获取目标分割阈值。
在一些示例中，对于第一种方法(也即，目标所属的标注类别的获取阈值方法为第一种方法)，可以查找阈值，使待分割图像数据内灰度值大于该阈值的像素的面积小于待分割图像数据的面积的预设倍数，将该阈值作为目标分割阈值，其中，预设倍数可以大于0且小于1。以医学图像为8位量化的图像为例，可以遍历0至255的阈值，找到阈值使得待分割图像数据内灰度值大于该阈值的像素的面积小于待分割图像数据的面积的预设倍数，将该阈值作为目标分割阈值。另外，预设倍数可以为使目标区域不过分割的任意值。例如，预设倍数可以取偏小的值以使目标区域不过分割。在一些示例中，预设倍数可以由目标的形状通过经验来确定。
在一些示例中，对于第二种方法(也即，目标所属的标注类别的获取阈值方法为第二种方法)，可以将待分割图像数据中像素的灰度值的均值作为目标分割阈值或基于待分割图像数据的四个角的区域和中心区域的灰度值确定目标分割阈值。
在一些示例中，对于第二种方法，若待分割图像数据的最小的边的长度小于预设长度，则可以取待分割图像数据中像素的灰度值的均值作为目标分割阈值。在一些示例中，预设长度可以为使目标区域不过分割的任意值。在一些示例中，预设长度可以为训练样本的最小边的第一预设比例。具体地，预设长度可以表示为min(rH,rW)，其中，r可以表示第一预设比例，H可以表示训练样本的高度，W可以表示训练样本的宽度。
在一些示例中，第一预设比例可以为固定值。在一些示例中，第一预设比例可以根据医疗图像中同类别的目标的平均的尺寸大小确定。在一些示例中，第一预设比例可以根据医疗图像中同类别的目标的平均宽度和平均高度确定。在一些示例中，第一预设比例可以满足公式：
Figure BDA0003529092070000141
其中，
Figure BDA0003529092070000142
和
Figure BDA0003529092070000143
可以分别表示医疗图像中同类别的目标的平均宽度和平均高度，σw和σh可以分别表示宽度标准差和高度标准差，W和H可以分别表示医疗图像的平均宽度和平均高度。这里，医疗图像可以为用于获取第一预设比例的数据源中的图像。在一些示例中，数据源可以为训练数据。另外，可以与获取预设的超参数涉及的相关参数类似的方式获取第一预设比例涉及的相关参数，此处不再赘述。
在一些示例中，对于第二种方法，若待分割图像数据的最小的边的长度不小于预设长度，则可以基于待分割图像数据的四个角的区域和中心区域的灰度值确定目标分割阈值。具体地，可以将待分割图像数据平分为预设份数(例如9等份)，并基于待分割图像数据的四个角的区域和中心区域的灰度值确定目标分割阈值。在一些示例中，基于待分割图像数据的四个角的区域和中心区域的灰度值确定目标分割阈值可以为取四个角的区域中的各个区域的像素的灰度均值和中间区域的像素的灰度均值的平均值作为目标分割阈值。
返回参考图5，在一些示例中，阈值分割模块231可以包括腐蚀模块231a。腐蚀模块231a可以配置为对待分割图像数据的阈值分割结果进行腐蚀操作。
在一些示例中，腐蚀模块231a可以配置为在获取区域分割结果之前，对待分割图像数据的阈值分割结果(也即，初始分割结果)进行腐蚀操作。在这种情况下，能够降低由于噪声的影响，导致阈值分割结果中存在像素上孤立的概率。
在一些示例中，腐蚀模块231a对待分割图像数据的阈值分割结果进行腐蚀操作中，腐蚀核k可以满足公式：
Figure BDA0003529092070000151
其中，h可以表示标注区域(也即，待分割图像数据对应的标注区域)的高和w可以表示标注区域的宽，H可以表示训练样本的高度，W可以表示训练样本的宽度，p可以表示预设的超参数。在这种情况下，能够根据训练样本的大小、标注区域的大小和预设的超参数获取合适大小的腐蚀核。由此，能够抑制过度腐蚀。在一些示例中，预设的超参数可以是用于调整腐蚀核的大小。在这种情况下，能够使特别小的目标采用较小的腐蚀核。由此，能够避免过度腐蚀操作而导致特别小的目标的目标区域消失。
在一些示例中，预设的超参数可以为固定值。在一些示例中，预设的超参数可以根据医疗图像中同类别的目标的平均的尺寸大小确定。在一些示例中，预设的超参数可以根据医疗图像中同类别的目标的平均宽度和平均高度确定。在一些示例中，预设的超参数p可以满足公式：
Figure BDA0003529092070000161
其中，
Figure BDA0003529092070000162
和
Figure BDA0003529092070000163
可以分别表示医疗图像中同类别的目标的平均宽度和平均高度，σw和σh可以分别表示宽度标准差和高度标准差，
Figure BDA0003529092070000164
和
Figure BDA0003529092070000165
可以分别表示医疗图像的平均宽度和平均高度。这里，医疗图像可以为用于获取预设的超参数的数据源中的图像。在一些示例中，可以对多个训练样本中同类别的目标的宽度和高度以及训练样本的宽度和高度进行统计，以获取预设的超参数的相关参数。也即，数据源可以为训练数据。在一些示例中，在具有标注区域的医疗图像(例如，训练样本)中，获取预设的超参数时，目标的宽度和高度也可以为对应的标注区域的宽度和高度。由此，能够方便地获取目标的宽度和高度。
一般而言，待分割图像数据的阈值分割结果可能存在多个连通区域。在一些示例中，腐蚀模块231a可以对待分割图像数据的阈值分割结果进行腐蚀操作以获取至少一个连通区域，从至少一个连通区域中选择中心离待分割图像数据的中心最近的连通区域作为区域分割结果。另外，离待分割图像数据的中心最近的连通区域可以表示识别出的目标区域。由此，能够获得准确的目标区域。在一些示例中，可以对腐蚀结果(也即，至少一个连通区域)查找轮廓，取面积最大的预设数量(例如3个)的轮廓作为候选，并保留候选轮廓中轮廓中心离待分割图像数据的中心最近的轮廓所对应的连通区域为区域分割结果。
返回参考图2，如上所述，构建模块230可以配置为利用训练样本、标注区域和目标区域构建训练集。也即，构建模块230可以基于训练样本和训练样本对应的至少一个已确定目标区域的标注区域构建训练集。需要说明的是，若目标区域由区域分割结果确定，构建模块230也可以配置为利用训练样本和区域分割结果构建训练集。也即，构建模块230可以基于训练样本和训练样本对应的至少一个区域分割结果构建训练集。
在一些示例中，训练集可以包括训练样本和训练样本的金标准。在一些示例中，构建模块230可以基于已确定目标区域的标注区域获取训练样本的金标准。在一些示例中，构建模块230可以基于区域分割结果获取训练样本的金标准。也即，构建模块230可以基于区域分割结果识别目标区域，进而基于已确定目标区域的标注区域确定训练样本中的像素属于的真实类别。由此，能够获取训练样本的金标准。
在一些示例中，真实类别可以包括目标的标注类别(例如，对于眼底图像，可以包括微血管瘤、点状出血、片状出血和线状出血)、无目标类别和未确定类别中的至少一项。具体跟优化待训练模型130的过程有关。
另外，真实类别中的目标的标注类别可以为训练样本中的标注区域内的目标的目标区域(也即，稍后描述的第二区域)的像素属于的类别。另外，真实类别中的未确定类别可以为训练样本中的标注区域内的目标的目标区域以外的区域(也即，稍后描述的第一区域)的像素属于的类别。另外，真实类别中的无目标类别可以为训练样本中标注区域之外的像素属于的类别。在一些示例中，训练样本中标注区域之外的区域可以包括感兴趣区域之内且不属于标注区域的区域(也即，稍后描述的第三区域)。例如，对于医学图像，感兴趣区域之内且不属于标注区域的区域可以为医学图像中无目标的组织对应的区域。在一些示例中，训练样本中标注区域之外的区域可以包括感兴趣区域之内且不属于标注区域的区域、和感兴趣区域之外的区域(也即，稍后描述的第四区域)。
在一些示例中，构建模块230还可以利用训练样本、标注区域和目标区域构建验证集和测试集。
在一些示例中，模型训练装置200还可以预处理模块(未图示)。预处理模块可以配置为根据实际情况(例如，训练样本的质量不满足训练要求或训练样本的尺寸大小不统一)，在构建模块230构建训练集之前，对训练样本进行相应的预处理后再用于构建训练集。
在一些示例中，预处理模块对训练样本进行预处理可以包括对训练样本的尺寸大小进行统一。例如，可以将训练样本的尺寸大小统一为1024×1024或2048×2048。本公开并不限制训练样本的尺寸大小。在一些示例中，对训练样本进行预处理可以包括对训练样本进行裁剪。在一些示例中，在对训练样本进行裁剪中，可以获取训练样本中的感兴趣区域并利用感兴趣区域对训练样本进行裁剪。由此，能够使训练样本的尺寸一致且包含感兴趣区域。在一些示例中，感兴趣区域可以为可存在目标的区域(也可以称为前景区域)。例如，对于眼底图像，感兴趣区域可以为眼底区域。
在一些示例中，预处理模块可以对训练样本进行分割以获取感兴趣区域。在一些示例中，预处理模块可以对训练样本进行阈值分割以获取感兴趣分割结果，其中，感兴趣分割结果可以用于识别训练样本的感兴趣区域。由此，能够识别感兴趣区域。另外，通过阈值分割获得的感兴趣分割结果可以为二值图像(也可以称为二值化图像)。可以理解的是，虽然上文通过阈值分割的方式获取感兴趣分割结果，但其他适合于获取感兴趣分割结果也同样适用。例如，可以通过神经网络的方式获取感兴趣分割结果。
在一些示例中，预处理模块对训练样本进行阈值分割可以为将训练样本平分为预设份数(例如9等份)，基于训练样本的四个角的区域和中心区域的灰度值确定分割阈值，基于分割阈值对训练样本进行阈值分割，进而获取感兴趣分割结果。在一些示例中，基于训练样本的四个角的区域和中心区域的灰度值确定分割阈值可以为取四个角的区域中的各个区域的像素的灰度均值和中间区域的像素的灰度均值的平均值作为分割阈值进行阈值分割，进而获取感兴趣分割结果。
另外，预处理模块在阈值分割中，获取感兴趣分割结果之前，可以对训练样本对应的阈值分割结果(也即，初始分割结果)做腐蚀操作以获取感兴趣分割结果。例如，可以对训练样本的阈值分割结果做两次腐蚀操作以获取感兴趣分割结果，其中，腐蚀核的大小可以为5。由此，能够消除感兴趣区域(例如眼底区域)边缘的噪声。
返回参考图2，模型训练装置200还可以包括训练模块250。训练模块250可以配置为基于训练集训练待训练模型130，并利用训练损失函数优化待训练模型130以获取经训练模型。
在一些示例中，待训练模型130可以包括但不限于是语义分割模型。另外，待训练模型130的预测结果可以包括但不限于是训练样本的语义分割结果。由此，能够对小目标进行识别。例如，在上述的输入120是待进行语义分割的图像数据，并且待训练模型130是语义分割模型的示例中，预测结果可以是图像数据的语义分割结果。另外，上述的输入120可以为彩色的图像数据。
在一些示例中，在待训练模型130中，可以增加高维度的特征信息。由此，能够提高对小目标的识别的准确性。在一些示例中，在待训练模型130中，可以提取医学图像(例如训练样本)中的不同维度的特征信息，并将靠近最高维度的特征信息的预设维度的特征信息与最高维度的特征信息进行融合以增加高维度的特征信息。
图7是示出了本公开示例所涉及的采用U-Net架构的待训练模型130的示例的架构图。
作为示例，图7示出了采用U-Net架构的待训练模型130，其中，对于U-Net架构中的常见的网络层，此处不做过多解释。如图7所示，预设维度可以为2，2个维度的特征信息可以包括特征信息131a和特征信息132b，其中，特征信息131a可以通过上采样层132a与最高维度的特征信息进行融合，特征信息131b可以通过上采样层132b与最高维度的特征信息进行融合。另外，上采样层132a和上采样层132b的卷积大小可以是使特征信息(例如，特征信息131a和特征信息131b)经过上采样与最高维度的特征信息的大小一致的任意值。
在一些示例中，训练模块250在训练待训练模型130中，可以通过待训练模型130基于训练集的训练样本，获得训练样本对应的预测结果，然后基于训练样本的金标准和预测结果构建训练损失函数。另外，训练损失函数可以表示训练样本的金标准与对应的预测结果的差异程度。
如上所述，可以基于已确定目标区域的标注区域获取训练样本的金标准或基于区域分割结果获取训练样本的金标准。在一些示例中，可以直接将区域分割结果(可以相当于确定目标区域的标注区域)作为训练样本的金标准。在一些示例中，可以将区域分割结果作为训练样本中的目标对应的标注区域内的像素的金标准以获取训练样本的金标准。另外，训练样本中的目标对应的标注区域以外的区域的像素的金标准可以根据需要进行设置。例如，可以固定设置为一种类别(例如，可以为本公开示例涉及的无目标类别)。又例如，可以通过对训练样本进行人工标注的方式进行设置或通过人工智能算法对训练样本进行自动标注的方式进行设置。本公开的示例对训练样本中的目标对应的标注区域以外的区域的像素的金标准的设置方式不做特别限制。
在一些示例中，在训练损失函数中，可以对训练样本中上述的未确定类别的像素分配权重以减小未确定类别的像素对待训练模型130的负面影响。由此，能够提高待训练模型130的准确性。在一些示例中，在训练损失函数中，可以利用空间权重减小训练样本中的未确定类别的像素对待训练模型130的负面影响。
在一些示例中，在空间权重中，可以将训练样本分成若干个区域(也可以称为至少一个区域)，并利用权重调整若干个区域中的各个区域对待训练模型130的影响。
在一些示例中，若干个区域可以包括第一区域。第一区域可以为训练样本中的未确定类别的像素的区域(也即，训练样本中标注区域内的目标区域以外的区域)。在一些示例中，在训练损失函数中，可以利用空间权重减小训练样本中的第一区域的像素对待训练模型130的负面影响。在一些示例中，在空间权重中，训练样本中的第一区域的像素可以被分配第一权重以减小对待训练模型130的负面影响。
另外，第一权重可以是使对待训练模型130的负面影响减小的任意值。在一些示例中，第一权重可以是固定值。在一些示例中，第一权重可以为0。在这种情况下，能够忽略未确定类别的样本，以减小未确定类别的样本对待训练模型130的负面影响。
在一些示例中，若干个区域可以包括第二区域。第二区域可以为训练样本的目标区域。在一些示例中，在空间权重中，第二区域的像素可以被分配第二权重。在一些示例中，第一权重可以小于第二权重。另外，第二权重可以是使第二区域的像素对待训练模型130的正面影响增大的任意值。在一些示例中，第二权重可以是固定值。在一些示例中，第二权重可以为1。
在一些示例中，若干个区域可以包括第三区域。第三区域可以为训练样本中感兴趣区域内的不属于标注区域的区域。在一些示例中，在空间权重中，第三区域的像素可以被分配第三权重。在一些示例中，第一权重可以小于第三权重。另外，第三权重的设置原则可以与第二权重类似。
在一些示例中，若干个区域可以包括第四区域。第四区域可以为训练样本中感兴趣区域之外的区域。在一些示例中，在空间权重中，第四区域的像素可以被分配第四权重。在一些示例中，第四权重可以小于第二权重。另外，第四权重的设置原则可以与第一权重类似。
在一些示例中，若干个区域可以同时包括第一区域、第二区域、第三区域和第四区域，第一区域、第二区域、第三区域和第四区域的像素可以分别被分配第一权重、第二权重、第三权重和第四权重，其中，第一权重可以小于第二权重且小于第三权重，第四权重可以小于第二权重且小于第三权重。在这种情况下，能够抑制未确定类别的像素以及感兴趣区域以外的像素对待训练模型130的负面影响，提高目标区域以内和感兴趣区域内的无目标区域对待训练模型130的正面影响。由此，能够提高模型的准确性。优选地，第一权重可以为0，第二权重可以为1，第三权重可以为1，第四权重可以为0。在这种情况下，能够避免未确定类别的像素以及感兴趣区域以外的像素对待训练模型130的负面影响，提高目标区域以内和感兴趣区域内的无目标区域对待训练模型130的正面影响。由此，能够提高待训练模型130的准确性。
但本公开的示例不限于此，在另一些示例中，若干个区域可以包括第一区域、第二区域、第三区域和第四区域的任意组合。
图8是示出了本公开示例所涉及的一些示例的若干个区域的示意图。另外，为了清楚地描述若干个区域，图8是示出了二值化的各个区域的示意图，并不限制本公开一定要划分成图8所示的所有区域。其中，D3可以表示第一区域、D4可以表示第二区域，D5可以表示第三区域，D6可以表示第四区域。
如上所述，在一些示例中，在空间权重中，可以将训练样本分成若干个区域，并利用权重调整若干个区域中的各个区域对待训练模型130的影响。
在一些示例中，在训练损失函数中，可以按类别计算损失。如上所述，真实类别可以包括目标的标注类别、无目标类别和未确定类别中的至少一项。在一些示例中，在训练损失函数中，类别可以来源上述的真实类别。也即，训练损失函数中的类别可以包括目标的标注类别和无目标类别、或训练损失函数中的类别可以包括目标的标注类别、无目标类别、和未确定类别。具体训练损失函数中的类别与训练损失函数中选择的样本有关。
在一些示例中，在训练损失函数中，若训练样本中各个类别的样本(也即，像素)属于若干个区域中的相应区域，则可以将相应样本的损失乘以对应区域的权重。在这种情况下，能够基于空间权重确定训练损失函数，进而调整不同区域的像素对待训练模型130的影响。
在一些示例中，在训练损失函数中，可以基于各个类别的权重调整各个类别的样本对待训练模型130的影响。由此，能够调整不同类别的样本对待训练模型130的影响。
在一些示例中，在训练损失函数中，可以同时基于空间权重和类别的权重调整样本对待训练模型130的影响。由此，能够按区域和类别调整样本对待训练模型130的影响。
在一些示例中，训练损失函数可以采用加权均衡交叉熵。在这种情况下，能够抑制正负样本失衡，进而进一步提高待训练模型130对小目标的识别的准确性。在一些示例中，在训练待训练模型130时，可以基于加权均衡交叉熵的训练损失函数，并利用空间权重来控制未确定类别的像素对待训练模型130的负面影响。
以下以空间权重中，第一区域的第一权重为0，第二区域的第二权重为1，第三区域的第三权重为1，第四区域的第四权重为0为例，描述基于加权均衡交叉熵的训练损失函数。需要说明的是，并不表示对本公开的限制，本领域人员可以根据情况，通过自由组合若干个区域中各个区域的权重和各个类别的权重设计基于加权均衡交叉熵的训练损失函数。基于加权均衡交叉熵的训练损失函数L可以满足公式(也即，相当于通过设置第一权重和第四权重为0，忽略第一区域和第四区域的损失)：
Figure BDA0003529092070000221
其中，C可以表示类别的数量，Wi可以表示第i个类别的权重，Mi可以表示第i个类别的样本数量，yij可以表示上述训练样本的金标准中第i个类别的第j个样本的真实值，pij可以表示预测结果中第i个类别的第j个样本的预测值(也即，第j个样本属于第i个类别的概率)。另外，各个类别的样本可以为训练样本中相应类别的像素。另外，一个类别的样本，可以基于上述训练样本的金标准确定。如上所述，类别的权重可以调整各个类别的样本对待训练模型130的影响。
另外，公式(1)中，通过设置第一权重和第四权重为0，忽略第一区域和第四区域的样本，训练损失函数中的类别可以包括目标的标注类别和无目标类别，目标的标注类别可以为训练样本中第二区域的像素所属的类别，无目标类别可以为训练样本中第三区域的像素所属的类别。以眼底图像为例，公式(1)的训练损失函数中的类别可以包括微血管瘤、点状出血、片状出血和线状出血和无目标类别。
以下结合图9描述本公开涉及的训练方法。另外，训练方法可以训练医学图像中目标识别的模型。训练方法可以由模型训练装置200实施。图9是示出了本公开示例所涉及的训练方法的示例的流程图。
在一些示例中，如图9所示，训练方法可以包括获取作为训练样本的医学图像和训练样本中的目标对应的标注区域(步骤S202)，确定训练样本中的标注区域内的目标的目标区域，并利用训练样本、标注区域和目标区域构建训练集(步骤S204)，和基于训练集训练待训练模型130，并利用训练损失函数优化待训练模型130以获取经训练模型(步骤S206)。具体内容参见模型训练装置200的相关描述。
以下结合图10描述本公开涉及的医学图像中目标识别的识别装置300(也可以简称为识别装置300或模型应用装置)。另外，识别装置300可以用于医学图像中目标识别。图10是示出了本公开示例所涉及的医学图像中目标识别的识别装置300的示例的框图。
如图10所示，识别装置300可以包括获取模块310。获取模块310可以配置为获取作为输入图像的医学图像。在一些示例中，输入图像可以经过与上述的训练样本一样的预处理后再输入经训练模型。
如图10所示，识别装置300还可以包括预测模块330。预测模块330可以配置为利用至少一个经训练模型，确定针对输入图像的各个经训练模型的预测结果，基于至少一个经训练模型的预测结果获取目标预测结果，其中，至少一个经训练模型可以由上述模型训练装置200获得。另外，至少一个经训练模型可以为基于同一种类型的网络架构(例如，U-Net)，但网络结构不同和/或参数不同的模型。例如，可以增加或减少一些分支或网络层次以形成至少一个经训练模型。但本公开的示例不限于此，在另一些示例中，至少一个经训练模型也可以不基于同一种类型的网络架构。另外，各个经训练模型的预测结果可以包括输入图像中的各个像素属于相应标注类别的概率。标注类别可以为上述目标的标注类别。
在一些示例中，预测模块330可以按标注类别和像素对至少一个经训练模型的预测结果进行集成以获取输入图像的各个像素属于相应标注类别的集成概率，基于集成概率确定连通区域，基于该连通区域获取各个标注类别对应的目标预测结果。在这种情况下，基于集成概率获取目标预测结果，能够进一步提高目标预测结果的准确性。
在一些示例中，预测模块330在获取集成概率中，若仅存在一个经训练模型，则可以将该经训练模型的预测结果中输入图像中的各个像素属于相应标注类别的概率作为集成概率，否则可以对多个经训练模型的预测结果求均值以获取输入图像中的各个像素属于相应标注类别的概率均值(也即，可以按标注类别进行像素级别的求概率均值)。
在一些示例中，预测模块330在基于集成概率确定连通区域中，可以基于集成概率和各个标注类别的分类阈值确定连通区域。具体地，可以将集成概率不小于分类阈值的像素的值设置为1，其他像素的值设置为0。在一些示例中，分类阈值可以基于验证集并采用性能指标来确定。另外，若存在连通区域，连通区域的数量可以为一个或多个。
在一些示例中，预测模块330在基于连通区域获取目标预测结果中，可以获取各个连通区域的外接矩形，若外接矩形的面积大于第二预设面积，则可以表示该外接矩形处存在目标，否则可以表示该外接矩形处不存在目标。
在一些示例中，第二预设面积可以为训练样本的面积的第二预设比例。具体地，第二预设面积可以表示为sHW，其中，s可以表示第二预设比例，H可以表示输入图像的高度，W可以表示输入图像的宽度。
在一些示例中，第二预设比例可以为固定值。在一些示例中，第二预设比例可以根据医疗图像中同类别的目标的面积的中值确定。在一些示例中，第二预设比例s可以满足公式：
Figure BDA0003529092070000251
其中，m可以分别表示医疗图像中同类别的目标的面积的中值，σ可以表示医疗图像中同类别的目标的面积的标准差，
Figure BDA0003529092070000252
和
Figure BDA0003529092070000253
可以分别表示医疗图像的平均宽度和平均高度。这里，医疗图像可以为用于获取第二预设比例的数据源中的图像。在一些示例中，数据源可以为训练数据。另外，可以与获取预设的超参数涉及的相关参数类似的方式获取第二预设比例涉及的相关参数，此处不再赘述。
以下结合图11描述本公开涉及的医学图像中目标识别的方法(以下简称识别方法)。另外，识别方法可以医学图像中目标识别。识别方法可以由识别装置300实施。图11是示出了本公开示例所涉及的医学图像中目标识别的方法的示例的流程图。
如图11所示，识别方法可以包括步骤S302。在步骤S302中，可以获取作为输入图像的医学图像。具体内容参见获取模块310的相关描述。
如图11所示，识别方法还可以包括步骤S304。在步骤S304中，可以利用至少一个经训练模型，确定针对输入图像的各个经训练模型的预测结果，基于至少一个经训练模型的预测结果获取目标预测结果。其中，至少一个经训练模型可以由上述模型训练装置200获得。具体内容参见预测模块330的相关描述。
本公开的示例的医学图像中的目标识别的模型训练装置200及识别装置300，通过获取训练样本中标注区域内的确定像素均属于目标的目标区域以识别标注区域内未确定类别的像素，并结合空间权重对待训练模型130进行训练以减小标注区域内的未确定类别的像素对待训练模型130的负面影响，进而能够使训练后的待训练模型130对输入图像的预测结果的准确性提高。由此，能够有效地对小目标进行识别。
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (15)

1.一种医学图像中的目标识别的模型训练装置，其特征在于，包括获取模块、构建模块和训练模块；所述获取模块配置为获取作为训练样本的所述医学图像和所述训练样本中的所述目标对应的标注区域；所述构建模块配置为确定所述标注区域内的所述目标的目标区域，并利用所述训练样本、所述标注区域和所述目标区域构建训练集，其中，所述训练样本中所述目标区域内的像素确定属于所述目标；以及所述训练模块配置为基于所述训练集训练待训练模型，并利用训练损失函数优化所述待训练模型以获取经训练模型，其中，在所述训练损失函数中，利用空间权重减小所述训练样本中的第一区域的像素对所述待训练模型的负面影响，所述第一区域为所述训练样本中的所述标注区域内的所述目标的目标区域以外的区域。
2.根据权利要求1所述的模型训练装置，其特征在于：
所述模型训练装置还包括预处理模块，所述预处理模块配置为在构建所述训练集之前，对所述训练样本进行预处理，其中，在所述预处理中，对所述训练样本进行阈值分割以获取用于识别所述训练样本的感兴趣区域的感兴趣分割结果，并利用所述感兴趣区域对所述训练样本进行裁剪。
3.根据权利要求1所述的模型训练装置，其特征在于：
所述目标区域由区域分割结果确定，其中，通过对所述标注区域内的图像数据进行欠分割以获取所述区域分割结果。
4.根据权利要求3述的模型训练装置，其特征在于，所述构建模块包括阈值分割模块，所述阈值分割模块配置为：基于所述训练样本中所述标注区域对应的图像数据获取待分割图像数据、或基于所述训练样本中所述标注区域对应的图像数据以及感兴趣分割结果中所述标注区域对应的图像数据获取所述待分割图像数据，其中，所述感兴趣分割结果为用于识别所述训练样本的感兴趣区域的二值图像；并且对所述待分割图像数据进行阈值分割，进而获取所述区域分割结果，其中，所述区域分割结果为二值图像。
5.根据权利要求4所述的模型训练装置，其特征在于：
所述阈值分割模块根据所述目标所属的标注类别的获取阈值方法获取目标分割阈值，利用所述目标分割阈值对所述待分割图像数据进行阈值分割，其中，各个标注类别的获取阈值方法由各个标注类别的平均面积和平均颜色确定，所述获取阈值方法包括第一种方法和第二种方法，所述第一种方法对应的标注类别的平均面积大于所述第二种方法对应的标注类别的平均面积且所述第一种方法对应的标注类别的平均颜色比所述第二种方法对应的标注类别的平均颜色浅；对于所述第一种方法，查找阈值，使所述待分割图像数据内灰度值大于所述阈值的像素的面积小于所述待分割图像数据的面积的预设倍数，将所述阈值作为所述目标分割阈值，其中，所述预设倍数大于0且小于1；对于所述第二种方法，若所述待分割图像数据的最小的边的长度小于预设长度，则取所述待分割图像数据中像素的灰度值的均值作为所述目标分割阈值，否则基于所述待分割图像数据的四个角的区域和中心区域的灰度值确定所述目标分割阈值。
6.根据权利要求4所述的模型训练装置，其特征在于：
所述阈值分割模块还包括腐蚀模块，所述腐蚀模块配置为在获取所述区域分割结果之前，对所述待分割图像数据的阈值分割结果进行腐蚀操作，其中，腐蚀核k满足公式：
Figure FDA0003529092060000021
其中，h表示所述标注区域的高和w表示所述标注区域的宽，H表示所述训练样本的高度，W表示所述训练样本的宽度，p表示预设的超参数。
7.根据权利要求1所述的模型训练装置，其特征在于：
所述训练损失函数采用加权均衡交叉熵。
8.根据权利要求1所述的模型训练装置，其特征在于：
在所述空间权重中，所述训练样本中的所述第一区域的像素被分配第一权重，其中，所述第一权重为0。
9.根据权利要求1所述的模型训练装置，其特征在于：
所述训练样本中的所述第一区域、第二区域、第三区域和第四区域的像素分别被分配第一权重、第二权重、第三权重和第四权重，其中，所述第二区域为所述目标区域，所述第三区域为感兴趣区域内的不属于所述标注区域的区域，所述第四区域为所述感兴趣区域之外的区域，所述第一权重小于所述第二权重且小于所述第三权重，所述第四权重小于所述第二权重且小于所述第三权重。
10.根据权利要求1所述的模型训练装置，其特征在于：
所述待训练模型是语义分割模型，所述待训练模型的预测结果是所述训练样本的语义分割结果。
11.根据权利要求1所述的模型训练装置，其特征在于：
所述标注区域的形状为矩形。
12.一种医学图像中目标识别的识别装置，其特征在于，包括：获取模块，其配置为获取作为输入图像的所述医学图像；并且预测模块，其配置为根据权利要求1至11中任一项所述的模型训练装置获得的至少一个经训练模型，确定针对所述输入图像的各个经训练模型的预测结果，基于所述至少一个经训练模型的预测结果获取目标预测结果。
13.根据权利要求12所述的识别装置，其特征在于：
各个经训练模型的预测结果包括所述输入图像中的各个像素属于相应标注类别的概率，所述预测模块按标注类别和像素对所述至少一个经训练模型的预测结果进行集成以获取所述输入图像的各个像素属于相应标注类别的集成概率，基于所述集成概率确定连通区域，基于该连通区域获取各个标注类别对应的所述目标预测结果，其中，若仅存在一个经训练模型，则将所述概率作为所述集成概率，否则对多个经训练模型的预测结果求均值以获取所述输入图像中的各个像素属于相应标注类别的概率均值并作为所述集成概率。
14.根据权利要求12所述的识别装置，其特征在于：
所述医学图像为眼底图像。
15.根据权利要求14所述的识别装置，其特征在于：
所述目标包括微血管瘤、点状出血、片状出血和线状出血。
CN202210205466.XA 2022-03-02 2022-03-02 医学图像中的目标识别的模型训练装置及识别装置 Pending CN114581708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210205466.XA CN114581708A (zh) 2022-03-02 2022-03-02 医学图像中的目标识别的模型训练装置及识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210205466.XA CN114581708A (zh) 2022-03-02 2022-03-02 医学图像中的目标识别的模型训练装置及识别装置

Publications (1)

Publication Number Publication Date
CN114581708A true CN114581708A (zh) 2022-06-03

Family

ID=81777019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210205466.XA Pending CN114581708A (zh) 2022-03-02 2022-03-02 医学图像中的目标识别的模型训练装置及识别装置

Country Status (1)

Country Link
CN (1) CN114581708A (zh)

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN114581709B (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
CN110298297B (zh) 火焰识别方法和装置
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113962274A (zh) 一种异常识别方法、装置、电子设备及存储介质
CN113011450B (zh) 青光眼识别的训练方法、训练装置、识别方法及识别系统
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及系统
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
Molina-Giraldo et al. Image segmentation based on multi-kernel learning and feature relevance analysis
Jin et al. Fusing Canny operator with vibe algorithm for target detection
US20230260259A1 (en) Method and device for training a neural network
CN116977895A (zh) 用于通用相机镜头的污渍检测方法、装置及计算机设备
CN114943869B (zh) 风格迁移增强的机场目标检测方法
CN114581708A (zh) 医学图像中的目标识别的模型训练装置及识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination