CN112862745B - 基于人工神经网络的组织病变识别的训练方法及训练系统 - Google Patents

基于人工神经网络的组织病变识别的训练方法及训练系统 Download PDF

Info

Publication number
CN112862745B
CN112862745B CN202011359970.2A CN202011359970A CN112862745B CN 112862745 B CN112862745 B CN 112862745B CN 202011359970 A CN202011359970 A CN 202011359970A CN 112862745 B CN112862745 B CN 112862745B
Authority
CN
China
Prior art keywords
neural network
artificial neural
examples
loss function
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011359970.2A
Other languages
English (en)
Other versions
CN112862745A (zh
Inventor
彭璨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Siji Intelligent Control Technology Co ltd
Original Assignee
Shenzhen Siji Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Siji Intelligent Control Technology Co ltd filed Critical Shenzhen Siji Intelligent Control Technology Co ltd
Priority to CN202210631057.6A priority Critical patent/CN114972278A/zh
Priority to CN202210631673.1A priority patent/CN115049602A/zh
Publication of CN112862745A publication Critical patent/CN112862745A/zh
Application granted granted Critical
Publication of CN112862745B publication Critical patent/CN112862745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开描述了一种基于人工神经网络的组织病变识别的训练方法和训练系统，包括：准备训练数据集，训练数据集包括多张带有病变的检查图像以及与检查图像关联的具有病变标注结果的标注图像；对检查图像进行特征提取以获得特征图，并且基于注意力机制对检查图像进行处理以得到注意力热度图；利用第一人工神经网络对检查图像进行分类，并结合标注图像得到第一损失函数，利用第二人工神经网络模块基于特征图和注意力热度图对检查图像进行分类，并结合标注结果得到第二损失函数，利用第三人工神经网络对检查图像进行无病判别得到第三损失函数。通过组合此三种损失函数，能够有效地提高对组织病变进行组织病变识别的准确性。

Description

基于人工神经网络的组织病变识别的训练方法及训练系统
技术领域
本公开大体涉及基于人工神经网络的组织病变识别的训练方法及训练系统。
背景技术
随着人工智能技术的发展和成熟，在医疗领域的各个方面人工智能技术逐渐得到了推广。特别是医学中的医学成像是目前人工智能技术应用比较热门的领域。医学成像是诊断许多疾病的有用工具，医学成像过程中会产生大量医学图像数据，对这些图像数据进行处理和识别需要医师大量时间，而且难以保证识别的准确性。医学图像中，主要利用人工智能技术对图像中的组织进行组织病变识别，以提高组织病变识别的准确性。
目前在应用人工智能技术对医学图像进行识别中通常采用卷积神经网络(CNN)。卷积神经网络的卷积结构可以减少深层网络占用的内存量，其具有三个关键的操作，其一是局部感受野，其二是权值共享，其三是池化层。由此，能够有效地减少网络的参数个数，缓解卷积神经网络的过拟合问题。卷积神经网络的结构能够较好地适应医学图像的结构并对特征进行提取以及识别。
然而，对于一些病变部位例如眼底病变部位，病变区域比较小且分布不规则，一般的应用注意力机制的卷积神经网络，往往容易忽略注意力热度图中注意力低的病变区域，导致出现误判的现象，从而使这些病变区域的组织病变识别的准确性较低。
发明内容
本公开有鉴于上述现有技术的状况而完成，其目的在于提供一种能够有效地提高对组织病变进行识别的准确性的基于人工神经网络的组织病变识别的训练方法及训练系统。
为此，本公开第一方面提供了一种基于人工神经网络的组织病变识别的训练方法，其特征在于，包括：准备训练数据集，所述训练数据集包括多张检查图像以及与所述检查图像关联的标注图像，所述标注图像包括有病变的标注结果或无病变的标注结果；将所述训练数据集输入人工神经网络模块以对所述检查图像进行特征提取以获得特征图，并且基于注意力机制对所述特征图进行处理以获得注意力热度图，并且基于互补注意力机制对所述注意力热度图进行处理以获得互补注意力热度图；所述人工神经网络模块包括第一人工神经网络、第二人工神经网络以及第三人工神经网络；利用所述第一人工神经网络对所述检查图像进行特征提取以获得所述特征图，利用所述第二人工神经网络获得指示病变区域的所述注意力热度图和指示非病变区域的所述互补注意力热度图，所述检查图像由所述病变区域和所述非病变区域构成，利用所述第三人工神经网络基于所述特征图对所述检查图像进行识别以获得第一识别结果，利用所述第三人工神经网络基于所述特征图和所述注意力热度图对所述检查图像进行识别以获得第二识别结果，利用所述第三人工神经网络基于所述特征图和所述互补注意力热度图对所述检查图像进行识别以获得第三识别结果；结合所述第一识别结果与所述标注图像以获得在未使用所述注意力机制时的第一损失函数，结合所述第二识别结果与所述标注图像以获得在使用所述注意力机制时的第二损失函数，结合所述第三识别结果与具有无病变的标注结果的所述标注图像以获得在使用所述互补注意力机制时的第三损失函数，利用所述第一损失函数、所述第二损失函数、以及所述第三损失函数获取包括基于所述第一损失函数的第一损失项、基于所述第二损失函数和所述第一损失函数的差的第二损失项、以及基于所述第三损失函数的第三损失项的总损失函数并利用所述总损失函数对所述人工神经网络模块进行优化。在这种情况下，能够获得第一识别结果、第二识别结果和第三识别结果，并基于第一识别结果、第二识别结果和第三识别结果获得总损失函数，从而能够利用总损失函数优化人工神经网络模块，进而提高人工神经网络模块的组织病变识别的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述总损失函数还包括所述注意力热度图的总面积项，所述总面积项用于评估所述病变区域的面积。在这种情况下，能够利用第五损失项评估注意力热度图内的病变区域的面积并控制注意力热度图中对识别结果影响较大的像素的数量，从而使网络的注意力限制在对识别结果影响更大的像素上。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述总损失函数还包括针对所述注意力热度图的正则项。在这种情况下，可以抑制人工神经网络模块过拟合。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，对所述第一人工神经网络、所述第二人工神经网络和所述第三人工神经网络同时进行训练。在这种情况下，能够加快训练速度。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述第三人工神经网络包括依次连接的输入层、中间层和输出层，所述输出层配置为用于输出反映所述检查图像的识别结果。在这种情况下，能够利用第三人工神经网络输出反映组织图像的识别结果。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述人工神经网络模块的训练方式为弱监督。在这种情况下，能够利用信息量较少的标注结果通过人工神经网络模块获得信息量较多的识别结果。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述第一损失函数用于评估所述检查图像在未使用所述注意力机制时的识别结果与所述标注结果之间的不一致程度。在这种情况下，能够提高人工神经网络模块在未使用注意力机制时的组织病变识别的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述第二损失函数用于评估所述检查图像在使用所述注意力机制时的识别结果与所述标注结果之间的不一致程度。在这种情况下，能够提高人工神经网络模块在使用注意力机制时的组织病变识别的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述第三损失函数用于评估所述检查图像在使用所述互补注意力机制时的识别结果与无病变的标注结果之间的不一致程度。在这种情况下，能够提高人工神经网络模块在使用互补注意力机制时的组织病变识别的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，利用所述总损失函数对所述人工神经网络模块进行优化以使所述总损失函数最小化。在这种情况下，能够最小化总损失函数以提高人工神经网络模块的组织病变识别的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的组织病变识别的训练方法中，可选地，所述组织病变为眼底病变。在这种情况下，能够利用人工神经网络模块获得眼底图像的关于眼底病变的识别结果。
本公开第二方面提供了一种基于人工神经网络的组织病变识别的训练系统，其特征在于，使用本公开第一方面提供的训练方法进行训练。在这种情况下，能够利用训练系统对人工神经网络模块进行训练。
根据本公开，能够提供一种能够有效地提高对组织病变进行识别的准确性的基于人工神经网络的组织病变识别的训练方法及训练系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开的实施例，其中：
图1是示出了本公开示例所涉及的电子设备示意图。
图2是示出了本公开示例所涉及的一种组织图像。
图3是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的识别系统的结构框图。
图4是示出了本公开示例所涉及的人工神经网络模块的一种例子的框图。
图5是示出了本公开示例所涉及的人工神经网络模块的变形例的框图。
图6是示出了本公开示例所涉及的第一人工神经网络的结构示意图。
图7是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的训练系统的结构框图。
图8是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的训练方法的流程图。
图9(a)是示出了本公开示例所涉及的未使用注意力机制训练得到的眼底图像的一种例子的示意图。
图9(b)是示出了本公开示例所涉及的使用互补注意力机制训练得到的眼底图像的病变区域的一种例子的示意图。
主要附图标号：1…电子设备，10…处理器，20…存储器，30…计算机程序，40…识别系统，410…获取模块，4200…主干神经网络，420…人工神经网络模块，421…第一人工神经网络，422…第二人工神经网络，423…第三人工神经网络，424…特征组合模块，430…训练系统，431…存储模块，432…处理模块，433…优化模块，C1…第一卷积层，C2…第二卷积层，C3…第三卷积层，S1…第一池化层，S2…第二池化层，S3…第三池化层
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
图1是示出了本公开的实施方式所涉及的电子设备示意图。
如图1所示，本公开所涉及基于人工神经网络的组织病变识别的识别系统40可以以电子设备1(如计算机)为载体。在一些示例中，电子设备1可以包括一个或多个处理器10、存储器20和布置在存储器20中的计算机程序30。其中，一个或多个处理器10可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件。例如，处理器10可以执行存储在存储器20上的指令。
在一些示例中，存储器20可以是能够用于携带或存储数据的计算机可读的介质。在一些示例中，存储器20可以包括但不限于是非易失性存储器或闪速存储器(FlashMemory)等。在一些示例中，存储器20还可以例如是铁电随机存储器(FeRAM)、磁性随机存储器(MRAM)、相变随机存储器(PRAM)或阻变随机存储器(RRAM)。由此，能够降低因为突发性断电而造成数据丢失的可能性。
在另一些示例中，存储器20还可以是其它类型的可读存储介质，例如只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)。
在一些示例中，存储器20可以是光盘存储器、磁盘存储器或磁带存储器。由此，能够跟据不同的情况选择合适的存储器20。
在一些示例中，计算机程序30可以包括由一个或多个处理器10执行的指令，通过执行指令可以使识别系统40对组织图像进行组织病变识别。在一些示例中，计算机程序30可以部署在本地计算机内，也可以部署在云端的服务器。
在一些示例中，计算机程序30可以存储在计算机可读介质中。计算机可读存储介质可以包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件中的一种或多种。
图2是示出了本公开示例所涉及的一种组织图像。图3是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的识别系统40的结构框图。
在一些示例中，可以利用基于人工神经网络的组织病变识别的识别系统40实施组织图像的组织病变识别，并获得识别结果。在一些示例中，组织病变识别的识别系统40也可以称为识别系统40。
在一些示例中，如图3所示，识别系统40可以包括获取模块410、人工神经网络模块420、以及基于人工神经网络的组织病变识别的训练系统430。在一些示例中，获取模块410可以用于获取组织图像。在一些示例中，人工神经网络模块420可以用于对组织图像进行特征提取，组织病变识别等处理，并获得组织病变识别的识别结果。在一些示例中，基于人工神经网络的组织病变识别的训练系统430可以用于训练人工神经网络模块420。在一些示例中，训练系统430可以利用人工神经网络模块420获得的第一识别结果、第二识别结果和第三识别结果，并基于第一识别结果、第二识别结果和第三识别结果获得总损失函数以优化人工神经网络模块420。在这种情况下，能够获得第一识别结果、第二识别结果和第三识别结果，并基于第一识别结果、第二识别结果和第三识别结果获得总损失函数，从而能够利用总损失函数优化人工神经网络模块420，进而提高人工神经网络模块420的组织病变识别的准确性。
在一些示例中，基于人工神经网络的组织病变识别的训练系统430也可以称为训练系统430。
在一些示例中，识别系统40还可以包括预处理模块和判断模块(未图示)。
在一些示例中，组织图像可以是来自CT扫描，PET-CT扫描，SPECT扫描，MRI，超声，X射线，乳房X射线照片，血管造影照片，荧光图，胶囊内窥镜拍摄的组织腔体的图像或其组合。在一些示例中，组织图像可以通过获取模块410获取。
在一些示例中，获取模块410可以配置为用于获取组织图像，可以是通过相机、超声成像仪或X射线扫描仪等采集装置采集的组织图像。
在一些示例中，组织图像例如可以为眼底图像，食道图像，胃部图像，大肠图像，结肠图像或小肠图像。如图2所示，组织图像可以是眼底图像。在这种情况下，能够通过识别系统40对眼底图像进行眼底病变识别。
在一些示例中，组织病变识别可以是对组织图像的组织病变进行识别以获得识别结果。
在一些示例中，在组织图像为眼底图像的情况下，组织病变可以是眼底病变。在这种情况下，能够利用人工神经网络模块420获得眼底图像的关于眼底病变的识别结果。
在一些示例中，组织图像可以由病变区域和非病变区域构成。
在一些示例中，具有组织病变的组织图像(彩色图像)一般含有明显的红斑，红肿等特征，因此，可利用经训练的人工神经网络自动提取和识别这些特征，以帮助患者识别可能存在的病变。由此，能够提高识别的准确性和速度，同时能够减少人类医师借助自身经验一张一张地阅片带来的误差大以及耗时长等问题。
在一些示例中，在组织图像是眼底图像的情况下，组织图像可以按照功能进行分类。例如在训练步骤中，组织图像可以是检查图像、标注图像(后续描述)。
在一些示例中，输入人工神经网络模块420的图像可以是组织图像。在这种情况下，能够通过人工神经网络模块420对组织图像进行组织病变识别。
在一些示例中，识别系统40可以用于对组织图像的组织病变识别。在一些示例中，当组织图像进入识别系统40后，可以对组织图像进行预处理、特征提取和组织病变识别等操作。
在一些示例中，识别系统40还可以包括预处理模块和判断模块。预处理模块可以用于对组织图像进行预处理，并将经过预处理的组织图像输入人工神经网络模块420。
在一些示例中，预处理模块可以对组织图像进行预处理。在一些示例中，预处理可以包括感兴趣区域检测、图像剪裁、尺寸调整和归一化中的至少一种。在这种情况下，能够方便后续人工神经网络模块420对组织图像进行组织病变识别和判断。在一些示例中，组织图像例如可以为眼底图像，食道图像，胃部图像，大肠图像，结肠图像或小肠图像。
在一些示例中，预处理模块可以包括区域检测单元、调整单元和归一化单元。
在一些示例中，区域检测单元可以从组织图像中检测出感兴趣区域。例如若组织图像为眼底图像，则可以从眼底图像中检测以视盘为中心的眼底区域，或者是包含视盘且以黄斑中心的眼底区域等。在一些例子中，区域检测单元可以通过例如采样阈值法、霍夫(Hough)变换来探测组织图像中的感兴趣区域。
在一些示例中，调整单元可以用于对组织图像进行剪裁和尺寸调整。由于用于采集组织图像的设备不同或者拍摄条件不同，所获得的组织图像在分辨率、尺寸等方面上均可能存在差异。在这种情况下，可以对这些组织图像进行剪裁和尺寸调整以减少差异。在一些示例中，可以对组织图像按照特定形状进行剪裁。在一些示例中，特定形状可以包括但不限于方形、矩形、圆形或椭圆形等。
在另一些示例中，可以通过调整单元将组织图像的尺寸调整至规定的尺寸。例如规定的尺寸可以为256×256、512×512或1024×1024等。但本公开的示例不限于此，在另一些示例中，组织图像的尺寸也可以是任意其他规格的大小。例如组织图像的尺寸可以为128×128、768×768或2048×2048等。
在一些示例中，预处理模块可以包括归一化单元。归一化单元可以用于对多张组织图像进行归一化处理。
在一些示例中，归一化单元的归一化方式没有特别限定，例如可以采用零均值(zero mean)、单位标准方差(unit standard deviation)等进行。另外，在一些示例中，也可以归一化在[0,1]的范围内。在这种情况下，通过归一化，能够克服不同组织图像的差异性。
在一些示例中，归一化包括图像格式的归一化，图像切片间隔，图像强度，图像合约和图像取向。在一些示例中，组织图像可以被归一化为DICOM格式，NIfTI格式或原始二进制格式。
图4是示出了本公开示例所涉及的人工神经网络模块的一种例子的框图。
如上所述，识别系统40可以包括人工神经网络模块420。在一些示例中，人工神经网络模块420可以用于对组织图像进行组织病变识别。在一些示例中，人工神经网络模块420可以包括多个人工神经网络。在一些示例中，可以利用一个或多个处理器10对人工神经网络进行训练。一般而言，人工神经网络可以包括人工神经元或节点，该人工神经元或节点可以用于接收组织图像并基于权重对组织图像执行运算，接着选择性的将运算结果传递到其他神经元或节点上。其中，权重可以与人工神经元或节点相关联并同时约束着其它人工神经元的输出。权重(也即网络参数)可以通过训练数据集(后续描述)对人工神经网络迭代地进行训练而确定。
在一些示例中，如图4所示，人工神经网络模块420可以包括主干神经网络4200和第二人工神经网络422。
在一些示例中，主干神经网络4200可以包括第一人工神经网络421、第三人工神经网络423和特征组合模块424。
在一些示例中，第一人工神经网络421可以接收组织图像并对组织图像进行特征提取以获得特征图。
在一些示例中，第二人工神经网络422可以接收特征图和来自第三人工神经网络423的识别结果并获得指示病变区域的注意力热度图和指示非病变区域的互补注意力热度图。要注意的是，在另一些示例中，上述的注意力热度图或互补注意力热度图也可以被认为是一种特征图。
在一些示例中，特征组合模块424可以接收特征图、注意力热度图和互补注意力热度图并输出特征组合集。在一些示例中，特征组合模块424也可以直接输出特征图。
在一些示例中，第三人工神经网络423可以接收特征图或特征组合集并输出组织图像的组织病变识别的识别结果。
在一些示例中，输入人工神经网络模块420的组织图像(例如经过预处理的组织图像)可以进入第一人工神经网络421，并最终由第三人工神经网络423输出识别结果。
图5是示出了本公开示例所涉及的人工神经网络模块的变形例的框图。
另外，在一些示例中，如图5所示，人工神经网络模块420可以包括主干神经网络4200和第二人工神经网络422。
在一些示例中，如图5所示，主干神经网络4200可以包括第一人工神经网络421和第三人工神经网络423。
在一些示例中，第三人工神经网络423可以具有特征组合功能。具体内容参见特征组合模块424中的相关描述。
在一些示例中，第一人工神经网络421可以接收组织图像并对组织图像进行特征提取以获得特征图。
在一些示例中，第二人工神经网络422还可以根据注意力热度图获得指示非病变区域的互补注意力热度图。
在一些示例中，第三人工神经网络423可以接收特征图、注意力热度图和互补注意力热度图并输出组织图像的组织病变识别的识别结果。在一些示例中，注意力热度图可以是基于注意力机制获得的指示病变区域的热图。在一些示例中，注意力热度图可以显示在形成特征图时组织图像中的各个像素点的重要程度。
在一些示例中，互补注意力热度图可以是基于互补注意力机制获得的指示非病变区域的热图。
在一些示例中，互补注意力热度图可以是注意力热度图的互补图像。在一些示例中，互补注意力热度图的大小和格式可以和注意力热度图的大小和格式相同。
如上所述，人工神经网络模块420可以包括第一人工神经网络421(参见图5)。
在一些示例中，第一人工神经网络421可以使用一个或多个深度神经网络来自动识别组织图像中的特征。
在一些示例中，第一人工神经网络421可以用于接收经过预处理模块预处理的组织图像并产生一个或多个特征图。在一些示例中，第一人工神经网络421可以通过例如组合多层低级特征(像素级特征)。在这种情况下，能够实现对组织图像的抽象描述。
在一些示例中，第一人工神经网络421可以包括依次连接的输入层、中间层和输出层。输入层可以配置为用于接收经过预处理模块预处理的组织图像。中间层配置为可以用于基于组织图像提取特征图，输出层配置为可以用于输出特征图。
在一些示例中，输入人工神经网络模块420的组织图像可以转换为的像素矩阵，例如可以为三维的像素矩阵。三维矩阵的长和宽可以代表图像的大小，三维矩阵的深度代表了图像的色彩通道。在一些示例中，深度可以为1(即组织图像为灰度图像)，在一些示例中，深度可以为3(即组织图像为在RGB色彩模式下的彩色图像)。
在一些示例中，第一人工神经网络421可以采用卷积神经网络。由于卷积神经网络具有局部感受野和权值共享等优点，能够极大地减小参数的训练，因此能够提高处理速度和节约硬件开销。另外，卷积神经网络能够更加有效地对组织图像进行识别。
图6是示出了本公开示例所涉及的第一人工神经网络421的结构示意图。
在一些示例中，第一人工神经网络421可以含有多个中间层，中间层可以包括多个神经元或节点，中间层中的每一神经元或节点中可以应用激励函数(如ReLU(rectifiedlinear unit)函数、sigmoid函数或tanh函数等)作用于每一个神经元或节点的输出。不同的神经元应用的激励函数影响其它神经元应用的激励函数。
在一些示例中，如图6所示，第一人工神经网络421的中间层可以包括多个卷积层和多个池化层。在一些示例中，卷积层和池化层可以交替组合。在一些示例中，组织图像可以依次通过第一卷积层C1、第一池化层S1、第二卷积层C2、第二池化层S2、第三卷积层C3、第三池化层S3。在这种情况下，能够交替地对组织图像进行卷积处理和池化处理。
在另一些示例中，第一人工神经网络421可以不包括池化层，由此能够避免在池化过程中丢失数据并且能够简化网络结构。
在一些示例中，卷积层可以利用卷积核对卷积神经网络中的组织图像进行卷积。在这种情况下，能够得到抽象度更高的特征，以使矩阵深度变得更深。
在一些示例中，卷积核大小可以为3*3。在另一些示例中，卷积核大小可以为5*5。在一些示例中，可以在第一卷积层C1使用5×5的卷积核，其他卷积层使用3×3的卷积核。在这种情况下，能够提高训练效率。在一些示例中，卷积核的大小可以设置为任意大小。在这种情况下，能够根据图像的大小和计算成本选择卷积核的大小。
在一些示例中，池化层也可以称为下采样层。在一些示例中，可以使用最大池化(max-pooling)、平均池化(mean-pooling)或随机池化(stochastic-pooling)等池化方式处理输入的组织图像。在这种情况下，通过池化操作，一方面可以降低特征维度，提高运算效率，另一方面，也可以使卷积神经网络提取更加抽象的高层特征，以提高对组织病变识别的准确性。
另外，在一些示例中，在上述卷积神经网络中，也可以根据情况对应地增加卷积层和池化层的层数。在这种情况下，也可以使卷积神经网络提取更加抽象的高层特征，以进一步提高对组织病变识别的准确性。
在一些示例中，经过预处理的组织图像通过第一人工神经网络421后，可以输出与该组织图像相对应的特征图。在一些示例中，特征图可以具有多个深度。在一些示例中，经过预处理的组织图像通过第一人工神经网络421后，可以输出多张特征图。在一些示例中，多张特征图可以分别对应一种特征。在一些示例中，可以基于特征图对应的特征对组织图像进行组织病变识别。
在一些示例中，在第一人工神经网络421输出特征图前，可以对特征图依次进行反卷积和上采样处理。在一些示例中，特征图可以经过多次反卷积和上采样处理。例如特征图可以依次经过第一反卷积层、第一上采样层、第二反卷积层、第二上采样层、第三反卷积层、第三上采样层。在这种情况下，能够改变特征图的大小，并保留部分组织图像的数据信息。
在一些示例中，反卷积层的数量可以与卷积层的数量相同，池化层(下采样层)的数量可以与上采样层的数量相同。由此，能够使特征图的大小与组织图像相同。
在一些示例中，特征图经过反卷积层(上采样)前，可以选取经过卷积层(池化层)处理的组织图像进行卷积。例如，特征图进入第二反卷积层(第二上采样层)前，可以将该特征图与第二卷积层C2(第二池化层S2)的输出图像进行卷积处理。特征图进入第三反卷积层(第三上采样层)前，可以将该特征图与第一卷积层C1(第一池化层S1)的输出图像进行卷积处理。在这种情况下，能够补充经过池化层或卷积层时丢失的数据信息。
在一些示例中，在通过第一人工神经网络421生成特征图后，可以通过第二人工神经网络422生成与该特征图相匹配的注意力热度图。
本实施方式中，第二人工神经网络422为带有注意力机制的人工神经网络。在一些示例中，第二人工神经网络422的输出图像可以包括注意力热度图和互补注意力热度图。
在一些示例中，第二人工神经网络422可以包括依次连接的输入层、中间层和输出层。输入层配置为可以用于接收经过特征图和第三人工神经网络423的部分权重或组织病变识别的识别结果。中间层可以配置为用于基于第三人工神经网络423的部分权重或组织病变识别结果获得的特征权重。中间层可以配置为用于基于特征图和特征权重生成注意力热度图和/或互补注意力热度图。输出层配置为可以用于输出注意力热度图和/或互补注意力热度图。在一些示例中，特征图可以由第一人工神经网络421产生。
在一些示例中，注意力机制可以为从输入特征图的大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上。
在一些示例中，注意力热度图可以是以热度图的方式表现注意力的图像。一般而言，注意力热度图中呈红色或白色的对应位置的像素对组织图像组织病变识别的影响较大。注意力热度图中呈蓝色或黑色的对应位置的像素对组织图像组织病变识别的影响较小。
在一些示例中，可以利用特征权重对各张特征图进行加权，并得到注意力热度图。在一些示例中，特征权重可以通过注意力机制获得。在一些示例中，注意力机制可以包括但不限于是通道注意力机制(channel attention module，CAM)、基于梯度的通道注意力机制(Grad-CAM)、基于梯度的强化通道注意力机制(Grad-CAM++)或空间注意力机制(spatialattention module，SAM)等。
在一些示例中，当第三人工神经网络423具有全局池化层和全连接层时。在一些示例中，特征权重可以是第三人工神经网络423中通过全连接层到第三人工神经网络423的输出层的权重。例如，对于组织图像为眼底图像的情况下，第三人工神经网络423可以接收到该眼底图像的特征图，并得到第一识别结果(后续描述)。若第一识别结果为“黄斑”，则提取全连接层中从全局池化层的各个神经元或节点到达“黄斑”这一识别结果的权重作为特征权重。
在一些示例中，可以基于第三人工神经网络423中的组织病变识别结果计算特征权重。在一些示例中，可以计算第三人工神经网络423的第一识别结果(例如组织病变的概率)对一张特征图中的所有像素的偏导，并对本张特征图的所有像素的偏导进行全局池化处理以得到对应本张特征图的特征权重。
在一些示例中，可以通过第二人工神经网络422生成与特征图相匹配的注意力热度图。在一些示例中，可以通过第二人工神经网络422生成互补注意力热度图。在一些示例中，注意力热度图和互补注意力热度图位置相同的像素所对应的两个像素值反相关。在一些示例中，可以对注意力热度图和/或互补注意力热度图进行归一化处理。在一些示例中，注意力热度图和互补注意力热度图位置相同的像素所对应的两个像素值的和或积为恒定值。
在一些示例中，可以利用全变分对注意力热度图和/或互补注意力热度图进行正则化。
在一些示例中，在第一人工神经网络421和第二人工神经网络422的输出层可以连接特征组合模块424。
在一些示例中，特征组合模块424可以具有输入层和输出层，在一些示例中，特征组合模块424的输出层可以特征图或特征组合集。在一些示例中，特征组合模块424的输入层可以接收特征图、注意力热度图或互补注意力热度图。
在一些示例中，特征组合模块424可以将第一人工神经网络421输出的特征图和第二人工神经网络422输出的注意力热度图或互补注意力热度图进行特征组合以形成特征组合集。
在一些示例中，特征组合集可以包括第一特征组合集和第二特征组合集中的至少一个。
在一些示例中，特征组合模块424可以将第一人工神经网络421输出的特征图和第二人工神经网络422输出的注意力热度图进行特征组合以形成第一特征组合集。
在一些示例中，特征组合模块424可以将第一人工神经网络421输出的特征图和第二人工神经网络422输出的互补注意力热度图进行特征组合以形成第二特征组合集。
在一些示例中，特征组合模块424可以直接输出特征图。
在一些示例中，特征组合模块424也可以计算特征图与注意力热度图的差异来获得第一特征组合集。
在一些示例中，特征组合模块424也可以计算特征图与互补注意力热度图的差异来获得第二特征组合集
在一些示例中，特征组合模块424也可以计算特征图与注意力热度图的卷积来获得第一特征组合集。
在一些示例中，特征组合模块424也可以计算特征图与互补注意力热度图的卷积来获得第二特征组合集。
在一些示例中，特征组合模块424还可以计算特征图与注意力热度图的均值来获得第一特征组合集。
在一些示例中，特征组合模块424还可以计算特征图与互补注意力热度图的均值来获得第二特征组合集。
此外，在另一些示例中，特征组合模块424可以对特征图与注意力热度图进行线性或非线性变换来获得第一特征组合集。
此外，在另一些示例中，特征组合模块424可以对特征图与互补注意力热度图进行线性或非线性变换来获得第二特征组合集。
在一些示例中，特征组合模块424的输出层可以输出特征图、第一特征组合集和第二特征组合集。在一些示例中，特征组合模块424的输出的特征图、第一特征组合集和第二特征组合集可以输入第三人工神经网络423，并由第三人工神经网络423进行组织病变识别。
在一些示例中，特征组合模块424可以并入第三人工神经网络423中，并作为第三人工神经网络423中的一部分。在这种情况下，人工神经网络模块420可以包括第一人工神经网络421、第二人工神经网络422和第三人工神经网络423。
在一些示例中，在特征组合模块424并入到第三人工神经网络423的情况下，第三人工神经网络423的输入层可以接收特征图、注意力热度图或互补注意力热度图。
在一些示例中，第三人工神经网络423可以包括依次连接的输入层、中间层和输出层。在一些示例中，输出层配置为可以用于输出反映组织图像的识别结果。在这种情况下，能够利用第三人工神经网络423输出反映组织图像的识别结果。在一些示例中，第三人工神经网络423的输出层可以包括Softmax层。在一些示例中，第三人工神经网络423的中间层可以是全连接层。
在一些示例中，可以由全连接层进行最后的分类，并最终经过Softmax层获取组织图像属于各个组织病变的类别的概率。在这种情况下，能够基于概率得到组织图像的组织病变识别的识别结果。
在一些示例中，第三人工神经网络423可以包括各种线性分类器，例如单层的全连接层。
在一些示例中，第三人工神经网络423可以包括各种非线性分类器。例如逻辑回归(Logistic Regression)、随机森林(Random Forest)或支持向量机(Support VectorMachines)等。
在一些示例中，第三人工神经网络423可以包括多个分类器。在一些示例中，分类器可以给出组织图像的组织病变识别的识别结果。例如在组织图像为眼底图像的情况下，可以给出眼底图像的眼底病变识别的识别结果。在这种情况下，能够对眼底图像进行眼底病变识别。
在一些示例中，第三神经网络423的输出可以是0到1之间的值，这些值可以用于表示组织图像属于各个组织病变的类别的概率。
在一些示例中，当组织图像属于某个组织病变的类别的概率最高时，则将该类别作为组织图像的组织病变识别的识别结果。例如，在组织图像属于各个组织病变的类别的概率中，若类别为无病变的概率最高，则该组织图像的组织病变识别的识别结果可以为无病变。又例如在对眼底图像进行眼底病变识别过程中，第三人工神经网络423输出的黄斑、无病变的预测概率分别0.8、0.2，则可以认为该眼底图像存在黄斑病变。
在一些示例中，第三人工神经网络423可以输出与组织图像相匹配的识别结果。在一些示例中，识别结果可以包括在未使用注意力机制时的第一识别结果、在使用注意力机制时的第二识别结果以及在使用注意力机制和互补注意力时的第三识别结果。
在一些示例中，第三人工神经网络423可以对特征组合模块424的输出的特征图进行组织病变识别并得到第一识别结果。
在一些示例中，第三人工神经网络423可以对特征组合模块424的输出的第一特征组合集进行组织病变识别并得到第二识别结果。
在一些示例中，第三人工神经网络423可以对特征组合模块424的输出的第二特征组合集进行组织病变识别并得到第三识别结果。
在一些示例中，识别结果可以包括有病变和无病变两种结果。在一些示例中，识别结果也可以包括无病变或具体的病变类型。例如在组织图像为眼底图像的情况下，识别结果可以包括但不限于为无病变、高血压视网膜病变或糖尿病视网膜病变中的一种。在这种情况下，能够获得该眼底图像的眼底病变识别的识别结果。在一些示例中，一张组织图像的识别结果可以为多种。例如，识别结果可以为高血压视网膜病变和糖尿病视网膜病变两种结果。
在一些示例中，识别系统40还可以包括判断模块。
在一些示例中，判断模块可以接收人工神经网络模块420的输出。在这种情况下，能够通过判断模块对人工神经网络模块420的输出结果进行综合并输出最终识别结果，从而能够生成汇总报告。
在一些示例中，可以将第一识别结果作为组织图像的最终识别结果。在这种情况下，在利用人工神经网络模块420对组织图像进行组织病变识别时，可以通过包括第一人工神经网络421和第三人工神经网络423的主干神经网络4200对组织图像进行组织病变识别，从而加快识别速度。
在一些示例中，可以将第二识别结果作为组织图像的最终识别结果。
如上所述，可以基于互补注意力机制的获取第三识别结果。在一些示例中，可以基于第一识别结果、第二识别结果和第三识别结果获得组织图像的最终识别结果。例如，在一些示例中，最终识别结果可以包括第二识别结果和第三识别结果。在一些示例中，最终识别结果可以包括第一识别结果和第三识别结果。
在一些示例中，判断模块生成的汇总报告可以包括第一识别结果、第二识别结果、第三识别结果和最终识别结果中的至少一种结果。在一些示例中，判断模块可以基于注意力热度图对组织图像进行颜色编码生成病变指示图以指示病变区域。判断模块生成的汇总报告可以包括病变指示图。
在一些示例中，判断模块生成的汇总报告可以包括相应病变的部位，并利用标记框对该部位进行标记。
在一些示例中，判断模块生成的汇总报告可以以热图的方式显示组织图像的病变区域。具体而言，在热图中，病变可能性大的区域可以呈红色或白色，病变可能性小的区域可以呈蓝色或黑色。在这种情况下，能够以直观地方式指示病变区域。
在一些示例中，判断模块还可以用于对病变区域的框选。在一些示例中，可以通过固定的形状(例如三角形，圆形，四边形等规则形状)对病变区域进行框选。在一些示例中，也可以对病变区域进行勾勒。在这种情况下，能够直观地显示出病变区域。
在一些示例中，判断模块还可以用于对病变区域进行勾勒。例如，可以分析注意力热度图内的各个像素点所对应的数值，并将数值大于第一预设值的像素点划分为病变区域，将数值小于第一预设值的像素点划分为非病变区域。
本公开所涉及基于人工神经网络的组织病变识别的识别方法通过识别系统40实施。
在一些示例中，识别方法包括：获取组织图像和利用人工神经网络模块420获取组织病变识别的识别结果。在一些示例中，组织图像可以为通过采集装置采集的组织图像。在一些示例中，人工神经网络模块420通过训练系统430进行训练。在这种情况下，能够利用人工神经网络模块420获取组织病变识别的识别结果，并且能够利用总损失函数对人工神经网络模块420进行优化，从而能够提高组织病变识别的准确性。
以下，结合附图具体描述本实施方式所涉及的基于人工神经网络的组织病变识别的训练方法(有时也可以简称为训练方法)以及训练系统。
在一些示例中，可以利用基于人工神经网络的组织病变识别的训练系统430实施训练方法。在这种情况下，能够利用训练系统430对人工神经网络模块420进行训练。
图7是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的训练系统430的结构框图。
在一些示例中，如图7所示，训练系统430可以包括存储模块431、处理模块432以及优化模块433。在一些示例中，存储模块431可以配置为用于储存训练数据集。在一些示例中，处理模块432，可以利用人工神经网络模块420进行特征提取、生成注意力热度图和互补注意力热度图、以及组织病变识别等操作。在一些示例中，优化模块433可以基于组织病变识别的识别结果(包括第一识别结果、第二识别结果、第三识别结果)获得总损失函数以对人工神经网络模块420进行优化。在这种情况下，能够利用注意力机制和互补注意力机制获得组织病变识别的识别结果，并基于组织病变识别的识别结果获得总损失函数，从而能够利用总损失函数优化人工神经网络模块420，进而提高人工神经网络模块420的组织病变识别的准确性。
在一些示例中，人工神经网络模块420的训练方式可以为弱监督。在这种情况下，能够利用信息量较少的标注结果通过人工神经网络模块420获得信息量较多的识别结果。在一些示例中，在标注结果是文本标注的情况下，识别结果中可以包括病变区域的位置和大小。在一些示例中，人工神经网络模块420的训练方式也可以为无监督、半监督、强化学习等方式。
在一些示例中，可以利用第一损失函数、第二损失函数和第三损失函数训练人工神经网络模块420。需要说明的是，由于涉及的训练模型和损失函数一般较复杂，因此该模型一般没有解析解，在一些示例中，可以通过优化算法(例如批量梯度下降法(BGD)，随机梯度下降法(SGD)等)有限次迭代模型参数来尽可能降低损失函数的值，即求出该模型的解析解。在一些示例中，可以利用反向传播算法来训练人工神经网络模块420，在这种情况下，能够达到误差最小的网络参数，进而提高识别精度。
图8是示出了本公开示例所涉及的基于人工神经网络的组织病变识别的训练方法的流程图。
在一些示例中，如图8所示，训练方法可以包括准备训练数据集(步骤S100)；将训练数据集输入人工神经网络模块420，并获得与各张检查图像相匹配的第一识别结果、第二识别结果和第三识别结果(步骤S200)；基于第一识别结果、第二识别结果和第三识别结果计算总损失函数(步骤S300)以及利用总损失函数优化人工神经网络模块420(步骤S400)。在这种情况下，能够获得第一识别结果、第二识别结果和第三识别结果，并基于第一识别结果、第二识别结果和第三识别结果获得总损失函数，从而能够利用总损失函数优化人工神经网络模块420，进而提高人工神经网络模块420的组织病变识别的准确性。
在步骤S100中，可以准备训练数据集。在一些示例中，训练数据集可以包括多张检查图像及与检查图像关联的有病变的标注结果或无病变的标注结果。
在一些示例中，训练数据集可以包括多张检查图像以及与检查图像关联的标注图像。
在一些示例中，检查图像可以是来自合作医院且去除患者信息的5-20万幅组织图像。在一些示例中，检查图像可以是来自CT扫描，PET-CT扫描，SPECT扫描，MRI，超声，X射线，乳房X射线照片，血管造影照片，荧光图，胶囊内窥镜拍摄的组织图像或其组合。在一些示例中，检查图像可以是眼底图像。在一些示例中，检查图像可以由病变区域和非病变区域构成。在一些示例中，检查图像可以用于人工神经网络模块420的训练。
在一些示例中，检查图像可以通过获取模块410获取。
在一些示例中，标注图像可以包括有病变的标注结果或无病变的标注结果。在一些示例中，标注结果可以作为真实值以衡量损失函数的大小。
在一些示例中，标注结果可以是图像标注或文本标注。在一些示例中，图像标注可以是由人工标注的用于框选病变区域的标注框。
在一些示例中，标注框可以是固定的形状，例如三角形，圆形或四边形等规则形状。在一些示例中，标注框也可以是基于病变区域勾勒的不规则形状。
在一些示例中，文本标注可以是检查图像是否存在病变的判定结果。例如“有病变”或“无病变”。在一些示例中，文本标注也可以是病变的类型。例如在检查图像是眼底图像的情况下，文本标注可以是“黄斑病变”、“高血压视网膜病变”或“糖尿病视网膜病变”等。
在一些示例中，训练数据集可以存储在存储模块431中。在一些示例中，存储模块431可以配置为用于存储训练数据集。
在一些示例中，训练数据集可以包括30％-60％的无病变结果标注结果的检查图像。在一些示例中，训练数据集可以包括10％、20％、30％、40％、50％或60％的无病变结果标注结果的检查图像。
在一些示例中，可以使用存储模块431存储训练数据集。在一些示例中，存储模块431可以包括存储器20。
在一些示例中，存储模块431可以配置为用于存储检查图像和与检查图像关联的标注图像。
在一些示例中，人工神经网络模块420可以接收存储模块431存储的训练数据集。
在一些示例中，可以对训练数据集进行预处理。
在步骤S200中，可以将训练数据集输入人工神经网络模块420，并获得与各张检查图像相匹配的第一识别结果、第二识别结果和第三识别结果。在一些示例中，可以将训练数据集输入人工神经网络模块420以获取特征图、注意力热度图和互补注意力热度图。在一些示例中，可以对检查图像进行特征提取以获得特征图。在一些示例中，可以基于注意力机制对特征图进行处理以获得注意力热度图。在一些示例中，可以基于互补注意力机制对注意力热度图进行处理以获得互补注意力热度图。
在一些示例中，可以利用处理模块432实施步骤S200。在一些示例中，处理模块432可以包括至少一个处理器10。
在一些示例中，如上所述，人工神经网络模块420可以包括第一人工神经网络421、第二人工神经网络422以及第三人工神经网络423。
在一些示例中，处理模块432可以配置为用于利用第一人工神经网络421对检查图像进行特征提取以获得特征图。在一些示例中，处理模块432可以配置为用于利用第二人工神经网络422获得指示病变区域的注意力热度图和指示非病变区域的互补注意力热度图。
在一些示例中，处理模块432可以配置为用于利用第三人工神经网络423获得包括组织病变识别的识别结果。如上所述，第三人工神经网络423可以包括输出层。在一些示例中，该输出层可以配置为用于输出反映检查图像的识别结果。在这种情况下，第三人工神经网络423能够输出反映检查图像的识别结果。
在一些示例中，处理模块432可以利用第三人工神经网络423基于特征图对检查图像进行识别以获得第一识别结果。
在一些示例中，处理模块432可以利用第三人工神经网络423基于特征图和注意力热度图对检查图像进行识别以获得第二识别结果。
在一些示例中，处理模块432可以利用第三人工神经网络423基于特征图和互补注意力热度图对检查图像进行识别以获得第三识别结果。
在一些示例中，组织病变可以是眼底病变。在这种情况下，能够将人工神经网络模块420用于眼底图像的眼底病变识别。
在步骤S300中，基于第一识别结果、第二识别结果和第三识别结果可以计算总损失函数。
在一些示例中，可以利用优化模块433实施步骤S300。
在一些示例中，优化模块433可以基于第一损失函数、第二损失函数和第三损失函数获得人工神经网络模块420的总损失函数。在这种情况下，能够利用总损失函数优化人工神经网络模块420。
在一些示例中，优化模块433可以结合第一识别结果与标注图像以获得在未使用注意力机制时的第一损失函数。在一些示例中，第一损失函数可以用于评估检查图像在未使用注意力机制时的识别结果与标注结果之间的不一致程度。在这种情况下，能够提高人工神经网络模块420在未使用注意力机制时的组织病变识别的准确性。
在一些示例中，优化模块433可以结合第二识别结果与标注图像以获得在使用注意力机制时的第二损失函数。在一些示例中，第二损失函数可以用于评估检查图像在使用注意力机制时的识别结果与标注结果之间的不一致程度。在这种情况下，能够提高人工神经网络模块420在使用注意力机制时的组织病变识别的准确性。
在一些示例中，优化模块433可以结合第三识别结果与具有无病变的标注结果的标注图像以获得在使用互补注意力机制时的第三损失函数。在一些示例中，第三损失函数可以用于评估检查图像在使用互补注意力机制时的识别结果与无病变识别之间的不一致程度。在这种情况下，能够提高人工神经网络模块420在使用互补注意力机制时的组织病变识别的准确性。
在一些示例中，第一损失函数、第二损失函数和第三损失函数可以通过误差损失函数获得。在一些示例中，误差损失函数可以为相关函数、L1损失函数、L2损失函数或Huber损失函数等用于评估真值(也即标注结果)与预测值(也即识别结果)之间相关性的函数。
在一些示例中，总损失函数可以包括第一损失项、第二损失项和第三损失项。
在一些示例中，第一损失项可以与第一损失函数正相关。在这种情况下，能够利用第一损失项评估检查图像在未使用注意力机制时的识别结果与标注结果之间的不一致程度，从而能够提高组织病变识别的准确性。
在一些示例中，第二损失项可以与第二损失函数和第一损失函数的差正相关。在一些示例中，第二损失函数小于第一损失函数时，第二损失项可以为恒定值。在这种情况下，能够利用第二损失项评估检查图像在使用注意力机制时的识别结果与未使用注意力机制时的识别结果的不一致程度。
在一些示例中，第二损失项可以与第二损失函数和第一损失函数的差正相关。具体而言，当第二损失函数和第一损失函数的差大于零时，可以把第二损失函数和第一损失函数的差作为第二损失项，当第二损失函数和第一损失函数的差小于零时，可以令第二损失项设为零。在这种情况下，能够利用第二损失项评估第一识别结果与第二识别结果之间的不一致程度，从而能够使第二识别结果相对于第一识别结果更加接近标注结果。
在一些示例中，第三损失项可以与第三损失函数正相关。在这种情况下，能够利用第三损失项评估检查图像在使用互补注意力机制时的第三识别结果与无病变的标注结果之间的不一致程度，从而能够降低误判或漏判的发生。
在一些示例中，总损失函数还可以包括第四损失项。在一些示例中，第四损失项可以是正则项。在一些示例中，第四损失项可以是针对注意力热度图的正则项。在一些示例中，正则项可以基于全变分获得。在这种情况下，可以抑制人工神经网络模块420过拟合。
在一些示例中，总损失函数可以包括与各个损失项相匹配的损失项权重系数。在一些示例中，总损失函数还可以包括与第一损失项相匹配的第一损失项权重系数、与第二损失项相匹配的第二损失项权重系数、与第三损失项相匹配的第三损失项权重系数和与第四损失项相匹配的第四损失项权重系数等。
在一些示例中，第一损失项可以与第一损失项权重系数相乘，第二损失项可以与第二损失项权重系数相乘，第三损失项可以与第三损失项权重系数相乘，第四损失项可以与第四损失项权重系数相乘，第五损失项可以与第五损失项权重系数相乘。由此，能够通过损失项权重系数调整各个损失项对总损失函数的影响程度。
在一些示例中，损失项权重系数可以设置为0。在一些示例中，损失项权重系数可以设置为正数。在这种情况下，由于各个损失项均为非负数，能够使总损失函数的值不小于零。
在一些示例中，总损失函数的函数式可以为：
Figure BDA0002803716490000251
其中，L为总损失函数，λ1为第一损失项权重系数、λ2为第二损失项权重系数、λ3为第三损失项权重系数，λ4为第四损失项权重系数，f为误差损失函数，X为检查图像，F(X)为检查图像X经过第一人工神经网络421后产生的特征图，l(X)为检查图像X的标注结果，max为取最大值函数，C为基于输入的特征图或特征组合集输出识别结果的分类器函数，margin为预设参数，l0为无病变的标注结果，M(X)为与检查图像X相匹配的注意力热度图，
Figure BDA0002803716490000252
为与检查图像X相匹配的互补注意力热度图，总损失函数的函数式中的“·”为矩阵的点乘运算，Regularize(M)为针对注意力热度图M的正则项。在一些示例中，分类器函数可以通过第三人工神经网络423实现。
在一些示例中，优化模块433可以利用第一损失函数、第二损失函数、以及第三损失函数获取包括基于第一损失函数的第一损失项、基于第二损失函数和第一损失函数的差的第二损失项、以及基于第三损失函数的第三损失项的总损失函数并利用总损失函数对人工神经网络模块420进行优化。
在一些示例中，总损失函数还可以包括第五损失项。在一些示例中，第五损失项可以是注意力热度图的总面积项。具体而言，注意力热度图的总面积项可以是注意力热度图内的判断为病变区域的面积。在一些示例中，可以用公式SUM(M(X))表示注意力热度图M(X)的总面积项。在一些示例中，可以利用第四损失项训练人工神经网络模块420以使注意力热度图内的病变区域变小。在这种情况下，能够利用第五损失项评估注意力热度图内的病变区域的面积并控制注意力热度图中对识别结果影响较大的像素的数量，从而使网络的注意力限制在对识别结果影响更大的像素上。由此，能够增加病变区域识别的准确性。
在一些示例中，总损失函数还可以包括第六损失项。在一些示例中，第六损失项可以用于评估识别结果中对病变区域的框选区域和标注图像中由人工标注的病变区域的标注框之间的不一致程度。
在步骤S400中，可以利用总损失函数优化人工神经网络模块420。
在一些示例中，可以利用优化模块433实施步骤S400。
在一些示例中，优化模块433可以利用总损失函数对人工神经网络模块420进行优化以使总损失函数最小化。在这种情况下，能够最小化总损失函数以提高人工神经网络模块420的组织病变识别的准确性。
在一些示例中，优化模块433可以基于第一损失项、第二损失项、第三损失项和注意力热度图的总面积项获得总损失函数，并且利用总损失函数对人工神经网络模块420进行优化，以获得可以用于组织病变识别的人工神经网络模块420。由此，能够进一步提高人工神经网络模块420的组织病变识别的准确性。
在一些示例中，优化模块433可以通过改变第一损失项、第二损失项、第三损失项和第四损失项的权重对总损失函数进行调节。
在一些示例中，优化模块433可以基于第一损失项和第六损失项作为总损失函数(即将其他损失项的损失项权重系数设为零)以优化人工神经网络模块420。由此，能够提高第二人工神经网络422生成的注意力热度图和互补注意力热度图的准确性。
在一些示例中，在优化过程中，可以修改总损失函数中的损失项权重系数。
在一些示例中，优化模块433可以借助优化算法来对总损失函数中的参数进行多次迭代，以降低总损失函数的值。例如，在本实施方式中，可以借助小批量随机梯度下降(mini-batch stochastic gradient descent)算法，通过随机选取一组输入函数的参数，接下来对参数进行多次迭代，以降低损失函数的值。
在一些示例中，当总损失函数小于第二预设值时或迭代次数超过三预设值时，暂停训练。
在一些示例中，优化模块433可以先不用注意力机制对人工神经网络模块420进行预训练，然后再以运用注意力机制对人工神经网络模块420进行训练。在这种情况下，能够加快训练速度。
在一些示例中，优化模块433可以对第一人工神经网络421、第二人工神经网络422和第三人工神经网络423同时进行训练。在这种情况下，能够加快训练速度。
在一些示例中，在训练完成后，优化模块433可以采用例如0-20000幅组织图像(例如眼底图像)作为测试组织图像以组成测试集。
在一些示例中，测试组织图像可以用于人工神经网络模块420的训练后的测试。
图9(a)是示出了本公开示例所涉及的未使用注意力机制训练得到的眼底图像的病变区域一种例子的示意图。图9(b)是示出了本公开示例所涉及的使用互补注意力机制训练得到的眼底图像的病变区域的一种例子的示意图。
在一些示例中，使用互补注意力机制训练得到的眼底图像的组织病变识别的准确性更高。作为未使用注意力机制的示例，图9(a)示出了未使用注意力机制训练得到的眼底图像的病变区域A。作为互补注意力机制的示例，图9(b)示出了使用互补注意力机制训练得到的眼底图像的病变区域B。
虽然以上结合附图和实施例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的保护范围内。

Claims (12)

1.一种基于人工神经网络的组织病变识别的训练方法，其特征在于，包括：准备训练数据集，所述训练数据集包括多张检查图像以及与所述检查图像关联的标注图像，所述标注图像包括有病变的标注结果或无病变的标注结果；将所述训练数据集输入人工神经网络模块以对所述检查图像进行特征提取以获得特征图，并且基于注意力机制对所述特征图进行处理以获得注意力热度图，并且基于互补注意力机制对所述注意力热度图进行处理以获得互补注意力热度图；所述人工神经网络模块包括第一人工神经网络、第二人工神经网络以及第三人工神经网络；利用所述第一人工神经网络对所述检查图像进行特征提取以获得所述特征图，利用所述第二人工神经网络获得指示病变区域的所述注意力热度图和指示非病变区域的所述互补注意力热度图，所述检查图像由所述病变区域和所述非病变区域构成，利用所述第三人工神经网络基于所述特征图对所述检查图像进行识别以获得第一识别结果，利用所述第三人工神经网络基于所述特征图和所述注意力热度图对所述检查图像进行识别以获得第二识别结果，利用所述第三人工神经网络基于所述特征图和所述互补注意力热度图对所述检查图像进行识别以获得第三识别结果；结合所述第一识别结果与所述标注图像以获得在未使用所述注意力机制时的第一损失函数，结合所述第二识别结果与所述标注图像以获得在使用所述注意力机制时的第二损失函数，结合所述第三识别结果与具有无病变的标注结果的所述标注图像以获得在使用所述互补注意力机制时的第三损失函数，利用所述第一损失函数、所述第二损失函数、以及所述第三损失函数获取包括基于所述第一损失函数的第一损失项、基于所述第二损失函数和所述第一损失函数的差的第二损失项、以及基于所述第三损失函数的第三损失项的总损失函数， 并利用所述总损失函数对所述人工神经网络模块进行优化。
2.如权利要求1所述的训练方法，其特征在于，
所述总损失函数还包括所述注意力热度图的总面积项，所述总面积项用于评估所述病变区域的面积。
3.如权利要求1所述的训练方法，其特征在于，
所述总损失函数还包括针对所述注意力热度图的正则项。
4.如权利要求1所述的训练方法，其特征在于，
对所述第一人工神经网络、所述第二人工神经网络和所述第三人工神经网络同时进行训练。
5.如权利要求1所述的训练方法，其特征在于，
所述第三人工神经网络包括依次连接的输入层、中间层和输出层，所述输出层配置为用于输出反映所述检查图像的识别结果。
6.如权利要求1所述的训练方法，其特征在于，
所述人工神经网络模块的训练方式为弱监督。
7.如权利要求1所述的训练方法，其特征在于，
所述第一损失函数用于评估所述检查图像在未使用所述注意力机制时的识别结果与所述标注结果之间的不一致程度。
8.如权利要求1所述的训练方法，其特征在于，
所述第二损失函数用于评估所述检查图像在使用所述注意力机制时的识别结果与所述标注结果之间的不一致程度。
9.如权利要求1所述的训练方法，其特征在于，
所述第三损失函数用于评估所述检查图像在使用所述互补注意力机制时的识别结果与无病变的标注结果之间的不一致程度。
10.如权利要求1所述的训练方法，其特征在于，
利用所述总损失函数对所述人工神经网络模块进行优化以使所述总损失函数最小化。
11.如权利要求1所述的训练方法，其特征在于，
组织病变为眼底病变。
12.一种基于人工神经网络的组织病变识别的训练系统，其特征在于，使用权利要求1至11的任一项所述的训练方法进行训练。
CN202011359970.2A 2019-11-28 2020-11-27 基于人工神经网络的组织病变识别的训练方法及训练系统 Active CN112862745B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210631057.6A CN114972278A (zh) 2019-11-28 2020-11-27 基于互补注意力的训练方法
CN202210631673.1A CN115049602A (zh) 2019-11-28 2020-11-27 人工神经网络模块的优化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019111941764 2019-11-28
CN201911194176 2019-11-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210631673.1A Division CN115049602A (zh) 2019-11-28 2020-11-27 人工神经网络模块的优化方法
CN202210631057.6A Division CN114972278A (zh) 2019-11-28 2020-11-27 基于互补注意力的训练方法

Publications (2)

Publication Number Publication Date
CN112862745A CN112862745A (zh) 2021-05-28
CN112862745B true CN112862745B (zh) 2022-06-14

Family

ID=75996687

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202011364685.XA Active CN112862746B (zh) 2019-11-28 2020-11-27 基于人工神经网络的组织病变识别的识别方法及识别系统
CN202210631057.6A Pending CN114972278A (zh) 2019-11-28 2020-11-27 基于互补注意力的训练方法
CN202211242486.0A Pending CN115511860A (zh) 2019-11-28 2020-11-27 基于互补注意力机制的组织病变识别的识别方法
CN202210631673.1A Pending CN115049602A (zh) 2019-11-28 2020-11-27 人工神经网络模块的优化方法
CN202011359970.2A Active CN112862745B (zh) 2019-11-28 2020-11-27 基于人工神经网络的组织病变识别的训练方法及训练系统
CN202211242487.5A Pending CN115511861A (zh) 2019-11-28 2020-11-27 基于人工神经网络的识别方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202011364685.XA Active CN112862746B (zh) 2019-11-28 2020-11-27 基于人工神经网络的组织病变识别的识别方法及识别系统
CN202210631057.6A Pending CN114972278A (zh) 2019-11-28 2020-11-27 基于互补注意力的训练方法
CN202211242486.0A Pending CN115511860A (zh) 2019-11-28 2020-11-27 基于互补注意力机制的组织病变识别的识别方法
CN202210631673.1A Pending CN115049602A (zh) 2019-11-28 2020-11-27 人工神经网络模块的优化方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211242487.5A Pending CN115511861A (zh) 2019-11-28 2020-11-27 基于人工神经网络的识别方法

Country Status (1)

Country Link
CN (6) CN112862746B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022226949A1 (zh) * 2021-04-29 2022-11-03 深圳硅基智控科技有限公司 基于人工神经网络的组织病变识别的识别方法及识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技（深圳）有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108771530B (zh) * 2017-05-04 2021-03-30 深圳硅基智能科技有限公司 基于深度神经网络的眼底病变筛查系统
US11501154B2 (en) * 2017-05-17 2022-11-15 Samsung Electronics Co., Ltd. Sensor transformation attention network (STAN) model
CN108830157B (zh) * 2018-05-15 2021-01-22 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN110674664A (zh) * 2018-06-15 2020-01-10 阿里巴巴集团控股有限公司 视觉注意力的识别方法及系统、存储介质、处理器
CN109766936B (zh) * 2018-12-28 2021-05-18 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
CN110097559B (zh) * 2019-04-29 2024-02-23 李洪刚 基于深度学习的眼底图像病灶区域标注方法
CN110349147B (zh) * 2019-07-11 2024-02-02 腾讯医疗健康(深圳)有限公司 模型的训练方法、眼底黄斑区病变识别方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技（深圳）有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Classification of Skin Lesions Using an Ensemble of Deep Neural Networks;Balazs Harangi et al.;《2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20181231;第2575-2578页 *
基于用户向量化表示和注意力机制的深度神经网络推荐模型;郭旭 等;《计算机科学》;20190831;第111-115页 *

Also Published As

Publication number Publication date
CN112862745A (zh) 2021-05-28
CN112862746B (zh) 2022-09-02
CN114972278A (zh) 2022-08-30
CN115511860A (zh) 2022-12-23
CN112862746A (zh) 2021-05-28
CN115049602A (zh) 2022-09-13
CN115511861A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Mahapatra et al. Image super-resolution using progressive generative adversarial networks for medical image analysis
US10430946B1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US10861134B2 (en) Image processing method and device
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
US10496884B1 (en) Transformation of textbook information
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
EP4102455A1 (en) Multi-modal medical image processing
JP2020518915A (ja) 自動眼底画像分析用のシステムおよび方法
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
CN113496489A (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
US11263744B2 (en) Saliency mapping by feature reduction and perturbation modeling in medical imaging
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN115136189A (zh) 基于图像处理的肿瘤的自动化检测
CN112862745B (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
WO2022226949A1 (zh) 基于人工神经网络的组织病变识别的识别方法及识别系统
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
KR102650919B1 (ko) 패치 단위 대조 학습 모델을 이용한 의료 영상 분석 방법 및 분석 장치
Kodumuru et al. Diabetic Retinopathy Screening Using CNN (ResNet 18)
US20240087115A1 (en) Machine learning enabled system for skin abnormality interventions
Kukar et al. Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant