CN112560957B - 一种神经网络训练、检测方法、装置及设备 - Google Patents

一种神经网络训练、检测方法、装置及设备 Download PDF

Info

Publication number
CN112560957B
CN112560957B CN202011496525.0A CN202011496525A CN112560957B CN 112560957 B CN112560957 B CN 112560957B CN 202011496525 A CN202011496525 A CN 202011496525A CN 112560957 B CN112560957 B CN 112560957B
Authority
CN
China
Prior art keywords
full
feature
neural network
processed
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011496525.0A
Other languages
English (en)
Other versions
CN112560957A (zh
Inventor
祝闯
邱书豪
周文莉
刘军
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011496525.0A priority Critical patent/CN112560957B/zh
Publication of CN112560957A publication Critical patent/CN112560957A/zh
Application granted granted Critical
Publication of CN112560957B publication Critical patent/CN112560957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种神经网络训练、检测方法、装置及设备，该方法包括：获取待处理全切片数字图像及其对应的标签；分割待处理全切片数字图像，得到多张分割图像；通过神经网络的特征提取层和全连接层得到示例特征图以及多张分割图像对应的权重；将权重与示例特征图相乘后，输入至分类器，得到分类结果；基于分类结果与标签的对比结果，判断神经网络是否收敛；若否，则调整神经网络的参数，直至神经网络收敛，得到训练完成的神经网络模型。可见，本方案中，只需获取整张WSI的标签，并通过全连接层计算得到由WSI分割出的多张分割图像的权重，引导神经网络的训练，不需要在训练的过程中对分割得到的多张分割图像进行标注，减少了人力耗费。

Description

一种神经网络训练、检测方法、装置及设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种神经网络训练、检测方法、装置及设备。
背景技术
目前，可以通过数字切片扫描仪对人体组织进行切片扫描，生成全切片数字图像(WSI，Whole Slid Image)。在医学上，可以通过对全切片数字图像进行分类结果，实现对一些疾病的诊断。例如，可以对甲状腺的WSI进行分类，判断该甲状腺是否癌变，或者判断甲状腺癌是否为良性或恶性；可以对肺部的WSI进行分类，判断肺部是否癌变，或者判断肺癌是否为良性或恶性，等等。
目前，主要的WSI分类方案包括：将需要分类的WSI切割成数张小图像，将这数张小图像输入至训练好的神经网络，得到每张小图像的检测结果，再将每张小图像的检测结果进行整合得到WSI的分类结果。其中，训练神经网络的方案包括：将WSI切割成数张小图像，对每张小图像进行标注，将标注后的小图像输入至神经网络，对神经网络进行训练，得到训练好的神经网络。
上述方案中，在训练神经网络时，需要由专业人员或医生对切割得到的每张小图像进行人工标注，耗费较多人力。
发明内容
本发明实施例的目的在于提供一种神经网络训练、检测方法、装置及设备，以减少人力耗费。具体技术方案如下：
为达到上述目的，本发明实施例提供了一种神经网络训练方法，包括：
获取待处理全切片数字图像及其对应的标签；
对所述待处理全切片数字图像进行分割，得到多张分割图像；
将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图；所述神经网络包括顺次连接的特征提取层、全连接层、以及分类器；
将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重；
将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果；
将所述分类结果与所述标签进行对比，得到对比结果，基于所述对比结果判断所述神经网络是否收敛；
若否，则对所述神经网络的参数进行调整，并返回所述将所述多张分割图像输入至神经网络中的特征提取层的步骤，直至所述神经网络收敛，得到训练完成的神经网络模型。
可选的，所述将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图，包括：
识别包含预设人体组织区域的分割图像，作为目标分割图像；
判断所述目标分割图像的数量是否满足预设数量条件；
若是，则将所述目标分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图。
可选的，所述全连接层包括顺次连接的第一全连接层和第二全连接层；
所述将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重，包括：
对所述示例特征图进行最大池化处理，得到多个特征向量；
将所述多个特征向量输入至所述第一全连接层，得到所述第一全连接层输出的特征矩阵；
将所述特征矩阵输入至所述第二全连接层，得到所述第二全连接层输出的每张所述分割图像的权重；
所述将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果，包括：
将所述第二全连接层输出的每张所述分割图像的权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果。
可选的，所述将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图，包括：
针对每张分割图像，对该分割图像进行不同尺度的卷积计算，得到该分割图像的多个待处理特征图；其中，每一所述待处理特征图分别对应一种尺度的卷积计算；
对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图；
将所述多张分割图像对应的融合特征图拼接成示例特征图。
可选的，所述对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图，包括：
针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；
对该待处理特征图进行卷积，得到卷积特征；
对所述池化特征进行加权后与所述卷积特征相乘，得到注意力特征；
将所述注意力特征与所述卷积特征相加，得到已处理特征图；
对所述已处理特征图进行下采样，得到该待处理特征图对应的输出特征图；
将所述多个待处理特征图对应的输出特征图进行特征融合，得到融合特征图。
为达到上述目的，本发明实施例还提供了一种检测方法，包括：
获取待检测全切片数字图像；
对所述待检测全切片数字图像进行分割，得到多张待检测分割图像；
将所述多张待检测分割图像输入至上述任意一种方法得到的神经网络模型，得到所述神经网络模型输出的检测结果。
为达到上述目的，本发明实施例还提供了一种神经网络训练装置，包括：
第一获取模块，用于获取待处理全切片数字图像及其对应的标签；
第一分割模块，用于对所述待处理全切片数字图像进行分割，得到多张分割图像；
第一输入模块，用于将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图；所述神经网络包括顺次连接的特征提取层、全连接层、以及分类器；
第二输入模块，用于将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重；
第三输入模块，用于将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果；
判断模块，用于将所述分类结果与所述标签进行对比，得到对比结果，基于所述对比结果判断所述神经网络是否收敛；
更新模块，用于对所述神经网络的参数进行调整，并触发所述第一输入模块，直至所述神经网络收敛，得到训练完成的神经网络模型。
为达到上述目的，本发明实施例还提供了一种检测装置，包括：
第二获取模块，用于获取待检测全切片数字图像；
第二分割模块，用于对所述待检测全切片数字图像进行分割，得到多张待检测分割图像；
检测模块，用于将所述多张待检测分割图像输入至上述任意一种装置得到的神经网络模型，得到所述神经网络模型输出的检测结果。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种神经网络训练、检测方法。
应用本发明所示实施例，获取待处理全切片数字图像及其对应的标签；对待处理全切片数字图像进行分割，得到多张分割图像；将多张分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图；神经网络包括顺次连接的特征提取层、全连接层、以及分类器；将示例特征图输入至全连接层，分别得到全连接层输出的每张分割图像的权重；将权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果；将分类结果与标签进行对比，得到对比结果，基于对比结果判断神经网络是否收敛；若否，则对神经网络的参数进行调整，并返回将多张分割图像输入至神经网络中的特征提取层的步骤，直至神经网络收敛，得到训练完成的神经网络模型。可见，本方案中，只需获取整张WSI的标签，并通过全连接层计算得到由WSI分割出的多张分割图像的权重，引导神经网络的训练，不需要在训练的过程中对分割得到的多张分割图像进行标注，减少了人力耗费。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的神经网络训练方法的第一种流程示意图；
图2为本发明实施例提供的一种神经网络的结构示意图；
图3为本发明实施例提供的一种特征提取的流程示意图；
图4为本发明实施例提供的神经网络训练方法的第二种流程示意图；
图5为本发明实施例提供的一种检测方法的流程示意图；
图6为本发明实施例提供的一种神经网络训练装置的结构示意图；
图7为本发明实施例提供的一种检测装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种神经网络训练、检测方法、装置及设备，该方法及装置可以应用于各种电子设备，具体不做限定。本发明实施例可以训练得到用于对全切片数字图像进行检测的神经网络。下面首先对该神经网络训练方法进行详细介绍。
图1为本发明实施例提供的神经网络训练方法的第一种流程示意图，包括：
S101：获取待处理全切片数字图像及其对应的标签。
其中，待处理全切片数字图像可以为甲状腺的全切片数字图像、肺部的全切片数字图像，等等，具体待处理全切片数字图像不做限定。标签可以为良性、恶性、癌变、非癌变，等等，具体标签不做限定。
S102：对待处理全切片数字图像进行分割，得到多张分割图像。
其中，可以将待处理全切片数字图像分割成预设尺寸的图像，如将待处理全切片数字图像分割成多张512像素×512像素的分割图像。其中，预设尺寸可以为512像素×512像素、1024像素×1024像素，等等，具体预设尺寸不做限定。
举例来说，若待处理全切片数字图像的尺寸为5120像素×5120像素，那么以512像素×512像素为预设尺寸对待处理全切片数字图像进行分割，就得到了100张512像素×512像素的分割图像。其中，待处理全切片数字图像的尺寸可以为5120像素×5120像素、2560像素×2560像素，等等，具体待处理全切片数字图像的尺寸不做限定。
或者，一种实施方式中，可以获取示例包，该示例包中包括由待处理全切片数字图像分割出的多张分割图像，可以将该待处理全切片数字图像的标签确定为示例包的标签。
S103：将多张分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图；神经网络包括顺次连接的特征提取层、全连接层、以及分类器。
神经网络参考图2所示，图2所示为本发明实施例提供的一种神经网络模型的结构示意图：
神经网络包括顺次连接的特征提取层、全连接层、以及分类器，其中，全连接层包括顺次连接的第一全连接层和第二全连接层。其中特征提取层用来对多张分割图像进行特征提取，得到示例特征图；全连接层用于计算每张分割图像的权重；分类器用于基于加权后的示例特征图对待处理全切片数字图像进行分类，得到分类结果。其中，加权后的示例特征图是由示例特征图与权重相乘后得到的。将多张分割图像输入至神经网络，可以得到神经网络输出的待处理全切片数字图像的分类结果。或者，也可以将上述一种实施方式中获取的示例包输入至神经网络，得到神经网络输出的待处理全切片数字图像的分类结果。
一种实施方式中，S103可以包括：针对每张分割图像，对该分割图像进行不同尺度的卷积计算，得到该分割图像的多个待处理特征图；其中，每一待处理特征图分别对应一种尺度的卷积计算；对多个待处理特征图进行特征融合，得到该分割图像的融合特征图；将多张分割图像对应的融合特征图拼接成示例特征图。
一种情况下，可以利用特征金字塔(FPN，Feature Pyramid Network)来提取并融合每张分割图像的不同尺度下的待处理特征图，得到每张分割图像对应的融合特征图。
以待处理全切片数字图像为甲状腺的全切片数字图像为例，在实际操作中，医生主要根据细胞是否拥挤、细胞是否有核沟、细胞是否有假包涵体以及细胞是否呈现异型性这四个特征，来判断甲状腺是否癌变或甲状腺癌是否为良性或恶性。这四个特征中，细胞是否有核沟、细胞是否有假包涵体以及细胞是否呈现异型性这三个特征可以理解为基于细胞进行判断，尺度较小；而细胞是否拥挤这一特征可以理解为基于图像进行判断，尺度相对较大。可以根据图像级别的大尺度以及细胞级别的小尺度，来对分割图像进行卷积计算，分别得到图像级别的大尺度对应的待处理特征图、以及细胞级别的小尺度对应的待处理特征图。其中，具体卷积计算的尺度不做限定。之后，再对计算得到的多个待处理特征图进行特征融合，得到融合特征图；将多张分割图像对应的融合特征图进行拼接，得到示例特征图。
一种情况下，对多个待处理特征图进行特征融合，得到融合特征图可以包括：针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；对该待处理特征图进行卷积，得到卷积特征；将对池化特征进行加权后与卷积特征相乘，得到注意力特征；将注意力特征与卷积特征相加，得到已处理特征图；对已处理特征图进行下采样，得到该待处理特征图对应的输出特征图；将多个待处理特征图对应的输出特征图进行特征融合，得到该分割图像的融合特征图。
举例来说，可以利用如下算式计算注意力特征图：
Figure BDA0002842320170000081
其中，Fi表示待处理特征图，
Figure BDA0002842320170000082
R表示矩阵，c表示待处理特征图通道数，mi表示待处理特征图的尺寸，ω表示权重函数，Pooling表示池化处理，Conv1×1表示卷积计算，Attention(Fi)表示注意力特征图。
其中，可以利用全连接层生成权重函数ω，具体生成权重函数ω的方式不做限定。
可以利用如下算式计算输出特征图：
Figure BDA0002842320170000083
其中，Fo表示输出特征图，
Figure BDA0002842320170000084
R表示矩阵，c表示输出特征图通道数，mo表示输出特征图的尺寸，Conv1×1表示卷积计算，Attention(Fi)表示注意力特征图，DownSampling表示下采样处理。
下面参考图3介绍一种特征提取的过程，图3为本发明实施例提供的一种特征提取的流程示意图：
对分割图像进行不同尺度的卷积计算1、卷积计算2……卷积计算n，得到分割图像在不同尺度方面的待处理特征图1、待处理特征图2……待处理特征图n，针对这n个待处理特征图中的每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；对该待处理特征图进行卷积，得到卷积特征；利用权重函数对池化特征进行加权后与卷积特征相乘，得到注意力特征；将注意力特征与卷积特征相加，得到已处理特征图；对已处理特征图进行下采样，得到输出特征图。针对得到的输出特征图1、输出特征图2……输出特征图n，将这n个输出特征图进行特征融合，或者说将这n个输出特征图相加，得到融合特征图。
得到融合特征图后，可以将每张分割图像对应的融合特征图进行拼接，得到示例特征图Fi。
一些相关方案中，将多个待处理特征图进行归一化后直接相加，得到融合特征图。而本实施方式中，先利用注意力机制对不同尺度的特征图进行加权，注意力机制可以理解为：对在后续分类过程中重要的尺度的特征图分配较大的权重，对在后续分类过程中较为不重要的尺度的特征图分配较小的权重。这样将加权后的多个待处理特征图进行融合，得到的融合特征；相比于将多个待处理特征图进行归一化后直接相加，得到的融合特征图而言，在后续分类的过程中，可以得到更加准确的分类结果。
一种实施方式中，S103可以包括：识别包含预设人体组织区域的分割图像，作为目标分割图像；判断目标分割图像的数量是否满足预设数量条件；若是，则将目标分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图。
其中，如果待处理全切片数字图像为甲状腺的全切片数字图像，则预设人体组织区域可以为甲状腺的滤泡区域，如果待处理全切片数字图像为肺部的全切片数字图像，则肺部的肺泡区域，等等，具体预设人体组织区域不做限定。
举例来说，若对甲状腺的全切片图像进行分割，那么在本实施方式中，可以识别包含滤泡区域的分割图像，作为目标分割图像；若预设数量条件为目标分割图像的数量大于第一预设数量20张且小于第二预设数量35张，若目标分割图像的数量为30张，则满足预设数量条件，可以将目标分割图像输入至神经网络的特征提取层，得到特征提取层输出的示例特征图。其中，预设数量条件可以为目标分割图像的数量大于第一预设数量、目标分割图像的数量大于第一预设数量且小于第二预设数量，等等，具体预设数量条件不做限定；其中，第一预设数量可以为20张、21张，等等，具体第一预设数量不做限定；第二预设数量可以为35张、36张，等等，具体第二预设数量不做限定，第一预设数量小于第二预设数量。
在本实施方式中，将包含预设人体组织区域的分割图像，作为目标分割图像，再对满足预设数量条件的目标分割图像进行特征提取，这样，相比于对分割得到的所有分割图像进行特征提取而言，减少了特征提取的计算量，此外，识别包含预设人体组织区域的分割图像，作为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含预设人体组织区域的分割图像排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。以甲状腺的全切片数字图像为例，将包含滤泡区域的分割图像确定为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含滤泡区域的分割图像进行排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。
S104：将示例特征图输入至全连接层，分别得到全连接层输出的每张分割图像的权重。
一种实施方式中，全连接层包括顺次连接的第一全连接层和第二全连接层，S104可以包括：对示例特征图进行最大池化处理，得到多个特征向量；将多个特征向量输入至第一全连接层，得到第一全连接层输出的特征矩阵；将特征矩阵输入至第二全连接层，得到第二全连接层输出的每张所述分割图像的权重。
举例来说，上述一种实施方式中，得到示例特征图Fi，Fi∈Rn×c×m×m，R表示矩阵，n表示分割图像的张数，c表示特征图通道数，m表示特征图的尺寸；对示例特征图进行最大池化处理，得到n个长度为c的特征向量；将这n个长度为c的特征向量组成n×c的矩阵vi，vi∈Rn ×c，R表示矩阵，n表示矩阵的行数，c表示矩阵的列数，将vi输入至神经网络的第一全连接层，对这n个长度为c的特征向量进行加权，得到第一全连接层输出的尺寸为n×c1的特征矩阵，可以理解为n个长度为c1的特征向量；将n个长度为c1的特征向量输入至第二全连接层，对这n个长度为c1的特征向量进行加权，得到第二全连接层输出的尺寸为n×1的特征向量vo，vo∈Rn×1，R表示矩阵，n表示矩阵的行数，矩阵的列数为1，可以理解为n张分割图像对应的n个权重。其中，第一全连接层的权重为W1，
Figure BDA0002842320170000101
R表示矩阵，c表示矩阵的行数，c1表示矩阵的列数；第二全连接层的权重为W2，
Figure BDA0002842320170000102
R表示矩阵，c1表示矩阵的行数，矩阵的列数为1。
举例来说，可以利用如下算式计算第二全连接层输出的每张分割图像的权重：
Figure BDA0002842320170000111
其中，W1表示第一全连接层的权重，W2表示第二全连接层的权重，Τ表示对矩阵进行转置，vi表示输入第一全连接层的n个长度为c的特征向量，vo表示第二全连接层输出的每张分割图像的权重。
一些相关方案中，采用一个全连接层对示例特征图进行降维，这样使得示例特征图从c维直接降维到1维，这样会产生较严重的信息损失；而采用多个全连接层对示例特征图进行降维，虽然可以减少信息损失，但是由于全连接层的增加，使得在降维过程中会增加大量的参数，使得计算量增大。而在本实施方式中，利用两个顺次连接的全连接层，计算每张分割图像的权重，利用两个全连接层对示例特征图进行两次降维处理，可以在一定程度上减少信息损失，同时也不会增加过多的参数，不会增大计算量。
S105：将权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果。
上述一种实施方式中，将第二全连接层输出的每张分割图像的权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果。
举例来说，可以利用如下算式将第二全连接层输出的每张分割图像的权重与示例特征图相乘：
Figure BDA0002842320170000112
其中，Fi表示示例特征图，vo表示第二全连接层输出的每张分割图像的权重，Fo表示加权后的示例特征图。
将加权后的示例特征图输入至分类器，得到待处理全切片数字图像的分类结果。举例来说，可以将加权后的示例特征图输入至SVM(support vector machines，支持向量机)分类器，对加权后的示例特征图进行分类，得到待处理全切片数字图像的分类结果。其中，分类器可以为SVM分类器、贝叶斯分类器，等等，具体分类器不做限定。
在这种实施方式中，对每张分割图像进行加权，使得神经网络模型能够聚焦于重点的分割图像。举例来说，若神经网络模型是为了检测甲状腺的全切片数字图像是否为恶性甲状腺癌，那么，本实施方式可以对分割图像中可以判断为恶性的分割图像分配更大的权重，使得神经网络模型可以聚焦于能够判断为恶性甲状腺癌的分割图像。
S106：将分类结果与标签进行对比，得到对比结果，基于对比结果判断神经网络是否收敛。若否，可以执行S107；若是，可以执行S108。
举例来说，将分类结果与标签进行对比，得到对比结果，可以基于对比结果判断神经网络的损失函数是否收敛，若损失函数不收敛，可以执行S107；若损失函数收敛，可以执行S108。其中，损失函数可以为绝对值损失函数、平方损失函数，等等，具体损失函数不做限定。
或者，上述一种实施方式中，将待处理全切片数字图像的标签确定为示例包的标签，那么可以将分类结果与示例包的标签进行对比，得到对比结果，基于对比结果判断神经网络是否收敛。若否，可以执行S107；若是，可以执行S108。
S107：对神经网络的参数进行调整。
可以利用优化器算法对神经网络模型中的参数进行调整，具体为调整第一全连接层的权重W1、以及第二全连接层的权重W2。如利用随机梯度下降算法(SGD，Stochasticgradient descent)对神经网络模型中的第一全连接层的权重W1、以及第二全连接层的权重W2进行调整、利用Adam(自适应矩估计)优化器算法对神经网络模型中的第一全连接层的权重W1、以及第二全连接层的权重W2进行调整，等等，具体优化器算法不做限定。
S108：得到训练完成的神经网络模型。
如上所述，待处理全切片数字图像可以为甲状腺的全切片数字图像、肺部的全切片数字图像，等等，那么，训练完成的神经网络模型可以用于检测甲状腺的全切片数字图像、肺部的全切片数字图像等，具体不做限定。举例来说，可以利用该神经网络模型对甲状腺的全切片数字图像进行检测，检测甲状腺是否癌变以及癌变的甲状腺是否为良性或恶性。
应用本发明实施例，获取待处理全切片数字图像及其对应的标签；对待处理全切片数字图像进行分割，得到多张分割图像；将多张分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图；神经网络包括顺次连接的特征提取层、全连接层、以及分类器；将示例特征图输入至全连接层，分别得到全连接层输出的每张分割图像的权重；将权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果；判断分类结果与标签是否相同；若否，则对神经网络的参数进行调整，并返回将所述多张分割图像输入至神经网络中的特征提取层的步骤，直至分类结果与标签相同，得到训练完成的神经网络模型。可见，本方案中，第一方面，只需获取整张WSI的标签，并通过全连接层计算得到由WSI分割出的多张分割图像的权重，引导神经网络的训练，不需要在训练的过程中对分割得到的多张分割图像进行标注，减少了人力耗费。
第二方面，本方案中，先利用注意力机制对不同尺度的特征图进行加权，对在后续分类过程中重要的尺度的特征图分配较大的权重，对在后续分类过程中较为不重要的尺度的特征图分配较小的权重，这样将加权后的多个待处理特征图进行融合，得到的融合特征；相比于将多个待处理特征图进行归一化后直接相加，得到的融合特征图而言，在后续分类的过程中，可以得到更加准确的分类结果。
第三方面，本方案中，将包含预设人体组织区域的分割图像，作为目标分割图像，再对满足预设数量条件的目标分割图像进行特征提取，这样，相比于对分割得到的所有分割图像进行特征提取而言，减少了特征提取的计算量，此外，识别包含预设人体组织区域的分割图像，作为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含预设人体组织区域的分割图像排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。
图4为本发明实施例提供的神经网络训练方法的第二种流程示意图，包括：
S401：获取待处理全切片数字图像及其对应的标签。
其中，待处理全切片数字图像可以为甲状腺的全切片数字图像、肺部的全切片数字图像，等等，具体待处理全切片数字图像不做限定。标签可以为良性、恶性、癌变、非癌变，等等，具体标签不做限定。
S402：对待处理全切片数字图像进行分割，得到多张分割图像。
其中，可以将待处理全切片数字图像分割成预设尺寸的图像，如将待处理全切片数字图像分割成多张512像素×512像素的分割图像。其中，预设尺寸可以为512像素×512像素、1024像素×1024像素，等等，具体预设尺寸不做限定。
举例来说，若待处理全切片数字图像的尺寸为5120像素×5120像素，那么以512像素×512像素为预设尺寸对待处理全切片数字图像进行分割，就得到了100张512像素×512像素的分割图像。其中，待处理全切片数字图像的尺寸可以为5120像素×5120像素、2560像素×2560像素，等等，具体待处理全切片数字图像的尺寸不做限定。
或者，一种实施方式中，可以获取示例包，该示例包中包括由待处理全切片数字图像分割出的多张分割图像，可以将该待处理全切片数字图像的标签确定为示例包的标签。
S403：识别包含预设人体组织区域的分割图像，作为目标分割图像。
其中，如果待处理全切片数字图像为甲状腺的全切片数字图像，则预设人体组织区域可以为甲状腺的滤泡区域，如果待处理全切片数字图像为肺部的全切片数字图像，则肺部的肺泡区域，等等，具体预设人体组织区域不做限定。
举例来说，若对甲状腺的全切片图像进行分割，那么在本实施方式中，可以识别包含滤泡区域的分割图像，作为目标分割图像。
S404：判断目标分割图像的数量是否满足预设数量条件。若是，可以执行S405。
其中，预设数量条件可以为目标分割图像的数量大于第一预设数量、目标分割图像的数量大于第一预设数量且小于第二预设数量，等等，具体预设数量条件不做限定；其中，第一预设数量可以为20张、21张，等等，具体第一预设数量不做限定；第二预设数量可以为35张、36张，等等，具体第二预设数量不做限定，第一预设数量小于第二预设数量。
举例来说，上述一种实施方式中，识别包含滤泡区域的分割图像，作为目标分割图像；若预设数量条件为目标分割图像的数量大于第一预设数量20张且小于第二预设数量35张，若目标分割图像的数量为30张，则满足预设数量条件，可以执行S405。
在本实施方式中，将包含预设人体组织区域的分割图像，作为目标分割图像，再对满足预设数量条件的目标分割图像进行特征提取，这样，相比于对分割得到的所有分割图像进行特征提取而言，减少了特征提取的计算量，此外，识别包含预设人体组织区域的分割图像，作为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含预设人体组织区域的分割图像排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。
S405：针对每张目标分割图像，对该目标分割图像进行不同尺度的卷积计算，得到该目标分割图像的多个待处理特征图；其中，每一待处理特征图分别对应一种尺度的卷积计算。
以待处理全切片数字图像为甲状腺的全切片数字图像为例，在实际操作中，医生主要根据细胞是否拥挤、细胞是否有核沟、细胞是否有假包涵体以及细胞是否呈现异型性这四个特征，来判断甲状腺是否癌变或甲状腺癌是否为良性或恶性。这四个特征中，细胞是否有核沟、细胞是否有假包涵体以及细胞是否呈现异型性这三个特征可以理解为基于细胞进行判断，尺度较小；而细胞是否拥挤这一特征可以理解为基于图像进行判断，尺度相对较大。可以根据图像级别的大尺度以及细胞级别的小尺度，来对目标分割图像进行卷积计算，分别得到图像级别的大尺度对应的待处理特征图、以及细胞级别的小尺度对应的待处理特征图。其中，具体卷积计算的尺度不做限定。
S406：对多个待处理特征图进行特征融合，得到该目标分割图像的融合特征图；将多张目标分割图像对应的融合特征图拼接成示例特征图。
一种实施方式中，S406可以包括：针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；对该待处理特征图进行卷积，得到卷积特征；对池化特征进行加权后与卷积特征相乘，得到注意力特征；将注意力特征与卷积特征相加，得到已处理特征图；对已处理特征图进行下采样，得到输出特征图；将多个待处理特征图对应的输出特征图进行特征融合，得到该目标分割图像的融合特征图。
举例来说，可以利用如下算式计算注意力特征图：
Figure BDA0002842320170000161
其中，Fi表示待处理特征图，
Figure BDA0002842320170000162
R表示矩阵，c表示待处理特征图通道数，mi表示待处理特征图的尺寸，ω表示权重函数，Pooling表示池化处理，Conv1×1表示卷积计算，Attention(Fi)表示注意力特征图。
其中，可以利用全连接层生成权重函数ω，具体生成权重函数ω的方式不做限定。
可以利用如下算式计算输出特征图：
Figure BDA0002842320170000163
其中，Fo表示输出特征图，
Figure BDA0002842320170000164
R表示矩阵，c表示输出特征图通道数，mo表示输出特征图的尺寸，Conv1×1表示卷积计算，Attention(Fi)表示注意力特征图，DownSampling表示下采样处理。
得到输出特征图后，可以将多个待处理特征图对应的输出特征图进行相加，得到该目标分割图像的融合特征图。再将每张目标分割图像对应的融合特征图进行拼接，得到示例特征图Fi。
一些相关方案中，将多个待处理特征图进行归一化后直接相加，得到融合特征图。而本实施方式中，先利用注意力机制对不同尺度的特征图进行加权，注意力机制可以理解为：对在后续分类过程中重要的尺度的特征图分配较大的权重，对在后续分类过程中较为不重要的尺度的特征图分配较小的权重。这样将加权后的多个待处理特征图进行融合，得到的融合特征；相比于将多个待处理特征图进行归一化后直接相加，得到的融合特征图而言，在后续分类的过程中，可以得到更加准确的分类结果。
S407：全连接层包括顺次连接的第一全连接层和第二全连接层；对示例特征图进行最大池化处理，得到多个特征向量；将多个特征向量输入至第一全连接层，得到第一全连接层输出的特征矩阵。
举例来说，上述一种实施方式中，得到示例特征图Fi，Fi∈Rn×c×m×m，R表示矩阵，n表示分割图像的张数，c表示特征图通道数，m表示特征图的尺寸；对示例特征图进行最大池化处理，得到n个长度为c的特征向量；将这n个长度为c的特征向量组成n×c的矩阵vi，vi∈Rn ×c，R表示矩阵，n表示矩阵的行数，c表示矩阵的列数，将vi输入至神经网络的第一全连接层，对这n个长度为c的特征向量进行加权，得到第一全连接层输出的尺寸为n×c1的特征矩阵，可以理解为n个长度为c1的特征向量；其中，第一全连接层的权重为W1，
Figure BDA0002842320170000171
R表示矩阵，c表示矩阵的行数，c1表示矩阵的列数。
S408：将特征矩阵输入至第二全连接层，得到第二全连接层输出的每张目标分割图像的权重。
上述一种实施方式中，将多个特征向量输入至神经网络的第一全连接层，得到第一全连接层输出的尺寸为n×c1的特征矩阵；将n个长度为c1的特征向量输入至第二全连接层，对这n个长度为c1的特征向量进行加权，得到第二全连接层输出的尺寸为n×1的特征向量vo，vo∈Rn×1，R表示矩阵，n表示矩阵的行数，矩阵的列数为1，可以理解为n张目标分割图像对应的n个权重。其中，第二全连接层的权重为W2，
Figure BDA0002842320170000172
R表示矩阵，c1表示矩阵的行数，矩阵的列数为1。
举例来说，可以利用如下算式计算第二全连接层输出的每张目标分割图像的权重：
Figure BDA0002842320170000173
其中，W1表示第一全连接层的权重，W2表示第二全连接层的权重，Τ表示对矩阵进行转置，vi表示输入第一全连接层的n个长度为c的特征向量，vo表示第二全连接层输出的每张目标分割图像的权重。
一些相关方案中，采用一个全连接层对示例特征图进行降维，这样使得示例特征图从c维直接降维到1维，这样会产生较严重的信息损失；而采用多个全连接层对示例特征图进行降维，虽然可以减少信息损失，但是由于全连接层的增加，使得在降维过程中会增加大量的参数，使得计算量增大。而在本实施方式中，利用两个顺次连接的全连接层，计算每张目标分割图像的权重，利用两个全连接层对示例特征图进行两次降维处理，可以在一定程度上减少信息损失，同时也不会增加过多的参数，不会增大计算量。
S409：将第二全连接层输出的每张目标分割图像的权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果。
举例来说，可以利用如下算式将第二全连接层输出的每张目标分割图像的权重与示例特征图相乘：
Figure BDA0002842320170000181
其中，Fi表示示例特征图，vo表示第二全连接层输出的每张目标分割图像的权重，Fo表示加权后的示例特征图。
将加权后的示例特征图输入至分类器，得到待处理全切片数字图像的分类结果。举例来说，可以将加权后的示例特征图输入至SVM(support vector machines，支持向量机)分类器，对加权后的示例特征图进行分类，得到待处理全切片数字图像的分类结果。其中，分类器可以为SVM分类器、贝叶斯分类器，等等，具体分类器不做限定。
在这种实施方式中，对每张分割图像进行加权，使得神经网络模型能够聚焦于重点的分割图像。举例来说，若神经网络模型是为了检测甲状腺的全切片数字图像是否为恶性甲状腺癌，那么，本实施方式可以对目标分割图像中可以判断为恶性的分割图像分配更大的权重，使得神经网络模型可以聚焦于能够判断为恶性甲状腺癌的分割图像。
S410：将分类结果与标签进行对比，得到对比结果，基于对比结果判断神经网络是否收敛。若否，可以执行S411；若是，可以执行S412。
举例来说，将分类结果与标签进行对比，得到对比结果，可以基于对比结果判断神经网络的损失函数是否收敛，若损失函数不收敛，可以执行S411；若损失函数收敛，可以执行S412。其中，损失函数可以为绝对值损失函数、平方损失函数，等等，具体损失函数不做限定。
S411：对神经网络的参数进行调整。
可以利用优化器算法对神经网络模型中的参数进行调整，具体为调整第一全连接层的权重W1、以及第二全连接层的权重W2。如利用随机梯度下降算法(SGD，Stochasticgradient descent)对神经网络模型中的第一全连接层的权重W1、以及第二全连接层的权重W2进行调整、利用Adam(自适应矩估计)优化器算法对神经网络模型中的第一全连接层的权重W1、以及第二全连接层的权重W2进行调整，等等，具体优化器算法不做限定。
S412：得到训练完成的神经网络模型。
如上所述，待处理全切片数字图像可以为甲状腺的全切片数字图像、肺部的全切片数字图像，等等，那么，训练完成的神经网络模型可以用于检测甲状腺的全切片数字图像、肺部的全切片数字图像等，具体不做限定。举例来说，可以利用该神经网络模型对甲状腺的全切片数字图像进行检测，检测甲状腺是否癌变以及癌变的甲状腺是否为良性或恶性。
应用本发明图4所示实施例，获取待处理全切片数字图像及其对应的标签；对待处理全切片数字图像进行分割，得到多张分割图像；将多张分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图；神经网络包括顺次连接的特征提取层、全连接层、以及分类器；将示例特征图输入至全连接层，分别得到全连接层输出的每张分割图像的权重；将权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果；判断分类结果与标签是否相同；若否，则对神经网络的参数进行调整，并返回将所述多张分割图像输入至神经网络中的特征提取层的步骤，直至分类结果与标签相同，得到训练完成的神经网络模型。可见，本方案中，第一方面，只需获取整张WSI的标签，并通过全连接层计算得到由WSI分割出的多张分割图像的权重，引导神经网络的训练，不需要在训练的过程中对分割得到的多张分割图像进行标注，减少了人力耗费。
第二方面，本方案中，先利用注意力机制对不同尺度的特征图进行加权，对在后续分类过程中重要的尺度的特征图分配较大的权重，对在后续分类过程中较为不重要的尺度的特征图分配较小的权重，这样将加权后的多个待处理特征图进行融合，得到的融合特征；相比于将多个待处理特征图进行归一化后直接相加，得到的融合特征图而言，在后续分类的过程中，可以得到更加准确的分类结果。
第三方面，本方案中，将包含预设人体组织区域的分割图像，作为目标分割图像，再对满足预设数量条件的目标分割图像进行特征提取，这样，相比于对分割得到的所有分割图像进行特征提取而言，减少了特征提取的计算量，此外，识别包含预设人体组织区域的分割图像，作为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含预设人体组织区域的分割图像排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。
本发明实施例还提供一种检测方法，如图5所示，包括：
S501：获取待检测全切片数字图像。
其中，待检测全切片数字图像可以理解为需要进行检测的全切片数字图像。待检测全切片数字图像可以为甲状腺的全切片数字图像、肺部的全切片数字图像，等等，具体待检测全切片数字图像不做限定。
S502：对待检测全切片数字图像进行分割，得到多张待检测分割图像。
其中，可以将待检测全切片数字图像分割成预设尺寸的图像，如将待检测全切片数字图像分割成多张512像素×512像素的分割图像。其中，预设尺寸可以为512像素×512像素、1024像素×1024像素，等等，具体预设尺寸不做限定。
举例来说，若待检测全切片数字图像的尺寸为5120像素×5120像素，那么以512像素×512像素为预设尺寸对待检测全切片数字图像进行分割，就得到了100张512像素×512像素的分割图像。其中，待检测全切片数字图像的尺寸可以为5120像素×5120像素、2560像素×2560像素，等等，具体待检测全切片数字图像的尺寸不做限定。
或者，一种实施方式中，可以获取待检测示例包，该待检测示例包中包括由待检测全切片数字图像分割出的多张待检测分割图像。
S503：将多张待检测分割图像输入至神经网络模型，得到神经网络模型输出的检测结果。
一种实施方式中，还可以将待检测示例包输入至神经网络模型，得到神经网络模型输出的检测结果。
训练神经网络模型的过程参考上述图1、图4所示实施例，这里不再赘述。
与上述方法实施例相对应，本发明实施例还提供一种神经网络训练装置，如图6所示，包括：
第一获取模块601，用于获取待处理全切片数字图像及其对应的标签；
第一分割模块602，用于对所述待处理全切片数字图像进行分割，得到多张分割图像；
第一输入模块603，用于将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图；所述神经网络包括顺次连接的特征提取层、全连接层、以及分类器；
第二输入模块604，用于将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重；
第三输入模块605，用于将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果；
判断模块606，用于将所述分类结果与所述标签进行对比，得到对比结果，基于所述对比结果判断所述神经网络是否收敛；
更新模块607，用于对所述神经网络的参数进行调整，并触发所述第一输入模块603，直至所述神经网络收敛，得到训练完成的神经网络模型。
一种实施方式中，所述第一输入模块，具体用于：
识别包含预设人体组织区域的分割图像，作为目标分割图像；
判断所述目标分割图像的数量是否满足预设数量条件；
若是，则将所述目标分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图。
一种实施方式中，所述全连接层包括顺次连接的第一全连接层和第二全连接层；所述第二输入模块，具体用于：
对所述示例特征图进行最大池化处理，得到多个特征向量；
将所述多个特征向量输入至所述第一全连接层，得到所述第一全连接层输出的特征矩阵；
将所述特征矩阵输入至所述第二全连接层，得到所述第二全连接层输出的每张所述分割图像的权重；
所述第三输入模块，具体用于：
将所述第二全连接层输出的每张所述分割图像的权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果。
一种实施方式中，所述第一输入模块包括：计算子模块、融合子模块、拼接子模块(图中未示出)，其中，
计算子模块，用于针对每张分割图像，对该分割图像进行不同尺度的卷积计算，得到该分割图像的多个待处理特征图；其中，每一所述待处理特征图分别对应一种尺度的卷积计算；
融合子模块，用于对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图；
拼接子模块，用于将所述多张分割图像对应的融合特征图拼接成示例特征图。
一种实施方式中，所述融合子模块，具体用于：
针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；
对该待处理特征图进行卷积，得到卷积特征；
对所述池化特征进行加权后与所述卷积特征相乘，得到注意力特征；
将所述注意力特征与所述卷积特征相加，得到已处理特征图；
对所述已处理特征图进行下采样，得到该待处理特征图对应的输出特征图；
将所述多个待处理特征图对应的输出特征图进行特征融合，得到融合特征图。
与上述方法实施例相对应，本发明实施例还提供一种检测装置，如图7所示，包括：
第二获取模块701，用于获取待检测全切片数字图像；
第二分割模块702，用于对所述待检测全切片数字图像进行分割，得到多张待检测分割图像；
检测模块703，用于将所述多张待检测分割图像输入至根据图6所述的装置得到的神经网络模型，得到所述神经网络模型输出的检测结果。
应用本发明实施例，获取待处理全切片数字图像及其对应的标签；对待处理全切片数字图像进行分割，得到多张分割图像；将多张分割图像输入至神经网络中的特征提取层，得到特征提取层输出的示例特征图；神经网络包括顺次连接的特征提取层、全连接层、以及分类器；将示例特征图输入至全连接层，分别得到全连接层输出的每张分割图像的权重；将权重与示例特征图相乘后，输入至分类器，得到待处理全切片数字图像的分类结果；判断分类结果与标签是否相同；若否，则对神经网络的参数进行调整，并返回将所述多张分割图像输入至神经网络中的特征提取层的步骤，直至分类结果与标签相同，得到训练完成的神经网络模型。可见，本方案中，第一方面，只需获取整张WSI的标签，并通过全连接层计算得到由WSI分割出的多张分割图像的权重，引导神经网络的训练，不需要在训练的过程中对分割得到的多张分割图像进行标注，减少了人力耗费。
第二方面，本方案中，先利用注意力机制对不同尺度的特征图进行加权，对在后续分类过程中重要的尺度的特征图分配较大的权重，对在后续分类过程中较为不重要的尺度的特征图分配较小的权重，这样将加权后的多个待处理特征图进行融合，得到的融合特征；相比于将多个待处理特征图进行归一化后直接相加，得到的融合特征图而言，在后续分类的过程中，可以得到更加准确的分类结果。
第三方面，本方案中，将包含预设人体组织区域的分割图像，作为目标分割图像，再对满足预设数量条件的目标分割图像进行特征提取，这样，相比于对分割得到的所有分割图像进行特征提取而言，减少了特征提取的计算量，此外，识别包含预设人体组织区域的分割图像，作为目标分割图像，这样可以筛选出对后续的分类结果影响较大的分割图像，而将不包含预设人体组织区域的分割图像排除，可以理解为将对后续的分类结果没有影响或影响较小的分割图像进行排除，相比于对全部分割图像进行分类而言，降低了分类过程中的计算量，而且使神经网络更聚焦于对分类结果影响较大的分割图像，提高了后续分类的准确率。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801和存储器802，
存储器802，用于存放计算机程序；
处理器801，用于执行存储器802上所存放的程序时，实现上述任一神经网络训练、检测方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一神经网络训练、检测方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一神经网络训练、检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种神经网络训练方法，其特征在于，包括：
获取待处理全切片数字图像及其对应的标签；
对所述待处理全切片数字图像进行分割，得到多张分割图像；
将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图；所述神经网络包括顺次连接的特征提取层、全连接层、以及分类器；
将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重；
将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果；
将所述分类结果与所述标签进行对比，得到对比结果，基于所述对比结果判断所述神经网络是否收敛；
若否，则对所述神经网络的参数进行调整，并返回所述将所述多张分割图像输入至神经网络中的特征提取层的步骤，直至所述神经网络收敛，得到训练完成的神经网络模型；
所述将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图，包括：
针对每张分割图像，对该分割图像进行不同尺度的卷积计算，得到该分割图像的多个待处理特征图；其中，每一所述待处理特征图分别对应一种尺度的卷积计算；
对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图；
将所述多张分割图像对应的融合特征图拼接成示例特征图；
所述对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图，包括：
针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；
对该待处理特征图进行卷积，得到卷积特征；
对所述池化特征进行加权后与所述卷积特征相乘，得到注意力特征；
将所述注意力特征与所述卷积特征相加，得到已处理特征图；
对所述已处理特征图进行下采样，得到该待处理特征图对应的输出特征图；
将所述多个待处理特征图对应的输出特征图进行特征融合，得到融合特征图。
2.根据权利要求1所述的方法，其特征在于，所述将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图，包括：
识别包含预设人体组织区域的分割图像，作为目标分割图像；
判断所述目标分割图像的数量是否满足预设数量条件；
若是，则将所述目标分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图。
3.根据权利要求1所述的方法，其特征在于，所述全连接层包括顺次连接的第一全连接层和第二全连接层；
所述将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重，包括：
对所述示例特征图进行最大池化处理，得到多个特征向量；
将所述多个特征向量输入至所述第一全连接层，得到所述第一全连接层输出的特征矩阵；
将所述特征矩阵输入至所述第二全连接层，得到所述第二全连接层输出的每张所述分割图像的权重；
所述将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果，包括：
将所述第二全连接层输出的每张所述分割图像的权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果。
4.一种检测方法，其特征在于，包括：
获取待检测全切片数字图像；
对所述待检测全切片数字图像进行分割，得到多张待检测分割图像；
将所述多张待检测分割图像输入至根据权利要求1-3任意一项所述的方法得到的神经网络模型，得到所述神经网络模型输出的检测结果。
5.一种神经网络训练装置，其特征在于，包括：
第一获取模块，用于获取待处理全切片数字图像及其对应的标签；
第一分割模块，用于对所述待处理全切片数字图像进行分割，得到多张分割图像；
第一输入模块，用于将所述多张分割图像输入至神经网络中的特征提取层，得到所述特征提取层输出的示例特征图；所述神经网络包括顺次连接的特征提取层、全连接层、以及分类器；
第二输入模块，用于将所述示例特征图输入至所述全连接层，分别得到所述全连接层输出的每张所述分割图像的权重；
第三输入模块，用于将所述权重与所述示例特征图相乘后，输入至所述分类器，得到所述待处理全切片数字图像的分类结果；
判断模块，用于将所述分类结果与所述标签进行对比，得到对比结果，基于所述对比结果判断所述神经网络是否收敛；
更新模块，用于对所述神经网络的参数进行调整，并触发所述第一输入模块，直至所述神经网络收敛，得到训练完成的神经网络模型；
所述第一输入模块，包括：
计算子模块，用于针对每张分割图像，对该分割图像进行不同尺度的卷积计算，得到该分割图像的多个待处理特征图；其中，每一所述待处理特征图分别对应一种尺度的卷积计算；
融合子模块，用于对所述多个待处理特征图进行特征融合，得到该分割图像对应的融合特征图；
拼接子模块，用于将所述多张分割图像对应的融合特征图拼接成示例特征图；
所述融合子模块，具体用于：
针对每个待处理特征图，对该待处理特征图进行池化处理，得到池化特征；
对该待处理特征图进行卷积，得到卷积特征；
对所述池化特征进行加权后与所述卷积特征相乘，得到注意力特征；
将所述注意力特征与所述卷积特征相加，得到已处理特征图；
对所述已处理特征图进行下采样，得到该待处理特征图对应的输出特征图；
将所述多个待处理特征图对应的输出特征图进行特征融合，得到融合特征图。
6.一种检测装置，其特征在于，包括：
第二获取模块，用于获取待检测全切片数字图像；
第二分割模块，用于对所述待检测全切片数字图像进行分割，得到多张待检测分割图像；
检测模块，用于将所述多张待检测分割图像输入至根据权利要求5所述的装置得到的神经网络模型，得到所述神经网络模型输出的检测结果。
7.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
CN202011496525.0A 2020-12-17 2020-12-17 一种神经网络训练、检测方法、装置及设备 Active CN112560957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496525.0A CN112560957B (zh) 2020-12-17 2020-12-17 一种神经网络训练、检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496525.0A CN112560957B (zh) 2020-12-17 2020-12-17 一种神经网络训练、检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112560957A CN112560957A (zh) 2021-03-26
CN112560957B true CN112560957B (zh) 2023-04-07

Family

ID=75063092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496525.0A Active CN112560957B (zh) 2020-12-17 2020-12-17 一种神经网络训练、检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112560957B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344040A (zh) * 2021-05-20 2021-09-03 深圳索信达数据技术有限公司 图像分类方法、装置、计算机设备和存储介质
CN113724214B (zh) * 2021-08-23 2024-02-23 唯智医疗科技(佛山)有限公司 一种基于神经网络的图像处理方法及装置
CN114898866B (zh) * 2022-05-24 2024-03-15 广州锟元方青医疗科技有限公司 一种甲状腺细胞辅助诊断方法、设备和存储介质
CN116188879B (zh) * 2023-04-27 2023-11-28 广州医思信息科技有限公司 图像分类、图像分类模型训练方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156159A1 (en) * 2017-11-20 2019-05-23 Kavya Venkata Kota Sai KOPPARAPU System and method for automatic assessment of cancer
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156159A1 (en) * 2017-11-20 2019-05-23 Kavya Venkata Kota Sai KOPPARAPU System and method for automatic assessment of cancer
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention Based Multi-Instance Thyroid Cytopathological Diagnosis with Multi-Scale Feature Fusion;Shuhao Qiu 等;《2020 25th International Conference on Pattern Recognition》;20210115;第3536-3541页 *
Breast Cancer Image Classification on WSI with Spatial Correlations;Jiandong Ye 等;《 ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing 》;20190416;第1219-1223页 *
Highly efficient follicular segmentation in thyroid cytopathological whole slide image;Siyan Tao 等;《arXiv》;20190213;全文 *
深度学习在数字病理中的应用;闫雯等;《中国生物医学工程学报》;20180220(第01期);第95-105页 *

Also Published As

Publication number Publication date
CN112560957A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560957B (zh) 一种神经网络训练、检测方法、装置及设备
US11126862B2 (en) Dense crowd counting method and apparatus
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
Liu et al. A novel cell detection method using deep convolutional neural network and maximum-weight independent set
CN112668480B (zh) 头部姿态角检测方法、装置、电子设备及存储介质
CN110826379B (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN111931931A (zh) 一种针对病理全场图像的深度神经网络训练方法、装置
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
US11861669B2 (en) System and method for textual analysis of images
CN112613515A (zh) 语义分割方法、装置、计算机设备和存储介质
US20190378009A1 (en) Method and electronic device for classifying an input
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
WO2014176056A2 (en) Data classification
CN115937703A (zh) 一种用于遥感图像目标检测的增强特征提取方法
Vijayalakshmi et al. A study of various classification techniques used for very high-resolution remote sensing [VHRRS] images
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
WO2021259604A1 (en) Domain aware medical image classifier interpretation by counterfactual impact analysis
CN114422450B (zh) 基于多源网络流量数据的网络流量分析方法和装置
CN114372970B (zh) 一种手术参考信息生成方法及装置
CN115840831A (zh) 一种商品检索方法、装置、设备及存储介质
CN113536845B (zh) 人脸属性识别方法、装置、存储介质和智能设备
CN115482427A (zh) 一种模型训练方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant