CN115082490A - 异常预测方法、异常预测模型的训练方法、装置及设备 - Google Patents

异常预测方法、异常预测模型的训练方法、装置及设备 Download PDF

Info

Publication number
CN115082490A
CN115082490A CN202211013239.3A CN202211013239A CN115082490A CN 115082490 A CN115082490 A CN 115082490A CN 202211013239 A CN202211013239 A CN 202211013239A CN 115082490 A CN115082490 A CN 115082490A
Authority
CN
China
Prior art keywords
image
level
sample
image blocks
prognosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211013239.3A
Other languages
English (en)
Other versions
CN115082490B (zh
Inventor
孔飞
项进喜
杨森
张军
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211013239.3A priority Critical patent/CN115082490B/zh
Publication of CN115082490A publication Critical patent/CN115082490A/zh
Application granted granted Critical
Publication of CN115082490B publication Critical patent/CN115082490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请提供了一种异常预测方法、异常预测模型的训练方法、装置及设备，属于图像处理技术领域。该方法包括：基于病理图像中的语义信息，对病理图像进行采样，得到多个第一图像块；基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一图像块进行编码，得到多个第一图像块的编码特征，对多个第一图像块的编码特征进行解码，得到多个第一图像块的分割图像；基于多个第一图像块的分割图像进行分类，得到每个第一图像块的预后级别；基于每个第一图像块的预后级别，对病理图像的预后级别进行预测，得到病理图像的异常信息。该技术方案预测的异常信息更加准确，利于为处理异常提供更准确的依据。

Description

异常预测方法、异常预测模型的训练方法、装置及设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种异常预测方法、异常预测模型的训练方法、装置及设备。
背景技术
在日常生活中，目标对象会出现一些异常，该异常可以通过图像来呈现。由于该异常会对目标对象造成不良影响，因此，如何基于图像来对目标对象的异常进行预测为本领域的研究重点。
相关技术中，通常会获取目标对象的图像，通过提取该图像的图像特征，并对该图像特征进行识别，来确定该图像特征中是否存在不符合正常标准的特征，从而确定图像中是否存在异常，以实现对目标对象的异常的预测。
但是，上述技术方案中，仅能预测目标对象是否存在异常，并不能获取该异常的详细信息，使得预测到的异常不够准确，从而导致无法对该目标对象的处理方案提供更准确的依据。
发明内容
本申请实施例提供了一种异常预测方法、异常预测模型的训练方法、装置及设备，能够更加准确地预测病理图像的预后级别，从而利于对病理图像中的异常的处理方案提供更准确的依据。所述技术方案如下所述。
一方面，提供了一种异常预测方法，所述方法包括：
基于病理图像中的语义信息，对所述病理图像进行采样，得到多个第一图像块，所述语义信息基于所述病理图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一图像块进行编码，得到所述多个第一图像块的编码特征，对所述多个第一图像块的编码特征进行解码，得到所述多个第一图像块的分割图像，每个所述分割图像标注有分化级别；
基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别；
基于每个所述第一图像块的预后级别，对所述病理图像的预后级别进行预测，得到所述病理图像的异常信息。
另一方面，提供了一种异常预测模型的训练方法，所述方法包括：
基于样本图像中的语义信息，对所述样本图像进行采样，得到多个第一样本图像块，所述样本图像上标注有参考预后级别，所述语义信息基于所述样本图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
基于所述多个第一样本图像块在所述样本图像中的位置和掩码图像，确定每个所述第一样本图像块中参考的分化级别，所述掩码图像用于指示所述样本图像中各个位置的分化级别；
基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一样本图像块进行编码，得到所述多个第一样本图像块的编码特征，对所述多个第一样本图像块的编码特征进行解码，得到所述多个第一样本图像块的样本分割图像，每个所述样本分割图像标注有分化级别；
基于所述多个第一样本图像块的样本分割图像进行分类，得到每个所述第一样本图像块的预后级别；
基于每个所述第一样本图像块的预后级别，对所述样本图像的预后级别进行预测，得到所述样本图像的异常信息；
基于每个所述样本分割图像中标注的分化级别、每个所述第一样本图像块中参考的分化级别、所述样本图像的预后级别以及所述参考预后级别，训练所述异常预测模型。
另一方面，提供了一种异常预测装置，所述装置包括：
采样模块，用于基于病理图像中的语义信息，对所述病理图像进行采样，得到多个第一图像块，所述语义信息基于所述病理图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
处理模块，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一图像块进行编码，得到所述多个第一图像块的编码特征，对所述多个第一图像块的编码特征进行解码，得到所述多个第一图像块的分割图像，每个所述分割图像标注有分化级别；
分类模块，用于基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别；
预测模块，用于基于每个所述第一图像块的预后级别，对所述病理图像的预后级别进行预测，得到所述病理图像的异常信息。
在一些实施例中，所述采样模块，用于对所述病理图像进行特征提取，得到所述病理图像的特征图，所述特征图用于指示所述病理图像中不同位置处的语义信息的密集程度；基于所述特征图中不同位置处的语义信息的密集程度，确定对应位置的采样频率；基于所述采样频率，对所述病理图像进行采样，得到所述多个第一图像块。
在一些实施例中，所述处理模块，包括：
切块单元，用于对于任一第一图像块，对所述第一图像块进行切块，得到多个第二图像块；
获取单元，用于获取所述多个第二图像块的特征，所述多个第二图像块的特征由所述多个第二图像块的图像特征与所述多个第二图像块的位置特征融合得到；
编码单元，用于基于所述带有固定窗口的多头自注意力机制和所述带有移位窗口的多头自注意力机制，对所述多个第二图像块的特征进行编码，得到所述第一图像块的编码特征。
在一些实施例中，所述编码单元，包括：
第一编码子单元，用于基于所述带有固定窗口的多头自注意力机制、归一化层以及多层感知机，对所述多个第二图像块的特征进行编码，得到所述多个第二图像块的中间编码特征；
第二编码子单元，用于基于带有移位窗口的多头自注意力机制、归一化层以及多层感知机，对所述多个第二图像块的中间编码特征进行编码，得到所述第一图像块的编码特征。
在一些实施例中，所述第一编码子单元，用于基于第一归一化层，对所述多个第二图像块的特征进行归一化；基于所述带有固定窗口的多头自注意力机制，对归一化后的所述多个第二图像块的特征进行处理，得到第一中间特征；基于所述多个第二图像块的特征和所述第一中间特征，确定第二中间特征；基于第二归一化层，对所述第二中间特征进行归一化；基于所述多层感知机，对所述第二中间特征进行处理，得到所述多个第二图像块的中间编码特征。
在一些实施例中，所述处理模块，包括：
解码单元，用于对于任一第一图像块，对所述第一图像块的编码特征进行解码，得到所述第一图像块中多个像素对应的分化级别；
生成单元，用于基于所述第一图像块中多个像素对应的分化级别，生成所述第一图像块的分割图像，所述分割图像中各个像素的颜色用于表示对应的分化级别。
在一些实施例中，所述分类模块，用于对于任一第一图像块的分割图像，获取所述第一图像块的分割图像中每个分化级别对应的像素的数量；基于所述每个分化级别对应的像素的数量，确定所述第一图像块的预后级别。
在一些实施例中，所述分类模块，还用于对于任一第一图像块的分割图像，基于所述分割图像中多个像素之间的位置关系，对所述分割图像中多个像素对应的分化级别进行优化；基于优化后的所述分割图像中每个分化级别对应的像素的数量，得到所述第一图像块的预后级别。
在一些实施例中，所述预测模块，用于基于每个预后级别对应的第一图像块的数量，确定所述每个预后级别所占的比例；基于所述每个预后级别所占的比例，对所述病理图像的预后级别进行预测，得到病理图像的预后级别。
在一些实施例中，所述装置还包括：
拼接模块，用于对所述多个第一图像块的分割图像进行拼接，得到所述病理图像的分割图像，所述病理图像的分割图像用于指示所述病理图像中异常部位的位置；
所述拼接模块，还用于对优化后的所述多个第一图像块的分割图像进行拼接，得到所述病理图像的分割图像。
另一方面，提供了一种异常预测模型的训练装置，所述装置包括：
采样模块，基于样本图像中的语义信息，对所述样本图像进行采样，得到多个第一样本图像块，所述样本图像上标注有参考预后级别，所述语义信息基于所述样本图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
确定模块，用于基于所述多个第一样本图像块在所述样本图像中的位置和掩码图像，确定每个所述第一样本图像块中参考的分化级别，所述掩码图像用于指示所述样本图像中各个位置的分化级别；
处理模块，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一样本图像块进行编码，得到所述多个第一样本图像块的编码特征，对所述多个第一样本图像块的编码特征进行解码，得到所述多个第一样本图像块的样本分割图像，每个所述样本分割图像标注有分化级别；
分类模块，用于基于所述多个第一样本图像块的样本分割图像进行分类，得到每个所述第一样本图像块的预后级别；
预测模块，用于基于每个所述第一样本图像块的预后级别，对所述样本图像的预后级别进行预测，得到所述样本图像的异常信息；
训练模块，用于基于每个所述样本分割图像中标注的分化级别、每个所述第一样本图像块中参考的分化级别、所述样本图像的预后级别以及所述参考预后级别，训练所述异常预测模型。
在一些实施例中，所述训练模块，包括：
确定单元，用于基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第一损失；
所述确定单元，还用于基于所述样本图像的预后级别和所述参考预后级别，确定第二损失，所述第二损失为交叉熵损失；
训练单元，用于基于所述第一损失和所述第二损失，训练所述异常预测模型。
在一些实施例中，所述确定单元，用于基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第三损失，所述第三损失为交叉熵损失；基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第四损失，所述第四损失为Dice损失；对所述第三损失和所述第四损失进行加权求和，得到所述第一损失。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的异常预测方法或者异常预测模型的训练方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中的异常预测方法或者异常预测模型的训练方法。
另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各个方面或者各个方面的各种可选实现方式中提供的异常预测方法或者异常预测模型的训练方法。
本申请实施例提供了一种异常预测方法，通过病理图像中语义信息的不同密集程度，来对病理图像的不同区域按照不同采样频率进行采样，再通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的图像块进行编码和解码，得到各个图像块的标注有分化级别的分割图像，然后通过分割图像预测图像块的预后级别，从而预测病理图像的预后级别，得到病理图像的异常信息；由于采样过程中在保证不遗漏病理图像中异常区域的同时，能够减少对病理图像中正常区域的采样，使得在编解码过程中更加关注病理图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测图像块的预后级别，进而提高病理图像的预后级别的准确性，得到更加准确的异常信息，利于对异常的处理方案提供更准确的依据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种异常预测方法的实施环境示意图；
图2是根据本申请实施例提供的一种异常预测方法的流程图；
图3是根据本申请实施例提供的一种异常预测模型的训练方法的流程图；
图4是根据本申请实施例提供的另一种异常预测方法的流程图；
图5是根据本申请实施例提供的一种对病理图像进行采样的示意图；
图6是根据本申请实施例提供的一种分割-分类模型的示意图；
图7是根据本申请实施例提供的一种得到第一图像块的分割图像和预后级别的示意图；
图8是根据本申请实施例提供的一种得到病理图像的预后级别和分割图像的流程图；
图9是根据本申请实施例提供的一种获取病理图像的异常信息的示意图；
图10是根据本申请实施例提供的另一种异常预测模型的训练方法的流程图；
图11是根据本申请实施例提供的一种异常预测装置的结构示意图；
图12是根据本申请实施例提供的另一种异常预测装置的结构示意图；
图13是根据本申请实施例提供的一种异常预测模型的训练装置的结构示意图；
图14是根据本申请实施例提供的另一种异常预测模型的训练装置的结构示意图；
图15是根据本申请实施例提供的一种终端的结构框图；
图16是根据本申请实施例提供的一种服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上。
需要说明的是，本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的病理图像和样本图像都是在充分授权的情况下获取的。
为了便于理解，以下，对本申请涉及的术语进行解释。
人工智能（Artificial Intelligence，AI）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例涉及人工智能技术中的智能医疗领域。
计算机视觉技术（Computer Vision，CV）：是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR（Optical Character Recognition，光学字符识别）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D（three Dimensional，三维）技术、虚拟现实、增强现实与地图构建等技术，还包括生物特征识别技术。本申请实施例通过对目标对象的图像进行处理，来预测图像中的异常信息。
WSI（Whole Slide Image，病理数字化图像）：是由传统的玻璃病理切片通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，再应用计算机设备对高分辨数字图像自动进行高精度多视野无缝隙拼接和处理，从而得到的优质的可视化数据。
SacNet（Segmentation assisted classification Network，分割辅助分类网络）：是一种用于对分割后的图像进行分类的人工神经网络。
Gleason（格里森分级系统）：是一种被广泛采用的前列腺癌组织学分级的方法。该方法通过根据前列腺癌组织的分化程度来划分等级，是制定前列腺癌治疗方案的重要参考指标。
ISUP（International Society of Urological Pathology，国际泌尿病理学会）Grade：是用来评估前列腺癌患者预后的一种分级方法，该ISUP Grade通常由Gleason划分的级别计算得到。
Patch（块）：是WSI裁剪后的图像块。
图1是根据本申请实施例提供的一种异常预测方法的实施环境示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请实施例对此不进行限制。
在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端等，但并不局限于此。终端101安装有支持图像采集的应用程序，该应用程序可以是医疗类应用程序、通信类应用或者多媒体类应用，本申请实施例对此不进行限制。例如，以医疗类应用程序为例进行说明，终端101能够采集目标对象的病理数字化图像，然后将该病理数字化图像发送至服务器102，由服务器102通过异常预测模型，对该病理数字化图像中的异常进行预测。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
在一些实施例中，服务器102是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持图像采集的应用程序提供后台服务。在一些实施例中，服务器102承担主要计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。例如，本申请实施例中的异常预测方法和异常预测模型的训练方法都可以由服务器来完成。下面以服务器为执行主体来对本申请实施例中的方案进行说明。
图2是根据本申请实施例提供的一种异常预测方法的流程图，参见图2，该异常预测方法包括以下步骤。
201、服务器基于病理图像中的语义信息，对病理图像进行采样，得到多个第一图像块，该语义信息基于病理图像中的像素确定，该语义信息的密集程度与采样频率正相关。
在本申请实施例中，该病理图像中显示有目标对象的某个组织部位。该病理图像可以是WSI图像、CT（Computed Tomography，电子计算机断层扫描）图像或者MRI（MagneticResonance Imaging，磁共振成像）图像，本申请实施例对此不进行限制。该病理图像的语义信息用于表示病理图像中的内容，由病理图像中的像素确定。该病理图像中不同位置的语义信息的密集程度可能存在不同。在病理图像中，显示有目标对象的组织部位的位置处的语义信息相比于无组织部位的位置处的语义信息更加密集。例如，在前列腺组织的WSI图像中，前列腺组织处的语义信息相比于其他无组织部位的区域的语义信息更加密集。在目标对象的组织部位中，可能存在正常区域和异常区域。正常区域为该组织部位中健康状况良好的区域。异常区域为该组织部位中健康状况较差的区域，可能发生损坏或者癌变。异常区域的语义信息可能相比于正常区域的语义信息更加密集。其中，该异常区域为目标对象的组织部位中发生病变的区域，例如损坏或者癌变等。服务器能够根据语义信息的密集程度，对病理图像进行采样。在语义信息的密集程度高的位置，服务器的采样次数较多，得到较多的第一图像块。在语义信息的密集程度低的位置，服务器的采样次数较少，得到较少的第一图像块。
202、服务器基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一图像块进行编码，得到多个第一图像块的编码特征，对多个第一图像块的编码特征进行解码，得到多个第一图像块的分割图像，每个分割图像标注有分化级别。
在本申请实施例中，对于任一第一图像块，服务器先基于带有固定窗口的多头自注意力机制，对该第一图像块进行编码。然后，服务器再基于带有移位窗口的多头自注意力机制，对编码后的第一图像块再次进行编码，得到该第一图像块的编码特征。然后，服务器对该第一图像块的编码特征进行解码，得到该第一图像块的分割图像。在解码过程中，服务器能够预测该第一图像块中各个位置处对应的分化级别。该分化级别用于表示该第一图像块中目标对象的组织部位的分化程度。服务器将预测到的分化级别按照对应的位置进行标注，以生成分割图像。该分割图像的尺寸和对应的第一图像块的尺寸相同。
203、服务器基于多个第一图像块的分割图像进行分类，得到每个第一图像块的预后级别。
在本申请实施例中，对于任一第一图像块，该第一图像块的分割图像中标注有该第一图像块的各个像素对应的分化级别。服务器能够基于该分割图像中标注的该第一图像块的各个像素对应的分化级别，对该第一图像块进行分类。不同类别的第一图像块对应不同的预后级别。该预后级别能够表示目标对象的组织部位的健康状况。
204、服务器基于每个第一图像块的预后级别，对病理图像的预后级别进行预测，得到病理图像的异常信息。
在本申请实施例中，服务器综合多个第一图像的预后级别，对病理图像这个整体的预后的级别进行预测，得到病理图像的异常信息。该异常信息包括病理图像的预后级别。该异常信息能够反映目标对象的健康状况。服务器能够将异常信息反馈给医护人员，医护人员能够根据该异常信息为该目标对象制定治疗方案。
本申请实施例提供了一种异常预测方法，通过病理图像中语义信息的不同密集程度，来对病理图像的不同区域按照不同采样频率进行采样，再通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的图像块进行编码和解码，得到各个图像块的标注有分化级别的分割图像，然后通过分割图像预测图像块的预后级别，从而预测病理图像的预后级别，得到病理图像的异常信息；由于采样过程中在保证不遗漏病理图像中异常区域的同时，能够减少对病理图像中正常区域的采样，使得在编解码过程中更加关注病理图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测图像块的预后级别，进而提高病理图像的预后级别的准确性，得到更加准确的异常信息，利于对异常的处理方案提供更准确的依据。
在本申请实施例中，服务器能够通过异常预测模型来实现上述的异常预测方法。该异常预测模型为训练好的模型。服务器能够对该异常预测模型进行训练，训练过程请参见下述方案。图3是根据本申请实施例提供的一种异常预测模型的训练方法的流程图，参见图3，该异常预测模型的预测方法包括以下步骤。
301、服务器基于样本图像中的语义信息，对样本图像进行采样，得到多个第一样本图像块，该样本图像上标注有参考预后级别，该语义信息基于样本图像中的像素确定，该语义信息的密集程度与采样频率正相关。
在本申请实施例中，该样本图像中显示有对象的某个组织部位。该样本图像上标注有参考预后级别，该参考预后级别用于表示该样本图像中组织部位的准确的健康状况。服务器对样本图像进行采样的原理与步骤201中对病理图像进行采样的原理相同，在此不再赘述。
302、服务器基于多个第一样本图像块在样本图像中的位置和掩码图像，确定每个第一样本图像块中参考的分化级别，该掩码图像用于指示样本图像中各个位置的分化级别。
在本申请实施例中，样本图像的掩码图像本质上是一个矩阵。该掩码图像中标注有该样本图像中各个像素对应的分化级别。例如，该掩码图像中各个位置处标注有数字，不同的数字表示不同的分化级别。对于任一第一样本图像块，服务器能够根据该第一样本图像块在样本图像中的位置，在该掩码图像中找到对应位置处各个像素对应的分化级别。然后，服务器能够将对应位置处各个像素对应的分化级别，作为第一样本图像块中参考的分化级别。该参考的分化级别即为准确的分化级别，用于为后续预测得到的分化级别提供参考。
303、服务器基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一样本图像块进行编码，得到多个第一样本图像块的编码特征，对多个第一样本图像块的编码特征进行解码，得到多个第一样本图像块的样本分割图像，每个样本分割图像标注有分化级别。
在本申请实施例中，服务器基于与步骤202中对多个第一图像块进行编码和解码的相同原理，对多个第一样本图像块进行编码和解码，在此不再赘述。
304、服务器基于多个第一样本图像块的样本分割图像进行分类，得到每个第一样本图像块的预后级别。
在本申请实施例中，服务器基于与步骤203中对多个第一图像块的预后级别进行预测的相同原理，对多个第一样本图像块的预后级别进行预测，在此不再赘述。
305、服务器基于每个第一样本图像块的预后级别，对样本图像的预后级别进行预测，得到样本图像的异常信息。
在本申请实施例中，服务器基于与步骤204中对病理图像的预后级别进行预测的相同原理，对样本图像的预后级别进行预测，在此不再赘述。
306、服务器基于每个样本分割图像中标注的分化级别、每个第一样本图像块中参考的分化级别、样本图像的预后级别以及参考预后级别，训练异常预测模型。
在本申请实施例中，服务器基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别之间的差异、样本图像的预后级别和参考预后级别之间的差异，来训练异常预测模型，使得上述两个差异尽可能地减小，从而提高异常预测模型的预测准确率。
本申请实施例提供了一种异常预测模型的训练方法，通过样本图像中语义信息的不同密集程度，来对样本图像不同区域按照不同采样频率进行采样，通过掩码图像确定每个采样得到的样本图像块中参考的分化级别，通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的样本图像块进行编码和解码，得到各个样本图像块的标注有分化级别的样本分割图像，然后预测样本图像块的预后级别，从而预测样本图像的预后级别，再通过样本分割图像中预测得到的分化级别、样本图像块中参考的分化级别、预测得到的样本图像的预后级别以及样本图像的参考预后级别，训练异常预测模型；由于采样过程中在保证不遗漏样本图像中异常区域的同时，能够减少对样本图像中正常区域的采样，使得在编解码过程中更加关注样本图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测样本图像块的预后级别和样本图像的预后级别，在训练过程中从样本图像块中的分化级别等局部信息和样本图像的预后级别等全局信息两个方面，来训练异常预测模型，使得异常预测模型的预测准确率更高。
图4是根据本申请实施例提供的另一种异常预测方法的流程图，参见图4，该异常预测方法包括以下步骤。
401、服务器基于病理图像中的语义信息，对病理图像进行采样，得到多个第一图像块，该语义信息基于病理图像中的像素确定，该语义信息的密集程度与采样频率正相关。
在本申请实施例中，该步骤401主要包括步骤4011-4012这两个步骤，如下所示。
4011、服务器通过目标算法，去除背景区域，得到只包括前景区域的病理图像。
该病理图像可以是WSI图像。初始的WSI图像包括前景区域和背景区域。前景区域为目标对象的某个组织部位。背景区域为WSI图像中除前景区域外的其他区域。该在对WSI图像中组织部位的健康状况的预测过程中，WSI图像中的背景区域是无用的，服务器能够通过目标算法，去除背景区域，从而得到只包括前景区域的病理图像。该目标算法可以是Ostu算法，也可以是GrabCut算法，本申请实施例对此不进行限制。
4012、服务器基于病理图像中的语义信息，对只包括前景区域的病理图像进行采样。
服务器能够在目标倍率下，基于病理图像中的语义信息，对该病理图像进行采样。该目标倍率可以是8倍、10倍或者15倍等，本申请实施例对此不进行限制。在采样过程中，服务器能够根据病理图像的像素，获取该病理图像的语义信息。异常区域的语义信息相比于正常区域的语义信息更加密集。然后，服务器能够根据语义信息的密集程度，采用滑动窗口对病理图像进行采样。在语义信息的密集程度高的位置，服务器缩小滑动步长，以增加采样次数，得到较多的第一图像块。在语义信息的密集程度低的位置，服务器扩大滑动步长，以减少采样次数，得到较少的第一图像块。
在一些实施例中，服务器能够提取病理图像的特征，来确定语义信息的密集程度，从而对病理图像进行采样。相应地，该步骤4012包括下述步骤。服务器对病理图像进行特征提取，得到病理图像的特征图，该特征图用于指示病理图像中不同位置处的语义信息的密集程度。然后，服务器基于特征图中不同位置处的语义信息的密集程度，确定对应位置的采样频率。然后，服务器基于采样频率，对病理图像进行采样，得到多个第一图像块。本申请实施例提供的方案，由于病理图像中异常区域和正常区域的像素不同，通过病理图像中的像素来确定语义信息，使得该语义信息能够指示病理图像中的异常区域，通过病理图像的语义信息，来对病理图像进行采样，由于语义信息的密集程度与采样频率正相关，使得在采样过程中在保证不遗漏病理图像中异常区域的同时，还能够减少对病理图像中正常区域的采样，从而能够减少正常区域过多对后续的异常预测所带来的误差。
例如，图5是根据本申请实施例提供的一种对病理图像进行采样的示意图。参见图5，病理图像I为高分辨率图像，
Figure 482919DEST_PATH_IMAGE001
，H为病理图像的高，W为病理图像的宽，C为病理图像的通道数。服务器采用
Figure 74175DEST_PATH_IMAGE002
大小的滑动窗口，在病理图像I上滑动，以实现对病理图像的特征提取。该滑动窗口内的图像为
Figure 812324DEST_PATH_IMAGE003
。然后，服务器将滑动窗口内的图像
Figure 863456DEST_PATH_IMAGE004
输入特征提取模块
Figure 132895DEST_PATH_IMAGE005
。在该特征提取模块
Figure 793421DEST_PATH_IMAGE006
中，服务器基于采样张量（tensor）
Figure 58180DEST_PATH_IMAGE007
，来提取该
Figure 280214DEST_PATH_IMAGE008
的特征。服务器能够通过以下公式一，来提取该
Figure 223899DEST_PATH_IMAGE009
的特征。
公式一：
Figure 924002DEST_PATH_IMAGE010
其中，采样张量
Figure 276224DEST_PATH_IMAGE011
，[0，1]表明采样张量
Figure 669159DEST_PATH_IMAGE007
中的元素
Figure 241086DEST_PATH_IMAGE012
非0即1。c是通道数，且
Figure 603934DEST_PATH_IMAGE013
。i，j分别表示元素所在的行和列，
Figure 312127DEST_PATH_IMAGE014
。
Figure 380358DEST_PATH_IMAGE015
为
Figure 174002DEST_PATH_IMAGE016
对应的特征图，
Figure 215907DEST_PATH_IMAGE015
的尺寸为
Figure 559032DEST_PATH_IMAGE017
。
服务器将滑动窗口在病理图像上滑动，基于与上述相同的原理来提取特征，从而得到病理图像的特征图d，
Figure 887246DEST_PATH_IMAGE018
。该特征图能够指示病理图像中不同位置处的语义信息的密集程度。然后，服务器基于该特征图，对该病理图像进行采样。服务器能够通过以下公式二，对病理图像进行采样。
公式二：
Figure 401141DEST_PATH_IMAGE019
其中，
Figure 574634DEST_PATH_IMAGE020
为采样函数，I为病理图像，
Figure 116473DEST_PATH_IMAGE021
为病理图像的特征图d，P为采样得到的多个第一图像块。
例如，该采样函数的定义如下，在语义信息的密集程度不大于A的情况下，该采样函数确定采样频率为采样频率a；在语义信息的密集程度大于A且小于B的情况下，该采样函数确定采样频率为采样频率b；在语义信息的密集程度大于B且小于C的情况下，该采样函数确定采样频率为采样频率c；在语义信息的密集程度大于C且小于D的情况下，该采样函数确定采样频率为采样频率d；在语义信息的密集程度大于D的情况下，该采样函数确定采样频率为采样频率e。其中，上述四个密集程度从低到高依次是密集程度A、密集程度B、密集程度C以及密集程度D。上述五个采样频率从低到高依次是采样频率a、采样频率b、采样频率c、采样频率d以及采样频率e。
402、对于任一第一图像块，服务器对该第一图像块进行切块，得到多个第二图像块。
在本申请实施例中，服务器将采样得到的多个第一图像块输入到分割-分类模型中，通过该分割-分类模型对多个第一图像块进行处理。该分割-分类模型可以是SacNet模型，本申请实施例对此不进行限制。对于任一第一图像块，服务器通过该分割-分类模型，对第一图像块进行切块，得到多个第二图像块。上述切块也可以指的是对第一图像块进行划分，划分为多个第二图像块。
例如，图6是根据本申请实施例提供的一种分割-分类模型的示意图，参见图6，该分割-分类模型的编码模块是Swin Transformer模型，解码模块是FPN（Feature PyramidNetwork，特征金字塔网络）模块中的解码器。服务器将第一图像块输入Swin Transformer模型，通过Swin Transformer模型中的切块层（patch partition）对该第一图像块进行切块。每个第一图像块
Figure 490954DEST_PATH_IMAGE022
被分割成多个第二图像块构成的图像块序列
Figure 118244DEST_PATH_IMAGE023
。
Figure 236373DEST_PATH_IMAGE024
表示第二图像块，（P，P）是图像块的尺寸，C是通道数，N是第二图像块的数量，
Figure 632719DEST_PATH_IMAGE025
。该第二图像块的尺寸可以是（4，4）。
403、服务器获取多个第二图像块的特征，该多个第二图像块的特征由多个第二图像块的图像特征与多个第二图像块的位置特征融合得到。
在本申请实施例中，对于任一第二图像块，服务器提取该第二图像块的图像特征和位置特征。该图像特征用于表示第二图像块中的内容。该位置特征用于表示该第二图像块在第一图像块中的位置。然后，服务器将该第二图像块的图像特征和位置特征进行融合，得到该第二图像块的特征。其中，融合是指：服务器可以将该第二图像块的图像特征和位置特征进行求和，以得到该第二图像块的特征；服务器也可以将该第二图像块的图像特征和位置特征进行拼接，以得到该第二图像块的特征，本申请实施例对此不进行限制。
例如，继续参见图6，第二图像块的尺寸可以是（4，4），也即第二图像块由相邻的4*4个像素构成，由于第二图像块的通道数是3，且切块层在处理图像的过程中将相邻的4*4个像素在通道方向上展平，由此切块层输出的第一图像块的特征图的尺寸为H/4*W/4*48。该第一图像块的特征图包括多个第二图像块的特征，每个第二图像块的特征以像素的形式呈现在第一图像块的特征图中。然后，服务器通过Swin Transformer模型中的线性层（patchembedding），将H/4*W/4*48的特征图展平成一维向量，得到一个图像特征序列
Figure 443681DEST_PATH_IMAGE026
，其中，
Figure 27109DEST_PATH_IMAGE027
为一个第二图像块的图像特征，
Figure 447464DEST_PATH_IMAGE028
，D=1；
Figure 963895DEST_PATH_IMAGE029
为第二图像块的尺寸；C为通道数，等于48；
Figure 680179DEST_PATH_IMAGE030
即为图像特征的长度。服务器通过该线性层，还能够学习第二图像块的位置信息，得到位置特征序列
Figure 16482DEST_PATH_IMAGE031
。然后，服务器将图像特征序列和位置特征序列相加，得到的结果为
Figure 476413DEST_PATH_IMAGE032
。该
Figure 847352DEST_PATH_IMAGE033
包含多个第二图像块的特征。
404、服务器基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第二图像块的特征进行编码，得到第一图像块的编码特征。
在本申请实施例中，服务器先基于带有固定窗口的多头自注意力机制，对多个第二图像块的特征进行编码。然后，服务器再基于带有移位窗口的多头自注意力机制，对编码后的多个第二图像块的特征再次进行编码，得到第一图像块的编码特征。
例如，继续参见图6，该Swin Transformer模型包括四个处理阶段（stage）。每个stage都会缩小输入特征图的分辨率，像卷积神经网络一样逐层扩大感受野。每个处理阶段都包括注意力机制模块（Swin Transformer block）。对于任一注意力机制模块，该注意力机制模块中还可分为W-MSA（Window Multi-headed based Self-Attention，带有固定窗口的多头自注意力机制）模块和SW-MSA（Shifted Window Multi-headed based Self-Attention，带有移位窗口的多头自注意力机制对输入的特征进行处理）模块。该W-MSA模块和SW-MSA模块中都含有Layer Norm（归一化层）和MLP（Muti-Layer Perception，多层感知机）。服务器通过该W-MSA模块和SW-MSA模块对输入的第二图像块的特征进行处理。
在一些实施例中，服务器能够通过W-MSA模块和SW-MSA模块对多个第二图像块的特征进行编码。相应地，该步骤402包括下述步骤。服务器基于带有固定窗口的多头自注意力机制、归一化层以及多层感知机，对多个第二图像块的特征进行编码，得到多个第二图像块的中间编码特征。然后，服务器基于带有移位窗口的多头自注意力机制、归一化层以及多层感知机，对多个第二图像块的中间编码特征进行编码，得到第一图像块的编码特征。其中，该多层感知机中的激活函数为GELU函数。本申请实施例提供的方案，通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一图像块进行编码，更加关注病理图像中的异常区域，使得多个第一图像块的编码特征能够更加准确表示异常区域。
其中，在服务器通过W-MSA模块，对多个第二图像块的特征进行编码的过程中，服务器基于第一归一化层，对多个第二图像块的特征进行归一化。然后，服务器基于带有固定窗口的多头自注意力机制，对归一化后的多个第二图像块的特征进行处理，得到第一中间特征。然后，服务器基于多个第二图像块的特征和第一中间特征，确定第二中间特征。然后，服务器基于第二归一化层，对第二中间特征进行归一化。然后，服务器基于多层感知机，对第二中间特征进行处理，得到多个第二图像块的中间编码特征。其中，第一归一化层和带有固定窗口的多头自注意力机制的网络层构成一个残差网络，也即，多个第二图像块的特征和第一中间特征相加，得到第二中间特征。第二归一化层和多层感知机也构成一个残差网络，也即，第二中间特征和多层感知机输出的特征相加，得到多个第二图像块的中间编码特征。
服务器将多个第二图像块的中间编码特征输入到SW-MSA模块中，通过SW-MSA模块，对多个第二图像块的中间编码特征进行编码之前，移动窗口的位置，再采用与W-MSA模块中相同原理的编码方式，对多个第二图像块的中间编码特征进行编码，在此不再赘述。
在一些实施例中，服务器能够通过以下公式三，来对多个第二图像块的特征进行编码。
公式三：
Figure 734537DEST_PATH_IMAGE034
Figure 823715DEST_PATH_IMAGE035
Figure 680813DEST_PATH_IMAGE036
Figure 539879DEST_PATH_IMAGE037
其中，
Figure 722599DEST_PATH_IMAGE038
是注意力机制模块中带有固定窗口的多头自注意力机制的网络层的输出，或者是注意力机制模块中带有移位窗口的多头自注意力机制的网络层的输出。
Figure 908861DEST_PATH_IMAGE039
是多层感知机的输出，
Figure 835228DEST_PATH_IMAGE040
，L为网络的层数。
在基于注意力机制处理特征的过程中，服务器能够通过以下公式四，来计算网络层中的注意力机制。
公式四：
Figure 56125DEST_PATH_IMAGE041
其中，Q，K，V分别是query矩阵、key矩阵和value矩阵，
Figure 144167DEST_PATH_IMAGE042
，这三个矩阵均是多个第二图像块特征的权重矩阵；d是query矩阵和key矩阵的维度；
Figure 83304DEST_PATH_IMAGE043
是一个窗口中第二图像块的数量；B是一个相对位置偏差，
Figure 813363DEST_PATH_IMAGE044
。沿滑动窗口的每个边的相对位置在[-M+1，M-1]中最小化一个较小的偏置矩阵
Figure 387301DEST_PATH_IMAGE045
，B来自于
Figure 646244DEST_PATH_IMAGE046
。
405、服务器对多个第一图像块的编码特征进行解码，得到多个第一图像块的分割图像，每个分割图像标注有分化级别。
在本申请实施例中，对于任一第一图像块，服务器对该第一图像块的编码特征进行解码，以实现识别该第一图像块中各个像素对应的分化级别，服务器根据各个像素对应的分化级别，生成该第一图像块的分割图像。该分化级别为Gleason score，可划分为四种级别，分别是正常、CG3、CG4以及CG5。其中，正常表示该像素处的区域的健康状况良好，CG3表示该像素处的区域为低级别癌症区域，CG4表示该像素处的区域为中级别癌症区域，CG5表示该像素处的区域为高级别癌症区域。服务器采用0、1、2、3这四个数值来分别表示正常、CG3、CG4以及CG5。该分割图像中的值为0、1、2、3这四个数值。
例如，继续参见图6，服务器将Swin Transformer模型输出的第一图像块的编码特征，输入到PPM（Pyramid Pooling Module，金字塔池化模型），通过该PPM充分利用全局信息对第一图像块的编码特征进行多尺度池化。然后，通过FPN模块中的解码器，对池化后的特征进行解码，生成第一图像块的分割图像。
在一些实施例中，服务器能够采用不同的颜色来显示不同的分化级别。相应地，该步骤405包括下述步骤。对于任一第一图像块，服务器对第一图像块的编码特征进行解码，得到第一图像块中多个像素对应的分化级别。然后，服务器基于第一图像块中多个像素对应的分化级别，生成第一图像块的分割图像。其中，该分割图像中各个像素的颜色用于表示对应的分化级别。本申请实施例提供的方案，通过不同的颜色来显示不同的分化级别，使得能够直观地显示第一图像块中各个位置的分化级别，从而能够直接观察到第一图像块中异常区域的位置，为后续获取的病理图像的异常信息，提供了具有说服力的可解释性结果。
406、服务器基于多个第一图像块的分割图像进行分类，得到每个第一图像块的预后级别。
在本申请实施例中，每个分割图像中标注有对应的第一图像块中各个像素对应的分化级别。服务器能够根据每个分割图像，预测对应的第一图像块的预后级别。该预后级别为ISUP grade，可分为0、1、2、3、4以及5等六个级别。服务器预测多个第一图像块的预后级别的过程，相当于对多个第一图像块进行分类。
在一些实施例中，服务器能够根据分割图像中每个分化级别对应的像素的数量，来预测该第一图像块的预后级别。相应地，该步骤406包括下述步骤。对于任一第一图像块的分割图像，服务器获取第一图像块的分割图像中每个分化级别对应的像素的数量。然后，服务器基于每个分化级别对应的像素的数量，确定第一图像块的预后级别。本申请实施例提供的方案，第一图像块的预后级别与第一图像块中各个位置的分化级别相关，通过分割图像中每个分化级别对应的像素的数量，来预测该第一图像块的预后级别，使得预测的第一图像块的预后级别更加准确。
在一些实施例中，由于服务器预测的分化级别可能存在误差，会影响第一图像块的预后级别的预测。服务器能够对预测得到的分化级别进行优化，修正存在错误的分化级别，再对第一图像块的预后级别进行预测。相应地，该步骤406包括下述步骤。对于任一第一图像块的分割图像，服务器基于分割图像中多个像素之间的位置关系，对分割图像中多个像素对应的分化级别进行优化。然后，服务器基于优化后的分割图像中每个分化级别对应的像素的数量，得到第一图像块的预后级别。其中，服务器能够将第一图像块的分割图像，输入全连接CRFs（Conditional Random Fields，条件随机场），通过该全连接CRFs对分割图像进行图像后处理。该全连接CRFs能够基于分割图像中多个像素之间的关系，优化分割图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。本申请实施例提供的方案，通过对预测的分化级别进行优化，使得优化后的分割图像中每个分化级别更加准确，从而利于得到更准确的预后级别。
例如，优化之前，分割图像中某个像素对应的分化等级为0，则表明该像素处的区域为正常区域。而该像素周围的其他像素对应的分化等级都为4，则表明该像素周围的区域为中级别癌症区域CG4。由此可见，该像素的分化等级很大可能是错误的。服务器能够通过全连接CRFs，对该分割图像中的分化级别进行优化，以使该分割图像中的分化级别更加准确。
在一些实施例中，服务器能够通过以下公式五，来预测每个第一图像块的预后级别。
公式五：
Figure 807098DEST_PATH_IMAGE047
其中， 0、1、2、3、4以及5这六个ISUP grade均表示预后级别；
Figure 340848DEST_PATH_IMAGE048
分别表示分割图像中各个分化级别对应的像素的数量。
为了更加清楚地描述服务器通过分割-分类模型，生成多个第一图像块的分割图像，并预测多个第一图像块的预后级别的过程，下面结合附图来对该过程进行描述。图7是根据本申请实施例提供的一种得到第一图像块的分割图像和预后级别的示意图。参见图7，服务器将多个第一图像块输入到该分割-分类模型，在该分割-分类模型中的编码模块中，基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一图像块进行处理，得到多个第一图像块的编码特征。然后，服务器通过分割-分类模型中解码模块对多个第一图像块的编码特征进行解码，得到多个第一图像块的分割图像。然后，服务器通过分割-分类模型中的分类器，对多个第一图像块的分割图像进行处理，得到多个第一图像块的预后级别。
407、服务器基于每个第一图像块的预后级别，对病理图像的预后级别进行预测，得到病理图像的异常信息。
在本申请实施例中，病理图像的预后级别与病理图像中各个第一图像块的预测级别相关。服务器根据多个第一图像的预后级别，来预测该病理图像的预后级别。
在一些实施例中，服务器能够根据各个预后级别对应的第一图像块的数量，来预测该病理图像的预后级别。相应地，该步骤407包括下述步骤。服务器基于每个预后级别对应的第一图像块的数量，确定每个预后级别所占的比例。然后，服务器基于每个预后级别所占的比例，对病理图像的预后级别进行预测，得到病理图像的预后级别。本申请实施例提供方案，通过每个预后级别对应的第一图像块在多个第一图像块中所占的比例，来确定病理图像的预后级别，使得该异常信息能够准确表示该病理图像的预后级别，从而利于对异常的处理方案提供更准确的依据。
服务器能够通过以下公式六，来确定病理图像的预后级别。
公式六：
Figure 270758DEST_PATH_IMAGE049
其中，
Figure 966181DEST_PATH_IMAGE050
，
Figure 614331DEST_PATH_IMAGE051
分别为每个预后级别对应的第一图像块的数量；
Figure 686193DEST_PATH_IMAGE052
，表示多个第一图像块的总数量；
Figure 969144DEST_PATH_IMAGE053
为预测各个预后级别的概率；
Figure 101048DEST_PATH_IMAGE054
为权重，
Figure 970915DEST_PATH_IMAGE055
为偏置量。
在一些实施例中，服务器还能够根据病理图像中各个分化级别对应的像素的数量，来预测该病理图像的预后级别。相应地，该步骤407包括下述步骤。服务器获取病理图像的分割图像中每个分化级别对应的像素的数量。然后，服务器基于每个分化级别对应的像素的数量，确定病理图像的预后级别。本申请实施例提供的方案，病理图像的预后级别与病理图像中各个位置的分化级别相关，通过分割图像中每个分化级别对应的像素的数量，来预测该病理图像的预后级别，使得预测的病理图像的预后级别更加准确，从而利于对异常的处理方案提供更准确的依据。
408、服务器基于多个第一图像块的分割图像，生成病理图像的分割图像。
在本申请实施例中，在服务器基于多个第一图像块的分割图像，对病理图像的预后级别的预测过程中，服务器还能够根据多个第一图像块的分割图像，来生成病理图像的分割图像。也即，步骤408的执行时机可以与步骤406至步骤407的执行时机相同。其中，服务器能够对多个第一图像块的分割图像进行拼接，得到病理图像的分割图像，或者，服务器还能够对优化后的多个第一图像块的分割图像进行拼接，得到病理图像的分割图像。该病理图像的分割图像用于指示病理图像中异常部位的位置。
为了更加清楚地描述服务器基于多个第一图像块的分割图像，预测病理图像的预后级别以及生成病理图像的分割图像的过程，下面结合附图再次对该过程进行进一步的描述。图8是根据本申请实施例提供的一种得到病理图像的预后级别和分割图像的流程图。参见图8，服务器将多个第一图像块的分割图像进行拼接，得到病理图像的分割图像。服务器将多个第一图像块的预后级别输入到分类器中，通过该分类器预测病理图像的预后级别。
为了更加清楚地描述服务器获取病理图像的异常信息的过程，下面结合附图再次对该过程进行进一步的描述。图9是根据本申请实施例提供的一种获取病理图像的异常信息的示意图。参见图9，服务器将病理图像输入到采样器中，通过该采样器对病理图像进行采样，得到多个第一图像块。然后，服务器将多个第一图像块输入到分割-分类模型中，通过该分割-分类模型对多个第一图像块进行处理，得到多个第一图像块的分割图像和预后级别。然后，服务器根据多个第一图像块的分割图像，生成病理图像的分割图像。服务器根据多个第一图像块的预后级别，预测病理图像的预后级别，从而得到病理图像的异常信息。
本申请实施例提供了一种异常预测方法，通过病理图像中语义信息的不同密集程度，来对病理图像的不同区域按照不同采样频率进行采样，再通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的图像块进行编码和解码，得到各个图像块的标注有分化级别的分割图像，然后通过分割图像预测图像块的预后级别，从而预测病理图像的预后级别，得到病理图像的异常信息；由于采样过程中在保证不遗漏病理图像中异常区域的同时，能够减少对病理图像中正常区域的采样，使得在编解码过程中更加关注病理图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测图像块的预后级别，进而提高病理图像的预后级别的准确性，得到更加准确的异常信息，利于对异常的处理方案提供更准确的依据。
图10是根据本申请实施例提供的另一种异常预测模型的训练方法的流程图，参见图10，该异常预测模型的预测方法包括以下步骤。
1001、服务器基于样本图像中的语义信息，对样本图像进行采样，得到多个第一样本图像块，该样本图像上标注有参考预后级别，该语义信息基于样本图像中的像素确定，该语义信息的密集程度与采样频率正相关。
在本申请实施例中，服务器基于与步骤401中对病理图像进行采样的相同原理，对样本图像进行采样，得到多个第一样本图像块，在此不再赘述。
1002、服务器基于多个第一样本图像块在样本图像中的位置和掩码图像，确定每个第一样本图像块中参考的分化级别，该掩码图像用于指示样本图像中各个位置的分化级别。
在本申请实施例中，样本图像的掩码图像与样本图像大小相同，且图像中的各个位置对应。该掩码图像中标注了样本图像中各个像素对应的参考的分化级别。服务器能够根据该第一样本图像块在样本图像中的位置，在该掩码图像中找到对应位置处各个像素对应的分化级别，以实现获取该第一样本图像块中参考的分化级别。服务器还能够根据表1中的计算规则，计算第一样本图像块的预后级别。
表1
Figure 580888DEST_PATH_IMAGE056
其中，表1中的分化级别3、4、5分别表示CG3、CG4以及CG5。分化级别中两个相加的数字表示的是第一图像块中对应的像素数量较多的前两个分化级别。预后级别中1、2、3、4以及5这五个级别均为目标对象患癌的级别，其余情况，预后级别为0，表明第一图像块中的区域为正常区域，健康状况良好。
1003、服务器基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一样本图像块进行编码，得到多个第一样本图像块的编码特征，对多个第一样本图像块的编码特征进行解码，得到多个第一样本图像块的样本分割图像，每个样本分割图像标注有分化级别。
在本申请实施例中，服务器基于与步骤402至步骤405中生成多个第一图像块的分割图像的相同原理，对样本图像进行编码和解码，得到多个第一样本图像块，在此不再赘述。
1004、服务器基于多个第一样本图像块的样本分割图像进行分类，得到每个第一样本图像块的预后级别。
在本申请实施例中，服务器基于与步骤406中对多个第一图像块的预后级别进行预测的相同原理，对多个第一样本图像块的预后级别进行预测，在此不再赘述。
1005、服务器基于每个第一样本图像块的预后级别，对样本图像的预后级别进行预测，得到样本图像的异常信息。
在本申请实施例中，服务器基于与步骤407中对病理图像的预后级别进行预测的相同原理，对样本图像的预后级别进行预测，在此不再赘述。
1006、服务器基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第一损失。
在本申请实施例中，服务器能够根据每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别的差异，确定第一损失。
在一些实施例中，服务器基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第三损失，该第三损失为交叉熵损失。然后，服务器基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第四损失，第四损失为Dice损失。然后，服务器对第三损失和第四损失进行加权求和，得到第一损失。其中，该第三损失用于表示各个像素所对应的预测的分化级别与参考的分化级别之间的差异。该第四损失与区域相关，用于表示一个区域内像素所对应的预测的分化级别与参考的分化级别之间的差异。本申请实施例提供的方案，由于各个像素对应的预测到的分化级别不仅与该像素值有关，还与其他像素的像素值相关，通过计算样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别之间的交叉熵损失和Dice损失，不仅从像素的角度计算损失，还从区域的角度计算损失，使得计算的第一损失更加准确地反应模型的性能，从而利于训练出性能更好的异常检测模型。
在一些实施例中，服务器能够通过以下公式七，来计算第四损失。
公式七：
Figure 344445DEST_PATH_IMAGE057
其中，
Figure 522616DEST_PATH_IMAGE058
表示目标区域内的参考的分化级别；
Figure 4413DEST_PATH_IMAGE059
表示目标区域内的预测的分化级别；
Figure 293443DEST_PATH_IMAGE060
表示
Figure 177086DEST_PATH_IMAGE058
和
Figure 24694DEST_PATH_IMAGE061
之间的交集元素个数，也即参考的分化级别与预测的分化级别相同的像素的个数；
Figure 728207DEST_PATH_IMAGE062
表示目标区域内的参考的分化级别对应的像素的个数，
Figure 820928DEST_PATH_IMAGE063
表示目标区域内的预测的分化级别对应的像素的个数。
在一些实施例中，服务器能够通过以下公式八，来计算第一损失。
公式八：
Figure 559077DEST_PATH_IMAGE064
其中，
Figure 79051DEST_PATH_IMAGE065
为第一损失，
Figure 535441DEST_PATH_IMAGE066
为第三损失，
Figure 166273DEST_PATH_IMAGE067
为第四损失；0.1和0.9为权重参数。
1007、服务器基于样本图像的预后级别和参考预后级别，确定第二损失，该第二损失为交叉熵损失。
在本申请实施例中，服务器根据样本图像的预后级别和参考预后级别之间的差异，确定该异常预测模型的第二损失。
1008、服务器基于第一损失和第二损失，训练异常预测模型。
在本申请实施例中，服务器以第一损失和第二损失的值最小为训练目标，训练该异常预测模型。
服务器采用的样本图像来自于公开数据集。该数据集中包括训练集和验证集，训练集中图像的数量和验证集中图像的数量之间的占比为9：1。训练集中包括1067张标注有分化级别的WSI图像。该公开数据集可以是PANDA数据集，本申请实施例对此不进行限制。该异常预测模型基于Python 3.6和Pytorch 1.7.0实现，在8张32GB内存的GPU（GraphicsProcessing Unit，图形处理器）上进行训练。在模型训练过程中，输入的第一样本图像块的大小设为512 x 512，AdamW（一种自适应梯度的优化方法）优化器的初始学习率为6 x 10^-5，线性学习率衰减的调度器的权重衰减为0.01，线性warmup（一种学习率优化方法）迭代1500次。对于训练中所有的第一样本图像块，采用数据增强（如翻转和旋转）来增加数据多样性。在训练期间，样本批量大小为24，共训练80k iterations（迭代）。
服务器能够采用验证集对上述的异常预测模型进行验证，均能达到良好的效果。在验证过程中服务器能够计算Accuracy（准确率）和Kappa（用于一致性检验的指标）系数。该Accuracy等于预测正确的样本数量与验证集中的样本总数量之间的比值。该Kappa系数的计算是基于混淆矩阵的，取值为-1到1之间，通常大于0。服务器能够通过以下公式九，来计算该Kappa系数。
公式九：
Figure 24508DEST_PATH_IMAGE068
其中，M是预后级别的总数；i，j均表示预后级别，
Figure 954198DEST_PATH_IMAGE069
；
Figure 897884DEST_PATH_IMAGE070
表示将参考的预后级别为i的样本图像预测成预后级别为j的样本数量；
Figure 332407DEST_PATH_IMAGE071
表示将参考的预后级别为i的样本图像预测成预后级别为j的预期数量，N为样本图像的总数量；
Figure 45148DEST_PATH_IMAGE072
为权重参数。
服务器得到的验证结果，请参见表2。
表2
Figure 906925DEST_PATH_IMAGE073
本申请实施例中的异常预测模型可以是以UperNet模型为基本框架构建而成。其中，基于SacNet模型提出的分割-分类方法，构建该异常预测模型中的分割-分类模型，以Swin-B模型作为分割-分类的主要模块，由表2可知，本申请实施例中的异常预测模型的kappa系数可达到0.89，和FCN（Fully Convolutional Networks，全卷积神经网络）方法相比提高了12个百分点。
服务器还能够得到各个预后级别的分布以及各个预后级别的指标，也即WSI类别的分布以及指标，请参见表3。
表3
Figure 337906DEST_PATH_IMAGE074
其中，精确度（Precision）为正确预测的目标类别的样本数量与预测为目标类别的样本总数量之间的比值。召回度（Recall）为正确预测的目标类别的样本数量与目标类别的样本总数量之间的比值。分数（F1-score）的计算同时考虑了精确度和召回度，通过精确度和召回度这两个指标的调和平均值来计算。只有当精确度和召回度都有很好的表现时，该分数才会很高。由表3可知，从整体来看，该异常预测模型的精确度为0.70，召回度为0.69，分数为0.69，可见该异常预测模型的预测性能较好。
本申请实施例提供了一种异常预测模型的训练方法，通过样本图像中语义信息的不同密集程度，来对样本图像不同区域按照不同采样频率进行采样，通过掩码图像确定每个采样得到的样本图像块中参考的分化级别，通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的样本图像块进行编码和解码，得到各个样本图像块的标注有分化级别的样本分割图像，然后预测样本图像块的预后级别，从而预测样本图像的预后级别，再通过样本分割图像中预测得到的分化级别、样本图像块中参考的分化级别、预测得到的样本图像的预后级别以及样本图像的参考预后级别，训练异常预测模型；由于采样过程中在保证不遗漏样本图像中异常区域的同时，能够减少对样本图像中正常区域的采样，使得在编解码过程中更加关注样本图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测样本图像块的预后级别和样本图像的预后级别，在训练过程中从样本图像块中的分化级别等局部信息和样本图像的预后级别等全局信息两个方面，来训练异常预测模型，使得异常预测模型的预测准确率更高。
图11是根据本申请实施例提供的一种异常预测装置的结构示意图。该异常预测装置用于执行上述异常预测方法执行时的步骤，参见图11，该异常预测装置包括：采样模块1101、处理模块1102、分类模块1103以及预测模块1104。
采样模块1101，用于基于病理图像中的语义信息，对病理图像进行采样，得到多个第一图像块，该语义信息基于病理图像中的像素确定，该语义信息的密集程度与采样频率正相关。
处理模块1102，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一图像块进行编码，得到多个第一图像块的编码特征，对多个第一图像块的编码特征进行解码，得到多个第一图像块的分割图像，每个分割图像标注有分化级别。
分类模块1103，用于基于多个第一图像块的分割图像进行分类，得到每个第一图像块的预后级别。
预测模块1104，用于基于每个第一图像块的预后级别，对病理图像的预后级别进行预测，得到病理图像的异常信息。
本申请实施例提供了一种异常预测装置，通过病理图像中语义信息的不同密集程度，来对病理图像的不同区域按照不同采样频率进行采样，再通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的图像块进行编码和解码，得到各个图像块的标注有分化级别的分割图像，然后通过分割图像预测图像块的预后级别，从而预测病理图像的预后级别，得到病理图像的异常信息；由于采样过程中在保证不遗漏病理图像中异常区域的同时，能够减少对病理图像中正常区域的采样，使得在编解码过程中更加关注病理图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测图像块的预后级别，进而提高病理图像的预后级别的准确性，得到更加准确的异常信息，利于对异常的处理方案提供更准确的依据。
在一些实施例中，图12是根据本申请实施例提供的另一种异常预测装置的结构示意图，参见图12，采样模块1101，用于对病理图像进行特征提取，得到病理图像的特征图，该特征图用于指示病理图像中不同位置处的语义信息的密集程度；基于特征图中不同位置处的语义信息的密集程度，确定对应位置的采样频率；基于采样频率，对病理图像进行采样，得到多个第一图像块。
在一些实施例中，继续参见图12，处理模块1102，包括下述单元。
切块单元1201，用于对于任一第一图像块，对第一图像块进行切块，得到多个第二图像块。
获取单元1202，用于获取多个第二图像块的特征，多个第二图像块的特征由多个第二图像块的图像特征与多个第二图像块的位置特征融合得到。
编码单元1203，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第二图像块的特征进行编码，得到第一图像块的编码特征。
在一些实施例中，继续参见图12，编码单元1203，包括下述子单元。
第一编码子单元12031，用于基于带有固定窗口的多头自注意力机制、归一化层以及多层感知机，对多个第二图像块的特征进行编码，得到多个第二图像块的中间编码特征。
第二编码子单元12032，用于基于带有移位窗口的多头自注意力机制、归一化层以及多层感知机，对多个第二图像块的中间编码特征进行编码，得到第一图像块的编码特征。
在一些实施例中，继续参见图12，第一编码子单元12031，用于基于第一归一化层，对多个第二图像块的特征进行归一化；基于带有固定窗口的多头自注意力机制，对归一化后的多个第二图像块的特征进行处理，得到第一中间特征；基于多个第二图像块的特征和第一中间特征，确定第二中间特征；基于第二归一化层，对第二中间特征进行归一化；基于多层感知机，对第二中间特征进行处理，得到多个第二图像块的中间编码特征。
在一些实施例中，继续参见图12，处理模块1102，包括下述单元。
解码单元1204，用于对于任一第一图像块，对第一图像块的编码特征进行解码，得到第一图像块中多个像素对应的分化级别。
生成单元1205，用于基于第一图像块中多个像素对应的分化级别，生成第一图像块的分割图像，该分割图像中各个像素的颜色用于表示对应的分化级别。
在一些实施例中，继续参见图12，分类模块1103，用于对于任一第一图像块的分割图像，获取第一图像块的分割图像中每个分化级别对应的像素的数量；基于每个分化级别对应的像素的数量，确定第一图像块的预后级别。
在一些实施例中，继续参见图12，分类模块1103，还用于对于任一第一图像块的分割图像，基于分割图像中多个像素之间的位置关系，对分割图像中多个像素对应的分化级别进行优化；基于优化后的分割图像中每个分化级别对应的像素的数量，得到第一图像块的预后级别。
在一些实施例中，继续参见图12，预测模块1104，用于基于每个预后级别对应的第一图像块的数量，确定每个预后级别所占的比例；基于每个预后级别所占的比例，对病理图像的预后级别进行预测，得到病理图像的预后级别。
在一些实施例中，继续参见图12，该装置还包括下述模块。
拼接模块1105，用于对多个第一图像块的分割图像进行拼接，得到病理图像的分割图像，该病理图像的分割图像用于指示病理图像中异常部位的位置。
拼接模块1105，还用于对优化后的多个第一图像块的分割图像进行拼接，得到病理图像的分割图像。
需要说明的是，上述实施例提供的异常预测装置在运行应用程序时，以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常预测装置与异常预测方法实施例属于同一构思，其实现过程见方法实施例，这里不再赘述。
图13是根据本申请实施例提供的一种异常预测模型的训练装置的结构示意图。该异常预测模型的训练装置用于执行上述异常预测模型的训练方法执行时的步骤，参见图13，该异常预测模型的训练装置包括：采样模块1301、确定模块1302、处理模块1303、分类模块1304、预测模块1305以及训练模块1306。
采样模块1301，基于样本图像中的语义信息，对样本图像进行采样，得到多个第一样本图像块，样本图像上标注有参考预后级别，语义信息基于样本图像中的像素确定，语义信息的密集程度与采样频率正相关。
确定模块1302，用于基于多个第一样本图像块在样本图像中的位置和掩码图像，确定每个第一样本图像块中参考的分化级别，掩码图像用于指示样本图像中各个位置的分化级别。
处理模块1303，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对多个第一样本图像块进行编码，得到多个第一样本图像块的编码特征，对多个第一样本图像块的编码特征进行解码，得到多个第一样本图像块的样本分割图像，每个样本分割图像标注有分化级别。
分类模块1304，用于基于多个第一样本图像块的样本分割图像进行分类，得到每个第一样本图像块的预后级别。
预测模块1305，用于基于每个第一样本图像块的预后级别，对样本图像的预后级别进行预测，得到样本图像的异常信息。
训练模块1306，用于基于每个样本分割图像中标注的分化级别、每个第一样本图像块中参考的分化级别、样本图像的预后级别以及参考预后级别，训练异常预测模型。
本申请实施例提供了一种异常预测模型的训练装置，通过样本图像中语义信息的不同密集程度，来对样本图像不同区域按照不同采样频率进行采样，通过掩码图像确定每个采样得到的样本图像块中参考的分化级别，通过带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对采样得到的样本图像块进行编码和解码，得到各个样本图像块的标注有分化级别的样本分割图像，然后预测样本图像块的预后级别，从而预测样本图像的预后级别，再通过样本分割图像中预测得到的分化级别、样本图像块中参考的分化级别、预测得到的样本图像的预后级别以及样本图像的参考预后级别，训练异常预测模型；由于采样过程中在保证不遗漏样本图像中异常区域的同时，能够减少对样本图像中正常区域的采样，使得在编解码过程中更加关注样本图像中的异常区域，减少对后续的异常预测的误差，使得预测的分化级别更加准确，从而能够更加准确地预测样本图像块的预后级别和样本图像的预后级别，在训练过程中从样本图像块中的分化级别等局部信息和样本图像的预后级别等全局信息两个方面，来训练异常预测模型，使得异常预测模型的预测准确率更高。
在一些实施例中，图14是根据本申请实施例提供的另一种异常预测模型的训练装置的结构示意图，参见图14，训练模块1306，包括下述单元。
确定单元1401，用于基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第一损失。
确定单元1401，还用于基于样本图像的预后级别和参考预后级别，确定第二损失，该第二损失为交叉熵损失。
训练单元1402，用于基于第一损失和第二损失，训练异常预测模型。
在一些实施例中，确定单元1401，用于基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第三损失，该第三损失为交叉熵损失；基于每个样本分割图像中标注的分化级别与对应的第一样本图像块中参考的分化级别，确定第四损失，该第四损失为Dice损失；对第三损失和第四损失进行加权求和，得到第一损失。
需要说明的是，上述实施例提供的异常预测模型的训练装置在运行应用程序时，以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常预测模型的训练装置与异常预测模型的训练方法实施例属于同一构思，其实现过程见方法实施例，这里不再赘述。
在本申请实施例中，计算机设备能够被配置为终端或者服务器，当计算机设备被配置为终端时，可以由终端作为执行主体来实施本申请实施例提供的技术方案，当计算机设备被配置为服务器时，可以由服务器作为执行主体来实施本申请实施例提供的技术方案，也可以通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。
图15是根据本申请实施例提供的一种终端1500的结构框图。该终端1500可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器（Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、笔记本电脑或台式电脑。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1500包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1501所执行以实现本申请中方法实施例提供的异常预测方法或者异常预测模型的训练方法。
在一些实施例中，终端1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506、音频电路1507和电源1508中的至少一种。
外围设备接口1503可被用于将I/O（Input/Output，输入/输出）相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi（Wireless Fidelity，无线保真）网络。在一些实施例中，射频电路1504还可以包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不加以限定。
显示屏1505用于显示UI（User Interface，用户界面）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置在终端1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在终端1500的不同表面或呈折叠设计；在另一些实施例中，显示屏1505可以是柔性显示屏，设置在终端1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD（Liquid Crystal Display，液晶显示屏）、OLED（Organic Light-EmittingDiode，有机发光二极管）等材质制备。
摄像头组件1506用于采集图像或视频。在一些实施例中，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
电源1508用于为终端1500中的各个组件进行供电。电源1508可以是交流电、直流电、一次性电池或可充电电池。当电源1508包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1500还包括有一个或多个传感器1509。该一个或多个传感器1509包括但不限于：加速度传感器1510、陀螺仪传感器1511、压力传感器1512、光学传感器1513以及接近传感器1514。
加速度传感器1510可以检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1510可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1510采集的重力加速度信号，控制显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1510还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1511可以检测终端1500的机体方向及转动角度，陀螺仪传感器1511可以与加速度传感器1510协同采集用户对终端1500的3D动作。处理器1501根据陀螺仪传感器1511采集的数据，可以实现如下功能：动作感应（比如根据用户的倾斜操作来改变UI）、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1512可以设置在终端1500的侧边框和/或显示屏1505的下层。当压力传感器1512设置在终端1500的侧边框时，可以检测用户对终端1500的握持信号，由处理器1501根据压力传感器1512采集的握持信号进行左右手识别或快捷操作。当压力传感器1512设置在显示屏1505的下层时，由处理器1501根据用户对显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1513用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1513采集的环境光强度，控制显示屏1505的显示亮度。具体地，当环境光强度较高时，调高显示屏1505的显示亮度；当环境光强度较低时，调低显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1513采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1514，也称距离传感器，通常设置在终端1500的前面板。接近传感器1514用于采集用户与终端1500的正面之间的距离。在一个实施例中，当接近传感器1514检测到用户与终端1500的正面之间的距离逐渐变小时，由处理器1501控制显示屏1505从亮屏状态切换为息屏状态；当接近传感器1514检测到用户与终端1500的正面之间的距离逐渐变大时，由处理器1501控制显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对终端1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图16是根据本申请实施例提供的一种服务器的结构示意图，该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（CentralProcessing Units，CPU）1601和一个或一个以上的存储器1602，其中，该存储器1602中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1601加载并执行以实现上述各个方法实施例提供的异常预测方法或者异常预测模型的训练方法。当然，该服务器1600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1600还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由计算机设备的处理器加载并执行以实现上述实施例的异常预测方法或者异常预测模型的训练方法中计算机设备所执行的操作。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、光盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各种可选实现方式中提供的异常预测方法或者异常预测模型的训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种异常预测方法，其特征在于，所述方法包括：
基于病理图像中的语义信息，对所述病理图像进行采样，得到多个第一图像块，所述语义信息基于所述病理图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一图像块进行编码，得到所述多个第一图像块的编码特征，对所述多个第一图像块的编码特征进行解码，得到所述多个第一图像块的分割图像，每个所述分割图像标注有分化级别；
基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别；
基于每个所述第一图像块的预后级别，对所述病理图像的预后级别进行预测，得到所述病理图像的异常信息。
2.根据权利要求1所述的方法，其特征在于，所述基于病理图像中的语义信息，对所述病理图像进行采样，得到多个第一图像块，包括：
对所述病理图像进行特征提取，得到所述病理图像的特征图，所述特征图用于指示所述病理图像中不同位置处的语义信息的密集程度；
基于所述特征图中不同位置处的语义信息的密集程度，确定对应位置的采样频率；
基于所述采样频率，对所述病理图像进行采样，得到所述多个第一图像块。
3.根据权利要求1所述的方法，其特征在于，所述基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一图像块进行编码，得到所述多个第一图像块的编码特征，包括：
对于任一第一图像块，对所述第一图像块进行切块，得到多个第二图像块；
获取所述多个第二图像块的特征，所述多个第二图像块的特征由所述多个第二图像块的图像特征与所述多个第二图像块的位置特征融合得到；
基于所述带有固定窗口的多头自注意力机制和所述带有移位窗口的多头自注意力机制，对所述多个第二图像块的特征进行编码，得到所述第一图像块的编码特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述带有固定窗口的多头自注意力机制和所述带有移位窗口的多头自注意力机制，对所述多个第二图像块的特征进行编码，得到所述第一图像块的编码特征，包括：
基于所述带有固定窗口的多头自注意力机制、归一化层以及多层感知机，对所述多个第二图像块的特征进行编码，得到所述多个第二图像块的中间编码特征；
基于带有移位窗口的多头自注意力机制、归一化层以及多层感知机，对所述多个第二图像块的中间编码特征进行编码，得到所述第一图像块的编码特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述带有固定窗口的多头自注意力机制、归一化层以及多层感知机，对所述多个第二图像块的特征进行编码，得到所述多个第二图像块的中间编码特征，包括：
基于第一归一化层，对所述多个第二图像块的特征进行归一化；
基于所述带有固定窗口的多头自注意力机制，对归一化后的所述多个第二图像块的特征进行处理，得到第一中间特征；
基于所述多个第二图像块的特征和所述第一中间特征，确定第二中间特征；
基于第二归一化层，对所述第二中间特征进行归一化；
基于所述多层感知机，对所述第二中间特征进行处理，得到所述多个第二图像块的中间编码特征。
6.根据权利要求1所述的方法，其特征在于，所述对所述多个第一图像块的编码特征进行解码，得到所述多个第一图像块的分割图像，包括：
对于任一第一图像块，对所述第一图像块的编码特征进行解码，得到所述第一图像块中多个像素对应的分化级别；
基于所述第一图像块中多个像素对应的分化级别，生成所述第一图像块的分割图像，所述分割图像中各个像素的颜色用于表示对应的分化级别。
7.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别，包括：
对于任一第一图像块的分割图像，获取所述第一图像块的分割图像中每个分化级别对应的像素的数量；
基于所述每个分化级别对应的像素的数量，确定所述第一图像块的预后级别。
8.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别，包括：
对于任一第一图像块的分割图像，基于所述分割图像中多个像素之间的位置关系，对所述分割图像中多个像素对应的分化级别进行优化；
基于优化后的所述分割图像中每个分化级别对应的像素的数量，得到所述第一图像块的预后级别。
9.根据权利要求1所述的方法，其特征在于，所述基于每个所述第一图像块的预后级别，对所述病理图像的预后级别进行预测，得到所述病理图像的异常信息，包括：
基于每个预后级别对应的第一图像块的数量，确定所述每个预后级别所占的比例；
基于所述每个预后级别所占的比例，对所述病理图像的预后级别进行预测，得到病理图像的预后级别。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多个第一图像块的分割图像进行拼接，得到所述病理图像的分割图像，所述病理图像的分割图像用于指示所述病理图像中异常部位的位置；或者，
对优化后的所述多个第一图像块的分割图像进行拼接，得到所述病理图像的分割图像。
11.一种异常预测模型的训练方法，其特征在于，所述方法包括：
基于样本图像中的语义信息，对所述样本图像进行采样，得到多个第一样本图像块，所述样本图像上标注有参考预后级别，所述语义信息基于所述样本图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
基于所述多个第一样本图像块在所述样本图像中的位置和掩码图像，确定每个所述第一样本图像块中参考的分化级别，所述掩码图像用于指示所述样本图像中各个位置的分化级别；
基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一样本图像块进行编码，得到所述多个第一样本图像块的编码特征，对所述多个第一样本图像块的编码特征进行解码，得到所述多个第一样本图像块的样本分割图像，每个所述样本分割图像标注有分化级别；
基于所述多个第一样本图像块的样本分割图像进行分类，得到每个所述第一样本图像块的预后级别；
基于每个所述第一样本图像块的预后级别，对所述样本图像的预后级别进行预测，得到所述样本图像的异常信息；
基于每个所述样本分割图像中标注的分化级别、每个所述第一样本图像块中参考的分化级别、所述样本图像的预后级别以及所述参考预后级别，训练所述异常预测模型。
12.根据权利要求11所述的方法，其特征在于，所述基于每个所述样本分割图像中标注的分化级别、每个所述第一样本图像块中参考的分化级别、所述样本图像的预后级别以及所述参考预后级别，训练所述异常预测模型，包括：
基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第一损失；
基于所述样本图像的预后级别和所述参考预后级别，确定第二损失，所述第二损失为交叉熵损失；
基于所述第一损失和所述第二损失，训练所述异常预测模型。
13.根据权利要求12所述的方法，其特征在于，所述基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第一损失，包括：
基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第三损失，所述第三损失为交叉熵损失；
基于每个所述样本分割图像中标注的分化级别与对应的所述第一样本图像块中参考的分化级别，确定第四损失，所述第四损失为Dice损失；
对所述第三损失和所述第四损失进行加权求和，得到所述第一损失。
14.一种异常预测装置，其特征在于，所述装置包括：
采样模块，用于基于病理图像中的语义信息，对所述病理图像进行采样，得到多个第一图像块，所述语义信息基于所述病理图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
处理模块，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一图像块进行编码，得到所述多个第一图像块的编码特征，对所述多个第一图像块的编码特征进行解码，得到所述多个第一图像块的分割图像，每个所述分割图像标注有分化级别；
分类模块，用于基于所述多个第一图像块的分割图像进行分类，得到每个所述第一图像块的预后级别；
预测模块，用于基于每个所述第一图像块的预后级别，对所述病理图像的预后级别进行预测，得到所述病理图像的异常信息。
15.一种异常预测模型的训练装置，其特征在于，所述装置包括：
采样模块，基于样本图像中的语义信息，对所述样本图像进行采样，得到多个第一样本图像块，所述样本图像上标注有参考预后级别，所述语义信息基于所述样本图像中的像素确定，所述语义信息的密集程度与采样频率正相关；
确定模块，用于基于所述多个第一样本图像块在所述样本图像中的位置和掩码图像，确定每个所述第一样本图像块中参考的分化级别，所述掩码图像用于指示所述样本图像中各个位置的分化级别；
处理模块，用于基于带有固定窗口的多头自注意力机制和带有移位窗口的多头自注意力机制，对所述多个第一样本图像块进行编码，得到所述多个第一样本图像块的编码特征，对所述多个第一样本图像块的编码特征进行解码，得到所述多个第一样本图像块的样本分割图像，每个所述样本分割图像标注有分化级别；
分类模块，用于基于所述多个第一样本图像块的样本分割图像进行分类，得到每个所述第一样本图像块的预后级别；
预测模块，用于基于每个所述第一样本图像块的预后级别，对所述样本图像的预后级别进行预测，得到所述样本图像的异常信息；
训练模块，用于基于每个所述样本分割图像中标注的分化级别、每个所述第一样本图像块中参考的分化级别、所述样本图像的预后级别以及所述参考预后级别，训练所述异常预测模型。
16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至10任一项权利要求所述的异常预测方法，或者，所述至少一段计算机程序由所述处理器加载并执行权利要求11至13任一项权利要求所述的异常预测模型的训练方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段计算机程序，所述至少一段计算机程序用于执行权利要求1至10任一项权利要求所述的异常预测方法，或者，所述至少一段计算机程序用于执行权利要求11至13任一项权利要求所述的异常预测模型的训练方法。
CN202211013239.3A 2022-08-23 2022-08-23 异常预测方法、异常预测模型的训练方法、装置及设备 Active CN115082490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013239.3A CN115082490B (zh) 2022-08-23 2022-08-23 异常预测方法、异常预测模型的训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013239.3A CN115082490B (zh) 2022-08-23 2022-08-23 异常预测方法、异常预测模型的训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115082490A true CN115082490A (zh) 2022-09-20
CN115082490B CN115082490B (zh) 2022-11-15

Family

ID=83245143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013239.3A Active CN115082490B (zh) 2022-08-23 2022-08-23 异常预测方法、异常预测模型的训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115082490B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116756574A (zh) * 2023-08-16 2023-09-15 腾讯科技（深圳）有限公司 多模态预训练模型的训练方法、使用方法、装置和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080655A (zh) * 2019-12-04 2020-04-28 腾讯科技（深圳）有限公司 图像分割及其模型训练方法、装置、介质及电子设备
CN111462121A (zh) * 2020-03-23 2020-07-28 上海携程商务有限公司 基于图像语义理解的图像裁切方法、系统、设备和介质
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112200819A (zh) * 2020-10-16 2021-01-08 河海大学 基于数据驱动与模板引导的人体三维骨骼模型标记方法
US20210392276A1 (en) * 2019-02-28 2021-12-16 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for triggering special image effects and hardware device
CN113989228A (zh) * 2021-10-27 2022-01-28 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN114119547A (zh) * 2021-11-19 2022-03-01 广东工业大学 一种三维肝胆管图像分割算法及系统
CN114283152A (zh) * 2021-08-18 2022-04-05 腾讯科技（深圳）有限公司 图像处理、图像处理模型的训练方法、装置、设备及介质
CN114445420A (zh) * 2021-12-31 2022-05-06 湖南科技大学 编解码结构结合注意力机制的图像分割模型及其训练方法
CN114663655A (zh) * 2022-03-01 2022-06-24 新疆大学 图像分割模型训练、图像语义分割方法、装置及相关设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210392276A1 (en) * 2019-02-28 2021-12-16 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for triggering special image effects and hardware device
CN111080655A (zh) * 2019-12-04 2020-04-28 腾讯科技（深圳）有限公司 图像分割及其模型训练方法、装置、介质及电子设备
CN111462121A (zh) * 2020-03-23 2020-07-28 上海携程商务有限公司 基于图像语义理解的图像裁切方法、系统、设备和介质
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112200819A (zh) * 2020-10-16 2021-01-08 河海大学 基于数据驱动与模板引导的人体三维骨骼模型标记方法
CN114283152A (zh) * 2021-08-18 2022-04-05 腾讯科技（深圳）有限公司 图像处理、图像处理模型的训练方法、装置、设备及介质
CN113989228A (zh) * 2021-10-27 2022-01-28 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN114119547A (zh) * 2021-11-19 2022-03-01 广东工业大学 一种三维肝胆管图像分割算法及系统
CN114445420A (zh) * 2021-12-31 2022-05-06 湖南科技大学 编解码结构结合注意力机制的图像分割模型及其训练方法
CN114663655A (zh) * 2022-03-01 2022-06-24 新疆大学 图像分割模型训练、图像语义分割方法、装置及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUNFA CHEN等: "Smoothing Matters: Momentum Transformer for Domain Adaptive Semantic Segmentation", 《ARXIV:2203.07988V1》 *
张晨: "基于深度学习的乳腺钼靶图像钙化病灶分割", 《中国优秀硕士学位论文全文数据库_医药卫生科技辑》 *
李洋: "基于地形语义分割的多分辨率三维地形建模技术研究", 《中国优秀硕士学位论文全文数据库_基础科学辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116385375B (zh) * 2023-03-17 2023-10-20 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116756574A (zh) * 2023-08-16 2023-09-15 腾讯科技（深圳）有限公司 多模态预训练模型的训练方法、使用方法、装置和设备
CN116756574B (zh) * 2023-08-16 2023-11-21 腾讯科技（深圳）有限公司 多模态预训练模型的训练方法、使用方法、装置和设备

Also Published As

Publication number Publication date
CN115082490B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111062952B (zh) 肺部图像分割设备、方法及存储介质
CN111091576B (zh) 图像分割方法、装置、设备及存储介质
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN115082490B (zh) 异常预测方法、异常预测模型的训练方法、装置及设备
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111739035A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN111091166B (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN114359225A (zh) 图像检测方法、装置、计算机设备及存储介质
CN113516143A (zh) 文本图像匹配方法、装置、计算机设备及存储介质
CN113706447A (zh) 脑中线识别方法、装置、设备及存储介质
CN114820633A (zh) 语义分割方法、语义分割模型的训练方法、装置及设备
CN113724189A (zh) 图像处理方法、装置、设备及存储介质
CN114511864B (zh) 文本信息提取方法、目标模型的获取方法、装置及设备
CN111598896A (zh) 图像检测方法、装置、设备及存储介质
CN113256621B (zh) 图像处理方法、装置、计算机设备及存储介质
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
CN113763931A (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN113822955B (zh) 图像数据处理方法、装置、计算机设备及存储介质
CN114328948A (zh) 文本标准化模型的训练方法、文本标准化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40073429

Country of ref document: HK