CN114387270A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114387270A
CN114387270A CN202210282320.5A CN202210282320A CN114387270A CN 114387270 A CN114387270 A CN 114387270A CN 202210282320 A CN202210282320 A CN 202210282320A CN 114387270 A CN114387270 A CN 114387270A
Authority
CN
China
Prior art keywords
image
target
sub
abnormal
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210282320.5A
Other languages
English (en)
Other versions
CN114387270B (zh
Inventor
项进喜
杨森
张军
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210282320.5A priority Critical patent/CN114387270B/zh
Publication of CN114387270A publication Critical patent/CN114387270A/zh
Application granted granted Critical
Publication of CN114387270B publication Critical patent/CN114387270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和计算机可读存储介质。所述方法包括：获取目标对象在不同参数条件下的目标图像；基于弱监督分类模型，分别对各目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对目标对象的分类预测结果；该弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；当分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果；输出目标对象的图像处理结果。采用上述方法，有利于提高图像处理过程的工作效率。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和计算机可读存储介质。
背景技术
图像分级在多个领域中均有广泛的应用。以医学领域为例，不同病症等级的病理图像，存在不同程度的组织病变，通过对病理图像进行病变程度分析，可以得到该病理图像对应的病症等级。
传统技术中，由专业人员对目标图像进行图像分级，需要专业人员反复进行人工比对和筛查分析，才能获得相对准确的图像分级结果，随着技术的进步，图像分级的处理方式已从线下转移到借助计算机设备进行线上处理，但目前的线上处理过程依赖于人机交互来实现，长时间的数据处理需要耗费较多的计算处理资源。因此，导致处理过程中存在效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高工作效率的图像处理方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种图像处理方法。所述方法包括：
获取目标对象在不同参数条件下的目标图像；
基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
第二方面，本申请还提供了一种图像处理装置。所述装置包括：
获取模块，用于获取目标对象在不同参数条件下的目标图像；
分类预测模块，基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
分级预测模块，用于当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出模块，用于输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标对象在不同参数条件下的目标图像；
基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标对象在不同参数条件下的目标图像；
基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
上述图像处理方法、装置、计算机设备和计算机可读存储介质，先基于弱监督分类模型，对目标对象在不同参数条件下的各目标图像进行注意力池化处理，得到目标对象的分类预测结果，当分类预测结果符合异常对象判定条件时，再基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果，可以自动完成目标图像的分级预测，有利于提高图像处理过程的工作效率。
附图说明
图1为一个实施例中图像处理方法的应用场景示意图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中目标图像、区域和图像子块的对应关系示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图5为又一个实施例中图像处理方法的流程示意图；
图6为一个实施例中前列腺组织图像处理方法的流程示意图；
图7为一个实施例中弱监督二分类模型的分类预测过程示意图；
图8为一个实施例中自注意力机制加权的运算过程示意图；
图9为一个实施例中不同前列腺组织图像的热力图；
图10为一个实施例中全监督回归模型的分级预测过程示意图；
图11为一个实施例中图像处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
近年来，深度学习技术得到了快速发展，若将深度学习技术应用于图像分级预测，有望提高图像处理过程的工作效率。深度学习包括监督学习和非监督学习。其中，监督学习又包括全监督学习和弱监督学习，监督学习的训练样本需要携带数据标签。以图像学习为例，全监督学习的训练样本需要携带像素级数据标签，弱监督学习的训练样本只需要携带图像级数据标签。进行图像分级预测的过程中，若采用弱监督学习方法，只能对目标图像进行图像级别的分类预测，无法实现像素级别的针对异常图像异常等级的分级预测；若采用全监督学习方法，可以实现针对目标图像的像素级别的分级预测，但是需要依靠大量携带有像素级数据标签的样本图像，训练得到全监督学习模型，存在投入大耗时长的缺点，并且目标图像中可能会存在大量噪声，使得得到的分级预测结果误差较大。基于此，本申请提出一种图像处理方法、装置、计算机设备和计算机可读存储介质，先获取目标对象在不同参数条件下的目标图像，并基于弱监督分类模型确定针对该目标对象的分类预测结果；当分类预测结果符合异常对象判定条件时，再基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果；最后再输出该目标对象的图像处理结果。一方面，可以自动完成目标图像的分级预测，有利于提高图像处理过程的工作效率；另一方面，根据目标图像中符合异常对象判定条件的异常区域所构成的子图像进行分级预测，可以减少分级预测过程中被分级的图像的噪声，进而提升分级预测结果的准确性。
本申请实施例提供的图像处理方法，可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。如图1所示的应用环境中，计算机设备102执行该图像处理方法的过程中，获取目标对象在不同参数条件下的目标图，基于弱监督分类模型确定针对该目标对象的分类预测结果；当分类预测结果符合异常对象判定条件时，再基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果；最后再输出该目标对象的图像处理结果。其中，计算机设备102可以是终端或服务器。终端可以但不限于是各种手机、电脑、智能语音交互设备、智能家电、车载终端等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一个实施例中，如图2所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，如前文所述，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S202，获取目标对象在不同参数条件下的目标图像。
其中，目标对象是指待处理的目标图像中的对象，该目标对象可以是城市道路、各种动植物和人体组织等等。不同参数条件可以是指倍率不同，例如，各目标图像分别为目标对象的5X、10X和20X倍率的图像；不同参数条件也可以是指获取目标对象的目标图像的方式不同，例如，各目标图像分别是基于荧光显微镜、三维显微镜和普通显微镜拍摄的目标对象的图像。
具体的，终端获取目标对象在不同参数条件下的目标图像的方式，可以是主动获取，也可以是被动接收。例如，终端可以从不同倍率显微镜的数据存储装置中，主动获取目标对象的5X、10X和20X倍率的图像。
步骤S204，基于弱监督分类模型，分别对各目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对目标对象的分类预测结果。
其中，弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型。由于图像级数据标签只能反映样本图像的整体特征，因此基于携带有图像级数据标签的样本图像进行训练的过程，实质上是一种不确切监督过程，得到的模型为弱监督分类模型。进一步的，池化的本质是降维采样，既可以保留目标图像的特征，又可以降低信息冗余。注意力池化机制是一种具有对输入分配偏好的通用池化方法，可以使神经网络忽略掉不重要的特征，重点计算有用的特征，在抛弃无用特征对拟合结果干扰的同时，又提升了运算速度。在神经网络中的注意力池化机制主要是通过注意力分数来实现的。注意力分数是一个0~1区间的值，在注意力池化机制作用下，获得的各项的注意力分数之和为1，每个注意力分数代表当前项所被分配的注意力权重。也即，各目标图像的权重数据，包括各目标图像的注意力分数，可以用于区分不同目标图像对于目标对象的识别的贡献度。对各目标图像进行注意力池化处理，是基于注意力池化机制，计算得到各目标图像的权重数据的过程。
可以理解，针对目标对象的分类预测结果，与用以训练弱监督分类模型的样本图片携带的图像级数据标签对应。例如，若图像级数据标签包括两个分类，则针对目标对象的分类预测结果为二分类预测结果；若图像级数据标签包括三个分类，则针对目标对象的分类预测结果为三分类预测结果。
具体的，对各目标图像进行注意力池化处理，可以得到各目标图像的权重数据，再集成各项权重数据，可以获得目标对象的综合注意力特征，进而确定针对目标对象的分类预测结果。进一步的，集成各项权重数据，可以是对各项权重数据进行运算，例如通过加法运算、点乘运算或乘积运算中的一项运算方式或是多种运算方式的组合来实现。
步骤S206，当分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果。
其中，分级预测结果是在分类预测结果的基础上，对某一类别的目标对象进行进一步分级预测得到的结果。以动植物组织的病变预测为例，分类预测结果可以是指人体组织是否存在病变，分级预测结果可以是指病变的严重程度。进一步的，分类预测结果符合异常对象判定条件，是指分类预测结果指示目标对象存在异常。异常等级预测模型是基于携带有异常等级数据标签的样本图像进行训练所得到的模型。
具体的，目标图像包括多个区域，一个区域可以对应一个图像子块。如图3中，302中的1-9代表目标图像302包括的多个区域，303为区域9对应的图像子块。目标对象存在异常时，并不代表所有的区域均异常。例如，水果腐烂通常是局部腐烂，动植物组织病变通常是局部病变。基于此，当分类预测结果符合异常对象判定条件时，可以基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果，以降低子图像的噪声，提高分级预测结果的准确性。进一步的，用于分级预测的子图像，可以包含任一目标图像中的所有异常区域，也可以仅包含任意目标图像中的部分异常区域。
步骤S208，输出目标对象的图像处理结果。
其中，图像处理结果可以包括分类预测结果和分级预测结果，还可以包括子图像和注意力池化处理结果等中间结果。
具体的，可以以图片、文字和语音等多种形式中的至少一种，或者结合上述至少两种形式，输出图像处理结果。例如，可以输出任意的目标图像及其分级预测结果，并使用文字标注出该目标图像上的异常区域。进一步的，该图像处理结果的输出对象，可以是存储装置、显示装置或通信装置。此外，终端还可以通过通信装置将图像处理结果输出至其他终端。
上述图像处理方法，先基于弱监督分类模型，对目标对象在不同参数条件下的各目标图像进行注意力池化处理，得到目标对象的分类预测结果，当分类预测结果符合异常对象判定条件时，再基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果，可以自动完成目标图像的分级预测，有利于提高图像处理过程的工作效率。进一步的，采用机器学习而非人工的方式进行分级预测，不必受限于专业人员的个人经验，有利于提高分级预测结果的准确性。此外，集成不同参数条件下各目标图像的注意力池化处理结果，得到目标对象的分类预测结果，可以更全面地表征目标对象的特征，有利于提高分类预测结果的准确性。
可以理解，在基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测之前，还需要从该目标图像的构成区域中筛选出符合异常对象判定条件的异常区域，并基于这些异常区域获得待分级的子图像。在一个实施例中，图像处理方法还包括：获取任一目标图像中符合异常对象判定条件的异常区域所构成的子图像。获得该子图像的具体方式并不唯一。
在一个实施例中，注意力池化处理后所得到的各项权重数据，包括各目标图像中不同区域的子权重数据；符合异常对象判定条件的异常区域，包括子权重数据满足预设权重阈值的区域。在该实施例的情形下，获取任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，包括：从任一目标图像的图像子块中，筛选出子权重数据满足预设权重阈值的目标图像子块；对各目标图像子块进行数据增强和图像拼接处理，获得该目标图像中符合异常对象判定条件的异常区域所构成的子图像。
如上文所述，目标图像包括多个区域，一个区域可以对应一个图像子块。目标图像的权重数据，包括各目标图像的注意力分数。对应的，各区域的子权重数据，包括各区域的注意力分数，可以用于区分不同区域对于目标图像的识别的贡献度。进一步的，可以根据异常对象判定条件确定预设权重阈值，若子权重数据满足预设权重阈值，则说明该子权重数据对应区域的图像子块存在异常，为符合异常对象判定条件的异常区域。
具体的，根据任意目标图像中，各图像子块的子权重数据，以及预设权重阈值，可以筛选出子权重数据满足预设权重阈值的目标图像子块。对各目标图像子块进行数据增强后，再进行图像拼接处理，可以获得待输入异常等级预测模型的子图像。其中，数据增强处理过程中，可以针对同一图像子块进行多种类型的处理，并且每个图像子块进行的数据处理的类型是随机的。该数据增强处理类型，可以是左右翻转、上下翻转、旋转、高斯模糊等处理中的一项或多项的组合。
进一步的，在注意力池化处理得到各目标图像中不同区域的子权重数据之后，还可以根据各子权重数据，输出针对目标对象的热力图。其中，热力图是指：根据各个区域的显著性概率值，在目标图像中采用不同显示颜色对各个区域进行突出显示所得到的图像。任一区域在热力图中的显示颜色的深度与该区域的显著性概率值成正比。例如，访客热力图中，颜色越深的区域访客越集中；动植物组织热力图中，颜色越深病变程度越高。
具体的，可以对各目标图像中同一区域的子权重数据进行运算，得到目标对象的不同区域的子权重数据，并根据目标对象的不同区域的子权重数据，生成并输出针对目标对象的热力图。进一步的，对各目标图像中同一区域的子权重数据进行的运算，包括但不限于求和、求平均等运算。基于目标图像中不同区域的子权重数据，输出对应的热力图，可以便于专业人员快速定位异常区域，进行重点关注和分析。
上述实施例中，对子注意力特征数据满足预设权重阈值的区域的目标图像子块进行数据增强和图像拼接处理，获得子图像，用于下一阶段的图像分级预测，可以增强图像识别能力，避免过拟合，有利于提高分级预测结果的准确性。
在另一个实施例中，目标对象的分类预测结果包括各目标图像中不同区域的子分类预测结果；符合异常对象判定条件的异常区域，包括子分类预测结果满足异常对象判定条件的区域。在该实施例的情形下，获取任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，包括：从任一目标图像的图像子块中，筛选出子分类预测结果满足异常对象判定条件的目标图像子块；对各目标图像子块进行数据增强和图像拼接处理，获得该目标图像中符合异常对象判定条件的异常区域所构成的子图像。
其中，目标图像包括多个区域，一个区域可以对应一个图像子块。目标对象存在异常时，并不代表所有的区域均异常。基于此，可以在对目标图像进行分类预测时，同步对目标图像中的不同区域进行分类预测，得到目标图像的整体分类预测结果，以及目标图像中不同区域的图像子块的子分类预测结果。具体的，对任一目标图像中，子分类预测结果满足异常对象判定条件的目标图像子块进行数据增强后，进行图像拼接处理，可以获得待输入异常等级预测模型的子图像。
上述实施例中，将子分类预测结果满足异常对象判定条件的目标图像子块进行数据增强和图像拼接处理，获得子图像，用于下一阶段的图像分级预测，可以增强图像识别能力，避免过拟合，有利于提高分级预测结果的准确性。
在一个实施例中，如图4所示，分别对各目标图像进行注意力池化处理，包括：
步骤S401，将各目标图像按照相同的图像分割边界进行图像分割，得到每一目标图像各自对应的图像子块集合。
其中，图像分割是指将目标图像分割成多个图像子块的过程。具体的，可以采用Unet图像分割网络或传统的图像分割方式，对各目标图像进行图像分割，得到每一目标图像各自对应的图像子块集合。
进一步的，在对目标图像进行图像分割之前，还可以对目标图像进行背景去除处理，提取出目标图像中包含目标对象的感兴趣区域，再进一步对感兴趣区域进行图像分割处理。对目标图像进行背景去除处理的具体算法，可以是Otsu算法、OpenCV算法等等。总之，本申请对图像分割的具体算法不作限定。
步骤S403，分别提取各图像子块集合中图像子块的图像特征。
其中，图像特征是一副图像区别于另一幅图像的基本信息，可以用来识别和标记图像内容，主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征等等。图像特征的具体形式，可以是向量或矩阵等。图像子块的图像特征，是指能够用于识别和标记图像子块的图像内容的特征信息。具体的，基于ResNet50、Vision Transformer或ResNet101等网络结构的特征提取器，可以分别提取各图像子块集合中图像子块的图像特征。
步骤S405，对同一图像子块集合中各图像子块的图像特征进行注意力池化处理，获得不同参数条件下目标对象的权重数据。
其中，不同参数条件下目标对象的权重数据是指不同目标图像的权重数据，可以用于区分不同目标图像对于目标对象的识别的贡献度。具体的，基于注意力池化机制，可以对同一图像子块集合中各图像子块的图像特征进行权重计算，获得该图像子块集合对应的目标图像的权重数据，进而得到不同参数条件下目标对象的权重数据。
上述实施例中，按照相同的图像分割边界进行图像分割，得到每一目标图像各自对应的图像子块集合，可以确保各参数条件下的图像子块一一对应，相当于从多个维度对目标对象的同一区域进行的图像特征的提取和权重数据的计算，可以便于后续的异常区域判定，有利于提高图像处理方法的科学性。
需要说明的是，对同一图像子块集合中图像子块的图像特征进行注意力池化处理，获得该图像子块集合对应的目标图像的权重数据的具体方式并不唯一。例如，可以采样平均值池化、最大值池化等非参数化统计方法，对同一图像子块集合中图像子块的图像特征进行权重计算，获得该图像子块集合对应的目标图像的权重数据；也可以是采用参数化的神经网络，学习得到各图像特征对应的目标图像的权重数据。在一个实施例中，步骤S405包括：根据同一图像子块集合中各图像子块的图像特征，得到不同参数条件下的各目标图像的图像特征矩阵；对各图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，得到每一图像特征矩阵各自对应的矩阵变换结果；根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据。
其中，查询权重矩阵、键权重矩阵和值权重矩阵是模型训练过程学习得到的参数矩阵。对图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，是指：将图像特征矩阵分别与查询权重矩阵、键权重矩阵和值权重矩阵相乘，得到对应的矩阵变换结果。该矩阵变换结果，具体可以包括该图像特征矩阵的查询矩阵、键矩阵和值矩阵。不同参数条件下目标对象的权重数据，即为各目标图像的权重数据。
具体的，合并同一图像子块集合中各图像子块的图像特征，可以得到该图像子块集合对应的目标图像的图像特征矩阵。合并同一图像子块集合中各图像子块的图像特征的具体方式，可以是横向合并或纵向合并。对各图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，可以得到不同参数条件下各图像特征矩阵的查询矩阵、键矩阵和值矩阵。
进一步的，根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据的具体方式并不唯一。例如，可以基于编码注意力机制，根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据；也可以基于自注意力机制，根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据。
在一个实施例中，矩阵变换结果包括查询矩阵、键矩阵和值矩阵；根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据，包括：对各矩阵变换结果中，任意两个矩阵进行相关度计算，并通过Softmax函数输出相关度计算结果对应的初始权重；将该初始权重乘以矩阵变换结果中的第三个矩阵，得到目标对象在不同参数条件下的权重数据。
具体的，针对任一目标图像，先对该目标图像的图像特征矩阵的矩阵变换结果中，任意两个矩阵进行相关度计算，得到相关度计算结果，该相关度计算结果可以是指两个矩阵的相似度值。再基于该相关度计算结果，通过Softmax函数输出初始权重，最后将初始权重与三个矩阵中的第三个矩阵相乘，即可得到该目标图像的权重数据。对各目标图像分别进行上述处理，即可得到目标对象在不同参数条件下的权重数据。
例如，不同参数条件下目标对象的权重数据的计算公式可以为：
Figure 131860DEST_PATH_IMAGE002
式中，Q为图像特征矩阵H的查询矩阵、K为图像特征矩阵H的键矩阵、V为图像特征矩阵H的值矩阵，d k 为图像特征的维度。
查询矩阵Q、键矩阵K和值矩阵V的计算公式分别为：
Figure 777605DEST_PATH_IMAGE004
式中，W q 为查询权重矩阵、W k 为键权重矩阵和W v 为值权重矩阵。
上述实施例中，根据目标图像的图像子块集合中各图像子块的图像特征得到图像特征矩阵，再基于图像特征矩阵的多种矩阵变换结果，计算得到该目标图像的权重数据，可以挖掘该目标图像中各图像子块之间的相关性，有利于提高权重数据的准确度，进而提升图像分级预测结果的准确性。
在一个实施例中，注意力池化处理后所得到的各项权重数据，包括各目标图像的权重数据。在该实施例的情形下，请继续参考图4，集成注意力池化处理后所得到的各项权重数据，确定针对目标对象的分类预测结果，包括：
步骤S407，基于循环神经网络，对各目标图像的权重数据进行加权求和，获得目标对象的综合注意力特征。
其中，循环神经网络（Recurrent Neural Network, RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。目标对象的综合注意力特征是指可以表征该目标对象与预设类型的对象的相似度的特征信息，具体可以是针对该目标对象的综合注意力分数。具体的，基于循环神经网络以及训练过程学习得到的权重矩阵，对各目标图像的权重数据进行加权求和，可以获得目标对象的综合注意力特征。
在一个实施例中，基于循环神经网络，对各目标图像的权重数据进行加权求和后，并使用ReLU激活函数，获得目标对象的综合注意力特征。具体的，目标对象的综合注意力特征的递归公式可以为：
Figure 840370DEST_PATH_IMAGE006
式中，W i 为训练过程学习得到的，针对不同参数条件下目标图像的权重矩阵，b为训练过程学习得到的系数；Z i 为不同参数条件下目标对象的权重数据；ReLU为激活函数；r i 为循环神经网络的后一级输出；r i-1 为循环神经网络的前一级输出；循环神经网络最终的输出即为目标对象的综合注意力特征。
步骤S409，根据综合注意力特征，确定针对目标对象的分类预测结果。
具体的，基于预先训练得到的神经网络分类器，根据目标对象的综合注意力特征，可以确定针对目标对象的分类预测结果。该神经网络分类器，可以是全连接神经网络、卷积神经网络或RBF（Radial Basis Function，径向基函数）神经网络等类型的分类器。
上述实施例中，基于循环神经网络，使用加权求和的方式获得目标对象的综合注意力特征，再根据综合注意力特征，确定分类预测结果，一方面可以结合不同参数条件下目标对象的权重数据，有利于提高分类预测结果的准确性；另一方面，算法简单，有利于进一步提高工作效率。
可以理解，在使用弱监督分类模型对目标对象进行分类预测之前，还需要进行模型训练，得到对应的弱监督分类模型。在一个实施例中，训练得到弱监督分类模型的过程，包括：获取携带有图像级分类标签的第一样本图像；基于分类标签对第一样本图像进行分层抽样，获得第一训练样本；基于预设的第一训练参数，使用第一训练样本进行模型训练和K折交叉验证，得到弱监督分类模型。
其中，图像级分类标签是针对样本图像的分类结果。分层抽样也称类型抽样，是从一个可以分成不同层的总体中，按预设的比例随机抽取样本个体的抽样方法。
第一训练参数是指弱监督分类模型训练过程相关的参数，具体包括网络权重初始化方法、学习率、迭代次数、损失函数等等。该损失函数，具体可以是相对熵损失函数或交叉熵损失函数。在一个实施例中，第一训练参数包括损失函数，弱监督分类模型的损失函数为交叉熵损失函数，既能优化减少真实数据分布与预测数据分布的差异，又能简化运算过程。
K折交叉验证是指将训练样本随机分成K份，依次将其中的一份作为测试数据，将其余的K-1份作为训练数据；在将数据划分完毕后，开始进行交叉验证，针对每一个第一层学习器，将K-1份的训练数据去训练该学习器；在训练完毕后，将对应的一份的测试数据输入训练后的该第一层学习器进行测试，可以得到K份的测试数据的预测值。进一步的，该K折交叉验证，具体方式可以是三折交叉验证、四折交叉验证或五折交叉验证等等。
具体的，终端获取携带有图像级分类标签的第一样本图像的方式，可以是主动获取，也可以是被动接收。终端基于分类标签对第一样本图像进行分层抽样，可以获得各分类标签对应的子训练样本构成的第一训练样本；基于预设的第一训练参数，使用第一训练样本进行模型训练和K折交叉验证，可以得到弱监督分类模型。
上述实施例中，训练得到弱监督分类模型的过程中，采用K折交叉验证的方式，可以避免由于数据集的划分不合理而导致的问题，能在第一训练样本数据量不充足的情况下，仍能获得准确度较高的弱监督分类模型，有利于提高分类预测结果的准确性。
同样的，在使用异常等级预测模型对目标对象进行分级预测之前，还需要进行模型训练，得到对应的异常等级预测模型。在一个实施例中，训练得到异常等级预测模型的过程，包括：获取携带有像素级分级标签的第二样本图像；基于分级标签对第二样本图像进行分层抽样，获得第二训练样本；基于预设的第二训练参数，使用第二训练样本进行模型训练和K折交叉验证，得到异常等级预测模型。
其中，像素级数据标签是针对样本图像的分级结果，关于分层抽样和K折交叉验证的具体限定参见上文，此处不再赘述。
第二训练参数是指异常等级预测模型训练过程相关的参数，具体包括网络权重初始化方法、学习率、迭代次数、损失函数等等。该损失函数，具体可以是均方误差损失函数或平方误差损失函数。在一个实施例中，异常等级预测模型为回归模型，第二训练参数包括损失函数，异常等级预测模型的损失函数为均方误差损失函数，与极大似然估计一致，可以反映真实值与预测值之间的误差。
具体的，终端获取携带有像素级分级标签的第二样本图像的方式，可以是主动获取，也可以是被动接收。终端基于分级标签对第二样本图像进行分层抽样，可以获得各分级标签对应的子训练样本构成的第二训练样本；基于预设的第二训练参数，使用第二训练样本进行模型训练和K折交叉验证，可以得到异常等级预测模型。
上述实施例中，基于携带有像素级分级标签的第二样本图像，采用K折交叉验证的方式，训练得到异常等级预测模型，可以确保异常等级预测模型的准确度，进而提升分级预测结果的准确性。
在一个实施例中，如图5所示，图像处理方法包括：
步骤S501，获取目标对象在不同参数条件下的各目标图像。
其中，目标对象是指待分级的目标图像中的对象，该目标对象可以是城市道路、各种动植物和人体组织等等。不同参数条件可以是指倍率不同，例如，各目标图像分别为目标对象的5X、10X和20X倍率的图像；不同参数条件也可以是指获取目标对象的目标图像的方式不同，例如，各目标图像分别是基于荧光显微镜、三维显微镜和普通显微镜拍摄的目标对象的图像。
具体的，终端获取目标对象在不同参数条件下的目标图像的方式，可以是主动获取，也可以是被动接收。例如，终端可以从不同倍率显微镜的数据存储装置中，主动获取目标对象的5X、10X和20X倍率的图像。
步骤S502，将各目标图像按照相同的图像分割边界进行图像分割，得到每一目标图像各自对应的图像子块集合。
其中，图像分割是指将目标图像分割成多个图像子块的过程。具体的，可以采用Unet图像分割网络或传统的图像分割方式，对各目标图像进行图像分割，得到每一目标图像各自对应的图像子块集合。
进一步的，在对目标图像进行图像分割之前，还可以对目标图像进行背景去除处理，提取出目标图像中包含目标对象的感兴趣区域，再进一步对感兴趣区域进行图像分割处理。对目标图像进行背景去除处理的具体算法，可以是Otsu算法、OpenCV算法等等。总之，本申请对图像分割的具体算法不作限定。
步骤S503，分别提取各图像子块集合中图像子块的图像特征。
其中，图像特征是一副图像区别于另一幅图像的基本信息，可以用来识别和标记图像内容，主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征等等。图像特征的具体形式，可以是向量或矩阵等。图像子块的图像特征，是指能够用于识别和标记图像子块的图像内容的特征信息。具体的，基于ResNet50、Vision Transformer或ResNet101等网络结构的特征提取器，可以分别提取各图像子块集合中图像子块的图像特征。
步骤S504，根据同一图像子块集合中各图像子块的图像特征，得到不同参数条件下的各目标图像的图像特征矩阵。
具体的，合并同一图像子块集合中各图像子块的图像特征，可以得到该图像子块集合对应的目标图像的图像特征矩阵。进一步的，合并同一图像子块集合中各图像子块的图像特征的具体方式，可以是横向合并或纵向合并。
步骤S505，对各图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，得到每一图像特征矩阵各自对应的矩阵变换结果。
其中，查询权重矩阵、键权重矩阵和值权重矩阵是模型训练过程学习得到的参数矩阵。对图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，是指：将图像特征矩阵分别与查询权重矩阵、键权重矩阵和值权重矩阵相乘，得到对应的矩阵变换结果。该矩阵变换结果，具体可以包括该图像特征矩阵的查询矩阵、键矩阵和值矩阵。
具体的，对各图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，可以得到不同参数条件下各图像特征矩阵的查询矩阵、键矩阵和值矩阵。
步骤S506，根据各图像特征矩阵的矩阵变换结果，计算得到各目标图像的权重数据。
其中，不同参数条件下目标对象的权重数据，即为各目标图像的权重数据。具体的，针对任一目标图像，可以先对该目标图像的图像特征矩阵的矩阵变换结果中，任意两个矩阵进行相关度计算，得到相关度计算结果，该相关度计算结果可以是指两个矩阵的相似度值。再基于该相关度计算结果，通过Softmax函数输出初始权重，最后将初始权重与三个矩阵中的第三个矩阵相乘，即可得到该目标图像的权重数据。对各目标图像分别进行上述处理，即可得到目标对象在不同参数条件下的权重数据。
步骤S507，基于循环神经网络，对各目标图像的权重数据进行加权求和，获得目标对象的综合注意力特征。
其中，循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。目标对象的综合注意力特征是指可以表征该目标对象与预设类型的对象的相似度的特征信息，具体可以是针对该目标对象的综合注意力分数。具体的，基于循环神经网络以及训练过程学习得到的权重矩阵，对各目标图像的权重数据进行加权求和，可以获得目标对象的综合注意力特征。
步骤S508，根据综合注意力特征，确定针对目标对象的分类预测结果。
其中，分类预测结果基于弱监督分类模型得到；该弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型。具体的，基于预先训练得到的神经网络分类器，根据目标对象的综合注意力特征，可以确定针对目标对象的分类预测结果。该神经网络分类器，可以是全连接神经网络、卷积神经网络或RBF神经网络等类型的分类器。
步骤S509，当分类预测结果符合异常对象判定条件时，从任一目标图像的图像子块中，筛选出子权重数据满足预设权重阈值的目标图像子块。
其中，目标图像包括多个区域，一个区域可以对应一个图像子块。目标图像的权重数据，包括各目标图像的注意力分数。对应的，各区域的子权重数据，包括各区域的注意力分数，可以用于区分不同区域对于目标图像的识别的贡献度。进一步的，可以根据异常对象判定条件确定预设权重阈值，若子权重数据满足预设权重阈值，则说明该子权重数据对应区域的图像子块存在异常，为符合异常对象判定条件的异常区域。
具体的，根据任意目标图像中，各图像子块的子权重数据，以及预设权重阈值，可以筛选出子权重数据满足预设权重阈值的目标图像子块。
步骤S510，对各目标图像子块进行数据增强和图像拼接处理，获得子图像。
具体的，对各目标图像子块进行数据增强后，再进行图像拼接处理，可以获得待输入异常等级预测模型的子图像。其中，数据增强处理过程中，可以针对同一图像子块进行多种类型的处理，并且每个图像子块进行的数据处理的类型是随机的。该数据增强处理类型，可以是左右翻转、上下翻转、旋转、高斯模糊等处理中的一项或多项的组合。
步骤S511，基于异常等级预测模型，对子图像进行分级预测，得到目标对象所对应的分级预测结果。
其中，分级预测结果是在分类预测结果的基础上，对某一类别的目标对象进行进一步分级预测得到的结果。以动植物组织的病变预测为例，分类预测结果可以是指人体组织是否存在病变，分级预测结果可以是指病变的严重程度。进一步的，分类预测结果符合异常对象判定条件，是指分类预测结果指示目标对象存在异常。异常等级预测模型是基于携带有异常等级数据标签的样本图像进行训练所得到的模型。
具体的，目标对象存在异常时，并不代表所有的区域均异常。例如，水果腐烂通常是局部腐烂，动植物组织病变通常是局部病变。基于此，当分类预测结果符合异常对象判定条件时，可以基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果，以降低子图像的噪声，提高分级预测结果的准确性。进一步的，用于分级预测的子图像，可以包含任一目标图像中的所有异常区域，也可以仅包含任意目标图像中的部分异常区域。
步骤S512，输出目标对象的图像处理结果。
其中，图像处理结果可以包括分类预测结果、分级预测结果以及目标对象的热力图。具体的，可以以图片、文字和语音等多种形式中的至少一种，或者结合上述至少两种形式，输出图像处理结果。
以热力图为例，可以根据各子权重数据，输出针对目标对象的热力图。其中，热力图是指：根据各个区域的显著性概率值，在目标图像中采用不同显示颜色对各个区域进行突出显示所得到的图像。任一区域在热力图中的显示颜色的深度与该区域的显著性概率值成正比。例如，访客热力图中，颜色越深的区域访客越集中；动植物组织热力图中，颜色越深病变程度越高。
为便于理解，下面结合图6至图10，以前列腺病理图像的病变等级预测为例，对本申请涉及的图像处理方法进行详细说明。
在一个实施例中，如图6所示，图像分级诊断方法包括两个预测阶段：第一阶段使用弱监督二分类模型进行图像分割和二分类预测，判断是否存在病变；在存在病变的前提下，再筛选出存在病变的异常区域，生成对应的子图像输入全监督回归模型，并使用全监督回归模型进行第二阶段的病变等级预测。
具体的，如图7所示，第一阶段的输入为同一目标对象的不同放大倍率的WSI（Whole Slide Image，病理数字化图像）活检图像。该目标对象，可以是指特定位置的前列腺组织，该特定位置的前列腺组织的不同放大倍率的WSI活检图像，即为待分析的目标图像。以不同放大倍率的WSI活检图像包括5X、10X和20X倍率的图像的情况为例。对不同放大倍率的各目标图像进行背景去除后，按照相同的图像分割边界进行图像分割，可以得到每一目标图像各自对应的图像子块集合。例如，可以将20X倍率的图像分割成512*512的图像子块集合，将10X倍率的图像分割成256*256的图像子块集合，将5X倍率的图像分割成128*128的图像子块集合。得到图像子块集合后，再使用特征提取器F f 对各图像子块集合中的图像子块进行特征提取，得到各图像子块的图像特征向量。该特征提取器F f 具体可以是基于ResNet50、Vision Transformer或ResNet 101等网络结构的特征提取器。图像特征向量的维度可以是1024维或2048维。
假设目标图像为X，经过背景去除和图像分割后，得到图像子块集合
Figure 887960DEST_PATH_IMAGE008
。 其中，每个图像子块x i 可以称为对应目标图像的实例（instance）。如图9所示，对各图像子 块进行特征提取后，可以得到各图像子块x i 的图像特征向量h i ，进而得到对应目标图像的图 像特征矩阵
Figure 509303DEST_PATH_IMAGE010
。
Figure DEST_PATH_IMAGE012_126A
其中，
Figure 455394DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015_10A
。
获得各目标图像的图像特征矩阵后，进一步对各图像子块进行权重计算，找出其 中可以有效表征病变的实例。具体的，采用自注意力机制（self-attention）对实例进行打 分，以便更好挖掘各实例之间的相关性。具体的，先将图像特征矩阵H分别与查询权重矩阵W q 、键权重矩阵W k 和值权重矩阵W v 相乘，得到对应的矩阵变换结果。如图8所示，各图像特征 矩阵H的矩阵变换结果，包括该图像特征矩阵H的查询矩阵Q、键矩阵K和值矩阵V。其中，查询 矩阵Q、键矩阵K和值矩阵V的计算公式为式(2)-式(4)，再根据式(1)，可以计算得到该目标 图像的权重数据
Figure DEST_PATH_IMAGE017_16A
。其中，z i 为图像特征h i 对应的实例x i 的子权重数据。由 于Z经过QK T 内积得到，包含图像特征矩阵H的二次项，因此可以反应实例之间的关系，建模 能力更强，有利于提高权重数据的准确度，进而提升图像分级预测结果的准确性。
进一步的，经过注意力加权处理后，可以得到20x，10x，5x放大倍率下的三个目标图像的权重数据，分别是
Figure 950878DEST_PATH_IMAGE019
,
Figure 321816DEST_PATH_IMAGE021
和
Figure 84367DEST_PATH_IMAGE023
，基于循环神经网络，采用公式(5)对各目标图像的权重数据进行加权求和，获得目标对象的综合注意力特征，最后采用全连接网络架构的分类器，即可输出目标对象的二分类的预测结果。该二分类预测结果包括：正常和异常。异常的二分类预测结果代表前列腺组织存在病变。
进一步的，在注意力池化处理得到各目标图像中不同图像子块的子权重数据之后，还可以基于各子权重数据，输出针对目标对象的热力图。具体可以根据各子权重数据的数值，采用不同显示颜色对各个区域进行突出显示。例如，子权重数据的数值越大的区域颜色越红，子权重数据的数值越小的区域颜色越蓝，颜色越红代表病变风险比较高。如图9所示，为两组目标对象及其热力图，图中R为病变风险高的红色区域，B为病变风险低的蓝色区域，G为过渡区域。基于目标图像中不同区域的子权重数据，输出对应的热力图，可以为后续诊断提供参考依据，便于专业人员快速定位异常区域，进行重点关注和分析。
得到二分类预测结果后，如图10所示，对10X倍率的目标图像中，子权重数据满足预设权重阈值的区域的目标图像子块进行数据增强后，进行图像拼接处理得到的子图像，作为全监督回归模型的输入图像。可以理解，子图像中的图像子块的数量越多，提供的信息就越多，预测精度越高，但对机器性能的要求也更高。例如，可以通过设置合理的预设权重阈值，采集36或64个图像子块，拼接得到全监督回归模型的输入图像，该输入图像的尺寸对应为1536*1536或2048*2048。该全监督回归模型的骨干网络可以是Efficient Net、ResNeXt或 MobileNetV2，输出层用全连接网络预测得到ISUP等级。具体可以通过对y ISUP 进行阈值划分，得到对应的ISUP等级：
Figure 907967DEST_PATH_IMAGE025
需要说明的是，进行分类预测和分级预测之前，还需要进行模型训练得到对应的弱监督二分类模型和全监督回归模型。首先，获取一万张携带有二分类标签和分级标签的样本图像。其中，二分类标签为图像级数据标签，具体包括正常和异常；分级标签为像素级数据标签，具体包括ISUP等级对应的y ISUP 分数标签。然后，将样本图像按照数据标签进行分层抽样，再划分成4个不重叠的子集，对第一阶段和第二阶段的模型分别进行模型训练和四折交叉验证，得到对应的神经网络模型。
进一步的，模型训练过程中，采用100 epoch的训练次数，优化器默认采用Adam，初始化学习率为1e-4，训练过程中采用余弦退火策略调整学习率，最小学习率为1e-6。第一阶段的弱监督二分类模型的损失函数采用交叉熵损失函数：
Figure 296223DEST_PATH_IMAGE027
第二阶段的全监督回归模型的损失函数采用均方误差损失函数：
Figure 521668DEST_PATH_IMAGE029
采用上述的图像处理方法，可以提供病理图像的二分类结果、病变程度分级结果和病变程度热力图，能为专业人员针对疾病的诊断和治疗提供重要的参考依据。表1和表2分别为第一阶段模型和第二阶段模型的预测精度，根据表格可以确定，采用上述图像处理方法，可以得到较高精度的预测结果。
表1：第一阶段模型的预测精度
Figure DEST_PATH_IMAGE031_10A
表2：第二阶段模型的预测精度
Figure DEST_PATH_IMAGE033_18A
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种图像处理装置1100，包括：获取模块1102、分类预测模块1104、分级预测模块1106和输出模块1108，其中：
获取模块1102，用于获取目标对象在不同参数条件下的目标图像；
分类预测模块1104，基于弱监督分类模型，分别对各目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对目标对象的分类预测结果；该弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
分级预测模块1106，用于当分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一目标图像中符合异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到目标对象所对应的分级预测结果；
输出模块1108，用于输出目标对象的图像处理结果；该图像处理结果包括分类预测结果和分级预测结果。
在一个实施例中，不同参数条件包括不同倍率。
在一个实施例中，分类预测模块1104包括：
图像分割单元，用于将各目标图像按照相同的图像分割边界进行图像分割，得到每一目标图像各自对应的图像子块集合；
图像特征提取单元，用于分别提取各图像子块集合中图像子块的图像特征；
注意力池化单元，用于对同一图像子块集合中各图像子块的图像特征进行注意力池化处理，获得不同参数条件下目标对象的权重数据。
在一个实施中，注意力池化单元包括：
图像特征矩阵确定组件，用于根据同一图像子块集合中各图像子块的图像特征，得到不同参数条件下的各目标图像的图像特征矩阵；
矩阵变换组件，用于对各图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，得到每一所述图像特征矩阵各自对应的矩阵变换结果；
权重数据计算组件，用于根据各图像特征矩阵的矩阵变换结果，计算得到目标对象在不同参数条件下的权重数据。
在一个实施例中，矩阵变换结果包括查询矩阵、键矩阵和值矩阵；权重数据计算组件具体用于：对各矩阵变换结果中，任意两个矩阵进行相关度计算，并通过Softmax函数输出相关度计算结果对应的初始权重；将初始权重乘以矩阵变换结果中的第三个矩阵，得到目标对象在不同参数条件下的权重数据。
在一个实施例中，注意力池化处理后所得到的各项权重数据，包括各目标图像的权重数据。在该实施例的情形下，分类预测模块1104包括：
综合注意力特征获取单元，用于基于循环神经网络，对各目标图像的权重数据进行加权求和，获得目标对象的综合注意力特征；
分类预测结果确定单元，用于根据综合注意力特征，确定针对目标对象的分类预测结果。
在一个实施例中，图像处理装置还包括：子图像获取模块，用于获取任一目标图像中符合异常对象判定条件的异常区域所构成的子图像。
在一个实施例中，注意力池化处理后所得到的各项权重数据，包括各目标图像中不同区域的子权重数据；符合异常对象判定条件的异常区域，包括子权重数据满足预设权重阈值的区域。在该实施例的情形下，子图像获取模块具体用于：从任一目标图像的图像子块中，筛选出子权重数据满足预设权重阈值的目标图像子块，对各目标图像子块进行数据增强和图像拼接处理，获得子图像。
在另一个实施例中，目标对象的分类预测结果包括各目标图像中不同区域的子分类预测结果；符合异常对象判定条件的异常区域，包括子分类预测结果满足异常对象判定条件的区域。在该实施例的情形下，子图像获取模块具体用于：从任一目标图像的图像子块中，筛选出子分类预测结果满足异常对象判定条件的目标图像子块，对各目标图像子块进行数据增强和图像拼接处理，获得子图像。
在一个实施例中，输出模块1108还用于：根据各子权重数据，输出针对目标对象的热力图。
在一个实施例中，图像处理装置1100还包括：弱监督分类模型训练模块，用于获取携带有图像级分类标签的第一样本图像；基于分类标签对第一样本图像进行分层抽样，获得第一训练样本；基于预设的第一训练参数，使用第一训练样本进行模型训练和K折交叉验证，得到弱监督分类模型。
在一个实施例中，第一训练参数包括损失函数，弱监督分类模型的损失函数为交叉熵损失函数。
在一个实施例中，图像处理装置1100还包括：异常等级预测模型训练模块，用于获取携带有像素级分级标签的第二样本图像；基于分级标签对第二样本图像进行分层抽样，获得第二训练样本；基于预设的第二训练参数，使用第二训练样本进行模型训练和K折交叉验证，得到异常等级预测模型。
在一个实施例中，异常等级预测模型为回归模型，第二训练参数包括损失函数，异常等级预测模型的损失函数为均方误差损失函数。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标对象在不同参数条件下的目标图像；
基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
2.根据权利要求1所述的方法，其特征在于，所述分别对各所述目标图像进行注意力池化处理，包括：
将各所述目标图像按照相同的图像分割边界进行图像分割，得到每一所述目标图像各自对应的图像子块集合；
分别提取各所述图像子块集合中图像子块的图像特征；
对同一图像子块集合中各所述图像子块的图像特征进行注意力池化处理，获得不同参数条件下所述目标对象的权重数据。
3.根据权利要求2所述的方法，其特征在于，所述对同一图像子块集合中各所述图像子块的图像特征进行注意力池化处理，获得不同参数条件下所述目标对象的权重数据，包括：
根据同一图像子块集合中各所述图像子块的图像特征，得到不同参数条件下的各目标图像的图像特征矩阵；
对各所述图像特征矩阵分别进行查询权重矩阵变换、键权重矩阵变换和值权重矩阵变换，得到每一所述图像特征矩阵各自对应的矩阵变换结果；
根据各所述图像特征矩阵的矩阵变换结果，计算得到所述目标对象在不同参数条件下的权重数据。
4.根据权利要求3所述的方法，其特征在于，所述矩阵变换结果包括查询矩阵、键矩阵和值矩阵；所述根据各所述图像特征矩阵的矩阵变换结果，计算得到所述目标对象在不同参数条件下的权重数据，包括：
对各所述矩阵变换结果中，任意两个矩阵进行相关度计算，并通过Softmax函数输出相关度计算结果对应的初始权重；将所述初始权重乘以所述矩阵变换结果中的第三个矩阵，得到所述目标对象在不同参数条件下的权重数据。
5.根据权利要求1所述的方法，其特征在于，所述注意力池化处理后所得到的各项权重数据，包括各所述目标图像的权重数据；
所述集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果，包括：
基于循环神经网络，对各所述目标图像的权重数据进行加权求和，获得所述目标对象的综合注意力特征；
根据所述综合注意力特征，确定针对所述目标对象的分类预测结果。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像。
7.根据权利要求6所述的方法，其特征在于，所述注意力池化处理后所得到的各项权重数据，包括各所述目标图像中不同区域的子权重数据；所述符合所述异常对象判定条件的异常区域，包括子权重数据满足预设权重阈值的区域；
所述获取任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，包括：
从任一所述目标图像的图像子块中，筛选出子权重数据满足预设权重阈值的目标图像子块；
对各所述目标图像子块进行数据增强和图像拼接处理，获得所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据各所述子权重数据，输出针对所述目标对象的热力图。
9.根据权利要求6所述的方法，其特征在于，所述目标对象的分类预测结果包括各所述目标图像中不同区域的子分类预测结果；所述符合所述异常对象判定条件的异常区域，包括子分类预测结果满足所述异常对象判定条件的区域；
所述获取任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，包括：
从任一所述目标图像的图像子块中，筛选出子分类预测结果满足所述异常对象判定条件的目标图像子块；
对各所述目标图像子块进行数据增强和图像拼接处理，获得所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，训练得到所述弱监督分类模型的过程，包括：
获取携带有图像级分类标签的第一样本图像；
基于所述分类标签对所述第一样本图像进行分层抽样，获得第一训练样本；
基于预设的第一训练参数，使用所述第一训练样本进行模型训练和K折交叉验证，得到弱监督分类模型。
11.根据权利要求1至9中任意一项所述的方法，其特征在于，训练得到所述异常等级预测模型的过程，包括：
获取携带有像素级分级标签的第二样本图像；
基于所述分级标签对所述第二样本图像进行分层抽样，获得第二训练样本；
基于预设的第二训练参数，使用所述第二训练样本进行模型训练和K折交叉验证，得到异常等级预测模型。
12.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象在不同参数条件下的目标图像；
分类预测模块，基于弱监督分类模型，分别对各所述目标图像进行注意力池化处理，集成注意力池化处理后所得到的各项权重数据，确定针对所述目标对象的分类预测结果；所述弱监督分类模型是基于携带有图像级数据标签的样本图像进行训练所得到的模型；
分级预测模块，用于当所述分类预测结果符合异常对象判定条件时，基于异常等级预测模型，对任一所述目标图像中符合所述异常对象判定条件的异常区域所构成的子图像，进行分级预测，得到所述目标对象所对应的分级预测结果；
输出模块，用于输出所述目标对象的图像处理结果；所述图像处理结果包括所述分类预测结果和所述分级预测结果。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202210282320.5A 2022-03-22 2022-03-22 图像处理方法、装置、计算机设备和存储介质 Active CN114387270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210282320.5A CN114387270B (zh) 2022-03-22 2022-03-22 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210282320.5A CN114387270B (zh) 2022-03-22 2022-03-22 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114387270A true CN114387270A (zh) 2022-04-22
CN114387270B CN114387270B (zh) 2022-06-10

Family

ID=81205512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210282320.5A Active CN114387270B (zh) 2022-03-22 2022-03-22 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114387270B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116934709A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866908A (zh) * 2019-11-12 2020-03-06 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111986189A (zh) * 2020-08-27 2020-11-24 上海市公共卫生临床中心 一种基于ct影像的多类别肺炎筛查深度学习装置
WO2021036616A1 (zh) * 2019-08-29 2021-03-04 腾讯科技（深圳）有限公司 一种医疗图像处理方法、医疗图像识别方法及装置
WO2021094507A1 (en) * 2019-11-13 2021-05-20 Keen Eye Technologies Method for analysis of a cytology image
CN112967227A (zh) * 2021-01-29 2021-06-15 中国科学技术大学 基于病灶感知建模的糖尿病视网膜病变自动评估系统
CN113487149A (zh) * 2021-06-24 2021-10-08 东风汽车集团股份有限公司 基于Catboost K折交叉验证的焊点异常识别系统及方法
CN113706642A (zh) * 2021-08-31 2021-11-26 北京三快在线科技有限公司 一种图像处理方法及装置
CN113724242A (zh) * 2021-09-10 2021-11-30 吉林大学 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法
EP3944185A1 (en) * 2020-07-23 2022-01-26 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036616A1 (zh) * 2019-08-29 2021-03-04 腾讯科技（深圳）有限公司 一种医疗图像处理方法、医疗图像识别方法及装置
CN110866908A (zh) * 2019-11-12 2020-03-06 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
WO2021094507A1 (en) * 2019-11-13 2021-05-20 Keen Eye Technologies Method for analysis of a cytology image
EP3944185A1 (en) * 2020-07-23 2022-01-26 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
CN111986189A (zh) * 2020-08-27 2020-11-24 上海市公共卫生临床中心 一种基于ct影像的多类别肺炎筛查深度学习装置
CN112967227A (zh) * 2021-01-29 2021-06-15 中国科学技术大学 基于病灶感知建模的糖尿病视网膜病变自动评估系统
CN113487149A (zh) * 2021-06-24 2021-10-08 东风汽车集团股份有限公司 基于Catboost K折交叉验证的焊点异常识别系统及方法
CN113706642A (zh) * 2021-08-31 2021-11-26 北京三快在线科技有限公司 一种图像处理方法及装置
CN113724242A (zh) * 2021-09-10 2021-11-30 吉林大学 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116934709A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置
CN116934709B (zh) * 2023-07-20 2024-04-02 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置

Also Published As

Publication number Publication date
CN114387270B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108229267B (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN114387270B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN109241871A (zh) 一种基于视频数据的公共区域人流跟踪方法
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN111814685A (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN112163450A (zh) 基于s3d学习算法的高频地波雷达船只目标检测方法
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN113469119A (zh) 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN111626380A (zh) 一种基于超像素和卷积网络的极化sar图像分类方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
Xiao et al. Self-explanatory deep salient object detection
CN110276802B (zh) 医学图像中病症组织定位方法、装置与设备
CN117036948A (zh) 一种基于注意力机制的致敏植物识别方法
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
Hossain et al. Renal cell cancer nuclei segmentation from histopathology image using synthetic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant