CN114283114A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请关于一种图像处理方法、装置、设备及存储介质，涉及人工智能技术领域。方法包括：从目标医疗图像中提取至少一个第一图像块；将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；将至少一个所述第二图像块的图像特征映射至第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。本方案提高了对医疗图像进行分类的准确性。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)在医疗领域中的应用的不断发展，目前可以通过AI对医疗图像进行分类，以辅助医疗人员进行医疗相关的决策。

在相关技术中，可以通过深度神经网络进行医疗图像的分类；比如，可以预先训练一个医疗图像识别模型，将完整的医疗图像属于模型进行识别，直接输出该医疗图像的分类结果。

然而，相关技术中的图像识别模型以整幅图像为对象进行识别处理，识别结果容易受到图像中的无用信息的影响，从而导致对医疗图像的分类的准确性较低。

发明内容

本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可以提高对医疗图像进行分类的准确性，该技术方案如下。

一方面，提供了一种图像处理方法，所述方法包括：

从目标医疗图像中提取至少一个第一图像块；

将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；所述第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类；

基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；所述第二图像块与所述目标图像块之间的距离小于距离阈值；所述目标图像块属于至少一个所述第一图像块，且所述目标图像块的第一分类概率分布指示所述目标图像块的分类为所述有效分类；

将至少一个所述第二图像块的图像特征映射至所述第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；

基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。

又一方面，提供了一种图像处理方法，所述方法包括：

通过第一分类模型对第一样本图像块进行处理，获得所述第一样本图像块的第二分类概率分布；所述第二分类概率分布中的分类包括医疗领域的至少两个有效分类；所述第一样本图像块是第一样本医疗图像中的图像块；

基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签；所述分类标签用于指示所述第一样本图像块的分类为至少两个所述有效分类以及至少一个无效分类中的一个；

通过第二分类模型对所述第一样本图像块进行处理，获得所述第一样本图像块的第一分类概率分布；所述第一分类概率分布中的分类包括至少两个所述有效分类和至少一个所述无效分类；

基于所述第一样本图像块的第一分类概率分布，以及所述第一样本图像块的分类标签，对所述第二分类模型进行参数更新，以获得图像分类模型；

所述图像分类模型用于在上述一方面所述的方法中，执行将图像块的图像特征映射至第一分类空间的步骤。

再一方面，提供了一种图像处理装置，所述装置包括：

第一图像块提取模块，用于从目标医疗图像中提取至少一个第一图像块；

第一分类模块，用于将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；所述第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类；

第二图像块提取模块，用于基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；所述第二图像块与所述目标图像块之间的距离小于距离阈值；所述目标图像块属于至少一个所述第一图像块，且所述目标图像块的第一分类概率分布指示所述目标图像块的分类为所述有效分类；

第二分类模块，用于将至少一个所述第二图像块的图像特征映射至所述第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；

第三分类模块，用于基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。

又一方面，提供了一种图像处理装置，所述装置包括：

第一处理模块，用于通过第一分类模型对第一样本图像块进行处理，获得所述第一样本图像块的第二分类概率分布；所述第二分类概率分布中的分类包括医疗领域的至少两个有效分类；所述第一样本图像块是第一样本医疗图像中的图像块；

标签设置模块，用于基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签；所述分类标签用于指示所述第一样本图像块的分类为至少两个所述有效分类以及至少一个无效分类中的一个；

第二处理模块，用于通过第二分类模型对所述第一样本图像块进行处理，获得所述第一样本图像块的第一分类概率分布；所述第一分类概率分布中的分类包括至少两个所述有效分类和至少一个所述无效分类；

第一参数更新模块，用于基于所述第一样本图像块的第一分类概率分布，以及所述第一样本图像块的分类标签，对所述第二分类模型进行参数更新，以获得图像分类模型；

所述图像分类模型用于在上述一方面所述的方法中，执行将图像块的图像特征映射至第一分类空间的步骤。

再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现上述的图像处理方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现上述的图像处理方法。

又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

先从目标医疗图像中提取出至少一个第一图像块，将第一图像块的图像特征映射至第一分类空间，并基于其中属于有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，并基于第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请各个实施例涉及的一种图像分类系统的系统构成图；

图2是根据一示例性实施例示出的一种图像处理方法的流程示意图；

图3是根据一示例性实施例示出的一种图像处理方法的流程示意图；

图4是根据一示例性实施例示出的一种图像处理方法的流程示意图；

图5是根据一示例性实施例示出的一种用于医疗图像的图像分类模型的训练及测试框架图；

图6是图5所示实施例涉及的整体训练流程图；

图7是图5所示实施例涉及的基础训练轮的流程图；

图8是图5所示实施例涉及的标签重置的流程图；

图9是图5所示实施例涉及的强化训练过程示意图；

图10是根据一示例性实施例示出的一种图像处理装置的结构方框图；

图11是根据一示例性实施例示出的一种图像处理装置的结构方框图；

图12是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参考图1，其示出了本申请各个实施例涉及的一种图像分类系统的系统构成图。如图1所示，该系统可以包括医疗图像采集设备120、终端140、以及服务器160；可选的，该系统还可以包括数据库180。

医疗图像采集设备120可以是用于采集医疗图像的医学设备，比如内窥镜、显微镜、电子计算机断层扫描(Computed Tomography，CT)设备、核磁共振成像(MagneticResonance Imaging，MRI)设备等等。相应的，上述医疗图像可以包括彩色图像、显微镜图像、三维扫描图像(比如脑部CT图像、脑部MRI图像)等等。

医疗图像采集设备120可以包含图像输出接口，比如通用串行总线(UniversalSerial Bus，USB)接口、高清多媒体接口(High Definition Multimedia Interface，HDMI)接口或者以太网接口等等；或者，上述图像输出接口也可以是无线接口，比如无线局域网(Wireless Local Area Network，WLAN)接口、蓝牙接口等等。

相应的，根据上述图像输出接口的类型的不同，操作人员将脑部扫描图像导出的方式也可以有多种，比如，通过有线或者短距离无线方式将脑部扫描图像导入至终端140，或者，也可以通过局域网或者互联网将脑部扫描图像导入至终端140或者服务器160。

终端140可以是具有一定的处理能力以及界面展示功能的终端设备，比如，终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。

终端140可以包括开发人员使用的终端，以及医疗人员使用的终端。

当终端140实现为开发人员使用的终端时，开发人员可以通过终端140开发用于对医疗图像进行分类的机器学习模型，并将机器学习模型部署到服务器160或者医疗人员使用的终端中。

当终端140实现为医疗人员使用的终端时，终端140中可以安装有对医疗图像进行分类并呈现分类结果的应用程序，终端140获取到医疗图像采集设备120采集到的医疗图像后，通过上述应用程序获取对医疗图像进行分类识别得到分类结果，并对分类结果进行呈现，以便医生进行病理诊断、手术导航等操作。

在图1所示的系统中，终端140和医疗图像采集设备120是物理上分离的实体设备。可选的，在另一种可能的实现方式中，当终端140实现为医疗人员使用的终端时，终端140和医疗图像采集设备120也可以集成为单个实体设备；比如，该终端140可以是医学图像采集功能的终端设备。

其中，服务器160可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，上述服务器160可以是为终端140中安装的应用程序提供后台服务的服务器，该后台服务器可以是应用程序的版本管理、对应用程序获取到的医疗图像进行后台分类处理并返回处理结果、对开发人员开发的机器学习模型进行后台训练等等。

上述数据库180可以是Redis数据库，或者，也可以是其它类型数据库。其中，数据库180用于存储各类数据。

可选的，终端140与服务器160之间通过通信网络相连。可选的，医疗图像采集设备120与服务器160之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。

可选的，该系统还可以包括管理设备(图1未示出)，该管理设备与服务器160之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

图2是根据一示例性实施例示出的一种图像处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中由医疗人员使用的终端140。该计算机设备可以实现为进行图像分类的分类设备。如图2所示，该图像处理方法可以包括如下步骤。

步骤201，从目标医疗图像中提取至少一个第一图像块。

上述第一图像块可以是从目标医疗图像中提取出的指定形状的图像块，比如，可以是正方形图像块、矩形图像块、圆形图像块等等。

上述至少一个图像块组合后可以构成目标医疗图像的一部分；或者，上述至少一个图像块组合后可以构成目标医疗图像的全部。

在一种可能的实现方式中，上述至少一个第一图像块之间可以存在重叠部分；或者，上述至少一个第一图像块之间互不重叠。

步骤202，将至少一个第一图像块的图像特征映射至第一分类空间，获得至少一个第一图像块各自的第一分类概率分布；第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类。

其中，上述第一分类空间可以是机器学习领域中，对应有预先设计的多个分类标记(某些场景中也可以称为标签)的标记空间(也称为输出空间)，或者说，上述第一分类空间是医疗领域的至少两个有效分类的分类标记和至少一个无效分类的分类标记所组成的集合。上述将图像块的图像特征映射至第一分类空间，是指基于图像块的图像特征，获取该图像块属于各个分类标记对应的分类的概率(即上述第一分类概率分布)，以实现对图像块的分类识别。

其中，上述第一分类概率分布中包含与至少两个有效分类分别对应的概率值，以及，与至少一个无效分类分别对应的概率值，其中，上述概率值用于指示进行分类识别的图像块属于该概率值所属的分类的概率。

在医疗领域中，上述有效分类是指有助于医疗人员进行医疗相关的决策的分类；比如，有效分类用于指示进行分类识别的图像属于正常人体组织图像或者异常人体组织图像(比如是否存在癌变)；或者，有效分类用于指示进行分类识别的图像中的人体组织的异常程度或者异常等级(比如无癌变、癌变早期、癌变中期或者癌变晚期)等等。

在本申请实施例中，上述无效分类，是指进行分类识别的图像块无法被准确的识别为有效分类；也就是说，对无效分类对应的图像块进行识别的结果，会对整幅医疗图像的真实识别结果产生负面的影响。

步骤203，基于目标图像块在目标医疗图像中的位置，从目标医疗图像中提取至少一个第二图像块；第二图像块与目标图像块之间的距离小于距离阈值；目标图像块属于至少一个第一图像块，且目标图像块的第一分类概率分布指示目标图像块的分类为有效分类。

步骤204，将至少一个第二图像块的图像特征映射至第一分类空间，获得至少一个第二图像块各自的第一分类概率分布。

步骤205，基于至少一个第二图像块各自的第一分类概率分布，获取目标医疗图像的图像分类。

在本申请实施例中，一个图像块被分类至有效分类，则说明该图像块中的图像数据对于准确区分整幅图像的图像分类来说，可以起到正面作用，相应的，该图像块以及该图像块周围的图像区域，有很大概率是区分整幅图像的图像分类的关键区域。基于此，计算机设备对第一图像块进行分类识别之后，对于其中属于有效分类的目标图像块，在该目标图像块的附近进一步提取至少一个第二图像块，作为目标医疗图像中用于图像分类的关键区域的图像块。后续，基于至少一个第二图像块进行分类识别，并基于第二图像块的分类识别结果确定整幅目标医疗图像的识别结果，从而实现了自动提取整幅目标医疗图像中，对图像分类起到关键作用的图像块，并基于这些对图像分类起到关键作用的图像块进行图像分类。

综上所述，本申请实施例所示的方案，先从目标医疗图像中提取出至少一个第一图像块，并将第一图像块的图像特征映射至第一分类空间，并基于其中属于医疗领域的有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，并基于对第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

此外，本申请实施例所示的方案，可以从目标医疗图像中提取出部分图像块进行分类，相比于以整幅图像为处理对象的识别方案，能够降低图像分类过程中处理的数据量，提高对医疗图像进行分类的效率。

本申请上述图2所示实施例中的方案可以基于AI实现，比如，上述将图像块的图像特征映射至第一分类空间的步骤可以通过基于AI技术训练的图像分类模型来执行。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

本申请上述图2所示实施例中的方案可以应用于医疗云(Medical cloud)中。其中。医疗云是指在云计算、移动技术、多媒体、无线通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。

图3是根据一示例性实施例示出的一种图像处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中由开发人员使用的终端140。该计算机设备可以实现为训练图像分类模型的模型训练设备。如图3所示，该图像处理方法可以包括如下步骤。

步骤301，通过第一分类模型对第一样本图像块进行处理，获得第一样本图像块的第二分类概率分布；第二分类概率分布中的分类包括医疗领域的至少两个有效分类；第一样本图像块是第一样本医疗图像中的图像块。

在本申请实施例中，上述第一分类模型的输入为图像块，输出为该图像块属于至少两个有效分类的概率分布。第一分类模型可以从输入的图像块中提取图像特征，并将提取到的图像特征映射至第二分类空间，得到上述第二分类概率分布。

也就是说，上述第二分类概率分布中包含与至少两个有效分类分别对应的概率值，其中，上述概率值用于指示进行分类识别的图像块属于该概率值所属的分类的概率。

在一种可能的实现方式中，上述第一样本图像块可以是对第一样本医疗图像进行分割后得到的图像块；或者，上述第一样本图像块可以是从第一样本医疗图像中直接提取的图像块。

步骤302，基于第一样本图像块的第二分类概率分布，以及第一样本图像块所属的有效分类，对第一样本图像块设置分类标签；分类标签用于指示第一样本图像块的分类为至少两个有效分类以及至少一个无效分类中的一个。

其中，在已知样本图像块所述的有效分类的情况下，上述第二分类概率分布可以指示输入第一分类模型的图像块能否被准确的分类到其所属的有效分类中。比如，当一个样本图像块的第二分类概率分布中，对应该样本图像块实际所属的有效分类的概率值满足置信条件，比如，大于概率阈值(例如大于80％)，则可以认为第一分类模型可以将该样本图像块准确的分类到其所属的有效分类中；而如果该样本图像块的第二分类概率分布中，对应该样本图像块实际所属的有效分类的概率值不满足置信条件，或者，该样本图像块的第二分类概率分布最大的概率满足置信条件，但是该最大概的概率所对应的有效分类不是该样本图像块实际所属的有效分类，则可以认为第一分类模型无法将该样本图像块准确的分类到其所属的有效分类中。

基于上述理由，在本申请实施例中，计算机设备在通过第一分类模型对第一样本图像块进行分类之后，可以基于得到的第二分类概率分布，对各个第一样本图像块的分类标签进行重设，在至少两个有效分类之外，再增加至少一个无效分类，用于指示对应的样本图像块能否被机器学习模型准确进行分类，从而实现自动的将样本图像块标注为可以准确识别的有效分类，或者，无法准确识别的无效分类。

例如，对于一个样本图像块来说，若该样本图像块的第二分类概率分布所指示的有效分类是正确的分类，则将该样本图像块实际的有效分类设置为该样本图像块的分类标签；若该样本图像块的第二分类概率分布中，满足置信条件的概率对应所对应的有效分类不正确，或者，样本图像块的第二分类概率分布中所有的概率都不满足置信条件，则将该样本图像块实际的有效分类设置为无效分类。

步骤303，通过第二分类模型对第一样本图像块进行处理，获得第一样本图像块的第一分类概率分布；第一分类概率分布中的分类包括至少两个上述有效分类和至少一个无效分类。

其中，第二分类模型与上述第一分类模型的区别在于，第二分类模型输出的概率分布中，除了包含用于指示输入的样本图像块属于各个有效分类的概率之外，还包含用于指示输入的样本图像块输入各个无效分类的概率。也就是说，第二分类模型可以从输入的图像块中提取图像特征，并将提取到的图像特征映射至第一分类空间，得到上述第一分类概率分布。

步骤304，基于第一样本图像块的第一分类概率分布，以及第一样本图像块的分类标签，对第二分类模型进行参数更新，以获得图像分类模型。

图像分类模型用于在上述图2所示的实施例中，执行将图像块的图像特征映射至第一分类空间的步骤。

在本申请实施例中，通过上述重设了分类标签的第一样本图像块对第二分类模型进行训练得到的图像分类模型，可以是识别出输入的图像块中哪些图像块是可以准确分类，而哪些图像块是无法准确分类的，结合上述图2所示实施例中的方案，可以通过两步分类的方式，尽可能的排除整幅图像中对于图像分类起到负面作用的区域内图像，并选择整幅图像中对图像分类起到正面作用的关键区域的图像块进行分类。

综上所述，本申请实施例所示的方案，首先使用一个输出至少两种有效分类的第一分类模型对样本图像块进行分类，根据第一分类模型的概率分布对样本图像块的分类标签进行重置，将样本图像块的分类标签扩展到至少两种有效分类和至少一种无效分类；并用过重置分类标签后的样本图像块训练得到图像分类模型，后续在对目标医疗图像进行分类的过程中，先通过图像分类模型对从目标医疗图像中提取出至少一个第一图像块，将第一图像块的图像特征映射至第一分类空间，并基于其中属于有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，再通过图像分类模型对第二图像块进行分类，并基于对第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

另外，本申请实施例所示的方案，通过第一分类模型输出的分类概率分布，对样本图像块的分类标签进行重置，从而实现分类标签的自动标注，提高了样本生成的效率，进而提高模型训练效率。

此外，本申请实施例所示的方案，可以从目标医疗图像中提取出部分图像块进行识别，相比于以整幅图像为处理对象的识别方案，能够降低图像分类过程中处理的数据量，提高对医疗图像进行分类的效率。

本申请实施例所示的方案，可以应用于各种医疗图像的分类场景，比如，其中，上述医疗图像的分类场景包括且不限于宫颈图像的分类场景，例如，还可以应用于眼底图像的分类场景、胃镜图像/肠镜图像的分类场景、三维医学图像的分类场景等等。

以宫颈图像的分类场景为例，首先，基于图3所示的方案，开发人员可以收集若干样本宫颈图像，从样本宫颈图像中提取出样本图像块，并对样本图像块打上有效分类的标签(比如正常标签或者病变标签)，然后通过训练好的第一分类模型对样本图像块进行分类，输出样本图像块属于各种有效分类的概率分布，基于该概率分布，对样本图像块的分类标签进行重置，将样本图像块的标签扩展到有效分类的标签和无效分类的标签。然后，再通过重置了分类标签之后的样本图像块，对第二分类模型进行训练，得到图像分类模型。

上述图像分类模型训练完成后，可以部署到人工智能电子阴道镜辅助诊断系统中。基于图2所示的方案，在部署了图像分类模型之后，医疗人员在基于宫颈图像进行诊断等处理的过程中，人工智能电子阴道镜辅助诊断系统中的计算机设备可以从宫颈图像中提取各个第一图像块，并通过图像分类模型对各个第一图像块进行处理，根据分类处理输出的概率分布，从第一图像块挑选出能够准确分类的目标图像块，由于目标图像块在宫颈图像中的位置，大概率是对宫颈图像进行准确分类的关键位置，基于此，计算机设备进一步在第一图像块附近提取出关键位置对应的第二图像块，并通过图像分类模型对第二图像块进行分类处理，并根据第二图像块的分类结果，确定整幅宫颈图像的分类结果。后续医疗人员可以结合整幅宫颈图像的分类结果进行诊断决策，比如，判断可疑病变位置和分级，实时给出是否需要活检取样及取样部位的指导建议等等。

图4是根据一示例性实施例示出的一种图像处理方法的流程示意图。该方法可以由计算机设备执行，比如，该计算机设备可以是服务器，或者，该计算机设备也可以是终端，或者，该计算机设备可以包括服务器和终端，其中，该服务器可以是上述图1所示的实施例中的服务器160，该终端可以是上述图1所示的实施例中的终端140。如图4所示，该图像处理方法可以包括如下步骤。

步骤401，通过第一分类模型对第二样本图像块进行处理，获得第二样本图像块的第二分类概率分布；第二分类概率分布中的分类包括医疗领域的至少两个有效分类；第一样本图像块是第二样本医疗图像中的图像块。

比如，以本申请实施例所示的方案应用于宫颈图像分类场景为例，上述第二样本医疗图像可以是预先标注好图像分类的样本宫颈图像。在其它医疗场景中，第二样本医疗图像可以是与医疗场景对应的医疗图像，比如，在眼底图像分类场景中，上述医疗图像可以是标注好图像分类的样本眼底图像。

其中，上述有效分类可以是对医疗场景的后续辅助决策有效的分类，比如，以宫颈图像为例，该有效分类可以包括正常分类以及病变分类(比如宫颈癌)，或者，该有效分类可以包括正常分类以及至少两种不同的病变分类(比如严重程度不同的宫颈癌分类，例如宫颈癌早期分类、宫颈癌晚期分类等等)，后续医疗人员可以根据有效分类进行诊断决策。

在一种可能的实现方式中，开发人员可以预先收集标注好图像分类的第二样本医疗图像，并将标注好的第二样本医疗图像输入用于模型训练的计算机设备(即模型训练设备)中，模型训练设备对第二样本医疗图像进行分割，得到若干个指定尺寸的第二样本图像块，每个第二样本图像块初始的分类标签可以继承自第二样本医疗图像的分类标签。可选的，每个第二样本图像块也可以由开发人员或者医疗人员重新标注初始的分类标签。其中，第二样本医疗图像，或者，第二样本图像块初始的分类标签为有效分类中的一种。

之后，模型训练设备通过第一分类模型对第二样本图像块进行处理，输出每个第二样本图像块的第二分类概率。也就是，输出每个第二样本图像块属于各种有效分类的概率。

步骤402，基于第二样本图像块的第二分类概率分布，以及第二样本图像块所属的有效分类，对第一分类模型进行参数更新。

其中，上述第二样本图像块所属的有效分类，是第二样本图像块初始的分类标签对应的有效分类。

在本申请实施例中，模型训练设备可以基于第二样本图像块的第二分类概率分布，以及第二样本图像块初始的分类标签，计算损失函数值，并通过计算出的损失函数值，对第一分类模型进行参数更新。在第一分类模型训练完成之后，即可以执行后续步骤403。

步骤403，通过第一分类模型对第一样本图像块进行处理，获得第一样本图像块的第二分类概率分布；第一样本图像块是第一样本医疗图像中的图像块。

其中，上述第一样本医疗图像与第二样本医疗图像是同一医疗场景对应的医疗图像，比如，当上述第一样本医疗图像是宫颈图像时，第二样本医疗图像也为宫颈图像。

可选的，上述第一样本医疗图像与第二样本医疗图像可以是相同的医疗图像，也可以是不同的医疗图像。相应的，上述第一样本图像块与第二样本图像块可以是相同的样本图像块，也可以是不同的样本图像块。

步骤404，基于第一样本图像块的第二分类概率分布，以及第一样本图像块所属的有效分类，对第一样本图像块设置分类标签；分类标签用于指示第一样本图像块的分类为至少两个上述有效分类以及至少一个无效分类中的一个。

在本申请实施例中，上述至少一个无效分类包括无意义分类和干扰分类中的至少一种；

其中，无意义分类可以用于指示通过输入的图像无法区分所属的有效分类；

干扰分类用于可以指示通过输入的图像错误区分所属的有效分类。

在一种可能的实现方式中，基于第一样本图像块的第二分类概率分布，以及第一样本图像块所属的有效分类，对第一样本图像块设置分类标签，包括：

响应于第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且最大概率所属的分类与第一样本图像块所属的有效分类匹配，将第一样本图像块的分类标签设置为第一样本图像块所属的有效分类；

响应于第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且最大概率所属的分类与第一样本图像块所属的有效分类不匹配，将第一样本图像块的分类标签设置为干扰分类；

响应于第一样本图像块的第二分类概率分布中的最大概率不大于概率阈值，将第一样本图像块的分类标签设置为无意义分类。

在本申请实施例的一种示例性的方案中，如果第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，则可以认为该最大概率是可信的，此时，如果该最大概率对应的分类是第一样本图像块初始的分类标签对应的有效分类，则认为第一分类模型能够准确识别出该第一样本图像块所属的有效分类，此时，可以保持第一样本图像块的分类标签不变(即保持为初始的分类标签)；而如果该最大概率对应的分类不是第一样本图像块初始的分类标签对应的有效分类，则认为第一分类模型对该第一样本图像块所属的有效分类识别错误，此时，将可以认为该第一样本图像块会对整幅图像的分类识别造成负面干扰，模型训练设备可以将该第一样本图像块的分类标签重置为干扰分类。

如果第一样本图像块的第二分类概率分布中的最大概率不大于概率阈值，则可以认为该最大概率是不可信的，此时，认为第一分类模型无法区分第一样本图像块所属的有效分类，则说明该第一样本图像块对整幅图像的分类识别不起作用(无论正面作用还是负面作用)，此时，可以将该第一样本图像块的分类标签重置为无意义分类。

步骤405，通过第二分类模型对第一样本图像块进行处理，获得第一样本图像块的第一分类概率分布；分类概率分布中的分类包括至少两个有效分类和至少一个无效分类。

在本申请实施例中，第二分类模型输出的概率分布中，除了有效分类对应的概率之外，还包含无效分类的概率。

在一种可能的实现方式中，通过第二分类模型对第一样本图像块进行处理之前，还包括：

基于特征提取网络构建第二分类模型；特征提取网络是第一分类模型中除了输出层之外的模型部分。

在本申请实施例中，第一分类模型包括特征提取网络和第一输出层，其中，第一输出层用于根据特征提取网络对输入的样本图像块进行特征提取得到的图像特征，输出样本图像块的第一分类概率分布。为了提高第二分类模型的训练速度，以提高训练效率，本申请实施例所示的方案可以在第一分类模型的特征提取网络的基础上构建第二分类模型并进行训练，由于第一分类模型中的特征提取网络已经预先经过了训练，后续在第二分类模型的训练中，只需要对第二分类模型的参数进行微调即可以快速收敛。

可选的，在基于特征提取网络构建第二分类模型时，可以在特征提取网络的基础上加上第二输出层即可，其中，该第二输出层用于根据特征提取网络对输入的样本图像块进行特征提取得到的图像特征，输出样本图像块的第二分类概率分布。

在另一种可能的实现方式中，开发人员也可以在第一分类模型之外，独立构建第二分类模型；或者，在基于第一分类模型中的特征提取网络构建第二分类模型之后，将第二分类模型的参数重置，以重新进行训练。

步骤406，基于第一样本图像块的第一分类概率分布，以及第一样本图像块的分类标签，对第二分类模型进行参数更新，以获得图像分类模型。

在本申请实施例中，模型训练设备可以基于第一样本图像块的第一分类概率分布，以及第一样本图像块重置后的分类标签，计算损失函数值，并通过计算出的损失函数值，对第二分类模型进行参数更新。在第二分类模型训练完成之后，即可以得到图像分类模型。

图像分类模型用于在如上述图2所示的实施例中，执行将图像块的图像特征映射至第一分类空间的步骤。该过程可以参考后续步骤。

步骤407，从目标医疗图像中提取至少一个第一图像块。

其中，上述目标医疗图像是与上述第一样本医疗图像和第二样本医疗图像对应同一医疗场景的医疗图像，比如，当上述第一样本医疗图像和第二样本医疗图像是标注好图像分类的宫颈图像时，上述目标医疗图像可以是未标注的宫颈图像。

在一种可能的实现方式中，上述从目标医疗图像中提取至少一个第一图像块的步骤可以包括：

从目标医疗图像中随机提取至少一个第一图像块；

或者，按照采样距离间隔从目标医疗图像中采样获得至少一个第一图像块。

在本申请实施例中，模型应用过程中的计算机设备(比如分类设备)可以从目标医疗图像中随机抽取部分图像块作为第一图像块。例如，分类设备将目标医疗图像划分为大小相同的多个图像块(例如9×9个图像块)，并从中随机提取20个图像块作为第一图像块。

或者，分类设备也可以按照一定的采样距离间隔，从目标医疗图像中均匀采集若干个图像块作为第一图像块。例如，分类设备将目标医疗图像划分为大小相同的多个大图像块(例如3×3个大图像块)，并从每个大图像块的中心位置提取出一个小图像块，并将提取到的小图像块作为第一图像块。

在另一种可能的实现方式中，分类设备也可以结合采样距离间隔，通过随机方式获取第一图像块。例如，分类设备将目标医疗图像划分为大小相同的多个大图像块(例如3×3个大图像块)，再将每个大图像块划分为多个小图像块(例如每个大图像块划分为3×3个小图像块)，之后，分类设备在每个大图像块中随机选择一个或者多个小图像块，作为上述第一图像块。

步骤408，将至少一个第一图像块的图像特征映射至第一分类空间，获得至少一个第一图像块各自的第一分类概率分布。

分类设备可以通过图像分类模型，对至少一个第一图像块进行分类识别，也就是通过图像分类模型提取第一图像块的图像特征，并将提取到的图像特征映射至第一分类空间，获得至少一个第一图像块各自的第一分类概率分布。该步骤的执行过程与第二分类模型对第一样本图像块进行分类的过程类似，此处不再赘述。

步骤409，基于目标图像块在目标医疗图像中的位置，从目标医疗图像中提取至少一个第二图像块；第二图像块与目标图像块之间的距离小于距离阈值；目标图像块属于至少一个第一图像块。

在本申请实施例中，分类设备可以将目标图像块作为目标医疗图像中的关键位置的中心，从目标医疗图像中，处于目标图像块中心点周围的一定范围内选取一至多个图像块作为第二图像块，并且每个第二图像块与目标图像块之间的距离(比如，该距离可以是两个图像块的中心之间的像素距离或者长度距离)小于距离阈值。

比如，分类设备可以从目标图像块的中心点开始，在随机的一个或多个方向(或者指定的一个或多个方向)上选取与该目标图像块的中心点之间的距离小于距离阈值的候选点，并以候选点为第二图像块的中心，提取指定尺寸的一至多个第二图像块。

其中，上述距离阈值可以由开发人员或者医疗人员结合应用场景来设置或者调整。

在一种可能的实现方式中，距离阈值小于或者等于第一图像块的边长。

步骤410，将至少一个第二图像块的图像特征映射至上述第一分类空间，获得至少一个第二图像块各自的第一分类概率分布。

该步骤的执行过程与上述步骤408类似，此处不再赘述。

步骤411，基于至少一个第二图像块各自的第一分类概率分布，获取目标医疗图像的图像分类。

在一种可能的实现方式中，基于至少一个第二图像块各自的第一分类概率分布，获取目标医疗图像的图像分类，包括：

响应于至少一个第二图像块的数量为n，且n为大于或者等于2的整数，对n个第二图像块各自的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于预测平均概率分布，获取目标医疗图像的图像分类。

在本申请实施例中，若第二图像块有多个，则分类设备可以对多个第二图像块的第一分类概率分布取平均。也就是说，对于多个第二图像块的第一分类概率分布，将这些第一分类概率分布中对应相同分类的概率值进行平均，得到一个预测平均概率分布。

在一种可能的实现方式中，基于至少一个第二图像块各自的第一分类概率分布，获取目标医疗图像的图像分类，包括：

对至少一个第二图像块各自的第一分类概率分布，以及目标图像块的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于预测平均概率分布，获取目标医疗图像的图像分类。

在本申请实施例中，分类设备也可以将第二图像块的第一分类概率分布和目标图像块的第一分类概率分布相结合，以进一步提高整幅图像的分类准确性。

在一种可能的实现方式中，上述基于预测平均概率分布，获取目标医疗图像的图像分类的步骤可以包括：

响应于预测平均概率分布中的最大概率大于概率阈值，获取与最大概率对应的分类，作为目标医疗图像的图像分类。

在本申请实施例中对于上述预测平均概率分布，分类设备可以检测其中最大概率是否大于概率阈值，若是，则认为该预测平均概率分布是可信的，此时，将最大概率对应的分类作为目标医疗图像的图像分类。可选的，若其中最大概率不大于概率阈值，则认为该图像分类模型未能区分出目标医疗图像的图像分类。

综上所述，本申请实施例所示的方案，首先使用一个输出至少两种有效分类的第一分类模型对样本图像块进行分类，根据第一分类模型的概率分布对样本图像块的分类标签进行重置，将样本图像块的分类标签扩展到至少两种有效分类和至少一种无效分类；并用过重置分类标签后的样本图像块训练得到图像分类模型，后续在对目标医疗图像进行分类的过程中，先通过图像分类模型对从目标医疗图像中提取出至少一个第一图像块，将第一图像块的图像特征映射至第一分类空间，并基于其中属于有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，再通过图像分类模型对第二图像块进行分类识别，并基于第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

另外，本申请实施例所示的方案，通过第一分类模型输出的分类概率分布，对样本图像块的分类标签进行重置，从而实现分类标签的自动标注，提高了样本生成的效率，进而提高模型训练效率。

此外，本申请实施例所示的方案，可以从目标医疗图像中提取出部分图像块进行识别，相比于以整幅图像为处理对象的识别方案，能够降低图像分类过程中处理的数据量，提高对医疗图像进行分类的效率。

请参考图5，其是根据一示例性实施例示出的一种用于医疗图像的图像分类模型的训练及测试框架图。如图5所示，以宫颈图像的分类场景为例，该图像分类模型的训练及测试过程可以如下：

首先，在模型训练之前，开发人员准备样本宫颈图像51a，并对样本宫颈图像51a进行有效分类的标注和分割，得到若干个对应有初始的分类标签51b的样本宫颈图像块51c。

比如，请参考图6，其示出了本申请实施例涉及的整体训练流程图。如图6所示，本申请实施例所示的方案中，模型训练过程分为数据采集过程61、基础训练轮62以及强化训练轮63。

在模型训练过程中，首先通过样本宫颈图像块51c以及初始的分类标签51b，对包含主网络框架52a的基础模型52进行训练。

比如，请参考图7，其示出了本申请实施例涉及的基础训练轮的流程图。如图7所示，以有效分类包括分类A和分类B为例，在基础训练轮中，每个样本宫颈图像块51c继承样本宫颈图像51a的有效分类的标签，模型训练设备将每个样本宫颈图像块送入包含主网络框架52a的基础模型52进行训练。

在基础模型52训练完成之后，模型训练设备通过基础模型52对样本宫颈图像块进行处理，得到样本宫颈图像块的有效分类概率分布53，并通过有效分类概率分布53，对样本宫颈图像块51c的分类标签51b进行更新，得到更新后的分类标签51d，更新后的分类标签51d中的分类除了有效分类之外，还包含无效分类。

其中，强化训练轮包含图像块重新打标签和微调训练两个步骤。比如，请参考图8，其示出了本申请实施例涉及的标签重置的流程图。如图8所示，模型训练设备将样本宫颈图像块送入训练完成的基础模型52进行测试，获取每个样本宫颈图像块的概率分布T。T越靠近0，表示该样本宫颈图像块越倾向于A类，越靠近1，表示该样本宫颈图像块越倾向于B类。根据概率值，可以将样本宫颈图像块分为三类：

A)概率值处于范围t1<T<t2中,该图像块认为不能用于明显区分实际类别A/B，认定为无意义区域，赋值新标签Y。

其中，t1和t2的取值可以由开发人员或者医疗人员结合应用场景来设定，比如，t1取值可以为0.45，t2的取值可以为0.55。

B)概率值T<t1且样本宫颈图像块的金标准(即初始的分类标签)为A类，或者T>t2且样本宫颈图像块金标准为B类，该样本宫颈图像块分类正确，被认为涵盖了可用于分类的关键信息，标签值保值不变。

C)概率值T<t1且样本宫颈图像块金标准为B类，或者，T>t2且样本宫颈图像块金标准为A类，该图像块分类错误，被认定为干扰图像块，赋值新标签Z。

然后，模型训练设备再通过样本宫颈图像块51c以及更新后的分类标签51d，对包含主网络框架52a的图像分类模型54进行训练，得到训练后的图像分类模型54。其中，图像分类模型54中初始的主网络框架52a，是训练完成后的基础模型52中的主网络框架52a，在图像分类模型54的训练过程中，主网络框架52a的参数会被继续调整更新。与基础模型52不同的是，图像分类模型54输出的概率分布中同时包含有效分类和无效分类。

请参考图9，其示出了本申请实施例涉及的强化训练过程示意图。如图9所示，每个样本宫颈图像块按照上述按照图8的步骤打上新的标签后，对基于基础模型中的主网络框架52a构建的图像分类模型54进行微调训练，得到最终强化的图像分类模型54。

在图像分类模型54的训练过程中，模型训练设备可以对图像分类模型54进行测试，即对测试图像进行随机的图像块采样提取，得到一系列的采样图像块，然后将所有采样图像块送入图像分类模型54进行测试，得到每个采样图像块的分类概率。根据分类概率值确定分类，若分类为Y(无意义图像块)或者Z(干扰图像块)，则丢弃。对于其他分类图像块，在其附近进行重新采样，得到k个图像块；将k个图像块送入图像分类模型54重新测试，得到k个预测结果概率，将k个概率进行平均即可以得到最终的测试结果。

上述图像分类模型54在部署之后的分类过程，与上述测试过程类似，此处不再赘述。

本申请实施例所示的方案提出了一种自动识别局部关键信息并用于强化训练的方案，该方案中以有效分类为二分类进行举例，可选的，该方案也可以扩展至更多有效分类的场景。

本申请实施例所示的方案可以包括且不限于以下四点优势：

1)训练分为两轮，根据第一轮结果将图像干扰/无意义区域重新赋值后送入第二轮训练，强化关键局部信息；

2)测试时，模型能够自动提取多个关键的局部信息用于分析，输出最终的判别结果；

3)由于整图拆解预测，仅需要使用局部关键图像块，需分析数据量减少，算法效率较高；

4)采用随机采样和重点采样测试结合的方案，可有效减少预测的偶然误差。

其中，本申请上述实施例所示的方案可以结合区块链来实现或者执行。比如，上述各个实施例中的部分或者全部步骤可以在区块链系统执行；或者，上述各个实施例中的各个步骤执行所需要的数据或者生成的数据，可以存储在区块链系统中；例如，上述模型训练使用的训练样本，以及模型应用过程中的医疗图像等模型输入数据，可以由计算机设备从区块链系统中获取；再例如，上述模型训练后得到的模型的参数可以存储在区块链系统中。

图10是根据一示例性实施例示出的一种图像处理装置的结构方框图。该装置可以实现图2或图4所示实施例提供的方法中的全部或部分步骤，该图像处理装置包括：

第一图像块提取模块1001，用于从目标医疗图像中提取至少一个第一图像块；

第一分类模块1002，用于将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；所述第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类；

第二图像块提取模块1003，用于基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；所述第二图像块与所述目标图像块之间的距离小于距离阈值；所述目标图像块属于至少一个所述第一图像块，且所述目标图像块的第一分类概率分布指示所述目标图像块的分类为所述有效分类；

第二分类模块1004，用于将至少一个所述第二图像块的图像特征映射至所述第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；

第三分类模块1005，用于基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。

在一种可能的实现方式中，至少一个所述无效分类包括无意义分类和干扰分类中的至少一种；

所述无意义分类用于指示通过输入的图像无法区分所属的所述有效分类；

所述干扰分类用于指示通过输入的图像错误区分所属的所述有效分类。

在一种可能的实现方式中，所述第三分类模块1005，用于，

响应于至少一个所述第二图像块的数量为n，且n为大于或者等于2的整数，对n个所述第二图像块各自的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于所述预测平均概率分布，获取所述目标医疗图像的图像分类。

在一种可能的实现方式中，所述第三分类模块1005，用于，

对至少一个所述第二图像块各自的第一分类概率分布，以及所述目标图像块的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于所述预测平均概率分布，获取所述目标医疗图像的图像分类。

在一种可能的实现方式中，所述第三分类模块1005，用于，

响应于所述预测平均概率分布中的最大概率大于概率阈值，获取与所述最大概率对应的分类，作为所述目标医疗图像的图像分类。

在一种可能的实现方式中，第一图像块提取模块1001，用于，

从所述目标医疗图像中随机提取至少一个所述第一图像块；

或者，按照采样距离间隔从所述目标医疗图像中采样获得至少一个所述第一图像块。

在一种可能的实现方式中，所述距离阈值小于或者等于所述第一图像块的边长。

在一种可能的实现方式中，所述目标医疗图像是宫颈图像。

综上所述，本申请实施例所示的方案，先从目标医疗图像中提取出至少一个第一图像块，将第一图像块的图像特征映射至第一分类空间，并基于其中属于医疗领域的有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，并基于第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

此外，本申请实施例所示的方案，可以从目标医疗图像中提取出部分图像块进行识别，相比于以整幅图像为处理对象的识别方案，能够降低图像分类过程中处理的数据量，提高对医疗图像进行分类的效率。

图11是根据一示例性实施例示出的一种图像处理装置的结构方框图。该装置可以实现图3或图4所示实施例提供的方法中的全部或部分步骤，该图像处理装置包括：

第一处理模块1101，用于通过第一分类模型对第一样本图像块进行处理，获得所述第一样本图像块的第二分类概率分布；所述第二分类概率分布中的分类包括医疗领域的至少两个有效分类；所述第一样本图像块是第一样本医疗图像中的图像块；

标签设置模块1102，用于基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签；所述分类标签用于指示所述第一样本图像块的分类为至少两个所述有效分类以及至少一个无效分类中的一个；

第二处理模块1103，用于通过第二分类模型对所述第一样本图像块进行处理，获得所述第一样本图像块的第一分类概率分布；所述第一分类概率分布中的分类包括至少两个所述有效分类和至少一个所述无效分类；

第一参数更新模块1104，用于基于所述第一样本图像块的第一分类概率分布，以及所述第一样本图像块的分类标签，对所述第二分类模型进行参数更新，以获得图像分类模型；

所述图像分类模型用于执行如图2或图4所示实施例中，将图像块的图像特征映射至第一分类空间的步骤。

在一种可能的实现方式中，至少一个所述无效分类包括无意义分类和干扰分类中的至少一种；

所述无意义分类用于指示通过输入的图像无法区分所属的所述有效分类；

所述干扰分类用于指示通过输入的图像错误区分所属的所述有效分类。

在一种可能的实现方式中，所述标签设置模块1102，用于，

响应于所述第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且所述最大概率所属的分类与所述第一样本图像块所属的有效分类匹配，将所述第一样本图像块的分类标签设置为所述第一样本图像块所属的有效分类；

响应于所述第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且所述最大概率所属的分类与所述第一样本图像块所属的有效分类不匹配，将所述第一样本图像块的分类标签设置为所述干扰分类；

响应于所述第一样本图像块的第二分类概率分布中的最大概率不大于所述概率阈值，将所述第一样本图像块的分类标签设置为所述无意义分类。

在一种可能的实现方式中，所述装置还包括：

第二参数更新模块，用于在第一处理模块1101通过第一分类模型对第一样本图像块进行处理之前，

通过所述第一分类模型对第二样本图像块进行处理，获得所述第二样本图像块的第二分类概率分布；所述第一样本图像块是第二样本医疗图像中的图像块；

基于所述第二样本图像块的第二分类概率分布，以及所述第二样本图像块所属的有效分类，对所述第一分类模型进行参数更新。

在一种可能的实现方式中，所述装置还包括：

模型构建模块，用于在第二处理模块1103通过第二分类模型对所述第一样本图像块进行处理之前，基于特征提取网络构建所述第二分类模型；所述特征提取网络是所述第一分类模型中除了输出层之外的模型部分。

综上所述，本申请实施例所示的方案，首先使用一个输出至少两种有效分类的第一分类模型对样本图像块进行分类，根据第一分类模型的概率分布对样本图像块的分类标签进行重置，将样本图像块的分类标签扩展到至少两种有效分类和至少一种无效分类；并用过重置分类标签后的样本图像块训练得到图像分类模型，后续在对目标医疗图像进行分类的过程中，先通过图像分类模型对从目标医疗图像中提取出至少一个第一图像块，将第一图像块的图像特征映射至第一分类空间，并基于其中属于有效分类的第一图像块的位置，从目标医疗图像中提取至少一个第二图像块，再通过图像分类模型对第二图像块进行分类，并基于对第二图像块的图像特征在第一分类空间的映射结果确定目标医疗图像所属的图像分类；通过上述两级分类的方案，可以从目标医疗图像中提取出关键位置的图像块，并基于关键位置的图像块的分类结果确定目标医疗图像的图像分类，可以降低非关键位置的图像对整个目标医疗图像的分类结果的影响，从而提高了对医疗图像进行分类的准确性。

另外，本申请实施例所示的方案，通过第一分类模型输出的分类概率分布，对样本图像块的分类标签进行重置，从而实现分类标签的自动标注，提高了样本生成的效率，进而提高模型训练效率。

此外，本申请实施例所示的方案，可以从目标医疗图像中提取出部分图像块进行识别，相比于以整幅图像为处理对象的识别方案，能够降低图像分类过程中处理的数据量，提高对医疗图像进行分类的效率。

图12是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中用于训练第一图像识别模型的计算机设备，或者，可以实现为上述各个方法实施例中用于通过第二图像识别模型进行脑中线识别的计算机设备。所述计算机设备1200包括中央处理单元(CPU，Central Processing Unit)1201、包括随机存取存储器(Random Access Memory，RAM)1202和只读存储器(Read-Only Memory，ROM)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。

所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。

计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，上述一个或者一个以上程序中包含计算机指令，中央处理器1201通过执行该一个或一个以上程序中的计算机指令来实现图2、图3或图4任一所示的方法的全部或者部分步骤。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(计算机指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器、随机存取存储器、只读光盘、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

从目标医疗图像中提取至少一个第一图像块；

将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；所述第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类；

基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；所述第二图像块与所述目标图像块之间的距离小于距离阈值；所述目标图像块属于至少一个所述第一图像块，且所述目标图像块的第一分类概率分布指示所述目标图像块的分类为所述有效分类；

将至少一个所述第二图像块的图像特征映射至所述第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；

基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。

2.根据权利要求1所述的方法，其特征在于，至少一个所述无效分类包括无意义分类和干扰分类中的至少一种；

所述无意义分类用于指示通过输入的图像无法区分所属的所述有效分类；

所述干扰分类用于指示通过输入的图像错误区分所属的所述有效分类。

3.根据权利要求1所述的方法，其特征在于，所述基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类，包括：

响应于至少一个所述第二图像块的数量为n，且n为大于或者等于2的整数，对n个所述第二图像块各自的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于所述预测平均概率分布，获取所述目标医疗图像的图像分类。

4.根据权利要求1所述的方法，其特征在于，所述基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类，包括：

对至少一个所述第二图像块各自的第一分类概率分布，以及所述目标图像块的第一分类概率分布进行平均处理，获得预测平均概率分布；

基于所述预测平均概率分布，获取所述目标医疗图像的图像分类。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述预测平均概率分布，获取所述目标医疗图像的图像分类，包括：

响应于所述预测平均概率分布中的最大概率大于概率阈值，获取与所述最大概率对应的分类，作为所述目标医疗图像的图像分类。

6.根据权利要求1所述的方法，其特征在于，所述从目标医疗图像中提取至少一个第一图像块，包括：

从所述目标医疗图像中随机提取至少一个所述第一图像块；

或者，

按照采样距离间隔从所述目标医疗图像中采样获得至少一个所述第一图像块。

7.根据权利要求1所述的方法，其特征在于，所述距离阈值小于或者等于所述第一图像块的边长。

8.根据权利要求1所述的方法，其特征在于，所述目标医疗图像是宫颈图像。

9.一种图像处理方法，其特征在于，所述方法包括：

通过第一分类模型对第一样本图像块进行处理，获得所述第一样本图像块的第二分类概率分布；所述第二分类概率分布中的分类包括医疗领域的至少两个有效分类；所述第一样本图像块是第一样本医疗图像中的图像块；

基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签；所述分类标签用于指示所述第一样本图像块的分类为至少两个所述有效分类以及至少一个无效分类中的一个；

通过第二分类模型对所述第一样本图像块进行处理，获得所述第一样本图像块的第一分类概率分布；所述第一分类概率分布中的分类包括至少两个所述有效分类和至少一个所述无效分类；

基于所述第一样本图像块的第一分类概率分布，以及所述第一样本图像块的分类标签，对所述第二分类模型进行参数更新，以获得图像分类模型；

所述图像分类模型用于在如权利要求1至8任一所述的方法中，执行将图像块的图像特征映射至第一分类空间的步骤。

10.根据权利要求9所述的方法，其特征在于，至少一个所述无效分类包括无意义分类和干扰分类中的至少一种；

所述无意义分类用于指示通过输入的图像无法区分所属的所述有效分类；

所述干扰分类用于指示通过输入的图像错误区分所属的所述有效分类。

11.根据权利要求10所述的方法，其特征在于，所述基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签，包括：

响应于所述第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且所述最大概率所属的分类与所述第一样本图像块所属的有效分类匹配，将所述第一样本图像块的分类标签设置为所述第一样本图像块所属的有效分类；

响应于所述第一样本图像块的第二分类概率分布中的最大概率大于概率阈值，且所述最大概率所属的分类与所述第一样本图像块所属的有效分类不匹配，将所述第一样本图像块的分类标签设置为所述干扰分类；

响应于所述第一样本图像块的第二分类概率分布中的最大概率不大于所述概率阈值，将所述第一样本图像块的分类标签设置为所述无意义分类。

12.根据权利要求9所述的方法，其特征在于，所述通过第一分类模型对第一样本图像块进行处理之前，还包括：

通过所述第一分类模型对第二样本图像块进行处理，获得所述第二样本图像块的第二分类概率分布；所述第一样本图像块是第二样本医疗图像中的图像块；

基于所述第二样本图像块的第二分类概率分布，以及所述第二样本图像块所属的有效分类，对所述第一分类模型进行参数更新。

13.根据权利要求9所述的方法，其特征在于，所述通过第二分类模型对所述第一样本图像块进行处理之前，还包括：

基于特征提取网络构建所述第二分类模型；所述特征提取网络是所述第一分类模型中除了输出层之外的模型部分。

14.一种图像处理装置，其特征在于，所述装置包括：

第一图像块提取模块，用于从目标医疗图像中提取至少一个第一图像块；

第一分类模块，用于将至少一个所述第一图像块的图像特征映射至第一分类空间，获得至少一个所述第一图像块各自的第一分类概率分布；所述第一分类概率分布中的分类包括医疗领域的至少两个有效分类和至少一个无效分类；

第二图像块提取模块，用于基于目标图像块在所述目标医疗图像中的位置，从所述目标医疗图像中提取至少一个第二图像块；所述第二图像块与所述目标图像块之间的距离小于距离阈值；所述目标图像块属于至少一个所述第一图像块，且所述目标图像块的第一分类概率分布指示所述目标图像块的分类为所述有效分类；

第二分类模块，用于将至少一个所述第二图像块的图像特征映射至所述第一分类空间，获得至少一个所述第二图像块各自的第一分类概率分布；

第三分类模块，用于基于至少一个所述第二图像块各自的第一分类概率分布，获取所述目标医疗图像的图像分类。

15.一种图像处理装置，其特征在于，所述装置包括：

第一处理模块，用于通过第一分类模型对第一样本图像块进行处理，获得所述第一样本图像块的第二分类概率分布；所述第二分类概率分布中的分类包括医疗领域的至少两个有效分类；所述第一样本图像块是第一样本医疗图像中的图像块；

标签设置模块，用于基于所述第一样本图像块的第二分类概率分布，以及所述第一样本图像块所属的有效分类，对所述第一样本图像块设置分类标签；所述分类标签用于指示所述第一样本图像块的分类为至少两个所述有效分类以及至少一个无效分类中的一个；

第二处理模块，用于通过第二分类模型对所述第一样本图像块进行处理，获得所述第一样本图像块的第一分类概率分布；所述第一分类概率分布中的分类包括至少两个所述有效分类和至少一个所述无效分类；

第一参数更新模块，用于基于所述第一样本图像块的第一分类概率分布，以及所述第一样本图像块的分类标签，对所述第二分类模型进行参数更新，以获得图像分类模型；

所述图像分类模型用于执行如权利要求1至8任一所述的方法中，将图像块的图像特征映射至第一分类空间的步骤。

16.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如权利要求1至13任一所述的图像处理方法。

17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现如权利要求1至13任一所述的图像处理方法。

18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令由计算机设备的处理器读取并执行，使得所述计算机设备执行如权利要求1至13任一所述的图像处理方法。

Images