CN111462005B - 处理显微图像的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请是关于一种处理显微图像的方法、装置、计算机设备及存储介质，涉及图像处理技术领域。该方法包括：获取目标切片的原始显微图像；通过图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对；基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像，本方案通过人工智能AI对原始显微图像进行处理即可以实现去模糊效果，不需要输入其它先验知识，因此不会受到先验知识不足对处理准确性的影响，从而能够提高对显微图像的去模糊处理的准确性。

Description

处理显微图像的方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种处理显微图像的方法、装置、计算机设备及存储介质。

背景技术

随着医学辅助技术的不断发展，病理显微镜可以高效地获取当前病理切片的数字病理图像，为医务人员的临床诊断提供了极大的便利。

由于医务人员视力差异，手动对焦后的显微图像对于病理显微镜来说常常并未准确对焦，因此，对手动对焦后的显微图像进行去模糊处理的需求也越来越高。在相关技术中的一种去模糊处理方案中，可以将待处理的图像以及偏移矩阵输入生成对抗网络，由生成对抗网络根据该待处理的图像和偏移矩阵生成去模糊后的图像，从而实现图像的去模糊处理。其中，上述偏移矩阵与待处理的图像具有同样维度，其记录了每个像素点偏移焦点的距离。

然而，相关技术中的方案需要一定的先验知识(即上述偏移矩阵)，而偏移矩阵设置的准确性对去模糊的效果有很大的影响，导致上述方案的去模糊处理的准确性较差。

发明内容

本申请实施例提供了一种处理显微图像的方法、装置、计算机设备及存储介质，可以提高对显微图像的去模糊处理的准确性，该技术方案如下：

一方面，提供了一种处理显微图像的方法，所述方法包括：

获取目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行图像采集获得的图像；

通过图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对，所述对焦图像是焦点位于样本切片处时采集的原始显微图像，所述离焦图像是焦点偏离所述样本切片时采集的原始显微图像；

基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像。

一方面，提供了一种处理显微图像的装置，该装置包括：

原始图像获取模块，用于获取目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行图像采集获得的图像；

第一图像处理模块，用于通过图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对，所述对焦图像是焦点位于样本切片处时采集的原始显微图像，所述离焦图像是焦点偏离所述样本切片时采集的原始显微图像；

去模糊图像获取模块，用于基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像。

在一种可能的实现方式中，所述第一图像处理模块，用于，

将所述目标切片的原始显微图像的尺寸由原始尺寸调整为标准尺寸，得到所述目标切片的标准尺寸显微图像；

通过所述图像处理模型对所述目标切片的标准尺寸显微图像进行处理，得到所述目标切片的处理后图像。

在一种可能的实现方式中，所述去模糊图像获取模块，用于，

将所述目标切片的处理后图像的尺寸调整为所述原始尺寸，得到所述目标切片的去模糊显微图像；

或者，

将所述目标切片的处理后图像作为所述目标切片的去模糊显微图像。

在一种可能的实现方式中，所述标准尺寸是所述对焦图像以及所述离焦图像的图像尺寸。

在一种可能的实现方式中，所述装置还包括：

第二图像处理模块，用于在所述原始图像获取模块获取目标切片的原始显微图像之前，通过所述图像处理模型对所述离焦图像进行处理，得到所述样本切片的处理后图像；

差异信息获取模块，用于获取所述对焦图像与样本切片的处理后图像之间的图像差异信息；

参数更新模块，用于基于所述图像差异信息对所述图像处理模型中的模型参数进行更新。

在一种可能的实现方式中，所述训练样本集中的各个图像的图像属性是指定图像属性；

所述第一图像处理模块，用于，

获取所述目标切片的原始显微图像的图像属性；

响应于所述目标切片的原始显微图像的图像属性属于所述指定图像属性，通过所述图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像。

在一种可能的实现方式中，所述图像属性包括图像类型以及放大倍数区间中的至少一项；

所述图像类型用于指示对应的显微图像所属的病理分析技术类型；

所述放大倍数区间用于指示对应的显微图像被采集时，显微镜的放大倍数所在的区间范围。

在一种可能的实现方式中，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成正相关；

或者，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成负相关；

或者，

所述训练样本集中，各种离焦量对应的图像对的数量相同。

在一种可能的实现方式中，所述装置还包括：

模糊度信息获取模块，用于基于所述目标切片的原始显微图像，以及所述目标切片的去模糊显微图像，获取所述目标切片的原始显微图像的模糊度信息，所述模糊度信息用于指示所述目标切片的原始显微图像的模糊程度；

输出展示模块，用于对所述模糊度信息进行输出展示。

在一种可能的实现方式中，所述输出展示模块，用于，

将所述模糊度信息输出至显微镜对应的显示屏中的进行展示；

或者，

将所述模糊度信息输出至显微镜的目镜中进行展示。

一方面，提供了一种计算机设备，该计算机设备包含处理器和存储器，存储器中存储由至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述处理显微图像的方法。

一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述处理显微图像的方法。

一方面，提供了一种显微图像处理系统，所述系统包括：显微镜以及图像处理设备；

所述图像处理设备，用于执行上述处理显微图像的方法。

本申请提供的技术方案可以包括以下有益效果：

在对显微图像进行处理的场景下，当获取到目标切片在显微镜视野下的原始显微图像时，通过图像处理模型对原始显微图像进行处理，得到处理后图像，继而得到去模糊图像，由于图像处理模型是通过准确对焦的对焦图像和未准确对焦的离焦图像训练得到的，因此，在应用过程中，对于获取到的目标切片的原始显微图像，通过图像处理模型直接对原始显微图像进行处理即可以实现去模糊效果，不需要输入其它先验知识，因此不会受到先验知识不足对处理准确性的影响，从而能够提高对显微图像的去模糊处理的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请各个实施例涉及的一种图像处理系统构成图；

图2是图1所示实施例涉及的一种显微镜的结构示意图；

图3是本申请一个示例性实施例提供的处理显微图像的方法的流程示意图；

图4是图3所示实施例涉及的模型训练及图像处理框架图；

图5是本申请一个示例性的实施例提供的模型训练及图像处理方法的流程示意图；

图6是图5所示实施例涉及的图像对构成示意图；

图7是图5所示实施例涉及的一种图像处理模型的示意图；

图8是图5所示实施例涉及的一种图像处理的结构图；

图9是图5所示实施例涉及的一种图像处理的示意图；

图10是本申请一个示例性的实施例提供的模型训练及图像处理的流程图；

图11是根据一示例性实施例示出的处理显微图像的装置的结构方框图；

图12是根据一示例性实施例示出的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的“若干个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供一种处理显微图像的方法，可以借助于人工智能(ArtificialIntelligence，AI)技术，实现对原始显微图像进行准确的去模糊处理。为了便于理解，下面对本申请涉及的几个名词进行解释。

1)原始显微图像

在本申请各个实施例中，原始显微图像是在显微镜视野下对切片进行图像采集获得的图像。

其中，上述切片是指放置在显微镜的物镜台上的物理切片。

2)去模糊显微图像

在本申请实施例中，当原始显微图像较为模糊时，对原始显微图像进行一系列的图像处理，得到的清晰的显微图像可以被称为去模糊显微图像。

3)人工智能AI

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请各个实施例所提供的方案主要涉及人工智能的计算机视觉和机器学习等技术。

请参考图1，其示出了本申请各个实施例涉及的一种图像处理系统构成图。如图1所示，该系统包括显微镜120和终端140。可选的，该系统还包括服务器160和数据库180。

显微镜120可以是普通的光学显微镜，显微镜120的操作人员可以通过图像采集组件(比如照相机或者集成有摄像头的其它设备)采集显微镜120的目镜中的显微图像。

例如，上述显微镜120上可以集成有照相暗盒，显微镜120的操作人员可以通过安装在照相暗盒上的照相机拍摄显微镜120的目镜中的显微图像，然后通过照相机中集成的图像输出接口，将照相机拍摄的显微图像导入至终端140或者服务器160。

或者，上述显微镜120也可以是集成有图像采集组件的电子显微镜，该电子显微镜还对外提供图像输出接口，显微镜120的操作人员通过操作电子显微镜的图像采集功能采集显微镜120的目镜中的显微图像，并通过图像输出接口将显微图像导入至终端140。

其中，上述图像输出接口可以是有线接口，比如通用串行总线(Universal SerialBus，USB)接口、高清多媒体接口(High Definition Multimedia Interface，HDMI)接口或者以太网接口等等；或者，上述图像输出接口也可以是无线接口，比如无线局域网(Wireless Local Area Network，WLAN)接口、蓝牙接口等等。

相应的，根据上述图像输出接口的类型的不同，操作人员将照相机拍摄的显微图像导出的方式也可以有多种，比如，通过有线或者短距离无线方式将显微图像导入至终端140，或者，也可以通过局域网或者互联网将显微图像导入至终端140或者服务器160。

终端140中可以安装有获取显微图像的处理结果并呈现的应用程序，终端140获取到显微镜140的目镜中的显微图像后，可以通过上述应用程序获取对显微图像进行处理得到的处理结果，并对处理结果进行呈现，以便医生进行病理诊断等操作。

其中，终端140可以是具有一定的处理能力以及界面展示功能的终端设备，比如，终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。

在图1所示的系统中，终端140和显微镜120是物理上分离的实体设备。可选的，在另一种可能的实现方式中，终端140和显微镜120也可以集成为单个实体设备；比如，显微镜120可以是具有终端140的计算和界面展示功能的智能显微镜，或者，显微镜120可以是具有终端140的计算能力的智能显微镜，该智能显微镜可以通过有线或无线接口输出图像处理结果。

例如，请参考图2，其示出了本申请实施例涉及的一种显微镜的结构示意图。如图2所示，该显微镜120包括图像采集组件120a、液态变焦镜头120b、显微镜目镜120c、增强现实(Augmented Reality，AR)盒子120d、显微镜机身120e等等。

其中，图像采集组件120a可以用于采集显微镜视野下的显微图像；液态变焦镜头120b可以用于对显微镜120的焦距进行变焦控制；显微镜目镜120c可以为用户提供观察物镜台上的切片的显微镜视野；AR盒子120d可以在通过显微镜目镜120c观察的显微镜视野中叠加显示额外的信息，显微镜机身120e用于为上述几种组件提供物理支持，包括结构支撑、电能支持等等。

其中，服务器160是一台服务器，或者由若干台服务器，或者是一个虚拟化平台，或者是一个云计算服务中心。

其中，上述服务器160可以是为终端140或者显微镜120中安装的应用程序提供后台服务的服务器，该后台服务器可以是应用程序的版本管理、对应用程序获取到的显微图像进行后台处理并返回处理结果等等。

上述数据库180可以是Redis数据库，或者，也可以是其它类型数据库。其中，数据库180用于存储各类数据。

可选的，终端140与服务器160之间通过通信网络相连。可选的，显微镜120与服务器160之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。

可选的，该系统还可以包括管理设备(图1未示出)，该管理设备与服务器160之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

本申请各个实施例所示的方案，可以广泛的应用在借助于病理显微镜采集到的显微图像进行辅助病理诊断的各种场景下，提高采集到的显微图像的清晰度，进而提高后续的图像识别和诊断的准确性。也就是说，本申请各个实施例所示的方案，在采集到显微镜视野下的原始显微图像之后，并在提供给后续设备进行识别，或者，在提供给医护人员进行辅助诊断之前，可以对原始显微图像进行去模糊处理，得到更为清晰的显微图像。该方案的实现过程请参考后续的实施例。

请参考图3，其示出了本申请一个示例性的实施例提供的处理显微图像的方法的流程示意图。该处理显微图像的方法可以由图像处理设备执行。该图像处理设备可以单个设备，比如，可以是图1所示系统中的终端140或者服务器160；或者，该图像处理设备也可以是多个设备的集合，比如，该图像处理设备可以包括上述图1所示系统中的终端140和服务器160，即该方法可以由上述图1所示系统中的终端140和服务器160交互执行。如图3所示，该处理显微图像的方法可以包括以下步骤：

步骤310，获取目标切片的原始显微图像，该原始显微图像是在显微镜视野下对切片进行图像采集获得的图像。

在本申请实施例中，目标切片是指放置在显微镜的物镜台上的切片。

比如，在临床医学领域，该目标切片可以是各种类型的细胞切片，包括且不限于苏木精—伊红(Hematoxylin-eosin Staining，HE)染色切片、新柏氏液基细胞学检测(Thinprep Cytologic Test，TCT)切片、以及免疫组织化学(Immunohistochemistry，IHC)切片等等。

步骤320，通过图像处理模型对该目标切片的原始显微图像进行处理，得到该目标切片的处理后图像；该图像处理模型是通过训练样本集进行机器学习训练的模型，该训练样本集中包含由对焦图像和离焦图像组成的图像对，该对焦图像是焦点位于样本切片处时采集的原始显微图像，该离焦图像是焦点偏离该样本切片时采集的原始显微图像。

在本申请实施例中，上述训练样本集中包含若干图像对，每个图像对包含一幅对焦图像，以及该对焦图像对应的离焦图像，也就是说，对焦图像和离焦图像对应相同的样本切片，区别仅在于采集时的焦距不同，其中，对焦图像是在准确对焦的情况，对样本切片进行显微镜视野下的图像采集获得的；而离焦图像是在未能准确对焦的情况下，对样本切片进行显微镜视野下的图像采集获得的。在训练过程中，图像处理模型对离焦图像进行处理和训练，目标是对离焦图像进行处理后，能够尽可能的接近其对应的对焦图像。

在图像处理模型训练完成后，当输入目标切片的原始显微图像未能准确对焦时，图像处理模型对输入的原始显微图像进行处理后，得到的处理后图像能够接近对目标切片准确对焦时采集的显微图像，且图像处理模型训练的越准确性，处理后图像与目标切片准确对焦时采集的显微图像越接近。

步骤330，基于该目标切片的处理后图像，获取该目标切片的去模糊显微图像。

可选的，图像处理设备直接将目标切片的处理后图像作为目标切片的去模糊显微图像。

可选的，图像处理设备在目标切片的处理后图像的基础上进行进一步处理，比如尺寸变换等处理，得到目标切片的去模糊显微图像。

也就是说，在本申请实施例所示的方案涉及模型训练阶段和图像处理阶段。请参考图4，其示出了本申请实施例涉及的模型训练及图像处理框架图。如图4所示，在模型训练阶段，模型训练设备通过显微镜对样本切片410采集得到的图像对(包括对焦图像和离焦图像)，组成训练样本集420，通过训练样本集420进行机器学习训练，得到图像处理模型430；在图像处理阶段，将通过显微镜对目标切片440采集得到的原始显微图像450，图像处理设备将原始显微图像450输入至图像处理模型430，由图像处理模型430输出处理后图像460，再由处理后图像460得到去模糊显微图像470。

基于本申请实施例的上述方案，在一种界面展示方案中，用户(比如医护人员)在对显微镜视野下的图像进行获取的过程中，首先，在显微镜端的显示屏中展示图像采集界面，该图像采集界面中包含目标切片的原始显微图像，该原始显微图像是在显微镜视野下对切片进行图像采集获得的图像，同时也是用户在显微镜视野下对切片进行观察所得的图像；响应于对目标切片的图像获取操作，展示去模糊图像界面，该去模糊图像界面中包含目标切片的去模糊图像，并且，该目标切片的去模糊图像的清晰度高于目标切片的原始显微图像。

其中，上述模型训练设备和图像处理设备可以是同一个设备，或者，模型训练设备和图像处理设备也可以是不同的设备。并且，当模型训练设备和图像处理设备是不同的设备时，模型训练设备和图像处理设备可以是同一类型的设备，比如模型训练设备和图像处理设备可以都是服务器；或者，模型训练设备和图像处理设备也可以是不同类型的设备，比如模型训练设备可以是服务器，而图像处理设备可以是固定式医疗设备或者固定式医疗设备等。本申请实施例对于模型训练设备和图像处理设备的设备类型不做限定。

在本申请上述方案中，原始显微图像可以是通过图像采集组件采集到的显微图像，或者，上述原始显微图像也可以是扫描生成数字切片，比如生成全视野数字切片(WholeSlide Image，WSI)的过程中，通过扫描仪扫描得到的显微图像。

综上所述，本申请实施例所示的方案，在对显微图像进行处理的场景下，当获取到目标切片在显微镜视野下的原始显微图像时，通过图像处理模型对原始显微图像进行处理，得到处理后图像，继而得到去模糊图像，由于图像处理模型是通过准确对焦的对焦图像和未准确对焦的离焦图像训练得到的，因此，在应用过程中，对于获取到的目标切片的原始显微图像，通过图像处理模型直接对原始显微图像进行处理即可以实现去模糊效果，不需要输入其它先验知识，因此不会受到先验知识不足对处理准确性的影响，从而能够提高对显微图像的去模糊处理的准确性。

请参考图5，其示出了本申请一个示例性的实施例提供的模型训练及图像处理方法的流程示意图。该方法可以由模型训练设备和图像处理设备交互执行，其中，该模型训练设备和图像处理设备可以实现为单个计算机设备，也可以分属于不同的计算机设备；其中，该模型训练设备或者图像处理设备可以实现为图1所示系统中的终端或者服务器。如图5所示，该方法可以包括以下步骤：

步骤501，模型训练设备获取训练样本集，该训练样本集中包含由对焦图像和离焦图像组成的图像对。

其中，该对焦图像是焦点位于样本切片处时采集的原始显微图像，该离焦图像是焦点偏离样本切片时采集的原始显微图像。

在本申请实施例中，训练样本集中的每个图像对中的对焦图像和离焦图像，对应同一个样本切片。

在本申请实施例中，开发人员可以通过图2所示的显微镜采集训练样本集。比如，请参考图6，其示出了本申请实施例涉及的图像对构成示意图；如图6所示，开发人员可以首先通过显微镜调整焦距，得到离焦量为0的图像，即对焦图像61，然后通过液态变焦镜头调焦，得到离焦量从-5到+5的各个离焦图像62，各个离焦图像62分别与对焦图像61组合，构成训练样本集中的一个图像对，其中，对焦图像62同时可以作为一个离焦图像，与自身构成一个图像对。

其中，上述图6所示的方案中，相邻的两个离焦量对应的焦距间隔可以由开发人员预先设置，比如，开发人员可以预先设置相邻的两个离焦量对应的焦距间隔为2μm或者3μm等等，且各组相邻的离焦量对应的焦距间隔可以相同，也可以不同；比如，离焦量-5和离焦量-4对应的焦距间隔，与离焦量-4和离焦量-3对应的焦距间隔可以相同，也可以不同；本申请实施例对于各组相邻的离焦量对应的焦距间隔的数值不做限定。

上述图6所示的方案仅以离焦量的范围介于-5到+5之间为例进行说明，可选的，也可以增加更多的离焦量，或者，使用更少的离焦量。

开发人员对于各种不同的样本切片分别进行对焦/离焦图像对的采集后，得到足够数量的图像对，比如，得到数千或者数万个图像对，合并得到上述训练样本集，并将训练样本集输入至模型训练设备中。

步骤502，模型训练设备通过训练样本集进行机器学习训练，得到图像处理模型。

其中，模型训练设备训练得到机器学习模型的过程可以包括如下步骤：

S502a，通过该图像处理模型对该离焦图像进行处理，得到该样本切片的处理后图像。

在本申请实施例中，开发人员可以预先在模型训练设备中，按照设计的模型结构，设置一个图像处理模型，并对该图像处理模型的模型参数进行初始化，后续的模型训练过程就是对该图像处理模型的模型参数进行迭代更新的过程。

S502b，获取该对焦图像与样本切片的处理后图像之间的图像差异信息。

在本申请实施例中，对于训练样本集中的每一个图像对，模型训练设备将该图像对中的离焦图像输入至图像处理模型，由图像处理模型按照当前的模型参数，对离焦图像进行处理，得到处理后图像。

S502c，基于该图像差异信息对该图像处理模型中的模型参数进行更新。

在本申请实施例中，在模型训练过程中，每次图像处理模型针对一个图像对中的离焦图像输出一个处理后图像时，模型训练设备即可以按照处理后图像与图像对中的对焦图像之间的差异，对图像处理模型中的模型参数进行更新，目的是使得更新后的图像处理模型的输出结果更加接近对焦图像。

在本申请实施例中，在模型训练初期，由于模型参数不够准确性，图像处理模型针对一个图像对中的离焦图像输出一个处理后图像，与该图像对中的对焦图像差异较大，随着迭代训练的不断进行，该差异会越来越小，也就是说，处理后图像与对焦图像越来越接近，直至训练达到一定的轮数，或者，在验证集中，处理后图像与对焦图像之间的差异低于预设的差异阈值时，可以认为图像处理模型训练完成，可以用于后续的去模糊处理。

在一种可能的实现方式中，上述图像处理模型可以是编解码深度学习网络模型。

比如，请参考图7，其示出了本申请实施例涉及的一种图像处理模型的示意图。如图7所示，该图像处理模型是一个编解码深度学习网络模型，其包含若干个巻积激活函数层71、卷积层72以及逆卷积激活函数层73，其输入为离焦图像，输出为处理后图像，在模型训练和图像处理过程中，除了离焦图像之外，不需要输入其它先验知识，从而能够避免先验知识的误差对去模糊结果的准确性的干扰，从而保证去模糊的准确性。

其中，上述图7示出了一种可能的编解码深度学习网络模型的模型结构，可选的，该编解码深度学习网络模型的模型结构也可以在图7的基础上做层级的增加或者减少，只要满足对称结构即可。

可选的，对于上述图7所示的模型中，开发人员预先设置训练过程的学习率(比如预先设置为0.0001)、块大小(比如设置为64)、输入输出的图像尺寸(比如设置为1920)以及迭代轮数(比如迭代4000轮)，模型训练设备按照开发人员的设置，通过上述训练样本集进行训练，即可以得到训练完成的图像处理模型。

在一种可能的实现方式中，该训练样本集中的各个图像的图像属性是指定图像属性。模型训练设备在完成根据该训练样本集训练得到图像处理模型之后，可以将图像处理模型存储为该指定图像属性对应的图像处理模型。

在显微图像的应用场景中，对于不同的场景需求，对应的显微图像的图像属性也可能不同，而对于不同的图像属性，其图像去模糊的处理也可能需要不同的模型参数，因此，在本申请实施例中，对于不同的图像属性，模型训练设备可以分别训练该图像属性对应的图像处理模型。

也就是说，在训练样本集的准备阶段，开发人员可以针对每一种图像属性，分别准备对应的训练样本集，然后，在模型训练阶段，模型训练设备分别根据每一种图像属性对应的训练样本集，训练当前图像属性对应的图像处理模型，并且，训练得到的图像处理模型按照各自的图像属性进行对应存储，以便后续模型处理设备有选择的调用某一图像属性对应的图像处理模型进行去模糊处理。

在一种可能的实现方式中，该图像属性包括图像类型以及放大倍数区间中的至少一项。

可选的，该图像类型用于指示对应的显微图像所属的病理分析技术类型。

其中，该病理分析技术类型可以按照病理分析所采用的分析技术来分类，比如，该图像类型可以包括且不限于HE染色类型、TCT类型、以及IHC染色类型等等。

对于不同的病理分析技术，其显微图像的特征差异(比如染色的色值等)可能会比较大，因此，在本申请实施例中，可以针对不同的病理分析技术分别设置不同的图像处理模型，以提高图像处理模型的针对性和准确性。

可选的，该放大倍数区间用于指示对应的显微图像被采集时，显微镜的放大倍数所在的区间范围。

在本申请实施例中，对于显微镜不同的放大倍数，其显微图像的特征差异(比如不同放大倍数下细胞的轮廓形状等)可能会比较大，因此，在本申请实施例中，可以针对不同的显微镜放大倍数区间，分别设置不同的图像处理模型，以提高图像处理模型的针对性和准确性。

比如，以上述图像属性包括图像类型和放大倍数为例，假设图像类型包括HE染色类型、TCT类型、以及IHC染色类型这三种，放大倍数包括400倍和800倍这两种为例，则按照图像类型和放大倍数的组合，模型训练设备可以训练以下表1所示的图像处理模型。

表1

模型	图像类型	放大倍数
			图像处理模型1	HE染色类型	400
图像处理模型2	HE染色类型	800
			图像处理模型3	TCT类型	400
图像处理模型4	TCT类型	800
			图像处理模型5	IHC染色类型	400
图像处理模型6	IHC染色类型	800

在表1所示的模型中，图像处理模型1是通过HE染色类型对应的400的倍放大的图像对(离焦图像+对焦图像)组成的训练样本集训练获得的，相应的，图像处理模型2是通过HE染色类型对应的800的倍放大的图像对(离焦图像+对焦图像)组成的训练样本集训练获得的，以此类推。

在本申请实施例中，不同的图像处理模型，由于各自的训练样本集不同，当其模型结构相同时，其模型参数的数值也可以不同。

可选的，上述不同的图像处理模型，其模型结构可以相同，也可以不同，比如，不同的图像处理模型的模型层数，以及各层的参数尺寸可以不同。

在本申请实施例中，对焦图像或者离焦图像的图像属性可以由开发人员标注在对应图像的属性信息中，由模型训练设备从对焦图像或者离焦图像的属性信息中读取得到。

在一种可能的实现方式中，该训练样本集中，各种离焦量对应的图像对的数量相同。

在一种可能的实现方式中，在训练样本集准备阶段，开发人员可以针对每种离焦量，设置相同或者相近数量的图像对，以使得训练获得的图像处理模型对于各种不同模糊程度的显微图像的去模糊效果趋于统一。

在一种可能的实现方式中，该训练样本集中，对应目标离焦量的图像对的数量与该目标离焦量成正相关。

在一种可能的实现方式中，在训练样本集准备阶段，开发人员可以针对较大的离焦量，设置较多的图像对，以优先保证模糊程度较重的原始显微图像的去模糊效果。

比如，在某些对显微图像的清晰度要求较为宽松的场景下，轻微离焦(比如离焦量在3以下)的原始显微图像在经过图像处理模型的处理后，很容易满足后续的识别和诊断需求，此时，图像处理模型可以着重提高严重离焦(比如离焦量为4或5)的原始显微图像的去模糊效果。在这种情况下，模型训练设备可以对开发人员准备的图像对进行筛选得到训练样本集，以控制训练样本集中对应较大离焦量的图像对占比较高，而对应较小离焦量的图像对占比较低，从而提高图像处理模型对模糊程度较高的原始显微图像的去模糊效果。

在一种可能的实现方式中，该训练样本集中，对应目标离焦量的图像对的数量与该目标离焦量成负相关。

在另一种可能的实现方式中，在训练样本集准备阶段，开发人员可以针对较小的离焦量，设置较多的图像对，以优先保证模糊程度较轻的原始显微图像的去模糊效果。

比如，医护人员在通过显微镜采集原始显微图像时，大多数时候采集到的原始显微图像的模糊度较轻(即轻微离焦)，而只有极少数的原始显微图像的模糊度较重，在某些对显微图像的清晰度要求较高的场景下，需要保证绝大多数原始显微图像的去模糊效果，此时，图像处理模型可以着重提高轻微离焦的原始显微图像的去模糊效果。在这种情况下，模型训练设备可以对开发人员准备的图像对进行筛选得到训练样本集，以控制训练样本集中对应较小离焦量的图像对占比较高，而对应较大离焦量的图像对占比较低，从而提高图像处理模型对模糊程度较轻的原始显微图像的去模糊效果。

在上述图像处理模型训练完成后，模型训练设备即可以将图像处理模型提供给图像处理设备使用。

在一种可能的实现方式中，对于不同的离焦量，模型训练设备可以训练不同的图像处理模型。例如，在训练样本集的准备阶段，开发人员设置每种离焦量或者离焦量区间对应的训练样本子集(也就是说，同一个训练样本子集中的图像对，对应的离焦量或者离焦量区间相同)，在模型训练时，模型训练设备针对每一种离焦量或者离焦量区间对应的训练样本集，训练各种离焦量或者离焦量区间分别对应的图像处理子模型。也就是说，在这种情况下，模型训练设备训练得到的图像处理模型，是由各种离焦量或者离焦量区间分别对应的图像处理子模型构成的。

步骤503，图像处理设备获取目标切片的原始显微图像。

在本申请实施例中，医护人员通过显微镜采集目标切片的显微图像时，显微镜可以首先通过图像采集设备采集得到原始显微图像，然后将原始显微图像发送给图像处理设备。

步骤504，图像处理设备将该目标切片的原始显微图像的尺寸由原始尺寸调整为标准尺寸，得到该目标切片的标准尺寸显微图像。

在一种可能的实现方式中，该标准尺寸是该对焦图像以及该离焦图像的图像尺寸。

在本申请实施例中，为了兼顾训练效果的处理效率，可以将上述标准尺寸设置为训练样本集中的图像的尺寸，后续在图像处理过程中，图像处理设备将输入的原始显微图像的尺寸统一变换为上述标准尺寸，以便图像处理模型直接进行处理。

步骤505，图像处理设备通过该图像处理模型对该目标切片的标准尺寸显微图像进行处理，得到该目标切片的处理后图像。

在一种可能的实现方式中，训练上述图像处理模型所使用的训练样本集中的各个图像的图像属性是指定图像属性时，在获取到目标切片的原始显微图像之后，图像处理设备还获取该目标切片的原始显微图像的图像属性，响应于该目标切片的原始显微图像的图像属性属于该指定图像属性，通过该图像处理模型对该目标切片的原始显微图像进行处理，得到该目标切片的处理后图像。

在本申请实施例中，如果在模型训练阶段，模型训练设备针对不同的图像属性分别训练了不同的图像处理模型，则在图像处理阶段，图像处理设备可以根据获取到的原始显微图像的图像属性，为原始显微图像选择对应的图像处理模型，从而有针对性的对原始显微图像进行去模糊处理，从而提高去模糊的准确性。

比如，以表1所示的各个图像处理模型为例，假设图像处理设备获取到的原始显微图像的图像属性为：HE染色类型，400倍放大，则图像处理设备可以根据该图像属性确定对应的图像处理模型1，并将该原始显微图像输入图像处理模型1进行处理，得到处理后图像。

在本申请实施例中，原始显微图像的图像属性可以由图像处理设备从原始显微图像的属性信息中读取得到。或者，原始显微图像的图像属性也可以由图像处理设备从采集该原始显微图像的显微镜与该显微镜相连的终端中请求得到。

在另一种可能的实现方式中，当图像处理模型是由各种离焦量分别对应的图像处理子模型构成的情况下，在图像处理过程中，图像处理设备将目标切片的原始显微图像分别输入到各种离焦量分别对应的图像处理子模型中，得到各种离焦量分别对应的图像处理子模型输出的图像，并融合各种离焦量分别对应的图像处理子模型输出的图像，得到该目标切片的处理后图像。

比如，请参考图8，其示出了本申请实施例涉及的一种图像处理的结构图，如图8所示，假设图像处理模型80中包含各种离焦量分别对应的图像处理子模型(图8中示出为图像处理子模型80a至图像处理子模型80e)，在图像处理过程中，图像处理设备将目标切片的原始显微图像分别输入图像处理子模型80a至图像处理子模型80e，得到图像处理子模型80a至图像处理子模型80e分别输出的图像(图8中示出为图像1至图像5)，图像处理设备将图像1至图像5融合得到目标切片的处理后图像。

在一种可能的实现方式中，上述融合各种离焦量分别对应的图像处理子模型输出的图像，得到该目标切片的处理后图像，可以是从上述各种离焦量分别对应的图像处理子模型输出的图像中选择清晰度最高的一个图像作为目标切片的处理后图像；或者，上述融合各种离焦量分别对应的图像处理子模型输出的图像，得到该目标切片的处理后图像，也可以是将各种离焦量分别对应的图像处理子模型输出的图像进行加权平均，得到目标切片的处理后图像。

在另一种可能的实现方式中，在图像处理过程中，图像处理设备将目标切片的原始显微图像变化为多种图像尺寸对应的原始显微图像，并将多种图像尺寸对应的原始显微图像分别输入至图像处理模型进行处理，得到多种图像尺寸对应的处理后图像，然后再对多种图像尺寸对应的处理后图像进行融合，得到目标切片的处理后图像。

比如，请参考图9，其示出了本申请实施例涉及的一种图像处理的示意图，如图9所示，图像处理设备将目标切片的原始显微图像变化为5种图像尺寸对应的原始显微图像(图9中示出为原始图像91至原始图像95)，然后将5种图像尺寸对应的原始显微图像分别输入至图像处理模型，得到图像处理模型输出的5种图像尺寸对应的处理后图像(图9中示出为处理后图像91-1至处理后图像95-1)，图像处理设备将图像91-1至原始图像95-1融合得到目标切片的处理后图像。

在一种可能的实现方式中，上述对多种图像尺寸对应的处理后图像进行融合，得到目标切片的处理后图像，可以是从上述各种图像尺寸对应的处理后图像中选择清晰度最高的一个图像作为目标切片的处理后图像；或者，上述对多种图像尺寸对应的处理后图像进行融合，得到目标切片的处理后图像，也可以是将上述各种图像尺寸对应的处理后图像进行加权平均，得到目标切片的处理后图像。

步骤506，图像处理设备将该目标切片的处理后图像的尺寸调整为该原始尺寸，得到该目标切片的去模糊显微图像。

在本申请实施例中，图像处理设备输出目标切片的处理后图像之后，还可以将处理后图像的尺寸调整回原始显微图像对应的原始尺寸，以保持去模糊处理前后的图像尺寸的一致性。

在另一种可能的实现方式中，图像处理设备也可以将该目标切片的处理后图像作为该目标切片的去模糊显微图像。

在本申请实施例中，图像处理设备也可以直接将目标切片的处理后图像作为该目标切片的去模糊显微图像，以保持各个原始显微图像对应的去模糊显微图像的尺寸一致。

在本申请实施例中，图像处理设备获取到目标切片的去模糊显微图像之后，即可以将该目标切片的去模糊显微图像返回给显微镜端，以便显微镜端对该去模糊显微图像进行进一步的识别处理、存储或者展示等。

步骤507，图像处理设备基于该目标切片的原始显微图像，以及该目标切片的去模糊显微图像，获取该目标切片的原始显微图像的模糊度信息。

其中，该模糊度信息用于指示该目标切片的原始显微图像的模糊程度。

在本申请实施例中，图像处理设备在对原始显微图像进行处理得到去模糊显微图像之后，反向估计医护人员在采集原始显微图像时的离焦程度。

在一种可能的实现方式中，该模糊度信息可以通过离焦量来表示。

在另一种可能的实现方式中，该模糊度信息可以通过模糊度等级(比如高、中、低)来表示。

步骤508，图像处理设备对该模糊度信息进行输出展示。

在一种可能的实现方式中，图像处理设备可以将该模糊度信息输出至显微镜对应的显示屏中的进行展示。

在本申请实施例中，显微镜可以对应有显示屏，该显示屏可以是显微镜上自带的显示屏，或者，该显示屏也可以是与显微镜相连的终端(比如个人电脑/医疗设备)上的显示屏。图像处理设备获取到模糊度信息之后，可以将该模糊度信息，对应去模糊显微图像一并发送给显微镜端，由显微镜端通过显示屏进行展示。

在另一种可能的实现方式中，图像处理设备将该模糊度信息输出至显微镜的目镜中进行展示。

在本申请实施例中，当显微镜具有在目镜视野内进行AR显示的功能(比如图2所示的显微镜)时，显微镜可以直接在目镜视野内通过AR显示模糊度信息。

在本申请实施例中，图像处理设备在对原始显微图像进行去模糊处理之后，还可以进一步的根据处理结果得到原始显微图像的模糊度，并将得到的原始显微图像的模糊度反馈给医护端进行输出展示，以提醒医护人员自己的对焦操作的准确性，以便医护人员根据该模糊度以及去模糊显微图像的实际效果，决定是否需要重新对焦并采集显微图像。

比如，图像处理设备对原始显微图像进行处理，并向显微镜端返回去模糊显微图像以及对应的模糊度信息之后，如果模糊度信息指示原始显微图像的模糊度较高，且医护人员对于去模糊显微图像的清晰度依然不满意，可以选择重新调焦以采集更加清晰的原始显微图像；而如果医护人员对于去模糊显微图像的清晰度已经满意，则可以直接采用该去模糊显微图像进行后续的识别、存储或者展示操作。

在本申请实施例上述的方案中，以对通过显微镜实时采集的显微图像进行去模糊处理进行说明，可选的，本申请实施例所示的方案也可以应用于对已有的显微图像进行处理，比如，在对全视野数字切片WSI的扫描过程中，对WSI进行去模糊处理。

综上所述，本申请实施例所示的方案，在对显微图像进行处理的场景下，当获取到目标切片在显微镜视野下的原始显微图像时，通过图像处理模型对原始显微图像进行处理，得到处理后图像，继而得到去模糊图像，由于图像处理模型是通过准确对焦的对焦图像和未准确对焦的离焦图像训练得到的，因此，在应用过程中，对于获取到的目标切片的原始显微图像，通过图像处理模型直接对原始显微图像进行处理即可以实现去模糊效果，不需要输入其它先验知识，因此不会受到先验知识不足对处理准确性的影响，从而能够提高对显微图像的去模糊处理的准确性。

另外，在本申请实施例所示的方案中，在模型训练阶段，模型训练设备针对不同图像属性的训练样本集，训练不同的图像处理模型，在模型应用阶段，图像处理设备在接收到原始显微图像时，根据原始显微图像的图像属性选择对应的图像处理模型进行去模糊处理，进一步提高了显微图像去模糊的准确性。

此外，在本申请实施例所示的方案中，在对原始显微图像进行处理得到去模糊显微图像后，还进一步根据原始显微图像和去模糊显微图像的差异获得原始显微图像的模糊度信息，并将模糊度信息进行输出展示，以便医护人员结合去模糊显微图像和模糊度信息决定是否重新采集原始显微图像，进一步提高显微图像的采集效果。

请参考图10，其示出了本申请一个示例性的实施例提供的模型训练及图像处理的流程图。以模型训练和图像处理过程有服务器侧执行，并将执行结果反馈给显微镜侧为例，如图10所示，该模型训练及图像处理的流程如下：

S1001，服务器根据各种图像属性对应的训练样本集，训练得到各种图像属性分别对应的图像处理模型。

其中，上述每种图像属性对应的图像处理模型，可以是对应所有离焦量的单个模型，也可以包含多种离焦量分别对应的图像处理子模型。

S1002，服务器将各种图像属性分别对应的图像处理模型存储至模型数据库。

S1003，显微镜采集目标切片的原始显微图像，并将原始显微图像及其图像属性发送给服务器。

S1004，服务器根据原始显微图像的图像属性，从模型数据库中查询对应的图像处理模型。

S1005，服务器将原始显微图像进行尺寸变换后输入查询到的图像处理模型，得到处理后图像。

其中，上述尺寸变换可以是指将原始显微图像变换为标准尺寸的单个图像，也可以是将原始显微图像变换为分别对应多种尺寸的多个图像。

当将原始显微图像变换为分别对应多种尺寸的多个图像时，服务器将多个图像分别输入图像处理模型，得到多个尺寸分别对应的处理后图像，并融合得到最终的处理后图像。

当上述图像处理模型包含多种离焦量分别对应的图像处理子模型时，服务器将原始显微图像或者尺寸变换得到的图像分别输入到多种离焦量分别对应的图像处理子模型，并将多种离焦量分别对应的图像处理子模型各自的输出图像融合，得到最终的处理后图像。

S1006，服务器通过尺寸变换，将处理后图像调整为原始显微图像的尺寸，得到去模糊显微图像。

S1007，服务器根据去模糊显微图像和原始显微图像进行模糊度获取，得到原始显微图像的模糊度信息。

S1008，服务器将去模糊显微图像和模糊度信息返回给显微镜端，由显微镜端进行展示。

本申请实施例所示的方案，可以在人工智能AI技术的基础上，结合显微图像的应用场景，来提高对显微图像去模糊的准确性。

在本申请的一个示例性的实施例中，还提供一种显微图像处理系统，该系统包括显微镜以及图像处理设备。

其中，该图像处理设备可以用于执行如上述图3或图5所示的方法中的全部或者部分步骤。

在一种可能的显示方式中，上述显微镜可以是在传统的光学显微镜上整合了计算处理、网络通信、图像采集以及图形显示等功能的智能显微镜。例如，该显微镜可以是图1所示系统中的显微镜120，图像处理设备可以是如图1所示系统中的终端140或者服务器160。

在一种示例性的方案中，图像处理设备可以对外提供软件接口，上述显微镜与图像处理设备之间通过软件接口进行数据交互，即图像处理设备通过软件接口的形式对显微镜提供服务。

比如，上述显微镜可以通过上述软件接口向图像处理设备发送目标切片的原始显微图像，相应的，图像处理设备通过该软件接口接收目标切片的原始显微图像；该图像处理设备通过图像处理模型对该原始显微图像进行去模糊处理后，通过软件接口向显微镜返回目标切片的去模糊显微图像，可选的，还返回模糊度信息。

其中，上述通过图像处理模型对该原始显微图像进行去模糊处理的过程可以参考图5所示实施例中的相关描述，此处不再赘述。

图11是根据一示例性实施例示出的一种处理显微图像的装置的结构方框图。该处理显微图像的装置可以用于计算机设备(比如图1所示的终端和/或服务器)中，以执行图3或图5对应实施例所示的方法的全部或部分步骤。该处理显微图像的装置可以包括：

原始图像获取模块1101，用于获取目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行图像采集获得的图像；

第一图像处理模块1102，用于通过图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对，所述对焦图像是焦点位于样本切片处时采集的原始显微图像，所述离焦图像是焦点偏离所述样本切片时采集的原始显微图像；

去模糊图像获取模块1103，用于基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像。

在一种可能的实现方式中，所述第一图像处理模块1102，用于，

将所述目标切片的原始显微图像的尺寸由原始尺寸调整为标准尺寸，得到所述目标切片的标准尺寸显微图像；

通过所述图像处理模型对所述目标切片的标准尺寸显微图像进行处理，得到所述目标切片的处理后图像。

在一种可能的实现方式中，所述去模糊图像获取模块1103，用于，

将所述目标切片的处理后图像的尺寸调整为所述原始尺寸，得到所述目标切片的去模糊显微图像；

或者，

将所述目标切片的处理后图像作为所述目标切片的去模糊显微图像。

在一种可能的实现方式中，所述标准尺寸是所述对焦图像以及所述离焦图像的图像尺寸。

在一种可能的实现方式中，所述装置还包括：

第二图像处理模块，用于在所述原始图像获取模块1101获取目标切片的原始显微图像之前，通过所述图像处理模型对所述离焦图像进行处理，得到所述样本切片的处理后图像；

差异信息获取模块，用于获取所述对焦图像与样本切片的处理后图像之间的图像差异信息；

参数更新模块，用于基于所述图像差异信息对所述图像处理模型中的模型参数进行更新。

在一种可能的实现方式中，所述训练样本集中的各个图像的图像属性是指定图像属性；

所述第一图像处理模块1102，用于，

获取所述目标切片的原始显微图像的图像属性；

响应于所述目标切片的原始显微图像的图像属性属于所述指定图像属性，通过所述图像处理模型对所述目标切片的原始显微图像进行处理，得到所述目标切片的处理后图像。

在一种可能的实现方式中，所述图像属性包括图像类型以及放大倍数区间中的至少一项；

所述图像类型用于指示对应的显微图像所属的病理分析技术类型；

所述放大倍数区间用于指示对应的显微图像被采集时，显微镜的放大倍数所在的区间范围。

在一种可能的实现方式中，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成正相关；

或者，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成负相关；

或者，

所述训练样本集中，各种离焦量对应的图像对的数量相同。

在一种可能的实现方式中，所述装置还包括：

模糊度信息获取模块，用于基于所述目标切片的原始显微图像，以及所述目标切片的去模糊显微图像，获取所述目标切片的原始显微图像的模糊度信息，所述模糊度信息用于指示所述目标切片的原始显微图像的模糊程度；

输出展示模块，用于对所述模糊度信息进行输出展示。

在一种可能的实现方式中，所述输出展示模块，用于，

将所述模糊度信息输出至显微镜对应的显示屏中的进行展示；

或者，

将所述模糊度信息输出至显微镜的目镜中进行展示。

综上所述，本申请实施例所示的方案，在对显微图像进行处理的场景下，当获取到目标切片在显微镜视野下的原始显微图像时，通过图像处理模型对原始显微图像进行处理，得到处理后图像，继而得到去模糊图像，由于图像处理模型是通过准确对焦的对焦图像和未准确对焦的离焦图像训练得到的，因此，在应用过程中，对于获取到的目标切片的原始显微图像，通过图像处理模型直接对原始显微图像进行处理即可以实现去模糊效果，不需要输入其它先验知识，因此不会受到先验知识不足对处理准确性的影响，从而能够提高对显微图像的去模糊处理的准确性。

另外，在本申请实施例所示的方案中，在模型训练阶段，模型训练设备针对不同图像属性的训练样本集，训练不同的图像处理模型，在模型应用阶段，图像处理设备在接收到原始显微图像时，根据原始显微图像的图像属性选择对应的图像处理模型进行去模糊处理，进一步提高了显微图像去模糊的准确性。

此外，在本申请实施例所示的方案中，在对原始显微图像进行处理得到去模糊显微图像后，还进一步根据原始显微图像和去模糊显微图像的差异获得原始显微图像的模糊度信息，并将模糊度信息进行输出展示，以便医护人员结合去模糊显微图像和模糊度信息决定是否重新采集原始显微图像，进一步提高显微图像的采集效果。

图12是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备可以实现为终端或者服务器，比如，该终端可以是图1所示系统中的终端140，该服务器可以是图1所示系统中的服务器160。

所述计算机设备1200包括中央处理单元(Central Processing Unit，CPU)1201、包括随机存取存储器1202和只读存储器1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。

所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。

计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1201通过执行该一个或一个以上程序来实现图3或图5所示的方法中的全部或者部分步骤。

本申请实施例还提供一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并实现上述如图3或图5所述的方法中的全部或者部分步骤。

本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述图3或图5所述的方法中的全部或者部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图3或图5所述的方法中的全部或者部分步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种处理显微图像的方法，其特征在于，所述显微图像是病理显微镜采集的，所述方法包括：

获取目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行图像采集获得的图像；

获取所述目标切片的原始显微图像的放大倍数区间，所述放大倍数区间用于指示对应的显微图像被采集时，显微镜的放大倍数所在的区间范围；

响应于所述目标切片的原始显微图像的放大倍数区间属于指定放大倍数区间，通过与所述指定放大倍数区间对应的图像处理模型中的图像处理子模型对所述目标切片的原始显微图像进行处理，得到所述图像处理子模型的输出图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述图像处理模型包括多种离焦量分别对应的所述图像处理子模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对，所述训练样本集中的各个图像的放大倍数区间是所述指定放大倍数区间，所述对焦图像是焦点位于样本切片处时采集的原始显微图像，所述离焦图像是焦点偏离所述样本切片时采集的原始显微图像；

融合所述图像处理子模型的输出图像，得到所述目标切片的处理后图像；

基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标切片的原始显微图像的尺寸由原始尺寸调整为标准尺寸，得到所述目标切片的标准尺寸显微图像；

通过所述图像处理模型对所述目标切片的标准尺寸显微图像进行处理，得到所述目标切片的处理后图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像，包括：

将所述目标切片的处理后图像的尺寸调整为所述原始尺寸，得到所述目标切片的去模糊显微图像；

或者，

将所述目标切片的处理后图像作为所述目标切片的去模糊显微图像。

4.根据权利要求2所述的方法，其特征在于，所述标准尺寸是所述对焦图像以及所述离焦图像的图像尺寸。

5.根据权利要求1所述的方法，其特征在于，所述获取目标切片的原始显微图像之前，还包括：

通过所述图像处理模型对所述离焦图像进行处理，得到所述样本切片的处理后图像；

获取所述对焦图像与样本切片的处理后图像之间的图像差异信息；

基于所述图像差异信息对所述图像处理模型中的模型参数进行更新。

6.根据权利要求1所述的方法，其特征在于，所述图像属性包括图像类型和所述放大倍数区间；

所述图像类型用于指示对应的显微图像所属的病理分析技术类型。

7.根据权利要求1所述的方法，其特征在于，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成正相关；

或者，

所述训练样本集中，对应目标离焦量的图像对的数量与所述目标离焦量成负相关；

或者，

所述训练样本集中，各种离焦量对应的图像对的数量相同。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标切片的原始显微图像，以及所述目标切片的去模糊显微图像，获取所述目标切片的原始显微图像的模糊度信息，所述模糊度信息用于指示所述目标切片的原始显微图像的模糊程度；

对所述模糊度信息进行输出展示。

9.一种显微图像展示方法，其特征在于，所述显微图像是病理显微镜采集的，所述方法包括：

展示图像采集界面，所述图像采集界面中包含目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行观察所得的图像；

响应于对所述目标切片的图像获取操作，展示去模糊图像界面，所述去模糊图像界面中包含所述目标切片的去模糊图像，所述目标切片的去模糊图像的清晰度高于所述目标切片的原始显微图像；

其中，所述目标切片的去模糊显微图像是基于所述目标切片的处理后图像获取的；所述目标切片的处理后图像是融合图像处理子模型的输出图像得到的，所述图像处理子模型的输出图像在所述目标切片的原始显微图像的放大倍数区间属于指定放大倍数区间的情况下，通过与所述指定放大倍数区间对应的图像处理模型中的所述图像处理子模型对所述目标切片的原始显微图像进行处理得到的，所述图像处理模型包括多种离焦量分别对应的所述图像处理子模型。

10.一种处理显微图像的装置，其特征在于，所述显微图像是病理显微镜采集的，所述装置包括：

原始图像获取模块，用于获取目标切片的原始显微图像，所述原始显微图像是在显微镜视野下对切片进行图像采集获得的图像；

第一图像处理模块，用于获取所述目标切片的原始显微图像的放大倍数区间；响应于所述目标切片的原始显微图像的放大倍数区间属于指定放大倍数区间，通过与所述指定放大倍数区间对应的图像处理模型中的图像处理子模型对所述目标切片的原始显微图像进行处理，得到所述图像处理子模型的输出图像；所述图像处理模型是通过训练样本集进行机器学习训练的模型，所述图像处理模型包括多种离焦量分别对应的所述图像处理子模型，所述训练样本集中包含由对焦图像和离焦图像组成的图像对，所述训练样本集中的各个图像的放大倍数区间是所述指定放大倍数区间，所述对焦图像是焦点位于样本切片处时采集的原始显微图像，所述离焦图像是焦点偏离所述样本切片时采集的原始显微图像；融合所述图像处理子模型的输出图像，得到所述目标切片的处理后图像；

去模糊图像获取模块，用于基于所述目标切片的处理后图像，获取所述目标切片的去模糊显微图像。

11.一种计算机设备，其特征在于，计算机设备包含处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的处理显微图像的方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的处理显微图像的方法。

13.一种显微图像处理系统，其特征在于，所述系统包括：显微镜以及图像处理设备；

所述图像处理设备，用于执行如权利要求1至9任一所述的处理显微图像的方法。

14.根据权利要求13所述的系统，其特征在于，所述图像处理设备对外提供软件接口；

所述显微镜，用于通过所述软件接口向所述图像处理设备发送目标切片的原始显微图像；

所述图像处理设备，用于通过所述软件接口向所述显微镜返回所述目标切片的去模糊显微图像。

Images