CN113705298A

CN113705298A - 图像采集方法、装置、计算机设备及存储介质

Info

Publication number: CN113705298A
Application number: CN202110269696.8A
Authority: CN
Inventors: 廖俊; 姚建华; 陈旭
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-11-26

Abstract

本申请是关于一种图像采集方法、装置、计算机设备及存储介质，属于人工智能技术领域。该方法包括：获取目标对象对应的第一图像，第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像，图像采集设备与显微镜系统相连，且液态镜头位于图像采集设备与显微镜系统之间，其中，不同镜头状态下液态镜头对应的焦距不同；基于第一图像进行离焦量预测，得到第一图像对应的第一离焦量，第一离焦量用于指示目标对象与显微物镜焦点之间的距离；基于第一镜头状态对第一离焦量进行修正，得到第一图像对应的第二离焦量；基于第二离焦量对液态镜头进行焦距调整，并通过图像采集设备采集目标对象对应的第二图像。可以提高清晰聚焦图像的采集效率。

Description

图像采集方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种图像采集方法、装置、计算机设备及存储介质。

背景技术

随着人工智能的发展，采集清晰聚焦的高质量图片是人工智能进行组织切片或细胞涂片等样本分析的保障，而是否可以采集到清晰聚焦的高质量图片取决于显微镜对焦的准确性。

相关技术中，一般显微镜的自动对焦方法为：通过控制样品平台轴向步进移动微小步长，并每步采集一张图片和记录当前轴向位置，再通过图像清晰度算法来预测最佳焦面，并发送信号使得平台移动到最佳焦面来采集最清晰的图像。

显然，相关技术中的图像采集方法，需要轴向机械扫描和采集多张图像，采集最佳焦面的图像耗时较长，清晰图像获取效率较低。

发明内容

本申请实施例提供了一种图像采集方法、装置、计算机设备及存储介质，可以提高清晰聚焦图像的采集效率，该技术方案如下：

一方面，提供了一种图像采集方法，所述方法包括：

获取目标对象对应的第一图像，所述第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像，所述图像采集设备与显微镜系统相连，且所述液态镜头位于所述图像采集设备与所述显微镜系统之间，其中，不同镜头状态下所述液态镜头对应的焦距不同；

基于所述第一图像进行离焦量预测，得到所述第一图像对应的第一离焦量，所述第一离焦量用于指示所述目标对象与显微物镜焦点之间的距离；

基于所述第一镜头状态对所述第一离焦量进行修正，得到所述第一图像对应的第二离焦量；

基于所述第二离焦量对所述液态镜头进行焦距调整，并通过所述图像采集设备采集所述目标对象对应的第二图像。

另一方面，提供了一种图像采集装置，所述装置包括：

第一获取模块，用于获取目标对象对应的第一图像，所述第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像，所述图像采集设备与显微镜系统相连，且所述液态镜头位于所述图像采集设备与所述显微镜系统之间，其中，不同镜头状态下所述液态镜头对应的焦距不同；

第一预测模块，用于基于所述第一图像进行离焦量预测，得到所述第一图像对应的第一离焦量，所述第一离焦量用于指示所述目标对象与显微物镜焦点之间的距离；

修正模块，用于基于所述第一镜头状态对所述第一离焦量进行修正，得到所述第一图像对应的第二离焦量；

第一调焦模块，用于基于所述第二离焦量对所述液态镜头进行焦距调整，并通过所述图像采集设备采集所述目标对象对应的第二图像。

另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上所述的图像采集方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上所述的图像采集方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像采集方法。

本申请提供的技术方案可以包括以下有益效果：

在通过显微镜系统观察目标对象，并通过图像采集设备采集目标对象对应的图像的应用场景中，在显微镜系统和图像采集设备中增加还液态镜头，通过对图像采集设备采集到的图像进行离焦量预测，并基于预测得到的离焦量调整液态镜头的焦距以补偿该离焦量。通过调节液态镜头的焦距实现清晰图像的采集，可以避免需要人为移动轴向平台校准焦距，从而提高清晰图像的采集效率；此外，为了避免液态镜头处于不同焦距时对离焦量预测准确率的影响，可以基于液态镜头所处的镜头状态对第一离焦量进行修正，从而进一步提高离焦量的预测准确性，进而提高采集到的图像的清晰度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请一个示例性实施例示出的实施环境的示意图；

图2是本申请一个实施例所提供的显微镜系统的结构示意图；

图3是本申请另一个实施例所提供的显微镜系统的结构示意图；

图4示出了本申请一个示例性实施例示出的图像采集方法的流程图；

图5是通过液态镜头调焦前后所采集的图像；

图6示出了本申请另一个示例性实施例示出的图像采集方法的流程图；

图7是本申请一个示例性实施例示出的预测误差曲线的示意图；

图8示出了本申请一个示例性实施例示出的预测误差曲线的确定方法的流程图；

图9示出了本申请另一个示例性实施例示出的图像采集方法的流程图；

图10示出了本申请另一个示例性实施例示出的图像采集方法的流程图；

图11示出了自动对焦和图像分析的工作流程图；

图12示出了本申请一个示例性实施例示出的离焦量预测模型的训练方法的流程图；

图13示出了本申请一个示例性实施例示出的离焦量曲线示意图；

图14示出了本申请一个示例性实施例示出的离焦量预测模型的示意图；

图15示出了本申请一个示例性实施例示出的离焦量预测模型对应的离焦量预测结果；

图16示出了本申请一个示例性实施例示出的图像采集装置的结构方框图；

图17示出了本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了便于理解，下面对本申请涉及的名词进行解释。

1)离焦量：指示物体距离透镜焦点之间的距离，本实施例中，离焦量指示目标对象或样本对象距离显微物镜焦点之间的距离。

2)液态镜头：指使用一种或多种液体制成的无机械连接的光学元件，可以通过外部控制改变光学元件的内部参数。也就是说，透镜的介质由玻璃变为液体，更准确地说一种动态调整透镜折射率或通过改变其表面形状来改变焦距的新型光学元件。液态镜头具有变焦能力，通过施加不同的电压来改变液态镜头的焦距。本申请实施例中，在显微镜系统中增加液态镜头，通过调整焦距来补偿不同的离焦量。

3)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

需要说明的是，本申请实施例主要涉及到人工智能技术领域中的计算机视觉技术和机器学习技术。

本申请实施例提供了一种图像采集方法，请参考图1，其示出了本申请一个示例性实施例示出的实施环境的示意图。如图1所示，该实施环境中至少包括：显微镜系统110和计算机设备120。

显微镜系统110是具备图像观察功能的光学仪器。其可以是具备自动调焦能力的传统显微镜，也可以是具备特定功能的显微镜，示意性的，增强现实显微镜。本申请实施例中，显微镜系统110可以与计算机设备120具备网络连接关系，使得显微镜系统110中由图像采集设备(相机)采集到的图像可以发送至计算机设备120中进行图像分析和处理，比如，计算机设备120可以通过分析相机端口采集到的图像，预测出当前物体对应的离焦量。

其中，与传统显微镜相比，本申请实施例中所应用的显微镜系统110中额外增加有变焦透镜，该变焦透镜用于补偿离焦量，进而通过焦距调节来提高相机端口采集到的图像的清晰度。可选的，该变焦透镜可以是液态镜头。

如图2，其是本申请一个实施例所提供的显微镜系统的结构示意图。如图2所示，显微镜系统110可以包括：载物台201、显微物镜202、三目镜筒204、三目镜筒中的管镜203、显微目镜205、图像采集设备(相机)206、液态镜头207等，箭头表示光束传播方向。示意性的，待观测物体放置于载物台201上，透过待观测物体的光线进入显微物镜202，进入显微镜平行光路，随后光线进入三目镜筒204，经过管镜203后将由三目镜筒204内的分光棱镜(图中未示出)将光线分别导入显微目镜205和相机206，不同于传统显微镜，在光线进入相机206之前，还需要经过液态镜头207。由于在相机206前加入有液态镜头207进行变焦调节，可以通过对液态变焦镜头的变焦调节，提高相机206采集到的图像的清晰度。

可选的，为了避免由于液态镜头变焦导致视野倍数缩放，基于图2的显微镜系统结构示意图，增加了远心系统，以降低变焦所带来的视野倍数缩放。示意性的，如图3所示，远心系统由透镜301和透镜302组成，其中，液态镜头207放置在透镜301和后焦面以及透镜302的前焦面，该结构可以大幅降低液态镜头变焦带来的视野倍数缩放，同时可以给整个光学系统带来最小的相差。可选的，该透镜301和透镜302可以由透镜组构成。

计算机设备120是用于进行图像处理的设备。本实施例中，该计算机设备120可以与显微镜系统110中的图像采集设备相连，以便图像采集设备将采集到的图像发送给计算机设备120进行图像分析和处理；同时，计算机设备120也可以与显微镜系统110中的液态镜头相连，当计算机设备120基于图像分析出当前离焦量后，可以基于该当前离焦量确定出液态镜头所需要调整的电流，并向液态镜头发送目标电信号，以便液态镜头基于该目标电信号进行焦距调整。

可选的，显微镜系统110还可以与其他图像处理设备相连，用于进行其他图像分析任务，比如，对象识别、区域检测等任务。

请参考图4，其示出了本申请一个示例性实施例示出的图像采集方法的流程图，本申请实施例以该方法应用于图1所示的计算机设备为例进行说明，该方法包括：

步骤401，获取目标对象对应的第一图像，第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像。

其中，图像采集设备与显微镜系统相连，且液态镜头位于图像采集设备与显微镜系统之间，其中，不同镜头状态下液态镜头对应的焦距不同。

可选的，通过对液态镜头施加不同电信号，可以使得液态镜头处于不同镜头状态下，比如，可以通过向液态镜头施加不同电压信号，改变液态镜头的镜头状态，也即改变液态镜头的焦距；或向液态镜头施加不同电流信号，改变液态镜头的镜头状态，也即改变液态镜头的焦距。

其中，目标对象可以是组织切片、细胞涂片等。示意性的，将目标对象放置在显微镜系统中的载物平台上，用户可以通过调整显微物镜与载物平台之间的距离，并通过显微目镜观察目标对象，同时与显微镜系统相连的图像采集设备也可以实时采集目标对象对应的图像。

由于不同用户的视力程度不同，图像采集设备(比如，相机)相对于人眼有更浅的焦深，人眼有一定的屈光调节能力、或者相机端原本就未调节到与显微目镜端齐焦，使得当用户从显微目镜端口观测目标对象并调节至清晰状态时，图像采集设备采集到的图像不一定是准确对焦的，即图像采集设备采集到的图像可能是模糊的，为了提高图像采集设备的清晰度，本实施例中，通过在图像采集设备与显微镜系统之间增加液态镜头，利用液态镜头的变焦能力来补偿图像的离焦量，以便在无需调整载物平台的情况下，使得图像采集设备可以采集到较清晰的图像。

在一种可能的实施方式中，用户将目标对象放置在载物平台上，目标对象对应的光线通过显微物镜进入显微镜平行光路，随后光线进入显微镜三目镜筒，经过管镜后由三目镜筒内的分光棱镜将光线分别导入目镜和图像采集设备(相机)，其中，当光线进入图像采集设备之前，还需要经过液态镜头。示意性的，该液态镜头可以处于零焦距状态或非零焦距状态。

步骤402，基于第一图像进行离焦量预测，得到第一图像对应的第一离焦量，第一离焦量用于指示目标对象与显微物镜焦点之间的距离。

为了提高图像采集设备采集到的图像清晰度，在一种可能的实施方式中，需要预测出采集第一图像时，目标对象所对应的离焦量，进而可以通过调整液态镜头的焦距补偿该离焦量。

其中，对第一图像进行离焦量预测的方法可以是：设置有离焦量预测模型，通过将第一图像输入该离焦量预测模型中，由离焦量预测模型对第一图像进行离焦量预测，从而输出第一图像对应的第一离焦量。

可选的，也可以通过图像分析算法计算出第一图像对应的清晰度，基于清晰度与离焦量之间的关系，确定第一图像对应的第一离焦量。示意性的，该图像分析算法可以是布伦纳梯度(Brenner Gradient)算法，也可以是其他算法，比如，图像对比度、基于交叉熵的算法、基于拉普拉斯变化的算法、于小波变换的图像清晰度对比算法等等。

步骤403，基于第一镜头状态对第一离焦量进行修正，得到第一图像对应的第二离焦量。

由于在图像采集设备与显微镜系统之间的光路中插入可液态镜头，若液态镜头处于不同镜头状态下(对应不同焦距)，可能会导致基于第一图像预测出的第一离焦量与真实离焦量之间存在一定误差，为了进一步提高调焦准确性，进而提高采集图像的清晰度，在一种可能的实施方式中，基于液态镜头所对应的第一镜头状态对第一离焦量进行修正，以避免液态镜头处于非零值时对图像离焦量预测准确性的影响。

步骤404，基于第二离焦量对液态镜头进行焦距调整，并通过图像采集设备采集目标对象对应的第二图像。

在一种可能的实施方式中，当确定出较精确的第二离焦量后，可以基于该第二离焦量来调整液态镜头的焦距，使得可以通过处于预设焦距的液态镜头来补偿当前离焦位置，避免需要人为或自动移动载物平台来改变目标对象与显微物镜焦点之间的距离；当液态镜头进行焦距调整后，可以通过图像采集设备继续采集目标对象对应的第二图像。

示意性的，第二图像的清晰度应该高于第一图像。如图5所示，其是通过液态镜头调焦前后所采集的图像。其中，第一图像501是液态镜头调焦之前采集到的第一图像，第二图像502是液态镜头调焦之后采集到的第二图像。

可选的，为了避免单次调焦操作有误而影响后续采集到的图像清晰度，可以实时对采集到的图像进行离焦量预测和修正，并基于修正后的离焦量对液态镜头进行焦距调整，从而保证图像采集设备采集到的图像清晰度。

综上所述，本申请实施例中，在通过显微镜系统观察目标对象，并通过图像采集设备采集目标对象对应的图像的应用场景中，在显微镜系统和图像采集设备中增加还液态镜头，通过对图像采集设备采集到的图像进行离焦量预测，并基于预测得到的离焦量调整液态镜头的焦距以补偿该离焦量。通过调节液态镜头的焦距实现清晰图像的采集，可以避免需要人为移动轴向平台校准焦距，从而提高清晰图像的采集效率；此外，为了避免液态镜头处于不同焦距时对离焦量预测准确率的影响，可以基于液态镜头所处的镜头状态对第一离焦量进行修正，从而进一步提高离焦量的预测准确性，进而提高采集到的图像的清晰度。

在一种可能的实施方式中，在对第一离焦量进行修正时，可以预先测试得到液态镜头处于不同镜头状态下，预测离焦量和实际离焦量之间的误差，进而在应用过程中，可以基于测量误差对预测离焦量进行修正。

在一个示例性的例子中，如图6所示，其示出了本申请另一个示例性实施例示出的图像采集方法的流程图，本申请实施例以该方法应用于图1所示的计算机设备为例进行说明，该方法包括：

步骤601，获取目标对象对应的第一图像，第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像。

步骤601的实施方式可以参考步骤401，本实施例在此不做赘述。

步骤602，将第一图像输入离焦量预测模型中，得到离焦量预测模型输出的第一离焦量。

在一种可能的实施方式中，计算机设备中预先存储有预先训练的离焦量预测模型，在应用阶段，可以将获取到的第一图像输入该离焦量预测模型中，从而可以得到离焦量预测模型输出的第一离焦量。

其中，离焦量预测模型是由样本离焦图像和该样本离焦图像对应的标注离焦量训练得到。示意性的，该离焦量预测模型可以使用现有的成熟神经网络进行迁移学习，也可以重新训练自由搭建的神经网络，比如，该离焦量预测模型可以采用AlexNet、MobileNetV3、InceptionV3、ResNet50等神经网络，本实施例对此不构成限定。

由于显微镜系统一般存在不同倍数的显微物镜，比如，10倍、50倍的，若在模型训练过程中仅采集同一物镜倍数下的样本离焦图像进行训练，训练得到的离焦量预测模型可能仅在该物镜倍数下有较高的准确率，为了进一步提高离焦量预测的准确性，在一种可能的实施方式中，在模型训练过程中可以针对不同物镜倍数分别训练不同的离焦量预测模型，并将不同物镜倍数和离焦量预测模型关联存储在计算机设备中，在模型应用过程中，当进行离焦量预测时，可以首先获取采集第一图像时显微镜系统对应的显微物镜倍数，并基于该显微物镜倍数查找到对应的离焦量预测模型，以便通过该离焦量预测模型对第一图像进行离焦量预测。

由于离焦量预测的准确性会影响后续调焦过程，为了避免偶然因素导致离焦量预测有误，在一种可能的实施方式中，通过对第一图像进行分割处理，并对分割后的各个图像均进行离焦量预测，得到多个候选离焦量，进而基于多个候选离焦量确定出第一离焦量，可以进一步提高离焦预测的准确性和稳定性。

在一个示例性的例子中，对第一图像进行离焦量预测的过程可以包括以下步骤：

一、对第一图像进行图像分割，得到至少两张子图像。

通过将第一图像进行图像分割，得到多张子图像，以便后续基于多张子图像进行离焦量预测，从而避免单张图像进行离焦量预测可能出现的偶然误差。

可选的，可以对第一图像进行均等分割，得到大小相同的多张子图像，从而避免引入不必要的干扰。

示意性的，若第一图像的图片大小为2048*2048*3，其中，2048*2048表示第一图像长和宽各包括的像素点数量，“3”表示该第一图像为三通道图像；可以将第一图像均匀间隔切出9张672*672*3大小的图像，再将图像调整大小到224*224*3，并分别将9张图像分别输入离焦量预测模型中进行离焦量预测，从而得到离焦量预测模型分别输出的9个候选离焦量。

可选的，为了避免在图像分割过程中取中空白区域，可以设定图像方差阈值来判别该子图像是否为空白区域，若是空白区域则不进行离焦量预测。

二、将各张子图像分别输入离焦量预测模型中，得到离焦量预测模型输出的至少两个候选离焦量。

将各张子图像分别输入离焦量预测模型中，分别进行离焦量预测，从而得到离焦量预测模型输出的各个子图像对应的候选离焦量。

三、基于各个候选离焦量，确定第一图像对应的第一离焦量。

为了避免偶然误差，对多个候选离焦量进行取平均值的操作，从而确定出第一图像对应的第一离焦量。可选的，也可以基于不同子图像在第一图像中的位置，为不同子图像设置不同权重，从而基于各个子图像对应的候选离焦量和权重，求得第一图像对应的第一离焦量。

可选的，为了避免存在某个候选离焦量较大或较小，而影响第一离焦量的预测，可以首先去除候选离焦量中的最大离焦量和最小离焦量，再对剩余候选离焦量进行取平均值的操作，从而得到第一图像对应的第一离焦量。

示意性的，示意性的，离焦量预测模型输出的候选离焦量可以是：A1＝-30.00μm、A2＝-30.02μm、A3＝-30.04μm、A4＝-25.6μm、A5＝-30.02μm、A6＝-30.04μm、A7＝-30.02μm、A8＝-31.08μm、A9＝-30.02μm。剔除候选离焦量A8和候选离焦量A4，对剩余候选离焦量进行取平均值操作，可以得到第一图像对应的第一离焦量为：30.02μm。

步骤603，确定第一电流，其中，不同电流作用下液态镜头处于不同镜头状态，且第一电流作用下液态镜头处于第一镜头状态。

在一种可能的实施方式中，在基于液态镜头的镜头状态对离焦量进行修正时，可以预先测得不同镜头状态下的离焦量预测误差，再基于进行离焦量预测时液态镜头所处的第一镜头状态，确定当前离焦量预测误差，进而基于该离焦量预测误差对预测离焦量进行修正，而由于液态镜头的镜头状态是通过施加不同电压信号或电流信号而改变的，也即电流与镜头状态存在一一对应的关系，对应可以预先测得不同电流对应的预测误差曲线，以便在应用过程中，通过确定使得液态镜头处于第一镜头状态时所对应的第一电流，再基于第一电流和预测误差曲线的对应关系进行离焦量修正。

可选的，也可以预先测得不同电压信号对应的预测误差曲线，以便在实际应用过程中查找当前镜头状态(第一镜头状态)所对应的第一电压，并基于该第一电压确定第一预测误差曲线，进而基于该第一预测误差曲线对第一离焦量进行修正。

步骤604，确定第一电流对应的第一预测误差曲线，不同电流对应不同预测误差曲线，预测误差曲线用于指示预测离焦量和实际离焦量之间的关系。

由于在对离焦量预测模型进行训练过程中，所采集到的样本离焦图像均是液态镜头处于预设镜头状态下(对应预设电流)所采集到的，比如，液态镜头处于零位，而在实际应用过程中，可能当前液态镜头并非处于零位，这种情况下若直接使用液态镜头处于预设镜头状态下采集到的数据所训练出的离焦量预测模型进行离焦量预测，可能存在不可忽略的误差，为了避免这种误差，可以在每次进行离焦量预测时，先将液态镜头调节至预设镜头状态时再进行离焦量预测。示意性的，该预设镜头状态可以是液态镜头焦距为零的状态。

显然，采用对液态镜头进行提前调节的操作可以避免上述误差，但是该操作会使得每次进行离焦量预测时均需要进行液态镜头调节，操作比较耗时，且图像采集设备在预览图像时，如果液态镜头频繁的回归零位会造成图像的频繁缩放，从而影响对焦过程的连贯性，因此，为了既可以降低液态镜头非零位时所产生的误差，也可以避免对液态镜头的归零处理，本实施例中，通过预先针对性的测出了液态镜头在不同镜头状态(对应不同电流)时所对应的离焦量预测误差，从而在离焦量预测过程中，可以基于预先测得的离焦量预测误差对离焦量进行修正。

其中，计算机设备中预先存储有不同电流对应的预测误差曲线，该预测误差曲线用于指示当液态镜头处于该电流作用下，预测离焦量和实际离焦量之间的关系。对应的，在基于第一镜头状态对第一离焦量进行修正时，可以首先基于该第一镜头状态确定第一电流，进而基于该第一电流查找对应的第一预测误差曲线，再基于该第一预测误差曲线对第一离焦量进行修正。

步骤605，基于第一离焦量和第一预测误差曲线，确定第一图像对应的第二离焦量。

在一种可能的实施方式中，当确定出第一电流对应的第一预测误差曲线后，基于预测误差曲线所指示的预测离焦量和实际离焦量之间的关系，即可以得到修正后的第二离焦量。

示意性的，如图7所示，其是本申请一个示例性实施例示出的预测误差曲线的示意图。其中，横坐标为实际离焦量，纵坐标为实际离焦量和预测离焦量之间的差值(即离焦量预测误差)。若第一电流为-120mA，第一离焦量为-57.00μm，基于第一电流可以查找到-120mA对应的第一预测误差曲线，再基于第一离焦量和第一预测误差曲线可以确定出交点为a，从而确定出离焦量预测误差为2μm，对应的，基于该离焦量预测误差和第一离焦量，可以得到第二离焦量为-55μm。

步骤606，响应于不存在第一电流对应的第一预测误差曲线，确定第二电流对应的第二预测误差曲线和第三电流对应的第三预测误差曲线，第一电流位于第二电流和第三电流之间。

若可以基于第一电流查找到对应的预测误差曲线，则直接基于预测误差曲线对第一离焦量进行修正，由于无法保证实际应用过程中液态镜头焦距所对应的电流均存在预测误差曲线，若不存在第一电流对应的预测误差曲线，为了使得还可以基于第一电流对第一离焦量进行修正，在一种可能的实施方式中，可以基于相邻电流对应的预测误差曲线拟合得到该第一电流对应的预测误差曲线，从而对第一离焦量进行修正。示意性的，可以基于第一电流和已存在预测误差曲线，确定出第二预测误差曲线和第三预测误差曲线，继而根据第二预测误差曲线和第三预测误差曲线对第一离焦量进行修正。

示意性的，若第一电流为100mA，由图7可知，不存在100mA对应的预测误差曲线，而已存在与第一电流相邻的预测误差曲线为-120mA和-90mA分别对应的预测误差曲线，对应，可以将-120mA对应的预测误差曲线确定为第二预测误差曲线，以及将-90mA对应的预测误差曲线确定为第三预测误差曲线。

步骤607，基于第二预测误差曲线和第三预测误差曲线，确定第一离焦量对应的第三离焦量和第四离焦量。

在一种可能的实施方式中，可以基于第一离焦量和第二预测误差曲线，确定出第三离焦量，并基于第一离焦量和第三预测误差曲线，确定出第四离焦量，再基于第三离焦量和第四离焦量预估出第二离焦量。

步骤608，基于第三离焦量和第四离焦量，确定第一图像对应的第二离焦量。

其中，可以将第三离焦量和第四离焦量的平均值确定为第二离焦量；或基于第一电流与第二电流或第三电流之间的差异关系，确定出第三离焦量和第四离焦量对应的权重，再求得第三离焦量和第四离焦量对应的加权平均值，从而计算得到第二离焦量。

示意性的，如图7所示，若第一离焦量为-40μm，基于第一离焦量和第二预测误差曲线(-120mA)，确定出点b，点b对应的离焦量预测误差为-1.75μm，基于第一离焦量和第三预测误差曲线(-90mA)，确定出点c，点c对应的离焦量预测误差为0.9μm，可以确定出第一电流(-100mA)对应的离焦量预测误差为-0.85μm，对应的，确定出第二离焦量为-40.85μm。

步骤609，基于第二离焦量对液态镜头进行焦距调整，并通过图像采集设备采集目标对象对应的第二图像。

在一个示例性的例子中，基于第二离焦量对液态镜头进行焦距调整的过程可以包括以下步骤：

一、基于第二离焦量和预设关系表，查找第二离焦量对应的目标电流，预设关系表指示离焦量和液态镜头所需调节电流之间的关系。

由于液态镜头是通过施加不同电场实现焦距调整的，因此，计算机设备中预先存储有不同离焦量和液态镜头所需调节电流之间的对应关系，对应的，在基于第二离焦量进行焦距调整过程中，可以基于第二离焦量去预设关系表中查找，从而得到液态镜头补偿第二离焦量所需要施加的目标电流。

示意性的，离焦量和电流之间的关系可以如表一所示。

表一

离焦量/μm	电流/mA
		M1	A1
M2	A2
		…	…

二、基于目标电流向液态镜头发送目标电信号，液态镜头基于目标电信号进行焦距调整。

在一种可能的实施方式中，当计算机设备确定出所需要调整的目标电流后，可以向液态镜头发送目标电信号，对应的，液态镜头在该目标电信号作用下改变当前焦距，实现通过调整液态镜头焦距补偿离焦量的目的。

对应的，当液态镜头进行焦距调整后，图像采集设备可以继续采集目标对象对应的第二图像，从而得到较为清晰的对焦图像。

本实施例中，通过预先测得液态镜头处于不同电流时，预测离焦量和实际离焦量之间的关系，使得在实际应用过程中，可以基于液态镜头的当前镜头状态对第一离焦量进行修正，从而提高预测离焦量的准确性，进而提高焦距调整的准确性；此外，通过对第一图像进行图像分割处理，从而对分割得到的多个子图像分别进行离焦量预测，避免对单张图像进行离焦量预测时可能出现的偶然误差，从而进一步提高离焦量预测的准确性。

在一种可能的应用场景中，在离焦量预测模型训练完成后，为了进一步提高离焦量预测的准确性，通过测量液态镜头处于不同电流作用下，预测离焦量和实际离焦量之间的关系，从而拟合得到预测误差曲线，用于在实际应用过程中，基于该预测误差曲线对离焦量预测模型输出的预测离焦量进行误差修正。

如图8所示，其示出了本申请一个示例性实施例示出的预测误差曲线的确定方法的流程图。该方法包括：

步骤801，获取样本对象对应的至少两张第一样本图像，第一样本图像是图像采集设备在液态镜头处于第一镜头状态时在不同离焦量处采集到的图像。

本实施例中的预测误差曲线的确定方法可以在模型训练完成之后执行。

以获取第一电流对应的预测误差曲线为例，将液态镜头调整至第一电流对应的第一镜头状态，并通过图像采集设备采集样本对象在不同离焦量处时所对应的第一样本图像，再由计算机设备分析各个第一样本图像对应的预测离焦量和实际离焦量之间的关系。

可选的，为了提高曲线拟合的准确度，可以测试不同的组织类型切片，并采集同一组织类型切片中不同视野下的样本图像。示意性的，测试人员测试了15张不同组织类型切片，每张切片5个视野，每个视野下测试液态镜头处于-120mA至+120mA(间隔为30mA)，以及液态镜头在当前电流作用下相对样本离焦量为-36μm至+36μm的样本图像。其中，“相对样本离焦量”指示相对液态镜头在当前测试电流作用下样本调节到相机清晰处载物平台正负36μm的范围。

步骤802，基于各张第一样本图像进行离焦量预测，得到各张第一样本图像对应的预测离焦量。

本实施例是为了测试离焦量预测模型的预测误差，对应的，可以将各张第一样本图像分别输入离焦量预测模型(训练完成后的模型)中，从而得到各张第一样本图像对应的预测离焦量。

可选的，为了提高确定预测误差的准确性，也可以将各个第一样本图像进行图像分割，得到多张子样本图像，再分别基于各张子样本图像对应的候选离焦量确定出第一样本图像对应的预测离焦量。

步骤803，基于各张第一样本图像对应的预测离焦量和实际离焦量，拟合得到第一预测误差曲线。

其中，实际离焦量可以是对第一样本图像进行图像分析得到，比如，通过BrennerGradient算法进行焦面搜寻所得。

在一种可能的实施方式中，获取到液态镜头处于第一电流作用下图像采集设备所采集到的各张第一样本图像，以及第一样本图像对应的预测离焦量和实际离焦量，可以进一步基于预测离焦量和实际离焦量，拟合得到第一电流对应的第一预测误差曲线。

示意性的，可以求得同一电流作用下，各张第一样本图像对应的实际离焦量和预测离焦量之间的离焦量预测误差，再基于离焦量预测误差和实际离焦量(或预测离焦量)拟合得到第一预测误差曲线。

本实施例中，通过图像采集设备采集液态镜头处于不同电流作用下对应的第一样本图像，并基于各张第一样本图像分析得到预测离焦量(通过离焦量预测模型得到)和实际离焦量(通过图像分析算法得到)，继而可以基于预测离焦量和实际离焦量之间的关系，拟合得到各个电流对应的预测误差曲线，以便在实际应用过程中，可以基于液态镜头所处的焦距状态对预测离焦量进行修正，从而提高离焦量的预测准确性，继而保障采集到的图像清晰度。

由于对第一离焦量进行修正的准确性依赖于预测误差曲线，若不存在某个电流对应的预测误差曲线，需要基于已有离焦量预测误差进行估计，可能会带来额外的估计误差，为了避免引入该估计误差，在一种可能的实施方式中，可以在采集第一图像之前，将液态镜头调整至存在预测误差曲线的电流所对应的焦距。

如图9所示，其示出了本申请另一个示例性实施例示出的图像采集方法的流程图，本申请实施例以该方法应用于图1所示的计算机设备为例进行说明，该方法包括：

步骤901，确定第四电流，第四电流作用下液态镜头处于第二镜头状态。

为了避免后续基于镜头状态对预测离焦量进行修正时，无法基于该镜头状态确定的电流查找到对应的预测误差曲线，通过在采集图像之前，获取液态镜头当前镜头状态所对应的第四电流，并判断是否存在该第四电流对应的预测误差曲线，若存在，则可以基于采集图像，否则优先将液态镜头调整至其他镜头状态(该其他镜头状态对应的电流为具有关联预测误差曲线的电流)。

步骤902，响应于不存在第四电流对应的第四预测误差曲线，基于已存在的预测误差曲线确定第一电流，并基于第一电流将液态镜头调整为第一镜头状态。

在一种可能的实施方式中，当计算机设备获取到液态镜头对应的第四电流后，可以基于该第四电流进行查找，若未查找到该第四电流对应的预测误差曲线，则为了避免引入不必要的预估误差，基于已存在预测误差曲线对应的各个电流确定出第一电流，并基于该第一电流调整液态镜头的镜头状态或焦距，从而使得后续在基于第一电流对预测离焦量进行修正时，可以基于已测得的预测误差曲线进行。

可选的，基于已存在预测误差曲线所对应的电流确定第一电流时，为了避免焦距调整幅度过大导致视野倍数缩放程度较大，可以选择与第四电流较为接近的电流确定为第一电流。示意性的，若第四电流为-40mA，可以将-30mA确定为第一电流。

步骤903，获取目标对象对应的第一图像，第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像。

步骤904，基于第一图像进行离焦量预测，得到第一图像对应的第一离焦量，第一离焦量用于指示目标对象与显微物镜焦点之间的距离。

步骤905，基于第一镜头状态对第一离焦量进行修正，得到第一图像对应的第二离焦量。

步骤906，基于第二离焦量对液态镜头进行焦距调整，并通过图像采集设备采集目标对象对应的第二图像。

步骤903至步骤906的实施方式可以参考上文实施例，本实施例在此不做赘述。

本实施例中，通过将液态镜头调整至具有预测误差曲线的电流所对应的镜头状态下，可以避免在进行离焦量修正时无法查找到对应的预测误差曲线，从而可以避免引入其他的估计误差，可以进一步提高离焦量预测的准确性。

在一种可能的应用场景下，若预测得到的离焦量较大，超过液态镜头所对应的离焦量补偿范围，可能出现仅通过液态镜头无法补偿所有离焦量的情况，针对该情况，本实施例提出了通过调整液态镜头以及载物平台来共同对焦的方案。

在图4的基础上，如图10所示，步骤404可以被替换为步骤1001至步骤1003。

步骤1001，响应于第二离焦量位于液态镜头对应的离焦量补偿范围内，基于第二离焦量对液态镜头进行焦距调整，并通过图像采集设备采集目标对象对应的第二图像，离焦量补偿阈值由液态镜头对应的调焦范围决定。

其中，液态镜头具有预设调焦范围，也就是说，通过调整液态镜头进行离焦量补偿时，也对应存在一定的离焦量补偿范围。示意性的，离焦量补偿范围可以是-100μm至+100μm。

可选的，在进行离焦量补偿之前，液态镜头所处的当前焦距也会影响液态镜头当前的离焦量补偿范围，示意性的，若液态镜头对应的当前处于非零位(已补偿部分离焦量)，而离焦量补偿范围一定，显然会使得液态镜头的剩余离焦量补偿范围缩小。

在一种可能的实施方式中，当计算机设备确定出第二离焦量后，可以获取到液态镜头对应的离焦量补偿范围(或剩余离焦量补偿范围)，若第二离焦量位于该离焦量补偿范围内，表示通过调整液态镜头焦距可以补偿目标对象的当前离焦量，对应的，计算机设备基于第二离焦量确定出目标电流，并向液态镜头发送目标电信号，使得液态镜头可以基于该目标电信号调整焦距。

步骤1002，响应于第二离焦量位于离焦量补偿范围外，基于第二离焦量和离焦量补偿阈值确定第一子离焦量和第二子离焦量，离焦量补偿阈值是离焦量补偿范围的范围上限。

在另一种可能的实施方式中，若第二离焦量位于离焦量补偿范围之外，表示无法通过调节液态镜头实现对焦，可能需要其他离焦量补偿方法，比如，通过移动载物平台，使得目标对象更靠近显微物镜焦点。对应的，可以将第二离焦量分为两部分，一部分由液态镜头通过调焦补偿，一部分通过移动载物平台补偿。

示意性的，可以基于离焦量补偿范围确定出离焦量补偿阈值，即超过该离焦量补偿阈值即无法通过调整液态镜头实现对焦，低于该离焦量补偿阈值可以通过调整液态镜头实现对象。

可选的，可以基于离焦量补偿阈值和第二离焦量，确定出第一子离焦量和第二子离焦量，且第一子离焦量和第二子离焦量之和为第二离焦量。示意性的，若离焦量补偿范围是-100μm至+100μm，离焦量补偿阈值为-100μm，而第二离焦量为-120μm，位于离焦量补偿范围之外，可以基于离焦量补偿阈值和第二离焦量确定出第一子离焦量为-90μm，第二子离焦量为-30μm。

步骤1003，基于第一子离焦量对液态镜头进行焦距调整，并基于第二子离焦量对显微镜系统中的载物平台进行位置调整，以及通过图像采集设备采集目标对象对应的第二图像，其中，第一子离焦量小于离焦量补偿阈值。

可选的，考虑到优先调整液态镜头，可以确定出第一子离焦量(第一子离焦量的绝对值)小于等于离焦量补偿阈值。

在一种可能的实施方式中，当确定出液态镜头对应的第一子离焦量后，可以基于离焦量和电流之前的关系，向液态镜头发送目标电信号，以便控制液态镜头进行焦距调整。当确定出载物平台对应的第二子离焦量后，可以基于该第二子离焦量将载物平台进行纵向调整。

本实施例中，通过比较第二离焦量和离焦量补偿范围之间的关系，确定通过液态镜头是否可以实现对焦调整的目的，当第二离焦量超过离焦量补偿范围，可以通过共同调整液态镜头和载物平台实现快速对焦。

在一种可能的应用场景中，上述图像采集方法可以应用于清晰图像的采集场景，同样也可以应用于显微镜的自动对焦场景(自动对焦的目的同样是为了获取清晰图像)，而采集较为清晰的图像主要是服务于后续图像分析过程，比如，癌细胞区域检测、异常细胞识别等。如图11所示，其示出了自动对焦和图像分析的工作流程图。由于更清晰的图像对图像分析结果越有利，可以将自动对焦流程安排在图像分析之前，示意性的，该工作流程可以为：

(1)相机采集一副图像。

(2)深度学习预测离焦量。

其中，通过将采集到图像输入离焦量预测模型中，可以得到当前图像所对应的预测离焦量。

(3)液态镜头变焦调节。

基于预测得到的离焦量和电流之间的关系，向液态镜头发送电信号，控制液态镜头调节至预设焦距。

(4)相机采集聚焦图像。

经过上述自动对焦流程后，相机可以采集到较为清晰的图像(聚焦图像)。

(5)图像分析算法。

可以对获取到的图像进行各种图像分析，比如，目标对象识别、目标区域标定等。

(6)图像分析算法结果显示在投影装置上。

若图像分析算法为目标对象识别，对应的，将识别到的目标对象在图像中进行标注。

得到图像分析算法结果后，可以重新进入步骤(1)中，重复上述自动对焦和图像分析过程。

可选的，自动对焦流程也可以独立于图像分析算法。自动对焦与候选图像分析算法独立开来，自动对焦可以作为单独的线程运行。

上文实施例中主要描述了在如何进行离焦量预测的过程，本实施例中着重描述用于预测离焦量的离焦量预测模型的模型训练过程。

请参考图12，其示出了本申请一个示例性实施例示出的离焦量预测模型的训练方法的流程图，本申请实施例以该方法应用于图1所示的计算机设备为例进行说明，该方法包括：

步骤1201，获取样本对象对应的第二样本图像，第二样本图像由图像采集设备在液态镜头处于预设镜头状态时采集到的，且第二样本图像对应有标注离焦量。

其中，离焦量预测模型对应的训练样本(训练数据)可以为：样本离焦图像和样本离焦图像所对应的实际离焦量(标注离焦量)。

可选的，在采集训练数据阶段，将液态镜头安装进光路中并设置液态镜头始终处于预设镜头状态，示意性的，该预设镜头状态可以是液态镜头处于焦距为0的状态。运用合适的相机适配器将目镜端和相机端调整到齐焦，光路调整完毕后，即进入采集训练数据阶段，可以运用轴向电动平台轴向采集样本对象在不同离焦量时的图像。

其中，预设镜头状态可以指液态镜头处于预设焦距处，或指示使得该液态镜头处于预设焦距的预设电流，示意性的，预设镜头状态可以为零焦距状态，或零电流状态(即液态镜头所对应的电流置于零位)。

示意性的，平台轴向扫描-36μm到+36μm的图像，其中，“-”表示样本对象离显微物镜更远的方向，“+”表示样本对象离显微物镜更近的方向；设定采集步长为3μm；每张样本对象(切片)采集16个视野，每个视野轴向采集25张不同离焦量的图像，总共采集93张切片，可以涵盖新柏氏液基细胞学检测(Thinprep Cytologic Test，TCT)、免疫组织化学(Immunohistochemistry，IHC)、苏木精-伊红(Hematoxylin-Eosin，HE)等不同类型的病理切片，总共采集到37200(16*25*93)张2048*2048分辨率大小的样本图像；随后每张2048*2048的样本图像被随机切成9张672*672分辨率大小的图像块，对应的，可以累积获取到334800(37200*9)张的第二样本图像。

可选的，为了降低数据采集过程中，训练数据离散度较大的问题，可以采用轮换采集的方法，示意性的，扫描37μm到+35μm范围的图像，并间隔3μm采集；再扫描-36μm到+36μm范围的图像，间隔3-36μm到+36μm采集；再扫描-35μm到+37μm，间隔3μm采集。

其中，第二样本图像对应有标注离焦量，该标注离焦量可以直接采用采集第二样本图像时所对应的预设离焦量，也可以通过对第二样本图像进行图像分析算法得到。

在一个示例性的例子中，获取样本对象对应的第二样本图像的过程可以包括以下步骤：

一、获取样本对象在各个预设离焦量处对应的各张第二样本图像。

其中，预设离焦量可以由测试人员自行设置，示意性的，平台轴向扫描-36μm到+36μm的图像，采集步长为3μm，对应的，预设离焦量可以为-36μm、-33μm、-30μm……+30μm、+33μm以及+36μm等。

二、基于各张第二样本图像对应的预设离焦量，确定第二样本图像对应的标注离焦量。

可选的，可以直接将预设离焦量确定为各个第二样本图像对应的标注离焦量，示意性的，若在+36μm处采集到样本图像A，对应的样本图像A对应的标注离焦量可以为+36μm。

由于电动平台轴向扫描图像时会因为电动平台的回程误差等造成零点(即最佳焦面处)的飘移，从而造成图像的离焦量标签的误差，为了提高标注离焦量的准确性，在一种可能的实施方式中，通过图像分析算法分析各个第二样本图像对应的标注离焦量。本实施例以图像分析算法为Brenner Gradient算法为例对确定标注离焦量进行示例性说明。

其中，确定标注离焦量的过程可以包括以下步骤：

1、基于第二样本图像，计算得到第二样本图像对应的图像梯度值，其中，图像梯度值与第二样本图像对应的清晰度成正相关关系。

在一种可能的实施方式中，首先通过Brenner Gradient算法确定实际离焦量的过程中，首先需要基于轴向堆叠图集(即同一切片的轴向扫描图像)确定出最佳焦面，再基于最佳焦面所对应的离焦量对预设离焦量进行修正。其中，确定最佳焦面的过程通过计算出每张第二样本图像对应的Brenner值，再根据Brenner值拟合后的离焦量曲线实现。

示意性的，第二样本图像对应的图像梯度值的计算公式可以为：

其中，I表示采集的当前彩色图像(第二样本图像)转换成的单通道图像如灰度图像，I(i，j)表示此单通道图像的第i行第j列的像素值。M、N分别代表图像I的长和宽；m作为取值间隔，m的取值可以是2；F_Brenner表示一张图像的Brenner Gradient值(图像梯度值)。

可选的，图像提取值与清晰度之间的关系为：图像梯度值越大，对应的第二样本图像越清晰，而最佳焦面即图像最清晰处，对应的，图像梯度值的最大值即为最佳焦面处。

2、基于各个第二样本图像对应的图像梯度值和预设离焦量，拟合得到样本对象对应的离焦量曲线。

在一种可能的实施方式中，以预设离焦量为横坐标，各个第二样本图像对应的图像梯度值为纵坐标，可以拟合得到样本对象对应的离焦量曲线，以便后续基于该离焦量曲线确定最佳焦面。

3、基于离焦量曲线确定样本对象处于显微物镜焦点时对应的目标离焦量。

基于图像梯度值与图像清晰度之间的关系，可知曲线的最高点(纵坐标最大值所对应的点)所对应的横坐标即为修正后的最佳焦面，即将该横坐标确定为目标离焦量。

如图13所示，其示出了本申请一个示例性实施例示出的离焦量曲线示意图。其中，横坐标为离焦量，纵坐标为每张第二样本图像对应的图像梯度值。其中，箭头所指示的点即为最佳焦面处，该点对应的横坐标即为目标离焦量。

4、基于目标离焦量对预设离焦量进行修正，得到各个第二样本图像对应的标注离焦量。

在图像采集过程中由于回程误差，预设离焦量为0μm所对应的第二样本图像并非最佳焦面处，因此，需要基于重新确定出的最佳焦面所对应的目标离焦量对各个预设离焦量进行修正，从而得到各张第二样本图像对应的标注离焦量。

示意性的，如图7所示，最佳焦面处所对应的目标离焦量为+2μm，若样本图像A所对应的预设离焦量为0μm，对应的修正之后的标准离焦量为-2μm；若样本图像B所对应的预设离焦量为+30μm，修正之后的标准离焦量为+28μm，依次类推，可以得到各张第二样本图像对应的标注离焦量。

可选的，确定最佳焦面的方法还可以包括其他算法，例如，图像对比度，基于交叉熵的算法，基于拉普拉斯变化的算法，基于小波变换的图像清晰度对比算法等等，本申请实施例对此不构成限定。

可选的，在准备好训练数据集后，可以将训练数据按照预设比例分为训练集和预测集，其中，训练集用于训练离焦量预测模型，预测集用于评估离焦量预测模型的准确性。示意性的，预设比例可以为：训练集(7)：预测集(3)。

步骤1202，将第二样本图像输入离焦量预测模型，得到离焦量预测模型输出的样本离焦量。

其中，离焦量预测模型可以采用AlexNet、obileNetV3、InceptionV3、ResNet50或者自己搭建的神经网络等。

本实施例以离焦量预测模型采用MobileNetV3为例进行示例性说明。如图14所示，其示出了本申请一个示例性实施例示出的离焦量预测模型的示意图。该离焦量预测模型1401主要包括卷积层1402、池化层1403和全连接层1404，将第二样本图像输入离焦量预测模型1401中，由卷积层1402进行特征提取，池化层1403进行下采样，再输入全连接层1404中，从而输出第二样本图像对应的样本离焦量。

其中，在卷积层中引入了残差连接结构(bottle neck)，输入为一特征层，首先为了加强信息流，引入了可扩展卷积层，对通道进行扩增，在此基础上，避免使用传统的卷积结构，利用可分离卷积与深度卷积，使网络的计算量减到最低，保证了通道之间信息的融合，同时提高了训练速度。在分组卷积之后，加入了(Squeeze-and-Excitation，SE)结构，使网络能够自适应调整通道的权重。最后保证残差的通道一致性，对输出进行1*1卷积。

步骤1203，基于标注离焦量和样本离焦量，训练离焦量预测模型。

训练离焦量预测模型过程中，通过标注离焦量和样本离焦量计算模型损失，并利用该模型损失对离焦量预测模型执行反向传播算法，更新离焦量预测模型的参数。

可选的，在多个训练周期内，按照上文实施例所示的方法重复对离焦量预测模型进行训练，指示离焦量预测模型对应的损失函数完全收敛，完成离焦量预测模型的训练，保存离焦量预测模型。

可选的，在训练完成后，可以使用预测集对离焦量预测模型进行准确率预测，示意性的，如图15所示，其示出了本申请一个示例性实施例示出的离焦量预测模型对应的离焦量预测结果。其中，横坐标为实际离焦量(标注离焦量)，纵坐标为预测离焦量，线条1501(参考线)上的点可以用于表征由离焦量预测模型输出的预测离焦量和实际离焦量是相同的，线条1502(匹配线)和线条1503(匹配线)上的点可以表示预测离焦量和实际离焦量之间的误差在允许预测误差范围内。可以通过统计预测离焦量和实际离焦量之间满足允许误差范围的点的数量，和统计总数之间的比值，确定该离焦量预测模型的准确率，示意性的，该离焦量预测模型的准确率为92％,平均误差为0.91±0.96μm。

本实施例中，描述了离焦量预测模型的训练过程，通过将样本离焦图像和标注离焦量作为训练样本，训练离焦量预测模型，使得在离焦量预测模型的应用过程中，可以基于输入的任意离焦图像，预测该离焦图像对应的离焦量。

请参考图16，其示出了本申请一个示例性实施例示出的图像采集装置的结构方框图。该图像采集装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。该图像采集装置可以包括：

第一获取模块1601，用于获取目标对象对应的第一图像，所述第一图像是图像采集设备在液态镜头处于第一镜头状态时采集到的图像，所述图像采集设备与显微镜系统相连，且所述液态镜头位于所述图像采集设备与所述显微镜系统之间，其中，不同镜头状态下所述液态镜头对应的焦距不同；

第一预测模块1602，用于基于所述第一图像进行离焦量预测，得到所述第一图像对应的第一离焦量，所述第一离焦量用于指示所述目标对象与显微物镜焦点之间的距离；

修正模块1603，用于基于所述第一镜头状态对所述第一离焦量进行修正，得到所述第一图像对应的第二离焦量；

第一调焦模块1604，用于基于所述第二离焦量对所述液态镜头进行焦距调整，并通过所述图像采集设备采集所述目标对象对应的第二图像。

可选的，所述修正模块1603，包括：

第一确定单元，用于确定第一电流，其中，不同电流作用下所述液态镜头处于不同镜头状态，且所述第一电流作用下所述液态镜头处于所述第一镜头状态；

第二确定单元，用于确定所述第一电流对应的第一预测误差曲线，不同电流对应不同预测误差曲线，所述预测误差曲线用于指示预测离焦量和实际离焦量之间的关系；

第三确定单元，用于基于所述第一离焦量和所述第一预测误差曲线，确定所述第一图像对应的所述第二离焦量。

可选的，所述修正模块1603，还包括：

第四确定单元，用于响应于不存在所述第一电流对应的所述第一预测误差曲线，确定第二电流对应的第二预测误差曲线和第三电流对应的第三预测误差曲线，所述第一电流位于所述第二电流和所述第三电流之间；

第五确定单元，用于基于所述第二预测误差曲线和所述第三预测误差曲线，确定所述第一离焦量对应的第三离焦量和第四离焦量；

第六确定单元，用于基于所述第三离焦量和所述第四离焦量，确定所述第一图像对应的所述第二离焦量。

可选的，所述装置包括：

第二获取模块，用于获取样本对象对应的至少两张第一样本图像，所述第一样本图像是所述图像采集设备在所述液态镜头处于所述第一镜头状态时在不同离焦量处采集到的图像；

第二预测模块，用于基于各张所述第一样本图像进行离焦量预测，得到各张所述第一样本图像对应的预测离焦量；

拟合模块，用于基于各张所述第一样本图像对应的所述预测离焦量和实际离焦量，拟合得到所述第一预测误差曲线。

可选的，所述第一预测模块1602，包括：

图像分割单元，用于对所述第一图像进行图像分割，得到至少两张子图像；

第一预测单元，用于将各张所述子图像分别输入离焦量预测模型中，得到所述离焦量预测模型输出的至少两个候选离焦量；

第七确定单元，用于基于各个所述候选离焦量，确定所述第一图像对应的所述第一离焦量。

可选的，所述装置还包括：

第一确定模块，用于确定第四电流，所述第四电流作用下所述液态镜头处于第二镜头状态；

第二确定模块，用于响应于不存在所述第四电流对应的第四预测误差曲线，基于已存在的所述预测误差曲线确定所述第一电流，并基于所述第一电流将所述液态镜头调整为所述第一镜头状态。

可选的，所述第一调焦模块1604，包括：

调焦单元，用于响应于所述第二离焦量位于所述液态镜头对应的离焦量补偿范围内，基于所述第二离焦量对所述液态镜头进行焦距调整，所述离焦量补偿阈值由所述液态镜头对应的调焦范围决定。

可选的，所述装置还包括：

第三确定模块，用于响应于所述第二离焦量位于所述离焦量补偿范围外，基于所述第二离焦量和离焦量补偿阈值确定第一子离焦量和第二子离焦量，所述离焦量补偿阈值是所述离焦量补偿范围的范围上限；

第二调焦模块，用于基于所述第一子离焦量对所述液态镜头进行焦距调整，并基于所述第二子离焦量对所述显微镜系统中的载物平台进行位置调整，其中，所述第一子离焦量小于所述离焦量补偿阈值。

可选的，所述装置还包括：

第四获取模块，用于获取样本对象对应的第二样本图像，所述第二样本图像由图像采集设备在所述液态镜头处于预设镜头状态时采集到，且所述第二样本图像对应有标注离焦量；

第三预测模块，用于将所述第二样本图像输入离焦量预测模型，得到所述离焦量预测模型输出的样本离焦量；

训练模块，用于基于所述标注离焦量和所述样本离焦量，训练所述离焦量预测模型；

所述第一预测模块1602，包括：

第二预测单元，用于将所述第一图像输入所述离焦量预测模型中，得到所述离焦量预测模型输出的所述第一离焦量。

可选的，所述第四获取模块，包括：

第一获取单元，用于获取所述样本对象在各个预设离焦量处对应的各张所述第二样本图像；

第八确定单元，用于基于各张所述第二样本图像对应的所述预设离焦量，确定所述第二样本图像对应的所述标注离焦量。

可选的，所述第八确定单元，还用于：

基于所述第二样本图像，计算得到所述第二样本图像对应的图像梯度值，其中，所述图像梯度值与所述第二样本图像对应的清晰度成正相关关系；

基于各个所述第二样本图像对应的所述图像梯度值和所述预设离焦量，拟合得到所述样本对象对应的离焦量曲线；

基于所述离焦量曲线确定所述样本对象处于所述显微物镜焦点时对应的目标离焦量；

基于所述目标离焦量对所述预设离焦量进行修正，得到各个所述第二样本图像对应的所述标注离焦量。

可选的，所述第一调焦模块1604，包括：

查找单元，用于基于所述第二离焦量和预设关系表，查找所述第二离焦量对应的目标电流，所述预设关系表指示离焦量和液态镜头所需调节电流之间的关系；

发送单元，用于基于所述目标电流向所述液态镜头发送目标电信号，所述液态镜头基于所述目标电信号进行焦距调整。

请参考图17，其示出了本申请一个示例性实施例提供的计算机设备的结构框图。该计算机设备可用于实施上述实施例中提供的图像采集方法。具体来讲：

所述计算机设备1700包括中央处理单元(Central Processing Unit，CPU)1701、包括随机存取存储器(Random Access Memory，RAM)1702和只读存储器(Read-OnlyMemory，ROM)1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。所述计算机设备1700还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统，I/O系统)1706，和用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1707。

所述基本输入/输出系统1706包括有用于显示信息的显示器1708和用于用户输入信息的诸如鼠标、键盘之类的输入设备1709。其中所述显示器1708和输入设备1709都通过连接到系统总线1705的输入输出控制器1710连接到中央处理单元1701。所述基本输入/输出系统1706还可以包括输入输出控制器1710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1710还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1707通过连接到系统总线1705的大容量存储控制器(未示出)连接到中央处理单元1701。所述大容量存储设备1707及其相关联的计算机可读存储介质为计算机设备1700提供非易失性存储。也就是说，所述大容量存储设备1707可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。

不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1707可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1701执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元1701执行该一个或多个程序实现上述各个方法实施例提供的图像采集方法。

根据本申请的各种实施例，所述计算机设备1700还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即计算机设备1700可以通过连接在所述系统总线1705上的网络接口单元1711连接到网络1712，或者说，也可以使用网络接口单元1711来连接到其他类型的网络或远程服务器系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中计算机设备所执行的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像采集方法。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的图像采集方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种图像采集方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一镜头状态对所述第一离焦量进行修正，得到所述第一图像对应的第二离焦量，包括：

确定第一电流，其中，不同电流作用下所述液态镜头处于不同镜头状态，且所述第一电流作用下所述液态镜头处于所述第一镜头状态；

确定所述第一电流对应的第一预测误差曲线，不同电流对应不同预测误差曲线，所述预测误差曲线用于指示预测离焦量和实际离焦量之间的关系；

基于所述第一离焦量和所述第一预测误差曲线，确定所述第一图像对应的所述第二离焦量。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一镜头状态对所述第一离焦量进行修正，得到所述第一图像对应的第二离焦量，还包括：

响应于不存在所述第一电流对应的所述第一预测误差曲线，确定第二电流对应的第二预测误差曲线和第三电流对应的第三预测误差曲线，所述第一电流位于所述第二电流和所述第三电流之间；

基于所述第二预测误差曲线和所述第三预测误差曲线，确定所述第一离焦量对应的第三离焦量和第四离焦量；

基于所述第三离焦量和所述第四离焦量，确定所述第一图像对应的所述第二离焦量。

4.根据权利要求2所述的方法，其特征在于，所述确定所述第一电流对应的第一预测误差曲线之前，所述方法包括：

获取样本对象对应的至少两张第一样本图像，所述第一样本图像是所述图像采集设备在所述液态镜头处于所述第一镜头状态时在不同离焦量处采集到的图像；

基于各张所述第一样本图像进行离焦量预测，得到各张所述第一样本图像对应的预测离焦量；

基于各张所述第一样本图像对应的所述预测离焦量和实际离焦量，拟合得到所述第一预测误差曲线。

5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第一图像进行离焦量预测，得到所述第一图像对应的第一离焦量，包括：

对所述第一图像进行图像分割，得到至少两张子图像；

将各张所述子图像分别输入离焦量预测模型中，得到所述离焦量预测模型输出的至少两个候选离焦量；

基于各个所述候选离焦量，确定所述第一图像对应的所述第一离焦量。

6.根据权利要求2所述的方法，其特征在于，所述获取目标对象对应的第一图像之前，所述方法还包括：

确定第四电流，所述第四电流作用下所述液态镜头处于第二镜头状态；

响应于不存在所述第四电流对应的第四预测误差曲线，基于已存在的所述预测误差曲线确定所述第一电流，并基于所述第一电流将所述液态镜头调整为所述第一镜头状态。

7.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第二离焦量对所述液态镜头进行焦距调整，包括：

响应于所述第二离焦量位于所述液态镜头对应的离焦量补偿范围内，基于所述第二离焦量对所述液态镜头进行焦距调整，所述离焦量补偿阈值由所述液态镜头对应的调焦范围决定。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

响应于所述第二离焦量位于所述离焦量补偿范围外，基于所述第二离焦量和离焦量补偿阈值确定第一子离焦量和第二子离焦量，所述离焦量补偿阈值是所述离焦量补偿范围的范围上限；

基于所述第一子离焦量对所述液态镜头进行焦距调整，并基于所述第二子离焦量对所述显微镜系统中的载物平台进行位置调整，其中，所述第一子离焦量小于所述离焦量补偿阈值。

9.根据权利要求1至4任一所述的方法，其特征在于，所述获取目标对象对应的第一图像之前，所述方法还包括：

获取样本对象对应的第二样本图像，所述第二样本图像由所述图像采集设备在所述液态镜头处于预设镜头状态时采集到的，且所述第二样本图像对应有标注离焦量；

将所述第二样本图像输入离焦量预测模型，得到所述离焦量预测模型输出的样本离焦量；

基于所述标注离焦量和所述样本离焦量，训练所述离焦量预测模型；

所述基于所述第一图像进行离焦量预测，得到所述第一图像对应的第一离焦量，包括：

将所述第一图像输入所述离焦量预测模型中，得到所述离焦量预测模型输出的所述第一离焦量。

10.根据权利要求9所述的方法，其特征在于，所述获取样本对象对应的第二样本图像，包括：

获取所述样本对象在各个预设离焦量处对应的各张所述第二样本图像；

基于各张所述第二样本图像对应的所述预设离焦量，确定所述第二样本图像对应的所述标注离焦量。

11.根据权利要求10所述的方法，其特征在于，所述基于所述第二样本图像对应的所述预设离焦量，确定所述第二样本图像对应的所述标注离焦量，包括：

12.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第二离焦量对所述液态镜头进行焦距调整，包括：

基于所述第二离焦量和预设关系表，查找所述第二离焦量对应的目标电流，所述预设关系表指示离焦量和液态镜头所需调节电流之间的关系；

基于所述目标电流向所述液态镜头发送目标电信号，所述液态镜头基于所述目标电信号进行焦距调整。

13.一种图像采集装置，其特征在于，所述装置包括：

14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至12任一所述的图像采集方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至12任一所述的图像采集方法。