CN117036721A - 空间站显微镜的调焦方法、装置、设备、介质和程序产品 - Google Patents

空间站显微镜的调焦方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN117036721A
CN117036721A CN202211360527.6A CN202211360527A CN117036721A CN 117036721 A CN117036721 A CN 117036721A CN 202211360527 A CN202211360527 A CN 202211360527A CN 117036721 A CN117036721 A CN 117036721A
Authority
CN
China
Prior art keywords
image
sample
images
space station
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211360527.6A
Other languages
English (en)
Inventor
蔡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211360527.6A priority Critical patent/CN117036721A/zh
Publication of CN117036721A publication Critical patent/CN117036721A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本申请实施例公开了一种空间站显微镜的调焦方法、装置、设备、介质和程序产品，可以应用于计算机视觉、机器学习等人工智能技术；本申请实施例获取空间站显微镜对待识别样本采集的至少一个样本图像；若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序；对排序后的子图像进行特征提取，得到子图像对应的图像特征；对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征；根据目标特征进行离焦量计算，得到目标离焦量；将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。本申请实施例可以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。

Description

空间站显微镜的调焦方法、装置、设备、介质和程序产品
技术领域
本申请涉及计算机技术领域，具体涉及一种空间站显微镜的调焦方法、装置、设备、介质和程序产品。
背景技术
显微镜在工业生产，科学研究，疾病诊断等方面具有广泛的用途，放置在显微镜载物台上的目标物体，经光源照射后通过物镜和目镜的放大作用，可以看到目标的微观信息。显微镜上一般装有多个物镜镜头，用于在不同倍率下观察不同细节层次的信息。在显微镜下观察时，由于物镜有限的焦深，还需要在深度方向调整样本的位置，从而在最佳焦平面观察目标。随着空间站的建设和运营，空间站上的显微镜在太空研究中将发挥越来越重要的作用。
然而，空间站显微镜和地面显微镜操作方法有着本质的区别，科学家难以在太空中直接调整空间站显微镜的焦平面。若采用远程方式控制空间站显微镜，又受限于空间站显微镜与地面控制系统之间仅能传输有限的样本图像，难以根据有限的图像及时、准确地调整空间站显微镜的焦平面。
发明内容
本申请实施例提供一种空间站显微镜的调焦方法、装置、设备、介质和程序产品，可以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
本申请实施例提供一种空间站显微镜的调焦方法，应用于地面控制系统，所述方法包括：获取空间站显微镜对待识别样本采集的至少一个样本图像；若所述样本图像的图像数量不大于预设阈值，从所述样本图像中截取多个子图像，并对所述多个子图像进行重新排序；对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征；对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征；根据所述目标特征进行离焦量计算，得到目标离焦量；将所述目标离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标离焦量调整焦平面的位置。
本申请实施例还提供一种空间站显微镜的调焦装置，应用于地面控制系统，所述装置包括：获取单元，用于获取空间站显微镜对待识别样本采集的至少一个样本图像；截取单元，用于若所述样本图像的图像数量不大于预设阈值，从所述样本图像中截取多个子图像，并对所述多个子图像进行重新排序；处理单元，用于对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征；处理单元，还用于对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征；处理单元，还用于根据所述目标特征进行离焦量计算，得到目标离焦量；发送单元，用于将所述目标离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标离焦量调整焦平面的位置。
本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种空间站显微镜的调焦方法中的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种空间站显微镜的调焦方法中的步骤。
本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例所提供的任一种空间站显微镜的调焦方法中的步骤。
本申请实施例可以获取空间站显微镜对待识别样本采集的至少一个样本图像；若所述样本图像的图像数量不大于预设阈值，从所述样本图像中截取多个子图像，并对所述多个子图像进行重新排序；对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征；对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征；根据所述目标特征进行离焦量计算，得到目标离焦量；将所述目标离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标离焦量调整焦平面的位置。
在本申请中，在样本图像的图像数量较少时，可以通过对样本图像的子图像重新排序产生多样的局部变化，使排序后的图像对应的图像特征的表达能力提高。此外，通过对排序后的子图像的图像特征进行全局注意力处理后再确定目标离焦量，使得样本图像的图像数量较少时，可以通过全局注意力处理，学习不同子图像之间的联系，关注子图像之间的关联性，提升确定的目标特征的表达能力和准确性。以此，本申请实施例可以根据少量的样本图像直接确定目标离焦量并反馈至空间站显微镜，以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的空间站显微镜的调焦方法的场景示意图；
图1b是本申请实施例提供的空间站显微镜的调焦方法的流程示意图；
图1c是本申请实施例提供的对样本图像进行随机排序的示意图；
图1d是本申请实施例提供的对第一样本进行叠加处理的示意图；
图1e是本申请实施例提供的空间站显微镜在不同倍率下对待识别样本采集的图像的示意图；
图2a是本申请实施例提供的样本图像处理系统的示意图；
图2b是本申请实施例提供的空间站显微镜的调焦方法的时序图；
图2c是本申请另一个实施例提供的空间站显微镜的调焦方法的流程示意图；
图2d是本申请实施例提供的确定目标离焦量的流程示意图；
图2e是本申请实施例提供的训练样本集中对应不同离焦量的样本示意图；
图2f是本申请实施例提供的确定目标焦平面位置的流程示意图；
图2g是本申请实施例提供的对多张图像计算清晰度的示意图；
图3是本申请实施例提供的空间站显微镜的调焦装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例涉及到的一些名词进行解释说明。
其中，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。其中，至少一个是指一个或一个以上，例如，至少一个样本图像可以是一个样本图像、两个样本图像、三个样本图像等任意大于等于一的整数个样本图像。而多个是指两个或者两个以上，例如，多个样本图像可以是两个样本图像、三个样本图像任意大于等于二的整数个样本图像。
其中，空间站，又称太空站、轨道站，是一种在近地轨道长时间运行，可供多名人员巡访、长期工作和生活的载人太空站。
其中，空间站显微镜，是指部署在空间站的太空显微镜。太空显微镜可以用于在太空环境中，通过放大物体的具体形态，来研究物体的构造和具体的内部特征，可以应用于太空中生物、医药、微观粒子等样本观测。在实际应用中，科学家可以通过电动平台远程控制空间站显微镜，以观察太空中的样本。例如，如图1a所示，空间站显微镜可以部署在空间站实验舱内，对放置在其载物台上的样本进行拍摄，并通过中继卫星(天地数据中继系统)将拍摄的图像数据发送至地面控制系统，位于地面的科学家可以通过地面控制系统接收并分析图像数据，并根据分析的结果对空间站显微镜进行指令控制，如调焦和切换镜头。
其中，地面控制系统，是指位于地面上、用于监测中继卫星发来的空间站的信息的系统，该系统还可以根据空间站的信息，生成相应的反馈信息如指令控制的系统。
其中，离焦现象是指焦点没有对到拍摄物体上造成的模糊不清的现象。而离焦量是指物体距离焦点之间的距离。本申请实施例中，离焦量是指待识别样本距离显微物镜焦点之间的距离。可以理解的是，离焦量越大，越模糊。
其中，焦平面，是指与成像系统的光轴垂直且包含成像系统焦点的平面。本申请实施例中，焦平面是指包含显微物镜焦点的平面。可以理解的是，不同焦平面位置可以对应不同的离焦量，通过调整焦平面位置可以改变离焦量，以改变待识别样本成像的清晰程度。
本申请实施例提供一种空间站显微镜的调焦方法、装置、设备、介质和程序产品。
其中，该空间站显微镜的调焦装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该空间站显微镜的调焦装置还可以集成在多个电子设备中，比如，空间站显微镜的调焦装置可以集成在多个服务器中，由多个服务器来实现本申请的空间站显微镜的调焦方法。
在一些实施例中，服务器也可以以终端的形式来实现。
例如，参考图1a，该空间站显微镜的调焦方法可以由地面控制系统实现，该地面控制系统可以经中继卫星获取空间站显微镜对待识别样本采集的至少一个样本图像；若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序；对排序后的子图像进行特征提取，得到子图像对应的图像特征；对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征；根据目标特征进行离焦量计算，得到目标离焦量；地面控制系统可以经中继卫星将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
以下分别进行详细说明。需说明的是，以下实施例的先后次序不作为对实施例优选顺序的限定。可以理解的是，在本申请的具体实施方式中，涉及到用户相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
人工智能(Artificial Intelligence，AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术，该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中，计算机视觉(Computer Vision，CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。比如，图像着色、图像描边提取等图像处理技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
在本实施例中，提供了一种涉及人工智能的空间站显微镜的调焦方法，该方法应用于地面控制系统，如图1b所示，该空间站显微镜的调焦方法的具体流程可以如下：
110、获取空间站显微镜对待识别样本采集的至少一个样本图像。
其中，待识别样本可以指能使用空间站显微镜进行观测的样本。根据实际需要，待识别样本可以为生物、医药、微观粒子等。
其中，样本图像可以指空间站显微镜拍摄的待识别样本的图像。例如，以太空中的生物医学研究为例，待识别样本可以为细胞切片，样本图像可以指对细胞切片拍摄的图像。可以理解的是，待识别样本中可以包含多种不同的超微结构，尤其是生物医学类的切片样本中常会有多种生物结构。因此，可以将待识别样本中的一种或多种超微结构作为待识别对象，待识别对象可以指要从待识别样本中识别的对象。例如，以卵泡样细胞切片为例，该卵泡样细胞切片中可以包括卵子样细胞、原始卵泡、初级卵泡以及次级卵泡等不同阶段的细胞，可以以其中一种或多个阶段的细胞作为待识别对象。
例如，可以将细胞切片放置在空间站显微镜的载物台上，再由空间站显微镜进行拍摄以得到至少一张样本图像。可以理解地是，由于空间站显微镜采集的图像数据只能通过天地数据中继系统发送至地面控制系统，传输方式受限，容易延迟，因此导致地面控制系统无法及时控制空间站显微镜进行调焦。
可选地，为了提升控制空间站显微镜进行调焦的效率，空间站显微镜可以按照预设时间间隔对待识别样本采集预设数量的样本图像，并将采集到的样本图像发送至地面控制系统。例如，空间站显微镜可以按照预设时间间隔采集少量的样本图像传输给地面控制系统。由于断续采集数据所需指令较多，因此可以尽量少的采集样本图像，如每次仅采集一张样本图像，以此可以减少天地间的数据传输带宽，避免延迟，提升调焦的效率。
120、若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序。
其中，预设阈值可以为根据实际需要设置的阈值。例如，为了减少天地间的数据传输带宽，预设阈值可以为1，也即样本图像仅有一张。
其中，截取可以为从样本图像的任意位置进行图像截取，以得到子图像，也可以为将样本图像划分为多个子图像。
例如，若预设阈值为m，地面控制系统收到了n个样本图像，且n≤m，可以对每个样本图像截取得到多个子图像，可以分别对每个样本图像对应的多个子图像进行重新排序，也可以对n个样本图像对应的所有子图像进行重新排序。以此在样本图像的图像数量较少时，可以通过对样本图像的子图像重新排序产生多样的局部变化，使排序后的图像对应的图像特征的表达能力提高。
可选地，可以通过随机排序方式对多个子图像进行重新排序，以减少对局部噪音数据的学习，提升排序后的图像对应的图像特征的表达能力。
可选地，可以分别对每个样本图像对应的多个子图像进行重新排序，以分别打乱每个样本图像中子图像的排序，在样本图像整体结构不变的情况下，适度产生局部变化，以提升图像数据的可靠性。例如，如图1c所示，可以将样本图像1划分为子图像A1～A9，将样本图像2划分为子图像B1～B9，并对各个样本图像的子图像随机排序得到如图1c所示的排序后样本图像1和样本图像2。
在一些实施方式中，若样本图像的数量较多，可以根据样本图像的清晰度，从多个样本图像中选择成像效果最佳的一张样本图像，并据此调整空间站显微镜的焦平面，以此可以根据样本数量的清晰度，将空间站显微镜快速调整至成像效果最佳的位置。具体地，该方法，还包括：
若样本图像的图像数量大于预设阈值，确定每个样本图像的清晰度；
将样本图像中、清晰度为最高清晰度的样本图像对应的焦平面位置，确定为目标焦平面位置；
将目标焦平面位置发送至空间站显微镜，以便空间站显微镜根据目标焦平面位置调整焦平面的位置。
其中，清晰度可以指能用来表征图像成像效果的指标，清晰度越高，图像的成像效果越好。例如，可以通过Tenegrad梯度法、laplace梯度法、方差法、能量梯度法等方法确定样本图像的清晰度。最高清晰度可以指所有样本图像的清晰度中最高的清晰度。
例如，空间站显微镜可以在预设时间间隔、以不同的焦平面位置对待识别样本拍摄多张样本图像，由于每个样本图像对应的焦平面位置不同，显然每个样本图像的清晰度也不同。因此，可以获取清晰度为最高清晰度的样本图像A对应的焦平面位置，生成用于将空间站显微镜的焦平面调整为样本图像A对应的焦平面位置。
可选地，可以根据待识别样本的样本类型，预设多个预设的焦平面位置，以便空间站显微镜在多个预设的焦平面位置分别采集至少一张样本图像，并将采集到的图像一并发送至地面控制系统。例如，以待识别样本为卵泡样细胞切片为例，若根据经验在焦平面位置A可以对卵泡样细胞切片拍摄得到清晰的图像，因此，可以在焦平面位置A±位置误差B的范围[A-B，A+B]内设置多个预设的焦平面位置如A-B、A-1/2B、A、A+1/2B、A+B。
可选地，将目标焦平面位置发送至空间站显微镜，以便空间站显微镜根据目标焦平面位置调整焦平面的位置，可以包括：
根据目标焦平面位置，生成第二焦平面调整指令；
将第二焦平面调整指令发送至空间站显微镜，以便空间站显微镜根据第二焦平面调整指令调整焦平面的位置。
其中，第二焦平面调整指令可以指用于调整焦平面位置的指令。例如，第二焦平面调整指令可以用于指示电动平台将空间站显微镜的焦平面的位置调整为目标焦平面位置。
在一些实施方式中，可以通过样本图像的任意两个像素点的灰度值确定样本的清晰度。具体地，若样本图像的图像数量大于预设阈值，确定每个样本图像的清晰度，包括：
若样本图像的图像数量大于预设阈值，针对每个样本图像，获取样本图像中像素点的灰度值；
根据灰度值，计算任意两个像素点之间的灰度差异值，任意两个像素点满足预设间距；
根据灰度差异值，得到样本图像的清晰度。
其中，灰度值可以指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。例如，可以将样本图像转换为灰度图像，以得到样本图像中每个像素点的灰度值。
其中，间距可以指两者之间的距离，预设间距可以指根据实际需要设置的间距。例如，预设间距可以为2个像素，即任意两个像素之间相距2个像素。
例如，可以通过公式计算得到样本图像的清晰度。其中，B表示清晰度，s(i,j)表示任一像素点的坐标位置，s(i+m,j)表示与s(i,j)满足预设间距的另一像素点的坐标位置，m表示预设间距，N和M分别表示i和j方向上的像素数。以此，可以通过[s(i,j)-s(i+m,j)]2计算得到该任意两个像素点之间的灰度差异值，并通过加和样本图像的所有像素点对应的灰度差异值得到该样本图像的清晰度。
在实际应用中，可以通过训练后的离焦量计算网络对排序后的子图像计算得到目标离焦量。离焦量计算网络可以指能用于根据图像或图像特征，处理得到相应的离焦量的网络模型。例如，离焦量计算网络可以为卷积网络(CNN)、密集神经网络(DenseNet)、循环神经网络(RNN)、全局注意力网络(GSANet)、全自注意力网络(Transformer)、全连接网络(DNN)、反向传播网络(BP)等中的一个或多个。
可选地，离焦量计算网络可以包括但不限于特征提取网络、注意力网络以及特征计算网络等,特征提取网络可以用于对排序后的子图像进行特征提取，得到子图像对应的图像特征，注意力网络可以用于对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征，特征计算网络可以用于根据目标特征进行离焦量计算，得到目标离焦量。
其中，特征提取网络可以为卷积网络(CNN)、密集神经网络(DenseNet)、循环神经网络(RNN)等。注意力网络可以为全局自注意力网络(GSANet)、多头注意力网络(Transformer)等。特征计算网络可以为全连接网络(DNN)、反向传播网络(BP)以及残差网络(ResNet)等。
以下将以离焦量计算网络包括特征提取网络、注意力网络以及特征计算网络为例，对本申请实施例进行详细说明。
130、对排序后的子图像进行特征提取，得到子图像对应的图像特征。
例如，可以将子图像按照重新排序的顺序输入特征提取网络，由特征提取网络依序对每个子图像进行特征提取，以得到每个子图像的图像特征。也可以将所有子图像按照重新排序的顺序拼接后，得到拼接后的图像，并将拼接后的图像输入特征提取网络，得到总图像特征，可以从总图像特征中确定每个子图像对应的图像特征。
在一些实施方式中，可以通过对子图像的图像数据进行深度可分离卷积处理，得到子图像对应的图像特征。具体地，对排序后的子图像进行特征提取，得到子图像对应的图像特征，包括：
根据子图像的通道，对排序后的子图像进行卷积处理，得到深度卷积特征；
对深度卷积特征进行逐点卷积，得到子图像对应的图像特征。
例如，以大小为64×64像素，三通道的任一子图像为例，可以在二维平面内，通过三个3×3的卷积核在每个通道进行卷积，即一个卷积核对子图像的一个通道的图像数据进行卷积，得到3个分别对应不同通道的特征图即深度卷积特征。可以使用尺寸为1×1×M的卷积核对三个特征图相同位置的点进行卷积，即聚合每个通道之间的信息，得到子图像对应的图像特征，其中M为上一层的通道数。这种先根据通道分别进行卷积，再聚合所有通道信息的特征提取方式，可以大大减少卷积计算的参数量，且卷积过程中对每一个通道都进行了学习，而不是所有通道对应一个卷积核，得到的特征质量更佳。
140、对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征。
例如，可以将多个子图像对应的图像特征按照重新排序后的顺序，输入注意力网络进行全局注意力处理，输出每个子图像对应的目标特征。以此，使得样本图像的图像数量较少时，可以通过全局注意力处理，学习不同子图像之间的联系，关注子图像之间的关联性，提升确定的目标特征的表达能力和准确性。
在一些实施方式中，可以通过线性变化确定注意力权重，以计算子图像对应的目标特征。具体地，对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征，包括：
获取多个初始参数矩阵；
根据初始参数矩阵，对子图像对应的图像特征进行线性变换，得到注意力权重；
根据注意力权重，对子图像对应的图像特征进行权重处理，得到子图像对应的目标特征。
其中，初始参数矩阵是指可以用来确定注意力权重的参数矩阵。在神经网络技术中，在通过注意力网络处理输入的图像特征时，通常可以通过预先设置或者对包含注意力层的神经网络模型训练得到初始参数矩阵，并通过初始参数矩阵计算得到注意力权重。
例如，在使用多头注意力网络处理输入的图像特征时，可以通过预训练的多头注意力网络得到初始参数矩阵WQ(请求向量参数矩阵)、WK(键向量参数矩阵)以及WV(值向量参数矩阵)。通过对WQ、WK以及WV分别对图像特征进行线性变换，可以分别得到注意力权重Q(请求向量序列)、K(键向量序列)以及V(值向量序列)。假设X∈Rn×d是一个输入的样本序列，样本即是子图像对应的图像特征，样本序列即是所有子图像对应的图像特征，其中n为样本个数(序列长度)，d为单个样本纬度。Query、Key以及Value定义为：Query：Q＝X×WQ，其中WQ∈Rd×dq，Key：K＝X×WK，其中WK∈Rd×dk，Value：V＝X×WK，其中WK∈Rd×dv。对于多头注意力网络，可以将每个子图像对应的图像特征乘以各个权重矩阵(WQ、WK、WV)，如X乘W0 Q转化为Q0。通过Q、K、V矩阵计算注意力，如将任一个子图像对应的图像特征的K、V与其他子图像对应的图像特征的Q计算注意力，得到Z矩阵(Z0、…、Z5)，将所有注意力头(Z0、…、Z5)拼接，乘以权重矩阵W0，得到该子图像对应的目标特征。
150、根据目标特征进行离焦量计算，得到目标离焦量。
例如，可以将每个子图像对应的目标特征输入残差网络，经处理后输出每个子图像的离焦量，并从中确定目标离焦量。
例如，残差网络可以经过卷积层对输入的目标特征进行1×1卷积处理、归一化以及h-swish激活函数处理后，输入池化层进行平均池化下采样后，再经过卷积层进行1×1卷积处理以及h-swish激活函数处理，经1×1的卷积处理，输出子图像对应的离焦量。
在一些实施方式中，可以根据多个子图像的离焦量来确定目标离焦量，以增加目标离焦量的准确性。具体地，根据目标特征进行离焦量计算，得到目标离焦量，包括：
对每个子图像对应的目标特征进行离焦量计算，得到每个子图像的离焦量；
根据所有子图像的离焦量，确定目标离焦量。
例如，可以将所有子图像的离焦量中最小的作为目标离焦量，或取所有离焦量中的中位数作为目标离焦量。可选地，可以对所有子图像的离焦量进行均值计算后，得到目标离焦量。
在一些实施方式中，在样本图像的图像数量较少时，可以通过训练后的离焦量计算网络快速、准确地确定样本图像对应的目标离焦量，以提升调焦的效率和准确性。具体地，获取空间站显微镜对待识别样本采集的至少一个样本图像之前，还包括：
获取待训练的离焦量计算网络以及训练样本集；
通过训练样本集，对待训练的离焦量计算网络进行训练，得到训练后的离焦量计算网络，训练后的离焦量计算网络用于执行步骤对排序后的子图像进行特征提取，得到子图像对应的图像特征至步骤根据目标特征进行离焦量计算，得到目标离焦量。
其中，训练样本集可以指用于训练待训练的离焦量计算网络的样本的集合。训练样本集中的样本可以表征为图像或由图像提取得到的图像特征形式。不同的应用场景，训练样本集中的样本可以不同。例如，若应用于对细胞的识别，训练样本集可以为现有的细胞图像数据集或由细胞图像数据集提取的特征构成的集合。
例如，可以通过训练样本集，对待训练的离焦量计算网络进行训练直至待训练的离焦量计算网络收敛。
可选地，可以通过回归学习方式训练对待训练的离焦量计算网络进行训练。例如，可以通过逻辑回归、随机森林回归、随机梯度下降、支持向量回归等算法，对待训练的离焦量计算网络进行训练。
可选地，该训练样本集也可以用于训练第一样本识别网络、第二样本识别网络以及图像分割网络。
在一些实施方式中，可以对样本数据集进行特征提取，以减少训练样本的量，以通过少量样本对待训练的离焦量计算网络进行训练；此外，还可以将提取的初始特征与预设特征拼接，以使训练样本在数量较少的情况下仍具有良好的可靠性和表达能力，以增加训练后网络的精度。具体地，训练样本集的获取方法，包括：
获取样本数据集、预设特征以及待训练的离焦量计算网络；
从样本数据集中提取得到初始特征；
拼接初始特征以及预设特征，得到训练样本集。
其中，样本数据集可以指用于生成训练样本的数据集。例如，样本数据集可以指对应待识别样本的数据集，如若待识别样本为细胞，则样本数据集可以为细胞类数据集CytoImageNet等。
其中，预设特征可以指根据应用场景设置的样本特征。例如，预设特征可以为对应待识别样本的先验特征，如若待识别样本为细胞切片，则预设特征可以为细胞类的先验知识得到的先验特征。再如，可以将样本对应的图像类别作为预设特征，也可以对样本数据集在任一维度如颜色、纹理、边缘、频谱等维度，提取得到该维度的图像底层特征，将该维度的图像底层特征作为预设特征；或者为了增加预设特征的区分度，可以从多种维度的图像底层特征中确定一种或多种区分度较高的图像底层特征作为预设特征，区分度可以用于表征特征对于分类任务的区分性，可以通过单变量滤波方法、多变量滤波方法、确定性搜索算法等确定特征的区分度。可以理解的是，预设特征可以作为具有区分度的非重要特征，在较少样本的情况下，加入先验特征，可以更精确地定位显著性区域，以提升网络的精度。
例如，可以通过预训练的特征提取网络，如多头注意力网络对细胞类数据集进行预训练，得到至少一个初始特征。再将初始特征与先验特征拼接得到训练样本集。
在一些实施方式中，由于相同离焦量的样本叠加后的离焦量应保持不变，因此可以将相同离焦量的样本叠加，以提升训练后离焦量计算网络的鲁棒性。具体地，训练样本集的获取方法，包括：
获取初始训练样本集，初始训练样本集包括多个第一样本；
将初始训练样本集中、对应相同离焦量的至少两个第一样本进行叠加处理，得到第二样本；
根据第一样本以及第二样本，确定训练样本集。
其中，第一样本可以指图像数据或从图像数据中提取得到的图像特征。
例如，将两个对应相同离焦量的图像进行叠加得到第二样本，也可以将两个对应相同离焦量的图像特征拼接后得到第二样本。可以将全部或部分的第一样本、第二样本组成训练样本集，并将样本对应的离焦量作为该样本的标签。
例如，如图1d所示，可以将离焦量相同的样本1的图像1以及样本2的图像2叠加后，得到图像3，并将图像1、图像2以及图像3都作为训练样本集中的样本。
可选地，第一样本可以为由初始特征以及预设特征拼接得到的特征。第一样本也可以为初始特征。
可选地，在对待训练的离焦量计算网络进行训练的过程中，若待训练的离焦量计算网络收敛时，还可以比较对应相同离焦量的样本对应的输出结果是否一致，例如比较对应相同离焦量的第一样本和第二样本输入离焦量计算网络后的输出结果是否一致，若是则认为训练结束，若否则继续训练。
在一些实施方式中，可以先在较低倍率下，先确定待识别样本所在图像区域，并根据图像区域内的图像特征，预先粗调空间站显微镜的焦平面，以可以以较高倍率采集待识别样本的样本图像，并减少由样本图像调整空间站显微镜焦平面的幅度，以快速、准确地确定样本图像对应的目标离焦量，以提升调焦的效率和准确性。具体地，获取空间站显微镜对待识别样本采集的至少一个样本图像之前，还包括：
获取第一样本识别网络、以及空间站显微镜对待识别样本采集的至少一个初始图像，初始图像对应的放大倍率低于样本图像；
通过第一样本识别网络，在初始图像中确定待识别样本中的待识别对象对应的第一样本区域；
基于第一样本区域，进行离焦量计算，得到初始离焦量；
将初始离焦量发送至空间站显微镜，以便空间站显微镜根据初始离焦量调整指令调整焦平面的位置。
其中，第一样本识别网络可以指能用于识别待识别样本在初始图像中的所在区域的网络模型。例如，第一样本识别网络可以为卷积网络(CNN)、反向传播网络(BP)以及循环神经网络(RNN)等中的一个或多个。
可选地，第一样本识别网络可以包括第一特征提取网络、第一区域候选网络、第一兴趣池化网络以及第一分类回归网络。
具体地，第一特征提取网络可以通过一组卷积层、激活层以及池化层，对输入的图像如待识别样本图像进行卷积处理、激活处理以及池化处理来提取图像的特征图。第一区域候选网络可以在特征图上使用一个3×3的滑窗来遍历整个特征图，在遍历过程中，每个窗的中心按照比例(1:2,1:1,2:1)生成9个锚点，再通过全连接层对每个锚点进行二分类，以区分前景和背景，并通过边框回归，得到多个感兴趣区域。第一兴趣池化网络可以通过池化层对特征图进行感兴趣区域池化处理，以得到池化处理后的特征图。分类回归网络可以将多个感兴趣区域映射到池化处理后的特征图进行边框回归和分类，以得到预测区域。可以将该预测区域作为待识别样本所在的图像区域。
其中，放大倍率可以指空间站显微镜的放大倍数。例如，放大倍率可以为像素倍率，也可以为电子倍率。
其中，第一样本区域可以指待识别样本的待识别对象在初始图像中所在的区域。
例如，要识别卵泡样细胞切片中的卵子样细胞，空间站显微镜可以以4倍率拍摄如图1e中的(1)所示的卵泡样细胞切片的初始图像，将初始图像输入第一样本识别网络，在第一样本识别网络的输出结果中可以显示topK个卵子细胞的所在的区域，如图1e中的(1)所示，在输出结果中以矩形框标识了两个卵子样细胞所在的区域。可以对其中一个或两个卵子样细胞所在区域内的图像输入训练后的离焦量计算网络，得到初始图像的离焦量+5μm，以生成第一焦平面调整指令将该离焦量发送至空间站显微镜，使空间站显微镜根据该离焦量粗调焦平面位置，即控制焦平面向下移动5μm。
可选地，将初始离焦量发送至空间站显微镜，以便空间站显微镜根据初始离焦量调整指令调整焦平面的位置，包括：
根据初始离焦量，生成第一焦平面调整指令；
将第一焦平面调整指令发送至空间站显微镜，以便空间站显微镜根据第一焦平面调整指令调整焦平面的位置。
其中，第一焦平面调整指令可以指用于控制空间站显微镜根据初始离焦量调整焦平面位置的指令。
可选地，获取空间站显微镜对待识别样本采集的至少一个样本图像之前，还可以包括：生成倍率调整指令；将倍率调整指令发送至空间站显微镜，以便空间站显微镜根据倍率调整指令调整放大倍率。例如，在发送第一焦平面调整指令的同时，可以将倍率调整指令发送至空间站显微镜，以使空间站显微镜从4倍率增大为10倍率，以此，在确定了卵子样所在的第一样本区域后，可以以该区域为中心增大放大倍率，以使空间站显微镜可以拍摄得到以该区域为中心的高倍率的样本图像。
可选地，也可以基于初始图像，进行离焦量计算，得到初始离焦量。例如，可以将初始图像输入训练后的离焦量计算网络，得到初始离焦量。
160、将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
例如，可以将控制指令输入空间站显微镜用于调整的电机，以调整载物台的上下位置。如电机控制根据目标离焦量-5μm调整载物台的上下位置，以将焦平面向上移动5μm。
在一些实施方式中，可以先在较低倍率下，先确定待识别样本所在图像区域，并根据图像区域内的图像特征，预先粗调空间站显微镜的焦平面，以可以以较高倍率采集待识别样本的样本图像，并减少由样本图像调整空间站显微镜焦平面的幅度，以快速、准确地确定样本图像对应的目标离焦量，以提升调焦的效率和准确性。具体地，方法，还包括：
获取第一图像、第二样本识别网络以及图像分割网络，第一图像为空间站显微镜在根据目标离焦量进行调焦后，对待识别样本采集的图像；
通过第二样本识别网络，在第一图像中确定待识别样本中的待识别对象对应的第二样本区域；
基于第二样本区域，生成倍率增大指令；
将倍率增大指令发送至空间站显微镜，以便空间站显微镜根据倍率增大指令增大放大倍率；
获取第二图像，第二图像为空间站显微镜在根据倍率增大指令增大放大倍率后，对待识别样本采集的图像；
通过所述图像分割网络，对第二图像中的待识别对象进行分割，得到待识别对象的特征区域，以确定待识别样本的识别结果。
其中，第二样本识别网络可以指能用于识别待识别对象在第一图像中的所在区域的网络模型。例如，第二样本识别网络可以为卷积网络(CNN)、反向传播网络(BP)以及循环神经网络(RNN)等中的一个或多个。
可选地，第二样本识别网络与第一样本识别网络可以为同一样本识别网络，即第二样本识别网络与第一样本识别网络的网络结构相同，第二样本识别网络能实现前述第一样本识别网络的作用。
其中，第二样本区域可以指待识别对象在第一图像中所在的区域。
其中，倍率增大指令可以指用于控制空间站显微镜增大放大倍率的指令。
其中，图像分割网络可以指能用于将待识别对象在第二图像中的所在区域进行分割的网络模型。例如，图像分割网络可以为循环神经网络(RNN)、U形网络(UNet)以及完全卷积网络(TernausNet)等中的一个或多个。
其中，特征区域可以指对待识别对象进行分割得到的区域。例如，卵子样细胞的外层细胞和内层细胞两个区域。
可选地，图像分割网络可以包括第二特征提取网络、第二区域候选网络、第二兴趣池化网络、掩码预测网络(Mask预测网络)以及第二分类回归网络。
具体地，第二特征提取网络可以通过多个残差模块对输入图像如第二图像进行特征提取得到图像的特征图，第二区域候选网络可以通过遍历特征图设置多个锚点，并通过全连接层对多个锚点进行二分类，以区分前景和背景，并通过边框回归，得到多个感兴趣区域。第二兴趣池化网络可以通过池化层对特征图进行感兴趣区域池化处理，以得到池化处理后的特征图。分类回归网络可以将多个感兴趣区域映射到池化处理后的特征图进行边框分类和回归，以得到预测区域。并可以将该预测区域输入掩码预测网络，掩码预测网络通过带Mask的卷积层对该预测区域信息进行多次卷积处理，将输入的预测出入转换为特征图，在对特征图进行反卷积，并输出一个二值化的Mask从而实现图像分割。
例如，空间站显微镜可以根据目标离焦量-5μm，将焦平面向上移动5μm。在移动后，空间站显微镜可以以10倍率对置物台上的细胞切片拍摄得到第一图像。通过第二样本识别网络，可以如图1e中的(2)所示在第一图像中识别到卵子样细胞所在的区域。可以生成对应卵子样细胞的倍率增大指令，并将该倍率增大指令发送至空间站显微镜，以如图1e中的(3)所示使空间站显微镜从10倍率增大为20倍率。在倍率增大后，空间站显微镜可以拍摄到以卵子样细胞所在的区域为中心的第二图像。如图1e中的(3)所示，可以将第二图像或第二图像中卵子样细胞所在区域的图像输入图像分割网络，将卵子样细胞分割为外层细胞和内层细胞两个区域。
可选地，可以通过第二样本识别网络以及图像分割网络对第一图像进行样本识别以及分割，得到对待识别样本的识别结果。
可选地，可以对分割得到的区域进行进一步识别，以得到精准的识别结果。具体地，通过图像分割网络，对第二图像中的待识别对象进行分割，得到待识别对象的特征区域，以确定对待识别样本的识别结果，可以包括：
通过图像分割网络，对第二图像中的待识别对象进行分割，得到待识别对象的特征区域；
通过图像分类网络，确定待识别对象的特征区域的类型，以得到对待识别样本的识别结果。
其中，图像分类网络可以用于确定对待识别对象分割得到的区域的类型。图像分割网络可以为全连接网络(DNN)以及残差网络(ResNet)等中的一个或多个。
例如，图像分类网络可以为残差网络，残差网络可以包括顺次相连的多个残差块(Residual Blocks)，任意一个残差块中均包括一个恒等映射和至少两个卷积层，其中，一个残差块的恒等映射由该残差块的输入端指向该残差块的输出端。因此，可以将对卵子样细胞的分割得到的区域1和区域2输入残差网络，经多个残差块依次进行特征提取后，再经池化层进行平均池化处理以及全连接层处理后，输出对区域1和区域2的分类结果，即区域1为外层细胞，区域2为内层细胞，以得到对卵泡子样细胞的识别结果。
本申请实施例提供的空间站显微镜的调焦方案可以应用在各种样本识别场景中。比如，以细胞识别为例，获取空间站显微镜对待识别样本采集的至少一个样本图像；若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序；对排序后的子图像进行特征提取，得到子图像对应的图像特征；对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征；根据目标特征进行离焦量计算，得到目标离焦量；将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
采用本申请实施例提供的方案在样本图像的图像数量较少时，可以通过对样本图像的子图像重新排序产生多样的局部变化，使排序后的图像对应的图像特征的表达能力提高。此外，通过对排序后的子图像的图像特征进行全局注意力处理后再确定目标离焦量，使得样本图像的图像数量较少时，可以通过全局注意力处理，学习不同子图像之间的联系，关注子图像之间的关联性，提升确定的目标特征的表达能力和准确性。以此，本申请实施例可以根据少量的样本图像直接确定目标离焦量并反馈至空间站显微镜，以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例中，将以应用于卵泡样细胞识别场景为例，对本申请实施例的方法进行详细说明。
例如，本申请实施例的空间站显微镜的调焦方法可以应用于空间站显微镜的样本图像处理系统，该系统可以包括如图2a所示的空间站显微镜模块、天地传输模块以及地面控制模块。
其中，空间站显微镜模块可以包括电动显微镜、图像采集设备以及数据存储和处理计算机。具体地，电动显微镜以及图像采集设备主要用于进行生物样本的实验数据采集，数据存储和处理计算机可以接收来自于地面控制模块的控制指令，并控制电动显微镜以及图像采集设备。
地面控制模块可以包括地面计算机，该模块可以搭载地面控制系统。具体地，地面计算机可以实现数据管理、可视化AI数据分析以及基于AI结果的指令交互等功能。例如，可以通过中继卫星将控制指令传输指空间站显微镜模块。控制指令可以包括但不限于调焦，切换镜头，采集数据等指令。
天地传输模块可以为中继卫星，该模块可以搭载有天地数据中继系统。具体地，空间站显微镜模块采集的实验数据以及地面控制模块生成的控制指令都通过天地传输模块进行传输。
具体地，空间站显微镜模块(空间站显微镜)、天地传输模块(中继卫星)以及地面控制模块(地面控制系统)之间的交互过程可以参见如图2b所示的时序图，以下将结合本申请实施例的空间站显微镜的调焦方法说明具体交互过程。
如图2b和图2c所示，一种空间站显微镜的调焦方法具体流程如下：
210、获取第一样本识别网络、以及空间站显微镜对待识别样本采集的至少一个初始图像。
例如，地面控制模块可以通过图像识别网络以及离焦量计算网络两大网络实现AI数据分析。其中，图像识别网络可以通过分类网络如ResNet、检测网络如Faster RCNN以及分割网络如Mask-RCNN对空间站显微镜采集的图像进行检测、分割和分类等处理，以辅助地面科学家进行目标(待识别对象)识别。可以通过前述实施例中的训练样本集训练该图像识别网络，以提升图像识别网络的鲁棒性以及对图像的处理能力。
本申请实施例对分类网络、检测网络以及分割网络进行图像处理的先后顺序不做限定，例如，可以先通过检测网络或分割网络将感兴趣的目标提取出来，然后进一步通过分类网络将感兴趣的目标区域进行细分类。以下将以第一样本识别网络和第二样本识别网络为检测网络如Faster RCNN，图像分割网络为分割网络如Mask-RCNN，图像分类网络为分类网络如ResNet进行详细说明。
220、根据第一样本识别网络以及初始图像，生成第一焦平面调整指令，并将第一焦平面调整指令发送至空间站显微镜。
例如，卵泡样细胞在将近10天的发育过程中，会经历卵子样细胞，原始卵泡，初级卵泡和次级卵泡等4个阶段，随着发育阶段的递进，每个阶段的细胞逐渐变得更大。卵子样细胞，圆形细胞直径30～40μm，原始卵泡的中间圆形卵子(不规则多边形细胞团不算)直径40～50μm，初级卵泡的卵子直径40～100μm，次级卵泡中间圆形卵子直径80～180μm。如图1e中的(1)所示，实际观察过程中，首先将空间站显微镜切换至低倍率如4X的物镜，从而在大范围内扫描寻找卵子样细胞，在寻找卵子样细胞的过程中，需要同步的调整焦平面的位置，从而可以最清晰地看到topK个候选的卵子样细胞，如图1e中的(1)所示有两个候选的卵子样细胞。
具体地，可以通过检测网络识别4倍率下的初始图像中卵子样细胞所在的区域，并将该区域内图像输入训练后的离焦量计算网络，确定初始图像对应的离焦量，并生成第一焦平面调整指令。如图2b所示，将生成第一焦平面调整指令经中继卫星发送至空间站显微镜，以便空间站显微镜根据第一焦平面调整指令调整焦平面的位置。
230、获取空间站显微镜对待识别样本采集的至少一个样本图像。
例如，空间站显微镜在根据第一焦平面调整指令调整焦平面的位置后，可以根据预设时间间隔对卵泡样细胞切片再次采集得到至少一个样本图像。如图2b所示，将采集到的样本图像经中继卫星发送至地面控制系统。
240、若样本图像的图像数量不大于预设阈值，通过训练后的离焦量计算网络确定目标离焦量，并将目标离焦量发送至空间站显微镜。
例如，如图2d所示，在样本图像较少时，可以采用步骤241～步骤245的方法确定空间站显微镜的离焦量。
241、若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序。
242、对排序后的子图像进行特征提取，得到子图像对应的图像特征。
243、对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征。
244、根据目标特征进行离焦量计算，得到目标离焦量。
245、将目标离焦量发送至空间站显微镜。
通常要将图像调整到离焦位置后才能进行后续的图像识别，现有的离焦量判读算法需要针对具体的显微镜硬件(如物镜等参数)来进行样本离焦程度的判读。由于空间站显微镜不方便直接在地面通过人眼观察结果，只能通过天地数据中继系统传输到地面，而数据采集和传输会有一定延时，因此通过尽可能少的数据进行离焦量判读就显得格外重要。
然而，本申请实施例的离焦量计算网络在空间站显微镜在某一个xy的位置只拍摄一张图时，也可以进行离焦量分析。这种基于AI学习的算法依赖于具体显微镜的实验数据采集和离焦量计算网络训练。该离焦量计算网络实质上是一个回归任务，能够通过一张图就判读出离焦量。例如，在对离焦量计算网络进行训练时，可以设置包含多种不同离焦深度(离焦量)的图像数据的训练样本集，如图2e所示，该训练样本集中的多个样本可以对应从-3μm～+3μm的多个离焦量，该离焦量计算网络可以通过回归学习识别每个图像对应的离焦量，该离焦量有正有负，代表处于焦平面上面或者下面。在训练完该离焦量计算网络后，训练后的离焦量计算网络只需要接收一张图像就可以判读该图像对应的目标离焦量。
如图2b所示，通过生成的第三焦平面调整指令将目标离焦量经中继卫星发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
250、若样本图像的图像数量大于预设阈值，根据样本图像的清晰度，确定目标焦平面位置，并将目标焦平面位置发送至空间站显微镜。
例如，如图2f所示，在样本图像较多时，可以采用步骤251～步骤253的方法确定空间站显微镜的离焦量。
251、若样本图像的图像数量大于预设阈值，确定每个样本图像的清晰度。
252、将样本图像中、清晰度为最高清晰度的样本图像对应的焦平面位置，确定为目标焦平面位置。
253、将目标焦平面位置发送至空间站显微镜。
在空间站显微镜拍摄到多张图像时，可以分别分析不同图的客观指标信息。例如，空间站显微镜在某一个xy位置上下拍摄了多张不同离焦位置的图像，可以对每一张图计算一个离焦量判读指标(如清晰度)，然后计算出哪一张图像的清晰度最高，那么该张图像对应的位置就是最佳的成像位置，如图2g所示，显示了对8张图像分别计算对应的清晰度的结果，图中左侧从上至下的8张图像与右侧图表中的清晰度相对应，该图表中纵轴表示图像对应的焦平面位置，横轴表示图像对应的清晰度，显然图2g中从上至下的第4张图像的清晰度最优(最高)，因此可以将清晰度最优的图像(即最优z)对应的离焦量位置作为目标焦平面位置。后续可以通过地面控制系统与空间站显微镜之间的指令交互将空间站显微镜的载物台移动到该位置。如图2b所示，通过生成第二焦平面调整指令将目标焦平面位置经中继卫星发送至空间站显微镜，以便空间站显微镜根据第二焦平面调整指令调整焦平面的位置。
260、获取第一图像、第二样本识别网络、图像分割网络以及图像分类网络。
例如，在看到清晰的候选卵子样细胞后，可以将空间站显微镜切换到更高的物镜倍率，如10X或20X。如图1e中的(2)所示，可以根据10X镜下采集到的第一图像，观察到卵子样细胞或者发育后其他阶段细胞的更多细节信息。如图2b所示，可以将采集到的第一图像经中继卫星发送至地面控制系统。
270、根据第二样本识别网络以及第一图像，生成倍率增大指令，并将倍率增大指令发送至空间站显微镜。
例如，可以通过第二样本识别网络如检测网络Faster-RCNN，在第一图像中识别到卵子细胞所在的区域，即如图1e中的(2)所示，在检测网络的输出结果中可以线条描绘出卵子细胞所在的区域。该网络可以对一张输入的第一图像(1080x640)进行检测并输出感兴趣目标的位置(x,y,w,h)和置信度(0～1)，并可以生成对应卵子细胞的倍率增大指令。如图2b所示，将该倍率增大指令经中继卫星发送至空间站显微镜，以使空间站显微镜根据倍率增大指令从10倍率增大为20X倍率。
280、获取第二图像。
例如，在倍率增大后，如图1e中的(3)所示，空间站显微镜可以以20X倍率拍摄到以卵子细胞所在的区域为中心的第二图像。如图2b所示，可以将采集到的第二图像经中继卫星发送至地面控制系统。
290、通过图像分割网络以及图像分类网络，对第二图像中的待识别对象进行分割，得到待识别对象的特征区域，以确定对待识别样本的识别结果。
例如，随着空间站显微镜切换到更高倍率，更精细的分割和多分类算法如分割网络以及分类网络也可以应用到该视野图中。如对卵泡样细胞而言，可以通过图像分割网络将卵子样细胞分为内层和外层两种区域，并通过图像分类网络确定外层细胞和内存细胞，还可以通过图像分类网络对4个阶段的卵泡样细胞进行细分类。例如，如图1e中的(3)所示，在图像分类网络的输出结果中可以线条描绘出卵子样细胞的外层细胞和内层细胞。
由上可知，本申请实施例可以通过检测网络、分割网络以及分类网络对空间站显微镜采集的图像进行识别，并通过不同离焦量计算方法对少数张图或者一张图进行离焦量判断，以解决空间站显微镜应用场景下，仅能对少量样本图像进行离焦量计算的问题，以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
为了更好地实施以上方法，本申请实施例还提供一种空间站显微镜的调焦装置，该空间站显微镜的调焦装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以空间站显微镜的调焦装置具体集成在服务器为例，对本申请实施例的方法进行详细说明。
例如，如图3所示，该空间站显微镜的调焦装置应用于地面控制系统，该装置可以包括获取单元310、截取单元320、处理单元330以及发送单元340，如下：
(一)获取单元310
用于获取空间站显微镜对待识别样本采集的至少一个样本图像。
(二)截取单元320
用于若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序。
(三)处理单元330
用于对排序后的子图像进行特征提取，得到子图像对应的图像特征。
在一些实施方式中，处理单元330具体可以用于：根据子图像的通道，对排序后的子图像进行卷积处理，得到深度卷积特征；对深度卷积特征进行逐点卷积，得到子图像对应的图像特征。
处理单元330，还用于对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征。
在一些实施方式中，处理单元330具体可以用于：获取多个初始参数矩阵；根据初始参数矩阵，对子图像对应的图像特征进行线性变换，得到注意力权重；根据注意力权重，对子图像对应的图像特征进行权重处理，得到子图像对应的目标特征。
处理单元330，还用于根据目标特征进行离焦量计算，得到目标离焦量。
在一些实施方式中，处理单元330具体可以用于：对每个子图像对应的目标特征进行离焦量计算，得到每个子图像的离焦量；根据所有子图像的离焦量，确定目标离焦量。
在一些实施方式中，处理单元330还可以用于：获取待训练的离焦量计算网络以及训练样本集；通过训练样本集，对待训练的离焦量计算网络进行训练，得到训练后的离焦量计算网络，训练后的离焦量计算网络用于执行步骤对排序后的子图像进行特征提取，得到子图像对应的图像特征至步骤根据目标特征进行离焦量计算，得到目标离焦量。
在一些实施方式中，训练样本集的获取方法，包括：获取样本数据集、预设特征以及待训练的离焦量计算网络；从样本数据集中提取得到初始特征；拼接初始特征以及预设特征，得到训练样本集。
在一些实施方式中，训练样本集的获取方法，包括：获取初始训练样本集，初始训练样本集包括多个第一样本；将初始训练样本集中、对应相同离焦量的至少两个第一样本进行叠加处理，得到第二样本；根据第一样本以及第二样本，确定训练样本集。
在一些实施方式中，处理单元330还可以用于：若样本图像的图像数量大于预设阈值，确定每个样本图像的清晰度；将样本图像中、清晰度为最高清晰度的样本图像对应的焦平面位置，确定为目标焦平面位置；将目标焦平面位置发送至空间站显微镜，以便空间站显微镜根据目标焦平面位置调整焦平面的位置。
在一些实施方式中，若样本图像的图像数量大于预设阈值，确定每个样本图像的清晰度，包括：若样本图像的图像数量大于预设阈值，针对每个样本图像，获取样本图像中像素点的灰度值；根据灰度值，计算任意两个像素点之间的灰度差异值，任意两个像素点满足预设间距；根据灰度差异值，得到样本图像的清晰度。
(四)发送单元340
用于将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
在一些实施方式中，处理单元330还可以用于：获取第一样本识别网络、以及空间站显微镜对待识别样本采集的至少一个初始图像，初始图像对应的放大倍率低于样本图像；通过第一样本识别网络，在初始图像中确定待识别样本中的待识别对象对应的第一样本区域；基于第一样本区域，进行离焦量计算，得到初始离焦量。
发送单元340还可以用于：将初始离焦量发送至空间站显微镜，以便空间站显微镜根据初始离焦量调整焦平面的位置。
在一些实施方式中，处理单元330还可以用于：获取第一图像、第二样本识别网络以及图像分割网络，第一图像为空间站显微镜在根据目标离焦量进行调焦后，对待识别样本采集的图像；通过第二样本识别网络，在第一图像中确定待识别样本中的待识别对象对应的第二样本区域；基于第二样本区域，生成倍率增大指令；
发送单元340还可以用于：将倍率增大指令发送至空间站显微镜，以便空间站显微镜根据倍率增大指令增大放大倍率；
处理单元330还可以用于：获取第二图像，第二图像为空间站显微镜在根据倍率增大指令增大放大倍率后，对待识别样本采集的图像；通过图像分割网络，对第二图像中的待识别对象进行分割，得到待识别对象的特征区域，以确定对待识别样本的识别结果。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由此，本申请实施例在样本图像的图像数量较少时，可以通过对样本图像的子图像重新排序产生多样的局部变化，使排序后的图像对应的图像特征的表达能力提高。此外，通过对排序后的子图像的图像特征进行全局注意力处理后再确定目标离焦量，使得样本图像的图像数量较少时，可以通过全局注意力处理，学习不同子图像之间的联系，关注子图像之间的关联性，提升确定的目标特征的表达能力和准确性。以此，本申请实施例可以根据少量的样本图像直接确定目标离焦量并反馈至空间站显微镜，以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该空间站显微镜的调焦装置还可以集成在多个电子设备中，比如，空间站显微镜的调焦装置可以集成在多个服务器中，由多个服务器来实现本申请的空间站显微镜的调焦方法。
在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图4所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器410、一个或一个以上计算机可读存储介质的存储器420、电源430、输入模块440以及通信模块450等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器410是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行服务器的各种功能和处理数据。在一些实施例中，处理器410可包括一个或多个处理核心；在一些实施例中，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。
存储器420可用于存储软件程序以及模块，处理器410通过运行存储在存储器420的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器420还可以包括存储器控制器，以提供处理器410对存储器420的访问。
服务器还包括给各个部件供电的电源430，在一些实施例中，电源430可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源430还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入模块440，该输入模块440可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括通信模块450，在一些实施例中通信模块450可以包括无线模块，服务器可以通过该通信模块450的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块450可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器410会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器420中，并由处理器410来运行存储在存储器420中的应用程序，从而实现各种功能，如下：
获取空间站显微镜对待识别样本采集的至少一个样本图像；若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序；对排序后的子图像进行特征提取，得到子图像对应的图像特征；对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征；根据目标特征进行离焦量计算，得到目标离焦量；将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例可以在样本图像的图像数量较少时，可以通过对样本图像的子图像重新排序产生多样的局部变化，使排序后的图像对应的图像特征的表达能力提高。此外，通过对排序后的子图像的图像特征进行全局注意力处理后再确定目标离焦量，使得样本图像的图像数量较少时，可以通过全局注意力处理，学习不同子图像之间的联系，关注子图像之间的关联性，提升确定的目标特征的表达能力和准确性。以此，本申请实施例可以根据少量的样本图像直接确定目标离焦量并反馈至空间站显微镜，以根据有限的样本图像及时、准确地调整空间站显微镜的焦平面。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种空间站显微镜的调焦方法中的步骤。例如，该指令可以执行如下步骤：
获取空间站显微镜对待识别样本采集的至少一个样本图像；若样本图像的图像数量不大于预设阈值，从样本图像中截取多个子图像，并对多个子图像进行重新排序；对排序后的子图像进行特征提取，得到子图像对应的图像特征；对子图像对应的图像特征进行全局注意力处理，得到子图像对应的目标特征；根据目标特征进行离焦量计算，得到目标离焦量；将目标离焦量发送至空间站显微镜，以便空间站显微镜根据目标离焦量调整焦平面的位置。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序/指令，该计算机程序/指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该计算机设备执行上述实施例中提供的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种空间站显微镜的调焦方法中的步骤，因此，可以实现本申请实施例所提供的任一种空间站显微镜的调焦方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种空间站显微镜的调焦方法、装置、设备、介质和程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种空间站显微镜的调焦方法，其特征在于，应用于地面控制系统，所述方法包括：
获取空间站显微镜对待识别样本采集的至少一个样本图像；
若所述样本图像的图像数量不大于预设阈值，从所述样本图像中截取多个子图像，并对所述多个子图像进行重新排序；
对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征；
对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征；
根据所述目标特征进行离焦量计算，得到目标离焦量；
将所述目标离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标离焦量调整焦平面的位置。
2.如权利要求1所述的空间站显微镜的调焦方法，其特征在于，所述获取空间站显微镜对待识别样本采集的至少一个样本图像之前，还包括：
获取待训练的离焦量计算网络以及训练样本集；
通过所述训练样本集，对所述待训练的离焦量计算网络进行训练，得到训练后的离焦量计算网络，所述训练后的离焦量计算网络用于执行步骤对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征至步骤根据所述目标特征进行离焦量计算，得到目标离焦量。
3.如权利要求2所述的空间站显微镜的调焦方法，其特征在于，所述训练样本集的获取方法，包括：
获取样本数据集、预设特征以及待训练的离焦量计算网络；
从所述样本数据集中提取得到初始特征；
拼接所述初始特征以及所述预设特征，得到训练样本集。
4.如权利要求2所述的空间站显微镜的调焦方法，其特征在于，所述训练样本集的获取方法，包括：
获取初始训练样本集，所述初始训练样本集包括多个第一样本；
将所述初始训练样本集中、对应相同离焦量的至少两个所述第一样本进行叠加处理，得到第二样本；
根据所述第一样本以及所述第二样本，确定训练样本集。
5.如权利要求1所述的空间站显微镜的调焦方法，其特征在于，所述对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征，包括：
根据所述子图像的通道，对排序后的所述子图像进行卷积处理，得到深度卷积特征；
对所述深度卷积特征进行逐点卷积，得到所述子图像对应的图像特征。
6.如权利要求1所述的空间站显微镜的调焦方法，其特征在于，所述对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征，包括：
获取多个初始参数矩阵；
根据所述初始参数矩阵，对所述子图像对应的图像特征进行线性变换，得到注意力权重；
根据所述注意力权重，对所述子图像对应的图像特征进行权重处理，得到所述子图像对应的目标特征。
7.如权利要求1所述的空间站显微镜的调焦方法，其特征在于，所述根据所述目标特征进行离焦量计算，得到目标离焦量，包括：
对每个所述子图像对应的目标特征进行离焦量计算，得到每个所述子图像的离焦量；
根据所有所述子图像的离焦量，确定目标离焦量。
8.如权利要求1所述的空间站显微镜的调焦方法，其特征在于，所述方法，还包括：
若所述样本图像的图像数量大于预设阈值，确定每个所述样本图像的清晰度；
将所述样本图像中、所述清晰度为最高清晰度的所述样本图像对应的焦平面位置，确定为目标焦平面位置；
将所述目标焦平面位置发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标焦平面位置调整焦平面的位置。
9.如权利要求8所述的空间站显微镜的调焦方法，其特征在于，所述若所述样本图像的图像数量大于预设阈值，确定每个所述样本图像的清晰度，包括：
若所述样本图像的图像数量大于预设阈值，针对每个所述样本图像，获取所述样本图像中像素点的灰度值；
根据所述灰度值，计算任意两个所述像素点之间的灰度差异值，所述任意两个所述像素点满足预设间距；
根据所述灰度差异值，得到所述样本图像的清晰度。
10.如权利要求1任一项所述的空间站显微镜的调焦方法，其特征在于，所述获取空间站显微镜对待识别样本采集的至少一个样本图像之前，还包括：
获取第一样本识别网络、以及空间站显微镜对待识别样本采集的至少一个初始图像，所述初始图像对应的放大倍率低于所述样本图像；
通过所述第一样本识别网络，在所述初始图像中确定所述待识别样本中的待识别对象对应的第一样本区域；
基于所述第一样本区域，进行离焦量计算，得到初始离焦量；
将所述初始离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述初始离焦量调整指令调整焦平面的位置。
11.如权利要求1～10任一项所述的空间站显微镜的调焦方法，其特征在于，所述方法，还包括：
获取第一图像、第二样本识别网络以及图像分割网络，所述第一图像为所述空间站显微镜在根据所述目标离焦量进行调焦后，对所述待识别样本采集的图像；
通过所述第二样本识别网络，在所述第一图像中确定所述待识别样本中的待识别对象对应的第二样本区域；
基于所述第二样本区域，生成倍率增大指令；
将所述倍率增大指令发送至所述空间站显微镜，以便所述空间站显微镜根据所述倍率增大指令增大放大倍率；
获取第二图像，所述第二图像为所述空间站显微镜在根据所述倍率增大指令增大放大倍率后，对所述待识别样本采集的图像；
通过所述图像分割网络，对所述第二图像中的所述待识别对象进行分割，得到所述待识别对象的特征区域，以确定对所述待识别样本的识别结果。
12.一种空间站显微镜的调焦装置，其特征在于，应用于地面控制系统，所述装置包括：
获取单元，用于获取空间站显微镜对待识别样本采集的至少一个样本图像；
截取单元，用于若所述样本图像的图像数量不大于预设阈值，从所述样本图像中截取多个子图像，并对所述多个子图像进行重新排序；
处理单元，用于对排序后的所述子图像进行特征提取，得到所述子图像对应的图像特征；
处理单元，还用于对所述子图像对应的图像特征进行全局注意力处理，得到所述子图像对应的目标特征；
处理单元，还用于根据所述目标特征进行离焦量计算，得到目标离焦量；
发送单元，用于将所述目标离焦量发送至所述空间站显微镜，以便所述空间站显微镜根据所述目标离焦量调整焦平面的位置。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～11任一项所述空间站显微镜的调焦方法中的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～11任一项所述的空间站显微镜的调焦方法中的步骤。
15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～11任一项所述的空间站显微镜的调焦方法中的步骤。
CN202211360527.6A 2022-11-02 2022-11-02 空间站显微镜的调焦方法、装置、设备、介质和程序产品 Pending CN117036721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211360527.6A CN117036721A (zh) 2022-11-02 2022-11-02 空间站显微镜的调焦方法、装置、设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211360527.6A CN117036721A (zh) 2022-11-02 2022-11-02 空间站显微镜的调焦方法、装置、设备、介质和程序产品

Publications (1)

Publication Number Publication Date
CN117036721A true CN117036721A (zh) 2023-11-10

Family

ID=88625009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211360527.6A Pending CN117036721A (zh) 2022-11-02 2022-11-02 空间站显微镜的调焦方法、装置、设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN117036721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689892A (zh) * 2024-02-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689892A (zh) * 2024-02-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法
CN117689892B (zh) * 2024-02-02 2024-04-09 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Similar Documents

Publication Publication Date Title
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
EP4064130A1 (en) Neural network model update method, and image processing method and device
WO2020192736A1 (zh) 物体识别方法及装置
CN110322453B (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN111753698B (zh) 一种多模态三维点云分割系统和方法
CN112465401A (zh) 基于多维信息融合的电力作业安全管控系统及其管控方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN112927264B (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
Chen et al. GPSD: generative parking spot detection using multi-clue recovery model
WO2023125628A1 (zh) 神经网络模型优化方法、装置及计算设备
CN111462005B (zh) 处理显微图像的方法、装置、计算机设备及存储介质
CN115115855A (zh) 图像编码器的训练方法、装置、设备及介质
CN115115856A (zh) 图像编码器的训练方法、装置、设备及介质
CN117036721A (zh) 空间站显微镜的调焦方法、装置、设备、介质和程序产品
CN116543217A (zh) 一种结构相似的小目标分类识别与位姿估计方法
Yu et al. MobileNet-YOLO v5s: An improved lightweight method for real-time detection of sugarcane stem nodes in complex natural environments
EP4030347A1 (en) Neural network building method and device, and image processing method and device
CN109544584A (zh) 一种实现巡检稳像精度测量的方法及系统
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
Chaturvedi et al. Small object detection using retinanet with hybrid anchor box hyper tuning using interface of Bayesian mathematics
Hu et al. Two-stage insulator self-explosion defect detection method based on Mask R-CNN
CN113723468B (zh) 一种三维点云的物体检测方法
CN115307622A (zh) 在动态环境下基于深度学习的自主建图方法和系统
Han et al. Active object detection using double DQN and prioritized experience replay

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication