CN113472984A - 图像获取方法、装置、系统、存储介质和设备 - Google Patents
图像获取方法、装置、系统、存储介质和设备 Download PDFInfo
- Publication number
- CN113472984A CN113472984A CN202110716392.1A CN202110716392A CN113472984A CN 113472984 A CN113472984 A CN 113472984A CN 202110716392 A CN202110716392 A CN 202110716392A CN 113472984 A CN113472984 A CN 113472984A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- images
- area
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims description 86
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000009432 framing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010859 live-cell imaging Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000013592 cell lysate Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 239000006228 supernatant Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供了一种图像获取方法、装置、系统、存储介质和设备，该方法包括：建立载物台行程坐标系；基于载物台行程坐标系选定包括目标试样的第一区域，在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，在第一图像显示的范围内选定第二区域；在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。本申请的图像获取方法能够加快图像扫描的速度。
Description
技术领域
本发明涉及数字显微镜的图像领域，具体涉及一种图像获取方法、装置、系统、存储介质和设备，用于基于在显微镜的可成像区域内获取载物台上的目标试样的图像。
背景技术
目前，数字显微镜广泛应用于试样分析、缺陷检测等领域。数字显微镜在对试样采集图像的过程往往是一种批量采集的过程。在批量采集过程中，需要对不同位置的试样进行扫描成像，当需要对试样进行放大处理时，对放大图像进行扫描和显示该放大图像会花费的较长的时间，令人感到不便，影响工作效率。
发明内容
为了解决上述问题。本发明提供一种图像获取方法、装置、系统、存储介质和设备。
根据本发明的第一方面，提供了一种图像获取方法，用于基于显微镜的成像区域获取载物台上的目标试样的图像，包括：
建立载物台行程坐标系；
基于载物台行程坐标系选定包括目标试样的第一区域，在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，
在第一图像显示的范围内选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
进一步地，在预设时间内，获取关于第二区域的视频，包括
获取多帧第二图像，多帧第二图像中的每一帧图像是描述第二区域的图像；每一帧第二图像由多个与不同时刻关联的第二网格图像组成，其中，每个第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息；
将多帧第二图像拼合成视频。
进一步地，不同时刻对应于物镜相对于载物台运动的各个不同位置。
进一步地，在预设时间内，获取关于第二区域的视频，包括
在第二区域中，确定获取图像的至少一个基准点；
在预设时间内，对于至少一个中基准点的每个基准点，基于物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于第二区域的多张第二图像；以及
以预设顺序将多张第二图像拼合成视频。
进一步地，
第一图像是单张图像或者作为视频的帧的多张图像，以及
在第一图像是作为视频的帧的多张图像的情况下，在第一图像显示的范围内选定第二区域，包括
在多张图像中确定至少一张作为选择基准的图像；以及
在作为选择基准的图像显示的范围中选择第二区域。
进一步地，基于载物台行程坐标系选定包括目标试样的第一区域，进一步包括：
在显示器上显示成像区域，成像区域具有基于载物台行程坐标系的位置信息；
在显示器上显示的成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及被选定的区域的坐标在已显示的成像区域中的移动指令，使得载物台进行相应地移动，以在显示器上显示目标试样。
进一步地，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
每个第一网格图像和/或第二网格图像的位置信息是网格图像的至少一个顶点在载物台行程坐标系下的坐标。
进一步地，每个第一网格图像和/或第二网格图像的位置信息还包括以下信息中的至少一个：网格图像的单位像素长度、网格图像的横向像素数和纵向像素数。
进一步地，每个第一网格图像和第二网格图像上还附加有扫描时间信息。
进一步地，方法还包括，基于网格图像的位置信息用于，在需要替换第一图像或第二图像中相应位置的网格图像的情况下定位作为替换目标的网格图像。
根据本发明的第二方面，提供了一种图像获取装置，用于基于显微镜的成像区域内获取载物台上的目标试样的图像，其特征在于，包括：
坐标系建立模块，用于建立载物台行程坐标系；
第一图像获取模块，用于在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
区域设定模块，用于基于载物台行程坐标系选定第二区域；
第二图像获取模块，用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
进一步地，第二图像获取模块，用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频，进一步包括
获取多帧第二图像，多帧第二图像中的每一帧图像是描述第二区域的图像；每一帧第二图像由多个与不同时刻关联的第二网格图像组成，其中，每个第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息；
将多帧第二图像拼合成视频。
进一步地，不同时刻对应于物镜相对于载物台运动的各个不同位置对应的时刻。
进一步地，第二图像获取模块，第二图像获取模块用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频，进一步包括
在第二区域中，确定获取图像的至少一个基准点；
在预设时间内，对于至少一个中基准点的每个基准点，基于物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于第二区域的与不同时刻关联的多张第二图像；以及
以预设顺序将多张第二图像拼合成视频。
进一步地，装置进一步包括：
在显示器上显示成像区域，成像区域具有基于载物台行程坐标系的位置信息；
响应于对已显示的成像区域的移动指令，使得载物台进行相应地移动，以在显示器上显示目标试样。
进一步地，装置进一步包括：
在显示器上显示的成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及被选定的区域的坐标。
进一步地，每个第一网格图像或第二网格图像的位置信息是网格图像的至少一个顶点在载物台行程坐标系下的坐标。
进一步地，每个第一网格图像和第二网格图像的位置信息还包括以下信息中的至少一个：网格图像的单位像素长度、网格图像的横向像素数和纵向像素数。
进一步地，每个第一网格图像和第二网格图像上还附加有扫描时间信息。
进一步地，还包括，基于网格图像的位置信息，在第一图像或第二图像中替换相应位置的网格图像。
进一步地，第二区域还可以由多个离散的子区域组成。
进一步地，根据每个子区域相对于载物台行程坐标系的区域坐标，获取子区域图像；
第二图像由全部子区域图像组成。
根据本发明的第三方面，提供了一种数字显微镜系统，包括数字显微镜装置以及如上述第二方面的图像获取装置，数字显微镜装置和图像获取装置通信联接；
数字显微镜装置根据图像获取装置输出的指令移动载物台和/或物镜，并在不同的物镜放大倍率下对目标试样显微成像；
图像获取装置接收来自数字显微镜装置的成像图像。
本发明的实施方式还公开了一种计算机可读存储介质，计算机可读存储介质具有存储在其中的指令，当指令被执行时，使得处理器以实施以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
本发明的实施方式还公开了一种图像获取设备，包括存储器，存储有计算机可执行指令，处理器，处理器被配置为执行指令以实施以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
本发明实施方式与现有技术相比，主要区别及其效果在于：
根据本发明的一个或多个实施方式的图像获取方法，通过在低倍物镜下扫描的试样图像中选择感兴趣的区域，之后对感兴趣的区域在高倍物镜下进行针对性地扫描，能够加快图像扫描的速度，使用户减少图像获取的等待时间，提高效率。进一步地，通过利用网格图像的基于载物台的坐标，能够快速精确地拼接出试样图像，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标和拍摄时间信息，能够对不符合要求的网格图像进行替换，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标，可以对多个离散的感兴趣的区域的图像进行拼接，提高用户查看试样图像的效率。
附图说明
图1示出了根据本发明实施例的系统的模块示意图；
图2a示出了根据本发明实施例的图像获取方法的流程图一；
图2b示出了根据本发明实施例的图像获取方法的流程图二；
图3示出了根据本发明实施例的图像获取装置的模块示意图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，在以下的说明中所使用的“上”、“下”、“左”、“右”等等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
根据本发明实施方式，提供了一种图像获取方法的实施方式，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
术语“试样”涵盖临床样品，例如包括培养的细胞、细胞上清液、细胞溶解产物、血清、血浆、生物流体、和组织样品等，还涵盖各种精密器件，例如光学晶体、半导体器件、精密机械器件等。
本申请方式所提供的方法实施方式可以在服务器、计算机终端等计算设备中执行。图1是根据本发明实施方式的图像获取方法的数字显微镜系统10的硬件结构框图。如图1所示，该系统包括计算设备100和数字显微镜装置200。计算设备100可以包括一个或多个(图中仅示出一个)处理器110(处理器110可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口120、用于存储数据的存储器130、用于通信功能的传输装置140以及总线150。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。
输入输出接口120可以连接一个或多个显示器、触控屏等，用于显示从计算设备100传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。
存储器130可用于存储应用软件的软件程序以及模块，如本发明实施方式中的图像获取方法对应的程序指令/模块，处理器110通过运行存储在存储器130内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像获取方法。存储器130可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器130可进一步包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至计算设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置140用于经由一个网络接收或者发送数据。数字显微镜装置200经由该传输装置140与计算设备100通信地耦接，计算设备100向数字显微镜装置200发送用户指令，并从数字显微镜装置200接收试样的成像图像。
数字显微镜装置200包括高精度载物台210，和可在z方向上竖直移动的成像系统220。在一个示例中，载物台210可在x、y方向上平移，在另一示例中，载物台210为多向运动台，可在包括x、y平移方向上的多个方向上进行运动，例如，旋转运动、平移运动、俯仰运动和滚转运动等。成像系统220对放置在载物台210上的一个或多个试样进行成像。成像系统220包括诸如电荷耦合器件(CCD)的图像传感器、自动对焦系统、和多个显微镜组件，每个显微镜组件可以具有不同的光学分辨率和分辨率范围，可选地，显微镜组件的放大倍率为1倍至20倍可调。作为一个示例，显微镜组件可以包括各种物镜，例如，具有2倍、5倍、10倍、15倍等放大倍率的无限远校准类型，这些物镜可以互换，也可以按照需要替换其他物镜或添加更多的物镜。作为另一个示例，成像系统220还可以包括超/广角成像组件，该成像组件装备小型图像传感器和广角镜头，具有比显微镜组件更大的成像区域，可实现对大部分或全部的载物台210进行成像的功能。数字显微镜装置200根据计算设备100输出的指令移动载物台210和/或物镜。现有的CCD传感器根据分辨率的不同具有数百万至数亿的感光单元(像素)，对于一般的传感器，典型的像素大小一般在5微米×5微米左右。在光学系统中，物镜的不同放大倍率可以标定在图像中的像素的大小，例如，在1倍至20倍的倍率下，像素的大小可以表示为约5微米/1X至5微米/20X，即，标定系数为5微米至250纳米，例如，放大倍率为2时，像素大小的标定系数为2.5微米，放大倍率为10时，像素大小的标定系数为500纳米。
可选地，载物台可以是在x、y方向上行程范围为800mm的电动高精度位移台。
参考图2a，根据本申请的一个实施例，在操作中，当系统10上电后，步骤S210、建立载物台行程坐标系，可以根据需要将载物台行程范围内的任一点设置为坐标系原点，例如，行程范围区域的四个顶点之一。可选地，在默认设置下，计算设备100以载物台行程范围的中心点为坐标原点，建立载物台行程坐标系。通常，载物台行程范围的中心点也可以是成像系统的光轴与载物台的相交的交点。因此，当系统10上电后，成像系统开始对载物台实时成像时，载物台的成像图像获得相对于载物台坐标系下的坐标，例如，x、y坐标作为位置信息。此外，当试样被放置在载物台上后，试样相对于载物台坐标系下的x、y坐标被确定。在本发明的一个或多个实施例中，提及的任何坐标皆包括载物台坐标系下的x、y坐标。
可以理解，成像图像可以包括但不限于诸如bmp、png、jpeg等格式的图像文件，以及诸如mpeg、avi、mov、wmv等格式的图像序列文件。
步骤S220、在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像附加有各自的位置信息。在一个实施例中，数字显微镜装置200的成像系统通过广角成像组件，或在等于1的低倍率的放大倍率下实时对载物台进行成像，计算设备100将成像图像显示在显示器上。用户可以通过键盘、触控笔、触控板和/或鼠标等输入设备在任意方向上移动显示的成像图像，例如通过拖拽、鼠标滚轮等的方式，计算设备100将这样的移动控制指令发送给数字显微镜装置200，数字显微镜装置200的载物台自动地根据成像图像的移动相应地移动。
具体而言，根据图像传感器的规格，图像传感器的可成像区域一般可设置为多边形区域，成像区域的形状和尺寸可根据需要任意设置，例如，正方形、矩形等。此外，根据上述的标定系数可知可成像区域在不同放大倍率下的大小。例如，以正方形成像区域为例，当成像系统通过广角镜头或等于1的放大倍率的物镜实时对载物台进行成像时，成像区域实时显示在显示器中，该成像区域的尺寸是固定的，根据成像区域任意顶点的坐标和已知的标定系数，成像区域内任意点或像素的坐标都可基于顶点的坐标推算出来。作为一个示例，在每次成像时，可以只获取成像区域左上角顶点的坐标，当鼠标拖拽成像图像时，该坐标在载物台行程坐标系中发生(Δx，Δy)的位移，载物台根据该数据进行相应地移动。
当试样或部分试样被实时显示在成像区域中时，可以通过鼠标选择试样的轮廓区域。例如通过3点或多点圆形、多边形框选等区域选择方法，在成像区域中框选出试样的轮廓。作为另一个示例，还可以例如通过图像特征识别算法，对试样的轮廓进行识别。对于在成像区域中只有部分试样被显示的情况，可以在选择区域的同时拖拽实时成像图像，使得载物台自动移动，将试样的其他部分呈现在显示器中，以进行区域选择，将一个或多个试样框选在第一区域中。
在第一区域中，任意点或像素的坐标在载物台行程坐标系的x、y坐标都是已知的，所以根据框选时，选择框覆盖的像素的能够确定第一区域在载物台行程坐标系的区域坐标，该区域坐标可以表示为一个坐标集，其中包括区域的边界所对应的一个或多个像素的坐标。由于该区域坐标，系统10能够识别第一区域在载物台行程坐标系的对应位置。作为一个示例该区域坐标被保存在存储器130中。
计算设备100在第一区域中获取试样的第一图像，为了获得清晰的第一图像，该第一图像是通过对试样拍摄多张图像并且将这些图像拼接成第一图像。
作为一个示例，多张图像中的每一张图像，按照成像区域的形状和尺寸进行拍摄，即，拍摄多张具有成像区域的形状和尺寸的网格图像。因此，根据第一区域的区域坐标，通过载物台的高速移动，使得图像传感器遍历第一区域捕获多个网格图像，捕获的每个网格图像都具有相对于载物台行程坐标系的x、y坐标。
例如，在一种实施方式中，可以以最左上角的成像区域作为起始成像区域，随后控制载物台按照从左到右，从上到下的方向运动，使得物镜依次扫描所有区域；或者，在一些实施方式中，也可以以载物台的中心点作为坐标0点，将中心点所在的区域作为起始区域，控制载物台水平移动，使显微镜的物镜可以沿预设方向依次向外扫描过所有区域等。
在一些实施方式中，可以载物台在水平方向不发生位移，而是使显微镜的物镜沿X轴、Y轴运动，同样可以使显微镜的物镜能够依次扫过所有区域；或者，也可以同时移动物镜及载物台，使物镜相对成像区产生水平位移等。在本发明中，并不对具体的方向、起始位置或者位移物等做出具体限制。
例如，每个网格图像包括其对应的位置信息，位置信息中存储该网格图像的每个像素的载物台行程系的坐标。可选地，位置信息中还可以存储该网格图像的拍摄时间。作为另一个示例，位置信息中可以存储网格图像的一个或多个顶点的载物台行程坐标系的坐标以及对应网格的网格图像的单位像素长度(标定系数)、网格图像的横向像素数和纵向像素数信息，这样根据标定系数同样可以确定每个像素对应的载物台行程系的坐标。作为一个示例，各个网格图像及其位置信息被保存在存储器130中。
在拼接第一图像时，根据每个网格图像的位置信息，按照网格图像的坐标将各个网格图像拼接为第一图像。作为另一个示例，相邻的各个网格图像的边缘区域之间还可以有部分的重叠。例如，在网格图像的相邻区域的共有特征不明显的情况下，可以通过网格图像的坐标来拼接各个网格图像；在相邻区域的共有特征较为明显的情况下，可以通过坐标和/或共有特征来拼接各个网格图像。
在一些实施例中，可以按照如上所述的方式获取多张第一图像，并且将这些图像合成为视频，向用户呈现。通过视频的方式连续地呈现这些图像的时候，使用者可以通过观察检测对象的动态变化，并且在关键帧上进行标注和选择，相对于仅通过静态图像进行贯彻，能够获得更为理想的关注区域。这里的关注区域即后文将详细描述的第二区域。
步骤S230、在第一图像上，基于载物台行程坐标系选定第二区域。通过鼠标、触控等方式在第一图像上设置第二区域，第二区域包括被选择的一个或多个像素。第二区域可以是用户感兴趣的点或区域。由于第一图像中每个像素在载物台行程坐标系的x、y坐标被保存在每个网格图像的位置信息中，所以根据被选择的像素便可以确定第二区域的区域坐标，该区域坐标可以表示为一个坐标集，其中包括区域的边界所对应的一个或多个像素的坐标。由于该区域坐标，系统10能够识别第二区域在载物台行程坐标系的对应位置。
在第一图像包括多张图像的情形下，在多张图像中选择并且确定关注区域的方式可以有很多种，例如，虽然贯彻了多张图像呈现的动态变化，但是只在单张图像上圈定一区域，作为该第二区域，又或者，在多张图像中分别圈定一区域，以各个区域的重叠部分作为该第二区域；再或者，在多张图像中分别圈定一区域，取各个区域的并集作为该第二区域。对于第二区域的确定方式，本申请不做限制。
步骤S240、在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设的时间内，获取第二区域的视频。
当用户希望对第二区域继续进行放大时，系统10作为响应将切换到高倍物镜，并且根据第二区域的区域坐标，通过移动载物台使得第二区域被定位在成像系统的下方。物镜的放大倍率可由用户的指令进行选择和切换。作为一个示例，当用户通过鼠标、键盘等设备选择诸如5倍的进一步的放大倍率后，系统10将根据指令切换5倍放大倍率的物镜。在另一示例中，物镜也可以为10倍放大倍率，继续放大遵循相同的操作。
在根据图2a的实施例中，所获取的第二区域的视频的每一帧的图像，以下称之为第二图像。第二图像由多个第二网格图像组成，每个第二网格图像附加有各自的位置信息。每个第二网格图像实质上对应的是物镜移动到当前位置(与载物台的相对位置)时，物镜的视野范围所及的图像。多个第二网格图像与不同的时刻对应和关联。换句话说，物镜在不同的时刻运动到不同的位置，获取不同的第二网格图像。
计算设备100经由数字显微镜装置200获取的第二图像由多个网格图像拼接而成，这些网格图像的尺寸根据当前放大倍率下图像传感器的可成像区域的尺寸决定。
物镜遍历第二区域后获取了多张第二网格图像。相应地，图像传感器获取了多张第二网格图像。每当物镜完成一次遍历第二区域的动作，图像传感器可以将多张第二网格图像输出至计算设备100以拼合成对应于第一帧的第二图像。物镜可以回到前一次运动的起始点，再一次进行遍历所述第二区域的动作，获取多张第二网格图像。相应地，图像传感器将第二次运动获取的网格图像拼合成对应于第二帧的第二图像。依此类推，在预设时间内，物镜完成一定次数的获取图像的运动，图像传感器通过拼合得到多帧第二图像。随后，将多帧第二图像以视频文件的形式输出。
对于上述的第二图像而言，其中的每个网格图像具有如上所述的位置信息，位置信息中存储该网格图像的每个像素的载物台行程系的坐标。可选地，位置信息中还可以存储该网格图像的拍摄时间和其他拍摄参数信息。作为另一个示例，位置信息中可以存储网格图像的一个或多个顶点的载物台行程坐标系的坐标以及对应网格的网格图像的单位像素长度(标定系数)、网格图像的横向像素数和纵向像素数信息，这样根据标定系数同样可以确定每个像素对应的载物台行程系的坐标。
作为一个示例，由于第一图像与第二图像都具有相同坐标系下的坐标，因此可以根据第二区域的区域坐标所围成的第一图像的网格区域的基础上，依据进一步放大的物镜的标定系数，在围成的网格区域内划分第二图像的网格。
作为一个示例，在由第二网格图像拼接第二图像的过程中，按照第二区域的区域坐标对区域边界上的网格进行选择，以使用最少量的第二网格图像拼接出完整的第二区域。此外，还可以针对区域的边界所在的各个网格进行进一步的处理，对每个网格中边界以外的图像进行裁切，并以单色色块进行填充。这样可以有效减小第二图像的大小，降低第二图像的显示延迟。
作为另一个示例，在第一图像上可能同时存在多个用户感兴趣的点和/或区域，因此，对于这些多个区域，每个都可以视为是本申请所述的第二区域。每个区域都具有在载物台行程坐标系下的区域坐标。在存在多个感兴趣的第二区域的情况下，成像系统可以根据这些子区域的区域坐标依次对这些子区域进行拍摄
作为另一个示例，对于具有高放大倍率的物镜，物镜的景深范围相对较小，可能存在一个或多个网格图像的清晰度不足的情况，即没有获得对应试样部分的最清晰的细节图像，还可能存在图像的其他拍摄参数受到环境光照或其他因素的影响，使得一个或多个网格图像需要被替换的情况。计算装置100在显示获取的图像前，可以使用图像处理算法对网格图像的清晰度和其他拍摄参数进行判断，如果存在不符合要求的网格图像，系统可根据对应网格图像的位置信息，重新拍摄对应网格的一张或多张网格图像，然后将重新拍摄的网格图像替换原有的网格图像。此外，如果网格图像为图像序列，计算装置100还可以图像处理算法从图像序列的各个图像帧中选择最清晰的图像帧来显示。
为了获得最清晰的细节图像，在替代的示例中，控制显微镜的物镜在每个成像区域上方，以参考高度Z0为中心上下移动，并控制显微镜的相机在物镜上下移动的同时拍摄多张试样的图像并保存。通过这种方式，能够在快速拍摄的同时得到不同拍摄高度的图像，从而尽可能的保留更多的试样信息。之后，可以采用无参考清晰度评估算法、SMD(灰度方差)函数等，从上下移动拍摄的多张图像中选择最清晰的图像，以上清晰度评估算法仅仅是举例说明，并不作为对本发明的限制，在不同实施例中，可以采用各种已有或将来会有的算法来得到最清晰的图像。
在其他示例中，参考高度Z0可以随着试样表面实时调整，尤其是在出现连续缓坡时，Z0能够随着坡度实时改变，使得可以尽可能的保证拍摄到清晰的图像。
作为另一个示例，在成像图像为图像文件的情况下，拍摄时间可以作为检索网格图像的索引，对于具有相同坐标、但拍摄时间不同的多个网格图像，计算装置100可以响应用户的请求，为用户呈现特定拍摄时间的网格图像，或对多个网格图像按照拍摄时间顺序排列显示。在成像图像为图像序列的情况下，计算装置100可以响应用户的请求，为用户呈现特定拍摄时间的图像帧。
综上所述，本实施例提供的图像获取方法，通过在低倍物镜下扫描的试样图像中选择感兴趣的区域，之后对感兴趣的区域在高倍物镜下进行针对性地扫描，能够加快图像扫描的速度，使用户减少图像获取的等待时间，提高效率。进一步地，通过利用网格图像的基于载物台的坐标，能够快速精确地拼接出试样图像，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标和拍摄时间信息，能够对不符合要求的网格图像进行替换，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标，可以对多个离散的感兴趣的区域的图像进行拼接，提高用户查看试样图像的效率。并且，根据本申请的图像获取方法，通过对第二区域进行一定时间的拍摄，以获得具有预设时长的视频。根据这样获得的视频，可以关注第二区域中试样的变化。
综合来讲，利用本实施例的方案，可以高效率地帮助用户定位试样中感兴趣的区域，并且获得能够清晰并且呈现试样变化的图像文件。试样的动态变化的情形除了是试样本身可能产生运动以外，还有可能是因为试样的性质随时间发生了变化，例如颜色、纹理等发生了变化。通过视频的方式呈现，为用户提供了这样的可能性，可以在动态变化的过程中给试样进行对应的标注，例如特征签名或者试样当前的PH值等参数，方便查阅。
通过根据上述方式获得的第二区域的视频，一方面可以获悉第二区域中试样的动态变化，另一方面，视频的呈现方式还提供了其他提升用户使用显微镜系统的体验的可能性。例如，可以将参考图像和视频以比较的方式进行显示，从而可以获悉到试样的情况，这对于生物检测的应用场景非常有益。
参考图2b，根据本申请的另一个实施例。当系统10上电后，步骤S310、建立载物台行程坐标系，可以根据需要将载物台行程范围内的任一点设置为坐标系原点，例如，行程范围区域的四个顶点之一。可选地，在默认设置下，计算设备100以载物台行程范围的中心点为坐标原点，建立载物台行程坐标系。通常，载物台行程范围的中心点也可以是成像系统的光轴与载物台的相交的交点。因此，当系统10上电后，成像系统开始对载物台实时成像时，载物台的成像图像获得相对于载物台坐标系下的坐标。
步骤S320、在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像附加有各自的位置信息。在一个实施例中，数字显微镜装置200的成像系统通过广角成像组件，或在等于1的低倍率的放大倍率下实时对载物台进行成像，计算设备100将成像图像显示在显示器上。用户可以通过键盘、触控笔、触控板和/或鼠标等输入设备在任意方向上移动显示的成像图像，例如通过拖拽、鼠标滚轮等的方式，计算设备100将这样的移动控制指令发送给数字显微镜装置200，数字显微镜装置200的载物台自动地根据成像图像的移动相应地移动。
具体而言，根据图像传感器的规格，图像传感器的可成像区域一般可设置为多边形区域，成像区域的形状和尺寸可根据需要任意设置，例如，正方形、矩形等。此外，根据上述的标定系数可知可成像区域在不同放大倍率下的大小。例如，以正方形成像区域为例，当成像系统通过广角镜头或等于1的放大倍率的物镜实时对载物台进行成像时，成像区域实时显示在显示器中，该成像区域的尺寸是固定的，根据成像区域任意顶点的坐标和已知的标定系数，成像区域内任意点或像素的坐标都可基于顶点的坐标推算出来。作为一个示例，在每次成像时，可以只获取成像区域左上角顶点的坐标，当鼠标拖拽成像图像时，该坐标在载物台行程坐标系中发生(Δx，Δy)的位移，载物台根据该数据进行相应地移动。
当试样或部分试样被实时显示在成像区域中时，可以通过鼠标选择试样的轮廓区域。例如通过3点或多点圆形、多边形框选等区域选择方法，在成像区域中框选出试样的轮廓。作为另一个示例，还可以例如通过图像特征识别算法，对试样的轮廓进行识别。对于在成像区域中只有部分试样被显示的情况，可以在选择区域的同时拖拽实时成像图像，使得载物台自动移动，将试样的其他部分呈现在显示器中，以进行区域选择，将一个或多个试样框选在第一区域中。
在第一区域中，任意点或像素的坐标在载物台行程坐标系的x、y坐标都是已知的，所以根据框选时，选择框覆盖的像素的能够确定第一区域在载物台行程坐标系的区域坐标，该区域坐标可以表示为一个坐标集，其中包括区域的边界所对应的一个或多个像素的坐标。由于该区域坐标，系统10能够识别第一区域在载物台行程坐标系的对应位置。作为一个示例该区域坐标被保存在存储器130中。
计算设备100在第一区域中获取试样的第一图像，为了获得清晰的第一图像，该第一图像是通过对试样拍摄多张图像并且将这些图像拼接成第一图像。
在一些实施例中，可以按照如上所述的方式获取多张第一图像，并且将这些图像合成为视频，向用户呈现。通过视频的方式连续地呈现这些图像的时候，使用者可以通过观察检测对象的动态变化，并且在关键帧上进行标注和选择，相对于仅通过静态图像进行贯彻，能够获得更为理想的关注区域。
步骤S330、在第一图像上，基于载物台行程坐标系选定第二区域。通过鼠标、触控等方式在第一图像上设置第二区域，第二区域包括被选择的一个或多个像素。第二区域可以是用户感兴趣的点或区域。由于第一图像中每个像素在载物台行程坐标系的x、y坐标被保存在每个网格图像的位置信息中，所以根据被选择的像素便可以确定第二区域的区域坐标，该区域坐标可以表示为一个坐标集，其中包括区域的边界所对应的一个或多个像素的坐标。由于该区域坐标，系统10能够识别第二区域在载物台行程坐标系的对应位置。
步骤S340、在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设的时间内，获取第二区域的视频。与如图2a所示的实施例不同，在本实施例中，物镜会在某个位置获取该位置的多维度的图像，以将这些图像作为视频的帧，拼合视频文件。
具体而言，在第二区域中，先确定获取图像的一个基准位置，即第二区域中的某个特定位置作为基准点。根据物镜的视野范围，确保感兴趣的位置或者点位此时是在物镜的视野范围内。随后，通过上下方向上改变物镜相对于载物台的距离，可以获取在不同拍摄高度上该作为基准点的位置的多张图像。拍摄的时长由物镜所需移动的位置数量和移动速度决定。多张图像中的每张图像都对应一个拍摄时刻。最终，图像传感器获取到这些图像后，可以按照时间序列将这些图像用视频的方式输出。
作为另一个实施方式，也可以是在确定获取图像的一个基准位置之后，不改变物镜的拍摄高度，而是改变物镜相对于试样，或者是相对于载物台的拍摄角度。举例来说，在试样的斜上方45度角进行360度环绕拍摄，从而获得多张图像。另外，也可以在固定在试样的斜上方45度的情况下，进行部分的围绕试样的运动。另外，还可以是不进行环绕，只是变化拍摄的角度，例如从试样的侧方运动到斜上方45度。拍摄的时长由物镜围绕试样所需移动的位置数量和移动速度决定。多张图像中的每张图像都对应一个拍摄时刻。最终，图像传感器获取到这些图像后，可以按照时间序列将这些图像用视频的方式输出。
可以理解的是，也可以采用物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于第二区域的多张第二图像作为视频的每一帧。即在不同的高度处都获取不同拍摄角度的图像。
根据本申请的图像获取方法，通过对第二区域中特定位置进行不同角度和高度的拍摄，以最后获得具有预设时长的视频。根据这样获得的视频，可以关注第二区域的试样中感兴趣的位置的不同方位的图像。综合来讲，利用本实施例的方案，可以高效率地帮助用户定位试样中感兴趣的区域，并且获得能够清晰并且呈现试样全角度特点的图像文件。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
图3是根据本发明实施例的图像获取装置300的示意性框图。该装置用于执行上述方法流程，包括：
坐标系建立模块310，用于建立载物台行程坐标系；
第一图像获取模块320，用于在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
区域设定模块330，用于基于载物台行程坐标系选定第二区域；
第二图像获取模块340，用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于所述第二区域的视频。
在一示例中，图像获取装置，进一步包括：
在显示器上显示成像区域，成像区域具有基于载物台行程坐标系的位置信息；
响应于对已显示的成像区域的移动指令，使得载物台进行相应地移动，以在显示器上显示目标试样。
进一步地，在显示器上显示的成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及被选定的区域的坐标。
进一步地，每个第一网格图像或第二网格图像的位置信息是网格图像的至少一个顶点在载物台行程坐标系下的坐标。
在一示例中，每个第一网格图像和第二网格图像的位置信息还包括以下信息中的至少一个：网格图像的单位像素长度、网格图像的横向像素数和纵向像素数。
进一步地，每个第一网格图像和第二网格图像上还附加有扫描时间信息。
进一步地，基于网格图像的位置信息，在第一图像或第二图像中替换相应位置的网格图像。
进一步地，第二区域还可以由多个离散的子区域组成。
进一步地，根据每个子区域相对于载物台行程坐标系的区域坐标，获取子区域图像；
第二图像由全部子区域图像组成。
需要说明的是，图像获取装置300对应于上述方法中的图像获取装置，图像获取装置300可以被配置为用于执行方法200中相应的操作、动作以及过程，方法200提到的相关技术细节在本实施方式中依然有效，此处省略对这些操作、动作以及过程的描述。
综上所述，本实施例提供的图像获取装置，通过在低倍物镜下扫描的试样图像中选择感兴趣的区域，之后对感兴趣的区域在高倍物镜下进行针对性地扫描，能够加快图像扫描的速度，使用户减少图像获取的等待时间，提高效率。进一步地，通过利用网格图像的基于载物台的坐标，能够快速精确地拼接出试样图像，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标和拍摄时间信息，能够对不符合要求的网格图像进行替换，使得试样图像能够清晰地呈现。进一步地，通过利用网格图像的坐标，可以对多个离散的感兴趣的区域的图像进行拼接，提高用户查看试样图像的效率。
根据本发明的另一实施例，还提供一种计算机可读存储介质，该计算机可读存储介质具有存储在其中的指令，当该指令被执行时，使得处理器执行以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，获取第二区域的第二图像，第二图像由多个第二网格图像组成，第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息。
进一步的，根据本发明的另一实施例，还提供一种图像获取设备，包括存储器，存储有计算机可执行指令，处理器，处理器被配置为执行指令以实施以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，获取第二区域的第二图像，第二图像由多个第二网格图像组成，第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
以下段落提供了本文公开的各种实施例的示例。
示例1，一种图像获取方法，用于基于显微镜的成像区域获取载物台上的目标试样的图像，包括：
建立载物台行程坐标系；
基于载物台行程坐标系选定包括目标试样的第一区域，在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，
在第一图像上，选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
视频第一图像是单张图像或者作为视频的帧的多张图像，以及在视频第一图像是作为视频的帧的多张图像的情况下，在视频第一图像显示的范围内选定第二区域，包括
在视频多张图像中确定至少一张作为选择基准的图像；以及
在视频作为选择基准的图像显示的范围中选择视频第二区域。
示例2，如示例1的图像获取方法，在预设时间内，获取关于第二区域的视频，包括
获取多帧第二图像，多帧第二图像中的每一帧图像是描述第二区域的图像；每一帧第二图像由多个与不同时刻关联的第二网格图像组成，其中，每个第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息；
将多帧第二图像拼合成视频。
示例3，如示例2的图像获取方法，不同时刻对应于物镜相对于载物台运动的各个不同位置。
示例4，如示例1的图像获取方法，在预设时间内，获取关于第二区域的视频，包括在第二区域中，确定获取图像的至少一个基准点；
在预设时间内，对于至少一个中基准点的每个基准点，基于物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于第二区域的多张第二图像；以及
以预设顺序将多张第二图像拼合成视频。
示例5，根据示例1的图像获取方法，第一图像是单张图像或者作为视频的帧的多张图像，以及
在第一图像是作为视频的帧的多张图像的情况下，在第一图像显示的范围内选定第二区域，包括
在多张图像中确定至少一张作为选择基准的图像；以及
在作为选择基准的图像显示的范围中选择第二区域。
示例6，根据示例1的图像获取方法，基于载物台行程坐标系选定包括目标试样的第一区域，进一步包括：
在显示器上显示成像区域，成像区域具有基于载物台行程坐标系的位置信息；
在显示器上显示的成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及被选定的区域的坐标在已显示的成像区域中的移动指令，使得载物台进行相应地移动，以在显示器上显示目标试样。
示例7，根据示例2至6中任一项的图像获取方法，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
每个第一网格图像和/或第二网格图像的位置信息是网格图像的至少一个顶点在载物台行程坐标系下的坐标。
示例8，根据示例7的图像获取方法，每个第一网格图像和/或第二网格图像的位置信息还包括以下信息中的至少一个：网格图像的单位像素长度、网格图像的横向像素数和纵向像素数。
示例9，根据示例7的图像获取方法，每个第一网格图像和第二网格图像上还附加有扫描时间信息。
示例10，根据示例1的图像获取方法，方法还包括，基于网格图像的位置信息用于，在需要替换第一图像或第二图像中相应位置的网格图像的情况下定位作为替换目标的网格图像。
示例11，一种图像获取装置，用于基于显微镜的成像区域内获取载物台上的目标试样的图像，包括：
坐标系建立模块，用于建立载物台行程坐标系；
第一图像获取模块，用于在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
区域设定模块，用于基于载物台行程坐标系选定第二区域；
第二图像获取模块，用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
示例12，如示例11的图像获取装置，第二图像获取模块，用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频，进一步包括
获取多帧第二图像，多帧第二图像中的每一帧图像是描述第二区域的图像；每一帧第二图像由多个与不同时刻关联的第二网格图像组成，其中，每个第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个第二网格图像在载物台行程坐标系中具有对应的坐标，作为第二网格图像的位置信息；
将多帧第二图像拼合成视频。
示例13，如示例12的图像获取装置，不同时刻对应于物镜相对于载物台运动的各个不同位置对应的时刻。
示例14，如示例11的图像获取装置，第二图像获取模块，第二图像获取模块用于在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频，进一步包括
在第二区域中，确定获取图像的至少一个基准点；
在预设时间内，对于至少一个中基准点的每个基准点，基于物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于第二区域的与不同时刻关联的多张第二图像；以及
以预设顺序将多张第二图像拼合成视频。
示例15，根据示例11的图像获取装置，装置进一步包括：
在显示器上显示成像区域，成像区域具有基于载物台行程坐标系的位置信息；
响应于对已显示的成像区域的移动指令，使得载物台进行相应地移动，以在显示器上显示目标试样。
示例16，根据示例15的图像获取装置，装置进一步包括：
在显示器上显示的成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及被选定的区域的坐标。
示例17，,根据示例11至16中任一项的图像获取装置，每个第一网格图像或第二网格图像的位置信息是网格图像的至少一个顶点在载物台行程坐标系下的坐标。
示例18，根据示例17的图像获取装置，每个第一网格图像和第二网格图像的位置信息还包括以下信息中的至少一个：网格图像的单位像素长度、网格图像的横向像素数和纵向像素数。
示例19，根据示例11至18中任一项的图像获取装置，每个第一网格图像和第二网格图像上还附加有扫描时间信息。
示例20，根据示例11的图像获取装置，还包括，基于网格图像的位置信息，在第一图像或第二图像中替换相应位置的网格图像。
示例21，根据示例11的图像获取装置，第二区域还可以由多个离散的子区域组成。
示例22，根据示例21的图像获取装置，根据每个子区域相对于载物台行程坐标系的区域坐标，获取子区域图像；
第二图像由全部子区域图像组成。
示例23，一种数字显微镜系统，包括数字显微镜装置以及如示例11至22中任一项的图像获取装置，数字显微镜装置和图像获取装置通信联接；
数字显微镜装置根据图像获取装置输出的指令移动载物台和/或物镜，并在不同的物镜放大倍率下对目标试样显微成像；
图像获取装置接收来自数字显微镜装置的成像图像。
示例24，一种计算机可读存储介质，计算机可读存储介质具有存储在其中的指令，当指令被执行时，使得处理器执行以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
示例25，一种图像获取设备，包括存储器，存储有计算机可执行指令，处理器，处理器被配置为执行指令以实施以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，第一图像由多个第一网格图像组成，每个第一网格图像在载物台行程坐标系中具有对应的坐标，作为第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在第二区域中，以大于第一放大倍率的显微镜的物镜的第二放大倍率，在预设时间内，获取关于第二区域的视频。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
在本发明的一个或多个实施例中，术语“软件”通常包括但不限于：可被计算机和/或处理器读取、解释、编译和/或执行的一个或多个计算机指令和/或处理器指令。软件使得计算机、处理器或其它电子设备以期望方式执行功能、动作和/或行为。软件可以以各种形式来体现，包括例程、算法、模块、方法、线程和/或程序。在不同示例中，软件可以以单独的应用和/或来自动态链接库的代码来体现。在不同示例中，软件可以以可执行和/或可加载的形式来实现，包括但不限于单机程序、对象、功能(本地的和/或远程的)、伺服小程序、小应用程序、存储在存储器中的指令、操作系统的一部分等。在不同示例中，计算机可读和/或可执行指令可以位于一个逻辑中和/或分布在多个通信、合作和/或并行处理逻辑之间，因此可以通过串行、并行、大规模并行和其它方式来加载和/或执行。
适合于实现本文中所描述的示例性系统和方法的各个组件的软件可以使用编程语言和工具(例如，Java、C、C#、C++、C、SQL、API、SDK、汇编程序)来开发。软件(无论是整个系统还是系统的组件)可以被体现为制品且作为计算机可读介质的一部分来保持或提供。软件可以包括在网络或其它通信介质上将程序代码发送到接收者的信号。因此，在一个示例中，当从服务器(例如网络服务器)下载软件/固件时，计算机可读介质可以为表示软件/固件的信号。
在本发明的一个或多个实施例中，术语“信号”包括但不限于电信号，光信号，模拟信号，数字信号，数据，计算机指令，处理器指令，消息，位，位流，或可被接收、被发送和/或被检测的其它手段。
在本发明的一个或多个实施例中，“连接”(通过其连接系统的两个组件，该系统例如为电子系统、数据系统、计算机系统、电路系统等)将通常为“可操作性连接”、或“可操作地连接”实体的连接。术语“可操作性连接”及等效物为可发送和/或接收信号、物理通信和/或逻辑通信的一种连接。可操作性连接可以包括物理接口、电子接口和/或数据接口。可操作性连接可以包括足以允许可操作性控制的接口和/或连接的不同组合。例如，两个实体可以可操作地连接，以直接或通过一个或多个中间实体(例如，处理器、操作系统、逻辑、软件)向彼此传送信号。可以使用逻辑通信信道和/或物理通信信道来创建可操作性连接。
在本发明的一个或多个实施例中，与“计算机通信”或“数据传送”有关的术语“通信”指的是在计算设备(例如计算机、服务器等)或计算机系统的组件(例如内存存储器、数码相机等)之间的通信，且例如可以为网络传送、文件传送、小应用程序传送、电子邮件、超文本传送协议(Hypertext Transfer Protocol，HTTP)传送等。计算机通信可以跨越例如无线系统(例如IEEE 802.11)、以太网系统(例如IEEE 802.3)、令牌环系统(例如IEEE802.5)、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、点对点系统、电路切换系统、分组交换系统等。
在本发明的一个或多个实施例中，术语“计算机”或“计算机组件”或“计算机系统的组件”指的是计算机相关实体(例如，硬件、固件、软件及其组合)。计算机组件可以包括例如运行在处理器上的进程、处理器、对象、可执行文件、执行线程、程序、集成电路、和计算机。一个或多个计算机组件可以存在于进程和/或线程内。计算机组件可以定位在一个计算机上和/或可以分布在多个计算机之间。
在本发明的一个或多个实施例中，术语“存储器”和“数据存储器”可互换使用且通常指的是可存储数据的物理实体和/或逻辑实体。数据存储器可以为例如数据库、表、文件、列表、队列、堆、内存、寄存器等。数据存储器可以存在于一个逻辑实体和/或物理实体中，且/或可以分布在多个逻辑实体和/或物理实体之间。存储设备可以包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、内部或外部数据存储介质(例如，硬盘驱动)。存储器可以为“永久性存储器”(即，不被对计算机或处理器的电能的终止所擦除的存储器)或“非永久性存储器”。计算机硬驱动、CD-ROM、软盘、便携式闪盘驱动和DVD全都为永久性存储器的示例。随机存取存储器(RAM)为非永久性存储器的示例。在永久性存储器中的文件可以为可编辑的且可重写的。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的第一终端设备来实现。在列举了若干终端设备的单元权利要求中，这些终端设备中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管本文已公开了各种方面和实施例，但其它方面和实施例对于本领域技术人员而言将是明显的。本文公开的各种方面和实施例是为了说明的目的，而不意在进行限制，真实的范围应当由所附权利要求以及这样的权利要求所被授权的等效物的全部范围指示。还要理解，本文中使用的术语仅是为了描述特定实施例的目的，而不意在进行限制。
Claims (10)
1.一种图像获取方法，用于基于显微镜的成像区域获取载物台上的目标试样的图像，其特征在于，包括：
建立载物台行程坐标系；
基于所述载物台行程坐标系选定包括所述目标试样的第一区域，在选定的所述第一区域中，以所述显微镜的物镜的第一放大倍率，获取所述目标试样的第一图像，
在所述第一图像显示的范围内选定第二区域；
在所述第二区域中，以大于所述第一放大倍率的所述显微镜的物镜的第二放大倍率，在预设时间内，获取关于所述第二区域的视频。
2.如权利要求1所述的图像获取方法，其特征在于，在预设时间内，获取关于所述第二区域的视频，包括
获取多帧第二图像，所述多帧第二图像中的每一帧图像是描述所述第二区域的图像；所述每一帧第二图像由多个与不同时刻关联的第二网格图像组成，其中，每个所述第二网格图像的图像尺寸小于第一网格图像的图像尺寸，每个所述第二网格图像在所述载物台行程坐标系中具有对应的坐标，作为所述第二网格图像的位置信息；
将所述多帧第二图像拼合成所述视频。
3.如权利要求2所述的图像获取方法，其特征在于，所述不同时刻对应于所述物镜相对于所述载物台运动的各个不同位置。
4.如权利要求1所述的图像获取方法，其特征在于，在预设时间内，获取关于所述第二区域的视频，包括
在所述第二区域中，确定获取图像的至少一个基准点；
在所述预设时间内，对于所述至少一个中基准点的每个基准点，基于所述物镜相对于载物台的不同的拍摄角度和/或拍摄高度获取关于所述第二区域的多张第二图像；以及
以预设顺序将所述多张第二图像拼合成所述视频。
5.如权利要求1所述的图像获取方法，其特征在于，
所述第一图像是单张图像或者作为视频的帧的多张图像，以及
在所述第一图像是作为视频的帧的多张图像的情况下，在所述第一图像显示的范围内选定第二区域，包括
在所述多张图像中确定至少一张作为选择基准的图像；以及
在所述作为选择基准的图像显示的范围中选择所述第二区域。
6.根据权利要求1所述的图像获取方法，其特征在于，基于所述载物台行程坐标系选定包括所述目标试样的第一区域，进一步包括：
在显示器上显示所述成像区域，所述成像区域具有基于所述载物台行程坐标系的位置信息；
在所述显示器上显示的所述成像区域中，根据选择的一个或多个像素，确定被选定的区域，以及所述被选定的区域的坐标在已显示的所述成像区域中的移动指令，使得所述载物台进行相应地移动，以在显示器上显示所述目标试样。
7.一种图像获取装置，用于基于显微镜的成像区域内获取载物台上的目标试样的图像，其特征在于，包括：
坐标系建立模块，用于建立载物台行程坐标系；
第一图像获取模块，用于在选定的第一区域中，以所述显微镜的物镜的第一放大倍率，获取所述目标试样的第一图像，所述第一图像由多个第一网格图像组成，每个所述第一网格图像在所述载物台行程坐标系中具有对应的坐标，作为所述第一网格图像的位置信息；
区域设定模块，用于基于载物台行程坐标系选定第二区域；
第二图像获取模块，用于在所述第二区域中，以大于所述第一放大倍率的所述显微镜的物镜的第二放大倍率，在预设时间内，获取关于所述第二区域的视频。
8.一种数字显微镜系统，其特征在于，包括数字显微镜装置以及如权利要求11至22中任一项所述的图像获取装置，所述数字显微镜装置和所述图像获取装置通信联接；
所述数字显微镜装置根据所述图像获取装置输出的指令移动载物台和/或物镜，并在不同的物镜放大倍率下对目标试样显微成像；
所述图像获取装置接收来自所述数字显微镜装置的成像图像。
9.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其中的指令，当所述指令被执行时，使得处理器执行以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，所述第一图像由多个第一网格图像组成，每个所述第一网格图像在所述载物台行程坐标系中具有对应的坐标，作为所述第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在所述第二区域中，以大于所述第一放大倍率的所述显微镜的物镜的第二放大倍率，在预设时间内，获取关于所述第二区域的视频。
10.一种图像获取设备，包括存储器，存储有计算机可执行指令，处理器，所述处理器被配置为执行所述指令以实施以下步骤：
建立载物台行程坐标系；
在选定的第一区域中，以显微镜的物镜的第一放大倍率，获取目标试样的第一图像，所述第一图像由多个第一网格图像组成，每个所述第一网格图像在所述载物台行程坐标系中具有对应的坐标，作为所述第一网格图像的位置信息；
在第一图像上，基于载物台行程坐标系选定第二区域；
在所述第二区域中，以大于所述第一放大倍率的所述显微镜的物镜的第二放大倍率，在预设时间内，获取关于所述第二区域的视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716392.1A CN113472984B (zh) | 2021-06-28 | 2021-06-28 | 图像获取方法、装置、系统、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716392.1A CN113472984B (zh) | 2021-06-28 | 2021-06-28 | 图像获取方法、装置、系统、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113472984A true CN113472984A (zh) | 2021-10-01 |
| CN113472984B CN113472984B (zh) | 2023-10-20 |
Family
ID=77873162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110716392.1A Active CN113472984B (zh) | 2021-06-28 | 2021-06-28 | 图像获取方法、装置、系统、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113472984B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575902A (zh) * | 2024-01-16 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 大场景监控图像拼接方法及拼接系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1321257A (zh) * | 1999-09-24 | 2001-11-07 | 奥林巴斯光学工业株式会社 | 显微镜图象传送系统 |
| JP2006023494A (ja) * | 2004-07-07 | 2006-01-26 | Nikon Corp | 顕微鏡観察画像取得方法および顕微鏡システム |
| JP2006178044A (ja) * | 2004-12-21 | 2006-07-06 | Olympus Corp | 顕微鏡装置、顕微鏡の制御方法、及びプログラム |
| JP2013246187A (ja) * | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
| JP2017134115A (ja) * | 2016-01-25 | 2017-08-03 | オリンパス株式会社 | 顕微鏡装置、及び画像表示プログラム |
| JP2017151471A (ja) * | 2017-05-09 | 2017-08-31 | 浜松ホトニクス株式会社 | 画像取得装置及び画像取得方法 |
| CN111458835A (zh) * | 2020-04-16 | 2020-07-28 | 东南大学 | 一种显微镜多视野自动对焦系统及其使用方法 |
| CN112150446A (zh) * | 2020-09-27 | 2020-12-29 | 郑州中普医疗器械有限公司 | 显微镜镜检阅片扫描方法、计算机设备和系统 |
| CN112415733A (zh) * | 2020-12-11 | 2021-02-26 | 平湖莱顿光学仪器制造有限公司 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
-
2021
- 2021-06-28 CN CN202110716392.1A patent/CN113472984B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1321257A (zh) * | 1999-09-24 | 2001-11-07 | 奥林巴斯光学工业株式会社 | 显微镜图象传送系统 |
| JP2006023494A (ja) * | 2004-07-07 | 2006-01-26 | Nikon Corp | 顕微鏡観察画像取得方法および顕微鏡システム |
| JP2006178044A (ja) * | 2004-12-21 | 2006-07-06 | Olympus Corp | 顕微鏡装置、顕微鏡の制御方法、及びプログラム |
| JP2013246187A (ja) * | 2012-05-23 | 2013-12-09 | Olympus Corp | 顕微鏡システム、標本画像生成方法及びプログラム |
| JP2017134115A (ja) * | 2016-01-25 | 2017-08-03 | オリンパス株式会社 | 顕微鏡装置、及び画像表示プログラム |
| JP2017151471A (ja) * | 2017-05-09 | 2017-08-31 | 浜松ホトニクス株式会社 | 画像取得装置及び画像取得方法 |
| CN111458835A (zh) * | 2020-04-16 | 2020-07-28 | 东南大学 | 一种显微镜多视野自动对焦系统及其使用方法 |
| CN112150446A (zh) * | 2020-09-27 | 2020-12-29 | 郑州中普医疗器械有限公司 | 显微镜镜检阅片扫描方法、计算机设备和系统 |
| CN112415733A (zh) * | 2020-12-11 | 2021-02-26 | 平湖莱顿光学仪器制造有限公司 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡凡;朱同波;: "基于双光子显微镜的纤维傅立叶变换", 机械, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575902A (zh) * | 2024-01-16 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 大场景监控图像拼接方法及拼接系统 |
| CN117575902B (zh) * | 2024-01-16 | 2024-03-29 | 四川新视创伟超高清科技有限公司 | 大场景监控图像拼接方法及拼接系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113472984B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112415733B (zh) | 控制显微镜拍摄试样图像的方法、系统、设备及介质 | |
| CN109417602B (zh) | 图像处理方法、图像处理装置、摄像装置及摄像方法 | |
| US10444486B2 (en) | Systems and methods for detection of blank fields in digital microscopes | |
| US8830313B2 (en) | Information processing apparatus, stage-undulation correcting method, program therefor | |
| JP2004101871A (ja) | 顕微鏡画像撮影装置 | |
| CN112505910B (zh) | 用显微镜拍摄试样图像的方法、系统、设备及介质 | |
| US11156823B2 (en) | Digital microscope apparatus, method of searching for in-focus position thereof, and program | |
| US20020114497A1 (en) | Method for maintaining High-quality focus during high-throughput, microscopic digital montage imaging | |
| CN1799079A (zh) | 用于评价显示器的运动图像质量的系统和方法 | |
| JP6274794B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び画像測定装置 | |
| US20060038144A1 (en) | Method and apparatus for providing optimal images of a microscope specimen | |
| JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
| US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
| WO2018042786A1 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
| JP2012013804A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| JP2007121837A (ja) | 顕微鏡システム | |
| CN113472984B (zh) | 图像获取方法、装置、系统、存储介质和设备 | |
| CN112595496A (zh) | 近眼显示设备的不良检测方法、装置、设备及存储介质 | |
| JPH09196621A (ja) | 合焦面検出方法及び画像入出力装置 | |
| JP6333318B2 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
| JP2010117229A (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
| JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
| CN110873717A (zh) | 图像获取装置以及图像获取装置的工作方法 | |
| JP5209100B2 (ja) | 撮像装置 | |
| JP5648366B2 (ja) | 顕微鏡制御装置及び領域判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |