CN113395485A - 一种用于获取目标显微图像的方法与设备 - Google Patents
一种用于获取目标显微图像的方法与设备 Download PDFInfo
- Publication number
- CN113395485A CN113395485A CN202010172213.8A CN202010172213A CN113395485A CN 113395485 A CN113395485 A CN 113395485A CN 202010172213 A CN202010172213 A CN 202010172213A CN 113395485 A CN113395485 A CN 113395485A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- target
- microscope
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000015654 memory Effects 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 5
- 238000000386 microscopy Methods 0.000 claims 4
- 238000011160 research Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000001000 micrograph Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K13/00—Thermometers specially adapted for specific purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K7/00—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements
- G01K7/02—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements using thermoelectric elements, e.g. thermocouples
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请的目的是提供一种用于获取目标显微图像的方法与设备。其中，计算机设备向显微镜设备发送数据请求；所述显微镜设备基于温度获取指令采集当前温度信息，基于图像获取指令采集关于目标试样的图像数据，并向计算机设备发送当前温度信息以及图像数据；计算机设备接收当前温度信息及图像数据，以获取对应于当前温度信息的目标显微图像。本申请获取目标试样的、对应于当前温度信息的目标显微图像，从而使后续的基于试样随温度变化过程的研究成为可能。
Description
技术领域
本申请涉及显微成像领域，尤其涉及一种用于获取目标显微图像的技术。
背景技术
显微光学成像，有时也称“光学显微成像”或“光学显微术”(Optical/LightMicroscopy)，是指基于通过一个或多个透镜的、透射过样品的或从样品反射的可见光而获得微小样品的放大图像的技术。所得图像可以通过目镜直接用眼睛观察，也可以用感光板或数字图像探测器(如CCD、CMOS等)记录；所得图像还可以通过计算机上显示和分析处理。在一些情形下，研究人员可以基于显微光学成像系统进行试验，例如持续观察试样随着时间的变化，并记录、研究。
发明内容
本申请的一个目的是提供一种用于获取目标显微图像的方法与设备。
根据本申请的一个方面，本申请提供了一种用于获取目标显微图像的方法，应用于计算机设备，所述计算机设备与一显微镜设备通信。其中，该方法包括以下步骤：
向所述显微镜设备发送温度获取指令；
接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息；
向所述显微镜设备发送图像获取指令；以及，
接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
相应地，本申请还提供了一种计算机设备，其中，所述计算机设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
本申请还提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行上述方法的操作。
根据本申请的另一方面，本申请提供了一种用于获取目标显微图像的方法，应用于显微镜设备，所述显微镜设备与一计算机设备通信。其中，该方法包括以下步骤：
接收所述计算机设备发送的温度获取指令；
基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
接收所述计算机设备发送的图像获取指令；
基于所述图像获取指令采集关于目标试样的图像数据；以及，
向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
相应地，本申请还提供了一种显微镜设备，其中，所述显微镜设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
本申请还提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行上述方法的操作。
根据本申请的一个方面，本申请提供了一种用于获取目标显微图像的方法，应用于计算机设备，所述计算机设备与一显微镜设备通信。其中，该方法包括以下步骤：
向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；以及，
接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息，以及所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
相应地，本申请还提供了一种计算机设备，其中，所述计算机设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
本申请还提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行上述方法的操作。
根据本申请的另一方面，本申请提供了一种用于获取目标显微图像的方法，应用于显微镜设备，所述显微镜设备与一计算机设备通信。其中，该方法包括以下步骤：
接收所述计算机设备发送的数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；以及，
向所述计算机设备发送所述当前温度信息以及所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像。
相应地，本申请还提供了一种显微镜设备，其中，所述显微镜设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法的操作。
本申请还提供了一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行上述方法的操作。
根据本申请的一个方面，本申请提供了一种计算机设备，所述计算机设备与一显微镜设备通信。该计算机设备包括：
第一一模块，用于向所述显微镜设备发送温度获取指令；
第一二模块，用于接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息；
第一三模块，用于向所述显微镜设备发送图像获取指令；以及，
第一四模块，用于接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
根据本申请的另一方面，本申请提供了一种显微镜设备，所述显微镜设备与一计算机设备通信。该显微镜设备包括：
第二一模块，用于接收所述计算机设备发送的温度获取指令；
第二二模块，用于基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
第二三模块，用于接收所述计算机设备发送的图像获取指令；
第二四模块，用于基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；以及，
第二五模块，用于向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像。
根据本申请的一个方面，本申请提供了一种计算机设备，所述计算机设备与一显微镜设备通信。其中，该计算机设备包括：
第三一模块，用于向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；以及
第三二模块，用于接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息，以及所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
根据本申请的另一方面，本申请提供了一种显微镜设备，所述显微镜设备与一计算机设备通信。其中，该显微镜设备包括：
第四一模块，用于接收所述计算机设备发送的数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
第四二模块，用于基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；以及，
第四三模块，用于向所述计算机设备发送所述当前温度信息以及所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像。
根据本申请的一个方面，本申请提供了一种用于获取目标显微图像的方法，应用于一显微镜系统，所述显微镜系统包括计算机设备及显微镜设备，所述计算机设备与所述显微镜设备通信；
其中，所述方法包括：
所述计算机设备向所述显微镜设备发送温度获取指令；
所述显微镜设备接收所述计算机设备发送的温度获取指令，基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
所述计算机设备接收所述当前温度信息，并向所述显微镜设备发送图像获取指令；
所述显微镜设备接收所述图像获取指令，基于所述图像获取指令采集关于目标试样的图像数据，并向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
所述计算机设备接收所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
根据本申请的另一方面，本申请提供了一种用于获取目标显微图像的方法，应用于一显微镜系统，所述显微镜系统包括计算机设备及显微镜设备，所述计算机设备与所述显微镜设备通信；
其中，所述方法包括：
所述计算机设备向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
所述显微镜设备接收所述计算机设备发送的数据请求，基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
所述显微镜设备向所述计算机设备发送所述当前温度信息以及所述图像数据；
所述计算机设备接收所述当前温度信息及所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
与现有技术相比，本申请获取目标试样的、对应于当前温度信息的目标显微图像，从而使后续的基于试样随温度变化过程的研究成为可能；并且，研究人员无需为了研究试样随温度变化而发生的变化，而在试验过程中守在显微设备旁，这将能为研究人员节省大量时间，且研究人员不易因遗忘观测而错过关键的时间点。基于本申请，不同的研究人员基于已取得的目标显微图像均可复现试样随温度的变化，而无需重复安排相关试验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出本申请一个实施例的实施场景；
图2示出本申请一实施例中用于获取目标显微图像的方法流程；
图3示出本申请一实施例中应用于计算机设备的用于获取目标显微图像的方法流程；
图4是本申请一实施例中基于焦平面高度确定相关空间位置的示意；
图5示出本申请一实施例中应用于显微镜设备的用于获取目标显微图像的方法流程；
图6示出本申请另一实施例中用于获取目标显微图像的方法流程；
图7示出本申请另一实施例中应用于计算机设备的用于获取目标显微图像的方法流程；
图8示出本申请另一实施例中应用于显微镜设备的用于获取目标显微图像的方法流程；
图9示出本申请一实施例中计算机设备的功能模块；
图10示出本申请一实施例中显微镜设备的功能模块；
图11示出本申请另一实施例中计算机设备的功能模块；
图12示出本申请另一实施例中显微镜设备的功能模块；
图13示出可用于本申请各实施例的一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请各实施例基于一显微镜系统实施，该显微镜系统含用于对试样成像的光学组件(例如物镜)和用于接收、处理和发送数据的数据处理组件。非限制性地，图1示出本申请各实施例的一种典型实施场景。显微镜系统10包括用于对试样成像的显微镜设备200，还包括用于处理数据、向显微镜设备200发送动作指令的计算机设备100。显微镜设备200和计算机设备100之间通过通讯线缆连接，该通讯线缆用于提供显微镜设备200和计算机设备100之间的通讯线路，以便显微镜设备200向计算机设备100发送显微图像，和计算机设备100检测显微镜设备200的状态、向显微镜设备200发送动作指令等。其中，显微镜设备200则包括工作组件201(根据实际需要可为物镜组件或用于执行其他操作的工作组件)、载物台202，载物台202用于放置或夹持试样203；以工作组件201是物镜组件为例，显微镜设备200接收计算机设备100的指令而使工作组件201和载物台202相对运动，以供工作组件201对试样203的不同部分进行成像，并将所得的显微图像通过通讯线缆发送至计算机设备100。在一个典型的实施例中，载物台202在图1中的x-y平面内运动，而工作组件201在z方向上运动，运动部件的驱动力由步进电机和丝杆机构提供。
显微镜设备还可选地含控制盒204，控制盒204通过上述通讯线缆接收计算机设备100所发送的控制指令，并按照控制指令控制工作组件201运动，或者通过工作组件执行相应的操作(例如，但不限于，对试样对焦、拍摄试样的显微图像)。
本领域技术人员应能理解，上述具体实施方式仅为举例，而非对本申请的限定。其他现有的能够实现试样与工作组件之间的相对运动的实施方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
以下将基于图1示出的显微镜系统，详细描述本申请的具体实施方式。
根据本申请的一个方面，本申请提供了一种用于获取目标显微图像的方法，应用于一显微镜系统。所述显微镜系统包括计算机设备及显微镜设备，所述计算机设备与所述显微镜设备通信。该方法包括以下步骤：
所述计算机设备向所述显微镜设备发送温度获取指令；
所述显微镜设备接收所述计算机设备发送的温度获取指令，基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
所述计算机设备接收所述当前温度信息，并向所述显微镜设备发送图像获取指令；
所述显微镜设备接收所述图像获取指令，基于所述图像获取指令采集关于目标试样的图像数据，并向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；以及，
所述计算机设备接收所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
下面分别从计算机设备和显微镜设备两方面详细描述。
计算机设备方面
根据本申请的一个方面，本申请提供了一种用于获取目标显微图像的方法。该方法应用于计算机设备，该计算机设备与一显微镜设备通信。参考图3，该方法包括步骤S110、步骤S120、步骤S130和步骤S140。
具体而言，在步骤S110中，计算机设备向所述显微镜设备发送温度获取指令；在步骤S120中，计算机设备接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息。其中，当前温度信息在一些实施例中为显微镜设备的温度检测单元所采集的即时温度，该即时温度可以是(但不限于)试样温度、环境温度、载玻片温度等；在一些实施例中该即时温度被接触式测量(例如基于温度计或热电偶)或非接触式测量(例如基于亮度法、辐射法或比色法)。
在步骤S130中，计算机设备向所述显微镜设备发送图像获取指令；在步骤S140中，计算机设备接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像。在一些实施例中，前述图像数据用于生成试样的一张或若干张显微图像，并且计算机设备将该一张或若干张显微图像作为目标显微图像；在另一些实施例中，前述图像数据用于生成试样的一张或若干张显微图像，并且计算机设备对该一张或若干张显微图像进行图像处理后生成前述目标显微图像。本领域技术人员应能理解，这些获取目标显微图像的方式仅为举例而非对本申请具体实施方式的任何限定，其他现有的或者今后可能出现的可用于获取目标显微图像的实施方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，计算机设备接收显微镜设备所发送的图像数据流，并基于该图像数据流而实时生成目标显微图像。
其中，前述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。对于同一试样，若显微设备的物镜倍率较高，则一次成像的视野可能无法覆盖整个试样；更重要的是，显微设备的物镜倍率越高，其对应的景深就越小，试样表面的细微凹凸也将对成像造成更大的影响，从而使得使用者无法在一张显微图像上完整、清晰地观察整个试样。因此，高倍率的物镜虽然可以让使用者对试样进行更细致的观察，却也显著降低了使用者清晰观察整个试样的效率：使用者不得不频繁调整物镜相对于试样的位置并重新对焦。鉴于此，在本申请的各实施例中，供使用者观察的显微图像(目标显微图像)可选地是由若干子区域图像拼合而成的，而这些子区域图像由显微设备对试样的不同区域(子成像区域)分别成像所得；在获得清晰的各个子区域图像之后，拼合子区域图像即可获得试样的完整、清晰成像，以便使用者高效地观察试样的各个部分。计算机设备收到前述显微图像序列后，将这些子区域图像拼合成前述一张或若干张显微图像。
可选地，前述图像数据还包含显微图像序列中各子区域图像的位置编码信息，该位置编码信息用于确定子区域图像对应的子成像区域相对于试样整体的位置(或子区域图像相对于拼合后的显微图像的位置)。在一些实施例中，每个子区域图像的位置编码信息为相应子区域图像的基准点(例如物镜的光轴中心)的空间位置，计算机设备基于该空间位置还原各子区域图像之间的位置关系；而在另一些实施例中每个子区域图像的位置编码信息为相应子区域图像的序号信息，计算机设备基于这些子区域图像各自的序号，以及预设的序号-位置映射关系，还原各子区域图像之间的位置关系，以简化信息传输。
为便于保存资料和方便用户之间交流，在一些实施例中，上述方法还包括步骤S150(未示出)。在步骤S150中，计算机设备保存各目标显微图像，以供该用户或其他用户后续基于这些目标显微图像进行相关研究，并能方便用户之间的交流。具体而言，在一些实施例中，上述方法还包括步骤S151，在该步骤S151中计算机设备将各目标显微图像存档，其中每个目标显微图像的属性信息包括相应的当前温度信息；而在另一些实施例中，计算机设备将各目标显微图像发送至网络设备(例如云端服务器)以保存各目标显微图像，其中每个目标显微图像的属性信息包括相应的当前温度信息。
在一些实施例中，上述各子区域图像是基于若干子图像而生成的，例如这些子图像对应于试样的同一个部分(同一子成像区域)，但是分别拍摄于不同的焦面，从而不同子图像上拍摄清晰的部分(如有)所对应的试样的实际空间高度(相对于载玻片)，即可根据相应子图像成像时的焦面高度来确定。换句话说，基于子图像的焦面高度即可确定试样不同部分(不同的子成像区域)的空间高度(相对于载玻片)，进而获得试样表面高低起伏的情况，而无需另设相应的测量部件。相应地，上述步骤S140包括子步骤S141、子步骤S142和子步骤S143(均未示出)。其中在步骤S141中，计算机设备接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，其中所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，每个子区域图像包括多个子图像，所述多个子图像由所述显微镜设备基于多个不同的焦面高度采集；在步骤S142中，计算机设备基于所述子图像确定各子区域图像，并基于各焦面高度确定各子区域图像中每个像素所对应的三维空间坐标；而在步骤S143中，计算机设备拼合所述子区域图像，以获得对应于所述当前温度信息的目标显微图像。图像拼合在不同的实施例中可能由不同的方式实现，但是大致过程相似，主要包括以下步骤：
-图像预处理，包括去噪、边缘提取、直方图处理等；
-图像配准，即采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定图像之间的变换关系；
-建立变换模型，即根据模板或图像特征间的对应关系计算数学模型中各参数值，从而建立图像的数学变换模型；
-统一坐标变换，即根据上述数学变换模型而将带拼接图像转换至参考图像的坐标系中；
-融合重构，即融合待拼接的图像的重合区域以获得拼合后的图像。
例如，在一些实施例中，子区域图像上一个像素的像素参数(例如颜色信息)是根据一个子图像上对试样清晰成像的、对应位置的像素的像素参数(例如颜色信息)确定的。其中，对于同一试样的同一位置，显微镜设备基于不同的焦面高度而进行了多次成像，从而获得了对应于不同焦面高度的多个不同的子图像；由于显微镜设备的景深较小，这些子图像能对试样清晰成像的部分可能各不相同。换句话说，子区域图像是由不同子图像上的清晰的部分“拼接”而成的。此时，上述子步骤S142还包括子步骤S1421和子步骤S1422(均未示出)。
其中，在子步骤S1421中，计算机设备确定每个子图像的清晰成像区域(能清晰成像的区域，或者“焦内”区域)中每个像素的像素参数(例如颜色信息)，从而基于所述子图像确定相应的子区域图像；在子步骤S1422中，计算机设备基于各焦面高度确定所述子区域图像中每个像素所对应的三维空间坐标。在放大倍数较大的情况下，成像系统的景深较小，因此在试样具有一定凹凸的情况下，为了对试样的不同部分分别清晰成像，参考图4，需要针对试样上不同高度的部分而改变焦面高度；从而，能够对试样清晰成像的当前焦面高度，对应于被清晰成像的试样的空间高度(z方向)，不同焦面高度之间的高度差反映试样不同部分的高度差(hx)。而在水平方向上，对于同一成像视野而言，不同的点与其在成像元件上的成像的位置是一一对应的，从而基于成像元件当前的位置及成像元件上的像的位置即可获知试样上相应的点在空间中的位置。例如，在成像元件的位置已知的情况下，事先基于成像元件上的各点(或像素)和分别对应的标定物上的各点(水平位置均已知)之间的映射关系可建立一映射表，之后再对实际的试样成像，从而基于该映射表和成像元件上各点的成像位置查得试样上各点的水平位置；同时，基于物镜的焦面高度确定试样上相应的点的竖直位置，从而确定试样上相应的点的空间位置。
在一些实施例中，在上述子步骤S1421中，计算机设备首先确定每个子图像的清晰成像区域，其中所述清晰成像区域满足清晰判定条件；随后再确定每个清晰成像区域中每个像素的像素参数，从而基于所述子图像确定相应的子区域图像。例如，在一些实施例中，计算机设备对每个子图像中各个部分(例如分块)进行无参考清晰度评价以衡量各部分的清晰度，并基于清晰度满足判定条件(例如清晰度高于一定阈值，或者清晰度在一定的范围内)的要求的部分确定当前子图像的清晰成像区域。其中，进行上述无参考清晰度评价所用的清晰度算法，包括(但不限于)：
-基于Brenner梯度函数的评价函数，具体而言该函数计算相邻两像素的灰度差的平方；
-基于Tenengrad梯度函数的评价函数，具体而言该函数采用Sobel算子分别提取水平和垂直方向的梯度值；
-基于灰度查分绝对值之和，当完全聚焦时图像最清晰，图像中的高频分量也最多，该函数将灰度变化作为聚焦评价的依据。
此外，还可基于方差函数、能量梯度函数等评价子图像各部分的清晰度。
在一些实施例中，子区域图像的至少一个像素的三维空间坐标(例如z方向，即垂直于载玻片的装载平面的方向，的坐标)是基于一个或者多个其他像素的三维空间坐标(例如z方向的坐标)拟合确定的。由此，同一子图像中清晰成像区域中的像素也可能对应于不同的空间高度，从而后续以三维方式呈现的试样图像将较为平滑。例如，以各清晰成像区域的中心或中央部分的像素的空间高度为基准，其他像素的空间高度在前述这些像素的空间高度的基础上基于直线拟合、曲线拟合(例如三次样条曲线拟合)、曲面拟合等方式而确定。
其中，若试样表面存在凹凸，为了便于研究人员能直观地了解试样表面高度的分布情况，位于不同空间高度的试样在目标显微图像中可能以不同的像素参数(例如RGB色彩信息)而重新着色，从而研究人员根据目标显微图像所呈现的色彩即可了解试样各部分的高度分布。相应地在一些实施例中，所述像素参数包括相应像素的色彩信息，所述色彩信息是基于相应子图像所对应的焦面高度而确定的。
在一些实施例中，在步骤S130中，计算机设备向所述显微镜设备发送图像获取指令及焦面更新指令。其中，该焦面更新指令用于供所述显微镜设备更新当前焦面高度以采集子图像，例如显微镜设备基于该焦面更新指令而对试样重新对焦，在新的焦面高度下基于前述图像获取指令而拍摄试样图像。其中在一些实施例中，上述步骤S130包括子步骤S131和子步骤S132(均未示出)。在子步骤S131中，计算机设备基于所述显微镜设备的物镜组件的景深高度确定相应的焦面更新指令；随后在子步骤S132中，计算机设备向所述显微镜设备发送图像获取指令及所述焦面更新指令。其中，焦面更新指令用于供显微镜设备更新当前焦面高度以采集子图像。
例如，在一些实施例中，在上述子步骤S131中，计算机设备按预设的焦面移动距离确定相应的焦面更新指令，其中所述焦面移动距离不大于所述显微镜设备的物镜组件的景深高度，从而最终的子区域图像中的各点均在显微镜设别的景深范围内采集，因此目标显微图像中各部分均是清晰的。而在另一些实施例中，计算机设备按预设的焦面移动距离确定相应的焦面更新指令，其中所述焦面移动距离不小于所述显微镜设备的物镜组件的景深高度，从而能够提升拍摄速度，并降低对显微镜设备控制精度的要求而降低系统成本。
在一些实施例中上述方法还包括步骤S160(未示出)。在步骤S160中，计算机设备基于各当前温度信息生成温度序列；随后计算机设备按照预设的时间间隔，基于所述温度序列顺序呈现各当前温度所对应的目标显微图像。以实时呈现(或回放)当前采集的显微图像，以便研究人员第一时间获得当前温度下试样的相关变化情况。
上述图像获取指令既可由用户手动触发生成、亦可由计算机设备自动生成。特别地，在一些实施例中上述图像获取指令由计算机设备基于测得的当前温度信息而生成以减轻研究人员的负担。具体而言，在上述步骤S130中，若所述当前温度信息满足图像获取条件，向所述显微镜设备发送图像获取指令。例如，显微镜设备每隔一预定时长(例如，2s)检测当前温度信息(例如试样温度、环境温度等)并向计算机设备发送该当前温度信息，以供计算机设备检测该当前温度信息是否满足图像获取条件。其中，图像获取条件包括但不限于：
-当前温度信息存在于目标温度信息集合，例如欲采集显微图像的各目标温度已事先确定，在当前温度变化并达到一个目标温度时即采集相应的显微图像；
-当前温度信息与前序温度信息的温度差达到预设温度差，例如在试样的升温过程中，当前温度与上一次采集显微图像时的温度相比，已经达到一个预设的温度差(例如0.5摄氏度)。
借助包括但不限于上述的图像获取条件，研究人员不必时刻关注相关温度的变化，因此研究人员采集显微图像的工作量大大减少。
在一些实施例中，上述当前温度可以是由计算机设备通过显微镜设备(或其他温度检测装置)被动检测的，例如环境温度/试样温度是通过外置的温度控制装置(如，由研究人员操作)改变的。而在另一些实施例中，上述当前温度则是由计算机设备主动控制的。
对于计算机设备主动控制上述当前温度的情况而言，上述方法在一些实施例中还包括步骤S170(未示出)；在该步骤S170中，计算机设备生成、并向执行装置发送控温指令以控制当前温度。
具体而言，在一些实施例中，上述执行装置为显微镜设备(例如该显微镜设备设有控温单元)。相应地，上述方法包括步骤S171(未示出)。在步骤S171中，计算机设备向所述显微镜设备发送第一控温指令。其中，所述第一控温指令用于供所述显微镜设备的控温单元调节当前温度。该控温单元在一些实施例中含用于对试样或环境(例如培养皿等)进行加热的加热元件。其中，上述第一控温指令在一些实施例中是根据用户的相关操作而生成的，相应地在上述步骤S171中计算机设备响应于用户对试样采集温度的第一指定操作，生成第一控温指令，并向所述显微镜设备发送所述第一控温指令。其中，用户通过该第一指定操作指定用于采集显微图像的一个或者若干个目标温度，或者通过该第一指定操作指定用于采集显微图像的温度区间(可选地还可指定采集每一显微图像时温度变化的步长)。
而在另一些实施例中，上述执行装置为独立于显微镜设备的控温设备，例如该控温设备另设于环境中。相应地，上述方法包括步骤S172(未示出)。在步骤S172中，计算机设备向控温设备发送第二控温指令。其中，所述第二控温指令用于调节当前温度。该控温设备在一些实施例中含用于对试样或环境(例如培养皿等)进行加热的加热元件。其中，上述第二控温指令在一些实施例中是根据用户的相关操作而生成的，相应地在上述步骤S172中计算机设备响应于用户对试样采集温度的第二指定操作，生成第二控温指令，并向控温设备发送第二控温指令。其中，用户通过该第二指定操作指定用于采集显微图像的一个或者若干个目标温度，或者通过该第二指定操作指定用于采集显微图像的温度区间(可选地还可指定采集每一显微图像时温度变化的步长)。
显微镜设备方面
根据本申请的另一方面，本申请提供了一种用于获取目标显微图像的方法。该方法应用于显微镜设备，该显微镜设备与一计算机设备通信。参考图5，该方法包括步骤S210、步骤S220、步骤S230、步骤S240和步骤S250。
具体而言，在步骤S210中，显微镜设备接收所述计算机设备发送的温度获取指令。随后在步骤S220中，显微镜设备基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息。其中，当前温度信息在一些实施例中为显微镜设备的温度检测单元所采集的即时温度，该即时温度可以是(但不限于)试样温度、环境温度、载玻片温度等；在一些实施例中该即时温度被接触式测量(例如基于温度计或热电偶)或非接触式测量(例如基于亮度法、辐射法或比色法)。
在步骤S230中，显微镜设备接收所述计算机设备发送的图像获取指令；随后，在步骤S240中，显微镜设备基于所述图像获取指令采集关于目标试样的图像数据。之后，在步骤S250中，显微镜设备向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。在一些实施例中，前述图像数据用于生成试样的一张或若干张显微图像，并且计算机设备将该一张或若干张显微图像作为目标显微图像；在另一些实施例中，前述图像数据用于生成试样的一张或若干张显微图像，并且计算机设备对该一张或若干张显微图像进行图像处理后生成前述目标显微图像。本领域技术人员应能理解，这些获取目标显微图像的方式仅为举例而非对本申请具体实施方式的任何限定，其他现有的或者今后可能出现的可用于获取目标显微图像的实施方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，计算机设备接收显微镜设备所发送的图像数据流，并基于该图像数据流而实时生成目标显微图像。
在一些实施例中，上述各子区域图像是基于若干子图像而生成的，例如这些子图像对应于试样的同一个部分(同一子成像区域)，但是分别拍摄于不同的焦面，从而不同子图像上拍摄清晰的部分(如有)所对应的试样的实际空间高度(相对于载玻片)，即可根据相应子图像成像时的焦面高度来确定。换句话说，基于子图像的焦面高度即可确定试样不同部分(不同的子成像区域)的空间高度(相对于载玻片)，进而获得试样表面高低起伏的情况，而无需另设相应的测量部件。相应地，在上述步骤S240中，显微镜设备响应于所述图像获取指令，基于多个不同的焦面高度采集多个子图像，以获得关于目标试样的图像数据，其中所述图像数据包括前述子图像。其中，多个子图像可能是基于同一图像获取指令而采集的，也可能是分别基于不同的图像获取指令(例如由计算机设备顺序发送的指令)而采集的。
在一些实施例中，在上述步骤S230中，显微镜设备接收所述计算机设备发送的图像获取指令及焦面更新指令；而在步骤S240中，显微镜设备基于所述图像获取指令采集，在当前焦面高度下采集子图像，以获得关于目标试样的图像数据，其中所述图像数据包括所述子图像。其中，该焦面更新指令用于供所述显微镜设备更新当前焦面高度以采集子图像，例如显微镜设备基于该焦面更新指令而对试样重新对焦，在新的焦面高度下基于前述图像获取指令而拍摄试样图像。此时，上述方法还包括步骤S260(未示出)。在步骤S260中，显微镜设备基于所述焦面更新指令更新所述当前焦面高度。
可选地，各子图像所对应的当前焦面高度被记录为一个或多个像素的一项像素属性参数，并被包含于前述图像数据而发送至计算机设备，以供计算机设备获取相应像素所对应的试样表面的空间高度。
在一些实施例中，上述当前温度可以是由计算机设备通过显微镜设备(或其他温度检测装置)被动检测的，例如环境温度/试样温度是通过外置的温度控制装置(如，由研究人员操作)改变的。而在另一些实施例中，上述当前温度则是由计算机设备主动控制的。其中对于计算机设备主动控制上述当前温度的情况而言，在一些实施例中，显微镜设备装有控温单元，上述方法还包括步骤S270(未示出)。在步骤S270中，显微镜设备接收所述计算机设备发送的第一控温指令，并基于所述第一控温指令，通过所述控温单元调节当前温度。
以上分别从计算机设备和显微镜设备两方面，详细介绍了本申请的一些具体实施方式。须知，上述实施方式仅为举例而非对本申请具体实施方式的任何限定，其他现有的或者今后可能出现的具体实施方式如能适用于本申请，也包含在本申请的保护范围内。
例如，上述温度获取指令及图像获取指令，除了如上所述而由计算机设备分别发送至显微镜设备以外，亦可由计算机设备同时发送至显微镜设备。相应地，根据本申请的另一方面，基于与以上所述类似的显微镜系统，本申请还提供了一种用于获取目标显微图像的方法。参考图6，该方法包括以下步骤：
所述计算机设备向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
所述显微镜设备接收所述计算机设备发送的数据请求，基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
所述显微镜设备向所述计算机设备发送所述当前温度信息以及所述图像数据；
所述计算机设备接收所述当前温度信息及所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
具体而言，一方面，本申请提供了一种用于获取目标显微图像的方法，该方法应用于计算机设备。参考图7，所述计算机设备与一显微镜设备通信。该方法包括步骤S310和步骤S320。其中在步骤S310中，计算机设备向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；在步骤S320中，计算机设备接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息，以及所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。其中，上述步骤S310中的操作与以上所述方法中步骤S110、步骤S130中的操作基本相同，而上述步骤S320中的操作与以上所述方法中步骤S120、步骤S140中的操作基本相同；区别仅在于，计算机设备在上述步骤S310中同时发送了温度获取指令和图像获取指令，而在上述步骤S320中同时接收了当前温度信息和目标试样的图像数据。因此，相关具体操作在此不再赘述，以引用的方式包含于此。
另一方面，本申请提供了一种用于获取目标显微图像的方法，该方法应用于显微镜设备。参考图8，所述显微镜设备与一计算机设备通信。该方法包括步骤S410、步骤S420和步骤S430。其中在步骤S410中，显微镜设备接收所述计算机设备发送的数据请求，其中所述数据请求包含温度获取指令及图像获取指令；在步骤S420中，显微镜设备基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据，其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；在步骤S430中，显微镜设备向所述计算机设备发送所述当前温度信息以及所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像。其中，上述步骤S410中的操作与以上所述方法中步骤S210、步骤S230中的操作基本相同，而上述步骤S430中的操作与以上所述方法中步骤S220、步骤S250中的操作基本相同；区别仅在于，显微镜设备在上述步骤S410中同时接收了温度获取指令和图像获取指令，而在上述步骤S430中同时发送了当前温度信息和目标试样的图像数据。因此，相关具体操作在此不再赘述，以引用的方式包含于此。
以上详述了本申请的各具体实施方式。须知，上述实施方式并非对本申请的具体实施方式的限定。
根据本申请的另一方面，本申请还提供了一种用于获取目标显微图像的计算机设备，所述计算机设备与一显微镜设备通信。参考图9，该计算机设备100包括第一一模块110、第一二模块120、第一三模块130和第一四模块140。其中，第一一模块110、第一二模块120、第一三模块130和第一四模块140分别用于执行上述步骤S110、步骤S120、步骤S130和步骤S140中的相关操作，具体实施方式请参考附图3及上述步骤S110、步骤S120、步骤S130和步骤S140的具体实施例，不再赘述。
根据本申请的另一方面，本申请还提供了一种用于获取目标显微图像的显微镜设备，所述显微镜设备与一计算机设备通信。参考图10，该显微镜设备200包括第二一模块210、第二二模块220、第二三模块230、第二四模块240和第二五模块250。其中，第二一模块210、第二二模块220、第二三模块230、第二四模块240和第二五模块250分别用于执行上述步骤S210、步骤S220、步骤S230、步骤S240和步骤S250中的相关操作，具体实施方式请参考附图5及上述步骤S210、步骤S220、步骤S230、步骤S240和步骤S250的具体实施例，不再赘述。
根据本申请的另一方面，本申请还提供了一种用于获取目标显微图像的计算机设备，所述计算机设备与一显微镜设备通信。参考图11，该计算机设备300包括第三一模块310和第三二模块320。其中，第三一模块310和第三二模块320分别用于执行上述步骤S310和步骤S320中的相关操作，具体实施方式请参考附图7及上述步骤S310和步骤S320的具体实施例，不再赘述。
根据本申请的另一方面，本申请还提供了一种用于获取目标显微图像的显微镜设备，所述显微镜设备与一计算机设备通信。参考图12，该显微镜设备400包括第四一模块410、第四二模块420、第四三模块430和第四四模块440。其中，第四一模块410、第四二模块420、第四三模块430和第四四模块440分别用于执行上述步骤S410、步骤S420、步骤S430和步骤S440中的相关操作，具体实施方式请参考附图8及上述步骤S410、步骤S420、步骤S430和步骤S440的具体实施例，不再赘述。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图13示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图13所示，在一些实施例中，系统1000能够作为各所述实施例中的任意一个计算机设备或者显微镜设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk,HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (26)
1.一种用于获取目标显微图像的方法，应用于计算机设备，所述计算机设备与一显微镜设备通信；
其中，所述方法包括：
向所述显微镜设备发送温度获取指令；
接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息；
向所述显微镜设备发送图像获取指令；
接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将各目标显微图像存档，其中每个目标显微图像的属性信息包括相应的当前温度信息。
3.根据权利要求1所述的方法，其中，所述方法还包括：
将各目标显微图像发送至网络设备，其中每个目标显微图像的属性信息包括相应的当前温度信息。
4.根据权利要求1所述的方法，其中，所述接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像，包括：
接收所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，其中所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，每个子区域图像包括多个子图像，所述多个子图像由所述显微镜设备基于多个不同的焦面高度采集；
基于所述子图像确定各子区域图像，并基于各焦面高度确定各子区域图像中每个像素所对应的三维空间坐标；
拼合所述子区域图像，以获得对应于所述当前温度信息的目标显微图像。
5.根据权利要求4所述的方法，其中，所述基于所述子图像确定各子区域图像，并基于各焦面高度确定各子区域图像中每个像素所对应的三维空间坐标，包括：
确定每个子图像的清晰成像区域中每个像素的像素参数，从而基于所述子图像确定相应的子区域图像；
基于各焦面高度确定各子区域图像中每个像素所对应的三维空间坐标。
6.根据权利要求5所述的方法，其中，所述确定每个子图像的清晰成像区域中每个像素的像素参数，从而基于所述子图像确定相应的子区域图像，包括：
确定每个子图像的清晰成像区域，其中所述清晰成像区域满足清晰判定条件；
确定每个清晰成像区域中每个像素的像素参数，从而基于所述子图像确定相应的子区域图像。
7.根据权利要求5所述的方法，其中，所述子区域图像的至少一个像素的三维空间坐标是基于一个或多个其他像素的三维空间坐标拟合确定的。
8.根据权利要求4所述的方法，其中，所述向所述显微镜设备发送图像获取指令，包括：
向所述显微镜设备发送图像获取指令及焦面更新指令；
其中，所述焦面更新指令用于供所述显微镜设备更新当前焦面高度以采集子图像。
9.根据权利要求1所述的方法，其中，所述方法还包括：
基于各当前温度信息生成温度序列；
按照预设的时间间隔，基于所述温度序列顺序呈现各当前温度所对应的目标显微图像。
10.根据权利要求1所述的方法，其中，所述向所述显微镜设备发送图像获取指令，包括：
若所述当前温度信息满足图像获取条件，向所述显微镜设备发送图像获取指令。
11.根据权利要求10所述的方法，其中，所述图像获取条件包括以下至少任一项：
所述当前温度信息存在于目标温度信息集合；
所述当前温度信息与前序温度信息的温度差达到预设温度差。
12.根据权利要求10所述的方法，其中，所述方法还包括：
向所述显微镜设备发送第一控温指令；
其中所述第一控温指令用于供所述显微镜设备的控温单元调节当前温度。
13.根据权利要求12所述的方法，其中，所述向所述显微镜设备发送第一控温指令，包括：
响应于用户对试样采集温度的第一指定操作，生成第一控温指令，并向所述显微镜设备发送所述第一控温指令。
14.根据权利要求10所述的方法，其中，所述方法还包括：
向控温设备发送第二控温指令；
其中所述第二控温指令用于调节当前温度。
15.根据权利要求14所述的方法，其中，所述向控温设备发送第二控温指令，包括：
响应于用户对试样采集温度的第二指定操作，生成第二控温指令，并向控温设备发送第二控温指令。
16.一种用于获取目标显微图像的方法，应用于显微镜设备，所述显微镜设备与一计算机设备通信；
其中，所述方法包括：
接收所述计算机设备发送的温度获取指令；
基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
接收所述计算机设备发送的图像获取指令；
基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像。
17.根据权利要求16所述的方法，其中，所述基于所述图像获取指令采集关于目标试样的图像数据，包括：
响应于所述图像获取指令，基于多个不同的焦面高度采集多个子图像，以获得关于目标试样的图像数据，其中所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
18.根据权利要求17所述的方法，其中，所述接收所述计算机设备发送的图像获取指令，包括：
接收所述计算机设备发送的图像获取指令及焦面更新指令；
所述响应于所述图像获取指令，基于多个不同的焦面高度采集多个子图像，以获得关于目标试样的图像数据，包括：
基于所述图像获取指令，在当前焦面高度下采集子图像，以获得关于目标试样的图像数据；
所述方法还包括：
基于所述焦面更新指令更新所述当前焦面高度。
19.根据权利要求16所述的方法，其中，所述显微镜设备还包括控温单元，所述方法还包括：
接收所述计算机设备发送的第一控温指令；
基于所述第一控温指令，通过所述控温单元调节当前温度。
20.一种用于获取目标显微图像的方法，应用于计算机设备，所述计算机设备与一显微镜设备通信；
其中，所述方法包括：
向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
接收所述显微镜设备基于所述温度获取指令而发送的当前温度信息，以及所述显微镜设备基于所述图像获取指令而发送的、关于目标试样的图像数据，以获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
21.一种用于获取目标显微图像的方法，应用于显微镜设备，所述显微镜设备与一计算机设备通信；
其中，所述方法包括：
接收所述计算机设备发送的数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；
向所述计算机设备发送所述当前温度信息以及所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像。
22.一种用于获取目标显微图像的方法，应用于一显微镜系统，所述显微镜系统包括计算机设备及显微镜设备，所述计算机设备与所述显微镜设备通信；
其中，所述方法包括：
所述计算机设备向所述显微镜设备发送温度获取指令；
所述显微镜设备接收所述计算机设备发送的温度获取指令，基于所述温度获取指令采集当前温度信息，并向所述计算机设备发送所述当前温度信息；
所述计算机设备接收所述当前温度信息，并向所述显微镜设备发送图像获取指令；
所述显微镜设备接收所述图像获取指令，基于所述图像获取指令采集关于目标试样的图像数据，并向所述计算机设备发送所述图像数据，以供所述计算机设备获取对应于所述当前温度信息的目标显微图像；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
所述计算机设备接收所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
23.一种用于获取目标显微图像的方法，应用于一显微镜系统，所述显微镜系统包括计算机设备及显微镜设备，所述计算机设备与所述显微镜设备通信；
其中，所述方法包括：
所述计算机设备向所述显微镜设备发送数据请求，其中所述数据请求包含温度获取指令及图像获取指令；
所述显微镜设备接收所述计算机设备发送的数据请求，基于所述温度获取指令采集当前温度信息，并基于所述图像获取指令采集关于目标试样的图像数据；其中，所述图像数据包括显微图像序列，所述显微图像序列包括所述目标试样的多个子成像区域所分别对应的子区域图像，所述子区域图像用于拼合所述目标显微图像；
所述显微镜设备向所述计算机设备发送所述当前温度信息以及所述图像数据；
所述计算机设备接收所述当前温度信息及所述图像数据，以获取对应于所述当前温度信息的目标显微图像。
24.一种计算机设备，其中，所述计算机设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至15中任一项或权利要求20所述方法的操作。
25.一种显微镜设备，其中，所述显微镜设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求16至19中任一项或权利要求21所述方法的操作。
26.一种存储指令的计算机可读介质，所述指令在被计算机执行时使得所述计算机执行根据权利要求1至21中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010172213.8A CN113395485B (zh) | 2020-03-12 | 2020-03-12 | 一种用于获取目标显微图像的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010172213.8A CN113395485B (zh) | 2020-03-12 | 2020-03-12 | 一种用于获取目标显微图像的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113395485A true CN113395485A (zh) | 2021-09-14 |
| CN113395485B CN113395485B (zh) | 2023-05-05 |
Family
ID=77615820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010172213.8A Active CN113395485B (zh) | 2020-03-12 | 2020-03-12 | 一种用于获取目标显微图像的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113395485B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112505910A (zh) * | 2020-12-11 | 2021-03-16 | 平湖莱顿光学仪器制造有限公司 | 用显微镜拍摄试样图像的方法、系统、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000249928A (ja) * | 1999-03-01 | 2000-09-14 | Shinku Riko Kk | 熱処理に伴う試料の状態変化を観察する画像観察システム |
| CN102841079A (zh) * | 2011-06-22 | 2012-12-26 | 徕卡显微系统复合显微镜有限公司 | 用于试样的图像显示方法及其光学显微设备 |
| CN104391371A (zh) * | 2014-12-19 | 2015-03-04 | 成都理工大学 | 数字化显微镜及其使用方法 |
| CN105431760A (zh) * | 2013-05-14 | 2016-03-23 | 生命科技股份有限公司 | 用于使用综合控制的样品图像捕获的系统和方法 |
-
2020
- 2020-03-12 CN CN202010172213.8A patent/CN113395485B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000249928A (ja) * | 1999-03-01 | 2000-09-14 | Shinku Riko Kk | 熱処理に伴う試料の状態変化を観察する画像観察システム |
| CN102841079A (zh) * | 2011-06-22 | 2012-12-26 | 徕卡显微系统复合显微镜有限公司 | 用于试样的图像显示方法及其光学显微设备 |
| CN105431760A (zh) * | 2013-05-14 | 2016-03-23 | 生命科技股份有限公司 | 用于使用综合控制的样品图像捕获的系统和方法 |
| CN104391371A (zh) * | 2014-12-19 | 2015-03-04 | 成都理工大学 | 数字化显微镜及其使用方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112505910A (zh) * | 2020-12-11 | 2021-03-16 | 平湖莱顿光学仪器制造有限公司 | 用显微镜拍摄试样图像的方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113395485B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
| US10705326B2 (en) | Autofocus system for a computational microscope | |
| US10558029B2 (en) | System for image reconstruction using a known pattern | |
| US20180088306A1 (en) | Observation Method and Specimen Observation Apparatus | |
| JP7226852B2 (ja) | 基板上の流動的対象を自動的にマッピングするための方法およびシステム | |
| CN111443475B (zh) | 一种物镜自动定位扫描玻片的方法及装置 | |
| CN113395485B (zh) | 一种用于获取目标显微图像的方法与设备 | |
| US9176132B2 (en) | Method of calibration | |
| JP2019191020A (ja) | 表面特性取得装置、表面特性取得システム及びプログラム | |
| CN113470167B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
| CN114578536B (zh) | 图像采集方法、装置、计算机设备和存储介质 | |
| CN113470166B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
| CN113390868A (zh) | 一种用于呈现目标显微图像的方法与系统 | |
| CN113393407B (zh) | 一种获取试样的显微图像信息的方法与设备 | |
| KR20210035755A (ko) | 시맨틱 세그멘테이션을 이용한 포즈 추정 | |
| CN113469865B (zh) | 一种获取显微图像的方法与设备 | |
| CN113391441B (zh) | 一种用于获取试样的显微图像信息的方法与设备 | |
| CN113469864B (zh) | 一种用于获取显微图像的方法与设备 | |
| CN113469863B (zh) | 一种用于获取显微图像的方法与设备 | |
| CN114584662B (zh) | 图像采集方法、装置、计算机设备和存储介质 | |
| CN113392675B (zh) | 一种呈现显微视频信息的方法与设备 | |
| US20220351404A1 (en) | Dimensionally aware machine learning system and method | |
| CN113395483A (zh) | 一种用于呈现多个显微子视频信息的方法与设备 | |
| JP2023178269A (ja) | ラメラ試料調製のための対象構造体の自動選択 | |
| CN118502096A (zh) | 显示样本图像的计算机系统、显微镜系统以及显示样本图像的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |