CN113393407A - 一种获取试样的显微图像信息的方法与设备 - Google Patents
一种获取试样的显微图像信息的方法与设备 Download PDFInfo
- Publication number
- CN113393407A CN113393407A CN202010171393.8A CN202010171393A CN113393407A CN 113393407 A CN113393407 A CN 113393407A CN 202010171393 A CN202010171393 A CN 202010171393A CN 113393407 A CN113393407 A CN 113393407A
- Authority
- CN
- China
- Prior art keywords
- microscopic
- image
- region
- image information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001000 micrograph Methods 0.000 claims description 53
- 230000033001 locomotion Effects 0.000 claims description 52
- 230000015654 memory Effects 0.000 claims description 36
- 230000001276 controlling effect Effects 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims 2
- 238000004891 communication Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 9
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请的目的是提供一种获取试样的显微图像信息的方法与设备，包括：通过获取关于试样的整体区域的多个显微子图像信息，根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。本方案可以根据用户需求获取用户感兴趣的部分区域对应的三维图像，并结合其他区域的二维图像，得到综合显微图像信息，所述综合显微图像信息相比于单纯的三维图像，数据量小，相比于单纯的二维图像，能够获取到更详细的关键信息，提高了资源利用率同时，保证了图像的质量，提升了用户的使用体验。
Description
技术领域
本申请涉及显微图像处理领域，尤其涉及一种获取试样的显微图像信息的技术。
背景技术
显微光学成像，通常也称"光学显微成像"，或"光学显微术"(OpticalMicroscopy，或Light Microscopy)，是指透过样品或从样品反射回来的可见光，通过一个或多个透镜后，能够得到微小样品的放大图像的技术。所得图像可以通过目镜直接用眼睛观察，也可以用感光板或数字化图像探测器如CCD、CMOS进行记录，还可以在计算机上进行显示和分析处理。当然，通过与摄像装置相结合，还可以录制关于样品在视野范围内的视频等。但是，显微镜能够观察到的视野范围有限，当观察的样品大小超出当前视野范围时，对于样品整体的状况很难观察，当更换物镜的倍数，扩大当前视野范围时，又会对样品的细节的精度有所损失。
发明内容
本申请的一个目的是提供一种获取试样的显微图像信息的方法与设备。
根据本申请的一个方面，提供了一种获取试样的显微图像信息的方法，应用于设备，该方法包括：
获取关于试样的整体区域的多个显微子图像信息；
根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
根据本申请的另一个方面，提供了一种获取试样的显微图像信息的设备，该设备包括：
呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
根据本申请的一个方面，提供了一种获取试样的显微图像信息的设备，该设备包括：
一一模块，用于获取关于试样的整体区域的多个显微子图像信息；
一二模块，用于根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
根据本申请的一个方面，提供了一种获取试样的显微图像信息的设备，该设备包括：
二一模块，用于呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
根据本申请的一个方面，提供了一种获取试样的显微图像信息的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比，本申请通过获取关于试样的整体区域的多个显微子图像信息，根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。本方案可以根据用户需求获取用户感兴趣的部分区域对应的三维图像，并结合其他区域的二维图像，得到综合显微图像信息，所述综合显微图像信息相比于单纯的三维图像，数据量小，相比于单纯的二维图像，能够获取到更详细的关键信息，提高了资源利用率同时，保证了图像的质量，提升了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种综合显微图像信息的示例；
图2示出根据本申请一个实施例的一种获取试样的显微图像信息的方法流程图；
图3示出根据本申请一个实施例的一种在显微设备中建立空间坐标系的示例；
图4示出根据本申请一个实施例的一种相对运动的示例；
图5示出根据本申请一个实施例的一种获取试样的显微图像信息的方法流程图；
图6示出根据本申请一个实施例的一种设备100的功能模块；
图7示出根据本申请另一个实施例的一种设备100的功能模块；
图8示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于设备、网络设备、或设备与网络设备通过网络相集成所构成的设备。所述设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field ProgrammableGate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述设备、网络设备、或设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请的方法获取到的显微图像信息的示例，其中，本申请通过获取关于试样的整体区域的多个显微子图像信息，根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。在此，所述多个显微子图像信息包含关于所述试样不同焦面高度下对应的显微子图像信息，用于生成部分区域中的三维图像，当然，这些不同焦面高度下的显微子图像信息也可以生成二维图像。如图中所示，所述目标对象的整体区域包括部分区域和其他区域，生成的关于所述目标对象的综合显微图像信息中在所述部分区域呈现三维影像，在所述其他区域呈现二维影像，所述二维影像与三维影像在交界处拼接，二维影像的显示高度与三维影像中某一高度值所在平面对齐。
本方案主要由设备100完成，所述设备100包括但不限于但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如PC(personalcomputer)、平板电脑、智能手机等；当然，设备100还可以与其他设备等建立通信连接，并基于通信连接共同完成本方案等。所述设备100包括但不限于用户设备、网络设备等，其中，所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；所述显微设备包括但不限于由一个透镜或几个透镜的组合构成、用于放大微小物体成为人的肉眼能够看到的一种光学仪器，包括但不限于光学显微镜、电子显微镜、视频显微镜等。所述显微设备通常与摄像系统、设备等相结合，达到对被测物体的放大观察的目的，将显微镜下得到的图像通过小孔成像的原理，投影到感光照片上，从而得到当前物镜对应视野下的显微子图像信，或者直接将照相机与显微镜对接，拍摄对应的显微子图像信息。
参考图1的示例，图2示出根据本申请一个方面的一种获取试样的显微图像信息的方法，应用于设备，包括步骤S101和步骤S102。在步骤S101中，设备获取关于试样的整体区域的多个显微子图像信息；在步骤S102中，设备根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合显微图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
具体而言，在步骤S101中，设备获取关于试样的整体区域的多个显微子图像信息。例如，所述设备建立与其他设备通信连接，通过与其他设备的通信连接，获取关于试样的多个显微子图像信息，如向对应网络设备发送关于试样的显微子图像请求，其中，该显微子图像请求包括试样的标识信息(如试样的名称、标识码或者图像等)；随后，网络设备基于该显微子图像请求在显微图像数据库中查询确定对应的多个显微子图像信息，并将该多个显微子图像信息返回至设备。还如，设备建立与对应显微设备的通信连接，通过该通信连接向显微设备发送图像采集指令信息，图像采集指令信息用于控制所述显微设备的采集模式等，所述显微设备接收图像采集指令信息并基于该图像采集指令信息采集关于所述试样的多个显微子图像信息，随后，显微设备将所述多个显微子图像信息返回至设备。
在步骤S102中，设备根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合显微图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。例如，设备获取该多个显微子图像信息，并根据所述显微子图像信息生成关于试样的综合显微图像信息，其中，二维图像包括由像素点按照图像坐标排列行程的显微图像；例如，通过提取出各显微子图像信息中较清晰的像素点，并基于这些像素点进行景深融合，从而得到对应二维显微图像信息。还如，三维图像包括关于目标对象的立体图视觉上层次分明色彩鲜艳，具有很强的视觉冲击力的三维图像等，该三维图像包括目标对象的整体轮廓的三维坐标信息，如所述三维显微图像信息中建立有对应的三维图像坐标系，目标对象对应的轮廓上的各个点在所述三维图像坐标系中存在对应的三维坐标等，且通过特定插件或者应用等，所述三维显微图像信息可以呈现出所述目标对象不同角度的立体轮廓等；例如，通过提取出各显微子图像中较清晰的像素点，并根据像素点的空间坐标信息等建立对应空间关系，从而进行图像融合生成对应的三维显微图像信息，在此，三维显微图像信息仅能够基于重叠部分的不同高度下的显微子图像信息生成。又如，综合显微图像信息包括关于目标图像的部分区域通过三维图像的形式呈现，其他区域通过二维图像的形式呈现，对应二维图像呈现的基准面与三维图像中高度为零的平面平齐，当然，该二维图像的基准面可以基于用户的设置于三维图像中某高度对应的平面对齐等。例如，部分区域对应的多个显微子图像信息中拥有不同焦面高度下的显微子图像信息，能够生成对应的三维显微图像信息，其他部分的显微子图像信息可以生成对应的二维显微图像信息，基于图像匹配，匹配三维显微图像信息与二维显微图像信息的边界，并基于三维显微图像信息的零基准平面进行图像融合等。
在一些实施方式中，所述多个显微子图像信息包括第一显微图像序列信息，所述第一显微图像序列信息与所述三维图像相对应，其中，所述第一显微图像序列信息包括关于所述试样的对应不同焦面高度下的多个第一显微子图像信息。例如，如图3示出的以试样或者载物台中心为原点建立的空间坐标系，在载物台所在的平面内，分别建立对应的X轴和Y轴，在垂直载物台所在平面的方向上，建立对应的Z轴，该空间坐标系的原点随着试样或者载物台的中心移动而移动，所述第一显微子图像信息在采集过程中所述物镜对应的焦面在所述空间坐标系中对应不同的Z轴坐标，根据同一个区域的不同Z轴坐标处采集的第一显微子图像信息，所述设备可以根据不同Z轴坐标的第一显微子图像信息合成部分区域对应的三维图像。当然，所述第一显微图像信息还可以包含其他区域中的多个显微子图像信息，基于不同Z轴坐标的第一显微子图像信息也可以生成关于其他区域的二维图像。
在一些实施方式中，所述试样的整体区域包括多个单位区域，所述第一显微图像序列信息包括关于每个单位区域的第一显微子图像序列，所述第一显微子图像序列包括对应的单位区域中不同焦面高度下对应的第一显微子图像信息。例如，每个显微子图像信息的分辨率一致，根据物镜的倍率确定每个像素的大小，从而确定每个显微子图像信息的大小，将每个显微子图像信息对应在所述试样范围的实际大小作为单位区域，试样中部分区域被划分为多个单位区域，对应的第一显微子图像信息是在各个单位区域中基于不同的Z轴高度采集的关于该单位区域内的试样相关的显微图像，且每个单位区域对应的第一显微子图像信息的图像中心坐标的X轴和Y轴坐标相同，被采集时物镜对应的焦面高度有所不同。根据该方法可以获取到各个单位区域的第一显微子图像序列，根据各个单位区域的第一显微子图像序列信息，可以先生成各个单位区域的关于试样的三维子图像，再将各个单位区域的三维子图像融合，得到试样的三维图像。
在另一些实施方式中，所述多个第一显微子图像信息满足：每两个相邻的第一显微子图像信息的重叠度大于第一阈值，小于第二阈值。在一些实施方式中，所述第一显微子图像信息由对应显微设备在所述显微设备的物镜相对于所述试样产生相对运动时采集所得，所述相对运动包括所述物镜在盛放所述试样的载物台对应平面方向上相对于所述载物台的相对平面运动，以及所述物镜在所述载物台对应平面的垂直方向上相对于所述载物台的相对往返运动，所述相对运动的过程中所述相对平面运动与所述相对往返运动至少在所述部分区域中重叠。在一些实施方式中，当所述相对平面运动与所述相对平面运动重叠，且所述物镜与所述载物台存在所述相对往返运动，所述物镜在所述载物台对应平面方向上相对所述载物台存在位移变化量。例如，所述设备与对应显微设备建立了通信连接，如通过有线或者无线的方式连接等，设备通过该通信连接向显微设备发送关于试样的图像采集指令信息。其中，显微设备包括控制系统，用于控制显微设备的物镜和/或载物台等移动，如将物镜所在的镜筒与镜臂通过移动装置相连接，通过控制移动装置控制镜臂的移动从而达到移动物镜的效果，移动装置与位移传感器相连，所述位移传感器包括但不限于丝杆、光栅尺等；同理，所述载物台与镜座通过移动装置相连接，通过控制移动装置控制字啊舞台的移动，所述试样固定于所述载物台上。显微设备中所述物镜相对于所述试样的相对运动，可以是单独通过控制物镜的移动完成或者单独通过控制载物台的移动完成，还可以是通过同时控制物镜和载物台达到相对运动的效果。图4示出一种相对运动的示例，如图所示，通过控制镜筒上下运动达到相对往返运动，通过控制载物台在X轴方向和Y轴方向上的运动达到相对平面运动等，当然，本领域技术人员应能理解上述相对运动方式仅为举例，其他现有的或今后可能出现的相对运动方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。所述相对平面运动与所述相对往返运动重叠是指在拍摄的显微子图像信息的区域在所述试样的整体范围内变动的同时，该显微子图像信息的焦面在试样中的高度也往返变动等，如在部分重叠中的每个重叠时刻的时间邻域内，所述物镜与所述载物台在Z轴方向上遵循对应的相对往返运动，且所述物镜在载物台的平面方向上(即XOY平面方向上)相对于载物台存在位移变化量，即在重叠时间的每个重叠时刻的时间邻域内平面方向上存在位移变化量，对应的相对平面运动的速度不为零。由于所述重叠部分中在平面方向上的运动速度不为零，则采集到的显微子图像信息中相邻图像间的重叠度小于一定上限阈值，如上限阈值一般为100％即完全重合，此处可以取第二阈值小于上限阈值，如95％等，保证平面方向上的速度不会太低，从而影响采集的效率等；另外，考虑到图像匹配中关于图像重叠度的要求等，相邻图像间的重叠度应该要大于第一阈值，如65％等。
在一些实施方式中，所述第一显微子图像序列信息与所述整体区域相对应；在步骤S102中，设备根据所述第一显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。例如，所述第一显微子图像信息在采集过程中所述物镜对应的焦面在所述空间坐标系中对应不同的Z轴坐标，根据同一个区域的不同Z轴坐标处采集的第一显微子图像信息，所述设备可以根据不同Z轴坐标的第一显微子图像信息，提取各第一显微子图像信息中清晰的像素点，将该像素点在其第一显微子图像信息中的空间坐标转换至空间坐标系中，以该第一显微子图像信息所在的高度作为对应Z轴高度等，随后，根据各第一显微子图像信息中提取到的像素点的空间坐标信息，生成关于试样的三维图像。当然，所述第一显微图像信息还可以包含其他区域中的多个显微子图像信息，基于不同Z轴坐标的第一显微子图像信息提取到的像素点的空间坐标信息，通过景深融合可以生成关于其他区域的二维图像。随后，基于得到的三维图像和二维图像信息可以确定所述试样的综合显微图像信息。如在一些实施方式中，在步骤S102中，设备根据所述第一显微子图像序列信息在所述整体区域中部分区域生成关于所述试样的三维图像；根据所述第一显微子图像序列信息在所述整体区域中除所述部分区域外的其他区域，生成关于所述试样的二维图像；基于所述三维图像及所述二维图像生成所述试样的综合显微图像信息。
在一些实施方式中，本方法还包括步骤S103(未示出)，在步骤S103中，设备确定所述试样对应的所述部分区域。例如，所述试样的整体区域中关于生成三维图像的区域可以是基于用户的标记操作确定，也可以是根据图像识别操作等确定。如在一些实施方式中，在步骤S103中，设备基于用户的选中操作，在所述试样的整体范围内确定所述部分区域。例如，所述设备包括显示装置，用于呈现所述试样的整体范围，用户可以通过操作设备实现对应的选中操作，如通过手势、语音或者触控等操作选中用户感兴趣的区域，设备基于该选中操作，从所述整体范围内确定生成三维图像的部分区域。在另一些实施方式中，设备端存储有关于部分区域的模板特征信息，如用户导入的模板特征信息等，设备获取到多个显微子图像信息后，可以根据所述多个显微图像信息进行图像识别，若识别到其中一部分显微子图像信息包含模板特征(如对应特征信息与模板特征信息的相似度达到一定阈值等)，确定该部分显微子图像信息对应的采集区域为部分区域等。在一些实施方式中，所述设备获取到多个显微子图像信息后，先生成关于试样的整体区域的二维显微图像信息，随后，再通过该二维显微图像信息进行图像识别，识别图像中包含模板特征信息的区域，将对应区域作为生成三维图像的部分区域，在根据第一显微图像序列信息以及该部分区域生成三维图像，进而将三维图像与二维图像进行拼接，得到综合显微图像信息。如在步骤S102中，设备根据所述第一显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；根据所述第一显微子图像序列信息生成关于所述试样的部分区域的三维显微图像信息；根据所述二维显微图像信息和所述三维显微图像信息生成综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；在步骤S103中，设备根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域。例如，执行步骤S102过程中，调用步骤S103对应的模块，从而在执行步骤S102的过程中插入步骤S103。
在一些实施方式中，所述多个显微子图像信息还包括第二显微图像序列信息，所述第二显微图像序列信息与所述二维图像相对应，其中，所述第二显微图像序列信息包括关于所述试样在同一焦面高度下对应的多个第二显微子图像信息；其中，在步骤S102中，设备根据所述第一显微子图像序列信息、所述第二显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。例如，设备获取的多个显微子图像信息中除了包括第一显微图像序列信息，还包括第二显微图像序列信息，该第二显微图像序列信息中包含各个单位区域中关于试样在同一焦面高度下的多个第二显微子图像信息，该第二显微图像序列信息可以用户生成对应的二维图像信息，如将多个第二显微子图像信息进行图像匹配，确定各第二显微子图像信息的空间位置关系，从而进行图像拼接，得到关于试样的二维图像，在此，第二显微子图像信息对应的采集区域可以是与所述其他区域相对应，还可以是与所述试样的整体区域相对应。
在一些实施方式中，所述方法还包括步骤S104(未示出)，在步骤S104中，设备基于用户的选中操作，在所述试样的整体范围内确定所述部分区域；其中，在步骤S101中，设备根据所述试样的整体区域、所述部分区域获取对应的第一显微图像序列信息及第二显微图像序列信息，其中，所述第一显微图像序列信息与所述部分区域相对应，第二显微图像序列信息与所述整体区域中除所述部分区域外的其他区域相对应。例如，设备包括显示装置，用于呈现所述试样的整体范围，用户可以通过操作设备实现对应的选中操作，如通过手势、语音或者触控等操作选中用户感兴趣的区域，设备基于该选中操作，从所述整体范围内确定生成三维图像的部分区域。随后，设备基于试样的整体范围、部分范围等获取对应的第一显微图像信息序列信息及第二显微图像序列信息，其中，第一显微图像序列信息与确定的部分区域相对应，第二显微图像序列信息与其他区域相对应。如在一些实施方式中，所述第二显微图像序列信息还与所述部分区域相对应。例如，第二显微图像序列信息可以与整体区域相对应。在另一些实施方式中，在步骤S101中，设备获取关于试样的整体区域的第二显微图像序列信息；根据所述第一显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域；获取关于试样的所述部分区域的第一显微图像序列信息。例如，设备端存储有关于部分区域的模板特征信息，如用户导入的模板特征信息等，设备先获取到关于试样整体区域的第二显微图像序列信息，基于该第二显微图像信息生成关于试样的二维显微图像信息，并基于该二维显微图像信息以及模板特征信息进行图像识别，确定所述二维显微图像信息中包含模板特征信息的部分区域，进而根据该部分区域获取对应的第一显微图像序列信息等。
在一些实施方式中，所述多个显微子图像信息包含多个第一显微图像序列信息，其中，所述多个第一显微图像序列信息中存在至少一个第一显微图像序列信息的显微参数与其他第一显微图像序列信息的显微参数不同，每个第一显微图像序列信息包括关于所述试样对应不同焦面高度下的多个第一显微子图像信息。例如，所述综合显微图像信息中可能同时包含多个不同赋值的显微参数下的三维图像，如部分区域分为区域1、区域2以及区域3等多个区域，在区域1中生成关于10℃下试样的该区域的三维图像，在区域2中生成关于15℃下试样的该区域的三维图像，在区域3中生成关于20℃下试样的该区域的三维图像信息，其他区域则对应着二维图像。基于前述场景，设备获取的多个显微子图像信息中至少要包含10℃、15℃以及20℃下的关于试样对应区域的第一显微子图像序列信息。在此，对应显微参数包括不限于：拍摄时间信息、焦面高度信息、旋转角度信息、俯仰角度信息、偏航角度信息、照明灯光亮度信息、照明灯光颜色信息、温度信息、湿度信息、PH值信息、荧光波段信息、偏振光角度信息以及DIC旋转角信息等。在一些实施方式中，为了有较为良好的图像观察效果，上述多个第一显微子图像序列信息对应的子区域不重叠，如所述至少一个第一显微图像序列信息对应的采集区域与所述其他第一显微图像序列信息对应的采集区域不重叠。例如，10℃、15℃以及20℃下的关于试样的第一显微子图像序列信息对应的区域1、区域2以及区域3不重叠，分别分布在试样的整体区域中不同位置等。
图5示出根据本申请另一个方面的一种获取试样的显微图像信息的方法，其中，所述方法包括步骤S201。在步骤S201中，设备呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。例如，设备通过显示装置(如显示屏、投影仪等)呈现所述综合显微图像信息，该综合显微图像信息中包含二维图像和三维图像，二维图像的呈现基准面与三维图像中某以高度对应水平面对齐，如与高度为零的基准面对齐等，该综合显微图像信息可以通过调整不同视角来观看不同的场景，如俯视图、正视图、侧视图等，当然，用户可以根据需求调整任意角度供所述设备呈现等。在一些实施方式中，所述方法还包括步骤S202(未示出)，在步骤S202中，设备基于用户的调控操作，生成对应的调控指令；基于所述调控指令对所述综合显微图像信息进行调控；其中，在步骤S201中，设备呈现所述调控后的综合显微图像信息。例如，基于用户的触控、点击或者输入(如语音输入、手势输入或者字符输入等)等操作，设备生成对应的调控指令，该调控指令用于对综合显微图像信息进行调控，如放大、缩小、切换视角等。在一些实施方式中，所述调控指令包括但不限于：调整所述综合显微图像信息的图像维度信息，其中，所述图像维度信息包括二维信息、三维信息以及综合维度信息；在所述综合显微图像信息的所述其他区域中确定标记区域，基于所述标记区域生成新综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中所述部分区域、所述标记区域的三维图像，以及所述整体区域中除所述部分区域、所述标记区域外的其他区域的二维图像。例如，设备呈现综合显微图像信息中相关信息时，可以基于用户的调控操作生成调控指令，对综合显微图像信息的维度进行切换，在整体二维图像、整体三维图像以及部分三维部分二维三种维度信息中进行切换，根据用户操作可以实现三种维度信息的切换等。还如，在设备呈现的综合显微图像信息中，设备可以基于用户的标记操作等，在所述试样的整体区域中再确定用户标记的区域记为标记区域，并将该标记区域也生成对应的三维图像，如从网络设备端获取该区域对应的第一显微图像序列信息或者通过显微设备采集关于该区域的第一显微图像序列信息等；随后，根据标记区域的三维图像拼接得到新综合显微图像信息。
在一些实施方式中，所述方法还包括步骤S203(未示出)，在步骤S203中，设备获取所述试样关于显微参数序列的多个综合显微图像信息，其中，所述显微参数序列包括对应显微参数的赋值，每个综合图像信息包括关于所述试样的整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；根据所述多个综合显微图像信息确定对应的综合显微视频信息。例如，显微参数序列包括根据该显微参数的按照一定顺序排列组成的多个赋值等，如按照时间节点的时间顺序排列的多个时间节点组成时间序列等，每个时间节点包括该拍摄时刻对应的时间，或者以该时刻为中心以一定时间长度为范围的时间区间，如[T-t0，T+t0]的时间区间等。设备获取该试样的多个综合显微图像信息，每个综合显微图像信息包括该图像采集时的显微参数信息，如采集时间、采集时的温度等。设备可以按照各个综合显微图像信息对应的显微参数的赋值等按照显微序列进行排序，并设置一定的视频参数等，生成对应的综合显微视频信息。在一些实施方式中，所述方法还包括步骤S204(未示出)，在步骤S204中，设备根据所述显微参数序列同步呈现所述综合显微视频信息。例如，设备可以根据各综合显微图像信息对应的显微参数的赋值，呈现对应的综合显微视频信息，在该综合显微视频呈现过程中，对应播放轴与对应显微参数的赋值的排序同步等。
参考图1的示例，图6示出根据本申请一个方面的一种获取试样的综合显微图像信息的设备100，包括一一模块101和一二模块102。一一模块101，用于获取关于试样的整体区域的多个显微子图像信息；一二模块102，用于根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合显微图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。在此，图5中一一模块101、一二模块102的具体实施方式与前述图2中的步骤S101、步骤S102对应的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述多个显微子图像信息包括第一显微图像序列信息，所述第一显微图像序列信息与所述三维图像相对应，其中，所述第一显微图像序列信息包括关于所述试样的对应不同焦面高度下的多个第一显微子图像信息。在此，所述多个显微子图像信息包括第一显微图像序列信息的具体实施方式与前述多个显微子图像信息包括第一显微图像序列信息对应的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述试样的整体区域包括多个单位区域，所述第一显微图像序列信息包括关于每个单位区域的第一显微子图像序列，所述第一显微子图像序列包括对应的单位区域中不同焦面高度下对应的第一显微子图像信息。在此，所述基于单位区域获取第一显微图像序列信息的具体实施方式与前述基于单位区域获取第一显微图像序列信息对应的实施例相同或相似，不再赘述，以引用的方式包含于此。
在另一些实施方式中，所述多个第一显微子图像信息满足：每两个相邻的第一显微子图像信息的重叠度大于第一阈值，小于第二阈值。在一些实施方式中，所述第一显微子图像信息由对应显微设备在所述显微设备的物镜相对于所述试样产生相对运动时采集所得，所述相对运动包括所述物镜在盛放所述试样的载物台对应平面方向上相对于所述载物台的相对平面运动，以及所述物镜在所述载物台对应平面的垂直方向上相对于所述载物台的相对往返运动，所述相对运动的过程中所述相对平面运动与所述相对往返运动至少在所述部分区域中重叠。在一些实施方式中，当所述相对平面运动与所述相对平面运动重叠，且所述物镜与所述载物台存在所述相对往返运动，所述物镜在所述载物台对应平面方向上相对所述载物台存在位移变化量。在此，所述相对平面运动与所述相对平面运动重叠的具体实施方式与前述所述相对平面运动与所述相对平面运动重叠对应的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述第一显微子图像序列信息与所述整体区域相对应；一二模块102，用于根据所述第一显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。在此，所述第一显微子图像序列信息与所述整体区域相对应的具体实施方式与前述所述第一显微子图像序列信息与所述整体区域相对应的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，本设备还包括一三模块103(未示出)，用于确定所述试样对应的所述部分区域。例如，所述试样的整体区域中关于生成三维图像的区域可以是基于用户的标记操作确定，也可以是根据图像识别操作等确定。如在一些实施方式中，一三模块103，用于基于用户的选中操作，在所述试样的整体范围内确定所述部分区域。一二模块102，用于根据所述第一显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；根据所述第一显微子图像序列信息生成关于所述试样的部分区域的三维显微图像信息；根据所述二维显微图像信息和所述三维显微图像信息生成综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；一三模块103，用于根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域。在此，所述一三模块103的具体实施方式与前述所述步骤S103的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述多个显微子图像信息还包括第二显微图像序列信息，所述第二显微图像序列信息与所述二维图像相对应，其中，所述第二显微图像序列信息包括关于所述试样在同一焦面高度下对应的多个第二显微子图像信息；一二模块102，用于根据所述第一显微子图像序列信息、所述第二显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。在此，所述多个显微子图像信息还包括第二显微图像序列信息的具体实施方式与前述所述多个显微子图像信息还包括第二显微图像序列信息的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一四模块104(未示出)，用于基于用户的选中操作，在所述试样的整体范围内确定所述部分区域；其中，一一模块101，用于根据所述试样的整体区域、所述部分区域获取对应的第一显微图像序列信息及第二显微图像序列信息，其中，所述第一显微图像序列信息与所述部分区域相对应。在另一些实施方式中，一一模块101，用于获取关于试样的整体区域的第二显微图像序列信息；根据所述第一显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域；获取关于试样的所述部分区域的第一显微图像序列信息。在此，所述一四模块104的具体实施方式与前述所述步骤S104的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述多个显微子图像信息包含多个第一显微图像序列信息，其中，所述多个第一显微图像序列信息中存在至少一个第一显微图像序列信息的显微参数与其他第一显微图像序列信息的显微参数不同，每个第一显微图像序列信息包括关于所述试样对应不同焦面高度下的多个第一显微子图像信息。在一些实施方式中，为了有较为良好的图像观察效果，上述多个第一显微子图像序列信息对应的子区域不重叠，如所述至少一个第一显微图像序列信息对应的采集区域与所述其他第一显微图像序列信息对应的采集区域不重叠。在此，所述多个显微子图像信息包含多个第一显微图像序列信息的具体实施方式与前述所述多个显微子图像信息包含多个第一显微图像序列信息的实施例相同或相似，不再赘述，以引用的方式包含于此。
图7示出根据本申请另一个方面的一种获取试样的显微图像信息的设备100，其中，所述设备包括二一模块201。二一模块201，用于呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。在此，图7中所述二一模块201对应的具体实施方式与前述图5中步骤S201的具体实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括二二模块202(未示出)，用于基于用户的调控操作，生成对应的调控指令；基于所述调控指令对所述综合显微图像信息进行调控；其中，二一模块201，用于呈现所述调控后的综合显微图像信息。在一些实施方式中，所述调控指令包括但不限于：调整所述综合显微图像信息的图像维度信息，其中，所述图像维度信息包括二维信息、三维信息以及综合维度信息；在所述综合显微图像信息的所述其他区域中确定标记区域，基于所述标记区域生成新综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中所述部分区域、所述标记区域的三维图像，以及所述整体区域中除所述部分区域、所述标记区域外的其他区域的二维图像。在此，所述二二模块202的具体实施方式与前述所述步骤S202的实施例相同或相似，不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括二三模块203(未示出)，用于获取所述试样关于显微参数序列的多个综合显微图像信息，其中，所述显微参数序列包括对应显微参数的赋值，每个综合图像信息包括关于所述试样的整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；根据所述多个综合显微图像信息确定对应的综合显微视频信息。在一些实施方式中，所述设备还包括二四模块模块204(未示出)，用于根据所述显微参数序列同步呈现所述综合显微视频信息。在此，所述二三模块203、二四模块204的具体实施方式与前述所述步骤S203、步骤S204的实施例相同或相似，不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图8示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图8所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (26)
1.一种获取试样的显微图像信息的方法，其中，该方法包括：
获取关于试样的整体区域的多个显微子图像信息；
根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
2.根据权利要求1所述的方法，其中，所述多个显微子图像信息包括第一显微图像序列信息，所述第一显微图像序列信息与所述三维图像相对应，其中，所述第一显微图像序列信息包括关于所述试样对应不同焦面高度下的多个第一显微子图像信息。
3.根据权利要求2所述的方法，其中，所述试样的整体区域包括多个单位区域，所述第一显微图像序列信息包括关于每个单位区域的第一显微子图像序列信息，所述第一显微子图像序列信息包括对应的单位区域中不同焦面高度下对应的多个第一显微子图像信息。
4.根据权利要求2所述的方法，其中，所述多个第一显微子图像信息满足：每两个相邻的第一显微子图像信息的重叠度大于第一阈值，小于第二阈值。
5.根据权利要求4所述的方法，其中，所述第一显微子图像信息由对应显微设备在所述显微设备的物镜相对于所述试样产生相对运动时采集所得，所述相对运动包括所述物镜在盛放所述试样的载物台对应平面方向上相对于所述载物台的相对平面运动，以及所述物镜在所述载物台对应平面的垂直方向上相对于所述载物台的相对往返运动，所述相对运动的过程中所述相对平面运动与所述相对往返运动至少在所述部分区域中重叠。
6.根据权利要求5所述的方法，其中，当所述相对平面运动与所述相对往返运动重叠，且所述物镜与所述载物台存在所述相对往返运动，所述物镜在所述载物台对应平面方向上相对所述载物台存在位移变化量。
7.根据权利要求2至6中任一项所述的方法，其中，所述第一显微子图像序列信息与所述整体区域相对应，所述根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像，包括：
根据所述第一显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
8.根据权利要求7所述的方法，其中，所述根据所述第一显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像，包括：
根据所述第一显微子图像序列信息在所述整体区域中部分区域生成关于所述试样的三维图像；
根据所述第一显微子图像序列信息在所述整体区域中除所述部分区域外的其他区域，生成关于所述试样的二维图像；
基于所述三维图像及所述二维图像生成所述试样的综合显微图像信息。
9.根据权利要求7或8所述的方法，其中，所述方法还包括：
确定所述试样对应的所述部分区域。
10.根据权利要求9所述的方法，其中，所述确定所述试样对应的所述部分区域，包括：
基于用户的选中操作，在所述试样的整体范围内确定所述部分区域。
11.根据权利要求9所述的方法，其中，所述根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像，包括：
根据所述第一显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；
根据所述第一显微子图像序列信息生成关于所述试样的部分区域的三维显微图像信息；
根据所述二维显微图像信息和所述三维显微图像信息生成综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；
其中，所述确定所述试样对应的所述部分区域，包括：
根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域。
12.根据权利要求2至6中任一项所述的方法，其中，所述多个显微子图像信息还包括第二显微图像序列信息，所述第二显微图像序列信息与所述二维图像相对应，其中，所述第二显微图像序列信息包括关于所述试样在同一焦面高度下对应的多个第二显微子图像信息；
其中，所述根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像，包括：
根据所述第一显微子图像序列信息、所述第二显微子图像序列信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
13.根据权利要求12所述的方法，其中，所述方法还包括：
基于用户的选中操作，在所述试样的整体范围内确定所述部分区域；
其中，所述获取关于试样的整体区域的多个显微子图像信息，包括：
根据所述试样的整体区域、所述部分区域获取对应的第一显微图像序列信息及第二显微图像序列信息，其中，所述第一显微图像序列信息与所述部分区域相对应，第二显微图像序列信息与所述整体区域中除所述部分区域外的其他区域相对应。
14.根据权利要求13所述的方法，其中，所述第二显微图像序列信息还与所述部分区域相对应。
15.根据权利要求12所述的方法，其中，所述获取关于试样的整体区域的多个显微子图像信息，包括：
获取关于试样的整体区域的第二显微图像序列信息；
根据所述第二显微子图像序列信息生成关于所述试样的整体区域的二维显微图像信息；
根据所述二维显微图像信息及对应的目标模板，从所述整体区域中确定所述试样对应的部分区域；
获取关于试样的所述部分区域的第一显微图像序列信息。
16.根据权利要求1至15中所述的方法，其中，所述多个显微子图像信息包含多个第一显微图像序列信息，其中，所述多个第一显微图像序列信息中存在至少两个第一显微图像序列信息的显微参数的赋值不同，每个第一显微图像序列信息包括关于所述试样对应不同焦面高度下的多个第一显微子图像信息。
17.根据权利要求16所述的方法，其中，所述至少两个第一显微图像序列信息对应的采集区域相分离。
18.一种获取试样的显微图像信息的方法，其中，该方法包括：
呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
19.根据权利要求18所述的方法，其中，所述方法还包括：
基于用户的调控操作，生成对应的调控指令；
基于所述调控指令对所述综合显微图像信息进行调控；
其中，所述呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像，包括：
呈现所述调控后的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
20.根据权利要求19的方法，其中，所述调控指令包括以下至少任一项：
调整所述综合显微图像信息的图像维度信息，其中，所述图像维度信息包括二维信息、三维信息以及综合维度信息；
在所述综合显微图像信息的所述其他区域中确定标记区域，基于所述标记区域生成新综合显微图像信息，其中，所述新综合图像信息包括关于所述整体区域中所述部分区域、所述标记区域的三维图像，以及所述整体区域中除所述部分区域、所述标记区域外的其他区域的二维图像。
21.根据权利要求18至20中任一项所述的方法，其中，所述方法还包括：
获取所述试样关于显微参数序列的多个综合显微图像信息，其中，所述显微参数序列包括对应显微参数的赋值，每个综合图像信息包括关于所述试样的整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像；
根据所述多个综合显微图像信息确定对应的综合显微视频信息。
22.根据权利要求21所述的方法，其中，所述方法还包括：
根据所述显微参数序列同步呈现所述综合显微视频信息。
23.一种获取试样的显微图像信息的设备，其中，该设备包括：
一一模块，用于获取关于试样的整体区域的多个显微子图像信息；
一二模块，用于根据所述多个显微子图像信息生成关于所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
24.一种用于获取试样的显微图像信息的设备，其中，该设备包括：
二一模块，用于呈现所述试样的综合显微图像信息，其中，所述综合图像信息包括关于所述整体区域中部分区域的三维图像，以及所述整体区域中除所述部分区域外的其他区域的二维图像。
25.一种获取试样的显微图像信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至22中任一项所述方法的操作。
26.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至22中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010171393.8A CN113393407B (zh) | 2020-03-12 | 2020-03-12 | 一种获取试样的显微图像信息的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010171393.8A CN113393407B (zh) | 2020-03-12 | 2020-03-12 | 一种获取试样的显微图像信息的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113393407A true CN113393407A (zh) | 2021-09-14 |
| CN113393407B CN113393407B (zh) | 2023-02-10 |
Family
ID=77615656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010171393.8A Active CN113393407B (zh) | 2020-03-12 | 2020-03-12 | 一种获取试样的显微图像信息的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393407B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037492A (zh) * | 2008-05-23 | 2011-04-27 | 澳大利亚国立大学 | 图像数据处理 |
| CN203573021U (zh) * | 2013-12-09 | 2014-04-30 | 张波 | 3d智能数码显微镜 |
| CN104391371A (zh) * | 2014-12-19 | 2015-03-04 | 成都理工大学 | 数字化显微镜及其使用方法 |
| DE102015219971A1 (de) * | 2015-10-14 | 2017-04-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erstellen einer Mikroskopiepanoramadarstellung |
| US20170309443A1 (en) * | 2016-04-22 | 2017-10-26 | Carl Zeiss Microscopy Gmbh | Method for generating a composite image of an object and particle beam device for carrying out the method |
| CN107483913A (zh) * | 2017-09-27 | 2017-12-15 | 万维云视（上海）数码科技有限公司 | 一种多维度画中画显示方法 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN108983702A (zh) * | 2018-06-15 | 2018-12-11 | 重庆大学 | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 |
| CN109191380A (zh) * | 2018-09-10 | 2019-01-11 | 广州鸿琪光学仪器科技有限公司 | 显微图像的拼接方法、装置、计算机设备和存储介质 |
| WO2019072579A1 (de) * | 2017-10-09 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Dynamisches zusammenfügen von teilbildern zu einem abbild einer umgebung eines fahrzeugs |
| CN109983767A (zh) * | 2016-11-24 | 2019-07-05 | 株式会社尼康 | 图像处理装置、显微镜系统、图像处理方法及计算机程序 |
-
2020
- 2020-03-12 CN CN202010171393.8A patent/CN113393407B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037492A (zh) * | 2008-05-23 | 2011-04-27 | 澳大利亚国立大学 | 图像数据处理 |
| CN203573021U (zh) * | 2013-12-09 | 2014-04-30 | 张波 | 3d智能数码显微镜 |
| CN104391371A (zh) * | 2014-12-19 | 2015-03-04 | 成都理工大学 | 数字化显微镜及其使用方法 |
| DE102015219971A1 (de) * | 2015-10-14 | 2017-04-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erstellen einer Mikroskopiepanoramadarstellung |
| US20170309443A1 (en) * | 2016-04-22 | 2017-10-26 | Carl Zeiss Microscopy Gmbh | Method for generating a composite image of an object and particle beam device for carrying out the method |
| CN109983767A (zh) * | 2016-11-24 | 2019-07-05 | 株式会社尼康 | 图像处理装置、显微镜系统、图像处理方法及计算机程序 |
| CN107483913A (zh) * | 2017-09-27 | 2017-12-15 | 万维云视（上海）数码科技有限公司 | 一种多维度画中画显示方法 |
| WO2019072579A1 (de) * | 2017-10-09 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Dynamisches zusammenfügen von teilbildern zu einem abbild einer umgebung eines fahrzeugs |
| CN108983702A (zh) * | 2018-06-15 | 2018-12-11 | 重庆大学 | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN109191380A (zh) * | 2018-09-10 | 2019-01-11 | 广州鸿琪光学仪器科技有限公司 | 显微图像的拼接方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113393407B (zh) | 2023-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170135855A (ko) | 패닝 샷들의 자동 생성 | |
| CN113741698A (zh) | 一种确定和呈现目标标记信息的方法与设备 | |
| CN110751735B (zh) | 一种基于增强现实的远程指导的方法与设备 | |
| JP2017063414A (ja) | ライト・フィールドを表すデータを生成する方法および装置 | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| CN110728756B (zh) | 一种基于增强现实的远程指导的方法与设备 | |
| JP2018503066A (ja) | 画像ベースの深さ検知システムの精度測定 | |
| JP2014057294A (ja) | 映像処理装置およびその制御方法、プログラム | |
| KR102478989B1 (ko) | 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치 | |
| CN112311966A (zh) | 一种短视频中动态镜头制作的方法和装置 | |
| CN113393407B (zh) | 一种获取试样的显微图像信息的方法与设备 | |
| JPH08242469A (ja) | 撮像カメラ装置 | |
| CN113470167B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
| CN109669541B (zh) | 一种用于配置增强现实内容的方法与设备 | |
| CN109931923B (zh) | 一种导航引导图的生成方法和装置 | |
| CN113395485B (zh) | 一种用于获取目标显微图像的方法与设备 | |
| CN113392675B (zh) | 一种呈现显微视频信息的方法与设备 | |
| CN113395483B (zh) | 一种用于呈现多个显微子视频信息的方法与设备 | |
| KR102462063B1 (ko) | 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치 | |
| CN113469864B (zh) | 一种用于获取显微图像的方法与设备 | |
| CN113391441B (zh) | 一种用于获取试样的显微图像信息的方法与设备 | |
| CN113470185B (zh) | 一种呈现三维显微图像的方法与设备 | |
| CN113469865B (zh) | 一种获取显微图像的方法与设备 | |
| CN113395509B (zh) | 提供及呈现目标对象的三维显微视频信息的方法与设备 | |
| CN113470166B (zh) | 一种用于呈现三维显微图像的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |