CN113470167B - 一种用于呈现三维显微图像的方法与设备 - Google Patents
一种用于呈现三维显微图像的方法与设备 Download PDFInfo
- Publication number
- CN113470167B CN113470167B CN202110716357.XA CN202110716357A CN113470167B CN 113470167 B CN113470167 B CN 113470167B CN 202110716357 A CN202110716357 A CN 202110716357A CN 113470167 B CN113470167 B CN 113470167B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional microscopic
- sequence
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005284 excitation Effects 0.000 claims description 67
- 230000015654 memory Effects 0.000 claims description 37
- 238000009877 rendering Methods 0.000 claims description 12
- 239000007850 fluorescent dye Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000000386 microscopy Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000399 optical microscopy Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- QCPFFGGFHNZBEP-UHFFFAOYSA-N 4,5,6,7-tetrachloro-3',6'-dihydroxyspiro[2-benzofuran-3,9'-xanthene]-1-one Chemical compound O1C(=O)C(C(=C(Cl)C(Cl)=C2Cl)Cl)=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 QCPFFGGFHNZBEP-UHFFFAOYSA-N 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本申请的目的是提供一种用于呈现三维显微图像的方法与设备，包括：获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；根据各即时荧光参数信息生成对应的荧光参数序列；基于所述荧光参数序列呈现所述多个三维显微图像。本申请能够获取目标试样的多个三维显微图像后，基于荧光参数序列呈现这些三维显微图像，从而为研究人员的数据获取节省大量时间，且不易因遗忘观测错过关键节点。此外，基于本申请，不同研究人员基于已取得的三维显微图像可复现试样关于荧光参数信息的变化，为研究人员提供了良好的使用体验。
Description
技术领域
本申请涉及通信领域，尤其涉及一种用于呈现三维显微图像的技术。
背景技术
显微光学成像，通常也称"光学显微成像"，或"光学显微术"(OpticalMicroscopy，或Light Microscopy)，是指透过样品或从样品反射回来的可见光，通过一个或多个透镜后，能够得到微小样品的放大图像的技术。所得图像可以通过目镜直接用眼睛观察，也可以用感光板或数字化图像探测器如CCD、CMOS进行记录，还可以在计算机上进行显示和分析处理。当然，通过与摄像装置相结合，还可以录制关于样品在视野范围内的视频等。但是，显微镜能够观察到的视野范围有限，当观察的样品大小超出当前视野范围时，同时仅能观察当前视野下的样品状况，且对于观察到的当前视野中的样品状况，是否包含研究人员关注的特征，肉眼观察效率低且容易出现错漏等。
发明内容
本申请的一个目的是提供一种用于呈现三维显微图像的方法与设备。
根据本申请的一个方面，提供了一种用于呈现三维显微图像的方法，该方法包括：
获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；
根据各即时荧光参数信息生成对应的荧光参数序列；
基于所述荧光参数序列呈现所述多个三维显微图像。
根据本申请的一个方面，提供了一种用于呈现三维显微图像的计算设备，该设备包括：
一一模块，用于获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；
一二模块，用于根据各即时荧光参数信息生成对应的荧光参数序列；
一三模块，用于基于所述荧光参数序列呈现所述多个三维显微图像。
根据本申请的一个方面，提供了一种用于呈现三维显微图像的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器如上所述任一方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比，本申请获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；根据各即时荧光参数信息生成对应的荧光参数序列；基于所述荧光参数序列呈现所述多个三维显微图像。本申请能够获取目标试样的多个三维显微图像后，基于荧光参数序列呈现这些三维显微图像，从而为研究人员的数据获取节省大量时间，且不易因遗忘观测错过关键节点。此外，基于本申请，不同研究人员基于已取得的三维显微图像可复现试样关于荧光参数信息的变化，为研究人员提供了良好的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于呈现三维显微图像的方法流程图；
图2示出根据本申请一个实施例的一种计算设备100的设备结构图；
图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种用于呈现三维显微图像的方法，应用于计算设备，该方法包括步骤S101、步骤S102以及步骤S103。在步骤S101中，计算设备获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；在步骤S102中，计算设备根据各即时荧光参数信息生成对应的荧光参数序列；在步骤S103中，计算设备基于所述荧光参数序列呈现所述多个三维显微图像。例如，所述计算设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备，所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的终端，所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云端。
具体而言，在步骤S101中，计算设备获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成。例如，三维显微图像包括基于显微摄像装置(如物镜等)拍摄得到关于试样的三维显微子图像拼合而成的立体图视觉上层次分明的三维图像等，如所述三维显微图像中建立有对应的三维图像坐标系，目标对象对应的轮廓上的各个点在所述三维图像坐标系中存在对应的三维坐标等，且通过特定插件或者应用等，所述三维显微图像可以呈现出所述目标对象不同角度的立体轮廓等。在一些实施方式中，所述三维显微子图像包括关于试样在某一荧光参数信息对应的多个三维子区域图像，所述三维显微子图像信息由所述多个三维子区域图像确定，如所述目标对象每个时刻获取了关于目标对象的多个三维子区域图像，计算设备取多个三维子区域图像中清晰度最高的作为对应的三维显微子图像信息，或者计算设备分别取试样各部分在所述三维子区域图像中最清晰的部分图像合成对应的三维显微子图像；在另一些实施方式中，所述试样的采集区域包括多个子区域，所述多个三维显微子图像信息包括试样在即时荧光参数信息下各个子区域通过显微摄像装置获取的对应的至少一个三维显微子图像信息，所述三维显微图像信息由各子区域对应的三维显微子图像信息合成得到。在一些实施方式中，所述即时荧光参数信息包括但不限于所述试样被采集时的即时荧光染料；所述试样被采集时的即时激发光波长；所述试样被采集时的即时发射光波长。例如，所述即时荧光染料包括所述试样在被采集时的试样所附着的用于进行荧光效应的染色材料，如PerCP(Peridinin-Chlorophyll-Protein Complex，多甲藻黄素-叶绿素-蛋白复合物)、异硫氰酸荧光素(FITC)、羟基荧光素(FAM)、四氯荧光素(TET)等。计算设备根据不同荧光染料按照特定顺序进行排序，如按照荧光染料进行荧光效应时对应激发光波长长短进行排序等，对应触发荧光效应的激发光波长从长至短等，对试样的各即时荧光染料进行排序，从而确定对应荧光染料序列，并基于荧光染料序列呈现所述多个三维显微图像。还如，所述荧光参数信息包括被采集时的发射光波长等，如根据落射光装置发出的初始光源的波长及激发滤板、压制滤板等可以确定试样中荧光染料被激发后的发射光波长等，计算设备根据不同发射光波长按照特定顺序进行排序，如按照发射光波长从长至短或者从短至长等，对试样的各发射光波长进行排序，从而确定对应发射光波长序列，并基于发射光波长序列呈现所述多个三维显微图像。如在一些实施方式中，所述荧光参数信息包括所述试样被采集时的即时发射光波长，所述荧光参数序列包括对应的发射光波长序列；其中，在步骤S103中，计算设备基于所述发射光波长序列呈现所述多个三维显微图像。又例如，所述荧光参数信息包括被采集时的激发光波长等，如根据落射光装置发出的初始光源的波长及激发滤板可以确定试样所处的荧光环境的激发光波长等，计算设备根据不同激发光波长按照特定顺序进行排序，如按照激发光波长从长至短或者从短至长等，对试样的各激发光波长进行排序，从而确定对应激发光波长序列，并基于激发光波长序列呈现所述多个三维显微图像。如在一些实施方式中，所述即时荧光参数信息包括所述试样被采集时的即时激发光波长，所述荧光参数序列包括对应的激发光波长序列；其中，在步骤S103中，计算设备基于所述激发光波长序列呈现所述多个三维显微图像。在此，所述即时荧光参数信息包括以上三种荧光参数信息中至少一种，并按照特定顺序进行排序等形成荧光参数序列等，从而根据荧光参数序列呈现所述多个三维显微图像。当然，本领域技术人员应能理解上述即时荧光参数信息仅为举例，其他现有的或今后可能出现的即时荧光参数信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在步骤S102中，计算设备根据各即时荧光参数信息生成对应的荧光参数序列。例如，所述荧光参数序列包括按照特定顺序进行排列的即时荧光参数信息，如以激发光波长为例，按照激发光波长从长波到短波等顺序排列，对应的激发光波长序列可以是等间隔线性排列或者包含一部分不等间隔的非线性序列等。所述激发光波长可以是一个波段范围还可以是一个波长数值等，若是波段范围则以该波段范围中心值及对应邻域表示该激发光波长，对应邻域为该中心值波长到范围边界波长的波长差值等。在一些实施方式中，在步骤S102中，计算设备将各即时激发光波长按照预设顺序进行排列，以生成对应的激发光波长序列。例如，计算设备中存储有对应的预设顺序，如从短波到长波，从红光到紫光等，如计算设备按照相应顺序排列自动生成对应激发光波长序列，并通过该顺序呈现对应的各三维显微图像。在另一些实施例中，在步骤S102中，计算设备获取用户关于各激发光波长的排列操作，生成对应的激发光波长序列。例如，计算设备响应于用户对各即时激发光波长的排列操作(如用户在可视化界面中输入或者拖动等排列操作等)，生成相应的激发光波长序列，从而满足用户的定制化呈现需求。
在步骤S103中，计算设备基于所述荧光参数序列呈现所述多个三维显微图像。例如，各三维显微图像与对应即时荧光参数之间存在对应关系，根据荧光参数序列中各即时荧光参数信息的排列呈现对应的三维显微图像信息等，如按照升序或者降序的激发光波长等依次呈现对应的三维显微图像。如在一些实施方式中，所述步骤S103包括子步骤S1031(未示出)和子步骤S1032(未示出)，在步骤S1031中，计算设备基于所述激发光波长序列生成关于所述多个三维显微图像的相应图像序列；在步骤S1032，计算设备基于所述图像序列呈现所述多个三维显微图像。如在一些实施方式中，在步骤S1031中，计算设备根据所述即时激发光波长与相应显微图像的对应关系，生成所述激发光序列相应的图像序列。在一些实施方式中，在步骤S1032中，计算设备基于所述图像序列及对应的呈现时间间隔，呈现所述多个三维显微图像。例如，计算设备首先根据各即时激发光波长随着时间变化而将试样的三维显微图像进行排列，获得关于时间的图像序列，再基于该图像序列按照一定时间呈现各三维显微图像，以便后续重复展现试样的图像随时间变化，其中，该时间播放轴的时间变化与对应激发光波长序列中各即时激发光波长变化相对应。
在一些实施方式中，所述方法还包括步骤S104(未示出)，在步骤S104中，计算设备获取对应用户关于所述多个三维显微图像中部分或者全部三维显微图像的调控操作，生成对应的调控指令；其中，在步骤S103中，计算设备基于所述激发光波长序列呈现所述多个三维显微图像，并在呈现所述多个三维显微图像过程中执行所述调控指令。例如，所述计算设备可以根据用户需求对呈现的多个三维显微图像中部分或者全部三维显微图像进行调控操作，调控操作包括但不限于对该多个三维显微图像生成的三维显微视频的播放模式、播放速度、试样的呈现姿态信息或者其他参数的调整等，对应的调控指令包括大不限于对三维显微视频信息的播放模式、播放速度、试样的呈现姿态信息以及其他参数的调整指令信息等。计算设备还包括输入装置，用于采集用户设备的输入信息，如触控板、键盘或者鼠标、触摸屏等输入装置，计算设备可以采集用户的触控、点击或者滚动滑轮等调控操作，生成对应的调控指令。
在一些实施方式中，所述调控指令包括所述多个三维显微图像中部分或全部三维显微图像中所述试样的呈现姿态信息。例如，所述试样的呈现姿态信息包括在各三维显微图像对应三维坐标系中试样的中心轴与三轴的夹角的单位向量等，所述调控操作可以用于调控该多个三维显微图像中部分或者全部三维显微图像中所述试样的呈现姿态信息，如保持三维显微图像中所述试样的呈现姿态信息相同(如均以正视图呈现等)，或者所述试样的呈现姿态信息沿预设规律排列，如从当前视角(如正视图)滚动至另一视角(如俯视图等)，并在滚动的过程中呈现所述部分或者全部三维显微图像等。在一些实施方式中，所述部分或全部三维显微图像中所述试样的呈现姿态信息相同。在另一些实施方式中，所述部分或全部三维显微图像中所述试样的呈现姿态信息沿预设规律排列。
当然，本领域技术人员应能理解上述调控操作仅为举例，其他现有的或今后可能出现的调控操作如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，在步骤S101中，计算设备向对应显微设备发送关于试样的采集指令，其中，所述采集指令用于控制所述显微设备调节当前即时激发光波长并采集试样的多个子区域的显微子图像；接收所述显微设备发送的关于所述试样的多个子区域的显微子图像，基于各子区域的显微子图像拼合成关于试样的多个三维显微图像，其中，每个三维显微图像中包含的显微子图像被采集时的即时激发光波长相同。例如，计算设备与对应显微设备建立通信连接，通过该通信连接向显微设备发送对应采集指令，该采集指令用于向显微设备请求当前荧光参数信息对应的采集图像数据，在一些实施方式中，该采集图像数据包括试样的一个或多个子区域对应的显微子图像等。
在一些实施方式中，所述三维显微图像中至少一个三维显微图像存在多个显示区域，每个显示区域对应一个激发光波长，所述至少一个三维显微图像对应的即时激发光波长包括所述多个显示区域对应的激发光波长的综合激发光波长。例如，所述试样的采集区域包括多个子区域，该多个子区域为试样完整可采集区域的全部或者部分等，所述计算设备控制显微设备每次采集该所各子区域中至少一个子区域，从而获取每个子区域对应的显微子图像，基于每次采集时激发光波长的差异，每次采集的子区域的显微子图像对应的激发光波长也不相同，从而获取的显微图像中包含多个图像区域，每个图像区域包含至少一个子区域，每个图像区域的激发光波长不完全相同等。如计算设备在向显微设备发送图像获取指令的同时，该图像获取指令包含此次采集图像对应的采集区域，该采集区域包含所述多个子区域中至少一个子区域等，显微设备基于该图像获取指令，将物镜移动至对应采集区域，基于当前荧光参数信息获取对应的显微子图像。根据每次采集的显微图像序列生成各个子区域的图像，如根据多个显微子图像通过景深融合、直接优选或者基于像素的三维坐标确定对应的子区域的图像，其中，每个子区域的显微子图像存在一个当前激发光波长与之对应；随后，网络设备基于多个子区域的显微子图像拼合得到试样的采集区域的显微图像，如通过图像拼接技术等。
在一些实施方式中，在步骤S101中，计算设备向对应其他设备发送关于所述试样的显微图像请求，以获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时激发光波长，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成。例如，所述计算设备与其他设备建立通信连接，该其他设备包括但不限于其他用户设备或者网络设备等，对应多个三维显微图像存储于其他设备，计算设备通过向对应设备发送试样的标识信息(如试样的名称、唯一编码等)，以网络设备为例，网络设备存储有多个三维显微图像，将各三维显微图像与试样的标识信息关联起来，如试样的名称、唯一编码等，方便后续用户通过网络设备对应应用获取相关显微图像。
图2示出了根据本申请一个方面的一种用于呈现三维显微图像计算设备100，该设备包括一一模块101、一二模块102以及一三模块103。一一模块101，用于获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成；一二模块102，用于根据各即时荧光参数信息生成对应的荧光参数序列；一三模块103，用于基于所述荧光参数序列呈现所述多个三维显微图像。在此，所述图2示出的所述一一模块101、一二模块102以及一三模块103对应的具体实施方式与前述图1示出所述步骤S101、步骤S102以及步骤S103的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一四模块(未示出)，用于获取对应用户关于所述多个三维显微图像中部分或者全部三维显微图像的调控操作，生成对应的调控指令；其中，一三模块103，用于基于所述激发光波长序列呈现所述多个三维显微图像，并在呈现所述多个三维显微图像过程中执行所述调控指令。在一些实施方式中，所述调控指令包括所述多个三维显微图像中部分或全部三维显微图像中所述试样的呈现姿态信息。在此，所述一四模块对应的具体实施方式与前述步骤S104的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图3所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (17)
1.一种用于呈现三维显微图像的方法，其中，该方法包括：
获取关于试样的多个三维显微图像，其中，所述试样的采集区域包括多个子区域，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成，所述显微子图像信息包括所述试样的各个子区域在所述即时荧光参数信息下通过显微摄像装置获取的三维显微子图像信息；
根据各即时荧光参数信息生成对应的荧光参数序列；
基于所述荧光参数序列呈现所述多个三维显微图像；
获取对应用户关于所述多个三维显微图像中部分或全部三维显微图像的调控操作，生成对应的调控指令；
其中，所述基于所述荧光参数序列呈现所述多个三维显微图像，包括：
基于所述激发光波长序列呈现所述多个三维显微图像，并在呈现所述多个三维显微图像过程中执行所述调控指令，其中，所述调控指令包括所述多个三维显微图像中部分或全部三维显微图像中所述试样的呈现姿态信息，所述呈现姿态信息用于指示各三维显微图像对应三维坐标系中所述试样的中心轴与三轴夹角的单位向量。
2.根据权利要求1所述的方法，其中，所述即时荧光参数信息包括以下至少任一项：
所述试样被采集时的即时荧光染料；
所述试样被采集时的即时激发光波长；
所述试样被采集时的即时发射光波长。
3.根据权利要求2所述的方法，其中，所述即时荧光参数信息包括所述试样被采集时的即时发射光波长，所述荧光参数序列包括对应的发射光波长序列；其中，所述基于所述荧光参数序列呈现所述多个三维显微图像，包括：
基于所述发射光波长序列呈现所述多个三维显微图像。
4.根据权利要求2所述的方法，其中，所述即时荧光参数信息包括所述试样被采集时的即时激发光波长，所述荧光参数序列包括对应的激发光波长序列；其中，所述基于所述荧光参数序列呈现所述多个三维显微图像，包括：
基于所述激发光波长序列呈现所述多个三维显微图像。
5.根据权利要求4所述的方法，其中，所述基于所述荧光参数序列呈现所述多个三维显微图像，包括：
基于所述激发光波长序列生成关于所述多个三维显微图像的相应图像序列；
基于所述图像序列呈现所述多个三维显微图像。
6.根据权利要求4所述的方法，其中，所述基于所述激发光波长序列生成关于所述多个三维显微图像的相应图像序列，包括：
根据所述即时激发光波长与相应三维显微图像的对应关系，生成所述激发光序列相应的图像序列。
7.根据权利要求5所述的方法，其中，所述基于所述图像序列呈现所述多个三维显微图像，包括：
基于所述图像序列及对应的呈现时间间隔，呈现所述多个三维显微图像。
8.根据权利要求4所述的方法，其中，所述根据各即时荧光参数信息生成对应的荧光参数序列，还包括：
将各即时激发光波长按照预设顺序进行排列，以生成对应的激发光波长序列。
9.根据权利要求4所述的方法，其中，所述根据各即时荧光参数信息生成对应的荧光参数序列，包括：
获取用户关于各激发光波长的排列操作，生成对应的激发光波长序列。
10.根据权利要求1所述的方法，其中，所述部分或全部三维显微图像中所述试样的呈现姿态信息相同。
11.根据权利要求1所述的方法，其中，所述部分或全部三维显微图像中所述试样的呈现姿态信息沿预设规律排列。
12.根据权利要求4所述的方法，其中，所述获取关于试样的多个三维显微图像，包括：
向对应显微设备发送关于试样的采集指令，其中，所述采集指令用于控制所述显微设备调节当前即时激发光波长并采集关于试样的多个子区域的显微子图像；
接收所述显微设备发送的关于所述试样的多个子区域的显微子图像，基于各子区域的显微子图像拼合成关于试样的多个三维显微图像，其中，每个三维显微图像中包含的显微子图像被采集时的即时激发光波长相同。
13.根据权利要求4至12中任一项所述的方法，其中，所述三维显微图像中至少一个三维显微图像存在多个显示区域，每个显示区域对应一个激发光波长，所述至少一个三维显微图像对应的即时激发光波长包括所述多个显示区域对应的激发光波长的综合激发光波长。
14.根据权利要求1所述的方法，其中，所述获取关于试样的多个三维显微图像，包括：
向对应其他设备发送关于所述试样的显微图像请求，以获取关于试样的多个三维显微图像，其中，每个三维显微图像分别对应该显微图像被采集时的即时激发光波长，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成。
15.一种用于呈现三维显微图像的设备，其中，该设备包括：
一一模块，用于获取关于试样的多个三维显微图像，其中，所述试样的采集区域包括多个子区域，每个三维显微图像分别对应该显微图像被采集时的即时荧光参数信息，每个三维显微图像信息均由所述试样的多个子区域对应的显微子图像信息拼合而成，所述显微子图像信息包括所述试样的各个子区域在所述即时荧光参数信息下通过显微摄像装置获取的三维显微子图像信息；
一二模块，用于根据各即时荧光参数信息生成对应的荧光参数序列；
一三模块，用于基于所述荧光参数序列呈现所述多个三维显微图像；
获取对应用户关于所述多个三维显微图像中部分或全部三维显微图像的调控操作，生成对应的调控指令；
其中，所述基于所述荧光参数序列呈现所述多个三维显微图像，包括：
基于所述激发光波长序列呈现所述多个三维显微图像，并在呈现所述多个三维显微图像过程中执行所述调控指令，其中，所述调控指令包括所述多个三维显微图像中部分或全部三维显微图像中所述试样的呈现姿态信息，所述呈现姿态信息用于指示各三维显微图像对应三维坐标系中所述试样的中心轴与三轴夹角的单位向量。
16.一种用于呈现三维显微图像的设备，其中，该设备包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器如权利要求1至14中任一项所述方法的操作。
17.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至14中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716357.XA CN113470167B (zh) | 2021-06-28 | 2021-06-28 | 一种用于呈现三维显微图像的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716357.XA CN113470167B (zh) | 2021-06-28 | 2021-06-28 | 一种用于呈现三维显微图像的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470167A CN113470167A (zh) | 2021-10-01 |
| CN113470167B true CN113470167B (zh) | 2024-04-19 |
Family
ID=77873160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110716357.XA Active CN113470167B (zh) | 2021-06-28 | 2021-06-28 | 一种用于呈现三维显微图像的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470167B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724419B1 (en) * | 1999-08-13 | 2004-04-20 | Universal Imaging Corporation | System and method for acquiring images at maximum acquisition rate while asynchronously sequencing microscope devices |
| JP2006173020A (ja) * | 2004-12-17 | 2006-06-29 | Keyence Corp | 試料表示装置、試料表示装置の操作方法、試料表示装置操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| WO2013005765A1 (ja) * | 2011-07-04 | 2013-01-10 | 株式会社ニコン | 顕微鏡装置 |
| KR20150035035A (ko) * | 2013-09-27 | 2015-04-06 | 삼성전자주식회사 | 다초점 레이저 스캐닝 현미경 시스템 |
| WO2018012080A1 (ja) * | 2016-07-12 | 2018-01-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム |
| CN112415733A (zh) * | 2020-12-11 | 2021-02-26 | 平湖莱顿光学仪器制造有限公司 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2738786A1 (en) * | 2012-11-29 | 2014-06-04 | Fei Company | Method of performing tomographic imaging of a sample in a charged-particle microscope |
-
2021
- 2021-06-28 CN CN202110716357.XA patent/CN113470167B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724419B1 (en) * | 1999-08-13 | 2004-04-20 | Universal Imaging Corporation | System and method for acquiring images at maximum acquisition rate while asynchronously sequencing microscope devices |
| JP2006173020A (ja) * | 2004-12-17 | 2006-06-29 | Keyence Corp | 試料表示装置、試料表示装置の操作方法、試料表示装置操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| WO2013005765A1 (ja) * | 2011-07-04 | 2013-01-10 | 株式会社ニコン | 顕微鏡装置 |
| KR20150035035A (ko) * | 2013-09-27 | 2015-04-06 | 삼성전자주식회사 | 다초점 레이저 스캐닝 현미경 시스템 |
| WO2018012080A1 (ja) * | 2016-07-12 | 2018-01-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム |
| CN112415733A (zh) * | 2020-12-11 | 2021-02-26 | 平湖莱顿光学仪器制造有限公司 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470167A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2524836C2 (ru) | Информационный процессор, способ обработки и программа | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| CN108694700A (zh) | 用于深度学习图像超分辨率的系统和方法 | |
| KR20220012214A (ko) | 디지털 병리학을 위한 인공 지능 처리 시스템 및 자동화된 사전-진단 워크플로우 | |
| JP2016511845A (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
| CN109656363B (zh) | 一种用于设置增强交互内容的方法与设备 | |
| CN113470167B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
| CN115511866B (zh) | 用于多维数据的图像分析的系统和方法 | |
| Haleem et al. | Holography and its applications for industry 4.0: An overview | |
| JP2018141695A (ja) | 細胞観察システム | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| CN109669541B (zh) | 一种用于配置增强现实内容的方法与设备 | |
| CN113395485B (zh) | 一种用于获取目标显微图像的方法与设备 | |
| CN113470185B (zh) | 一种呈现三维显微图像的方法与设备 | |
| CN113469864B (zh) | 一种用于获取显微图像的方法与设备 | |
| CN113470166B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
| CN113469865B (zh) | 一种获取显微图像的方法与设备 | |
| CN113392675B (zh) | 一种呈现显微视频信息的方法与设备 | |
| CN104050611A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN113393407B (zh) | 一种获取试样的显微图像信息的方法与设备 | |
| CN113392267B (zh) | 一种用于生成目标对象的二维显微视频信息的方法与设备 | |
| CN113395483B (zh) | 一种用于呈现多个显微子视频信息的方法与设备 | |
| CN113395509B (zh) | 提供及呈现目标对象的三维显微视频信息的方法与设备 | |
| CN113469863B (zh) | 一种用于获取显微图像的方法与设备 | |
| CN113395484A (zh) | 一种呈现目标对象的显微子视频信息的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |