CN111479053B - 扫描光场多色显微成像的软件控制系统及方法 - Google Patents

扫描光场多色显微成像的软件控制系统及方法 Download PDF

Info

Publication number
CN111479053B
CN111479053B CN202010216034.XA CN202010216034A CN111479053B CN 111479053 B CN111479053 B CN 111479053B CN 202010216034 A CN202010216034 A CN 202010216034A CN 111479053 B CN111479053 B CN 111479053B
Authority
CN
China
Prior art keywords
image
camera
light field
pixel
rearrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010216034.XA
Other languages
English (en)
Other versions
CN111479053A (zh
Inventor
戴琼海
朱天奕
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010216034.XA priority Critical patent/CN111479053B/zh
Publication of CN111479053A publication Critical patent/CN111479053A/zh
Application granted granted Critical
Publication of CN111479053B publication Critical patent/CN111479053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种扫描光场多色显微成像的软件控制系统及方法，其中，系统包括：相机控制模块，根据控制相机的内参数，并且对对相机采集的开关控制；存储控制模块，存储异步的相机的生物样本的光场图片；像素重排模块，对采集的图像进行相应的像素重排，得到生物样本的粗糙成像结果；多通道控制模块，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果；硬件板卡控制模块，将控制信号传给硬件板卡，以进行同步控制。本发明实施例的系统能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示。

Description

扫描光场多色显微成像的软件控制系统及方法
技术领域
本发明涉及计算机摄像技术领域，特别涉及一种扫描光场多色显微成像的软件控制系统及方法。
背景技术
近年来，显微科学已经得到了长足的发展，从最初的简单显微镜到现在的电子显微镜，无不是在提高显微镜的分辨率方向做出了很大的努力。为了更清晰的观察到生物样本，科学家最为关注的四个维度上的分辨率(横向分辨率(X方向与Y方向)、轴向分辨率(Z方向)与时间分辨率(t))也在科技的发展中不断地提高。然而，受限于现有的成像设备与光学上不可避免的相差、衍射等因素的影响，单一的成像方法难以顾全上述四个维度的样本分辨率，借助其他计算成像手段来进行生物样本的观察已经成为了现在势必要挑战的课题。
相关技术中，光场成像为近年来十分热门的话题，通过搜集空间中光线的角度信息，光场成像能非常完整的恢复出一个系统的三维信息。这对于场景重聚焦、场景重建与深度估计都有着不可估量的帮助。光场最初被用在宏观场景的重建与重聚焦领域，然而通过适当的光学系统设计，光场也可以很容易的被用在显微领域上，通过光场系统的采集，则能更加显著的提升样本的轴向分辨率，同时构建出生物样本的三维模型。为了进一步提升样本的横向分辨率，一种基于亚扫描的光场系统被提了出来，通过进行样本的亚像素扫描来保证光场的轴向分辨率的同时，能够有效地提升横向分辨率。
然而，上述此类系统由于引入了扫描与光场的微透镜阵列，简单的相机软件无法完成此类复杂系统的控制与显示，需要额外设计控制流程与显示流程进行相应的操作。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种扫描光场多色显微成像的软件控制系统，该系统能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示。
本发明的另一个目的在于提出一种扫描光场多色显微成像的软件控制方法。
为达到上述目的，本发明一方面实施例提出了一种扫描光场多色显微成像的软件控制系统，包括：相机控制模块，用于根据接入相机的SDK(software development kit，软件开发包)控制相机的内参数，并且对对相机采集的开关控制；存储控制模块，用于通过多线程的存储线程流程存储异步的相机的生物样本的光场图片；像素重排模块，用于在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果；多通道控制模块，用于在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果；硬件板卡控制模块，用于通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
本发明实施例的扫描光场多色显微成像的软件控制系统，通过集成现有的所有操作流程，同时实现了多色的实时像素重排，大大降低了扫描光场系统的操作复杂度，简化了控制流程，加速了生物试验的实验过程，并且能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示。
另外，根据本发明上述实施例的扫描光场多色显微成像的软件控制系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：图像反馈模块，用于将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
进一步地，在本发明的一个实施例中，所述多通道控制模块具体用于采用基于GPU((Graphics Processing Unit，图形处理器)的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
进一步地，在本发明的一个实施例中，所述像素重排模块具体用于读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将所述重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域。
可选地，在本发明的一个实施例中，所述内参数可以包括曝光时间、图像大小和触发模式。
为达到上述目的，本发明另一方面实施例提出了一种扫描光场多色显微成像的软件控制方法，包括以下步骤：根据接入相机的SDK控制相机的内参数，并且对对相机采集的开关控制；通过多线程的存储线程流程存储异步的相机的生物样本的光场图片；在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果；在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果；通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
本发明实施例的扫描光场多色显微成像的软件控制方法，通过集成现有的所有操作流程，同时实现了多色的实时像素重排，大大降低了扫描光场系统的操作复杂度，简化了控制流程，加速了生物试验的实验过程，并且能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示。
另外，根据本发明上述实施例的扫描光场多色显微成像的软件控制方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
进一步地，在本发明的一个实施例中，所述在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，包括：采用基于GPU的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
进一步地，在本发明的一个实施例中，所述在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果，包括：读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将所述重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域。
可选地，在本发明的一个实施例中，所述内参数可以包括曝光时间、图像大小和触发模式。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的扫描光场多色显微成像的软件控制系统的方框示意图；
图2为根据本发明一个实施例的扫描光场多色显微成像的软件控制系统的原理示意图；
图3为根据本发明一个实施例的扫描光场多色显微成像的软件控制系统的软件示意图；
图4为根据本发明一个实施例的多色扫描光场显微系统示意图；
图5为根据本发明一个实施例的多色像素重排示意图；
图6为根据本发明一个实施例的多色像素重排实际样品示意图；
图7为根据本发明实施例的扫描光场多色显微成像的软件控制方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的扫描光场多色显微成像的软件控制系统及方法，首先将参照附图描述根据本发明实施例提出的扫描光场多色显微成像的软件控制系统。
图1是本发明实施例的扫描光场多色显微成像的软件控制系统的方框示意图。
如图1所示，该扫描光场多色显微成像的软件控制系统包括：相机控制模块100、存储控制模块200、像素重排模块300、多通道控制模块400和硬件板卡控制模块500。
其中，相机控制模块100，用于根据接入相机的SDK控制相机的内参数，并且对对相机采集的开关控制。
可选地，在本发明的一个实施例中，内参数可以包括曝光时间、图像大小和触发模式。
可以理解的是，相机控制模块100的主要用途为控制参与拍摄的sCMOS相机。相机控制模块100通过接入相机的SDK实现sCMOS相机的曝光时间、图像大小、触发模式等相关的内参数的控制，同时实现对相机采集的开关控制。为了采集到符合要求的生物样本样片，通常要求对不同的样本采用不同的采集模式，因此该模块主要配合生物试验完成相机相应的设置。
具体而言，如图2所示，对于相机参数的选择，在拍摄不同的生物样本时，常常需要不同的相机参数以符合不同样本的特种拍摄需求。例如，在拍摄斑马鱼的神经活动时，常常需要小视角的高速拍摄，此时采用较小的相机ROI(兴趣区域)和较低的曝光时间，配合高帧率拍摄任务；当拍摄肿瘤迁移等现象时，常常通过设定较大的ROI(region of interest，感兴趣区域)和较长的曝光时间，进行低帧率、长时间的观测。相机的参数调整通过后台相机线程与相机的SDK交互完成，通常在实验开始前需要先调好一组预设的参数或加载已有的参数。相机可选的参数在图3“相机控制”框内，可选的参数包括相机ROI大小、触发模式、曝光时间、显示高地值等参数，同时也会得到来自相机SDK的反馈参数，包括当前状态下的最高帧率、相机感光元件当前的温度等。
存储控制模块200，用于通过多线程的存储线程流程存储异步的相机的生物样本的光场图片。
可以理解的是，为了存出相应的生物样本光场图片，存储控制模块200通过一个多线程的存储线程流程，实现了异步的相机图像保存功能。通过设立一个图像存储队列，由相机线程维护队列的写入，由存储线程实现队列的读出，实现一个异步的相机图像存储的基本流程，进而保证整个拍摄过程不受到存储控制流程的干扰。存储控制模块可指定存储的路径，存储的内容多少等。
像素重排模块300，用于在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到生物样本的粗糙成像结果。
可以理解的是，在相位平面进行光场摄影时，由于得到的图像为光场图像(由多个圆形孔状组成)，进行对焦和调整等工作则变为非常困难。因此需要进行像素重排，像素重排模块300通过制定重排的大小和相应的参数，可将实时采集到的图像进行相应的像素重排，进而实现生物样本的粗糙成像，重排过的像素不再具有圆孔特性，方便进行样本的对焦和调整等相应操作。
进一步地，在本发明的一个实施例中，像素重排模块300具体用于读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域。
具体而言，如图2所示，针对于重排参数的选择。实时的像素重排功能是本发明实施例的系统10的核心功能，因此重排的参数也是拍摄前很重要的一环。具体来说，如图3“像素重排控制”框所示，拍摄前需要指定重排的横向扫描数量[图中为k＝3]，重排的像素数(横轴[图中为155]和纵轴[图中为155])和每个重排的微透镜所对应的像素数[图中为13]，还需要指定重排时整个系统的图像偏移量(startX，startY)，和观察样本时所查看的视角方位[图中为(6，6)]。
重排算法基于一个cuda编写的GPU程序异步进行，具体来说，整个实时像素重排过程包含以下几个小步骤：
a)读取相应的扫描参数，获得横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间。
b)获得系统所拍摄的当前帧光场图(如图5左侧所示)，根据扫描参数和当前帧号，得到相应的重排具体参数。
c)根据系统的图像偏移量与重排的像素数，进行图像预处理与裁剪，将得到的光场图进行重排对齐。
d)将裁剪好的图像从内存上传至显存，准备进行GPU并行重排。
e)由于重排过程是逐像素的操作，根据图5，进行光场图像的逐像素GPU并行重排，值得一提的是，由于GPU本身的高并发特性，只有采用GPU的像素重排能保证高帧率的实时重排。重排的过程大致如下述公式所述：
S(x1,x2,u1,u2)＝I(nx1,mx2)，
其中S为重排后的多视角图像，I为重排前的光场图像。
f)将重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到特定的颜色通道上。
g)根据用户选择的显示视角参数(ViewX，ViewY)，将所选择的视角信息刷新到显示器的显示区域(图3的实时内容显示区)，一个常见的多色重排结果如图6右侧所示。
多通道控制模块400，用于在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果。
可以理解的是，在进行生物样本的采集时，常常会选用具有多个颜色通道的样本进行采集，因此程序需要具备显示多个通道能力的功能。此处使用的多通道控制模块400，通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，进而同时进行多个通道的图像像素重排，实现图像预览的效果。
进一步地，在本发明的一个实施例中，多通道控制模块400具体用于采用基于GPU的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
举例而言，如图4所示，本软件的配套硬件系统支持最多4个颜色通道的激光输入，多个颜色的激光通过交替切换扫描的方式对样本进行交替的扫描，为了合理地显示多个颜色的显示效果，需要在开始拍摄前进行相对应的颜色映射设定。颜射映射的设定可参考图3中左上角多色多通道控制框，具体来说，在拍摄双色样本时，可将第一个激光的颜色映射到红色，第二个激光的颜色映射到绿色，这样，在一个三色显示器上即可同时显示出两个通道的不同内容，方便实验人员进行观察和样本的选择。图3的实时显示内容区展示了一个双色样本的实时显示状态。
具体而言，多色的颜色映射采用了基于GPU的材质映射的方式进行，当收到每一帧不同颜色的视角图(视角图基于像素重排光场图生成，详见图5与图5，第4点)时，基于cuda的GPU程序将不同的颜色根据已有的映射表分别刷新到显示器的不同颜色分量上，实现不同颜色的快速混叠显示。
硬件板卡控制模块500，用于通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
可以理解的是，在扫描光场系统中，扫描用的振镜、多通道使用的激发激光、相机的外触发输入、位移台的高度操作需要由一个硬件板卡统一调控进行。为了给硬件板卡发送适当的控制信号，硬件板卡控制模块500通过集成硬件版卡的相应参数，简便的将控制信号传给硬件板卡，间接的实现上述硬件的同步控制，进而配合整个系统的采集工作的顺利进行。
具体而言，如图2所示，针对于硬件板卡参数的选择，如图3的硬件板卡控制框所述的内容，本软件集成了硬件控制板卡的各项参数。硬件板卡(外置)支持同步触发相机与不同颜色的激光、上下位移台等硬件，保证采集的正常进行。硬件板卡的参数包括两个触发通道、电压偏移量、扫描选项与扫描大小、位移台控制、相机频率控制、激光延迟控制、激光曝光时间、拍摄间隔等待时间、激光开关、旋转角控制等一系列参数，只有该硬件控制板卡配合相应的硬件与软件才能保证整个控制系统的正常运行。
进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：图像反馈模块。图像反馈模块，用于将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
可以理解的是，图像反馈模块通过结合使用者的光标等位置信息，将光标所指向像素的像素值反馈给用户，实时得到图像的强度值，进而提示用户如何修改相关参数。
综上，重排完成后，用户可以打开相机进行相应的拍摄和样本的对焦等工作，根据参数和样本的不同，用户可根据基于光标的反馈区域的引导(如图3-实时反馈方框所示)，反馈调节上述四类参数，直到得到一个合适的拍摄视角。用户随后可根据不同的样本选择不同的存储参数(图3-存储控制框)来设定当前实验的保存文件名、保存的时间长短等参数进行相应的数据采集拍摄工作。
根据本发明实施例的扫描光场多色显微成像的软件控制系统，通过集成现有的所有操作流程，同时实现了多色的实时像素重排，大大降低了扫描光场系统的操作复杂度，简化了控制流程，加速了生物试验的实验过程，并且能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示，并快速的对当前系统的各个控制参量给予反馈。
其次参照附图描述根据本发明实施例提出的扫描光场多色显微成像的软件控制方法。
图7为根据本发明实施例的扫描光场多色显微成像的软件控制方法的流程图。
如图7所示，该扫描光场多色显微成像的软件控制方法包括以下步骤：
步骤S701：根据接入相机的SDK控制相机的内参数，并且对对相机采集的开关控制。
步骤S702：通过多线程的存储线程流程存储异步的相机的生物样本的光场图片。
步骤S703：在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到生物样本的粗糙成像结果。
步骤S704：在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果。
步骤S705：通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
进一步地，在本发明的一个实施例中，还包括：将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
进一步地，在本发明的一个实施例中，在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，包括：采用基于GPU的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
进一步地，在本发明的一个实施例中，在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到生物样本的粗糙成像结果，包括：读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域。
可选地，在本发明的一个实施例中，内参数可以包括曝光时间、图像大小和触发模式。
需要说明的是，前述对扫描光场多色显微成像的软件控制系统实施例的解释说明也适用于该实施例的扫描光场多色显微成像的软件控制方法，此处不再赘述。
根据本发明实施例的扫描光场多色显微成像的软件控制方法，通过集成现有的所有操作流程，同时实现了多色的实时像素重排，大大降低了扫描光场系统的操作复杂度，简化了控制流程，加速了生物试验的实验过程，并且能够实时的预览当前光场相机所拍摄到的多视角结果，同时将系统的多色结果进行合并显示，并快速的对当前系统的各个控制参量给予反馈。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种扫描光场多色显微成像的软件控制系统，其特征在于，包括：
相机控制模块，用于根据接入相机的SDK控制相机的内参数，并且对对相机采集的开关控制；
存储控制模块，用于通过多线程的存储线程流程存储异步的相机的生物样本的光场图片；
像素重排模块，用于在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果；所述像素重排模块具体用于读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将所述重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域；
多通道控制模块，用于在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果；以及
硬件板卡控制模块，用于通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
2.根据权利要求1所述的系统，其特征在于，还包括：
图像反馈模块，用于将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
3.根据权利要求1所述的系统，其特征在于，所述多通道控制模块具体用于采用基于GPU的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
4.根据权利要求1所述的系统，其特征在于，所述内参数包括曝光时间、图像大小和触发模式。
5.一种扫描光场多色显微成像的软件控制方法，其特征在于，包括以下步骤：
根据接入相机的SDK控制相机的内参数，并且对对相机采集的开关控制；
通过多线程的存储线程流程存储异步的相机的生物样本的光场图片；
在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果；所述在相位平面进行光场摄影时，通过制定重排的大小和相应的参数对采集的图像进行相应的像素重排，得到所述生物样本的粗糙成像结果，包括：读取相应的扫描参数，且获取横向扫描的顺序表及相应的配置文件，在显存中开辟临时使用的图像空间；获得系统所拍摄的当前帧光场图，且根据扫描参数和当前帧号得到相应的重排具体参数；根据系统的图像偏移量与重排的像素数进行图像预处理与裁剪，且将得到的光场图进行重排对齐；将裁剪好的图像从内存上传至显存；通过重排过程进行逐像素的操作，得到重排好的多视角图像；将所述重排好的多视角图像下载回内存，根据当前的颜色选择，刷新到对应的颜色通道上；根据用户选择的显示视角参数，将所选择的视角信息刷新到显示器的显示区域；在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，以同时进行多个通道的图像像素重排，得到图像预览的效果；以及
通过集成硬件版卡的相应参数将控制信号传给硬件板卡，以进行同步控制。
6.根据权利要求5所述的方法，其特征在于，还包括：
将光标所指向像素的像素值反馈给用户，得到图像的当前强度值，以生成参数修改提示。
7.根据权利要求5所述的方法，其特征在于，所述在进行生物样本的采集，且通过将相机得到的图像进行多通道拆分后，将不同的通道送入不同的显示器显示通道，包括：
采用基于GPU的材质映射的方式，以当收到每一帧不同颜色的视角图时，将不同的颜色根据预设的映射表分别刷新到显示器的不同颜色分量上。
8.根据权利要求5所述的方法，其特征在于，所述内参数包括曝光时间、图像大小和触发模式。
CN202010216034.XA 2020-03-25 2020-03-25 扫描光场多色显微成像的软件控制系统及方法 Active CN111479053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010216034.XA CN111479053B (zh) 2020-03-25 2020-03-25 扫描光场多色显微成像的软件控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010216034.XA CN111479053B (zh) 2020-03-25 2020-03-25 扫描光场多色显微成像的软件控制系统及方法

Publications (2)

Publication Number Publication Date
CN111479053A CN111479053A (zh) 2020-07-31
CN111479053B true CN111479053B (zh) 2021-07-16

Family

ID=71747720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010216034.XA Active CN111479053B (zh) 2020-03-25 2020-03-25 扫描光场多色显微成像的软件控制系统及方法

Country Status (1)

Country Link
CN (1) CN111479053B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853514A (zh) * 2009-04-02 2010-10-06 肖克炎 彩色地质图图像的交互式矢量化方法及其系统
CN102360338A (zh) * 2011-10-18 2012-02-22 中联重科股份有限公司 搅拌站以及用于该搅拌站的数据存储方法、服务器、系统
CN104036535A (zh) * 2014-05-30 2014-09-10 中原智慧城市设计研究院有限公司 二维地理信息系统中的矢量快速拣选方法
CN104427325A (zh) * 2013-09-04 2015-03-18 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统
CN107505324A (zh) * 2017-08-10 2017-12-22 王兴 基于双目协同激光的3d扫描装置及扫描方法
CN110132910A (zh) * 2019-04-01 2019-08-16 中国科学院上海光学精密机械研究所 基于光场多维信息融合显微超分辨成像装置和成像方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
CN106770147B (zh) * 2017-03-15 2019-07-19 北京大学 一种结构光照明超分辨显微成像方法
US10816869B2 (en) * 2018-08-16 2020-10-27 Cheray Co. Ltd. Image display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853514A (zh) * 2009-04-02 2010-10-06 肖克炎 彩色地质图图像的交互式矢量化方法及其系统
CN102360338A (zh) * 2011-10-18 2012-02-22 中联重科股份有限公司 搅拌站以及用于该搅拌站的数据存储方法、服务器、系统
CN104427325A (zh) * 2013-09-04 2015-03-18 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统
CN104036535A (zh) * 2014-05-30 2014-09-10 中原智慧城市设计研究院有限公司 二维地理信息系统中的矢量快速拣选方法
CN107505324A (zh) * 2017-08-10 2017-12-22 王兴 基于双目协同激光的3d扫描装置及扫描方法
CN110132910A (zh) * 2019-04-01 2019-08-16 中国科学院上海光学精密机械研究所 基于光场多维信息融合显微超分辨成像装置和成像方法

Also Published As

Publication number Publication date
CN111479053A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
US10922789B2 (en) Super-resolution lattice light field microscopic imaging system and method
CA1284375C (en) Electronic mosaic imaging process
US10139613B2 (en) Digital microscope and method of sensing an image of a tissue sample
EP1764640A2 (en) Microscope for multipoint time-lapse imaging
DE112013005334T5 (de) Superauflösung auf der Basis von optischer Bildstabilisierung
DE60320169T2 (de) Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
US9380281B2 (en) Image processing apparatus, control method for same, and program
US20040119817A1 (en) Method and apparatus for acquiring digital microscope images
KR20140103171A (ko) 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
EP2804145B1 (en) Microscope system and stitched area decision method
EP2804039B1 (en) Microscope system and method for deciding stitched area
CN101542353A (zh) 图像处理装置、图像处理程序和观察系统
WO2013099150A1 (en) Image data generating apparatus, image data display system, and image data generating method
CN101359150B (zh) 摄像设备及其控制方法
CN104025150A (zh) 图像处理装置、图像显示系统、图像处理方法和图像处理程序
CN104011531A (zh) 图像处理装置、图像显示系统、图像处理方法以及图像处理程序
CN102483324A (zh) 拍摄装置及其控制方法，以及三维信息测量装置
DE102014223858B4 (de) Bildaufnahmevorrichtung und Bildsignalsteuerverfahren
WO2005098508A2 (de) Bildaufnahmesystem, bildwiedergabesystem und bildaufnahme/-wiedergabesystem
CN111479053B (zh) 扫描光场多色显微成像的软件控制系统及方法
CN103544370A (zh) 信息处理装置、信息处理方法和信息处理程序
EP1353211A2 (en) Three-dimensional transmission type microscope system, image display method and image processing apparatus
JP2015094855A (ja) 顕微鏡システム
JP2015198340A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2005266718A (ja) 顕微鏡画像撮影システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant