CN108848302A - 一种显微成像采集、控制与自动处理系统及处理方法 - Google Patents

一种显微成像采集、控制与自动处理系统及处理方法 Download PDF

Info

Publication number
CN108848302A
CN108848302A CN201810510197.1A CN201810510197A CN108848302A CN 108848302 A CN108848302 A CN 108848302A CN 201810510197 A CN201810510197 A CN 201810510197A CN 108848302 A CN108848302 A CN 108848302A
Authority
CN
China
Prior art keywords
image
control
module
imaging
dsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810510197.1A
Other languages
English (en)
Inventor
赵巨峰
华玮平
崔光茫
叶晓杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810510197.1A priority Critical patent/CN108848302A/zh
Publication of CN108848302A publication Critical patent/CN108848302A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种显微成像采集、控制与自动处理系统及处理方法，所述装置包括：图像采集控制电路；光源光照强度控制装置使得光照强度始终自适应的处于设定值；滤光片转换器，使用滤光片以在获取不同波段信息的同时减弱色差对成像影响；长度可调的杂散光控制装置，通过DSP控制遮光筒的长度以符合成像系统的要求；自动对焦装置，通过计算图像清晰度从而自适应的完成对焦；结合物镜参数测量以及梯度约束的显微图像复原；多视场图像复原融合；上位机图像显示与参数控制软件。本装置通过软硬件结合对显微成像进行一体化的自动采集、控制与处理，克服了传统成像过程中成像质量较差、操作繁琐的问题，极大地提高了成像的质量并且降低了操作难度。

Description

一种显微成像采集、控制与自动处理系统及处理方法
技术领域
本发明涉及计算机、电子与光学领域，具体来说，是一种显微成像采集、控制与自动处理系统及处理方法。
背景技术
当今，显微成像在物理、化学、生物等多个领域都有着越来越重要的作用。然而，由于技术发展以及显微成像系统本身物理特性的限制，所得到的显微图像不可避免的存在一定的噪声与退化。毫无疑问，对显微图像进行复原与增强是一种可以有效提高图像质量的方法。
目前，在光学成像领域，基于对整个成像链路的研究，已经有了一定的研究并提出了一套被广泛接受的图像退化模型。该模型基于点扩散函数以及加性噪声来表征图像退化的整个模型，具体数学模型如下：
Y＝hX+n
其中，Y为被观察的图像，X为原始图像，h为点扩散函数对应的模糊矩阵，n为加性噪声。
基于这个模型，研究对于图像的复原是十分有必要的。对于显微成像系统来说，主要需要解决的问题包括：(1)如何有效的从拍摄到的图像中复原出所需要的原始图像(2)复原过程通常是在计算机上实现的，不便于进行实时处理与观察(3)复原后的图像也会存在
有噪声、对比度较差、亮度较低等问题(4)在显微成像过程中，如
何解决由于光源、对焦等硬件问题导致成像质量较差的问题。
发明内容
本发明针对现有技术的不足，提出了一种显微成像采集、控制与自动处理系统及处理方法。
一种显微成像采集、控制与自动处理系统，包括物镜参数采集模块、图像显示与参数控制模块、显微图像复原与增强模块、DSP芯片控制处理模块、图像采集模块、光照控制模块、自动对焦模块、长度可调的杂散光控制装置、滤光片转换器、光源光照强度控制装置；
所述的物镜参数采集模块和图像采集模块的信号输出端与DSP芯片控制处理模块信号输入端连接，DSP芯片控制处理模块的信号输出端分别与图像显示与参数控制模块、显微图像复原与增强模块、光照控制模块、自动对焦模块的信号输入端连接，光照控制模块的信号输出端分别与长度可调的杂散光控制装置、滤光片转换器、光源光照强度控制装置的信号输入端连接。
一种显微成像采集、控制与自动处理系统的处理方法，该方法具体包括以下步骤：
步骤一：在物镜参数采集模块中预先使用调制传递函数测试仪测量成像系统在子午面以及弧矢面上在不同视场处的MTF；基于MTF函数和点扩散函数相互之间的频域-空间域变换关系计算出各个视场相对应的点扩散函数；
步骤二：在图像采集模块中使用CCD传感器阵列先通过I2C总线将视频流置于FIFO中存储，而后在FIFO中的视频流再通过I2C总线将每一帧的图像逐帧传入DSP中；
步骤三：通过图像采集模块中的光照强度传感器实时采集光源在经过样本后的光照强度并通过串口将数据传输至DSP；
步骤四：在DSP中预先设定光照强度值，与从光照强度传感器的数据进行对比，通过串口再对光源进行负反馈控制以保证光照强度始终处于所设定的值；
步骤五：通过转动滤光片转换器选择滤光片采集所需要波段的信息并减弱成像过程中色差对图像质量的影响；
步骤六：在长度可调的杂散光控制装置中预先设置默认镜筒位置；
步骤七：在自动对焦模块中基于CCD采集到的图像并结合人眼视觉系统；即：
IHVS＝|Io*Ghigh-Io*Glow|
其中，IHVS为HVS感兴趣区域的图像，Io为原始图像，Ghigh和Glow分别为两个截止频率不同的高斯滤波器，*为卷积符号；
在此基础上，使用拉普拉斯算子对IHVS进行计算，并将计算后结果图像求和：
IR＝IHVS*ΔL
其中IR为计算后结果，ΔL为拉普拉斯算子，Sum为最终求和结果，m为图像行数，(i,j)表示图像中像素坐标；n为图像列数；
在DSP中通过控制物镜与样本间距离来获得不同的图像并计算各幅图像的结果，通过负反馈调节控制控制物镜与样本间距离使计算结果处于最小值从而保证镜头处于最佳对焦位置；
步骤八：在显微图像复原与增强模块中采用基于DSP的图像复原及增强方法对采集到的显微图像进行复原以及增强；
基于广泛被接受的图像退化模型：
Y＝hX+n
其中，Y为被观察的图像，X为原始图像，h为点扩散函数对应的模糊矩阵，n为加性噪声；构建一个用于求解原始图像X的正则化函数E：
E＝||Y-hX||2+λJ(X)
其中λ为正则化因子，J(X)为规整化项；通过最小化E的值得到理想的原始图像
基于显微图像的实际图像退化状况，将规整化项J(X)定义为：
对于图像X中的任意像素点k，是图像的一阶微分；||||2为二阶范数；J(f)为非零像素点，即符号#的意义；
对于各个视场，分别通过早先获得的点扩散函数求解即得到各视场的复原图像将各视场的复原后图像根据视场划分进行融合，重构得到融合图像；
对于融合后得到的图像，对其进行中值滤波以及均值滤波以去除其中的噪声，并对图像进行伽马校正以使其符合样本实际的灰度分布规律；
在图像显示与参数控制模块中通过使用上位机编写软件通过串口与DSP通信，负责原始图像以及复原后图像的显示。
作为优选，还包括手动控制模式，手动控制模式下向DSP传输参数以控制硬件设备。
本发明的优势在于：
本发明针对显微图像成像过程中的图像退化与噪声，构建了一种显微成像采集、控制与自动处理系统装置。利用DSP作为信号处理部分，在硬件上对图像进行复原与增强，不仅有效地提高了显微图像的质量，更提高了运算速度，使得复原结果可以实时地呈现出来以便于更好的观察与处理。以DSP作为控制部分对成像光路的光源、遮光装置、物镜等硬件装置进行控制，不仅可以进行自动化操作，还可以结合图像中获取的信息更有效地提高了图像质量。
附图说明
图1为显微成像采集、控制与自动处理系统装置模块示意图。
图2为显微成像采集、控制与自动处理系统装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
以下结合附图实施例对本发明的实施作进一步说明。
如图1所示，它包括以下步骤：
步骤一：在物镜参数采集模块中预先使用调制传递函数测试仪测量成像系统在子午面以及弧矢面上在不同视场处的MTF；基于MTF函数和点扩散函数相互之间的频域-空间域变换关系计算出各个视场相对应的点扩散函数；
步骤二：将样本置于载物台上，经过物镜成像后在图像采集模块中使用CCD传感器阵列先通过I2C总线将视频流置于FIFO中存储，而后在FIFO中的视频流再通过I2C总线将每一帧的图像逐帧传入DSP中；
步骤三：通过图像采集模块中的光照强度传感器实时采集光源在经过样本后的光照强度并通过串口将数据传输至DSP；
步骤四：在DSP中预先设定光照强度值，与从光照强度传感器的数据进行对比，通过串口再对光源的强度进行负反馈控制以保证光照强度始终处于所设定的值；
步骤五：通过转动滤光片转换器选择滤光片采集所需要波段的信息并减弱成像过程中色差对图像质量的影响；
步骤六：在长度可调的杂散光控制装置中预先设置默认镜筒位置；
步骤七：在自动对焦模块中基于CCD采集到的图像并结合人眼视觉系统；即：
IHVS＝|Io*Ghigh-Io*Glow|
其中，IHVS为HVS感兴趣区域的图像，Io为原始图像，Ghigh和Glow分别为两个截止频率不同的高斯滤波器，*为卷积符号；
IR＝IHVS*ΔL
其中IR为计算后结果，ΔL为拉普拉斯算子，Sum为最终求和结果，m为图像行数，(i,j)表示图像中像素坐标；n为图像列数；
在DSP中通过控制物镜与样本间距离来获得不同的图像并计算各幅图像的结果，通过负反馈调节控制控制物镜与样本间距离使计算结果处于最小值从而保证镜头处于最佳对焦位置；
步骤八：在显微图像复原与增强模块中采用基于DSP的图像复原及增强方法对采集到的显微图像进行复原以及增强；
基于广泛被接受的图像退化模型：
Y＝hX+n
其中，Y为被观察的图像，X为原始图像，h为点扩散函数对应的模糊矩阵，n为加性噪声；构建一个用于求解原始图像X的正则化函数E：
E＝||Y-hX||2+λJ(X)
其中λ为正则化因子，J(X)为规整化项；通过最小化E的值得到理想的原始图像
基于显微图像的实际图像退化状况，将规整化项J(X)定义为：
对于图像X中的任意像素点k， 是图像的一阶微分；||||2为二阶范数；J(f)为非零像素点，即符号#的意义；
对于各个视场，分别通过早先获得的点扩散函数求解即得到各视场的复原图像将各视场的复原后图像根据视场划分进行融合，重构得到融合图像；
对于融合后得到的图像，对其进行中值滤波以及均值滤波以去除其中的噪声，并对图像进行伽马校正以使其符合样本实际的灰度分布规律；
在图像显示与参数控制模块中通过使用上位机编写软件通过串口与DSP通信，负责原始图像以及复原后图像的显示。

Claims (3)

1.一种显微成像采集、控制与自动处理系统，其特征在于：包括物镜参数采集模块、图像显示与参数控制模块、显微图像复原与增强模块、DSP芯片控制处理模块、图像采集模块、光照控制模块、自动对焦模块、长度可调的杂散光控制装置、滤光片转换器、光源光照强度控制装置；
所述的物镜参数采集模块和图像采集模块的信号输出端与DSP芯片控制处理模块信号输入端连接，DSP芯片控制处理模块的信号输出端分别与图像显示与参数控制模块、显微图像复原与增强模块、光照控制模块、自动对焦模块的信号输入端连接，光照控制模块的信号输出端分别与长度可调的杂散光控制装置、滤光片转换器、光源光照强度控制装置的信号输入端连接。
2.根据权利要求1所述的一种显微成像采集、控制与自动处理系统的处理方法，其特征在于：
步骤一：在物镜参数采集模块中预先使用调制传递函数测试仪测量成像系统在子午面以及弧矢面上在不同视场处的MTF；基于MTF函数和点扩散函数相互之间的频域-空间域变换关系计算出各个视场相对应的点扩散函数；
步骤二：在图像采集模块中使用CCD传感器阵列先通过I2C总线将视频流置于FIFO中存储，而后在FIFO中的视频流再通过I2C总线将每一帧的图像逐帧传入DSP中；
步骤三：通过图像采集模块中的光照强度传感器实时采集光源在经过样本后的光照强度并通过串口将数据传输至DSP；
步骤四：在DSP中预先设定光照强度值，与从光照强度传感器的数据进行对比，通过串口再对光源进行负反馈控制以保证光照强度始终处于所设定的值；
步骤五：通过转动滤光片转换器选择滤光片采集所需要波段的信息并减弱成像过程中色差对图像质量的影响；
步骤六：在长度可调的杂散光控制装置中预先设置默认镜筒位置；
步骤七：在自动对焦模块中基于CCD采集到的图像并结合人眼视觉系统；即：
IHVS＝|Io*Ghigh-Io*Glow|
其中，IHVS为HVS感兴趣区域的图像，Io为原始图像，Ghigh和Glow分别为两个截止频率不同的高斯滤波器，*为卷积符号；
在此基础上，使用拉普拉斯算子对IHVS进行计算，并将计算后结果图像求和：
IR＝IHVS*ΔL
其中IR为计算后结果，ΔL为拉普拉斯算子，Sum为最终求和结果，m为图像行数，(i,j)表示图像中像素坐标；n为图像列数；
在DSP中通过控制物镜与样本间距离来获得不同的图像并计算各幅图像的结果，通过负反馈调节控制控制物镜与样本间距离使计算结果处于最小值从而保证镜头处于最佳对焦位置；
步骤八：在显微图像复原与增强模块中采用基于DSP的图像复原及增强方法对采集到的显微图像进行复原以及增强；
基于广泛被接受的图像退化模型：
Y＝hX+n
其中，Y为被观察的图像，X为原始图像，h为点扩散函数对应的模糊矩阵，n为加性噪声；构建一个用于求解原始图像X的正则化函数E：
E＝||Y-hX||2+λJ(X)
其中λ为正则化因子，J(X)为规整化项；通过最小化E的值得到理想的原始图像
基于显微图像的实际图像退化状况，将规整化项J(X)定义为：
对于图像X中的任意像素点k， 是图像的一阶微分；|| ||2为二阶范数；J(f)为非零像素点，即符号#的意义；
对于各个视场，分别通过早先获得的点扩散函数求解即得到各视场的复原图像将各视场的复原后图像根据视场划分进行融合，重构得到融合图像；
对于融合后得到的图像，对其进行中值滤波以及均值滤波以去除其中的噪声，并对图像进行伽马校正以使其符合样本实际的灰度分布规律；
在图像显示与参数控制模块中通过使用上位机编写软件通过串口与DSP通信，负责原始图像以及复原后图像的显示。
3.根据权利要求2所述的一种显微成像采集、控制与自动处理系统的处理方法，其特征在于：还包括手动控制模式，手动控制模式下向DSP传输参数以控制硬件设备。
CN201810510197.1A 2018-05-24 2018-05-24 一种显微成像采集、控制与自动处理系统及处理方法 Pending CN108848302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810510197.1A CN108848302A (zh) 2018-05-24 2018-05-24 一种显微成像采集、控制与自动处理系统及处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510197.1A CN108848302A (zh) 2018-05-24 2018-05-24 一种显微成像采集、控制与自动处理系统及处理方法

Publications (1)

Publication Number Publication Date
CN108848302A true CN108848302A (zh) 2018-11-20

Family

ID=64213469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510197.1A Pending CN108848302A (zh) 2018-05-24 2018-05-24 一种显微成像采集、控制与自动处理系统及处理方法

Country Status (1)

Country Link
CN (1) CN108848302A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062895A (zh) * 2019-11-29 2020-04-24 宁波永新光学股份有限公司 一种基于多视场分割的显微图像复原方法
CN112053304A (zh) * 2020-09-08 2020-12-08 哈尔滨工业大学 一种全切片数字成像单次拍照快速准焦复原方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619579A (zh) * 2003-11-18 2005-05-25 钮旋 直接显示的数字化显微镜的嵌入式图象处理方法及装置
CN102566025A (zh) * 2010-12-09 2012-07-11 苏州生物医学工程技术研究所 一种保持视场光照度一致的显微镜
US20140152794A1 (en) * 2012-11-30 2014-06-05 Keyence Corporation Measurement Microscope Device, Image Generating Method, Measurement Microscope Device Operation Program, And Computer-Readable Recording Medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619579A (zh) * 2003-11-18 2005-05-25 钮旋 直接显示的数字化显微镜的嵌入式图象处理方法及装置
CN102566025A (zh) * 2010-12-09 2012-07-11 苏州生物医学工程技术研究所 一种保持视场光照度一致的显微镜
US20140152794A1 (en) * 2012-11-30 2014-06-05 Keyence Corporation Measurement Microscope Device, Image Generating Method, Measurement Microscope Device Operation Program, And Computer-Readable Recording Medium
CN103852033A (zh) * 2012-11-30 2014-06-11 株式会社其恩斯 测量显微镜装置、图像产生方法、及计算机可读记录介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵巨峰等: "视觉注意机制与边缘展宽衡量相结合的显微成像清晰度评价", 《光子学报》 *
黄奕龙等: "结合物镜测试的梯度约束显微成像质量提升方法", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062895A (zh) * 2019-11-29 2020-04-24 宁波永新光学股份有限公司 一种基于多视场分割的显微图像复原方法
CN111062895B (zh) * 2019-11-29 2022-07-12 宁波永新光学股份有限公司 一种基于多视场分割的显微图像复原方法
CN112053304A (zh) * 2020-09-08 2020-12-08 哈尔滨工业大学 一种全切片数字成像单次拍照快速准焦复原方法

Similar Documents

Publication Publication Date Title
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
Zamir et al. Learning enriched features for fast image restoration and enhancement
CN106780356B (zh) 基于卷积神经网络和先验信息的图像去雾方法
Xu et al. A deep model for multi-focus image fusion based on gradients and connected regions
CN105376471A (zh) 一种基于移动平台的全景拍摄系统及方法
CN106713755A (zh) 全景图像的处理方法及装置
CN104392416B (zh) 一种运动场景的视频拼接方法
CN110517213B (zh) 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
DE102013016872A1 (de) System und ein Verfahren zur Optimierung einer Bildqualität in einer Digitalkamera
Joze et al. Imagepairs: Realistic super resolution dataset via beam splitter camera rig
JP2015231220A (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
Zamir et al. Learning digital camera pipeline for extreme low-light imaging
RU2580473C1 (ru) Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом
CN108848302A (zh) 一种显微成像采集、控制与自动处理系统及处理方法
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
CN108156369A (zh) 图像处理方法和装置
CN108810506B (zh) 一种基于fpga的透雾增强图像处理方法及系统
TW202224404A (zh) 相機模組的鏡頭髒污偵測方法
CN109618094A (zh) 图像处理方法及图像处理系统
CN106657816A (zh) 一种基于orb算法的图像配准和图像融合并行的多路视频快速拼接算法
CN114972022B (zh) 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统
CN116723413A (zh) Raw域图像去噪方法及拍摄装置
Duran et al. A demosaicking algorithm with adaptive inter-channel correlation
Kim et al. Video depth-from-defocus
Gherardi et al. Illumination field estimation through background detection in optical microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120

RJ01 Rejection of invention patent application after publication