CN110599524A - 调焦成像子系统、激光散斑血流成像系统和方法 - Google Patents

调焦成像子系统、激光散斑血流成像系统和方法 Download PDF

Info

Publication number
CN110599524A
CN110599524A CN201910699694.5A CN201910699694A CN110599524A CN 110599524 A CN110599524 A CN 110599524A CN 201910699694 A CN201910699694 A CN 201910699694A CN 110599524 A CN110599524 A CN 110599524A
Authority
CN
China
Prior art keywords
blood flow
image
focusing
images
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910699694.5A
Other languages
English (en)
Other versions
CN110599524B (zh
Inventor
李鹏程
吕文志
陆锦玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute Of Brain Space Information Huazhong University Of Science And Technology
Original Assignee
Suzhou Institute Of Brain Space Information Huazhong University Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute Of Brain Space Information Huazhong University Of Science And Technology filed Critical Suzhou Institute Of Brain Space Information Huazhong University Of Science And Technology
Priority to CN201910699694.5A priority Critical patent/CN110599524B/zh
Publication of CN110599524A publication Critical patent/CN110599524A/zh
Application granted granted Critical
Publication of CN110599524B publication Critical patent/CN110599524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Abstract

本发明公开了一种调焦成像子系统、激光散斑血流成像系统和方法，其中，激光散斑血流成像系统包括调焦成像子系统、控制与处理子系统，调焦成像子系统用于调节光学成像系统的对焦平面，并通过对焦平面扫描的方式获取不同对焦平面上的激光散斑图像；控制与处理子系统用于控制系统的任务处理时序，通过控制中心完成调焦与图像采集，以及图像处理任务。本发明的激光散斑学流成像系统和方法，可以快速获取不同对焦平面上的散斑图像，并获取大景深血流图像，改善非平面生物组织的宽场血流成像效果，在不增加系统结构复杂度和成本的前提下，提升了血流检测的准确性。

Description

调焦成像子系统、激光散斑血流成像系统和方法
技术领域
本发明涉及成像技术领域，尤其是涉及一种调焦成像子系统、激光散斑血流成像系统和激光散斑血流成像方法。
背景技术
生物体中高度分支的血管网络对于运输氧气和营养物质是至关重要的，与生命体的健康息息相关。当血管发生异常时会导致一系列疾病，如脑内出血，脑梗塞和静脉曲张等。根据世界卫生组织于2018年的统计报告，心脑血管疾病高居全球死亡原因的前三，并且还将以60％的发病率进行增长。通过对血管形态和血流进行监测，有助于疾病的早期诊断和研究血管异常所导致疾病的发病机制，对于人类健康和生命科学的发展具有重要意义。
激光散斑衬比成像是一种无创、非接触的宽场相干域光学血流成像技术，可对生物组织血流和血管形态变化进行实时监测，具有高时空分辨率的优点，近年来在生物医学研究和临床诊疗中展现出良好的应用前景。然而，由于光学成像系统的景深有限，对非平面的生物组织，特别是表面曲率较大的区域，难以获得大视场范围准确对焦的血流图像，从而影响血流检测的准确性。
在相关技术中，通过减小光学成像系统的通光孔径，可以在一定程度上提升景深，但是系统的成像分辨率和光通量也会随着孔径的缩小而降低，因此，该方法仅仅是一种比较粗糙的解决方案。现阶段，一般采用波前编码技术提升光学成像系统的景深，但其涉及到系统光路的重新设计，增加了系统的结构复杂度和成本。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
本发明第一方面实施例提供了一种调焦成像子系统，该系统可以对获取的不同对焦平面的激光散斑血流图像实现大视场范围内快速调焦，提升了血流检测的准确性。
本发明第二方面实施例提供了一种激光散斑血流成像系统。
本发明第三方面实施例提供了一种激光散斑血流成像方法。
为解决上述问题，本发明第一方面实施例的调焦成像子系统包括：光源模块，用于发射激光光束至待测样品表面上；光学调焦成像模块，用于根据调焦控制信号调节成像对焦平面；图像采集模块，用于根据采集控制信号采集不同对焦平面上的散斑图像。
根据本发明的调焦成像子系统，通过增加液体透镜，可以对所述获取的不同对焦平面的激光散斑血流图像实现大视场范围内快速调焦，提升了血流检测的准确性。
在一些实施例中，所述光学调焦成像模块包括物镜、筒透镜、液体透镜和调焦驱动器，其中，所述液体透镜设置在所述物镜和所述筒透镜之间，所述调焦驱动器与所述液体透镜连接。
为解决上述问题，本发明第二方面实施例的激光散斑血流成像系统包括，调焦成像子系统，包括：光学调焦成像模块，用于根据调焦控制信号调节成像对焦平面；光源模块，用于发射激光光束至待测样品表面上；图像采集模块，用于根据采集控制信号采集不同对焦平面上的散斑图像；控制与处理子系统，包括：控制模块，配置为输出所述调焦控制信号和所述采集控制信号；图像处理模块，配置为根据所述散斑图像获得不同对焦平面上的血流图像，融合不同对焦平面上的血流图像，以获得期望的血流图像。
根据本发明实施例的激光散斑血流成像系统，通过光学调焦成像模块实现快速调焦，可以获得大范围内不同对焦平面上的散斑图像，以及通过图像处理模块对不同对焦平面上的血流图像即多幅血流图像进行融合，可以获得更大景深的期望的血流图像，以及，对光路改动小，系统结构简单、成本低。
在一些实施例中，所述光学调焦成像模块包括物镜、筒透镜、液体透镜和调焦驱动器，其中，所述液体透镜设置在所述物镜和所述筒透镜之间，所述调焦驱动器与所述液体透镜连接。
在一些实施例中，所述图像处理模块在融合不同对焦平面上的血流图像时配置为，通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合。
进一步地，所述图像处理模块在通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合进一步配置为，对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像，根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数，对融合后的变换系数进行轮廓波逆变换，获得期望的所述血流图像。
具体地，所述图像处理模块在根据融合规则对不同频率成分的变换系数进行融合并获得融合后的变换系数时进一步配置为，选取对应低频子带图像在对应像素点处最大的变换系数作为融合后所述低频子带图像在所述对应像素点处的变换系数，以及，选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后所述高频子带图像在该像素点处的变换系数。
在一些实施例中，所述控制与处理子系统还包括：配准模块，配置为对不同对焦平面上的血流图像进行相对位置配准。
在一些实施例中，所述配准模块在进行配准时进一步配置为，通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准。
具体地，所述配准模块在基于坐标变换方法进行配准时配置为，通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数。
为解决上述问题，本发明第三方面实施例的激光散斑血流成像方法包括：获取待测样品在成像系统的不同对焦平面上的散斑图像；根据所述散斑图像获得不同对焦平面上的血流图像；融合不同对焦平面上的血流图像，以获得期望的血流图像。
根据本发明实施例的激光散斑血流成像方法统，通过将不同对焦平面上的血流图像即多幅血流图像进行融合，可以获得更大景深的期望的血流图像，以及方法简单易实施。
在一些实施例中，所述融合不同对焦平面上的血流图像，以获得期望的血流图像，包括：通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合，以获得期望的血流图像。
进一步地，所述通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合，以获得期望的血流图像，包括：对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像；根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数；对融合后的变换系数进行轮廓波逆变换，获得期望的所述血流图像。
具体地，根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数，包括：选取对应低频子带图像在对应像素点处最大的变换系数作为融合后所述低频子带图像在所述对应像素点处的变换系数；以及，选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后所述高频子带图像在该像素点处的变换系数。
在一些实施例中，所述激光散斑血流成像方法还包括：对不同对焦平面上的血流图像进行相对位置配准。
在一些实施例中，所述对不同对焦平面上的血流图像进行相对位置配准，包括：通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准。
具体地，所述通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准，包括：通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数；根据所述坐标变换系数将血流图像的位置坐标与所述配准目标图像的位置坐标进行变换。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是根据本发明的一个实施例的激光散斑血流成像系统的示意图；
图2是根据本发明的一个实施例的图像处理模块的时序的示意图；
图3是根据本发明的一个实施例的血流成像融合过程的示意图；
图4是根据本发明的一个实施例的图像采集模块处理前后过程的示意图；
图5中的(a)-(c)是根据本发明的一个实施例的激光散斑血流成像方法的实验一过程中血流成像融合前后对比的示意图；
图5中的(d)-(e)是根据本发明的另一个实施例的激光散斑血流成像方法的实验一过程中血流成像融合前后对比的示意图；
图6中的(a)-(g)是根据本发明的一个实施例的激光散斑血流成像方法的实验二过程中血流成像融合前后对比的示意图；
图6中的(h)是根据本发明的另一个实施例的激光散斑血流成像方法的实验二过程中血流成像融合前后对比的示意图；
图7是根据本发明的一个实施例的激光散斑血流成像方法的流程图；
图8是根据本发明的一个实施例的激光散斑血流成像方法的流程图；
图9是根据本发明的一个实施例的激光散斑血流成像方法的流程图；
图10是根据本发明的一个实施例的控制与处理子系统的框图；
图11是根据本发明的另一个实施例的控制与处理子系统的框图。
附图标记：
激光散斑血流成像系统1000；
调焦成像子系统100，控制与处理子系统200；
光源模块110，光学调焦成像模块120，图像采集模块130，控制模块210，图像处理模块220，配准模块230，处理器240，存储器250，总线260，通信接口270；
筒透镜121，液体透镜122，物镜123，调焦驱动器124，样品台125。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
下面参考附图描述本发明实施例的激光散斑血流成像系统，该系统可以快速获取不同对焦平面上的血流图像，并获取大景深血流图像，改善非平面生物组织的宽场血流成像效果，且系统的复杂性和成本较小。
图1是根据本发明的一个实施例的激光散斑血流成像系统的框图。
如图1所示，本发明实施例的激光散斑血流成像系统1000包括调焦成像子系统100和控制与处理子系统200。
其中，调焦成像子系统100用于调节光学调焦成像系统的对焦平面，并通过对焦平面扫描的方式获取不同对焦平面上的激光散斑图像；控制与处理子系统200用于控制系统的任务处理时序，完成调焦与图像采集，以及图像处理任务。
在实施例中，调焦成像子系统100包括光源模块110、光学调焦成像模块120和图像采集模块130。
其中，光源模块110用于发射激光光束至样品台125的待测样品表面上，以形成激光散斑图样；光学调焦成像模块120用于根据调焦控制信号调节成像对焦平面，具体可通过改变光学调焦成像模块120的焦距来改变成像对焦平面，可以实现快速准确对焦；图像采集模块130用于根据采集控制信号采集不同对焦平面上的散斑图像，光学调焦成像模块120的对焦平面改变，当系统的对焦平面稳定后，图像采集模块130采集激光散斑图像，用于后续的图像处理与分析。
在实施例中，控制与处理子系统200包括控制模块210和图像处理模块220，其中，控制模块210，配置为输出调焦控制信号和采集控制信号，用于合理搭配光学调焦成像模块120的调焦与图像采集的时序，实现快速、稳定的调焦与图像采集；图像处理模块220，配置为根据散斑图像获得不同对焦平面上的血流图像，即获得多幅具有不同焦面位置、局部清晰的物体或切片图像，并融合不同对焦平面上的血流图像，以获得期望的血流图像。对得到的多幅有层次的血流图像进行合理的融合，可以产生一幅完整清晰的融合图像即期望的血流图像，此期望的血流图像具有更多的清晰局部，从而达到景深扩展的目的。
根据本发明的实施例激光散斑血流成像系统，通过改变光学调焦成像模块120的焦距来改变成像对焦平面，可以实现快速准确对焦，图像采集模块130根据控制与处理子系统200输出采集控制信号采集不同对焦平面上散斑图像，以及，图像处理模块220通过可适用的图像融合方法对处于不同对焦平面上的血流图像中聚焦区域的血管结构信息和血流信息进行了有效融合，可以获得较大景深的血流图像，在不增加系统结构复杂度和成本的前提下，可以提升血流检测的准确性。
进一步地，在实施例中，如图1所示，光学调焦成像模块120包括筒透镜121、液体透镜122、物镜123和调焦驱动器124，液体透镜122设置在物镜123和筒透镜121之间，调焦驱动器124与液体透镜122连接。具体地，待测样品放置在样品台125上，在成像时，光源模块110发射激光光束照射在样品上以形成激光散斑图样，控制模块210输出调焦控制信号至调焦驱动器124，调焦驱动器124根据调焦控制信号调节驱动电流以调节液体透镜122的曲率半径，进而改变光学调焦成像模块120的焦距，从而通过物镜123、液体透镜122、筒透镜121使得激光散斑图样成像在不同对焦平面上，通过图像采集模块130例如相机采集不同对焦平面上的激光散斑图像，进而将采集的散斑图像传输至图像处理模块220，图像处理模块220通过图像分析方法，例如激光散斑衬比分析方法获取不同对焦平面上的激光散斑血流图像并将不同对焦平面上的激光散斑血流图像进行融合，从而实现快速的光学调焦和获得大景深的血流图像。
如图2所示为根据本发明的一个实施例的光学调焦成像模块的调焦与图像采集的时序图，其中，T1表示液体透镜122驱动电流设置时间，T2表示液体透镜122的稳定时间，T3表示控制模块210触发图像采集模块130例如相机采集的设置时间，T4表示触发延迟时间，T5表示相机的曝光时间，T6表示数据采集和传输到控制与处理子系统200例如计算机的时间。
其中，液体透镜122驱动电流设置时间T1主要为计算机与液体透镜驱动器124的通信时间，时间极短可忽略不计；根据液体透镜122的数据手册可知，液体透镜122驱动电流设置后的稳定时间T2应大于等于15ms；控制模块210通过软件触发方式控制相机开始采集图像的设置时间T3主要为计算机与相机的通信时间，时间极短可忽略不计；软件触发延迟时间为T4，其与软件触发设置时间T3之和为液体透镜122的稳定时间T2，将T4设置为15ms即可满足液体透镜122的光学参数稳定，由于该阶段不需要控制与处理子系统200的参与，因此可对上一对焦平面上的图像进行图像处理的工作；在激光散斑血流成像过程中，相机的曝光时间T5一般为5ms-20ms，需要根据系统的光强选择合适的曝光时间；相机将图像数据传输到计算机中的时间T6主要为计算机与相机的通信时间，时间极短可忽略不计。
从图2可见，通过液体透镜122进行调焦仅仅需要15ms，并且相机与液体透镜122为外部设备，其中涉及的图像处理任务可在控制与处理子系统200端同步进行，通过对控制与处理子系统200的改进，能够实现快速、稳定的调焦与图像采集。
在一些实施例中，图像处理模块220在融合不同对焦平面上的血流图像时，可以通过可适用的图像方法进行融合，例如通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合。
具体地，图像处理模块220在通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合时，对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像，根据融合规则对低频子带图像和高频子带图像的变换系数进行融合并获得融合后的变换系数，对融合后的变换系数进行轮廓波逆变换，获得期望的血流图像。
其中，在实施例中，对于低频子带图像和高频子带图像可以选择不同的融合规则，例如，选取对应低频子带图像在对应像素点处最大的变换系数作为融合后低频子带图像在对应像素点处的变换系数，以及，选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后高频子带图像在该像素点处的变换系数。
具体融合过程示例，如图3所示，通过多聚焦血流图像融合方法可将不同对焦平面上血流图像中的在焦信息进行融合，以融合N个血流图像为例。首先，对不同对焦平面上的N个血流图像即图3中的源图像进行多层轮廓波变换，得到低频子带图像和不同尺度、不同方向上的高频子带图像；然后，选择合适的融合规则对不同频率成分的变换系数进行融合得到融合后的变换系数。最后，对融合后的变换系数进行轮廓波逆变换，得到融合图像即期望的血流图像。
其中，在一些实施例中，低频融合系数可以采用最大选取法，即选取对应低频子带图像在对应像素点处最大的值作为融合低频子带图像在该像素点处的值，计算公式如下：
aF(x,y)＝max({an(x,y)；1≤n≤N}) 公式①
其中，an(x,y)表示原激光散斑血流图像进行轮廓波变换后的低频子带图像在位置(x,y)处的系数值，aF(x,y)表示融合后的低频子带图像在位置(x,y)处的系数值，max()为取最大值函数。
高频融合系数可以采用改进拉普拉斯能量和最大选取法，即选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的系数值作为融合高频子带图像在该像素点处的值，计算公式如下：
其中，表示原激光散斑血流图像进行轮廓波变换后的第j层第k个方向上的高频子带图像在位置(x,y)处的系数值，SML()表示进拉普拉斯能量和计算函数，表示使函数值取最大时的血流图像，表示对应融合后的高频子带图像在位置(x,y)处的系数值。
在一些实施例中，如图1所示，控制与处理子系统200还包括配准模块230,配准模块230配置为对不同对焦平面上的血流图像进行相对位置配准。
进一步地，配准模块230在进行配准时进一步配置为，通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准。
具体地，可以对激光散斑图像进行计算得到每个像素点上的血流值BFI(BloodFlow Index)，其计算公式如下：
其中，δI和分别表示激光散斑图像中单个像素点在时间序列上的光强标准差和均值。通过基于坐标变换的图像配准方法可实现不同对焦平面上血流图像的相对位置不变。当图像存在角度θ、缩放s、偏移(x0,y0)的变化时，坐标(x,y)变换到(u,v)如下：
在配准过程中，配准模块230可以通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数即配准参数。基于液体透镜122的调焦方式，其驱动电流的大小与电控液体透镜的屈光度为线性关系，从而可通过预配准的方式建立驱动电流大小与坐标变换参数的关系式。
在实施例中，如图4所示，进行图像采集之前还需要依次完成相机的连接与初始化，液体透镜122的连接与初始化，设置系统的调焦范围与对焦平面偏移距离，血流计算所需要的图像帧数，以及预配准参数的计算；之后进行图像采集后的处理，即融合映射系数计算和实时多聚焦流速图像融合。其中，在单次成像过程中，当被检测组织不移动时，通过液体透镜122不断进行快速调焦，相机采集到的图像在不同对焦平面上的聚焦区域是固定的，通过基于轮廓波的融合方法可以得到该聚焦区域的融合映射系数，在得到聚焦区域与对焦平面的关系后，在后续的成像过程中可以采用像素加权的方式进行快速融合。
下面通过具体实验更直观地展现本发明实施例的激光散斑血流成像系统1000获得更大景深的血流图像的效果。
实验一：对两根毛细玻璃管进行血流成像融合实验，其中，两根毛细玻璃管高度差为2mm、水平距离为0.5mm，均充满浓度为1％且以4mm/s运动的脂肪乳溶液，该数据与血液的光学吸收散射系数相近，从而可以实现对血液流动的模拟，激光散斑血流成像系统1000在放大倍率为2.0x时，景深约为200m，远小于两根毛细玻璃管的高度差，因此系统聚焦于上方或下方的毛细玻璃管，另一根毛细玻璃管会处于离焦状态。
在实际成像过程中，如图5中(a)-(c)所示，处于下方和上方的毛细玻璃管分别位于成像视野的左边和右边，当系统聚焦于下方的毛细玻璃管时，得到的血流图像如图5中(a)所示，由于左边的毛细玻璃管处于下方，因此左边毛细玻璃管的边缘更加陡峭；当系统聚焦于上方的毛细玻璃管时，得到的血流图像如图5中(b)所示，由于右边的毛细玻璃管处于下方，因此右边毛细玻璃管的边缘更加陡峭。图5中(c)为系统通过两个对焦平面扫描后得到某一时刻的融合图像，图中两根毛细玻璃管的边缘陡峭程度相近，融合了两个对焦平面上的聚焦区域。图5中(d)为未进行融合处理时，系统同时采集到两个感兴趣区域(RegionOf Interest，ROI)内的血流变化情况，两个ROI的位置和大小如图5中(a)所示，从中可以看出，由于两个ROI位置处毛细玻璃管的对焦平面不同，在调焦扫描的过程中，仅仅有一个ROI处的毛细玻璃管处于在焦状态，而另外一个ROI处的毛细玻璃管处于离焦状态。
因此，虽然在同一时刻，两根毛细玻璃管中溶液流动速度相同，但由于离焦的影响，导致在同一时刻采集到这两个ROI的血流值不同，与实际情况不相符合。通过融合处理后，两个ROI处血流值变化的相似度很高，如图5中(e)所示，与实际情况相符。从直观上看，通过该系统得到的血流图像，良好的保留了不同对焦平面上的有效聚焦信息，具有景深延拓的作用。
实验二，对麻醉以及去除头盖骨后的小鼠脑皮层区域进行血流成像融合实验，由于老鼠脑部本身的弯曲效应以及手术所造成的脑肿胀，使得成像视野中的血管处于不同对焦平面上。
在实际成像过程中，如图6所示，系统以200m的偏移量进行对焦平面的扫描，扫描的整体距离为1mm。图6中(a)-(f)分别为系统从上往下进行对焦平面扫描得到的血流图像，从图6中(a)-(f)可以看出，图像中的聚焦区域从上往下进行移动，处于聚焦区域中的血管结构清晰，离焦区域中的血管结构模糊且检测到的血流值变低。图6中(g)为系统运行过程中得到的一张融合后血流图像，直观上可以看出，融合图像相对于任一对焦平面上的血流图像，视野中的血管结构更加清晰和丰富，能对视野中的所有血管信息进行更为准确的表达。
为进一步对图像中的血流值进行分析，比较融合前和融合后的一个感兴趣区域处血流值在一段时间内的变化情况，如图6(h)所示，系统在调焦扫描过程中，由于对焦平面的不断变化，该位置处的流速值不断发生变化，但融合后的图像在该区域中的血流值与在焦时的血流值保持较好的吻合。从实验结果可以看出，该系统对处于不同对焦平面上的血流图像中聚焦区域的血管结构信息和血流信息进行了有效融合，实现了非平面生物组织的宽场血流成像检测，具有景深延拓的作用。
下面参考附图描述本发明实施例的调焦成像子系统，该系统可以调节光学成像系统的对焦平面，并通过对焦平面扫描的方式获取不同对焦平面上的激光散斑图像。
如图1所示，调焦成像子系统100包括光源模块110、光学调焦成像模块120和图像采集模块130。
其中，光学调焦成像模块120，用于根据调焦控制信号调节成像对焦平面，光源模块110，用于发射激光光束至样品台125的待测样品表面上；图像采集模块130，用于根据采集控制信号采集不同对焦平面上的散斑图像。
在实施例中，光学调焦成像模块120包括筒透镜121、液体透镜122、物镜123和调焦驱动器124。其中，液体透镜122设置在物镜123和筒透镜121之间用于快速调焦，调焦驱动器124与液体透镜122连接。
具体地，待测样品放置在样品台125上，在成像时，光源模块110发射激光光束照射样品上以形成激光散斑图样，控制模块210输出调焦控制信号至调焦驱动器124，调焦驱动器124根据调焦控制信号调节驱动电流以调节液体透镜122的曲率半径，进而改变光学调焦成像模块120的焦距，从而通过物镜123、液体透镜122、筒透镜121使得激光散斑图样成像在不同对焦平面上，通过图像采集模块130例如相机采集不同对焦平面上的激光散斑图像，进而将采集的散斑图像传输至图像处理模块220，图像处理模块220通过图像分析方法，例如激光散斑衬比分析方法获取不同对焦平面上的激光散斑血流图像并将不同对焦平面上的激光散斑血流图像进行融合，从而实现快速的光学调焦和获得大景深的图像。
下面参考附图描述本发明实施例的激光散斑血流成像方法，该方法可以快速获取不同对焦平面上的血流图像，并获取大景深血流图像，改善非平面生物组织的宽场血流成像效果，且对系统的复杂性和成本影响较小。
图7是根据本发明实施例的激光散斑血流成像方法的流程图。
如图7所示，激光散斑血流成像方法包括步骤S1、步骤S2和步骤S3。
步骤S1，获取待测样品在成像系统的不同对焦平面上的散斑图像。
步骤S2，根据散斑图像获得不同对焦平面上的血流图像。
步骤S3，融合不同对焦平面上的血流图像，以获得期望的血流图像。
根据本发明的实施例激光散斑血流成像方法，通过改变光学调焦成像的焦距来改变成像对焦平面，可以实现快速准确对焦，采集不同对焦平面上血流图像，以及通过可适用的图像融合方法对处于不同对焦平面上的血流图像中聚焦区域的血管结构信息和血流信息进行了有效融合，可以获得较大景深的血流图像，在不增加系统结构复杂度和成本的前提下，可以提升血流检测的准确性。
在一些实施例中，融合不同对焦平面上的血流图像可以通过可适用的图像方法进行融合，例如通过多聚焦图像融合方法可以将不同对焦平面上的血流图像进行融合，获得期望的血流图像。
具体地，如图8所示，多聚焦图像融合方法包括步骤S31、步骤S32和步骤S33。
步骤S31，对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像。
步骤S32，根据融合规则对低频子带图像和高频子带图像的变换系数进行融合并获得融合后的变换系数。
S33，对融合后的变换系数进行轮廓波逆变换，获得期望的血流图像。
在实施例中，对于低频子带图像和高频子带图像可以选择不同的融合规则，例如，选取对应低频子带图像在对应像素点处最大的变换系数作为融合后低频子带图像在对应像素点处的变换系数，以及，选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后高频子带图像在该像素点处的变换系数。
具体融合过程示例，如图3所示，通过多聚焦血流图像融合方法可将不同对焦平面上血流图像中的在焦信息进行融合，以融合N个血流图像为例。首先，对不同对焦平面上的N个血流图像进行多层轮廓波变换，得到低频子带图像和不同尺度、不同方向上的高频子带图像；然后，选择合适的融合规则对不同频率成分的变换系数进行融合得到融合后的变换系数。最后，对融合后的变换系数进行轮廓波逆变换，得到融合图像即期望的血流图像。
其中，低频融合系数采用最大选取法，即选取对应低频子带图像在对应像素点处最大值作为融合低频子带图像在该像素点处的值，表达式如上述公式①；高频融合系数采用改进拉普拉斯能量和最大选取法，即选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的系数值作为融合高频子带图像在该像素点处的值，表达式如上述公式②。
在一些实施例中，如图9所示，对不同对焦平面血流图像进行融合前还包括，对不同对焦平面上的血流图像进行相对位置配准。
进一步地，在进行配准时进一步包括，通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准。
具体地，可以对激光散斑图像进行计算得到每个像素点上的血流值BFI(BloodFlow Index)，其计算公式如上述公式③，通过基于坐标变换的图像配准方法可实现不同对焦平面上血流图像的相对位置不变。当图像存在角度θ、缩放s、偏移(x0,y0)的变化时，坐标(x,y)变换到(u,v)表达式如上述公式④。
在配准过程中，可以通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数即配准参数。基于液体透镜的调焦方式，其驱动电流的大小与电控液体透镜的屈光度为线性关系，从而可通过预配准的方式建立驱动电流大小与坐标变换参数的关系式。
在实施例中，如图4所示，进行图像采集之前还需要依次完成相机的连接与初始化，液体透镜的连接与初始化，设置系统的调焦范围与对焦平面偏移距离，血流计算所需要的图像帧数，以及预配准参数的计算；之后进行图像采集后的处理，即融合映射系数计算和实时多聚焦流速图像融合。其中，在单次成像过程中，当被检测组织不移动时，通过液体透镜不断进行快速调焦，相机采集到的图像在不同对焦平面上的聚焦区域是固定的，通过基于轮廓波的融合方法可以得到该聚焦区域的融合映射系数，在得到聚焦区域与对焦平面的关系后，在后续的成像过程中可以采用像素加权的方式进行快速融合。
下面参考附图描述本发明一个实施例的控制与处理子系统，该系统可以控制系统的任务处理时序，通过控制中心完成调焦与图像采集，以及图像处理任务。
图10是根据本发明实施例的控制与处理子系统的框图。
如图10所示，控制与处理子系统200包括至少一个处理器(processor)240；以及与至少一个处理器(processor)240通信连接的存储器(memory)250；其中，存储器(memory)250存储有可被至少一个处理器(processor)240执行的指令，指令被至少一个处理器(processor)240执行时，使至少一个处理器(processor)240执行上述实施例的激光散斑血流成像方法。
在一些实施例中，控制与处理子系统200进行与激光散斑血流成像相关的数据处理，通过数据处理可以得到血流图像。例如，图11为根据本发明的一个实施例的控制与处理子系统的框图，其中，图11以一个处理器(processor)240和存储器(memory)250为例；还可以包括总线260和通信接口(Communication Interface)270。其中，处理器240、存储器250、通信接口270可以通过总线260完成相互间的通信。通信接口270可以用于信息传输，处理器240可以调用存储器250中的逻辑指令，以执行上述实施例的激光散斑血流成像方法。
此外，上述的存储器250中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器250作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例中的方法对应的程序指令/模块。处理器240通过运行存储在存储器250中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的监控数字凭证处理设备的方法。
存储器250可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器250可以包括高速随机存取存储器，还可以包括非易失性存储器。
本发明实施例还提出一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行上述实施例的激光散斑血流成像方法。
本发明实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种调焦成像子系统，其特征在于，包括：
光学调焦成像模块，用于根据调焦控制信号调节成像对焦平面；
光源模块，用于发射激光光束至待测样品表面上；
图像采集模块，用于根据采集控制信号采集不同对焦平面上的散斑图像。
2.根据权利要求1所述的调焦成像子系统，其特征在于：
所述光学调焦成像模块包括物镜、筒透镜、液体透镜和调焦驱动器；
所述液体透镜设置在所述物镜和所述筒透镜之间，所述调焦驱动器与所述液体透镜连接。
3.一种激光散斑血流成像系统，其特征在于，包括：
根据权利要求1或2所述的调焦成像子系统，以及控制与处理子系统；
其中，所述控制与处理子系统包括：
控制模块，配置为输出所述调焦控制信号和所述采集控制信号；
图像处理模块，配置为根据所述散斑图像获得不同对焦平面上的血流图像，融合不同对焦平面上的血流图像，以获得期望的血流图像。
4.根据权利要求3所述的激光散斑血流成像系统，其特征在于，所述图像处理模块在融合不同对焦平面上的血流图像时配置为，通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合；
所述图像处理模块在通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合进一步配置为，对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像，根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数，对融合后的变换系数进行轮廓波逆变换，获得期望的所述血流图像。
5.根据权利要求4所述的激光散斑血流成像系统，其特征在于，所述图像处理模块在根据融合规则对不同频率成分的变换系数进行融合并获得融合后的变换系数时进一步配置为，选取对应低频子带图像在对应像素点处最大的变换系数作为融合后所述低频子带图像在所述对应像素点处的变换系数，以及，选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后所述高频子带图像在该像素点处的变换系数。
6.根据权利要求3所述的激光散斑血流成像系统，其特征在于，所述控制与处理子系统还包括：
配准模块，配置为对不同对焦平面上的血流图像进行相对位置配准；
所述配准模块在进行相对位置配准时进一步配置为，通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数，并通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准。
7.一种激光散斑血流成像方法，其特征在于，包括：
获取待测样品在成像系统的不同对焦平面上的散斑图像；
根据所述散斑图像获得不同对焦平面上的血流图像；
融合不同对焦平面上的血流图像，以获得期望的血流图像。
8.根据权利要求7所述的激光散斑血流成像方法，其特征在于，所述融合不同对焦平面上的血流图像，以获得期望的血流图像，包括：
通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合，以获得期望的血流图像；
所述通过多聚焦图像融合方法将不同对焦平面上的血流图像进行融合，以获得期望的血流图像，包括：
对不同对焦平面上的血流图像进行轮廓波变换，获得低频子带图像和高频子带图像；
根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数；
对融合后的变换系数进行轮廓波逆变换，获得期望的所述血流图像。
9.根据权利要求8所述的激光散斑血流成像方法，其特征在于，根据融合规则对所述低频子带图像和所述高频子带图像的变换系数进行融合并获得融合后的变换系数，包括：
选取对应低频子带图像在对应像素点处最大的变换系数作为融合后所述低频子带图像在所述对应像素点处的变换系数；以及，
选取对应高频子带图像在对应像素点处具有最大改进拉普拉斯能量和的变换系数作为融合后所述高频子带图像在该像素点处的变换系数。
10.根据权利要求9所述的激光散斑血流成像方法，其特征在于，所述激光散斑血流成像方法还包括：对不同对焦平面上的血流图像进行相对位置配准；
所述对不同对焦平面上的血流图像进行相对位置配准进一步包括：通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准；
所述通过基于坐标变换方法对不同对焦平面上的血流图像进行相对位置配准进一步包括：
通过迭代算法获得血流图像与配准目标图像之间的坐标变换系数；
根据所述坐标变换系数将血流图像的位置坐标与所述配准目标图像的位置坐标进行变换。
CN201910699694.5A 2019-07-31 2019-07-31 调焦成像子系统、激光散斑血流成像系统和方法 Active CN110599524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910699694.5A CN110599524B (zh) 2019-07-31 2019-07-31 调焦成像子系统、激光散斑血流成像系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910699694.5A CN110599524B (zh) 2019-07-31 2019-07-31 调焦成像子系统、激光散斑血流成像系统和方法

Publications (2)

Publication Number Publication Date
CN110599524A true CN110599524A (zh) 2019-12-20
CN110599524B CN110599524B (zh) 2022-07-29

Family

ID=68853220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910699694.5A Active CN110599524B (zh) 2019-07-31 2019-07-31 调焦成像子系统、激光散斑血流成像系统和方法

Country Status (1)

Country Link
CN (1) CN110599524B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113817B1 (en) * 2001-10-04 2006-09-26 Wintec, Llc Optical imaging of blood circulation velocities
CN101485565A (zh) * 2009-02-13 2009-07-22 华中科技大学 一种激光散斑血流成像分析方法
CN103300841A (zh) * 2013-06-13 2013-09-18 上海理工大学 一种快速激光散斑血流成像系统和方法
CN105433906A (zh) * 2015-12-14 2016-03-30 华中科技大学 一种扫描暗场激光散斑血流成像方法及装置
CN106019550A (zh) * 2016-07-12 2016-10-12 上海交通大学 用于高速显微扫描的动态对焦装置及对焦跟踪方法
US20170017858A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Laser speckle contrast imaging system, laser speckle contrast imaging method, and apparatus including the laser speckle contrast imaging system
CN108230267A (zh) * 2017-12-20 2018-06-29 佛山科学技术学院 一种激光散斑血流成像图像处理方法
CN108403082A (zh) * 2018-01-24 2018-08-17 苏州中科先进技术研究院有限公司 一种生物组织成像系统及成像方法
CN109124615A (zh) * 2018-09-06 2019-01-04 佛山科学技术学院 一种可选区高动态激光散斑血流成像装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113817B1 (en) * 2001-10-04 2006-09-26 Wintec, Llc Optical imaging of blood circulation velocities
CN101485565A (zh) * 2009-02-13 2009-07-22 华中科技大学 一种激光散斑血流成像分析方法
CN103300841A (zh) * 2013-06-13 2013-09-18 上海理工大学 一种快速激光散斑血流成像系统和方法
US20170017858A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Laser speckle contrast imaging system, laser speckle contrast imaging method, and apparatus including the laser speckle contrast imaging system
CN105433906A (zh) * 2015-12-14 2016-03-30 华中科技大学 一种扫描暗场激光散斑血流成像方法及装置
CN106019550A (zh) * 2016-07-12 2016-10-12 上海交通大学 用于高速显微扫描的动态对焦装置及对焦跟踪方法
CN108230267A (zh) * 2017-12-20 2018-06-29 佛山科学技术学院 一种激光散斑血流成像图像处理方法
CN108403082A (zh) * 2018-01-24 2018-08-17 苏州中科先进技术研究院有限公司 一种生物组织成像系统及成像方法
CN109124615A (zh) * 2018-09-06 2019-01-04 佛山科学技术学院 一种可选区高动态激光散斑血流成像装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENZHI LV ET AL: "Enhancing vascular visualization in laser speckle contrast imaging of blood flow using multi-focus image fusion", 《BIOPHOTONICS》 *
李远洋: "基于衍射传输的激光远距离聚焦特性分析及评价", 《中国博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN110599524B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
TWI409049B (zh) 眼科器材定位系統及相關聯方法
JP6108827B2 (ja) 眼科装置および位置合わせ方法
US20120194784A1 (en) Iris image definition estimation system using the astigmatism of the corneal reflection of a non-coaxial light source
WO2013007612A1 (en) Light field camera for fundus photography
JP2015221089A (ja) 画像生成装置および画像生成方法
WO2017145531A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
CN106419890B (zh) 一种基于时空调制的血流速度测量装置及方法
CN105534606A (zh) 用于外科手术的智能成像系统
CN110599524B (zh) 调焦成像子系统、激光散斑血流成像系统和方法
CN112535465B (zh) 一种基于片层光的三维血流速度成像方法及装置
JP6516597B2 (ja) 画像処理装置及び画像処理方法
JP2021092445A (ja) 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
DE102013009634B4 (de) Plenoptisches Bildgebungsverfahren
US20210330226A1 (en) Imaging method and imaging system
CN114189623B (zh) 基于光场的屈光图形生成方法、装置、设备及存储介质
EP1262810A2 (de) Verfahren zur Entfernungsmessung ausgedehnter Objekte in Verbindung mit einer optischen Betrachtungseinrichtung und Mikroskop zur Durchführung desselben
JP6604743B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
CN115035986A (zh) 一种多聚焦图像融合方法、系统及装置
Bezzubik et al. Optimization of algorithms for autofocusing a digital microscope
CN110022754A (zh) 用于优化的光学相干断层成像术的可视化系统和方法
JP7410481B2 (ja) 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
KR101959394B1 (ko) 다중-노출 레이저 스펙클 영상 수집 장치
DE102019211861A1 (de) Planungsverfahren und Vorrichtungen zur präzisen Änderung eines Brechungsindex
JP7355331B2 (ja) 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体
KR102383495B1 (ko) 의료 영상데이터 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191220

Assignee: Xinjingjie (Xiangtan) Medical Technology Co.,Ltd.

Assignor: HUST-SUZHOU INSTITUTE FOR BRAINSMATICS

Contract record no.: X2023980041687

Denomination of invention: Focusing imaging subsystem, laser speckle blood flow imaging system and method

Granted publication date: 20220729

License type: Exclusive License

Record date: 20230914