CN106361281B - 荧光实时成像、融合方法及装置 - Google Patents
荧光实时成像、融合方法及装置 Download PDFInfo
- Publication number
- CN106361281B CN106361281B CN201610795003.8A CN201610795003A CN106361281B CN 106361281 B CN106361281 B CN 106361281B CN 201610795003 A CN201610795003 A CN 201610795003A CN 106361281 B CN106361281 B CN 106361281B
- Authority
- CN
- China
- Prior art keywords
- image
- visible images
- fluorescence
- standard
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 42
- 238000002156 mixing Methods 0.000 claims abstract description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000005855 radiation Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 9
- 239000003814 drug Substances 0.000 abstract description 4
- 229940079593 drug Drugs 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000012827 research and development Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 20
- 238000012937 correction Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000001506 fluorescence spectroscopy Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 241001232809 Chorista Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002975 chemoattractant Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000001415 gene therapy Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明提供了一种荧光实时成像、融合方法及装置，其中，方法，包括：利用融合光源对成像区域进行荧光和可见光照射；采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像；矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；融合所述标准荧光图像和所述标准可见光图像获得融合图像。本发明可广泛用于光学分子影像实验的研究与药物的研发，具有广阔的发展前景。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种光学分子荧光成像方法，具体来说就是一种荧光实时成像、融合方法及装置。
背景技术
分子影像是21世纪最耀眼的科学与技术之一，它是指无损伤地在分子水平上探测生物体内分子，并给出体内分子分布信息的医学影像技术。并被实践证明是一种能够在体可视化分子、基因、细胞水平生物体生理病理变化的影像工具。作为其中一种重要的分子影像成像模态，光学分子影像凭借低成本、高通量、非侵入、非接触、非电离辐射、灵敏度高、特异性强等优势已经应用到了肿瘤的早期检测、药物的研发等领域。
光学分子影像技术相比于传统的影像技术，具有如下的优势：其一，光学分子影像技术可将基因表达、生物信号传递等复杂的过程变成直观的图像，使人们能更好地在分子水平上了解疾病的发生、发展机制及过程；其二，能够发现疾病早期的分子变异及病理改变过程；其三，可在活体上连续观察药物或基因治疗的机理和效果。通常，探测生物组织分子的方法包括分离体探测方法和在体探测方法两种，光学分子影像技术作为一种在体探测方法，其优势在于可以快速、远距离、无损伤地获得生物组织分子的图像。它可以揭示病变的早期分子生物学特征，从而为疾病的早期诊断和治疗提供可能，也为临床诊断引入了新的概念。
激发荧光成像技术是一种光学分子影像技术，激发荧光成像的原理可以描述为：通过生物体外的激发光源，照射生物体内的荧光基团，使其达到高能量状态，荧光基团吸收光能使得电子跃迁到了激发态，电子从激发态回到基态的过程中会释放出荧光，该荧光较激发光向红端移动，即发射的荧光的波长比激发荧光的波长要长，荧光在组织体内传播并有一部分达到体表，从体表发出的荧光被高灵敏度的探测器接收到，从而形成荧光图像。通常，荧光基团产生的荧光经过生物体内组织的吸收、散射后，到达表面的时候强度已经较弱，这时候，就需要在避光条件良好的暗箱环境中进行成像操作，即利用高灵敏度的电荷耦合元件(CCD)相机捕获到达表面的荧光光子，然后通过计算机处理捕获的信号并进行成像。
目前市场上成型的激发荧光成像系统大致上分成两类：一类是采用单台相机进行实时成像，这类产品在实时成像的时候，荧光实时成像和白光实时成像需要分阶段的进行，不能达到同时的荧光实时成像和白光实时成像，且实时成像的效果不理想。另一类是采用多台相机进行实时成像，这类产品成像的分辨率较高，且能够同进行荧光数据实时成像和白光数据实时成像，但是由于荧光相机和白光相机的芯片尺寸不同，而且荧光数据和白光数据分别通过两个通道传输给计算机，使得这类产品无法对荧光数据和白光数据融合后的图像进行实时成像。
因此，本领域技术人员亟待研发一种可以对荧光数据和白光数据融合后的图像进行实时成像的荧光实时成像方法。
发明内容
有鉴于此，本发明要解决的技术问题在于提供一种荧光实时成像、融合方法及装置，解决了现有荧光成像系统无法对荧光数据和白光数据融合后的图像进行实时成像的问题。
为了解决上述技术问题，本发明的具体实施方式提供一种荧光实时成像、融合方法，包括：利用融合光源对成像区域进行荧光和可见光照射；采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像；矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；融合所述标准荧光图像和所述标准可见光图像获得融合图像。
本发明的具体实施方式还提供一种荧光实时成像、融合装置，包括：融合光源，用于对成像区域进行荧光和可见光照射；荧光信号采集单元，用于采集成像区域内的荧光光学信号获得荧光图像；可见光信号采集单元，用于采集成像区域内的可见光光学信号获得可见光图像；视野矫正单元，用于矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；图像处理单元，用于融合所述标准荧光图像和所述标准可见光图像获得融合图像。
根据本发明的上述具体实施方式可知，荧光实时成像、融合方法及装置至少具有以下有益效果：利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像；最后显示融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。
附图说明
下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。
图1为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例一的流程图；
图2为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例二的流程图；
图3为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例三的流程图；
图4为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例四的流程图；
图5为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例一的示意框图；
图6为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例二的示意框图；
图7为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例三的示意框图；
图8为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例四的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。
本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
图1为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例一的流程图，如图1所示，利用融合光源对成像区域进行荧光和可见光照射，采集并矫正成像区域内的荧光图像和可见光图像，最后融合矫正后的荧光图像和可见光图像获得融合图像。
该附图所示的具体实施方式包括：
步骤101：利用融合光源对成像区域进行荧光和可见光照射。融合光源能够同时发出近红外荧光和可见光。
步骤102：采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像。利用两台电荷耦合元件(CCD)相机同时获取成像区域内的荧光图像和可见光图像。
步骤103：矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像。由于荧光CCD相机和可见光CCD相机的芯片尺寸不同，导致CCD相机同时获取成像区域内的荧光图像和可见光图像的图像视野不同，因此，需要矫正荧光图像和可见光图像。
步骤104：融合所述标准荧光图像和所述标准可见光图像获得融合图像。
参见图1，利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。
图2为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例二的流程图，如图2所示，在进行图像融合之前，对所述标准荧光图像和所述标准可见光图像进行增强、伪彩色处理。
该附图所示的具体实施方式中，步骤104之前，该方法还包括：
步骤103-1：对所述标准荧光图像和所述标准可见光图像进行增强、伪彩色处理。
参见图2，对标准荧光图像和标准可见光图像进行增强、伪彩色处理后，再进行图像融合，使得最终得到的图像清晰且特征突出。
图3为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例三的流程图，如图3所示，根据需要，可以显示标准荧光图像、标准可见光图像或者融合图像。
该附图所示的具体实施方式中，步骤104之后，该方法还包括：
步骤105：根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。
参见图3，通过设置，可以显示标准荧光图像、标准可见光图像或者融合图像，满足用户的特定需求，提高用户使用的便利性。
图4为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例四的流程图，如图4所示，查找荧光图像和可见光图像的重合区域，取它们的重合区域作为标准荧光图像和标准可见光图像。
该附图所示的具体实施方式中，步骤103具体包括：
步骤1031：查找所述荧光图像和所述可见光图像的重合区域部分。
步骤1032：在所述荧光图像上取重合区域部分作为标准荧光图像。
步骤1033：在所述可见光图像上取重合区域部分作为标准可见光图像。
本发明的具体实施例中，步骤1031进一步包括：
计算所述荧光图像的灰度梯度矩阵A。
计算所述可见光图像的灰度梯度矩阵B。
计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵。
根据所述相关性矩阵计算最优配准点。
根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。
参见图4，查找荧光图像和可见光图像的重合区域，基于重合区域在荧光图像上获取标准荧光图像，并基于重合区域在可见光图像上获取标准可见光图像；对获取的荧光图像和可见光图像进行视野矫正，使荧光图像和可见光图像的视野相同，从而可以对标准荧光图像和标准可见光图像进行实时融合成像。
图5为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例一的示意框图，如图5所示的装置可以应用到图1-图4所示的方法中，利用融合光源对成像区域进行荧光和可见光照射，采集并矫正成像区域内的荧光图像和可见光图像，最后融合矫正后的荧光图像和可见光图像获得融合图像。
该附图所示的具体实施方式中，该装置包括融合光源1、荧光信号采集单元2、可见光信号采集单元3、视野矫正单元4和图像处理单元5，其中，融合光源1用于对成像区域进行荧光和可见光照射；荧光信号采集单元2用于采集成像区域内的荧光光学信号获得荧光图像；可见光信号采集单元3用于采集成像区域内的可见光光学信号获得可见光图像；视野矫正单元4用于矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；图像处理单元5用于融合所述标准荧光图像和所述标准可见光图像获得融合图像。本发明的具体实施例中，由于荧光CCD相机和可见光CCD相机的芯片尺寸不同，导致CCD相机同时获取成像区域内的荧光图像和可见光图像的图像视野不同，利用视野矫正单元4矫正荧光图像和可见光图像后，获得标准荧光图像和标准可见光图像，所述标准荧光图像和所述标准可见光图像的视野完全一样；图像处理单元5还用于对所述标准荧光图像进行增强、伪彩色处理，使最终得到的融合图像清晰且特征突出；具体来说，对标准荧光图像做图像增强处理得到增强标准荧光图像，然后对增强标准荧光图像做加伪彩色处理得到伪彩色荧光图像，最后将标准可见光图像和伪彩色荧光图像做融合处理，得到最终的融合图像。
参见图5，利用融合光源对成像区域进行多光谱照射；利用荧光信号采集单元2采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光信号采集单元3采集成像区域内的可见光光学信号从而获得可见光图像；然后视野矫正单元4对荧光图像和可见光图像进行视野矫正后，图像处理单元5融合视野矫正后的荧光图像和可见光图像从而获得融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。
图6为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例二的示意框图，如图6所示，根据需要，可以显示标准荧光图像、标准可见光图像或者融合图像。
该附图所示的具体实施方式中，该装置还包括显示单元6，其中，显示单元6用于根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。
参见图6，通过设置，可以显示标准荧光图像、标准可见光图像或者融合图像，满足用户的特定需求，提高用户使用的便利性。
图7为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例三的示意框图，如图7所示，融合光源具有融合光源主机和融合光源照射设备；荧光信号采集单元具有光学镜头和荧光CCD相机；可见光信号采集单元具有可见光光学镜头和可见光CCD相机。
该附图所示的具体实施方式中，所述融合光源1进一步包括融合光源主机11和融合光源照射设备12，其中，融合光源照射设备12用于同时发出近红外荧光和可见光。所述荧光信号采集单元2进一步包括光学镜头21和荧光CCD相机22，其中，荧光CCD相机用于探测近红外荧光。所述可见光信号采集单元3进一步包括可见光光学镜头31和可见光CCD相机32，其中，可见光CCD相机32用于探测可见光。利用荧光信号采集单元2和可见光信号采集单元3采集图像之前，需要设置荧光CCD相机22和可见光CCD相机32的曝光时间、相机快门方式、是否自动存储图像数据等参数。
参见图7，本发明通过选择合适的两台CCD相机及其对应的带通滤光片和光学镜头，使最终得到的融合图像清晰且特征突出。
图8为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例四的示意框图，如图8所示，寻找荧光图像和可见光图像的重合区域，取它们的重合区域作为标准荧光图像和标准可见光图像。
该附图所示的具体实施方式中，所述视野矫正单元4进一步包括查找模块41、第一获取模块42和第二获取模块43，其中，查找模块41用于查找所述荧光图像和所述可见光图像的重合区域部分；第一获取模块42用于在所述荧光图像上取重合区域部分作为标准荧光图像；第二获取模块43用于在所述可见光图像上取重合区域部分作为标准可见光图像。
本发明的具体实施例中，查找模块41进一步包括：第一计算子模块、第二计算子模块、第三计算子模块、第四计算子模块和第五计算子模块，其中，第一计算子模块用于计算所述荧光图像的灰度梯度矩阵A；第二计算子模块用于计算所述可见光图像的灰度梯度矩阵B；第三计算子模块用于计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵；第四计算子模块用于根据所述相关性矩阵计算最优配准点；第五计算子模块用于根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。
参见图8，查找荧光图像和可见光图像的重合区域，基于重合区域在荧光图像上获取标准荧光图像，并基于重合区域在可见光图像上获取标准可见光图像；对获取的荧光图像和可见光图像进行视野矫正，使荧光图像和可见光图像的视野相同，从而可以对标准荧光图像和标准可见光图像进行实时融合成像。
本发明的具体实施例中，在成像区域上放置浓度为0.04mg/ml吲哚菁绿荧光染料EP管(即eppendorf管，离心管的一种)，使得融合光源发出的光照射在EP管的正上方，利用本发明提供的荧光实时成像、融合装置进行荧光实时成像、融合处理，从而验证装置的可靠性与实用性。
本发明提供一种荧光实时成像、融合方法及装置，利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像；最后显示融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。荧光实时成像、融合装置结构合理、实用，可广泛用于光学分子影像实验的研究与药物的研发，具有广阔的发展前景。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行上述方法的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array，FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
以上所述仅为本发明示意性的具体实施方式，在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本发明保护的范围。
Claims (8)
1.一种荧光实时成像、融合方法，其特征在于，该方法包括：
利用融合光源对成像区域进行荧光和可见光照射；
采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像，其中，所述荧光图像和可见光图像利用两台电荷耦合元件相机同时获取；
矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；以及
融合所述标准荧光图像和所述标准可见光图像获得融合图像；
矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像的步骤，具体包括：
查找所述荧光图像和所述可见光图像的重合区域部分；
在所述荧光图像上取重合区域部分作为标准荧光图像；以及
在所述可见光图像上取重合区域部分作为标准可见光图像。
2.如权利要求1所述的荧光实时成像、融合方法，其特征在于，融合所述标准荧光图像和所述标准可见光图像获得融合图像的步骤之前，该方法还包括：
对所述标准荧光图像进行增强、伪彩色处理。
3.如权利要求1所述的荧光实时成像、融合方法，其特征在于，融合所述标准荧光图像和所述标准可见光图像获得融合图像的步骤之后，该方法还包括：
根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。
4.如权利要求1所述的荧光实时成像、融合方法，其特征在于，查找所述荧光图像和所述可见光图像的重合区域部分的步骤，进一步包括：
计算所述荧光图像的灰度梯度矩阵A；
计算所述可见光图像的灰度梯度矩阵B；
计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵；
根据所述相关性矩阵计算最优配准点；以及
根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。
5.一种荧光实时成像、融合装置，其特征在于，该装置包括：
融合光源，用于对成像区域进行荧光和可见光照射；
荧光信号采集单元，用于采集成像区域内的荧光光学信号获得荧光图像；
可见光信号采集单元，用于采集成像区域内的可见光光学信号获得可见光图像；
视野矫正单元，用于矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；以及
图像处理单元，用于融合所述标准荧光图像和所述标准可见光图像获得融合图像；
所述视野矫正单元具体包括：查找模块，用于查找所述荧光图像和所述可见光图像的重合区域部分；
第一获取模块，用于在所述荧光图像上取重合区域部分作为标准荧光图像；以及
第二获取模块，用于在所述可见光图像上取重合区域部分作为标准可见光图像；
其中，所述荧光信号采集单元及可见光信号采集单元均为电荷耦合单元相机，且同时工作以便同时获取所述荧光图像和可见光图像。
6.如权利要求5所述的荧光实时成像、融合装置，其特征在于，所述图像处理单元还用于对所述标准荧光图像进行增强、伪彩色处理。
7.如权利要求5所述的荧光实时成像、融合装置，其特征在于，该装置还包括：
显示单元，用于根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。
8.如权利要求5所述的荧光实时成像、融合装置，其特征在于，所述查找模块进一步包括：
第一计算子模块，用于计算所述荧光图像的灰度梯度矩阵A；
第二计算子模块，用于计算所述可见光图像的灰度梯度矩阵B；
第三计算子模块，用于计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵；
第四计算子模块，用于根据所述相关性矩阵计算最优配准点；以及
第五计算子模块，用于根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610795003.8A CN106361281B (zh) | 2016-08-31 | 2016-08-31 | 荧光实时成像、融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610795003.8A CN106361281B (zh) | 2016-08-31 | 2016-08-31 | 荧光实时成像、融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106361281A CN106361281A (zh) | 2017-02-01 |
| CN106361281B true CN106361281B (zh) | 2018-06-19 |
Family
ID=57898827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610795003.8A Active CN106361281B (zh) | 2016-08-31 | 2016-08-31 | 荧光实时成像、融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106361281B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108056821B (zh) * | 2018-02-08 | 2020-08-14 | 北京数字精准医疗科技有限公司 | 一种开放式荧光超声融合造影导航系统 |
| CN108478196A (zh) * | 2018-05-25 | 2018-09-04 | 北京数字精准医疗科技有限公司 | 基于分子影像的分光成像装置 |
| CN110327019A (zh) * | 2019-06-25 | 2019-10-15 | 中国科学院自动化研究所 | 术中组织契伦科夫荧光成像系统及其图像处理方法 |
| CN111380843A (zh) * | 2019-06-28 | 2020-07-07 | 南京大学 | 一种高灵敏的可见-近红外双通道激光荧光显微镜的装置设计及其成像方法 |
| CN110811495B (zh) * | 2019-10-28 | 2022-04-05 | 浙江华诺康科技有限公司 | 荧光内窥镜的病灶尺寸测量方法、系统及计算机设备 |
| CN111223069B (zh) * | 2020-01-14 | 2023-06-02 | 天津工业大学 | 一种图像融合方法及系统 |
| CN112037216B (zh) * | 2020-09-09 | 2022-02-15 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统图像融合方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016029403A1 (zh) * | 2014-08-28 | 2016-03-03 | 中国科学院自动化研究所 | 一种头戴式分子影像导航系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1196081B1 (en) * | 1999-07-02 | 2013-08-21 | HyperMed Imaging, Inc. | Integrated imaging apparatus |
| US7317818B2 (en) * | 2001-11-26 | 2008-01-08 | L'ORéAL S.A. | Method of enabling an analysis of an external body portion |
| CN102397106B (zh) * | 2011-10-03 | 2013-07-10 | 杨晓峰 | 多光谱分光融合外科手术引导系统 |
-
2016
- 2016-08-31 CN CN201610795003.8A patent/CN106361281B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016029403A1 (zh) * | 2014-08-28 | 2016-03-03 | 中国科学院自动化研究所 | 一种头戴式分子影像导航系统 |
Non-Patent Citations (5)
| Title |
|---|
| 《荧光图像融合与伪彩色增强技术》;李晓阳;《中国优秀硕士学位论文全文数据库》;20140815;全文 * |
| Illuminating necrosis: From mechanistic exploration to preclinical application using fluorescence molecular imaging with indocyanine green;方程;《Scientific Reports》;20160211;全文 * |
| 一种基于互信息与梯度的图像精确配准方法;刘君;《南昌大学学报(工科版)》;20121231;全文 * |
| 一种荧光手术导航目镜系统的设计与应用研究;徐俊斌;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑（月刊 ）》;20141215;全文 * |
| 基于灰度互信息和梯度相似性的医学图像配准及其加速处理;陈伟卿;《智能系统学报》;20081231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106361281A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106361281B (zh) | 荧光实时成像、融合方法及装置 | |
| JP7086121B2 (ja) | 波長帯選択による画像化を用いた尿管検出 | |
| JP6732807B2 (ja) | 生検標本蛍光イメージング装置及び方法 | |
| US8041409B2 (en) | Method and apparatus for multi-modal imaging | |
| Trifonov et al. | Tomographic reconstruction of transparent objects | |
| CN104116497B (zh) | 内窥式光学分子影像导航系统和多光谱成像方法 | |
| EP3641622B1 (en) | System for endoscopic imaging and method for processing images | |
| WO2017021942A1 (ko) | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 | |
| CN106447703A (zh) | 近红外荧光与契伦科夫荧光融合成像方法及设备 | |
| CN105828727A (zh) | 红外光成像装置 | |
| CN105105697B (zh) | 一种医用内窥式辐射发光成像系统及其成像方法 | |
| CN114298980A (zh) | 一种图像处理方法、装置及设备 | |
| US10413619B2 (en) | Imaging device | |
| Cao et al. | Geometrical co-calibration of a tomographic optical system with CT for intrinsically co-registered imaging | |
| CN108392181A (zh) | 关注区域跟踪装置 | |
| CN104323858B (zh) | 手持式分子影像导航系统 | |
| CN105662354B (zh) | 一种广视角光学分子断层成像导航系统及方法 | |
| Han et al. | SiPM-based gamma detector with a central GRIN lens for a visible/NIRF/gamma multi-modal laparoscope | |
| JP7435272B2 (ja) | 治療支援装置および治療支援装置の作動方法 | |
| Gao et al. | Image overlay solution based on threshold detection for a compact near infrared fluorescence goggle system | |
| KR20200040211A (ko) | 바이러스 감염과 비바이러스 감염을 현장에서 구분하기 위해 연결할 온도계에 관한 장치, 시스템 및 방법 | |
| CN108392180B (zh) | 时间强度曲线测定装置 | |
| KR101133503B1 (ko) | 광학 및 ｘ선 융합 ｃｔ 장치와 그 데이터의 재구성 방법 | |
| CN205795645U (zh) | 一种广视角光学分子断层成像导航系统 | |
| JP2019066398A (ja) | イメージング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190123 Address after: 519040 Zhuhai International Health Port Testing Office Building A 103A, 628 Airport West Road, Sanzao Town, Jinwan District, Zhuhai City, Guangdong Province Patentee after: Zhuhai Dipu Medical Technology Co., Ltd. Address before: Room 106-387, No. 2 Building, 8 Yuan, Xingsheng South Road, Miyun County, Beijing 101500 Patentee before: Beijing digital precision medical technology Co., Ltd. |
|
| TR01 | Transfer of patent right |