CN108186115A - 手持式荧光超声融合造影导航系统 - Google Patents

手持式荧光超声融合造影导航系统 Download PDF

Info

Publication number
CN108186115A
CN108186115A CN201810130045.9A CN201810130045A CN108186115A CN 108186115 A CN108186115 A CN 108186115A CN 201810130045 A CN201810130045 A CN 201810130045A CN 108186115 A CN108186115 A CN 108186115A
Authority
CN
China
Prior art keywords
image
fluorescent
hand
pathological tissues
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810130045.9A
Other languages
English (en)
Other versions
CN108186115B (zh
Inventor
迟崇巍
王丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital Precision Medical Technology Co Ltd
Original Assignee
Beijing Digital Precision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Digital Precision Medical Technology Co Ltd filed Critical Beijing Digital Precision Medical Technology Co Ltd
Priority to CN201810130045.9A priority Critical patent/CN108186115B/zh
Publication of CN108186115A publication Critical patent/CN108186115A/zh
Application granted granted Critical
Publication of CN108186115B publication Critical patent/CN108186115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种手持式荧光超声融合造影导航系统，多光谱光源激发模块激发近红外激光和可见白色光；手持式探测器模块包括一体化契合设置的荧光探头和超声探头，荧光探头照射开放生物体的组织，获得特异性组织部位的荧光图像；信息处理模块对荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像；根据所显示的病变组织的位置和边界，高频超声激发模块激发多频率超声，超声探头对病变组织进行超声探测，获得病变组织连续的二维超声图像；信息处理模块还对连续的二维超声图像进行3D配准融合，得到病变组织的3D超声图像；信息处理模块将3D超声图像传送至显示器显示，增强荧光图像和3D超声图像为外科医生提供实时的手术影像导航。

Description

手持式荧光超声融合造影导航系统
技术领域
本发明涉及多模态医学成像技术领域，具体而言，涉及一种手持式荧光超声融合造影导航系统。
背景技术
手持式导航系统用于普通临床手术，是指医生在手术过程中所使用的不侵入生物体内部的手持设备，通过对生物体表的探测完成术中导航。随着医学影像技术的发展，分子影像导航设备已成为助力医生在手术过程中的“观察手”和“情报员”。其中基于光学荧光成像的手持式导航系统已见于临床应用，通过激光激发组织获得具有特异性的荧光成像方式，可以有效判断肿瘤或病变组织轮廓。虽然光学荧光成像导航系统为医生寻找病变组织的位置和浅层边界提供了引导，但由于光学方式获取的像是物体可视区域的二维平面投影，即使部分荧光具有一定无损组织的穿透能力，亦不能满足医生对病变组织或血管的纵深信息勘察。
与荧光成像获得的信息不同，超声成像利用超声在人体组织或血管传播的特异性，通过特定的超声探头，反馈的是组织在纵深方向的断层图像信息。虽然超声能有效获取组织的纵深影像，但却不能为医生寻找兴趣区域(肿瘤、血管等)提供快速导航。
结合光学荧光成像与超声成像的优点，本发明提出一种手持式荧光超声融合造影系统，以光学方式获取兴趣区域位置和边界的荧光图像，以超声探测方式获取兴趣区域纵深切面的超声图像，完成荧光图像和超声图像的融合造影，形成新型的三维分子影像画面，实现医生在手术过程中的精准导航。
发明内容
本发明提供一种手持式荧光超声融合造影导航系统，采用手持式的荧光超声探测器，通过实时造影反应出更全面的组织结构和病理信息。
本发明提供一种手持式荧光超声融合造影导航系统，包括:手持式探测器模块、多光谱光源激发模块、高频超声激发模块和信息处理模块，其中：
所述多光谱光源激发模块用于激发近红外激光和可见白色光，所述近红外激光用于激发具有特异性组织荧光造影剂；
所述手持式探测器模块包括一体化契合设置的荧光探头和超声探头，所述荧光探头用于照射开放生物体的组织，获得特异性组织部位的荧光图像，并将所述荧光图像传送至所述信息处理模块；
所述信息处理模块用于对所述荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像，并将所述增强荧光图像发送至显示器进行显示；
根据所显示的病变组织的位置和边界，所述高频超声激发模块用于激发多频率超声，所述超声探头用于对病变组织进行超声探测，获得病变组织连续的二维超声图像，并将连续的所述二维超声图像传送给所述信息处理模块；
所述信息处理模块还用于对连续的所述二维超声图像进行3D配准融合，得到病变组织的3D超声图像；
所述信息处理模块还用于将所述3D超声图像传送至显示器显示，所述增强荧光图像和所述3D超声图像为外科医生提供实时的手术影像导航。
进一步地，所述荧光探头的轴线和所述超声探头的轴线之间夹角为30°。
进一步地，所述荧光探头为由可采集可见白光和近红外荧光的近红外相机组成的光学成像探头。
进一步地，所述手持式探测器模块还包括光源照射器，所述光源照射器设置在所述荧光探头内，用于照射可见光和近红外激光。
进一步地，所述手持式荧光超声融合造影导航系统还包括连接装置，所述连接装置连接在所述信息处理模块和所述荧光探头以及所述信息处理模块和所述超声探头之间。
进一步地，所述的手持式荧光超声融合造影导航系统还包括封装装置，用于将所述手持式探测器模块、所述多光谱光源激发模块、所述高频超声激发模块和所述信息处理模块封装为手持式导航装置，其中，所述荧光探头和所述超声探头的探测传感部分从所述封装装置中伸出。
进一步地，所述超声探头超声探测的位置对应于所增强荧光图像的中间位置，当病变组织在所述增强荧光图像中显示在图像中部时，采集超声图像的探测位置是病变组织的中部位置；在探测时，保持该位置接触点不变，使用所述超声探头进行左右旋转扫描，获得多幅U型二维超声图像。
进一步地，所述信息处理模块对所述荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像包括：
对所述荧光图像进行图像增强、自动阈值、灰度拉伸预处理；
对预处理之后的荧光图像进行的边缘提取，将病变组织和正常组织进行边界划分，并显示在处理后的荧光增强图像中；
针对所述荧光增强图像中病变组织区域进行分析，获取中心坐标、区域像素面积、像素最大值、像素最小值，为医生进行手术操作提供判断依据。
进一步地，所述信息处理模块对连续的所述二维超声图像进行3D配准融合，得到病变组织的3D超声图像包括：
对每幅二维超声图像进行预处理，实现图像的平滑与降噪；使用图像直方图进行均衡化处理，组合使用低通滤波器与高通滤波器，实现图像的平滑与降噪；
对预处理之后的二维超声图像采用SOBEL算法进行边缘检测和提取；
针对每幅二维超声图像，将检测到的边缘通过对邻近断点进行连接，实现各特征边缘的闭合连接，同时将封闭轮廓内的像素值小于设定值的像素点删除；
以检测到的封闭轮廓的几何特征为基元，采用基于特征形状的立体匹配算法，进行二维超声图像的配准与3D重构，得到病变组织的3D超声图像。
进一步地，当连续的所述二维超声图像的达到一定量时，以检测到的封闭轮廓的几何特征为基元对图像进行叠加，得到病变组织的3D超声图像。
本发明实现了以下有益效果：
(1)本发明提供一种手持式荧光超声融合造影导航系统，可以有效利用光学荧光成像和3D超声成像的特点，为不侵入生物体的体外式探测造影导航提供三维信息，全面反映病理组织形貌。
(2)本发明设计了方便简洁的手持式探测器，将荧光成像探头与超声换能探头合理的结合到一起，方便术中操作。
(3)本发明所采用的荧光超声融合造影不仅能实现组织或病变肿瘤的全貌探查，且对生物体或组织无损害无辐射，满足临床应用要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的手持式荧光超声融合造影导航系统的功能框图；
图2为本发明一个实施例的手持式荧光超声融合造影导航系统的结构示意图；
图3为本发明一个实施例的二维超声图像的3D融合配准流程流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一个实施例的手持式荧光超声融合造影导航系统，包括:手持式探测器模块、多光谱光源激发模块、高频超声激发模块和信息处理模块，其中：
多光谱光源激发模块用于激发近红外激光(波长为760nm的激光(可激励病变组织处发出波长为810nm～890nm的近红外荧光))和可见白色光(波长400nm～650nm)，为荧光造影提供相应的动力和能量，可见白色光用于提高光学环境探测质量，近红外激光用于激发具有特异性组织荧光造影剂；
手持式探测器模块包括一体化契合设置的荧光探头和超声探头，荧光探头用于照射开放生物体的组织，获得特异性组织部位的荧光图像，并将荧光图像传送至信息处理模块；
信息处理模块用于对荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像，并将增强荧光图像发送至显示器进行显示；
根据所显示的病变组织的位置和边界，高频超声激发模块用于激发多频率超声，超声探头用于对病变组织进行超声探测，获得病变组织连续的二维超声图像，并将连续的二维超声图像传送给信息处理模块；
信息处理模块还用于对连续的二维超声图像进行3D配准融合，得到病变组织的3D超声图像；
信息处理模块还用于将3D超声图像传送至显示器显示，增强荧光图像和3D超声图像为外科医生提供实时的手术影像导航。
本实施例选用激发白光和近红外激光的两光谱激光激发器，以及选用激发频率为7.5MHz的超声激发器。
如附图2所示，手持式探测器包含超声探头1，封装装置2，光源照射器3，荧光探头4，以及连接装置5。其中荧光探头4采用光学成像探头，光学成像探头主要由可采集荧光的近红外相机组成；超声探头1采用超声换能探头，超声换能探头与目前较常使用的微泡超声造影剂共同使用，实现组织和病变位置的超声造影；光源照射器3，用于照射可见光和近红外激光光学，可见光提高光学环境探测质量，激光用于激发具有特异性组织荧光造影剂(如ICG等)；连接装置5，用于连接光学成像探头4和超声换能探头1；封装装置2，用于将整个成像系统封装为手持式的导航装置，其中手持式探测器的各模块除用于探测传感的部分外均包含在封装装置2的内部。
在具体实施时，如附图2所示，激光激发器3可包含在光学成像探头4中，共同连接到连接装置5，手持式探测器的各模块除用于探测传感的部分外均包含在封装装置2的内部。
如图2所示，一体化契合的荧光探头和超声探头，其中荧光探头的轴线和超声探头的轴线成30°角，该安装方式应有如下特征：
(1)光学成像探头照射生物体组织或病变部位，采集组织的荧光图像，快速定位病变组织的位置及边缘；
(2)在病变组织部位使用超声换能探头对组织表皮进行接触式探测，采集组织的二维超声图像，确定病变部位深度。
(3)超声探头超声探测的位置对应于增强荧光图像的中间位置，当病变组织在增强荧光图像中显示在图像中部时，采集超声图像的探测位置是病变组织的中部位置；在探测时，保持该位置接触点不变，使用超声探头进行左右旋转扫描，获得多幅U型二维超声图像。
在具体实施时，信息处理模块对荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像包括：
对荧光图像进行图像增强、自动阈值、灰度拉伸预处理；
对预处理之后的荧光图像进行的边缘提取，将病变组织和正常组织进行边界划分，并显示在处理后的荧光增强图像中；
针对荧光增强图像中病变组织区域进行分析，获取中心坐标、区域像素面积、像素最大值、像素最小值，为医生进行手术操作提供判断依据。
其中，对荧光图像的图像增强处理主要采用高斯滤波和直方图增强方法实现。
进一步地，信息处理模块对连续的二维超声图像进行3D配准融合，得到病变组织的3D超声图像包括：
对每幅二维超声图像进行预处理，实现图像的平滑与降噪；使用图像直方图进行均衡化处理，组合使用低通滤波器与高通滤波器，实现图像的平滑与降噪；
对预处理之后的二维超声图像采用SOBEL算法进行边缘检测和提取；
针对每幅二维超声图像，将检测到的边缘通过对邻近断点进行连接，实现各特征边缘的闭合连接，同时将封闭轮廓内的像素值小于设定值的像素点删除；
以检测到的封闭轮廓的几何特征为基元，采用基于特征形状的立体匹配算法，进行二维超声图像的配准与3D重构，得到病变组织的3D超声图像。
利用上述方案的手持式荧光超声融合造影导航系统，用于术中对生物体组织的手持式探测造影导航，包括以下步骤：
(Ⅰ)由多光谱光源与高频超声激发器激发近红外激光、可见白色光和固定高频的超声，为荧光造影和超声造影分别提供相应的动力和能量；
(Ⅱ)手持式探测器如附图2所示，将荧光探头与超声探头进行一体化契合设置，由光学成像探头照射开放生物体的组织，获得特异性的组织部位荧光图像；根据荧光图像提供的病变组织位置和边界，通过超声换能探头进行组织超声探测，获得病变组织的二维超声图像；
(Ⅲ)荧光图像和超声图像传入信息处理模块，进行图像增强处理和超声图像的3D配准融合。
其中，信息处理模块对荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像包括：
对荧光图像进行图像增强、自动阈值、灰度拉伸预处理；
对预处理之后的荧光图像进行的边缘提取，将病变组织和正常组织进行边界划分，并显示在处理后的荧光增强图像中；
针对荧光增强图像中病变组织区域进行分析，获取中心坐标、区域像素面积、像素最大值、像素最小值，为医生进行手术操作提供判断依据。
信息处理模块对二维超声图像的3D配准融合流程如附图3所示，详细步骤如下：
步骤【3.1】：首先对2D超声图像进行预处理，使用图像直方图进行均衡化处理，组合使用低通滤波器与高通滤波器，实现图像的平滑与降噪；
步骤【3.2】：对预处理之后的超声图像采用SOBEL边缘检测和提取(该算法较CANNY具有更好的检测效率)；
步骤【3.3】：将检测到的边缘通过邻近断点进行连接，实现各特征边缘的闭合连接，同时将封闭轮廓的像素值小于设定值(如可设定为5pixels)的区域删除；
步骤【3.4】：以检测到的封闭轮廓的几何特征为基元，采用基于特征形状的立体匹配算法，进行2D超声图像的配准与3D重构，由于2D超声图像的为连续的切片式扫描图像，在一定图像量下，重构仅需要叠加即可，其效率满足实时导航的需要。
在另一实施例中，所述信息处理模块对所述荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像包括：
荧光图像预处理，对荧光图像进行灰度化，灰度化的荧光图像进行高斯模糊，实现对荧光图像的降噪处理；
荧光图像的增强处理，基于高斯函数变换的图像增强算法，对预处理后的图像进行图像增强；
将增强后的荧光图像映射为彩色荧光图像。
进一步地，所述信息处理模块对连续的所述二维超声图像进行3D配准融合，得到病变组织的3D超声图像包括：
对每幅二维超声图像进行预处理，去除图像中的随机噪点，同时在二值化后进行面积连通域去燥，同时将区域面积内的像素值小于设定值的像素点删除；
采用高斯函数变换的图像增强算法实现超声图像的增强，得到增强超声图像；
对每一幅增强超声图像的关键边界特征进行提取，采用高斯边缘提取算法准确提取增强超声图像的关键边界特征；
通过基于特征的匹配算法，以检测到的关键边界特征构成的几何形状为匹配基元，对二维超声图像进行特征的三维配准融合，重构超声图像的3D信息，并增加辅助的立体示意曲线或曲面，为医生提供直观指引。
其中，所述高斯函数变换的图像增强算法包括：
A:假设高斯分布函数为：G(x)＝1-a*exp[-(x-b)2/c2]，其中a,b,c是可调节参数，决定了高斯分布的形状和位置，b决定高斯直方图主峰的位置，c决定主峰“开口”的大小，a决定主峰的高度，主峰越高，a越大，a为1时，主峰被平滑消隐，x表示以灰度数值为区间的连续自变量，区间为0～255；
B、根据预处理后的图像的直方图分布，统计主峰位置m(k0)和高度h[m(k0)]，确定参数b，如公式(1)所示：
其中，k代表直方图灰度等级，0～255范围内取整数；
C、规定幅值下降为主峰峰值的处所对应的宽度为带宽，根据h(m(k0))在直方图中搜索主峰的带宽Δm，确定参数c，如公式(2)所示：
D、根据直方图主峰的高度，确定参数a，当a＝0时，意味着直方图分布较均匀，算法表示为直方图均衡化，如公式(3)所示：
其中，N为灰度图像现有灰度等级的数量，在直方图统计的时候同时得到；
E、确定高斯函数G(x)后，利用公式(4)进行均衡化函数修正；其中H(k)和HT(k)分别表示预处理后的图像直方图分布函数和修正后的图像直方图分布函数，k表示直方图灰度等级，0～255范围内取整数；
其中，T值根据组织和器官的成像效果差异，采用自定义阈值方法确定；
F、对修正后的图像直方图进行增强处理，结果函数为FT(k)，如公式(5)所示：
其中，FT(k)为增强后的图像直方图函数，j代表0～k范围内的整数，M为最大灰度等级；
G、最后，采用高斯函数G(x)为增强后的图像直方图FT(k)做平滑处理，如公式(6)所示：
F’T(k)＝FT(k)·G(x)(0≤k≤M)公式(6)
其中F’T(k)表示平滑处理后直方图函数，式中x表示以灰度数值为区间的连续自变量，k为直方图灰度等级，0～255范围内取整数，实际计算时取x＝k。
本发明与现有技术相比具有如下优点：
(1)本发明提供一种手持式荧光超声融合造影导航系统，可以有效利用光学荧光成像和3D超声成像的特点，为不侵入生物体的体外式探测造影导航提供三维信息，全面反映病理组织形貌。
(2)本发明设计了方便简洁的手持式探测器，将荧光成像探头与超声换能探头合理的结合到一起，方便术中操作。
(3)本发明所采用的荧光超声融合造影不仅能实现组织或病变肿瘤的全貌探查，且对生物体或组织无损害无辐射，满足临床应用要求。
以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离以下所附权利要求所限定的精神和范围的情况下，可做出许多修改、变化或等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种手持式荧光超声融合造影导航系统，其特征在于，包括:手持式探测器模块、多光谱光源激发模块、高频超声激发模块和信息处理模块，其中：
所述多光谱光源激发模块用于激发近红外激光和可见白色光，所述近红外激光用于激发具有特异性组织荧光造影剂；
所述手持式探测器模块包括一体化契合设置的荧光探头和超声探头，所述荧光探头用于照射开放生物体的组织，获得特异性组织部位的荧光图像，并将所述荧光图像传送至所述信息处理模块；
所述信息处理模块用于对所述荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像，并将所述增强荧光图像发送至显示器进行显示；
根据所显示的病变组织的位置和边界，所述高频超声激发模块用于激发多频率超声，所述超声探头用于对病变组织进行超声探测，获得病变组织连续的二维超声图像，并将连续的所述二维超声图像传送给所述信息处理模块；
所述信息处理模块还用于对连续的所述二维超声图像进行3D配准融合，得到病变组织的3D超声图像；
所述信息处理模块还用于将所述3D超声图像传送至显示器显示，所述增强荧光图像和所述3D超声图像为外科医生提供实时的手术影像导航。
2.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，所述荧光探头的轴线和所述超声探头的轴线之间夹角为30°。
3.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，所述荧光探头为由可采集可见白光和近红外荧光的近红外相机组成的光学成像探头。
4.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，所述手持式探测器模块还包括光源照射器，所述光源照射器设置在所述荧光探头内，用于照射可见光和近红外激光。
5.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，还包括连接装置，所述连接装置连接在所述信息处理模块和所述荧光探头以及所述信息处理模块和所述超声探头之间。
6.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，还包括封装装置，用于将所述手持式探测器模块、所述多光谱光源激发模块、所述高频超声激发模块和所述信息处理模块封装为手持式导航装置，其中，所述荧光探头和所述超声探头的探测传感部分从所述封装装置中伸出。
7.根据权利要求2所述的手持式荧光超声融合造影导航系统，其特征在于，所述超声探头超声探测的位置对应于所增强荧光图像的中间位置，当病变组织在所述增强荧光图像中显示在图像中部时，采集超声图像的探测位置是病变组织的中部位置；在探测时，保持该位置接触点不变，使用所述超声探头进行左右旋转扫描，获得多幅U型二维超声图像。
8.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，所述信息处理模块对所述荧光图像进行处理获得包含病变组织的位置和边界的增强荧光图像包括：
对所述荧光图像进行图像增强、自动阈值、灰度拉伸预处理；
对预处理之后的荧光图像进行的边缘提取，将病变组织和正常组织进行边界划分，并显示在处理后的荧光增强图像中；
针对所述荧光增强图像中病变组织区域进行分析，获取中心坐标、区域像素面积、像素最大值、像素最小值，为医生进行手术操作提供判断依据。
9.根据权利要求1所述的手持式荧光超声融合造影导航系统，其特征在于，所述信息处理模块对连续的所述二维超声图像进行3D配准融合，得到病变组织的3D超声图像包括：
对每幅二维超声图像进行预处理，实现图像的平滑与降噪；使用图像直方图进行均衡化处理，组合使用低通滤波器与高通滤波器，实现图像的平滑与降噪；
对预处理之后的二维超声图像采用SOBEL算法进行边缘检测和提取；
针对每幅二维超声图像，将检测到的边缘通过对邻近断点进行连接，实现各特征边缘的闭合连接，同时将封闭轮廓内的像素值小于设定值的像素点删除；
以检测到的封闭轮廓的几何特征为基元，采用基于特征形状的立体匹配算法，进行二维超声图像的配准与3D重构，得到病变组织的3D超声图像。
10.根据权利要求9所述的手持式荧光超声融合造影导航系统，其特征在于，当连续的所述二维超声图像的达到一定量时，以检测到的封闭轮廓的几何特征为基元对图像进行叠加，得到病变组织的3D超声图像。
CN201810130045.9A 2018-02-08 2018-02-08 手持式荧光超声融合造影导航系统 Active CN108186115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130045.9A CN108186115B (zh) 2018-02-08 2018-02-08 手持式荧光超声融合造影导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130045.9A CN108186115B (zh) 2018-02-08 2018-02-08 手持式荧光超声融合造影导航系统

Publications (2)

Publication Number Publication Date
CN108186115A true CN108186115A (zh) 2018-06-22
CN108186115B CN108186115B (zh) 2020-04-21

Family

ID=62593368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130045.9A Active CN108186115B (zh) 2018-02-08 2018-02-08 手持式荧光超声融合造影导航系统

Country Status (1)

Country Link
CN (1) CN108186115B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109480776A (zh) * 2018-10-30 2019-03-19 中国科学院自动化研究所 近红外荧光手术成像系统及其使用方法
CN110226974A (zh) * 2019-07-08 2019-09-13 中国科学技术大学 一种基于增强现实的近红外荧光成像系统
CN110720895A (zh) * 2019-11-25 2020-01-24 窦少彬 一种基于fmt成像原理的小动物活体特征检测方法
CN111062906A (zh) * 2019-12-25 2020-04-24 浙江杜比医疗科技有限公司 散射光学成像乳房图像融合方法及其系统
CN111329589A (zh) * 2020-04-07 2020-06-26 张海民 一种手持式智能融合造影导航系统
WO2020181414A1 (zh) * 2019-03-08 2020-09-17 北京数字精准医疗科技有限公司 多光谱成像系统、装置、方法及存储介质
CN112037217A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN112672696A (zh) * 2018-09-14 2021-04-16 皇家飞利浦有限公司 用于跟踪超声图像中的工具的系统和方法
CN113040707A (zh) * 2020-12-02 2021-06-29 泰州国安医疗用品有限公司 人体组织病变参数解析平台及方法
CN113436129A (zh) * 2021-08-24 2021-09-24 南京微纳科技研究院有限公司 图像融合系统、方法、装置、设备及存储介质
CN113633381A (zh) * 2021-09-10 2021-11-12 中国科学院苏州生物医学工程技术研究所 基于超声实时导航的开路系统
CN113730165A (zh) * 2021-09-30 2021-12-03 南京市儿童医院 一种用于检测体表多个部位淋巴回流的装置
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置
CN114998664A (zh) * 2022-07-18 2022-09-02 中国科学院烟台海岸带研究所 一种多光学平台的海水中微塑料快速检测方法及检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262904A (ja) * 1997-03-26 1998-10-06 Olympus Optical Co Ltd 超音波内視鏡
CN201320183Y (zh) * 2008-12-15 2009-10-07 深圳先进技术研究院 一种新型人体内窥导管及系统
CN105431091A (zh) * 2013-08-01 2016-03-23 西江大学校产学协力団 用于获取融合图像的设备和方法
CN105813691A (zh) * 2013-12-12 2016-07-27 皇家飞利浦有限公司 解剖学超声信息与用于辐射治疗的辐射递送信息的实时融合
CN106214130A (zh) * 2016-08-31 2016-12-14 北京数字精准医疗科技有限公司 一种手持式光学成像和超声成像多模态融合成像系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262904A (ja) * 1997-03-26 1998-10-06 Olympus Optical Co Ltd 超音波内視鏡
CN201320183Y (zh) * 2008-12-15 2009-10-07 深圳先进技术研究院 一种新型人体内窥导管及系统
CN105431091A (zh) * 2013-08-01 2016-03-23 西江大学校产学协力団 用于获取融合图像的设备和方法
CN105813691A (zh) * 2013-12-12 2016-07-27 皇家飞利浦有限公司 解剖学超声信息与用于辐射治疗的辐射递送信息的实时融合
CN106214130A (zh) * 2016-08-31 2016-12-14 北京数字精准医疗科技有限公司 一种手持式光学成像和超声成像多模态融合成像系统与方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672696A (zh) * 2018-09-14 2021-04-16 皇家飞利浦有限公司 用于跟踪超声图像中的工具的系统和方法
US11243166B2 (en) 2018-10-30 2022-02-08 Institute Of Automation, Chinese Academy Of Sciences Intraoperative near-infrared-I and near-infrared-II multi-spectral fluorescent navigation system and method of using the same
CN109480776A (zh) * 2018-10-30 2019-03-19 中国科学院自动化研究所 近红外荧光手术成像系统及其使用方法
CN109480776B (zh) * 2018-10-30 2021-01-15 中国科学院自动化研究所 术中近红外一区和二区多谱段荧光导航系统及其使用方法
WO2020181414A1 (zh) * 2019-03-08 2020-09-17 北京数字精准医疗科技有限公司 多光谱成像系统、装置、方法及存储介质
CN110226974A (zh) * 2019-07-08 2019-09-13 中国科学技术大学 一种基于增强现实的近红外荧光成像系统
CN110720895A (zh) * 2019-11-25 2020-01-24 窦少彬 一种基于fmt成像原理的小动物活体特征检测方法
CN111062906A (zh) * 2019-12-25 2020-04-24 浙江杜比医疗科技有限公司 散射光学成像乳房图像融合方法及其系统
CN111062906B (zh) * 2019-12-25 2023-06-30 浙江杜比医疗科技有限公司 散射光学成像乳房图像融合方法及其系统
CN111329589A (zh) * 2020-04-07 2020-06-26 张海民 一种手持式智能融合造影导航系统
CN112037217B (zh) * 2020-09-09 2021-04-30 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN112037217A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN113040707A (zh) * 2020-12-02 2021-06-29 泰州国安医疗用品有限公司 人体组织病变参数解析平台及方法
CN113436129A (zh) * 2021-08-24 2021-09-24 南京微纳科技研究院有限公司 图像融合系统、方法、装置、设备及存储介质
CN113436129B (zh) * 2021-08-24 2021-11-16 南京微纳科技研究院有限公司 图像融合系统、方法、装置、设备及存储介质
CN113633381A (zh) * 2021-09-10 2021-11-12 中国科学院苏州生物医学工程技术研究所 基于超声实时导航的开路系统
CN113730165A (zh) * 2021-09-30 2021-12-03 南京市儿童医院 一种用于检测体表多个部位淋巴回流的装置
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置
CN114998664A (zh) * 2022-07-18 2022-09-02 中国科学院烟台海岸带研究所 一种多光学平台的海水中微塑料快速检测方法及检测装置

Also Published As

Publication number Publication date
CN108186115B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108186115A (zh) 手持式荧光超声融合造影导航系统
Steinberg et al. Photoacoustic clinical imaging
EP3488224B1 (en) Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and corresponding method
JP5435532B2 (ja) 画像処理システム
US10058256B2 (en) Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
KR100752333B1 (ko) 3차원 초음파 도플러 이미지의 화질 개선 방법
US9332942B2 (en) Systems, processes and computer-accessible medium for providing hybrid flourescence and optical coherence tomography imaging
CN101959450B (zh) 通过基于图像的x射线引导系统
CN108185974A (zh) 一种内窥式荧光超声融合造影导航系统
JP2004181096A (ja) 画像処理方法
JP2018128294A (ja) 関心領域追跡装置
CN107072644B (zh) 成像装置
CN111667447A (zh) 血管内图像融合方法、系统及图像采集装置
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断系统
Zhao et al. Multiscale vascular enhancement filter applied to in vivo morphologic and functional photoacoustic imaging of rat ocular vasculature
CN111603140B (zh) 生物目标原位可视的定位方法及系统
CN105748040A (zh) 立体结构功能成像系统
Liu et al. Molecular imaging and validation of margins in surgically excised nonmelanoma skin cancer specimens
CN108056821B (zh) 一种开放式荧光超声融合造影导航系统
Gorpas et al. Fluorescence lifetime imaging and intravascular ultrasound: co-registration study using ex vivo human coronaries
Molinari et al. Accurate and automatic carotid plaque characterization in contrast enhanced 2-D ultrasound images
CN107809945A (zh) 装置和显示控制方法
CN108392180B (zh) 时间强度曲线测定装置
EP3824799A1 (en) Device, apparatus and method for imaging an object
JP2018128759A (ja) テカリ領域除去装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant