CN106236006A - 3d光学分子影像腹腔镜成像系统 - Google Patents

3d光学分子影像腹腔镜成像系统 Download PDF

Info

Publication number
CN106236006A
CN106236006A CN201610774485.9A CN201610774485A CN106236006A CN 106236006 A CN106236006 A CN 106236006A CN 201610774485 A CN201610774485 A CN 201610774485A CN 106236006 A CN106236006 A CN 106236006A
Authority
CN
China
Prior art keywords
image
peritoneoscope
ccd
video
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610774485.9A
Other languages
English (en)
Other versions
CN106236006B (zh
Inventor
杨晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Medical University
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610774485.9A priority Critical patent/CN106236006B/zh
Publication of CN106236006A publication Critical patent/CN106236006A/zh
Application granted granted Critical
Publication of CN106236006B publication Critical patent/CN106236006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00195—Optical arrangements with eyepieces
    • A61B1/00197—Optical arrangements with eyepieces characterised by multiple eyepieces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于生物医学腹腔镜的技术领域，具体涉及一种3D光学分子影像腹腔镜成像系统，解决了现有腹腔镜技术和荧光腹腔镜存在的上述问题，其包括3D腹腔镜，3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。本发明实现了靶向光学分子影像与可见光图像的精准融合，并三维立体显示，更加精准显示靶病灶的立体结构及其与周围组织的立体解剖学关系，给医生提供更为丰富的深度信息，从而极大提高医生手术和科学研究的准确度。

Description

3D光学分子影像腹腔镜成像系统
技术领域
本发明属于生物医学腹腔镜的技术领域，具体涉及一种3D光学分子影像腹腔镜成像系统。
背景技术
随着现代科学技术和医疗设备的发展，医学外科手术将由微创外科，发展为精准外科和分子靶向外科，手术的精准度也将由器官、组织、细胞发展到分子水平，分子水平的影像学诊断和治疗将成为未来医学发展的重要方向。
分子影像学是运用影像学技术，通过显示组织、细胞和亚细胞水平特定分子的分子动力学特征，定性和定量研究活体状态下分子变化及其生物学行为的科学。目前医学影像包括：显示人体解剖结构和生理功能的X线、CT、MR、超声成像；分子影像学是以MR、PET、光学成像等为主。
光学成像在医学的应用主要是以医学腹腔镜为代表，在医学多种疾病的诊断和治疗过程中发挥着非常重要的作用，如：胃镜、膀胱镜、腹腔镜等，这些腹腔镜不仅能够诊断识别微小肿瘤，还能进行微创治疗。腹腔镜技术能完成例如阑尾切除术，胃、十二指肠溃疡穿孔修补术、疝气修补术、结肠切除术、脾切除术、肾上腺切除术，还有卵巢囊肿摘除、宫外孕、子宫切除等，随着腹腔镜技术的日益完善和腹腔镜医生操作水平的提高，几乎所有的外科手术都能采用这种手术。腹腔镜手术时，医师利用腹腔镜及其相关器械进行手术。主要步骤包括使用冷光源提供照明，将腹腔镜镜头（直径为3-10mm）插入腹腔内，运用数字摄像技术对腹腔镜镜头拍摄到的图像信号进行处理，并通过专用监视器实时显示。医生通过监视器屏幕显示的病变图像，进行病情诊疗和治疗。传统腹腔镜是二维图像，医生眼睛所看到的二维图像和实际的三维关系存在误差，手术中难免产生手眼不协调的失误。
目前传统腹腔镜正在逐步被3D腹腔镜替代。3D高清腹腔镜的基本原理包括，插入患者体内的两个腹腔镜镜头，两个镜头各自拍下腹腔内解剖学图像，通过高性能的摄像主机进行处理后，在专用3D监视器上能够呈现逼真的立体图像，完全再现人体内的真实解剖学特征。此时，如果用眼睛直接观看，看到的画面是重叠、模糊不清的图像；佩戴偏振眼镜后使左眼只能看到左摄像头拍摄的画面，右眼只能看到右摄像头拍摄的画面，组合起来就会看到立体影像，而且层次分明。
3D腹腔镜将会替代传统腹腔镜，现代3D腹腔镜优质的立体光学图像将使外科手术的精准度进一步提高。但不论是传统腹腔镜的2D图像、还是3D腹腔镜的3D图像都是解剖学结构图像，都未实现分子水平精准的功能图像。
2003年美国哈佛大学医学院John V.Frangioni教授提出了光学分子影像导航的外科手术，但多年来该手术技术并没有大力推广，主要原因是没有可以供外科医生使用的术中成像设备。2009年世界分子影像大会上，2008年度诺贝尔化学奖获得者钱永健先生报告了使用荧光显微镜成像引导切除荧光标记小鼠肿瘤组织的研究结果，开启了光学分子影像技术在手术领域应用的先河。2011年欧洲科学家研发了腹腔镜光学分子影像手术导航的原型系统，并首次应用到人体卵巢癌的临床手术中，相比传统腹腔镜方法，提高了手术治疗效果。2013年欧洲分子影像学会成立的“近红外荧光术中导航研究小组”，目前德国（Technical University Munich）研制了近红外荧光腹腔镜、荷兰（Leiden UniversityMedical Center）研制了荧光成像系统（Artemis NIR imaging system）、加拿大（NOVADAQTechnologies Inc.）研制了腹腔镜荧光成像系统（Endoscopic Fluorescence ImagingSystem）。但这些荧光腹腔镜的缺点在于没有3D成像的技术和功能，与现代外科3D腹腔镜技术有明显的脱节。
本发明将3D腹腔镜技术和荧光腹腔镜相结合，发明了新一代3D光学分子影像腹腔镜。
发明内容
本发明为了解决现有腹腔镜技术和荧光腹腔镜存在的上述问题，提供了一种3D光学分子影像腹腔镜成像系统
本发明采用如下的技术方案实现：
3D光学分子影像腹腔镜成像系统，包括3D腹腔镜， 3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。
所述的截止滤光片为845±10nm的截止滤光片。
3D光学分子影像腹腔镜成像系统，还包括冷光源、导光束、冷光源能够输出白光和780±10nm的激发光，并通过导光束与3D腹腔镜的光源接头连接。
3D光学分子影像腹腔镜成像系统，还包括3D光学分子影像视频处理器、视频接口、3D显示器以及偏光眼镜。
3D光学分子影像视频处理器包括与黑白红外线CCD以及彩色CCD的模拟信号输出端分别连接的两片视频解码芯片ADV7180，两片视频解码芯片ADV7180的数字信号输出端分别连接FPGA的数字信号输入端，FPGA控制FIFO和两片SDRAM对两路图像数据进行缓存，实现两路视频信号的时分复用及输出视频的120Hz倍频，输出数据经视频编码芯片ADV7123完成视频信号的数模转换，并与由FPGA产生的同步信号HS、VS、时钟信号CLK一同由VGA接口送入3D液晶显示器。
彩色CCD输出的彩色图像和黑白近红外CCD输出的黑白图像信号通过图像融合技术进行图像配准和融合，形成显示靶病灶的2D融合图像；将两台双通道CCD形成的两幅2D融合图像经立体匹配算法和三维图像匹配处理后经三维显示器显示，通过3D偏振眼镜识别。
其图像融合具体步骤为：
a、单独一组双通道2CCD图像融合的处理，
（1）彩色CCD摄取红、绿、蓝的多光谱彩色图像，近红外CCD摄取近红外图像，两路已配准和同步的可见光与红外视频信号经视频解码器形成数字信号，DSP通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM中,融合后的数据存储在计算机硬盘，
（2）彩色图像与近红外图像预处理，
①采用双线性插值法对彩色图像数据进行重采样，获得与全色图像大小相同的重彩色图像[R，G，B]；②采用算数平均法计算重彩色图像[R，G，B]的强度分量；所述重采样重彩色图像[R，G，B]的强度分量I用下列公式（1）表示为：
（1），
根据公式（2）：
（2），
（3）采用重采样重彩色图像[R，G，B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差与重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配，式中Pt为调整后的全色图像，μp为原始全色图像P的均值，σp为原始全色图像p的方差，μI为采样重彩色图像[R，G，B]的强度分量I的均值，σI为重样彩色图像[R，G，B]的强度分量I的方差；将重样彩色图像[R，G，B]分量分别与（Pt-I）相加，获得最终的彩色图像[Rc，Gc，Bc]，所述的最终的彩色图像[Rc，Gc，Bc]用公式（3）表示：
（3），
（4）彩色图像与近红外图像的配准，
采用互信息作为相似性测度、结合PV(partial volume)插值及,powell搜索算法实现彩色图像与近红外图像的配准；
（5）彩色图像与近红外图像的融合，
采用主成份变换法实现两种图像同一视野同一时刻的融合，对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，从而得到融合的图像，采用基于像素级的PCA融合方法，将有效定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织，
b、两组CCD的立体匹配算法，
SSD算法进行立体匹配寻找最佳匹配点，并进行立体匹配后检测出误匹配点并且对之进行校正，基于误匹配校正的SSD立体匹配算法解决方案的具体流程为，
（1）初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对；
（2）初步立体匹配：对图像对进行SSD算法和平滑滤波处理后,得到初始的左、右视差图；
（3）以左视差图为参考，校正右视差图：判断是否为误匹配点，并校正误匹配点；
（4）以校正好的右视差图为参考，校正左视差图：判断是否为误匹配点，获取的视差值是否可信。
本发明的用途，将光学分子影像学成像技术和现代3D腹腔镜成像技术相结合，实现了靶病灶立体结构及其与周围组织立体解剖学关系的精准显示，是腹腔镜技术和腹腔镜外科的新理念，将主要用于传统腹腔镜、3D腹腔镜和手术机器人的技术改造，产品升级。本发明实现了外科手术术中肿瘤病灶的精准定位、定性识别和以及转移淋巴结的示踪定位，将使现有微创手术器械和手术技术的精准度显著提高，将是未来靶向分子外科诊疗技术的重要的医疗器械。
本发明具有如下有益效果：实现了靶向光学分子影像与可见光图像的精准融合，并三维立体显示，更加精准显示靶病灶的立体结构及其与周围组织的立体解剖学关系，给医生提供更为丰富的深度信息，从而极大提高医生手术和科学研究的准确度。
附图说明
图1为本发明基本结构示意图，
图2为本发明总体光路设计和图像采集结构示意图，
图3为多元视频图像融合的逻辑图，
图4为互信息计算流程图，
图5.1、5.2、5.3为改进的Powell算法流程图，
图6为本发明算法的总体流程图，
图7为3D光学分子影像视频处理器示意图，
图中：1、冷光源，2、3D光学分子影像摄像头，3、3D光学分子影像视频处理器，4、3D显示器，5、偏光眼镜，6、3D腹腔镜，7、双通道CCD，8、分光棱镜，9、截止滤光片，a、内窥镜部分，b、立体成像部分。
具体实施方式
结合附图对本发明的具体实施方式作进一步说明。
本发明将3D腹腔镜技术与荧光腹腔镜技术相结合，形成了新一代3D光学分子影像腹腔镜系统。如图1所示，3D光学分子影像腹腔镜成像系统主要由腹腔镜光学镜体、冷光源，导光束、3D光学分子影像摄像头、3D光学分子影像视频处理器、视频接口、3D显示器、偏光眼镜等组成。如图2所示，3D光学分子影像摄像头包括内窥镜部分和立体成像部分。内窥镜部分为3D腹腔镜，立体成像部分包括双通道CCD、分光棱镜、截止滤光片、黑白近红外CCD、彩色CCD。
3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。
3D光学分子影像腹腔镜冷光源能够输出白光和780±10nm的激发光，并能够通过光导纤维导光束与常规3D腹腔镜光源接头连接；3D腹腔镜为常规3D腹腔镜具有1个输入光通道和2个输出光通道，2个输出光通道输出于腹腔镜的目镜；腹腔镜目镜输出的2路光通过光路调整，平行进入2个图像采集通道；每一个通道中安置一个分光棱镜和截止滤光片，将输出光分为白光和近红外荧光发射光；白光通道与高清晰彩色CCD连接，荧光通道（即近红外光通道）与高灵敏黑白近红外CCD连接；采用物理方式和软件处理技术，对彩色CCD和黑白CCD摄取的图像信号进行图像配准、图像融合、伪色彩标记，形成精准标记靶向病变部位的荧光分子影像学图像和可见光图像融合的2维图像；将两幅相互独立的分子影像学图像和可见光图像融合的2维图像进行立体匹配、深度计算，实现光学分子影像图像和可见光图像的立体显像。
本发明的工作过程：
1.将780±10nm的近红外光和可见光通过导光束和腹腔镜传导进入体内，780±10nm近红外光激发靶向ICG荧光基团发出845±10nm的近红外荧光，即光学分子影像；可见光照射组织形成清晰的解剖学反射光图像；
2.光学分子影像和可见光反射图像通过双通道腹腔镜传到腹腔镜的目镜，腹腔镜目镜与两部双通道CCD连接，每一部双通道CCD的内部具有分光棱镜将目镜传出的近红外光学分子影像和可见光光学信号分离为可见光（400-700nm）和近红外光（760nm-1000nm），近红外光通道处再增加一个截止滤光片，仅允许845±10nm或特定波长的靶向荧光通过，并分别进入高清晰彩色CCD和高灵敏黑白CCD，形成彩色图像和黑白图像信号；采用图像融合技术将彩色图像和黑白图像信号进行图像配准和融合，形成显示靶病灶的2D融合图像；
3.将这两幅2D融合图像经立体匹配算法和三维图像匹配处理后经三维显示器显示，医师通过佩戴3D偏振眼镜即可精准识别靶病灶。
实施例：
1.CCD的选择
彩色CCD选用2/3，高性能CCD，逐行扫描捕捉运动图像，超高分辨率1200TVL，1920×1080P全高清输出数字图像，工作电压为12V；黑白CCD选用1/2寸，HAD技术，高灵敏度CCD，近红外高分辨率752×582像素。CCD为图像传感器,也叫图像控制器
2.棱镜的选择
棱镜是将从镜体输出的光分为可见光和近红外光，常用的ICG荧光染料，ICG的激发光是780±10nm，发射光是845±10nm，可见光波长是400-700nm，所以分光棱镜的作用是将输出的光分为400-700nm和845±10nm两束光，滤掉780±10nm的激光。
3.单独一组双通道2CCD的光路设计
腹腔镜输出的光，经二向棱镜分为可见光部分，波长是400nm-650nm和近红外光部分，波长是760nm-1000nm，同时在该通道再加一个截止滤光片，仅允许845±10nm波长的荧光通过，而后分别被彩色CCD和黑白CCD摄取。
单独一组双通道2CCD图像融合的处理
（1）彩色CCD摄取红、绿、蓝的多光谱彩色图像，近红外CCD摄取近红外图像，两路已配准和同步的可见光与红外视频信号经视频解码器形成数字信号，DSP通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM中,融合后的数据存储在计算机硬盘。如图3所示。
（2）彩色图像与近红外图像预处理
①采用双线性插值法对彩色图像数据进行重采样，获得与全色图像大小相同的重彩色图像[R，G，B]；②采用算数平均法计算重彩色图像[R，G，B]的强度分量；所述重采样重彩色图像[R，G，B]的强度分量I用下列公式（1）表示为：
（1），
根据公式（2）：
（2）。
（3）采用重采样重彩色图像[R，G，B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差与重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配。式中Pt为调整后的全色图像，μp为原始全色图像P的均值，σp为原始全色图像p的方差，μI为采样重彩色图像[R，G，B]的强度分量I的均值，σI为重样彩色图像[R，G，B]的强度分量I的方差；将重样彩色图像[R，G，B]分量分别与（Pt-I）相加，获得最终的彩色图像[Rc，Gc，Bc]，所述的最终的彩色图像[Rc，Gc，Bc]用公式（3）表示：
（3）。
（4）彩色图像与近红外图像的配准
采用互信息作为相似性测度、结合PV(partial volume)插值及改进的powell搜索算法实现彩色图像与近红外图像的配准。互信息计算流程及改进的Powell算法分别如图4、5所示。
（5）彩色图像与近红外图像的融合
采用主成份变换法实现两种图像同一视野同一时刻的融合。其基本思想是对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，从而得到融合的图像。采用基于像素级的PCA融合方法，将有效定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织。
4.两组CCD的立体匹配算法
SSD算法进行立体匹配寻找最佳匹配点，并进行立体匹配后检测出误匹配点并且对之进行校正。基于误匹酪校正的简单的SSD立体匹配算法解决方案的具体流程。
（1）初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对；
（2）初步立体匹配：对图像对进行简单的SSD算法和平滑滤波处理后,得到初始的左、右视差图；
（3）以左视差图为参考，校正右视差图：判断是否为误匹配点，并校正误匹配点；
（4）以校正好的右视差图为参考，校正左视差图：判断是否为误匹配点，获取的视差值是否可信。
5.立体视觉的深度计算
基于空间几何学的深度测量方法，在OpenCV的支持下,编写算法程序。如图6所示。
6.系统总体配置
通过双通道腹腔镜镜体传出的人体腔内的光学影像，并分别送入左右两组 CCD摄像头中，左右CCD采集来至不同的视角腔内影像并将其转换成标准制式的模拟视频信号，通过两片视频解码芯片ADV7180实现到数字视频数据的转换。FPGA通过输入的数字视频标准识别出有效视频图像数据，根据需要完成对有效图像数据的裁剪、色彩插值、颜色空间转换的一系列操作，并控制FIFO和两片SDRAM对两路图像数据进行缓存，实现两路视频信号的时分复用及输出视频的120Hz倍频。输出数据经视频编码芯片ADV7123完成视频信号的数模转换，与由FPGA产生的同步信号HS、VS、时钟信号CLK一同由VGA接口送入3D液晶显示器。如图7所示。
具体成像步骤为：(1)收集图像，镜体末端独特的左右分离式双通道镜片系统，能对同一物体收集左、右两束具有极小差别的影像；(2)处理图像，特殊的视频信号控制器可以同时将左、右两路视频信号快速、交替、无交叉地传送到显示器；(3)呈现图像，在视频同步信号的作用下，改变液晶调制屏的偏振状态，使其分别与左、右两路光学系统所获得的信号一致，这样两组图像同时呈现在显示器上。这时，术者通过裸眼看到的还仅是两组在显示器上重叠显示的模糊图像，但只要戴上一副左右眼与液晶屏幕偏振状态一致的无源偏振眼镜，就可获得物体的空间纵深感觉，产生三维立体视觉效果。

Claims (7)

1.一种3D光学分子影像腹腔镜成像系统，包括3D腹腔镜，其特征在于3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。
2.根据权利要求1所述的3D光学分子影像腹腔镜成像系统，其特征在于所述的截止滤光片为845±10nm的截止滤光片。
3.根据权利要求1或2所述的3D光学分子影像腹腔镜成像系统，其特征在于其还包括冷光源、导光束、冷光源能够输出白光和780±10nm的激发光，并通过导光束与3D腹腔镜的光源接头连接。
4.根据权利要求3所述的3D光学分子影像腹腔镜成像系统，其特征在于其还包括3D光学分子影像视频处理器、视频接口、3D显示器以及偏光眼镜。
5.根据权利要求4所述的3D光学分子影像腹腔镜成像系统，其特征在于所述的3D光学分子影像视频处理器包括与黑白红外线CCD以及彩色CCD的模拟信号输出端分别连接的两片视频解码芯片ADV7180，两片视频解码芯片ADV7180的数字信号输出端分别连接FPGA的数字信号输入端，FPGA控制FIFO和两片SDRAM对两路图像数据进行缓存，实现两路视频信号的时分复用及输出视频的120Hz倍频，输出数据经视频编码芯片ADV7123完成视频信号的数模转换，并与由FPGA产生的同步信号HS、VS、时钟信号CLK一同由VGA接口送入3D液晶显示器。
6.根据权利要求5所述的3D光学分子影像腹腔镜成像系统，其特征在于彩色CCD输出的彩色图像和黑白近红外CCD输出的黑白图像信号通过图像融合技术进行图像配准和融合，形成显示靶病灶的2D融合图像；将两台双通道CCD形成的两幅2D融合图像经立体匹配算法和三维图像匹配处理后经三维显示器显示，通过3D偏振眼镜识别。
7.根据权利要求6所述的3D光学分子影像腹腔镜成像系统，其特征在于其图像融合具体步骤为：
a、单独一组双通道2CCD图像融合的处理，
（1）彩色CCD摄取红、绿、蓝的多光谱彩色图像，近红外CCD摄取近红外图像，两路已配准和同步的可见光与红外视频信号经视频解码器形成数字信号，DSP通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM中,融合后的数据存储在计算机硬盘，
（2）彩色图像与近红外图像预处理，
①采用双线性插值法对彩色图像数据进行重采样，获得与全色图像大小相同的重彩色图像[R，G，B]；②采用算数平均法计算重彩色图像[R，G，B]的强度分量；所述重采样重彩色图像[R，G，B]的强度分量I用下列公式（1）表示为：
（1），
根据公式（2）：
（2），
（3）采用重采样重彩色图像[R，G，B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差与重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配，式中Pt为调整后的全色图像，μp为原始全色图像P的均值，σp为原始全色图像p的方差，μI为采样重彩色图像[R，G，B]的强度分量I的均值，σI为重样彩色图像[R，G，B]的强度分量I的方差；将重样彩色图像[R，G，B]分量分别与（Pt-I）相加，获得最终的彩色图像[Rc，Gc，Bc]，所述的最终的彩色图像[Rc，Gc，Bc]用公式（3）表示：
（3），
（4）彩色图像与近红外图像的配准，
采用互信息作为相似性测度、结合PV(partial volume)插值及,powell搜索算法实现彩色图像与近红外图像的配准；
（5）彩色图像与近红外图像的融合，
采用主成份变换法实现两种图像同一视野同一时刻的融合，对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，从而得到融合的图像，采用基于像素级的PCA融合方法，将有效定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织，
b、两组CCD的立体匹配算法，
SSD算法进行立体匹配寻找最佳匹配点，并进行立体匹配后检测出误匹配点并且对之进行校正，基于误匹配校正的SSD立体匹配算法解决方案的具体流程为，
（1）初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对；
（2）初步立体匹配：对图像对进行SSD算法和平滑滤波处理后,得到初始的左、右视差图；
（3）以左视差图为参考，校正右视差图：判断是否为误匹配点，并校正误匹配点；
（4）以校正好的右视差图为参考，校正左视差图：判断是否为误匹配点，获取的视差值是否可信。
CN201610774485.9A 2016-08-31 2016-08-31 3d光学分子影像腹腔镜成像系统 Active CN106236006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610774485.9A CN106236006B (zh) 2016-08-31 2016-08-31 3d光学分子影像腹腔镜成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610774485.9A CN106236006B (zh) 2016-08-31 2016-08-31 3d光学分子影像腹腔镜成像系统

Publications (2)

Publication Number Publication Date
CN106236006A true CN106236006A (zh) 2016-12-21
CN106236006B CN106236006B (zh) 2017-11-14

Family

ID=58079690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610774485.9A Active CN106236006B (zh) 2016-08-31 2016-08-31 3d光学分子影像腹腔镜成像系统

Country Status (1)

Country Link
CN (1) CN106236006B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108478196A (zh) * 2018-05-25 2018-09-04 北京数字精准医疗科技有限公司 基于分子影像的分光成像装置
CN108742495A (zh) * 2018-03-26 2018-11-06 天津大学 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法
CN109068035A (zh) * 2018-07-13 2018-12-21 中科光电(北京)科学技术有限公司 一种智能微相机阵列内窥成像系统
WO2019003751A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置
CN109171612A (zh) * 2018-10-29 2019-01-11 复旦大学附属中山医院 一种复眼式超微创腹腔镜手术装置
JP6461411B1 (ja) * 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム
CN109919988A (zh) * 2019-03-27 2019-06-21 武汉万屏电子科技有限公司 一种适用于三维内窥镜的立体图像处理方法
CN110013319A (zh) * 2019-02-20 2019-07-16 广州乔铁医疗科技有限公司 一种新型的机器人外视镜系统
US10458904B2 (en) 2015-09-28 2019-10-29 Ball Aerospace & Technologies Corp. Differential absorption lidar
CN110786817A (zh) * 2019-11-13 2020-02-14 山西医科大学 一种基于led高效制冷的双波段光学分子影像光源装置
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
TWI686165B (zh) * 2017-11-24 2020-03-01 歐陽聰星 一種口腔內窺器
CN111166281A (zh) * 2020-01-24 2020-05-19 复旦大学 阴道镜辅助卵巢近红外荧光成像检测系统
CN111772560A (zh) * 2020-08-06 2020-10-16 山西医科大学 一种基于双通道高效传输的荧光内窥镜成像系统及方法
CN112089403A (zh) * 2020-10-02 2020-12-18 深圳市中安视达科技有限公司 多光谱医用多路成像方法及其系统
CN112147005A (zh) * 2020-09-15 2020-12-29 苏州法兰克曼医疗器械有限公司 一种腔镜手术用通道测试机器及方法
US10921245B2 (en) 2018-06-08 2021-02-16 Ball Aerospace & Technologies Corp. Method and systems for remote emission detection and rate determination
US20210106214A1 (en) * 2018-04-25 2021-04-15 Shanghai Kinetic Medical Co., Ltd Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method
CN113687564A (zh) * 2021-08-17 2021-11-23 中科领航医疗科技有限公司 一种手术导航与放射性植入系统用相机夹具及其使用方法
CN115316919A (zh) * 2022-09-15 2022-11-11 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像系统、方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4000494B1 (en) * 2020-11-13 2023-08-16 JOSHI INNOVATIONS GmbH Imaging system, laparoscope and method for imaging an object

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101744611A (zh) * 2008-12-10 2010-06-23 韩国电气研究院 用于光动力治疗和摄影检测的装置
US20100262017A1 (en) * 2002-03-12 2010-10-14 Frangioni John V Multi-channel medical imaging system
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导系统
CN103082983A (zh) * 2013-01-04 2013-05-08 苏州爱因智能设备有限公司 腹腔镜三维监控系统
CN203693556U (zh) * 2014-01-22 2014-07-09 江苏科沁光电科技有限公司 双路3d腹腔镜及双路3d腹腔镜系统
CN104287690A (zh) * 2014-10-24 2015-01-21 中山大学 多焦深、多光谱段的腹腔镜三维监控设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262017A1 (en) * 2002-03-12 2010-10-14 Frangioni John V Multi-channel medical imaging system
CN101744611A (zh) * 2008-12-10 2010-06-23 韩国电气研究院 用于光动力治疗和摄影检测的装置
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导系统
CN103082983A (zh) * 2013-01-04 2013-05-08 苏州爱因智能设备有限公司 腹腔镜三维监控系统
CN203693556U (zh) * 2014-01-22 2014-07-09 江苏科沁光电科技有限公司 双路3d腹腔镜及双路3d腹腔镜系统
CN104287690A (zh) * 2014-10-24 2015-01-21 中山大学 多焦深、多光谱段的腹腔镜三维监控设备

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10458904B2 (en) 2015-09-28 2019-10-29 Ball Aerospace & Technologies Corp. Differential absorption lidar
JP7127644B2 (ja) 2017-06-26 2022-08-30 ソニーグループ株式会社 手術用撮像システム及び手術用画像の信号処理装置
WO2019003751A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置
JPWO2019003751A1 (ja) * 2017-06-26 2020-04-23 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置
TWI686165B (zh) * 2017-11-24 2020-03-01 歐陽聰星 一種口腔內窺器
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108742495A (zh) * 2018-03-26 2018-11-06 天津大学 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法
US20210106214A1 (en) * 2018-04-25 2021-04-15 Shanghai Kinetic Medical Co., Ltd Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method
US11633105B2 (en) * 2018-04-25 2023-04-25 Shanghai Kinetic Medical Co., Ltd Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method
CN108478196A (zh) * 2018-05-25 2018-09-04 北京数字精准医疗科技有限公司 基于分子影像的分光成像装置
US10921245B2 (en) 2018-06-08 2021-02-16 Ball Aerospace & Technologies Corp. Method and systems for remote emission detection and rate determination
JP6461411B1 (ja) * 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム
CN109068035A (zh) * 2018-07-13 2018-12-21 中科光电(北京)科学技术有限公司 一种智能微相机阵列内窥成像系统
CN109068035B (zh) * 2018-07-13 2020-08-25 中科光电(北京)科学技术有限公司 一种智能微相机阵列内窥成像系统
JP2020010763A (ja) * 2018-07-13 2020-01-23 パナソニック株式会社 内視鏡システム
CN109171612A (zh) * 2018-10-29 2019-01-11 复旦大学附属中山医院 一种复眼式超微创腹腔镜手术装置
CN110013319A (zh) * 2019-02-20 2019-07-16 广州乔铁医疗科技有限公司 一种新型的机器人外视镜系统
CN109919988A (zh) * 2019-03-27 2019-06-21 武汉万屏电子科技有限公司 一种适用于三维内窥镜的立体图像处理方法
CN110786817A (zh) * 2019-11-13 2020-02-14 山西医科大学 一种基于led高效制冷的双波段光学分子影像光源装置
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN111166281A (zh) * 2020-01-24 2020-05-19 复旦大学 阴道镜辅助卵巢近红外荧光成像检测系统
CN111772560A (zh) * 2020-08-06 2020-10-16 山西医科大学 一种基于双通道高效传输的荧光内窥镜成像系统及方法
CN112147005A (zh) * 2020-09-15 2020-12-29 苏州法兰克曼医疗器械有限公司 一种腔镜手术用通道测试机器及方法
CN112147005B (zh) * 2020-09-15 2024-04-26 苏州法兰克曼医疗器械有限公司 一种腔镜手术用通道测试机器及方法
CN112089403A (zh) * 2020-10-02 2020-12-18 深圳市中安视达科技有限公司 多光谱医用多路成像方法及其系统
CN113687564A (zh) * 2021-08-17 2021-11-23 中科领航医疗科技有限公司 一种手术导航与放射性植入系统用相机夹具及其使用方法
CN115316919A (zh) * 2022-09-15 2022-11-11 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像系统、方法及电子设备
CN115316919B (zh) * 2022-09-15 2023-06-30 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像系统、方法及电子设备

Also Published As

Publication number Publication date
CN106236006B (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN106236006B (zh) 3d光学分子影像腹腔镜成像系统
US10786314B2 (en) Surgical imaging apparatus and methods
WO2021000466A1 (zh) 基于光学相干层析增强现实的手术显微成像系统与方法
CN108040243B (zh) 多光谱立体视觉内窥镜装置及图像融合方法
EP3116376B1 (en) Methods and systems for intraoperatively confirming location of tissue structures
JP2012511361A5 (ja) 血管などの血管構造の赤外線の改善された画像処理および機能的分析のための装置ならびに画像処理ユニット
WO2021026948A1 (zh) 一种可实时追踪注视位置的光学显微镜系统及方法
CN105342561B (zh) 无线声控穿戴式分子影像导航系统
WO2021245374A1 (en) Method and system for joint demosaicking and spectral signature estimation
Caffier et al. Development of three‐dimensional laryngostroboscopy for office‐based laryngeal diagnostics and phonosurgical therapy
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
CN114943802A (zh) 一种基于深度学习与增强现实的知识引导外科手术交互方法
Zhang et al. Autostereoscopic 3D augmented reality navigation for laparoscopic surgery: a preliminary assessment
CN106618450A (zh) 一种三目立体内窥镜
CN107976795A (zh) 双通道组织样品扫描仪和双通道组织样品数字成像复现系统
Speidel et al. Interventional imaging: vision
CN110115557B (zh) 一种高光谱内窥成像装置及成像方法
Wang et al. A medical liquid varifocal endoscope for abdominal cavity and its parallax estimation algorithm compatible with WBANs
Song et al. Design of the computerized 3D endoscopic imaging system for delicate endoscopic surgery
CN117398043B (zh) 一种3d荧光内窥镜、成像方法、装置及调试方法
Yamada et al. Evaluation of three-dimensional endoscope using compound eye optical system with multi-wavelength band-pass filter
CN117398043A (zh) 一种3d荧光内窥镜、成像方法、装置及调试方法
CN116849598A (zh) 一种内置3d成像装置的光学阴道镜
CN115598817A (zh) 显微镜、投影方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190122

Address after: 030001 Shanxi Medical University, 56 Xinjian South Road, Taiyuan City, Shanxi Province

Patentee after: Shanxi Medial University

Address before: 030001 56 new South Road, Taiyuan, Shanxi

Patentee before: Yang Xiaofeng

TR01 Transfer of patent right