CN106955085A - 结构光三维内窥镜装置 - Google Patents

结构光三维内窥镜装置 Download PDF

Info

Publication number
CN106955085A
CN106955085A CN201710294318.9A CN201710294318A CN106955085A CN 106955085 A CN106955085 A CN 106955085A CN 201710294318 A CN201710294318 A CN 201710294318A CN 106955085 A CN106955085 A CN 106955085A
Authority
CN
China
Prior art keywords
light
fibre bundle
camera
endoscope
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710294318.9A
Other languages
English (en)
Inventor
王立强
袁波
朱高杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710294318.9A priority Critical patent/CN106955085A/zh
Publication of CN106955085A publication Critical patent/CN106955085A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种结构光三维内窥镜装置，包括：内窥镜插入管包含传输结构光的光纤束，投影镜头，以及摄像模组。三个LED光源位于内窥镜插入管的外部，并通过透镜耦合照明光纤束的三个进口。光纤束三进一出，末端规则排列成光纤束矩形阵列，每三列为一个周期，其中，每个周期中不同列对应不同光源的光。摄像模组包含摄像物镜、用于采集图像的CMOS传感器和CMOS驱动电路。三个LED光源分时工作，其照明光通过规则排列的光纤束阵列后，产生亮暗间隔的不同相位结构光条纹，再由投影镜头放大照明在体内组织上，摄像模组采集结构光照明图像，并通过驱动电路，传输至相机接口并进一步传输至相机控制单元CCU后，进行解码处理，得到体内组织的深度图并实现三维重建。

Description

结构光三维内窥镜装置
技术领域
本发明涉及一种内窥镜，尤其是一种结构光三维内窥镜装置。
背景技术
基于内窥镜的微创手术在达到相同手术目的的前提下减少了患者的损伤和应激，得到了越来越广泛的应用。然而一般内窥镜只提供平面图像,缺乏深度信息，给医生的操作带来极大的困难。传统的立体视觉的方法可以应用于内窥镜系统当中从而得到深度信息，然而这种方法依赖于两个相机寻找并匹配图像点，在均匀的组织中可能匹配失效。结构光照明的方法可以有效的避免这个问题，它将传统的立体视觉系统中的一个相机替换为可以投影特殊图案的投影仪，并根据投影仪和相机的几何关系进行三维重建。其中投影的图案是经过特殊编码且唯一识别的结构光，这可以应用于需要实时显示图像的医学手术当中去。
发明内容
本发明的目的在于针对传统内窥镜缺乏深度信息的缺陷，提供一种基于结构光扫描的三维内窥镜系统，从而实现体内组织三维形貌的准确测量。
本发明的目的是通过以下技术方案来实现的：
一种结构光三维内窥镜装置，包括：内窥镜插入管、三个LED冷光光源、微处理器、相机控制单元CCU以及光源接口、相机接口；
微处理器通过信号线与相机接口、光源接口和相机控制单元CCU分别连接，内窥镜插入管包含用于传输结构光的光纤束、投影镜头、以及摄像模组，摄像模组包括CMOS图像传感器、CMOS驱动电路和成像镜头，投影镜头和成像镜头位于内窥镜插入管尾部的镜头座上，，所述的光纤束为三进一出，输入端的三个进口各通过一个耦合透镜被三个LED冷光光源耦合照明，光纤束末端端面位于投影镜头的物面，CMOS图像传感器位于成像镜头的像面，CMOS驱动电路通过信号线与相机接口相连，为CMOS图像传感器提供必要的工作时序，相机控制单元CCU通过信号线与相机接口连接，用于对得到的结构光图像进行预处理并进一步三维重建。
所述的光纤束三进一出，其输入端被三个LED冷光光源分别耦合照明，末端规则排列成光纤束矩形阵列，该阵列中每三列为一个周期，每个周期中不同列对应三个不同光源的光。
微处理器通过光源接口控制三个LED冷光源分时工作，且分别发射三个不同相位的结构光。三个LED冷光源出射的结构光条纹光强值相等，相位差为120°，亮暗间隔。
当三个LED冷光源同时工作，光纤束末端出射无相位差的白光，此时三维内窥镜可以当做常规内窥镜进行使用。
本发明中，LED光源可以为三个分时照明且出射光相位间隔120°的LED冷光源，光纤束为三进一出的光纤束，三个LED光源分别照明光纤束的三个进口，而光纤束的出口则规则排列为每三列为一个周期，每个周期中不同列对应不同光源光的矩形阵列。通过分时照明，每一时刻只有一个相位的光条纹照射到物体表面，通过采集三个时刻不同相位的结构光图像，可以对物体进行三维重建。三个LED光源分时工作，其照明光通过规则排列的光纤束阵列后，产生亮暗间隔的不同相位结构光条纹，再由投影镜头放大照明在体内组织上，每一时刻只有一个相位的光条纹照射到物体表面，摄像模组采集结构光照明图像，并通过驱动电路，传输至相机接口并进一步传输至相机控制单元CCU后，进行解码处理，得到体内组织的深度图并实现三维重建。
附图说明
图1为本发明结构光三维内窥镜的结构示意图。
图2为光纤束排列示意图。
图3位结构光条纹示意图。
具体实施方式
图1所示为本发明内窥镜系统的装置示意图。内窥镜插入管10包含传输结构光的光纤束16，投影镜头14，以及摄像模组32。摄像模组32包括一个CMOS图像传感器12，CMOS驱动电路11和成像镜头13。CMOS传感器12将接受的结构光强度信号转化为电信号。CMOS驱动电路11产生必要的CMOS图像传感器12的工作时序，并将产生的图像数字信号通过信号线17传输至相机接口18。相机接口18通过信号线17为CMOS传感器12和CMOS驱动电路11供电，同时为CMOS传感器12提供时钟信号。CMOS驱动电路11通过信号线17将图像信号传输至相机接口18中进行后续处理。
投影镜头14和成像镜头13均为大视场大景深镜头，它们位于镜头座15上。通过镜头座15，投影镜头14和成像镜头13可以进行调焦。其中，光纤束末端端面位于投影镜头14的物面，CMOS图像传感器12位于成像镜头13的像面。
相机控制单元CCU 27通过信号线34与微处理器20连接，并接收来自微处理器20的控制信号。相机接口18通过信号线33将图像信号传输至相机控制单元CCU 27。相机控制单元CCU 27对结构光图像进行去噪，图像增强，去镜面高光反射等预处理后，对结构光的相位信息进行解码，得到体内组织的深度图并进一步进行三维重建。得到重建图像后，相机控制单元CCU 27可以与显示屏28相连并将重建图像投影在液晶显示屏上或者计算机显示屏上去。也可以通过USB29或者有线无线30将图像数据传输至外部。
微处理器20是整个系统的控制核心，通过信号线与相机接口，光源接口和相机控制单元分别进行连接。它控制LED冷光源21、22、23的分时开关、CMOS图像传感器12的同步采集图像、CMOS驱动电路11对图像信号的编解码和传输、以及相机控制单元CCU 27对结构光图像进行三维重建等等。
结构光的投影系统主要包括LED光源21、22、23，光纤束16，投影镜头14和光源接口19。其中LED光源21、22、23为三个独立的LED，通过信号线31与光源接口19相连。光源接口19为LED光源21、22、23提供时钟信号，并控制三个LED灯的分时开关。通过光源接口19的控制，三个LED灯出射光的光强值近似保持相等，而每个LED灯发出光的相位差约在120°左右。光源接口19通过信号线31为三个LED灯供电，同时为LED灯提供控制信号。光纤束16为三进一出的光纤束，输入端的三个进口分别通过耦合透镜24、25、26被三个LED灯耦合照明，其三个进口输入的光有120°的相位差。输出端将光纤规则排列为矩形阵列，每三列为一个周期，其中，每个周期中不同列对应不同光源的光。LED灯分时照明，同一时刻只有一个相位的LED灯照明，即在某一时刻可以得到0°相位差的条纹图像，下一时刻可以得到120°相位差的条纹图像，下一时刻得到240°相位差的条纹图像，由此可以得到物体表面在三个时刻的三个不同相位的结构光图像。
本内窥镜还可以进行常规的白光照明。当系统处于白光照明状态时，光源接口19控制三个LED灯21、22、23同时开启，此时光纤束全部被照亮，光纤束末端出射无相位差的白光，此时三维内窥镜可以当做常规内窥镜进行使用，拥有很好的兼容性。
通过以上介绍，本发明的三维内窥镜可以将平行的亮暗间隔的相位条纹投影在组织表面，并通过摄像模组得到体内组织的结构光图像，然后利用三维重建算法，计算出体内组织的深度图和三维轮廓。本发明的三维内窥镜还可以进行白光照明，此时可以当作常规内窥镜使用。
图2所示为光纤束的排列示意图。LED灯1#21，LED灯2#22，LED灯3#23，分别通过耦合透镜24、25、26，照明光纤束16的三个进口35、36、37。光纤束的末端规则排列为矩形阵列，其中LED灯1#21照射的光纤排列在第一列，LED灯2#22照射的光纤排在第二列，LED灯3#23照射的光纤排在第三列，LED灯1#21照射的光纤排在第四列……以此类推，光纤束末端端面上每列光纤均占1/3周期结构光周期p＝90μm,从而可在1.8mm的小尺寸内形成20个完整周期的扫描条纹。在某一时刻，开启0°相位对应的LED冷光源21，光纤束进口35被照明，此时得到0°相位的条纹图像。下一时刻，开启120°相位对应的LED冷光源22，光纤束进口36被照明，此时得到120°相位的条纹图像。第三时刻，开启240°相位对应的LED冷光源23，光纤束进口37被照明，此时得到240°相位的条纹图像。CMOS传感器的帧率为60帧/秒，最终可实现20帧/秒的周期扫描，实时性很高。
图3所示为结构光条纹示意图。将光纤束矩形阵列出射的光通过投影镜头进行放大投影照明在物体上，即可得到出射的结构光条纹图像。其中0°结构光条纹40，120°结构光条纹41，240°结构光条纹42分时照明在体内组织表面。在同一时刻，只有一个相位对应的结构光被照亮，三个相位对应的结构光周期相等。结构光条纹亮暗间隔，每个条纹的宽度略小于三分之一的结构光周期。

Claims (5)

1.一种结构光三维内窥镜装置，其特征在于,包括：内窥镜插入管、三个LED冷光光源、微处理器、相机控制单元CCU以及光源接口、相机接口；
微处理器通过信号线与相机接口、光源接口和相机控制单元CCU分别连接，内窥镜插入管包含用于传输结构光的光纤束、投影镜头、以及摄像模组，摄像模组包括CMOS图像传感器、CMOS驱动电路和成像镜头，投影镜头和成像镜头位于内窥镜插入管尾部的镜头座上，所述的光纤束为三进一出，输入端的三个进口各通过一个耦合透镜被三个LED冷光光源耦合照明，光纤束末端端面位于投影镜头的物面，CMOS图像传感器位于成像镜头的像面，CMOS驱动电路通过信号线与相机接口相连，为CMOS图像传感器提供必要的工作时序，相机控制单元CCU通过信号线与相机接口连接，用于对得到的结构光图像进行预处理并进一步三维重建。
2.根据权利要求1所述的结构光三维内窥镜装置，其特征在于，所述的光纤束三进一出，其输入端被三个LED冷光光源分别耦合照明，末端规则排列成光纤束矩形阵列，该阵列中每三列为一个周期，每个周期中不同列对应三个不同光源的光。
3.根据权利要求2所述的结构光三维内窥镜装置，其特征在于，微处理器通过光源接口控制三个LED冷光源分时工作，且分别发射三个不同相位的结构光。
4.根据权利要求3所述的结构光三维内窥镜装置，其特征在于，三个LED冷光源出射的结构光条纹光强值相等，相位差为120°，亮暗间隔。
5.根据权利要求1所述的结构光三维内窥镜装置，其特征在于,微处理器通过光源接口控制三个LED冷光源同时工作，光纤束末端出射无相位差的白光，此时三维内窥镜可以当做常规内窥镜进行使用。
CN201710294318.9A 2017-04-28 2017-04-28 结构光三维内窥镜装置 Pending CN106955085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710294318.9A CN106955085A (zh) 2017-04-28 2017-04-28 结构光三维内窥镜装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710294318.9A CN106955085A (zh) 2017-04-28 2017-04-28 结构光三维内窥镜装置

Publications (1)

Publication Number Publication Date
CN106955085A true CN106955085A (zh) 2017-07-18

Family

ID=59484808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710294318.9A Pending CN106955085A (zh) 2017-04-28 2017-04-28 结构光三维内窥镜装置

Country Status (1)

Country Link
CN (1) CN106955085A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107485447A (zh) * 2017-08-09 2017-12-19 北京信息科技大学 一种面向膝盖软骨移植术的术中器具位姿导航装置及方法
CN110367912A (zh) * 2019-07-12 2019-10-25 深圳先进技术研究院 一种内窥镜及内窥镜系统
CN110384469A (zh) * 2019-07-30 2019-10-29 北京凡星光电医疗设备股份有限公司 一种双目电子硬管内窥镜及其制造方法
CN112611726A (zh) * 2020-12-23 2021-04-06 陈政 一种分子特征吸收光谱测量装置及方法
CN114219841A (zh) * 2022-02-23 2022-03-22 武汉欧耐德润滑油有限公司 基于图像处理的润滑油罐体参数自动识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1729932A (zh) * 2005-09-01 2006-02-08 北京光电技术研究所 内窥镜照明装置
US20110205552A1 (en) * 2008-03-05 2011-08-25 General Electric Company Fringe projection system for a probe with intensity modulating element suitable for phase-shift analysis
CN103513328A (zh) * 2012-06-28 2014-01-15 耿征 结构光发生装置、结构光发生方法及微型三维成像装置
CN105748029A (zh) * 2016-02-18 2016-07-13 深圳开立生物医疗科技股份有限公司 一种内窥镜成像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1729932A (zh) * 2005-09-01 2006-02-08 北京光电技术研究所 内窥镜照明装置
US20110205552A1 (en) * 2008-03-05 2011-08-25 General Electric Company Fringe projection system for a probe with intensity modulating element suitable for phase-shift analysis
CN103513328A (zh) * 2012-06-28 2014-01-15 耿征 结构光发生装置、结构光发生方法及微型三维成像装置
CN105748029A (zh) * 2016-02-18 2016-07-13 深圳开立生物医疗科技股份有限公司 一种内窥镜成像系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107485447A (zh) * 2017-08-09 2017-12-19 北京信息科技大学 一种面向膝盖软骨移植术的术中器具位姿导航装置及方法
CN107485447B (zh) * 2017-08-09 2023-07-04 北京信息科技大学 一种面向膝盖软骨移植术的术中器具位姿导航装置及方法
CN110367912A (zh) * 2019-07-12 2019-10-25 深圳先进技术研究院 一种内窥镜及内窥镜系统
CN110384469A (zh) * 2019-07-30 2019-10-29 北京凡星光电医疗设备股份有限公司 一种双目电子硬管内窥镜及其制造方法
CN112611726A (zh) * 2020-12-23 2021-04-06 陈政 一种分子特征吸收光谱测量装置及方法
CN114219841A (zh) * 2022-02-23 2022-03-22 武汉欧耐德润滑油有限公司 基于图像处理的润滑油罐体参数自动识别方法

Similar Documents

Publication Publication Date Title
CN106955085A (zh) 结构光三维内窥镜装置
CN107510430A (zh) 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统
US9808148B2 (en) Spatial 3D sterioscopic intraoral camera system
US9211058B2 (en) Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
CN101232840B (zh) 生物体观测装置
CN104523214A (zh) 一种窄带成像内窥镜装置
CN204379226U (zh) 一种窄带成像内窥镜装置
US11717375B2 (en) Methods and systems for alternate image display
CN105342561B (zh) 无线声控穿戴式分子影像导航系统
JP2013252185A (ja) 内視鏡及び内視鏡装置
CN110192894A (zh) 组合超声和光学的超声头
CN102469918B (zh) 内窥镜、内窥镜用罩及内窥镜装置
CN108542335A (zh) 全高清3d电子腹腔镜系统
CN206044588U (zh) 一次性电子内窥镜
CN208693238U (zh) 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像系统
CN102240203A (zh) 超柔性光电复合带状线内窥镜
JPS6311933Y2 (zh)
CN208002764U (zh) 一种结构光三维内窥镜装置
CN107137824B (zh) 具有可视化和显示光斑边界功能的光动力治疗系统
CN105142492B (zh) 内窥镜系统
CN109788891A (zh) 内窥镜镜体、内窥镜处理器和内窥镜用适配器
JP3191932B2 (ja) 計測用内視鏡装置
CN105361839A (zh) 改进光学性能的内窥镜系统
CN106377218A (zh) 一种双镜头胶囊内窥镜及其工作系统
CN203677046U (zh) 用于伸入血管的检查镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170718