CN113243881B - 内视镜系统及三维结构重建方法 - Google Patents

内视镜系统及三维结构重建方法 Download PDF

Info

Publication number
CN113243881B
CN113243881B CN202110176652.0A CN202110176652A CN113243881B CN 113243881 B CN113243881 B CN 113243881B CN 202110176652 A CN202110176652 A CN 202110176652A CN 113243881 B CN113243881 B CN 113243881B
Authority
CN
China
Prior art keywords
processor
endoscope system
sensing
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110176652.0A
Other languages
English (en)
Other versions
CN113243881A (zh
Inventor
卢锡新
杨德威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Biotechnology Co ltd
Original Assignee
Altek Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Biotechnology Co ltd filed Critical Altek Biotechnology Co ltd
Publication of CN113243881A publication Critical patent/CN113243881A/zh
Application granted granted Critical
Publication of CN113243881B publication Critical patent/CN113243881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00158—Holding or positioning arrangements using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/01—Guiding arrangements therefore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

提供一种内视镜系统，包括可挠式插管、运动感测模块与处理器。可挠式插管具有中心轴。运动感测模块包括壳体、多个图案与多个传感器。这些图案依据以中心轴为基准的轴向间距分布以及角度分布设置于可挠式插管的表面。这些传感器设置于壳体内且位于壳体的导引孔旁。处理器设置于壳体内且电性连接于这些传感器。在可挠式插管经由导引孔对运动感测模块进行相对运动的期间中，这些传感器用以感测这些图案的运动状态而得到运动状态感测结果。处理器根据运动状态感测结果、轴向间距分布与角度分布决定插入深度信息与插管旋转角度信息。一种三维结构重建方法亦被提出。

Description

内视镜系统及三维结构重建方法
技术领域
本发明涉及一种内视镜系统及三维结构重建方法，尤其涉及一种能够得知插入深度信息与插管旋转角度信息并建构人体内部三维结构的内视镜系统及方法。
背景技术
内视镜是一种可插入人体以诊察器官内部的仪器。一般来说，内视镜通过将插管的一端设置镜头，供医护人员通过插管将镜头导入人体中，而拍摄人体内部的图像。但现有内视镜并没有办法检测插管的插入深度与旋转角度，医护人员难以得知病灶的确切位置，而必须通过其他系统的辅助来得到上述信息。因此，当病患在下一次诊疗时，医护人员需要花费较多的时间来去寻找上次诊疗所发现的病灶，单就现有内视镜难以实现精确医疗，且诊断时效性亦不理想。
发明内容
本发明提供一种内视镜系统，其能够得知可挠式插管的插入深度与旋转角度等相关信息，还可进一步建构人体内部的三维结构，而可实现精确医疗并具有良好的诊断时效性。
根据本发明一实施例，提供一种内视镜系统，包括可挠式插管、运动感测模块、成像装置以及定位装置。可挠式插管具有中心轴。运动感测模块包括壳体、多个图案、多个传感器以及处理器。壳体具有导引孔。多个图案依据以中心轴为基准的轴向间距分布设置于可挠式插管的表面。多个传感器设置于壳体内且位于导引孔旁。处理器设置于壳体内且电性连接于这些传感器。成像装置设置于可挠式插管的一端，且连接处理器。定位装置设置于可挠式插管的所述端，且设置以获得所述端的定位信息，并将定位信息传送至处理器。可挠式插管为设置以通过导引孔插入目标体内部的不同深度，在可挠式插管通过导引孔对运动感测模块进行相对运动的期间中，这些传感器用以感测这些图案的运动状态而得到运动状态感测结果，处理器用以根据运动状态感测结果以及轴向间距分布决定插入深度信息。成像装置为设置以在可挠式插管插入目标体内部的不同深度的期间中产生多个感测图像，处理器用以利用这些感测图像产生多个三维图像，并根据这些三维图像所对应的插入深度信息以及定位信息结合这些三维图像，以重建目标体内部的三维结构。
在本发明的一实施例中，处理器用以对这些三维图像进行特征比对，得到特征信息，处理器用以利用特征信息结合这些三维图像，以重建目标体内部的三维结构。
在本发明的一实施例中，成像装置包括发光件、第一成像镜头以及第一图像传感器，发光件发出照明光束，第一图像传感器感测自目标体内部反射且穿透第一成像镜头的照明光束的一部份，以对应产生多个第一感测图像。
在本发明的一实施例中，处理器用以根据图像处理演算法分析这些第一感测图像，以产生三维图像。
在本发明的一实施例中，成像装置还包括第二成像镜头以及第二图像传感器，第二图像传感器感测自目标体内部反射且穿透第二成像镜头的照明光束的另一部分，以对应产生多个第二感测图像，处理器用以利用第一感测图像以及这些第二感测图像产生三维图像。
在本发明的一实施例中，处理器利用三角测距法产生三维图像。
在本发明的一实施例中，内视镜系统还包括飞行时间测距装置，设置于可挠式插管的所述端且连接处理器，处理器用以利用飞行时间测距装置在目标体内部进行飞行时间测距(time-of-flight ranging,ToF ranging)，以产生三维深度信息，处理器用以根据这些第一感测图像以及三维深度信息产生三维图像。
在本发明的一实施例中，这些图案依据以中心轴为基准的角度分布设置于可挠式插管的表面，处理器用以根据运动状态感测结果以及角度分布决定插管旋转角度信息。
在本发明的一实施例中，定位装置包括陀螺仪、加速度计以及电子罗盘。
在本发明的一实施例中，处理器用以根据电子罗盘校正陀螺仪。
在本发明的一实施例中，处理器用以根据插管旋转角度信息校正陀螺仪。
在本发明的一实施例中，处理器用以根据插入深度信息校正定位信息。
根据本发明一实施例，提供一种三维结构重建方法，包括以可挠式插管通过运动感测模块的导引孔插入目标体内部的不同深度；以可挠式插管藉由导引孔对运动感测模块进行相对运动的期间中，运动感测模块的多个传感器感测运动感测模块的多个图案的运动状态而得到运动状态感测结果；以处理器根据运动状态感测结果以及多个图案的轴向间距分布决定插入深度信息；以成像装置在可挠式插管插入目标体内部的不同深度的期间中产生多个感测影像；以处理器利用多个感测影像产生多个三维影像；以及以处理器根据多个三维影像所对应的插入深度信息以及可挠式插管的一端的定位信息结合多个三维影像，以重建目标体内部的三维结构。
在本发明的一实施例中，三维结构重建方法还包括以处理器对多个三维影像进行特征比对，得到特征信息；以及处理器利用特征信息结合多个三维影像，以重建目标体内部的三维结构。
在本发明的一实施例中，成像装置包括发光件、第一成像镜头以及第一影像传感器，三维结构重建方法还包括以发光件发出照明光束；以及以第一影像传感器感测自目标体内部反射且穿透第一成像镜头的照明光束的一部份，以对应产生多个第一感测影像。
在本发明的一实施例中，三维结构重建方法还包括以处理器根据图像处理演算法分析多个第一感测影像，以产生多个三维影像。
在本发明的一实施例中，成像装置还包括第二成像镜头以及第二影像传感器，三维结构重建方法还包括以第二影像传感器感测自目标体内部反射且穿透第二成像镜头的照明光束的另一部分，以对应产生多个第二感测影像；以及以处理器利用多个第一感测影像以及多个第二感测影像产生多个三维影像。
在本发明的一实施例中，三维结构重建方法还包括以处理器利用三角测距法产生多个三维影像。
在本发明的一实施例中，内视镜系统还包括飞行时间测距装置，设置于可挠式插管的所述端且连接处理器，三维结构重建方法还包括以处理器利用飞行时间测距装置在目标体内部进行飞行时间测距，以产生三维深度信息；以及以处理器根据多个第一感测影像以及三维深度信息产生多个三维影像。
在本发明的一实施例中，多个图案依据以可挠式插管的中心轴为基准的角度分布设置于可挠式插管的表面，且三维结构重建方法还包括以处理器根据运动状态感测结果以及角度分布决定插管旋转角度信息。
在本发明的一实施例中，定位装置包括陀螺仪以及电子罗盘，三维结构重建方法还包括以处理器根据电子罗盘校正陀螺仪。
在本发明的一实施例中，三维结构重建方法还包括以处理器根据插管旋转角度信息校正陀螺仪。
在本发明的一实施例中，三维结构重建方法还包括以处理器根据插入深度信息校正定位信息。
根据本发明一实施例，提供一种内视镜系统，包括可挠式插管、运动感测模块、成像装置、定位装置以及显示设备。可挠式插管具有中心轴。运动感测模块包括壳体以及处理器，且壳体具有导引孔，其中可挠式插管通过导引孔插入目标体内部的不同深度。成像装置设置于可挠式插管的一端，且连接处理器，成像装置包括发光件、成像镜头以及影像传感器，其中发光件发出照明光束，影像传感器感测自目标体内部反射且穿透成像镜头的照明光束的一部份，以对应产生多个感测影像。定位装置设置于可挠式插管的所述端，以获得所述端的定位信息，并将定位信息传送至处理器。显示设备连接影像传感器，以显示多个感测影像。
基于上述，在本发明实施例的内视镜系统中，运动感测模块的多个图案以轴向间距分布与角度分布设于可挠式插管的表面，多个传感器设置于壳体内且位于导引孔旁。因此，这些图案指定的间距或角度关系，以做为位置或运动状态描述的量化基础。当可挠式插管经由导引孔对运动感测模块进行相对运动时，这些传感器可感测这些图案的运动状态而得到运动状态感测结果。处理器再根据运动状态感测结果、轴向间距分布与角度分布来决定插入深度信息与插管旋转角度信息。医护人员可以从插入深度信息与插管旋转角度信息得知病灶的位置，因此内视镜系统可实现精确医疗并具有良好的诊断时效性。在本发明的其他实施例中，内视镜系统还包括定位装置，并利用处理器结合插入深度信息、三维图像以及定位信息，重建人体内部的三维结构。由于上述的三维图像可以对应于不同的插入深度，得以避免三维图像以及所重建的三维结构具有死角，大幅提升医疗精确度。此外，还可以存储所重建的三维结构，提供病患在日后的诊疗中的重要依据。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1A为本发明的一实施例的内视镜系统应用于人体的应用示意图；
图1B为图1A的可挠式插管与运动感测模块的外观示意图；
图1C为图1A中的内视镜系统的局部剖面示意图；
图2A是图1A至图1C的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所量测到的光强度电信号时变图；
图2B是图1A至图1C的可挠式插管在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的光强度电信号时变图；
图2C是多个深度传感器与多个图案之间的配置关系与深度传感器所感测到的光强度电信号示意图；
图3A是本发明另一实施例的内视镜系统的局部剖面示意图；
图3B是图3A的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所测量到的电信号时变图；
图3C是图3A的可挠式插管在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的电信号时变图；
图4A是本发明又一实施例的内视镜系统的局部剖面示意图；
图4B是图4A的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所测量到的电信号时变图；
图4C是图4A的可挠式插管与对应的旋转角度传感器在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的电信号时变图；
图5至图7为本发明的实施例的内视镜系统的端部放大图；
图8为本发明的实施例的内视镜系统的方块图。
附图标号说明：
100、100a、100b:内视镜系统
110:可挠式插管
120、120a、120b:运动感测模块
122:壳体
124、1241、1242:图案
124a、1241a、1242a:反射图案
124b、1241b、1242b:磁性图案
126:第一发光件
128、128b:传感器
1281、1281b、12811～12819:深度传感器
1282、1282b:旋转角度传感器
129:处理器
130:成像装置
132、232:成像镜头
134:第二发光件
136、236:图像传感器
138:定位装置
140:转向摇杆
142:飞行时间测距装置
210:插入深度信息
220:插管旋转角度信息
230:深度计算
240:三维深度信息
250:深度关联性
260:定向关联性
270:感测图像
280:局部三维重建
290:多个三维图像
310:三维图像融合/联结
320:三维结构
1381:陀螺仪
1382:加速度计
1383:电子罗盘
1381A:角度改变信息
1382A:速度改变信息
1383A:定向信息
a、b、c:时刻
AG1、AG2、AG3:第一、第二、第三角度传感器
AS:容置空间
BP:咬合部
BS:弯曲段
C:感应线圈
C1:深度感应线圈
C2:旋转角度感应线圈
CA:中心轴
CB1:第一电路载板
CB2:第二电路载板
D:间距
DS:末梢段
E1、E2:可挠式插管的两端
GH:导引孔
HB:人体
I:感应电流
IB:照明光束
R:光收发感测模块
S:表面
S1～S5:信号
SB:感测光束
SB’:反射后的感测光束
T:定时器
OB:照明光束
θ:夹角
具体实施方式
图1A为本发明的一实施例的内视镜系统应用于人体的应用示意图。图1B为图1A的可挠式插管与运动感测模块的外观示意图。图1C为图1A中的内视镜系统的局部剖面示意图。
请参照图1A至图1C，于本实施例中，内视镜系统100为通过插管进入人体HB以观察人体HB内部状况的医疗仪器。详细来说，内视镜系统100主要包括可挠式插管110、运动感测模块120、成像装置130与转向摇杆140。于以下的段落中会详细地说明上述元件与元件之间的配置方式。
可挠式插管110由可挠式材料形成且具有可挠性。如图1B、图1C所示，可挠式插管110具有中心轴CA，本发明实施例中所指的轴向(axial orientation)是指可挠式插管110的沿着中心轴CA的延伸方向。
运动感测模块120可通过光强度或磁场变化而感测可挠式插管110的运动状态的模块。为求方便说明，于以下的段落中会以先以光学式运动感测模块为例作为说明。于本实施例中，运动感测模块120例如是光学式运动感测模块，其包括壳体122、多个图案124、多个第一发光件126、多个传感器128、处理器129、第一电路载板CB1、第二电路载板CB2与定时器T。于以下的段落中会详细地说明运动感测模块120内部元件与元件之间的配置。
壳体122内部具有容置空间AS，其用以容置运动感测模块120中的各元件，并提供保护功能。壳体122具有对外连通的导引孔GH。可挠式插管110可经由导引孔GH往人体HB内部以拍摄其内部图像。
这些图案124是依据以中心轴CA为基准的轴向间距分布与角度分布设置于可挠式插管110的表面。具体来说，所谓“依据轴向间距分布设置于可挠式插管110的表面S”的意思是这些图案124沿着中心轴CA的轴向并以特定间距分布来设置于可挠式插管110的表面S，其中特定间距分布例如是等间距分布，也就是说，在平行于中心轴CA轴向的方向上，任二个相邻图案124的间距D彼此相等，但本发明并不以此为限。另一方面，所谓的“依据一角度分布设置于可挠式插管110的表面S”意思是这些图案124以中心轴CA为中心进行一特定角度分布来设置于可挠式插管110的表面，其中特定角度分布例如是等角度分布，也就是说，任二个相邻图案124对于中心轴CA所夹出的夹角彼此相等，但本发明并不以此为限。这些图案124可选择性地设置于可挠式插管110的外表面或内表面，本发明并不以此为限。因此，这些图案124彼此之间具有指定的间距或角度关系，以作为位置或运动状态描述的量化基础。
这些第一发光件126在功能上是可发光的光学件(optical member)，其可例如是受电控而发光的发光元件或不受电控而可自发光的荧光件，其中发光元件例如是发光二极管(Light Emitting Diode,LED)、有机发光二极管(Organic Light Emitting Diode,OLED)或其他合适且可发光的电控发光元件，而荧光件包括荧光材料，本发明并不以此为限。第一发光件126所发出的光束称为感测光束SB，这些图案124的运动状态可通过感测光束SB来感测。于本实施例中，这些第一发光件126例如分别整合于这些图案124中，因此各图案124亦可被视为是一种发光图案。
这些传感器128用以感测这些图案124的运动状态，从而得到关于可挠式插管110的运动状态感测结果。于本实施例中，这些传感器128例如是可将光信号转换成电信号的光传感器，且其种类例如是光电二极管(Photodiode)。这些传感器128设置于壳体122内且位于导引孔GH旁。并且，依据测量不同的运动状态，这些传感器128可更分为多个深度传感器1281与多个旋转角度传感器1282。这些深度传感器1281沿着导引孔GH的延伸方向设置且位于导引孔GH旁，这些旋转角度传感器1282则是环绕导引孔GH设置且位于导引孔GH旁。于下方的段落中会再详细说明如何感测图案124的运动状态。
处理器129例如是可对各种电信号进行运算、处理或进行分析功能的电子元件，其例如是计算器、微处理器(Micro Controller Unit,MCU)、中央处理单元(CentralProcessing Unit，CPU)，或是其他可程序化的控制器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable LogicDevice，PLD)或其他类似装置。处理器129设置于壳体122内，且电性连接这些传感器128，并用以接收来自这些传感器128的电信号以对其结果进行分析。
第一、第二电路载板CB1、CB2设置于壳体122内。第一电路载板CB1设置于邻近导引孔GH的开口处且导引孔GH贯穿第一电路载板CB1。第二电路载板CB2设置于邻近导引孔GH的中间部分且导引孔GH贯穿第二电路载板CB2。第一、第二电路载板CB1、CB2彼此互为垂直摆设。这些深度传感器1281设置于第一电路载板CB1上且与第一电路载板CB1电性连接，而这些旋转角度传感器1282设置于第二电路载板CB2上且与第二电路载板CB2电性连接。处理器129与第一、第二电路载板CB1、CB2电性连接，并通过第一、第二电路载板CB1、CB2接收来自这些深度传感器1281与这些旋转角度传感器1282的电信号。
定时器T是用以测量时间的电子元件，其与处理器129电性连接。
成像装置130是用以获取人体HB内部的图像的光电装置，其包括成像镜头132、第二发光件134与图像传感器136。成像装置130设置于可挠式插管110的一端E1(例如是末端)。成像镜头132例如是由一或多个具有屈光度的镜片所构成的镜头，其适于接收图像并与图像传感器136光耦接。第二发光件134的说明类似于第一发光件126，于此不再赘述，其用以发出照明光束IB，用以照射人体HB内部的待测物OB(例如是器官)。
转向摇杆140是用以控制可挠式插管110中运动的机构件。转向摇杆140设置于可挠式插管110的另一端E2(即不同于成像装置130的设置端E1)且与可挠式插管110耦接。通过转向摇杆140控制末梢段DS的角度，而可改变邻近末梢段DS的成像装置130的位置，进一步探测不同器官的图像。
于以下的段落中会详细地说明内视镜系统100的运作方式与运动感测模块120中的如何具体感测图案124的运动状态感测结果。
首先，先说明内视镜系统100的运作方式。
请参照图1A，病患可咬合由壳体122下方延伸出的咬合部BP以避免使用者破坏可挠式插管110，并使运动感测模块120固定于用户的嘴巴上方。可挠式插管110可经由导引孔GH导入于人体HB。当可挠式插管110进入人体HB后，第二发光件134则发出照明光束IB照射人体HB内部的待测物OB(例如是器官)。待测物OB反射至少一部分的照明光束IB至成像镜头132，而使图像传感器136感测图像。图像传感器136可将图像传递至后端的显示设备(未示出)，以供医护人员观测人体HB内部的动态图像。而在进入人体HB的过程中，医护人员更可通过转向摇杆140直接控制可挠式插管110弯曲段BS的角度，又因可挠式插管110的末梢段DS与弯曲段BS连接，因此转向摇杆140可间接控制末梢段DS的角度，成像装置130可随着末梢段DS的角度变化而观测人体HB内不同的器官。
根据上述的说明，医护人员会将可挠式插管110经由导引孔GH往人体内部延伸，并且可通过转向摇杆140控制末梢段DS的角度来观测人体内部不同的器官。上述的做法导致了可挠式插管110对运动感测模块120进行相对运动，其中相对运动包括可挠式插管110沿着中心轴CA轴向的轴向运动与可挠式插管110对运动感测模块120所做的旋转运动。也就是说，这些图案124的运动感测结果包括了轴向运动感测结果与旋转运动感测结果。于以下的段落中搭配图2A至图2C而会分段说明运动感测模块120如何感测轴向运动与旋转运动。
图2A是图1A至图1C的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所测量到的光强度信号时变图。图2B是图1A至图1C的可挠式插管在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的光强度信号时变图。图2C是多个深度传感器与多个图案之间的配置关系与深度传感器所感测到的信号示意图。
针对感测轴向运动方式，先以单一个深度传感器1281的观点来看。请参照图2A，假设这些图案124所发出的感测光束SB总合而成一总合感测光束，并假设深度传感器1281的位置一开始对应于图案1241(于此处标为1241，为发光图案)的中央处，此时深度传感器1281感测到最大的总合感测光束光强度，如图2A中的a时刻所示。随着可挠式插管110往人体HB内部的方向行进，并假设深度传感器1281的位置对应到二图案1241、1242的中央处，深度传感器1281感测到最小的总合感测光束光强度，如图2A中的b时刻所示。接着，而随着可挠式插管110更往人体HB内部的方向行进，并假设深度传感器1281的位置对应到下一个图案1242的中央处，深度传感器1281又再次地感测到最大的总合感测光束光强度，如图2A中的c时刻所示。因此，对于单一个深度传感器1281来说，只要感测到两次最大的总合感测光束光强度，即可判定可挠式插管110往沿着轴向方向移动一间距D的大小。但是，其它的深度传感器1281则不一定是会感测到两次最大的总合感测光束光强度，因此后端的处理器129会根据所有的深度传感器1281所测量出的信号结果后进行运算，以得到插入深度信息。
针对感测旋转运动方式，请参照图2B，类似于图2A的说明，假设这些图案124所发出的感测光束SB总合而成一总合感测光束，并假设旋转角度传感器1282的位置一开始对应于图案1241(于此处标为1241，为发光图案)的中央处，此时旋转角度传感器1282感测到最大的总合感测光束光强度，如图2B中的a时刻所示。随着可挠式插管110例如是对运动感测模块120进行顺时针旋转运动，以使旋转角度传感器1282的位置对应的二图案1241、1242的中央处时，旋转角度传感器1282感测到最小的总合感测光束光强度，如图2B中的b时刻所示。接着，随着可挠式插管110例如是再对运动感测模块120进行顺时针旋转运动，以使旋转角度传感器1282的位置对应的图案1242的中央处时，旋转角度传感器1282又再次地感测到最大的总合感测光束光强度，如图2B中的c时刻所示。因此，对于单一个旋转角度传感器1282来说，只要感测到两次最大的总合感测光束光强度，即可判定可挠式插管110往顺时针方向转动角度θ的大小。但是，其它的旋转角度传感器1282则不一定是会感测到两次最大的总合感测光束光强度，因此后端的处理器129会根据所有的旋转角度传感器1282所测量出的信号结果后进行运算，以得到插管旋转角度信息。
除了考虑上述的因素外，处理器129更会考虑这些传感器128所测量信号相位因素，进而得到更为精确的插入深度信息与插管旋转角度信息。请参照图1C，这些传感器128的空间频率与这些图案122的空间频率彼此不同。也就是说，对于这些深度传感器1281来说，二深度传感器1281之间的间距不同于沿着中心轴CA轴向方向设置的二图案124之间的间距。对于这些旋转角度传感器1282来说，二旋转角度传感器1282对于中心轴CA的夹角不同于二图案124对于中心轴CA的夹角。请参照图2C，以多个深度传感器1281(例如是9个，但不以此为限)与多个图案124(例如是10个，但不以此为限)作为说明的范例，于此图式可看出二深度传感器1281之间的间距不同于二图案124之间的间距。基于以上的配置，每一个深度传感器12811～12819所测量到的光强度信号相位或多或少有些不同(于此处仅以示例示出深度传感器12811～12815所感测到的信号S1～S5)。因此，处理器129更可依据信号相位不同对这些深度传感器12811～12819产生深度编码的功能，进而得到更为精确的插入深度信息。类似于图2C的做法，处理器129也更可依据信号相位不同对这些旋转角度传感器1282产生角度编码的功能，进而得到更为精确的插入旋转角度信息。
在计算出插入深度信息与插管旋转角度信息后，处理器129可整合上述信息以得知病灶的位置，并注记于图像信息内，以供医护人员参照。并且，处理器129更可通过上述的图像及相关信息输出至3D模型制造机(未示出)，以供3D模型制造机建立人体HB内部模型，或者是做为进阶图像处理的基础。
应注意的是，上述的计算方式只是举例说明，于其它的实施例中亦可依据同样的参数(即轴向间距分布、角度分布、运动状态感测结果)并利用不同计算方式以得知插入深度信息与插管旋转角度信息，本发明并不以此为限。
承上述，在本实施例的内视镜系统100中，运动感测模块120的多个图案124以轴向间距分布与角度分布设于可挠式插管110的表面S，多个传感器128设置于壳体122内且位于导引孔GH旁。当可挠式插管110经由导引孔GH对运动感测模块120进行相对运动时，这些传感器128可感测这些图案124的运动状态而得到运动状态感测结果。处理器129再根据运动状态感测结果、轴向间距分布与角度分布来决定插入深度信息与插管旋转角度信息。医护人员可以从插入深度信息与插管旋转角度信息得知病灶的位置。当病患在下一次进行诊疗时，医护人员可根据前一次的测量结果而快速地找到病灶，因此内视镜系统100可实现精确医疗。
进一步来说，处理器129更可依据定时器T所得到的时间信息，并分别根据插入深度信息与插管旋转角度信息以分别决定可挠式插管110的速度信息与角速度信息。
此外，于本实施例中，内视镜系统100更可选择性地包括第一至第三角度传感器AG1～AG3。于以下的段落中会详细地说明上述第一至第三角度传感器AG1～AG3设置位置与对应功能。
如图1C所示，第一角度传感器AG1设置于壳体122内且与处理器129电性连接，其中第一角度传感器AG1用以感测运动感测模块120本身的第一角度信息，并将第一角度信息传递至处理器129。因此，处理器129可根据第一角度信息以得知运动感测模块120水平角度、垂直角度、倾斜角度或震动状态，并进一步推算可挠式插管110与病患位置。并且，处理器129可依据第一角度信息并配合定时器T的时间信息，可进一步得知诊疗过程中的运动状态的改变情形。
如图1A所示，第二角度传感器AG2设置于可挠式插管110的一端E1且位于成像装置130旁。第二角度传感器AG2与处理器129电性连接，且用以感测可挠式插管110的一端E1的第二角度信息。由于第二角度传感器AG2更靠近成像装置130，因此其感测到的第二角度信息可使运动感测模块120的感测精度进一步提升。
如图1A所示，第三角度传感器AG3设置于转向摇杆140。第三角度传感器AG3与转向摇杆140与处理器129电性连接，且用以感测转向摇杆140的第三角度信息，以简易地感测可挠式插管110的旋转角度。
在此必须说明的是，下述实施例沿用前述实施例的部分内容，省略了相同技术内容的说明，关于相同的元件名称可以参考前述实施例的部分内容，下述实施例不再重复赘述。
图3A是本发明另一实施例的内视镜系统的局部剖面示意图。图3B是图3A的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所测量到的电信号时变图。图3C是图3A的可挠式插管在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的电信号时变图。
请参照图3A至图3C，图3A的内视镜系统100a大致类似于图1A至图1C的内视镜系统100，其主要差异在于：内视镜系统100a中的运动感测模块120a为反射式光学运动感测模块。详细来说，这些图案为具有反射功能的反射图案124a，而这些第一发光件(未示出于图3A)则分别整合于这些传感器128(光传感器)。因此，各第一发光件与对应的传感器128构成一光收发感测模块R。
请参照图3B与图3C，本实施例的内视镜系统100a的光学原理与内视镜系统100的光学原理稍微不同，其差异在于：在可挠式插管110经由导引孔GH对运动感测模块120进行相对运动的期间中，这些第一发光件126分别由这些光传感器128的所在处发出多个感测光束SB(简要示意为一个)，而被反射图案124a反射后的感测光束SB’传递至这些深度传感器1281与这些旋转角度传感器1282以得到轴向运动感测结果与旋转运动感测结果。测量的说明类似于图2A至图2C的相关说明，于此不再赘述。
图4A是本发明又一实施例的内视镜系统的局部剖面示意图。图4B是图4A的可挠式插管在进行轴向运动的放大示意图与对应的深度传感器所测量到的电信号时变图。图4C是图4A的可挠式插管与对应的旋转角度传感器在进行旋转运动的放大示意图与对应的旋转角度传感器所测量到的电信号时变图。
图4A的内视镜系统100b大致类似于图1A至图1C的内视镜系统100，其主要差异在于：内视镜系统100b中的运动感测模块120b为磁场运动感测模块。详细来说，这些图案为多个磁性图案124b，而这些传感器128b为多个感应线圈C，即这些深度传感器1281b为多个深度感应线圈C1，而这些旋转角度传感器1282b为多个旋转角度感应线圈C2。磁性图案124b的磁力线画两条为示例，但不以此为限。
请参照图4B与图4C，本实施例的内视镜系统100b的测量原理与内视镜系统100的测量原理稍微不同，其差异在于：在可挠式插管110经由导引孔GH对运动感测模块120进行相对运动的期间中，这些磁性图案124b因相对运动所产生的磁场变化导致这些深度感应线圈1281b与这些旋转角度传感器1282b感应出至少一感应电流I，而据此得到轴向运动感测结果与旋转运动感测结果。换句话说，运动感测模块120b的信号来源方式是由磁场变化而转换的电信号，而运动感测模块120的信号来源方式是由感测光束SB转换的电信号。运动感测模块120b的测量方式大致上类似于图2A与图2B的说明，于此不再赘述。
于其它未示出的实施例中，图4A的运动感测模块120b中的传感器128b也可以更换成霍尔传感器(Hall sensor)，即这些深度传感器1281b为多个深度霍尔传感器，而这些旋转角度传感器1282b为多个旋转角度霍尔传感器。因此，这些深度传感器1281b与这些旋转角度传感器1282b可感测这些磁性图案124b的磁场变化而感应出至少一感应电压，而据此得到轴向运动感测结果与旋转运动感测结果。
图5至图7为根据本发明实施例的内视镜系统的端部放大图。这些实施例中的内视镜系统与图1A所示的内视镜系统100的结构大致相同，为了避免赘述，仅示出了这些实施例中的内视镜系统与图1A所示的内视镜系统100的结构相异处。
图5为本发明的一实施例的内视镜系统的端部放大图。本实施例的内视镜系统与图1A所示的内视镜系统100的结构大致相同，其不相同处描述如下。本实施例的内视镜系统还包括了定位装置138，定位装置138设置于此内视镜系统的一端E1并连接至处理器129。定位装置138用以获得端E1的定位信息，并将此定位信息传送至处理器129。成像装置130进一步连接至处理器129，并用以在其所设置的端E1插入人体内部的不同深度的期间中产生多个感测图像。
在本发明一实施例中，定位装置包括陀螺仪、加速度计以及电子罗盘，其中陀螺仪基于角动量守恒的理论获得端E1的角度改变信息，即端E1的定向角度改变量；加速度计用以感测端E1的加速度，经过时间的积分还可以得出端E1的速度改变信息及位移信息等；电子罗盘用以感测端E1的定向信息，相较于陀螺仪获得端E1的定向角度改变量的性质，电子罗盘可以测量端E1在地理坐标系中的角度分量。因此，在本发明一实施例中，处理器129可以根据电子罗盘校正陀螺仪。在本发明的另一实施例中，处理器129可以通过内视镜系统的插管旋转角度信息校正陀螺仪。此外，在本发明的再一实施例中，由于内视镜系统的插入深度信息包括了端E1的位移信息，处理器129可以根据内视镜系统的插入深度信息校正定位信息。
在图5所示的实施例中，成像镜头132、第二发光件134与图像传感器136设置于可挠式插管的端E1，第二发光件134如同前述的实施例可以发出照明光束，图像传感器136用以感测照明光束自人体HB内部反射且穿透成像镜头132的部份，图像传感器136得以对应产生不同插入深度下的多个第一感测图像。处理器129用以根据图像处理演算法(例如软件演算法)分析这些第一感测图像，来产生对应的多个三维图像。
图6为本发明的一实施例的内视镜系统的端部放大图。本实施例的内视镜系统与图5所示的内视镜系统的结构大致相同，其不相同处描述如下。本实施例的内视镜系统的成像装置还包括了成像镜头232以及图像传感器236，图像传感器236感测自第二发光件134发出、经由人体HB内部反射且穿透成像镜头232的照明光束的一部分，以对应产生多个第二感测图像。由于图像传感器136以及图像传感器236设置于端E1的不同部分上，使得图像传感器136以及图像传感器236之间具有如图6所示的一间距，处理器129得以将三角测距法运用于图像传感器136所对应产生的多个第一感测图像以及图像传感器236所对应产生的多个第二感测图像，得知这些第一感测图像以及第二感测图像中的不同组织、部位或器官的距离(即深度)，因此产生多个三维图像。
图7为本发明的一实施例的内视镜系统的端部放大图。本实施例的内视镜系统与图5所示的内视镜系统的结构大致相同，其不相同处描述如下。本实施例的内视镜系统还包括飞行时间测距装置142，设置于端E1且连接处理器129，处理器129利用飞行时间测距装置142在人体HB内部进行飞行时间测距(TOF)，以产生三维深度信息。具体而言，在图7所示的实施例中，成像镜头132、第二发光件134与图像传感器136设置于可挠式插管的端E1，第二发光件134如同前述的实施例可以发出照明光束，图像传感器136用以感测照明光束自人体HB内部反射且穿透成像镜头132的部份，图像传感器136得以对应产生多个第一感测图像。飞行时间测距装置142向对应于这些第一感测图像的人体HB内部进行飞行时间测距，使得处理器得以获得每个第一感测图像的三维深度信息，处理器129再根据这些第一感测图像以及对应的三维深度信息产生多个三维图像。
应当说明的是，本发明提供了如图5至图7所示的实施例来说明产生三维图像的不同方法。下面即将描述的图8所示的实施例将结合图5至图7的部分技术方案并说明如何根据这些三维图像所对应的插入深度信息、角度改变信息以及定位信息结合这些三维图像，以重建人体HB内部的三维结构。
还应当说明的是，在本发明的实施例中，处理器129例如为中央处理单元(centralprocessing unit,CPU)、微处理器(microprocessor)、数字信号处理器(digital signalprocessor,DSP)、可程序化控制器、可程序化逻辑设备(programmable logic device,PLD)或其他类似装置或这些装置的组合，本发明并不加以限制。此外，在一实施例中，处理器129的各功能可被实作为多个程序代码。这些程序代码会被储存在一个内存中，由处理器129来执行这些程序代码。或者，在一实施例中，处理器129的各功能可被实作为一或多个电路。本发明并不限制用软件或硬件的方式来实作处理器129的各功能。
参照图8，其示出根据本发明实施例的内视镜系统的方块图。如同前述，本发明实施例提供的处理器129的各功能可以被实作为多个程序代码。因此，在图8中，将以方块表示内视镜系统的各个组成部分，包括各个装置、部件以及功能。
在图8所示的实施例中的内视镜系统具备了插入深度信息210以及插管旋转角度信息220，本实施例的插入深度信息210以及插管旋转角度信息220如同前述实施例所述的插入深度信息以及插管旋转角度信息，于此不再赘述。本实施例的内视镜系统还包括陀螺仪1381、加速度计1382以及电子罗盘1383，其中陀螺仪1381可以提供角度改变信息1381A，加速度计1382可以提供速度改变信息1382A，电子罗盘1383可以提供定向信息1383A。
本实施例的内视镜系统还包括图像传感器136、图像传感器236以及飞行时间测距装置142，其中图像传感器136可以产生感测图像270。图像传感器136以及图像传感器236也可以分别产生不同的感测图像(如上述图6所示实施例中的第一感测图像以及第二感测图像)，并利用例如三角测距法来进行深度计算230，产生三维深度信息240。飞行时间测距装置142可以进行飞行时间测距(TOF)，以产生三维深度信息240。
由于插管旋转角度信息220涉及可挠式插管的转动角度，使得插管旋转角度信息220以及陀螺仪1381提供的角度改变信息1381A之间具备定向关联性260。类似的，插入深度信息210以及三维深度信息240之间具备深度关联性250。
结合定向关联性260、深度关联性250、速度改变信息1382A、定向信息1383A以及感测图像270来进行局部三维重建280，可以获得多个三维图像290。
接下来，将多个三维图像290进行三维图像融合/联结310得以重建人体HB内部的三维结构320。在一实施例中，处理器129对多个三维图像290进行特征比对，得到特征信息。具体而言，例如是在不同的三维图像中寻找并记录相同的特征，将这些信息定义为特征信息。处理器129根据这些特征信息得知不同的三维图像之间的关系，进一步融合/联结这些三维图像290，重建人体HB内部的三维结构320，并在过程中不断进行校正与补偿，得到最优化的三维结构320。
综上所述，在本发明实施例的内视镜系统中，运动感测模块的多个图案以轴向间距分布与一角度分布设于可挠式插管的表面，多个传感器设置于壳体内且位于导引孔旁。因此，这些图案指定的间距或角度关系，以做为位置或运动状态描述的量化基础。当可挠式插管经由导引孔对运动感测模块进行相对运动时，这些传感器可感测这些图案的运动状态而得到运动状态感测结果。这些传感器可通过这些图案的光学变化或磁场变化而感测到这些图案的运动状态。并且，这些传感器依据感测功能的不同更分为多个深度传感器与多个旋转角度传感器。这些深度传感器沿着导引孔的延伸方向而设置。这些旋转角度传感器环绕导引孔而设置。当可挠式插管对运动感测模块进行相对运动时，这些深度传感器可用来感测图案的轴向运动状态，来决定可挠式插管进入人体的插入深度信息。另一方面，这些旋转角度传感器则可用来感测这些图案的旋转运动状态，来决定可挠式插管进入人体的插管旋转角度信息。当病患在下一次进行诊疗时，医护人员可根据前一次的测量结果而快速地找到病灶，因此，医疗人员可通过本发明实施例的内视镜系统以实现精确医疗。在本发明的其他实施例中，内视镜系统还包括定位装置，并利用处理器结合插入深度信息、三维图像以及定位信息，重建人体内部的三维结构，例如虚拟的上消化道或下消化道。并且，由于上述的三维图像可以对应于不同的插入深度，得以避免三维图像以及所重建的三维结构具有死角，大幅提升医疗精确度。此外，还可以存储所重建的三维结构，提供病患在日后的诊疗中的重要依据。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (12)

1.一种内视镜系统，其特征在于，包括：
可挠式插管，具有中心轴；
运动感测模块，包括：
壳体，具有导引孔；
多个图案，依据以所述中心轴为基准的轴向间距分布设置于所述可挠式插管的表面；
多个传感器，设置于所述壳体内且位于所述导引孔旁；以及
处理器，设置于所述壳体内且电性连接于所述多个传感器；
成像装置，设置于所述可挠式插管的一端，且连接所述处理器；以及
定位装置，设置于所述可挠式插管的所述端，且设置以获得所述端的定位信息，并将所述定位信息传送至所述处理器，
其中所述可挠式插管为设置以通过所述导引孔插入目标体内部的不同深度，在所述可挠式插管通过所述导引孔对所述运动感测模块进行相对运动的期间中，所述多个传感器用以感测所述多个图案的运动状态而得到运动状态感测结果，所述处理器用以根据所述运动状态感测结果以及所述轴向间距分布决定插入深度信息；
所述成像装置为设置以在所述可挠式插管插入所述目标体内部的不同深度的期间中产生多个感测图像，所述处理器用以利用所述多个感测图像产生多个三维图像，并根据所述多个三维图像所对应的所述插入深度信息以及所述定位信息结合所述多个三维图像，以重建所述目标体内部的三维结构。
2.根据权利要求1所述的内视镜系统，其特征在于，所述处理器用以对所述多个三维图像进行特征比对，得到特征信息，所述处理器用以利用所述特征信息结合所述多个三维图像，以重建所述目标体内部的三维结构。
3.根据权利要求1所述的内视镜系统，其特征在于，所述成像装置包括发光件、第一成像镜头以及第一图像传感器，所述发光件发出照明光束，所述第一图像传感器感测自所述目标体内部反射且穿透所述第一成像镜头的所述照明光束的一部份，以对应产生多个第一感测图像。
4.根据权利要求3所述的内视镜系统，其特征在于，所述处理器用以根据图像处理演算法分析所述多个第一感测图像，以产生所述多个三维图像。
5.根据权利要求3所述的内视镜系统，其特征在于，所述成像装置还包括第二成像镜头以及第二图像传感器，所述第二图像传感器感测自所述目标体内部反射且穿透所述第二成像镜头的所述照明光束的另一部分，以对应产生多个第二感测图像，所述处理器用以利用所述多个第一感测图像以及所述多个第二感测图像产生所述多个三维图像。
6.根据权利要求5所述的内视镜系统，其特征在于，所述处理器利用三角测距法产生所述多个三维图像。
7.根据权利要求3所述的内视镜系统，其特征在于，还包括飞行时间测距装置，设置于所述可挠式插管的所述端且连接所述处理器，所述处理器用以利用所述飞行时间测距装置在所述目标体内部进行飞行时间测距，以产生三维深度信息，所述处理器用以根据所述多个第一感测图像以及所述三维深度信息产生所述多个三维图像。
8.根据权利要求1所述的内视镜系统，其特征在于，所述多个图案依据以所述中心轴为基准的角度分布设置于所述可挠式插管的表面，所述处理器用以根据所述运动状态感测结果以及所述角度分布决定插管旋转角度信息。
9.根据权利要求8所述的内视镜系统，其特征在于，所述定位装置包括陀螺仪、加速度计以及电子罗盘。
10.根据权利要求9所述的内视镜系统，其特征在于，所述处理器用以根据所述电子罗盘校正所述陀螺仪。
11.根据权利要求9所述的内视镜系统，其特征在于，所述处理器用以根据所述插管旋转角度信息校正所述陀螺仪。
12.根据权利要求1所述的内视镜系统，其特征在于，所述处理器用以根据所述插入深度信息校正所述定位信息。
CN202110176652.0A 2020-02-13 2021-02-09 内视镜系统及三维结构重建方法 Active CN113243881B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109201563U TWM600131U (zh) 2020-02-13 2020-02-13 內視鏡系統
TW109201563 2020-02-13

Publications (2)

Publication Number Publication Date
CN113243881A CN113243881A (zh) 2021-08-13
CN113243881B true CN113243881B (zh) 2022-10-14

Family

ID=73004441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110176652.0A Active CN113243881B (zh) 2020-02-13 2021-02-09 内视镜系统及三维结构重建方法

Country Status (3)

Country Link
US (1) US11806086B2 (zh)
CN (1) CN113243881B (zh)
TW (1) TWM600131U (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533260B (zh) * 2022-04-27 2022-07-22 深圳市艾泉科技有限公司 治疗仪及皮肤处理设备
JP2024027451A (ja) * 2022-08-17 2024-03-01 富士フイルム株式会社 システム、判定方法、医療用機器の製造方法、及び検出ユニット
WO2024091387A1 (en) * 2022-10-24 2024-05-02 Verily Life Sciences Llc Systems and methods for endoscopic navigation and bookmarking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002153472A (ja) * 2000-11-22 2002-05-28 Fuji Photo Film Co Ltd 画像診断装置
US6517484B1 (en) * 2000-02-28 2003-02-11 Wilk Patent Development Corporation Ultrasonic imaging system and associated method
TW201106089A (en) * 2009-08-10 2011-02-16 Altek Corp Positioning method, POI tagging method and apparatus therefor for an image
WO2017030913A2 (en) * 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2018144726A1 (en) * 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods for data filtering of passageway sensor data
EP3381348A1 (de) * 2017-03-28 2018-10-03 Emmanouilidis, Nikos Medizinische vorrichtung

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7951071B2 (en) 1999-06-02 2011-05-31 Tyco Healthcare Group Lp Moisture-detecting shaft for use with an electro-mechanical surgical device
US6988660B2 (en) 1999-06-07 2006-01-24 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) based camera system for producing high-resolution 3-D images of moving 3-D objects
US6817973B2 (en) 2000-03-16 2004-11-16 Immersion Medical, Inc. Apparatus for controlling force for manipulation of medical instruments
US6846286B2 (en) 2001-05-22 2005-01-25 Pentax Corporation Endoscope system
US11229472B2 (en) 2001-06-12 2022-01-25 Cilag Gmbh International Modular battery powered handheld surgical instrument with multiple magnetic position sensors
WO2003092498A1 (en) * 2002-05-02 2003-11-13 Medigus Ltd. Entry port for endoscopes and laparoscopes
US20090090763A1 (en) * 2007-10-05 2009-04-09 Tyco Healthcare Group Lp Powered surgical stapling device
TWI432163B (zh) 2009-12-21 2014-04-01 Medical Intubation Tech Corp 可撓管擺頭控制裝置及其角度控制結構
JP5771488B2 (ja) 2011-09-14 2015-09-02 オリンパス株式会社 内視鏡装置
DE102014103728A1 (de) * 2014-03-19 2015-09-24 Karl Storz Gmbh & Co. Kg Automatische Erfassung der Eindringtiefe und/oder der rotatorischen Orientierung eines invasiven Instrumentes
US10226250B2 (en) 2015-02-27 2019-03-12 Ethicon Llc Modular stapling assembly
DE102015104821A1 (de) * 2015-03-27 2016-09-29 Medineering Gmbh Chirurgisches Instrument, System, Haltearm sowie Verfahren
US20160287241A1 (en) * 2015-03-31 2016-10-06 Cae Healthcare Canada Measurement ring and monitoring
US10525233B2 (en) 2015-12-04 2020-01-07 Project Moray, Inc. Input and articulation system for catheters and other uses
JP7270544B2 (ja) 2017-06-29 2023-05-10 ザ ボード オブ リージェンツ オブ ザ ユニバーシティー オブ テキサス システム 外科手術装置
EP3737328A4 (en) 2018-01-09 2021-12-22 Covidien LP STERILE INTERFACE MODULE FOR ROBOTIC SURGICAL ARRANGEMENTS
US11529039B2 (en) * 2018-05-08 2022-12-20 Xenocor, Inc. Non-conductive borescopes and related imaging techniques
US11415792B2 (en) 2018-06-27 2022-08-16 Altek Biotechnology Corporation Wide-angle endoscope lens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6517484B1 (en) * 2000-02-28 2003-02-11 Wilk Patent Development Corporation Ultrasonic imaging system and associated method
JP2002153472A (ja) * 2000-11-22 2002-05-28 Fuji Photo Film Co Ltd 画像診断装置
TW201106089A (en) * 2009-08-10 2011-02-16 Altek Corp Positioning method, POI tagging method and apparatus therefor for an image
WO2017030913A2 (en) * 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2018144726A1 (en) * 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods for data filtering of passageway sensor data
EP3381348A1 (de) * 2017-03-28 2018-10-03 Emmanouilidis, Nikos Medizinische vorrichtung

Also Published As

Publication number Publication date
CN113243881A (zh) 2021-08-13
US20210251695A1 (en) 2021-08-19
US11806086B2 (en) 2023-11-07
TWM600131U (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN113243881B (zh) 内视镜系统及三维结构重建方法
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
CN105792768B (zh) 使用纵向编码的设备跟踪
US7901348B2 (en) Catheterscope 3D guidance and interface system
JP5372406B2 (ja) 医療機器
US9101329B2 (en) Method for determining the position of an intraoral measuring device
KR101799281B1 (ko) 최소 절개 수술용 내시경
KR101043976B1 (ko) 구강용 스캐너
US8834171B2 (en) Simulation system for training in endoscopic operations
US7871370B2 (en) Endoscope-shape monitoring system
CN101249003A (zh) 超声图像和门控位置测量值的相关性
JP2015181643A (ja) 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法
US10267624B2 (en) System and method for reconstructing a trajectory of an optical fiber
US9810528B2 (en) Optical shape sensing with a plurality of optical fibers
CN109715054B (zh) 与体外图像中的仪器相关的图像对象的可视化
TWI771905B (zh) 內視鏡系統及三維結構重建方法
US20210378543A1 (en) Endoscopy system and method of reconstructing three-dimensional structure
CN112741689A (zh) 应用光扫描部件来实现导航的方法及系统
JP3772063B2 (ja) 位置検出装置、及び、位置検出システム
JP3943353B2 (ja) 可撓性超音波内視鏡装置
KR102516406B1 (ko) 내시현미경에 의해 획득되는 이미지를 스티칭하기 위해 위치 정보를 캘리브레이션하는 방법 및 장치
JP2007289223A (ja) 侵襲性器具の生体内位置同定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant