CN111329587A - 利用形状传感光纤网格进行手术配准系统 - Google Patents
利用形状传感光纤网格进行手术配准系统 Download PDFInfo
- Publication number
- CN111329587A CN111329587A CN202010103173.1A CN202010103173A CN111329587A CN 111329587 A CN111329587 A CN 111329587A CN 202010103173 A CN202010103173 A CN 202010103173A CN 111329587 A CN111329587 A CN 111329587A
- Authority
- CN
- China
- Prior art keywords
- human body
- shape
- optical fiber
- registration
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000835 fiber Substances 0.000 title description 6
- 239000013307 optical fiber Substances 0.000 claims abstract description 56
- 238000002591 computed tomography Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 abstract description 4
- 238000010009 beating Methods 0.000 abstract description 2
- 230000000241 respiratory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种利用形状传感光纤网格进行手术配准系统，由于体位不同、脉搏跳动和自主呼吸运动等原因，术中病人目标脏器的真实形状可能与术前影像测量得到的形状不一致，手术导航系统需要将术前影像与真实人体进行实时配准，依据配准图像进行手术操作。人体表面形状信息是进行配准的重要信息来源。本系统使用形状传感光纤编制成网面，贴合在人体表面，进行实时人体表面形状测量。得到的结果输入手术导航装置的配准系统，计算机依据术前人体扫描的CT扫描图像，生成人体的实时立体图像，指导医生进行更准确的手术操作。
Description
技术领域
本发明涉及一种手术图像技术，特别涉及一种利用形状传感光纤网格进行手术配准系统。
背景技术
在许多临床手术中，必须精确的获得人体目标器官的形状和位置，然而呼吸作用和心脏的跳动会使人体内部的器官位置产生微弱的变化。获得传统的医学图像在手术中总会产生误差，数字化以与软件程序不能完全在手术中发挥作用，目前配准主要是通过手术导航技术来进行，配准的图像具有局限性。
光纤具有柔韧性，能够对人体表面形状的精准重建。利用形状传感光纤网格贴合在人体表面，不仅能够对人体外部形状精准感测，还可以最大程度保护患者隐私。同时光纤还是十分廉价的材料，为实现光纤测形状大规模应用提供可能。
手术前利用X射线扫描人体，获取CT扫描图像。原理是人体不同组织对X射线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的CT扫描图像输入计算机，形状传感光纤网格获取的人体表面形状信息传入计算机系统，计算机依据人体形状边缘提取特征点，计算机利用机器学习配准出人体目标位置的立体形状。配准是指同一个人体内以不同获取图像手段得的不同图像的位置的匹配过程，配准就是将实际情况和虚拟图像进行匹配，通过配准可以实现手术中的人体与电脑虚拟的模型的重合，保证对手术计划的精准执行。
发明内容
本发明是针对手术图像配准的问题，提出了一种利用形状传感光纤网格进行手术配准系统，在光纤上贴有多个视觉标签，多个摄像头构成双目视觉系统，可以测得手术中的多个视觉标签的位置，计算机系统的处理视觉标签位姿得到人体在三维空间的位置。手术前电子计算机X射线扫描人体，获取人体的CT扫描图像。原理是人体不同组织对X射线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将术前获取的图像输入计算机，获得不同情况下人体目标位置的立体的图像用于配准。计算机依据人体形状边缘提取特征点，计算机利用机器学习算法，结合术前影像，生成实时动态的立体图像，网格上贴有多个视觉标签，多个摄像头从不同方向获取视觉标签位姿，依据视觉标签信息，定位出目标脏器的空间位置。
本发明的技术方案为：一种利用形状传感光纤网格进行手术配准系统，包括由多条形状感测光纤构成的测量网络、光学感知模块、光学处理模块、、机器学习配准模块、CT扫描图像和成像系统；
采集测量网络各条光纤输出的光送入光学感知模块，光学感知模块依据形状传感光纤模型的输入和输出信号，得到每条形状传感光纤的形状送光学处理模块，光学处理模块将拟合出人体的表面形状送机器学习配准模块；手术前电子计算机X射线扫描人体，获取人体CT扫描图像送立体模块，立体模块利用计算机生成人体的立体模型送机器学习配准模块；机器学习配准模块依据人体边缘配准出人体图像，将配准的立体图像传入成像系统，医生依据成像系统进行实时手术操作。
所述利用形状传感光纤网格进行手术配准系统，光纤为形状敏感光纤，输入已知的光源，用测量设备测量光纤的输出，输入输出的光作为已知信息，用多目视觉定位光纤上的多个视觉标签位姿，使用深度学习方法拟合已知信息与光纤形状的对应关系，得到光纤的形状传感模型。
本发明的有益效果在于：本发明利用形状传感光纤网格进行手术配准系统,测量方便，精度高，抗干扰性强。使手术更加精确的操作。
附图说明
图1为本发明利用形状传感光纤网格进行手术配准的原理图；
图2为本发明利用视觉标签获取人体空间位置示意图；
图3为本发明利用形状传感光纤进行手术配准的流程图。
具体实施方式
本发明利用形状传感光纤网格进行手术配准系统，将形状传感光纤网格贴合在手术中人体表面，将数个摄像头固定在手术台两侧进行位置捕捉，计算机系统通过多个视觉定位标签位置，定位出人体在空间中的位置。使用柔性光纤在恒定温度湿度等条件下的形状传感模型测量形状，利用多条光纤形成网格状可以获取人体表面形状信息，获取术前影像信息输入配准系统，依据人体形状的边缘进行配准，得到实时配准的人体立体形状。网格上贴有多个视觉标签，多个摄像头从不同方向获取视觉标签位姿，依据视觉标签信息，定位出目标脏器的空间位置。使手术更加精确的操作。
图1为利用形状传感光纤网格进行手术配准系统的原理图，利用多条形状感测光纤形成网状，可以覆盖在人体上识别人体表面形状变化。配准系统还包括光学感知模块202、光学处理模块203、机器学习配准模块206、CT扫描图像205和成像系统209；将手术台201采集的形状传感光纤输出的光送入光学感知模块202，依据形状传感光纤模型的输入和输出信号，得到每条形状传感光纤的形状，光学处理模块203将获得拟合出人体的表面形状。手术前电子计算机X射线扫描人体，获取人体CT扫描图像205，CT扫描图像205通过计算机处理生成人体的立体模型204，机器学习配准模块206被配置于配准人体图像，依据人体边缘配准出人体的实时立体图像208，提高了手术的精确性。成像系统209显示的是配准后的图像，不是人体的原图像，医生可以依据成像系统209进行实时手术操作。
如图2利用视觉标签获取人体空间位置示意图所示，利用多条形状传感光纤形成网格，光纤网格贴合在人体表面，网格上设有多个视觉标签。摄像头C1和摄像头C2从两个不同的角度获取视觉标签位姿，依据视觉标签的位姿可以测量人体在空间的位置。
如图3利用形状传感光纤进行手术配准的流程图，具体的程序流程分成两部分：首先将摄像头初始化301，开始手术后多个摄像头捕捉光纤上视觉标签位置信息302，依据视觉标签信息计算机获取人体目标位置信息303。在手术前用X射线扫描人体，获取人体CT扫描图像304。原理是人体不同组织对X射线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后生成人体立体模型305，依据人体外部形状进行图像配准306，配准出人体目标位置的形状307，计算机获取人体形状和位置308，医生获取成像系统用于手术操作309。
所述光纤为形状敏感光纤，输入已知的光源，用测量设备测量光纤的输出。输入输出的光作为已知信息，用多目视觉定位光纤上的多个视觉标签位姿，使用深度学习方法拟合已知信息与光纤形状的对应关系，得到光纤的形状传感模型。利用这种形状传感光纤形成网状作为获取人体表面形状，能够精确感知人体形状变化。
利用机器学习的配准算法结合术前人体CT扫描图像，配准出人体的实时图像。计算机输入术前人体CT扫描图像用于配准，形状传感光纤网格获取的人体表面形状信息传入计算机系统，计算机依据人体形状边缘提取特征点，计算机利用机器学习配准出人体目标位置的形状，网格上贴有多个视觉标签，多个摄像头从不同方向获取视觉标签位姿，依据视觉标签信息，定位出目标脏器的空间位置。使手术更加精确的操作。
Claims (2)
1.一种利用形状传感光纤网格进行手术配准系统，其特征在于，包括由多条形状感测光纤构成的测量网络、光学感知模块、光学处理模块、机器学习配准模块、CT扫描图像和成像系统；
采集测量网络各条光纤输出的光送入光学感知模块，光学感知模块依据形状传感光纤模型的输入和输出信号，得到每条形状传感光纤的形状送光学处理模块，光学处理模块将拟合出人体的表面形状送机器学习配准模块；手术前电子计算机X射线扫描人体，获取人体CT扫描图像送立体模块，立体模块利用计算机生成人体的立体模型送机器学习配准模块；机器学习配准模块依据人体边缘配准出人体图像，将配准的立体图像传入成像系统，医生依据成像系统进行实时手术操作。
2.根据权利要求1所述利用形状传感光纤网格进行手术配准系统，其特征在于，光纤为形状敏感光纤，输入已知的光源，用测量设备测量光纤的输出，输入输出的光作为已知信息，用多目视觉定位光纤上的多个视觉标签位姿，使用深度学习方法拟合已知信息与光纤形状的对应关系，得到光纤的形状传感模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010103173.1A CN111329587A (zh) | 2020-02-19 | 2020-02-19 | 利用形状传感光纤网格进行手术配准系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010103173.1A CN111329587A (zh) | 2020-02-19 | 2020-02-19 | 利用形状传感光纤网格进行手术配准系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111329587A true CN111329587A (zh) | 2020-06-26 |
Family
ID=71174318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010103173.1A Pending CN111329587A (zh) | 2020-02-19 | 2020-02-19 | 利用形状传感光纤网格进行手术配准系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111329587A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113229941A (zh) * | 2021-03-08 | 2021-08-10 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020087101A1 (en) * | 2000-01-04 | 2002-07-04 | Barrick Earl Frederick | System and method for automatic shape registration and instrument tracking |
| CN103607949A (zh) * | 2011-06-10 | 2014-02-26 | 皇家飞利浦有限公司 | 利用光学形状感测的动态约束 |
| CN103781418A (zh) * | 2011-08-16 | 2014-05-07 | 皇家飞利浦有限公司 | 使用光纤形状数据的曲面多平面重建 |
| US20160242854A1 (en) * | 2012-04-23 | 2016-08-25 | Koninklijke Philips N.V. | Artifact removal using shape sensing |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
-
2020
- 2020-02-19 CN CN202010103173.1A patent/CN111329587A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020087101A1 (en) * | 2000-01-04 | 2002-07-04 | Barrick Earl Frederick | System and method for automatic shape registration and instrument tracking |
| CN103607949A (zh) * | 2011-06-10 | 2014-02-26 | 皇家飞利浦有限公司 | 利用光学形状感测的动态约束 |
| CN103781418A (zh) * | 2011-08-16 | 2014-05-07 | 皇家飞利浦有限公司 | 使用光纤形状数据的曲面多平面重建 |
| US20160242854A1 (en) * | 2012-04-23 | 2016-08-25 | Koninklijke Philips N.V. | Artifact removal using shape sensing |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113229941A (zh) * | 2021-03-08 | 2021-08-10 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11678804B2 (en) | Methods and systems for tracking and guiding sensors and instruments | |
| US20190272632A1 (en) | Method and a system for registering a 3d pre acquired image coordinates system with a medical positioning system coordinate system and with a 2d image coordinate system | |
| EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| US6640127B1 (en) | Surgical operation navigating system using a reference frame | |
| CN105025799B (zh) | 用于诊断超声机器的三维映射显示系统 | |
| KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
| CN107049489B (zh) | 一种手术导航方法及系统 | |
| US20080033283A1 (en) | Apparatus for Navigation and for Fusion of Ecographic and Volumetric Images of a Patient Which Uses a Combination of Active and Passive Optical Markers | |
| CN107874832A (zh) | 骨科手术器械导航系统及方法 | |
| CN106108951B (zh) | 一种医用实时三维定位追踪系统及方法 | |
| Yang et al. | Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system | |
| CN200970224Y (zh) | 医用内窥镜本体三维定位系统 | |
| CN104739418A (zh) | 一种基于立体视觉的呼吸门控系统及控制方法 | |
| US20150305700A1 (en) | Hybrid imaging system and method for intraoperative, interventional, and diagnostic applications | |
| KR20190096575A (ko) | 의료 영상 시스템 | |
| CN109907801A (zh) | 一种可定位超声引导穿刺方法 | |
| CN110169821A (zh) | 一种图像处理方法、装置及系统 | |
| KR101662323B1 (ko) | 의료 영상 장치용 3축 움직임 추적 장치 및 이를 이용한 의료 영상 보정 방법 | |
| WO2001057805A2 (en) | Image data processing method and apparatus | |
| CN111329587A (zh) | 利用形状传感光纤网格进行手术配准系统 | |
| KR20160057024A (ko) | 마커리스 ３차원 객체추적 장치 및 그 방법 | |
| CN111466952A (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| EP3944254A1 (en) | System for displaying an augmented reality and method for generating an augmented reality | |
| CN212281375U (zh) | 带有手术定位和导航功能的c形臂x光机 | |
| CN109907833B (zh) | 医学成像中的标记描绘 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |
|
| WD01 | Invention patent application deemed withdrawn after publication |