CN105208909B - 用于立体显示图像数据的方法和装置 - Google Patents
用于立体显示图像数据的方法和装置 Download PDFInfo
- Publication number
- CN105208909B CN105208909B CN201480021785.9A CN201480021785A CN105208909B CN 105208909 B CN105208909 B CN 105208909B CN 201480021785 A CN201480021785 A CN 201480021785A CN 105208909 B CN105208909 B CN 105208909B
- Authority
- CN
- China
- Prior art keywords
- image data
- minimally invasive
- invasive surgery
- view data
- display view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0487—Special user inputs or interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Human Computer Interaction (AREA)
- High Energy & Nuclear Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于立体显示图像数据的装置和方法,特别是用于在借助内窥镜实施的微创手术中三维显示图像信息的方法和装置。在此,首先借助传感器装置三维采集内窥镜的操作区域。根据通过传感器获得的3D数据,生成立体图像数据,并且在合适的显示装置上可视化。
Description
技术领域
本发明涉及一种用于立体显示图像数据的方法和装置,特别是一种用于在微创手术中立体显示图像数据的方法和装置。
背景技术
在医学领域中,相对于对患者的开放式手术,内窥镜治疗和检查能够实现明显更温和的并且创伤更小的治疗。因此,该治疗方法变得越来越重要。在微创手术中,外科医生通过在患者身上的一个或多个相对小的入口将光学器械和手术器械(内窥镜)引入到患者身体中。外科医生由此可以借助手术器械执行检查和治疗。该过程同时可以通过光学器械监视。在此,简单的内窥镜允许通过内窥镜的窥视孔直接观看或者通过安装在内窥镜上的照相机和外部监视器观察待手术区域。在这种简单的内窥镜的情况下,不可以进行空间查看。如果内窥镜还具有能够从第二方向观察对象的第二观察通道,则通过借助两个窥视孔针对左眼和右眼向外引出两个方向,可以实现空间观看。因为在单个内窥镜的情况下,观察通道之间的距离通常非常小(一般最大为6mm),所以这种立体内窥镜也仅在显微范围内提供非常有限的空间观看。因此,对于对应大约10cm的人眼距离的空间观察,需要实现另一个间隔开的进入通道。然而,因为用于附加的进入通道的在患者身体上的另一个开口与患者的另外的创伤相关联,所以应当尽量避免附加的进入通道。
因此,如果要在微创手术中通过单个内窥镜实现治疗区域的空间可视化,则必须在内窥镜的横截面内向外引出两个观察光路,或者替代地如上所述在内窥镜末端上安装两个互相间隔开的照相机。在这两种情况下,由于内窥镜的横截面非常有限,仅可以实现极低的空间分辨率,这导致显示区域的分辨率非常有限。
替代地,也可以借助数字系统对患者内部的治疗区域进行三维测量。文件DE 102006 017 003 A1例如公开了一种具有光学深度数据获取的内窥镜。在此,向治疗区域中照射调制光,并且基于接收到的光信号计算治疗空间的深度数据。
在此,在确定治疗空间内部的可用深度数据之后,外科医生还是不能直接空间观看治疗区域。外科医生必须基于在二维屏幕上显示的模型规划并实施其治疗步骤。
WO 2013/025530 A1公开了一种用于手术器械的图像采集单元。该手术器械包括两个互相间隔布置的图像传感器。通过处理来自两个图像传感器的数据,可以建立立体图像,其可以被显示在显示装置上。
因此,存在对于更好地立体显示图像数据的需要,特别是存在对于在微创手术中立体显示图像数据的需要。
发明内容
因此,本发明实现一种具有根据本发明的特征的用于立体显示图像数据的方法和装置。
本发明的一个想法是,首先通过传感器三维采集非直接入口区域,并且根据该三维采集建立深度图形式的数字模型。根据该深度图于是可以以简单的方式自动为用户生成最佳匹配用户的眼距的立体图像数据。
在此,通过借助特殊传感器系统对观察区域进行三维测量,可以通过仅具有非常小的尺寸的传感器采集例如患者身体内部的非入口区域。这样采集的数据可以以简单的方式向外传送,而为此不需要具有特别大的横截面的内窥镜。
由此,实现对治疗区域特别好的空间采集,而为此不需要具有特别大的横截面的内窥镜或者通向患者身体内部的操作区域的另外的入口。
另一优点在于,这样的传感器系统能够以非常好的空间分辨率和对应地高数量的像素采集待采集的区域,因为内窥镜上的传感器仅需要单个照相机。因此,能够在仅给患者带来小创伤的情况下,以非常好的图像质量显示待监视的操作区域。
另一优点在于,根据传感器系统提供的三维数据能够生成最佳匹配用户的眼距的待监视区域的立体可视化。由此可以为用户准备图像数据的可视化,使得可以实现最佳空间采集。
另外有利的是,立体图像数据的计算与传感器对对象表面的三维采集无关地进行。由此还可以为用户提供偏离内窥镜的当前位置的治疗区域的立体显示。
通过根据三维采集的对象数据合适地准备深度图,由此可以为用户提供非常接近真实情况的治疗区域的显示。
按照一种实施方式,所计算的立体图像数据对应于用户两个眼睛的两个视线方向。通过与用户眼睛的视线方向对应地准备立体图像数据,可以实现对于用户最佳的治疗区域的立体可视化。
在一种实施方式中,深度图包括至少部分地三维采集的表面的空间点。这样的深度图使得能够对三维采集的表面非常好地进行进一步处理。
按照一种实施方式,连续实施对表面的三维采集,并且基于连续三维采集的表面匹配深度图。以这种方式可以连续补充并在必要时还修改深度图,从而逐步建立待观察区域的完整三维模型。由此在一段时间之后还可以提供关于起先由于遮挡等原因而未能采集的区域的图像信息。
通过三维采集的表面与其它图像数据的合成,能够实现对立体图像数据的特别好且逼真的可视化。
在治疗前或治疗期间建立并且与待观察治疗区域有关的诊断图像数据为治疗区域的准备和可视化提供了特别有价值的信息。这些图像数据例如可以直接由成像诊断装置或存储装置提供。
在另一种实施方式中,在计算立体图像数据的步骤中计算对于预设视线方向的图像数据。该视线方向可以不同于具有用于三维采集表面的传感器的内窥镜的当前位置。由此可以实现对治疗区域的特别灵活的可视化。
在一种特殊实施方式中,根据本发明的方法还包括采集用户输入的步骤,其中,根据所采集的用户输入匹配预设视线方向。由此使用户可以专门按其需要匹配视线方向。
在根据本发明的装置的另一种实施方式中,传感器装置被安装在内窥镜上或中。
在一种特殊的实施方式中,内窥镜还包括至少一个手术器械。因此,可以通过单个入口同时实施手术操作并且在此对手术进行光学监视。
在本发明的一种实施方式中,根据本发明的装置包括传感器装置,该传感器装置具有飞行时间照相机(Time-of-Flight-Kamera)和/或用于三角测量的装置、特别是用于主动式三角测量的装置。通过这样的传感器装置可以实现对表面的特别好的三维采集。
在另一种实施方式中,传感器装置包括照相机、优选彩色照相机。由此,通过传感器装置除了获取表面的三维采集之外,还可以同时获取用于将治疗区域可视化的数字图像数据。
在另一种实施方式中,图像数据生成器计算对于预设视线方向的图像数据。
在一种特别的实施方式中,根据本发明的装置还包括输入装置,其被设计用于采集用户输入,其中,图像数据生成器基于用户输入计算对于视线方向的立体图像数据。
在另一种特别的实施方式中,输入装置在此采集用户移动,特别是用户采取的姿势。优选通过照相机采集该移动或姿势。
附图说明
从以下结合附图的描述中得到本发明实施方式的其它特征和优点。
对附图的简略描述:
图1示出了根据本发明的一种实施方式的用于立体显示图像数据的装置的示意图;
图2示出了根据另一种实施方式的根据本发明的装置的部件的示意图;
图3和4示出了用于立体可视化的监视器元件的示意图;以及
图5示出了基于根据本发明的另一种实施方式的用于立体显示图像数据的方法的示意图。
具体实施方式
图1示出了利用内窥镜进行微创手术的示意图,该内窥镜包括根据本发明的实施方式的用于立体显示的装置。在此,在患者身体2中,内窥镜12通过入口2d被引入到身体2b中。在此,在将入口2d相应密封之后,例如可以通过引入合适的气体扩大治疗空间2a。由此在治理对象2c前方形成足够大的治疗空间。在治疗空间2a中,通过内窥镜12可以一方面将传感器装置10,并且另外还将一个或多个手术器械11引入治疗空间。在此,手术器械11可以通过合适的装置11a从外部控制,以便在内部空间2a中执行治疗。
在此,通过传感器装置10对该治疗进行光学监视。该传感器装置10在此是可以三维采集治疗空间2a的表面以及在此特别地还有治疗对象2c的表面的传感器。传感器装置10例如可以是按照飞行时间照相机(ToF照相机)原理工作的传感器。在此,由光源发出调制的光脉冲,并且通过相应的传感器、例如照相机评估由表面散射和反射的光。基于光的传播速度于是可以建立三维模型。
替代地,传感器装置10例如也可以执行三角测量,以便确定表面在治疗空间2a中的三维位置。原则上,例如可以借助被动式三角测量通过两个分离的照相机进行这种三角测量。然而,因为在被动式三角测量中在低对比度的表面(例如肝)的情况下,对应问题的解决很困难并且3D数据密度非常低,所以优选进行主动式三角测量。在此,由传感器装置10在治疗空间2a的表面上投影已知的图案(Muster),并且所述表面在此被照相机拍摄。优选借助可见光在表面上投影已知图案。然而,附加地或替代地,也可以利用可见光波长范围之外的光照射操作区域,例如利用红外线或紫外线。
通过比较由照相机拍摄的治疗空间2a的表面上的图案与投影仪发出的已知的理想图案,于是可以三维采集和评估治疗空间2a的表面。
在此,还可以与三维采集表面同时或交替地,由照相机常规采集治疗空间2a及其表面。以此方式可以采集治疗空间2a相应的彩色图像或黑白图像。在此,优选还可以将传感器装置10的光源同时用于照亮治疗空间2a,以便获得常规图像数据。
由传感器装置10采集的关于治疗空间2a中的表面的三维位置的数据以及由照相机采集的彩色图像数据或黑白图像数据被向外传输,并由此提供用于进一步处理,特别是可视化。
图2示出了用于将如例如根据结合图1所描述的例子生成的立体图像数据可视化的装置的示意图。在此,传感器装置10采集位于传感器装置10的可视区域中的表面以及其各个表面点在空间中的三维位置。如上所述,在此还可以与三维采集空间点同时或交替地,借助黑白或彩色照相机常规采集图像数据。关于空间点的三维位置的信息于是被传送到用于建立深度图的装置20。该用于建立深度图的装置20评估来自传感器装置10的关于表面点的三维位置的信息,并且据此产生深度图,其包括关于由传感器装置10采集的空间点的三维位置的信息。
因为传感器装置10仅具有有限的可视区域,并且还例如由于治疗空间2a中的突起而使一些子区域起先由于遮挡而不能被采集,所以在开始三维采集治疗空间2a中的表面时,深度图首先或多或少具有大的空隙。通过进一步由传感器装置10连续采集治疗空间2a中的表面,随着时间推移,特别是当传感器装置10在治疗空间2a内移动时,所建立的深度图越来越完整。由此,在一段时间后,在该深度图中也具有关于当前因为例如位于可视区域外或阴影下而不能被传感器装置10采集的空间点的信息。另外,通过由传感器装置10连续采集表面,还可以在深度图中修改表面的变化。由此,深度图始终反映治疗空间2a中的表面的当前存在的状态。
在深度图中存在的治疗空间2a的表面的空间点被传送到织构化装置30。在此,织构化装置30必要时可以将来自深度图的信息与内窥镜黑白照相机或彩色照相机的图像数据合成。织构化装置30根据深度图的空间点产生具有连续表面的三维对象。通过合成深度图的三维空间数据与内窥镜照相机数据,在此可以按需要给表面合适地上色或画阴影。
另外,还可以包括附加的诊断图像数据。例如在手术前就已经可以由治疗区域建立影像。为此,例如适合使用诸如计算机断层成像(CT)、磁共振断层成像(MR或MRT)、X射线拍摄、超声波扫描等的成像诊断方法。同样还可以考虑,必要时在治疗期间通过合适的成像诊断方法生成附加信息,其可以一起流入图像生成处理。
在根据深度图的空间数据和必要时其它图像数据在织构化装置30中执行治疗空间2a的表面的织构化(Texturierung)之后,将这样准备好的信息传送给图像数据生成器40。该图像数据生成器40根据织构化的三维信息产生立体图像数据。该立体图像数据包括至少两个彼此稍微交错的图像,其考虑了人类观察者的眼距。在此,所使用的两个眼睛之间的距离通常是大约80mm。当假设待观察的对象位于观察者眼睛前大约25cm时,观察者在此获得特别好的空间感。然而,原则上也可以是能够针对观察者实现针对待观察对象的空间感的其它参数。图像数据生成器40由此根据预设视线方向计算出至少两个图像数据组,其中,两个图像数据组的视线方向的区别在于观察者的眼距。这样生成的图像数据于是被传送给可视化装置50。如果可视化装置50为进行空间显示还需要其它信息或数据,则其同样可以通过图像数据生成器40生成和提供。
在此,所有适合为观察者的两个眼睛分别提供不同的图像信息的装置都适合作为可视化装置50。可视化装置50例如可以是3D监视器或者是为用户的两个眼睛显示不同的图像数据的特殊眼镜。
图3示出了用于3D监视器的第一实施方式的一段像素的示意图。在此,在屏幕上并排交替地布置了对于左眼的图像点51和对于右眼的图像点52。由于布置在这些图像点51和52之前的分瓣光圈(Schlitzblende)53,左眼和右眼在此分别仅看到为其确定的图像元素,而分别对于用户另一眼睛的图像点由于各自的视线方向而被分瓣光圈53遮挡。
图4示出了3D监视器的替代形式。在此,在对于左眼的图像点51和对于右眼的图像点52前分别布置了小透镜54,其使对于左眼和右眼的光路偏转,同样使得每个眼睛仅看到为相应眼睛确定的图像点。
此外,原则上,所有其它类型的具有3D能力的监视器也是可以考虑和适合的。因此,例如也可以使用对于左眼和右眼分别发出具有不同偏振的光的监视器。然而,在此用户必须佩戴具有合适的偏振过滤器的眼镜。即使在监视器交替为左眼和右眼输出图像数据的情况下,用户也必须佩戴合适的光闸眼镜(Shutterbrille),其与交替显示的图像同步地分别仅为左眼和右眼交替地释放指向监视器的视线。然而,由于佩戴眼镜而带来的舒适度损失,按照图3和4的原理工作的可视化装置相比要求用户佩戴特殊眼镜的显示系统更能被用户所接受。
因为深度图和随后的织构化如前所述逐渐越来越完整,所以在一段时间后呈现治疗空间2a几乎完整的模型,其也包含关于目前不可见和被遮挡区域的信息。因此,对于图像数据生成器40也可以生成来自与传感器装置10的当前位置不一致的观察角度的图像数据。因此,例如也可以在可视化装置50上显示治疗空间2a的示图,其或多或少偏离传感器装置10的当前位置,并且也偏离同样布置在内窥镜上的手术器械11。在深度图足够完整之后,用户几乎可以任意预设所希望的视线方向。特别是通过将来自深度图的空间信息与内窥镜照相机的其它图像数据和附加诊断图像信息合成,由此可以在可视化装置50上给用户显示非常接近被打开的身体的示图的示图。
为了在手术期间更好地定向,用户因此可以按照其希望任意预设和改变视线方向。这例如特别有助于在待治疗的器官上找到特定位置或者通过识别特定血管等辅助在对应器官上的定向。
在此可以通过合适的输入装置41进行所希望的视线方向的预设。该输入装置41例如可以是键盘、计算机鼠标、摇杆、轨迹球等。然而,因为用户在手术期间通常必须以双手操作内窥镜和其所包含的手术工具11,所以在许多情况下没有空闲的手操作输入装置41来控制要预设的视线方向。因此,在优选实施方式中也可以无接触地控制视线方向。例如可以通过语音控制执行对视线方向的控制。另外也可以借助预设的特殊移动来控制视线方向。例如用户可以通过采取特定姿势来控制所希望的视线方向。特别是可以考虑监视和评估用户的眼睛移动。基于所采集的眼睛移动于是为立体显示匹配视线方向。然而,监视用户的其它身体部分来控制视线方向同样可行。优选通过照相机监视和评估用户的这些移动或姿势。替代地,在语音控制的情况下,输入装置41可以是麦克风。但是也可以考虑其它可能性来控制预设的视线方向,例如通过脚的移动等。
图5示出了基于本发明的用于立体显示图像数据的方法100的示意图。在第一步骤110中,首先至少部分地三维采集治疗空间2a的表面。如前所述,治疗空间2a的表面的该三维采集可以通过任意适合的传感器10进行。进一步,在步骤120中基于对对象表面的三维采集建立深度图。所建立的深度图包含三维采集的表面的空间点。因为传感器装置10仅具有有限的视角,另外可能部分区域由于遮挡而首先不能被采集,所以所建立的深度图在开始时首先可能不完整。通过在治疗空间2a内移动内窥镜并由此也移动传感器装置10,可以连续三维采集表面的其它空间点,并且将这些信息一起集成到深度图中。在所采集的表面发生变化时,同样可以在深度图中修改对应的信息。
在利用至少部分地三维采集的表面建立深度图之后,在步骤130中利用在深度图中现有的空间点执行织构化。必要时可以将该织构化与现有的来自传感器装置10的照相机的其它图像数据和/或诸如计算机断层成像、磁共振断层成像、超声波扫描或X射线的成像方法的其它诊断图像信息集成到一起。以此方式首先产生治疗空间2a的表面的三维彩色图像或黑白图像。根据这样织构化的深度图,于是在步骤140中计算立体图像数据。该立体图像数据包括来自预设视线方向的至少两个示图,其中,示图根据观察者的眼距而不同。最后,在步骤150中将先前计算的立体图像数据在合适的显示设备上可视化。
在此可以任意地匹配基于步骤140中的立体图像数据的计算的视线方向。对于计算立体图像数据的视线方向特别是可以不同于传感器装置10的视线方向。为调节基于步骤140中的立体图像数据的计算的视线方向,根据本发明的方法可以包括另一步骤,其中,采集用户输入,随后根据用户输入匹配用于计算立体图像数据的视线方向。在此优选无接触地进行用户输入来匹配视线方向。例如可以通过评估预设的用户姿势来进行用户输入。
综上所述,本发明涉及一种用于立体显示图像数据的装置和方法,特别是用于在借助内窥镜实施的微创手术中三维显示图像信息的方法和装置。在此,首先借助传感器装置三维采集内窥镜的手术区域。根据传感器获得的3D数据生成立体图像数据,并且在合适的显示装置上可视化。
Claims (7)
1.一种用于在微创手术中立体显示图像数据的装置(1),具有:
传感器装置(10),设计用于至少部分地三维采集表面;
用于建立深度图的装置(20),设计用于根据至少部分地三维采集的表面建立深度图;
织构化装置(30),设计用于将所建立的深度图织构化;
图像数据生成器(40),设计用于根据织构化的深度图计算立体图像数据;以及
可视化装置(50),设计用于将所计算的立体图像数据可视化,
其特征在于,
所述用于在微创手术中立体显示图像数据的装置(1)还被设计用于提供其它图像信息,并且用于将所述其它图像信息与所采集的三维表面合成,所述其它图像信息包括来自计算机断层成像、磁共振断层成像和/或超声波扫描的诊断图像数据,
其中,所述用于在微创手术中立体显示图像数据的装置(1)还包括输入装置(41),其被设计用于采集用户输入;其中,所述图像数据生成器(40)基于用户输入计算视线方向的立体图像数据,
其中,所述输入装置(41)采集用户的移动。
2.按照权利要求1所述的用于在微创手术中立体显示图像数据的装置,其中,所述传感器装置(10)布置在内窥镜(12)中。
3.按照权利要求2所述的用于在微创手术中立体显示图像数据的装置,其中,所述内窥镜(12)还包括至少一个手术器械(11)。
4.按照权利要求1至3中任一项所述的用于在微创手术中立体显示图像数据的装置,其中,所述传感器装置(10)包括飞行时间照相机和/或用于三角测量的装置。
5.按照权利要求1所述的用于在微创手术中立体显示图像数据的装置,其中,所述输入装置(41)采集用户的姿势。
6.按照权利要求1至3中任一项所述的用于在微创手术中立体显示图像数据的装置,其中,所述传感器装置(10)包括用于主动式三角测量的装置。
7.按照权利要求1所述的用于在微创手术中立体显示图像数据的装置,其中,所述其它图像信息包括来自X射线拍摄的诊断图像数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013206911.1A DE102013206911A1 (de) | 2013-04-17 | 2013-04-17 | Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten |
DE102013206911.1 | 2013-04-17 | ||
PCT/EP2014/057231 WO2014170194A1 (de) | 2013-04-17 | 2014-04-10 | Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105208909A CN105208909A (zh) | 2015-12-30 |
CN105208909B true CN105208909B (zh) | 2018-03-23 |
Family
ID=50513225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480021785.9A Expired - Fee Related CN105208909B (zh) | 2013-04-17 | 2014-04-10 | 用于立体显示图像数据的方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20160081759A1 (zh) |
EP (1) | EP2967278A1 (zh) |
JP (1) | JP6116754B2 (zh) |
KR (1) | KR101772187B1 (zh) |
CN (1) | CN105208909B (zh) |
DE (1) | DE102013206911A1 (zh) |
WO (1) | WO2014170194A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6168878B2 (ja) * | 2013-06-27 | 2017-07-26 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
US20150215530A1 (en) * | 2014-01-27 | 2015-07-30 | Microsoft Corporation | Universal capture |
KR102188334B1 (ko) * | 2015-12-23 | 2020-12-09 | 한국전자기술연구원 | 깊이 측정 센서를 이용한 수술 동작 분석 장치 및 방법 |
CA2958766C (en) * | 2016-02-25 | 2018-01-02 | Synaptive Medical (Barbados) Inc. | System and method for scope based depth map acquisition |
CN106308730B (zh) * | 2016-11-14 | 2018-05-29 | 中国科学院深圳先进技术研究院 | 一种腹腔镜系统 |
DE102019100820A1 (de) * | 2019-01-14 | 2020-07-16 | Lufthansa Technik Aktiengesellschaft | Verfahren und Vorrichtung zur Inspektion schwer erreichbarer Komponenten |
CN109840943B (zh) * | 2019-01-25 | 2021-06-22 | 天津大学 | 三维可视化分析方法及系统 |
KR102253768B1 (ko) * | 2019-04-03 | 2021-05-24 | 장호열 | 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법 |
CN112741689B (zh) * | 2020-12-18 | 2022-03-18 | 上海卓昕医疗科技有限公司 | 应用光扫描部件来实现导航的方法及系统 |
CN114332033A (zh) * | 2021-12-30 | 2022-04-12 | 小荷医疗器械(海南)有限公司 | 基于人工智能的内窥镜图像处理方法、装置、介质及设备 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19638758A1 (de) * | 1996-09-13 | 1998-03-19 | Rubbert Ruedger | Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten |
US6379302B1 (en) * | 1999-10-28 | 2002-04-30 | Surgical Navigation Technologies Inc. | Navigation information overlay onto ultrasound imagery |
US20050018888A1 (en) * | 2001-12-14 | 2005-01-27 | Zonneveld Frans Wessel | Method, system and computer program of visualizing the surface texture of the wall of an internal hollow organ of a subject based on a volumetric scan thereof |
DE10315242B4 (de) * | 2003-04-03 | 2006-02-23 | Siemens Ag | Verfahren und Vorrichtung zur realitätsnahen dreidimensionalen Bildgebung |
DE10357184A1 (de) * | 2003-12-08 | 2005-07-07 | Siemens Ag | Verfahren zur fusionierten Bilddarstellung |
DE10359925A1 (de) * | 2003-12-19 | 2005-07-14 | Siemens Ag | Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung und Computerprogrammprodukt |
FR2872522B1 (fr) * | 2004-07-02 | 2006-09-15 | Lee Sara Corp | Procede de tricotage en dejauge et article ainsi obtenu |
US7501995B2 (en) * | 2004-11-24 | 2009-03-10 | General Electric Company | System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation |
JP2006280921A (ja) * | 2005-03-07 | 2006-10-19 | Hitachi Medical Corp | 磁気共鳴イメージング装置 |
DE102005023195A1 (de) * | 2005-05-19 | 2006-11-23 | Siemens Ag | Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches |
DE102006017003A1 (de) | 2006-04-11 | 2007-10-18 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Endoskop zur Tiefendatenakquisition |
US8620473B2 (en) * | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
CN102172330B (zh) * | 2007-07-10 | 2013-03-27 | 株式会社东芝 | X射线摄影装置以及图像处理显示装置 |
DE102008062995A1 (de) * | 2008-12-23 | 2010-06-24 | Sick Ag | 3D-Kamera zur Raumüberwachung |
CN101849813A (zh) * | 2009-03-31 | 2010-10-06 | 上海交通大学医学院附属新华医院 | 三维心脏超声虚拟内窥镜系统 |
DE102009031732B3 (de) * | 2009-07-04 | 2010-11-25 | Sick Ag | Entfernungsmessender optoelektronischer Sensor |
DE102009043523A1 (de) * | 2009-09-30 | 2011-04-07 | Siemens Aktiengesellschaft | Endoskop |
KR102529996B1 (ko) * | 2011-08-12 | 2023-05-08 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술기기 내의 이미지 캡쳐 장치 |
US8784301B2 (en) * | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US8672838B2 (en) * | 2011-08-12 | 2014-03-18 | Intuitive Surgical Operations, Inc. | Image capture unit in a surgical instrument |
DE102011119608B4 (de) * | 2011-11-29 | 2021-07-29 | Karl Storz Se & Co. Kg | Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung |
DE102012220116A1 (de) * | 2012-06-29 | 2014-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung |
WO2015009980A1 (en) * | 2013-07-18 | 2015-01-22 | Tesseract Sensors, LLC | Medical data acquisition systems and methods for monitoring and diagnosis |
-
2013
- 2013-04-17 DE DE102013206911.1A patent/DE102013206911A1/de not_active Withdrawn
-
2014
- 2014-04-10 KR KR1020157032485A patent/KR101772187B1/ko active IP Right Grant
- 2014-04-10 WO PCT/EP2014/057231 patent/WO2014170194A1/de active Application Filing
- 2014-04-10 JP JP2016508096A patent/JP6116754B2/ja active Active
- 2014-04-10 CN CN201480021785.9A patent/CN105208909B/zh not_active Expired - Fee Related
- 2014-04-10 US US14/785,289 patent/US20160081759A1/en not_active Abandoned
- 2014-04-10 EP EP14718031.9A patent/EP2967278A1/de not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
DE102013206911A1 (de) | 2014-10-23 |
CN105208909A (zh) | 2015-12-30 |
KR20150143703A (ko) | 2015-12-23 |
JP2016524478A (ja) | 2016-08-18 |
KR101772187B1 (ko) | 2017-08-25 |
JP6116754B2 (ja) | 2017-04-19 |
WO2014170194A1 (de) | 2014-10-23 |
EP2967278A1 (de) | 2016-01-20 |
US20160081759A1 (en) | 2016-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105208909B (zh) | 用于立体显示图像数据的方法和装置 | |
CN104939925B (zh) | 基于三角测量的深处和表面可视化 | |
CN106535806B (zh) | 来自多端口视角的手术场景的定量三维成像 | |
US9220399B2 (en) | Imaging system for three-dimensional observation of an operative site | |
JP3807721B2 (ja) | 画像合成装置 | |
US20140336461A1 (en) | Surgical structured light system | |
US20090259102A1 (en) | Endoscopic vision system | |
CN106535812A (zh) | 带有基于定量三维成像的触觉反馈的手术系统 | |
JP7404534B2 (ja) | 一体化された視覚化カメラ及び光学コヒーレンストモグラフィを用いた外科的応用 | |
JP5893808B2 (ja) | 立体内視鏡画像処理装置 | |
US9426443B2 (en) | Image processing system, terminal device, and image processing method | |
JP3707830B2 (ja) | 術式支援用画像表示装置 | |
JPH03251971A (ja) | 画像表示装置 | |
WO2013169327A1 (en) | Medical device navigation system stereoscopic display | |
CN115919239A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 | |
WO2024188160A1 (zh) | 用于内窥镜系统的成像及显示方法和内窥镜系统 | |
EP2373045A1 (en) | Medical image generating apparatus, medical image display apparatus, medical image generating method and program | |
CN105721855B (zh) | 一种三维体数据绘制方法及其应用、三维图像显示方法 | |
CN104887316A (zh) | 基于主动立体显示技术的虚拟立体内窥镜显示方法 | |
WO2016194446A1 (ja) | 情報処理装置、情報処理方法、及び生体内撮像システム | |
EP3595299A1 (en) | Medical image display control device, medical image display device, medical information processing system, and medical image display control method | |
KR101538659B1 (ko) | 영상 출력 장치, 방법 이를 이용하는 영상 제공 시스템, 영상 제공 방법 및 기록 매체 | |
Cui et al. | Using a bi-prism endoscopic system for three-dimensional measurement | |
JP4658787B2 (ja) | 画像合成装置 | |
Enriquez et al. | Design for a blind stereoscopic picture taker |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180323 Termination date: 20190410 |
|
CF01 | Termination of patent right due to non-payment of annual fee |