CN1894618A - 用于立体观察实时或静态图像的系统 - Google Patents

用于立体观察实时或静态图像的系统 Download PDF

Info

Publication number
CN1894618A
CN1894618A CNA2003801109942A CN200380110994A CN1894618A CN 1894618 A CN1894618 A CN 1894618A CN A2003801109942 A CNA2003801109942 A CN A2003801109942A CN 200380110994 A CN200380110994 A CN 200380110994A CN 1894618 A CN1894618 A CN 1894618A
Authority
CN
China
Prior art keywords
image
dimensional
signal
real time
observing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003801109942A
Other languages
English (en)
Inventor
恩里克·德·方特-里奥克斯-罗雅斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN1894618A publication Critical patent/CN1894618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及一种用于对实时或静态图像进行三维立体观察的系统,其以简单而很有效的三维观察效果显示在产生所述图像的时刻从图像捕获装置获得的实时图像,由此使观察者能够以对体积、距离和深度的足够感知来执行精细而精确的移动。

Description

用于立体观察实时或静态图像的系统
技术领域
本发明涉及观察三维图像的技术,并且更具体地,涉及一种用于立体观察实时或静态图像的系统。
背景技术
在医学领域和在某些工业应用中,立体地观察通过各种装置获得的图像是有用的。在内窥镜检查中就是如此,该方法被用于检查和处理在如此位置的兴趣结构,在其医疗应用中,这些位置是任何其它装置不能到达的,或者其到达包含引起对患者的伤害的可能性。
在医学领域,主要关心的是减少患者的损伤,使手术后护理容易,以及减少住院时间,同时具有较好的外科结果,已公知为微创外科(MIS),并且其已经在几乎所有医学外科专业中得到发展。
现在,在神经外科中,不同的内窥镜检查系统被广泛应用在所谓的“内窥镜检查辅助脑外科”中以及微创技术中,因为它们提供了对外科区域的较好的照明,因为有可能照亮并观察手术室灯或外科显微镜的直射光不能到达的外科手术区域的位置。随着内窥镜检查设备在其所有变型中的设计中的当前发展,通过拥有可用于借助射频、激光来切割、凝固、肿瘤汽化、灌洗、穿孔、解剖的设备以及用于引导和定向的设备,有可能实施完整的外科技术。
在MIS过程中,设备通过小的切口或通过经由皮肤的插管引入体内来执行外科过程,同时避免了在开放外科过程中必要的形成大切口的需要。如上面描述的那样,通过使用被称为内窥镜、腹腔镜、神经内窥镜、关节内窥镜和其它涉及相同功能的变型的专门设备,观察变得容易,这些设备常规地是刚性或柔软的管状设备,包含透镜系统或光纤,并且在它们的近端部分,包含允许直接单目镜观察或摄像机安装的部件。该设备的远端部分被引入所需的区域,并且外科医生可以或者通过在内窥镜的单目镜中的直接观察,或者通过在视频监视器上的显示来观察体腔的内部。通常,这些设备包括光源,用于体腔的照明。
随着可以通过微创外科技术执行的过程的复杂性的增加,拥有对直接观察的对象之间的距离的足够感知和精确比例变得更重要,如在所谓的“开窗式(open sky)”外科手术中出现的那样,在这些外科手术中,外科医生在直接观察下执行所述过程,同时保持三维立体观察。然而,在使用常规内窥镜检查系统的MIS过程中,这种视觉距离和深度信息被损失,因为这些系统中的一些是为单目镜观察或为二维观察而将图像显示在视频监视器、液晶或等离子体显示器上,而不管后面二者能够显示的高图像质量。
因为该缺点,所以不同的内窥镜检查系统最近都以提高图像质量和提供该重要的距离和深度信息为目标而发展。主要的常规内窥镜检查系统如下:直“透镜镜(Lenscope)”提供比其余内窥镜更好的光学分辨率和照明;Hopkins型允许宽的观察角并具有良好的图像质量,其大小在直径上可以直到1mm,这甚至允许识别解剖学上的结构;“纤维镜”有这样的优点,即它允许引导其尖端,但它的缺点是,当减少其大小时,图像变形;其对于同时使用外科显微镜来检查显微镜的直射光不能设法允许其正常观察的地方是特别有用的。
在“视频示波器和立体视频示波器”中,商业上有直径达14mm的立体内窥镜,其借助在尖端中的两个光敏芯片提供外科环境的真实立体的场深度(Medical Dynamics,Inc.Englewood,CO),就在执行解剖和移动中的安全而言,它与透镜镜和纤维镜提供的单视场(monoscopic field)相比代表了一种提高,因为该类型能够提供三维图像的感觉;然而,在神经外科的特殊情形中,这些立体内窥镜目前的直径对于引入到颅腔中是不可接受的。
常规内窥镜检查的目前主要的限制是:1)它的高成本;2)当在远距离监视器上观察外科区域中的图像时,它干扰“眼-手”协调;3)它是二维的,并且外科医生可能会损失对所观察对象之间的距离的感知,这有时使得过程变得困难,并且该限制可能引起在内窥镜检查过程中的复杂化;4)目前,作为用于在外科设备的移动中需要高精度的过程(例如剪切颅内动脉瘤)的唯一外科技术,它是受限的。
三维神经内窥镜目前有这些缺点:1)一些类型的直径太大,以致不能引入到紧密的体腔内,如颅腔;2)其它近来的类型并不提供实像,而是替代地提供“虚拟现实”类型的图像,其与人体解剖差别非常大,或并不实时传送;3)高成本;4)使用非常复杂的技术;5)需要专门的培训;6)低质量的三维效果。
具有医学外科应用的虚拟现实(VR)系统仍作为原型或项目而处于实验阶段。它们可以被分类为诊断、诊断-治疗、用于复原、指导或研究。有其中一些可远距离设计和使用(远程出席(remote presence),远程机器人外科手术),用于直接或仿真的用途。其它VR系统可连接在网络中,以与VR手套或VR头盔一同使用,包括所谓的“3D内窥镜检查”,其使用包括3-D动画和照片的视频系统,这具有与严格的halo系统、如立体定向神经外科的系统不兼容的缺点,其临床效用还要加以限定,其后处理过程引起与系统操作者相关的各种明显错误,并且观察者接收到的其图像是计算机仿真动画系统的产物,因此是人工的并且与患者解剖学的真实外观大为不同,尽管它们可能具有的可变的精确度。
一些MIS过程要求外科医生持续工作几个小时,在该时段中,后者被迫保持视图固定,或在延长的时段中采用不舒适的姿势,这可能对于过程的结果有影响。有一些装置使得这些过程的执行对于外科医生更舒适,诸如将图像显示在视频监视器上而不是在内窥镜上通过直接的单目镜观察的装置。最近开发了一种系统,用于投影头部放置视频图像(cephalicplacement video image),在这些图像中,外科医生可以观察内窥镜检查图像和外科显微镜检查图像以及图像研究的图像,同时口头上方便地请求它们,并且具有保持“眼-手”关系的显著优点,并且实现了对其移动的更精确的控制。然而,这些系统二维地显示图像并且损失了在外科区域中的对象的距离和深度比例。
从上面的描述中可以看出,尽管存在各种允许获得立体图像的系统,迄今还没有成功地开发出一种系统,除了观察借助各种设备获得的图像之外,还允许获得立体的视图,该视图允许外科医生适当地协调他们的手和眼睛观察到的东西,并且因而具有适当深度的概念,从而允许实时地执行高精度的外科手术。
就此而言,在现有技术中,有序列号GB 784,919的英国专利,它提到在一种用于使用一对图像来进行立体观察的系统中实现的增强:“类似镜像的”翻转图像,而另一图像未被修改。为了同时观察这些图像,观察者通过一些位于45°的镜面之前的孔来观看。将立体图像置于非水平的平面上得到了不是非常实用的系统,因为通过被置于头部固定装置上,它并不允许外科医生有外围的视图。
在序列号为GB 2,052,088和GB 2,131,969 645 296的英国专利中,以及在使用了两个不同角度的登记编号为GB 2,221,054-A的英国专利中,相同的缺点是显然的,它们都有共同特点,即拥有一镜面或反射表面,设置为与将所述角对分的线重合。
序列号GB 2 312 966A的英国专利又使用了图像之间的180°角。然而,这里描述的设备要求事先生成正常的和“镜像”图像,这阻止了它们在实时生成的图像中的使用。
为了设法克服这些缺点,在其发明人与本发明的发明人相同的、编号为PCT/MX02/00047的国际专利申请中描述了一种立体观察系统,它由如如下构成:捕获图像,其捕获移动或不移动的原始图像;用于将图像复制和翻转的装置,与将图像转换为数字和/或模拟信号的装置组合,作为它们的组合效应的结果,它们同时产生连同类似镜像的翻转图像的复制图像,和/或连同翻转图像的复制图像信号,其分别对应于这些复制和翻转图像;以及三维观察装置,其接收复制和翻转图像信号,以借助复制和翻转图像的组合来实现原始图像的三维观察。
然而,该系统包括这样的缺点,即它是相当复杂的系统,因为它的一个特征在于,在图像复制和翻转装置中,使用了各种部件,诸如导体、反射和/或半透明表面、透镜和适配器,用于获得翻转图像和复制图像。类似地,在三维观察装置中,使用了设置在第一和第二图像投影元件之间的反射表面。
另一方面,当执行外科手术时所出现的需求之一是,能够三维地观察外科手术区域以及以前进行的各种研究的图像。在这个方面,提及的以及根据现有技术的观察系统中没有一个允许包括尤其来自在外科手术期间使用的、贯穿手术指导系统(transoperative guiding system)如导航设备、超声波和荧光检查的信息。
作为以上的结果,人们尝试通过开发一种实时或静态图像观察系统来消除目前使用的观察系统包含的缺点,这种系统除了允许获得高质量的三维图像之外,还允许对在使用医学外科实践的目前常规内窥镜的随所观察对象之间的体积、距离和深度的足够感知。类似地,它允许外科医生通过修改仅仅是它们在常规的视频装置上或借助液晶或等离子体屏幕示出的形式,甚至在非常有限的空间内执行精细和精确的移动,并且保持“眼-手”协调,因为外科区域的图像借助不包括反射表面的头部固定装置、以其不同变型或患者图像的研究图像示出,从而以这种方式将图像直接显示在外科医生的眼前。
发明内容
考虑到先前技术的缺陷,本发明的一个目的是提供一种立体实时或静态图像观察系统,其很简单并且实用,并且还效率高,因为除了允许获得高质量的三维图像之外,它还允许对所观察的对象之间的体积、距离和深度的适当感知。
本发明的另一个目的是,提供一种立体实时或静态图像观察系统,它允许在目前的医学外科实践中使用常规的内窥镜,而并不对其做任何修改,允许外科医生通过仅仅修改它们在常规视频装置上或借助液晶或等离子体屏幕示出的形式,甚至在非常有限的空间内进行精细和精确的移动。
本发明的一个目的是,提供一种立体实时或静态图像观察系统,它通过借助头部和/或面部放置装置以其不同变型或患者图像的研究图像来显示外科区域的图像而允许外科医生保持“眼-手”协调,其中该头部和/或面部直装置将图像显示在外科医生的眼前。
本发明的再一个目的是提供一种立体实时或静态图像观察系统,它可应用于有或没有框架的立体定向外科系统,以及应用于可能是静态或运动的打印图像或视频图像的任何处理系统,允许它们在任何类型的屏幕或打印表面上弯曲地或平面地示出,尤其包括来自在外科手术期间使用的、贯穿手术指导系统的信息,如导航设备、超声波和荧光检查。
本发明的再一个目的是提供一种立体实时或静态图像观察系统,它允许实现三维观察效果,将原始图像复制,以便以与原始图像不同的入射视角上显示这些图像的至少之一。
本发明的再一个目的是提供一种立体实时或静态图像观察系统,其中借助头部或脸部放置装置将图像直接显示在使用者的眼前,其中不必要使用反射表面。
本发明的一个附加目的是,提供一种立体实时或静态图像观察系统,它允许获得框中(in boxes)的图像的组合,它们可以三维地显示给使用者。
附图说明
被认为是本发明特征的创新方面将在随附的权利要求中详细给出。然而,当参照附图时,其工作连同其其它的目的和优点,将从下面的对特定实施例的详细描述中得到更好的理解,在附图中:
图1示出了立体实时或静态图像观察系统的框图,其中示出了本发明的一种特定实施例的工作顺序。
图2A示出了在本发明中使用的第一图像修改单元的第一配置。
图2B示出了在本发明中使用的第一图像修改单元的第二配置。
图3示出了本发明的立体实时或静态图像观察系统的三维观察装置的框图。
图4是在本发明中使用的三维观察装置的透视图,它们安装在头部和/或脸部放置装置上。
图5是一个示意图,它示出了位于在图4中示出的三维观察装置前的观察者的入射视角。
图6示出了立体实时或静态图像观察系统的框图,其中示出了本发明的第一可替选实施例的工作顺序。
图7示出了立体实时或静态图像观察系统的框图,其中示出了本发明的第二可替选实施例的工作顺序。
图8A示出了在图7中示出的实施例中使用的第二图像修改单元的第一配置。
图8B示出了在图7中示出的实施例中使用的第二图像修改单元的第二配置。
图9示出了立体实时或静态图像观察系统的框图,其中示出了本发明的第三可替选实施例的工作顺序。
具体实施方式
已经发现通过各种装置的组合,有可能获得立体实时或静态图像观察系统,其在图像被生成的时刻显示从图像捕获装置获得的真实图像,诸如摄像机、不同变型的内窥镜、外科显微镜、照相机或任何其它用于实时地、或从以前获得并储存的图像中获得视频或打印图像的系统,具有简单然而非常有效的三维观察效果,它允许观察者以对体积、距离和深度的足够感知而执行精细和精确的移动。
特别参照附图,并且更具体地参照其图1,它示出了一个框图,该框图说明了根据本发明的特别的特定实施例构建的立体实时或静态图像观察系统的工作顺序,并且从图像的获得(obtention)直到它们到达观察者的眼睛为止来表现它们。一般地,该系统关联地包括:第一图像捕获装置1,用于捕获有或没有运动的至少一个原始图像2;转换装置3,用于(转换)图像到数字和/或模拟信号,它接收原始图像2并且将它转换为原始图像信号4;图像信号复制装置5,它接收原始图像信号4以同时生成两个图像信号,第一复制图像信号6和第二复制图像信号7;第一图像修改单元30,它根据第一复制图像信号6生成第一修改图像信号11,该信号包含在这样透视图(perspective)下的原始图像2,所述透视图与该图像由第一图像捕获装置1原始捕获所借助的透视图不同;以及三维观察装置12,其接收来自第二复制图像7和来自第一修改图像11的信号,以借助将从第二复制图像信号7中获得的图像与从第一修改图像信号11中获得的修改的图像组合来实现原始图像2的三维观察。
第一图像捕获装置1选自实时发生的活动或事件,为该目的而使用摄像机、外科显微镜、照相机、超声波、导航设备、各种变型的内窥镜,优选的是神经内窥镜、内窥镜、胸腔镜、腹腔镜、骨盆镜、关节镜、三维内窥镜(E-3D),或任何其它用于获得视频和/或打印图像的系统。
就用于将图像转换为数字和/或模拟信号的装置3以及图像信号复制装置5而言,要注意的是这些装置选自在电子学领域中广泛公知的各种元件和装置,这样,例如,图像信号复制装置5可以是“Y”型信号分配器(signal divider)。类似地,在本发明中描述的特定的实施例中,可以设想将这些转换装置3和图像复制装置5包括在第一图像捕获装置1中。
为了清楚地说明本发明的立体观察系统的重要部分,现在参照图2A,其示出了第一图像修改单元30的第一配置,该修改单元包括:第一图像投影装置8,其接收第一复制图像信号6,用于投影第一复制图像9;以及第二图像捕获装置10,用于从关于该第一图像投影装置8的投影表面法线的第一倾斜入射视角α来捕获该复制图像9;该第二图像捕获装置10生成第一修改图像信号11。
如可从上面观察到的那样,从该第一倾斜入射视角α捕获第一复制图像9允许获得与通过第一图像捕获装置1所捕获的不同的原始图像2的透视图。
就第一图像投影装置8而言,它们选自有或没有显像管的显示屏、液晶屏幕(LCD)、等离子体屏幕或视频投影屏幕,优选的是具有平坦的表面,图像借助视频投影器投影于其上。类似地,第二图像捕获装置10选自摄像机或数字相机。
为了更好地捕获第一复制图像9,优选的是第一图像投影装置8和第二图像捕获装置10都位于相对密封和隔光的环境中。
关于第一倾斜入射视角α,其具有在0°和90°之间的值,并且更具体地说,其具有6至30°的值。
在本发明的一种可替选的实施例中,第一图像修改单元30给出了第二配置,如可从附图的图2B中看到的那样,其包括:第一图像投影装置8,其中集成有第一图像编辑装置31,该编辑装置根据第一原始图像信号6生成第一编辑图像32,该图像被投影在第一图像投影装置8上。第一编辑图像32包含原始图像2,同时具有由第一图像编辑装置31提供的、看起来从与原始捕获的透视图不同的透视图捕获的效果;以及第二图像捕获装置10置于第一图像投影装置8之前,用于捕获第一编辑图像32和生成该第一修改图像信号11。
为了实现对作为第一图像编辑装置31的结果而实现的第一编辑图像32的更好理解,重要的是提及该第一编辑图像32可在第一图像投影装置8中以这种方式被感知,即其高度变得从投影表面的左向右,或相反,以及在向着消失点(vanishing point)的方向上减小。另一方面,还已经设想第一图像编辑装置31直接生成第一修改图像信号11。
在附图的图3中描述和示出的三维观察装置1分别包括第一和第二图像投影元件13和14,其中第一图像投影元件13允许观察在其透视图中得到修改并且根据第一修改图像信号11获得的原始图像,而第二投影元件14允许观察根据第二复制图像信号7获得的原始图像2。值得注意的是,该第一13和第二14图像投影元件选自液晶屏幕、等离子体屏幕或具有显像管的屏幕,或任何其它图像投影装置。
在所描述的特别优选的实施例中,第一13和第二14图像投影元件可以安装在类似某种眼镜框架的头部和/或脸部放置支架15上,其附加地允许使用者自由地移动头部,而不损失三维感觉,允许保持“眼-手”关系以及在延长的时段内并且直接在眼前观察图像,如在附图的图4所示。
接着,为了理解本发明的立体观察系统的三维观察装置12的工作,附图的图5示出了一个示意图,它模拟了由位于图4的三维观察装置12之前的观察者感知的入射视角,其中显然通过使用眼睛16,观察者可以看见投影在第二图像投影元件14上的原始图像2,同时利用相对的眼睛17,在第一图像投影元件13中感知在与其捕获所利用的透视图不同的透视图下的相同原始图像2。
类似地,在本发明的另一种可替选的实施例中,图像信号7和11根据需要增加多次,以便为多个观察者提供在其它独立的三维观察装置上同时看到它们的能力。
另一方面,特别参照附图的图6,其示出了一个框图,它表明了根据本发明的第一可替选实施例的立体实时或静态图像观察系统的工作顺序,表示它们从获得图像直到它们到达观察者的眼睛为止。如可以从图6中观察到的,该实施例非常类似于在图1中描述的实施例;然而,该立体观察系统还包括:图像混合和选择装置17,其接收原始图像信号4并且将其与包含至少一个辅助图像(未在附图中示出)的辅助图像信号4’混合,该图像混合和选择装置17生成由原始图像信号4和辅助图像信号4’整合的框4/4’(“画中画”)中的图像信号;框4/4’中的图像信号随后通过系统的其余部分以与在图1中示出的实施例中处理原始图像信号4的相同方式来处理,从而实现框中的原始图像2和辅助图像的三维观察。
为了详细说明上述内容,在本实施例中,框4/4’中的图像信号由该图像复制装置5接收,其同时生成两个图像信号,第一复制图像信号6和第二复制图像信号7,第一复制图像6的信号由第一图像修改单元30接收,其生成第一修改图像信号11,该信号对于该实施例包括框中的原始图像2和辅助图像的组合,两种图像都处于与它们被原始捕获所利用的透视图不同的透视图下;第一修改图像信号11和第二复制图像信号7由该三维观察装置12接收,在其中实现了三维观察,以及在框中,原始图像2和辅助图像,其借助于框中的、根据第二复制图像信号7获得的图像与框中的、根据第一修改图像信号11获得的、在其透视图中得到修改的图像的组合。
图像选择和混合装置17可以是传统类型的视频混合器。类似地,值得注意的是,辅助图像信号4’可以通过图像捕获装置(未在附图中示出)获得或生成,该图像捕获装置与上面针对在图1中示出的本发明特定实施例所描述的相类似。
为了说明在本发明的第一可替选实施例中描述的立体观察系统的工作,以及使用者捕获通过系统处理的图像的方式,要提及的是,在外科过程中,摄像机捕获外科区域的图像并且生成原始图像信号4,而辅助信号4’可以通过在相同外科区域中的内窥镜生成,更确切是包括一系列来自贯穿手术研究如多普勒装置、导航系统等的所存图像的信号。此后,当框4/4’中的该图像信号生成,并且要由本发明的系统处理,直到到达三维观察装置12为止时,使用者可以三维地感知两个图像如框中的图像(一个主图像通过摄像机得到,以及第二图像通过内窥镜捕获,或者相反)。
另一方面,附图的图7示出了一个框图,它表明了根据本发明的第二可替选实施例的立体实时或静态图像观察系统的工作顺序,表示它们从获得图像直到它们到达观察者的眼睛为止。在所描述的第二可替选实施例中,可以观察到,第二复制图像信号7的处理与在图1中示出的特定实施例不同,因为在该第二可替选实施例中,立体观察系统附加地包括:第二图像修改单元40,它根据第二复制图像信号7生成第二修改图像信号21,其包括在这样的透视图下的原始图像2,该透视图与它由第一图像捕获装置1捕获所利用的透视图不同,也与借助第一图像修改单元30实现的透视图不同,借助它,在三维观察装置12中,第一和第二修改图像信号11和21被分别接收,以借助根据第一复制图像信号11获得的第一修改图像和根据第二修改图像信号21获得的第二修改图像的组合来实现原始图像2的三维观察。
在附图的图8A中示出的第一配置中的第二图像修改单元40包括:第二图像投影装置18,其接收第二复制图像信号7以投影第二复制图像19;以及第三图像捕获装置20,用于在关于该第二图像投影装置18的投影表面法线的第二倾斜入射视角β下,捕获第二复制图像19,第三图像捕获装置20生成第二修改图像信号21。在这个方面,当其具有在图2A中示出的配置时,第二倾斜入射视角β与在第一图像修改单元30中的第一入射视角α不同。
在本发明中描述的第二可替选的实施例中,第二图像投影装置18和第三图像捕获装置20与上面描述的第一投影装置8和第二捕获装置10相似。这些第二投影装置18和第三捕获装置20以及第二复制图像19优选地位于相对密封和隔光的环境中。关于角β,其值处于针对角α所指出和优选的界限内,但是条件是每个角的值彼此不同。
类似地,在附图的图8B中示出的第二配置中的第二图像修改单元40包括:第二图像投影装置18,集成至第二图像编辑装置41中,该编辑装置根据第二原始图像信号7生成第二编辑图像42,该图像被投影在该第二图像投影装置18上。第二编辑图像42包括原始图像2,同时具有由第二图像编辑装置41以这种方式提供的效果,即原始图像2看起来是在如下透视图中捕获,该透视图与其原始捕获所借助的透视图不同,并且它也与通过在其两种配置中的任意一个中的第一图像修改单元30所实现的不同;以及第三图像捕获装置20位于第二图像投影装置18之前,以捕获第二编辑图像42并生成第二修改图像信号21。要强调的是,第二图像编辑装置31也可以生成该第二修改图像信号21。
最后,附图的图9示出了一个框图,它表明了根据本发明的第三可替选实施例的立体实时或静态图像观察系统的工作顺序,该系统除了包括在第二可替选实施例中所描述的和在图7中示出的所有元件之外,还包括:图像混合和选择装置17,其接收原始图像信号4,并且将它与包含至少一个辅助图像的辅助图像信号4’混合,该图像混合和选择装置11生成由原始图像信号4和辅助图像信号4’整合的框4/4’(画中画)中的图像信号,框44中的图像信号被复制以获得第一复制图像信号6和第二复制图像信号7,它们被分别处理,如在图1和7中分别示出的实施例中描述的那样,并且由此实现框中的原始图像2和辅助图像的三维观察。
为了详细说明上述内容,在该实施例中,第一复制图像信号6由第一图像修改单元30接收,其生成第一修改图像信号11,该信号包括框中的原始图像2和辅助图像的组合,二者都在与它们被原始捕获所借助的透视图不同的透视图下;第二复制图像信号7由第二图像修改单元40接收,该单元生成第二修改图像信号21,该信号包括框中的原始图像2和辅助图像的组合,二者都在这样的透视图下,该透视图与它们被原始捕获所借助的透视图不同,并且与借助第一图像修改单元30所实现的透视图不同,通过这种方式,在三维观察装置21中,第一11和第二21修改图像信号被接收,以借助框中的、根据图像信号11和21中获得的两个经修改的图像的组合来实现原始图像2和辅助图像的三维观察,其中每个信号提供了与原始图像2和辅助图像不同的透视图。
在所描述的第三可替选的实施例中,显然该图像混合装置4与针对在图6中示出的第一可替选实施例所描述的相同。
根据上面的描述,可以观察到,该立体实施或静态图像观察系统被构思用于简单但是同时有效的三维图像观察,它可以为了除了医学和工业之外的目的而用于观察任何类型的图像,并且对于本领域任何技术人员,显然上面描述的以及在附图中示出的立体实时或静态图像观察系统的实施例仅仅是为了说明的目的,而并不对本发明构成限制,因为对其细节的许多考虑的改变都是可能的,但是并没有偏离本发明的范围。
虽然本发明的某些实施例已经得到说明和描述,但是要强调的是,对其的许多修改都是可能的,尤其如第二复制图像7的投影装置,关于图像投影装置的投影表面、用于捕获复制图像的不同角α和β,相应的第一和第二图像修改单元30和40的配置组合,或者三维观察装置12的不同更改。由此,除了由上述的技术要求以及由随附的权利要求的范围所限,本发明不应该被认为受到限制。

Claims (32)

1.一种立体实时或静态图像观察系统,其特征在于它包括:第一图像捕获装置(1),用于捕获有或没有运动的至少一个原始图像(2);转换装置(3),用于(转换)图像到数字和/或模拟信号,它接收所述原始图像(2)并且将其转换为原始图像信号(4);图像信号复制装置(5),它接收所述原始图像信号(4)以同时生成两个图像信号,第一复制图像信号(6)和第二复制图像信号(7);第一图像修改单元(30),它根据所述第一复制图像信号(6)生成第一修改图像信号(11),该信号包含在这样透视图下的所述原始图像(2),该透视图与该图像由所述第一图像捕获装置(1)原始地捕获所借助的透视图不同;以及三维观察装置(12),其接收所述第二复制图像(7)和所述第一修改图像(11),以通过将根据所述第二复制图像信号(7)获得的图像与根据所述第一修改图像信号(11)获得的修改图像组合来实现所述原始图像(2)的三维观察。
2.根据权利要求1的立体实时或静态图像观察系统,其特征在于,其包括所述第一图像捕获装置(1),该装置选自实时发生的活动或事件,为该目的而使用摄像机、外科显微镜、照相机、超声波、导航设备、内窥镜,或任何其它用于获得视频和/或打印图像的系统。
3.根据权利要求2的立体实时或静态图像观察系统,其特征在于,所述内窥镜选自神经内窥镜、内窥镜、胸腔镜、腹腔镜、骨盆镜、关节镜、三维内窥镜(E-3D)。
4.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述图像信号复制装置(5)是“Y”型信号分配器。
5.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述数字和/或模拟图像信号转换装置(3)和所述图像信号复制装置(5)包括在所述第一图像捕获装置(1)中。
6.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述第一图像修改单元(30)包括:第一图像投影装置(8),其接收所述第一复制图像信号(6),以便投影第一复制图像(9);以及第二图像捕获装置(10),用于从关于所述第一图像投影装置(8)的投影表面法线的第一倾斜入射视角α来捕获该复制图像(9),所述第二图像捕获装置(10)生成所述第一修改图像信号(11)。
7.根据权利要求6的立体实时或静态图像观察系统,其特征在于,所述第一图像投影装置(8)选自有或没有显像管的显示屏、液晶屏幕(LCD)、等离子体屏幕或视频投影屏幕,图像借助视频投影器投影到其上。
8.根据权利要求7的立体实时或静态图像观察系统,其特征在于,所述视频投影屏幕具有平坦的表面。
9.根据权利要求6的立体实时或静态图像观察系统,其特征在于,所述第二图像捕获装置(10)选自摄像机或数字相机。
10.根据权利要求6的立体实时或静态图像观察系统,其特征在于,所述第一复制图像(9)以及所述第一图像投影装置(8)和所述第二图像捕获装置(10)位于相对密封和隔光的环境中。
11.根据权利要求6的立体实时或静态图像观察系统,其特征在于,所述第一倾斜入射视角α具有在0°和90°之间的值。
12.根据权利要求11的立体实时或静态图像观察系统,其特征在于,所述第一倾斜入射视角α具有6至30°的值。
13.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述第一图像修改单元(30)包括:集成至第一图像编辑装置(31)中的第一图像投影装置(8),所述编辑装置根据所述第一复制图像信号(6)生成投影至所述第一图像投影装置(8)上的第一编辑图像(32);以及置于所述第一图像投影装置(8)之前的第二图像捕获装置(10),用于捕获所述第一编辑图像(32)和生成所述第一修改图像信号(11),所述第一编辑图像(32)包含原始图像(2),同时具有由第一图像编辑装置(31)提供的效果,这样其看起来是在与其原始捕获所借助的透视图不同的透视图下捕获的。
14.根据权利要求13的立体实时或静态图像观察系统,其特征在于,所述第一编辑装置(31)直接生成所述第一修改图像信号(11)。
15.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述三维观察装置(12)包括:第一图像投影元件(13)和第二图像投影元件(14),其中所述第一图像投影元件(13)允许观察在其透视图下已经得到修改并且根据所述第一修改图像信号(11)获得的所述原始图像,而所述第二投影元件(14)允许观察根据所述第二复制图像信号(7)获得的所述原始图像(2)。
16.根据权利要求15的立体实时或静态图像观察系统,其特征在于,所述第一(13)和第二(14)图像投影元件选自液晶屏幕、等离子体屏幕或具有显像管的屏幕,或任何其它图像投影装置。
17.根据权利要求15的立体实时或静态图像观察系统,其特征在于,所述第一(13)和第二(14)图像投影元件安装在类似于某种眼镜框架的头部和/或脸部放置支架(15)上,其除了允许使用者自由地移动其头部,而不损失三维感觉之外,还允许保持“眼-手”关系以及在延长的时段内并且直接在眼前观察图像。
18.根据权利要求17的立体实时或静态图像观察系统,其特征在于,位于三维观察装置(12)之前的观察者以一只眼睛(16)看见投影在第二图像投影元件(14)上的原始图像(2),而以相对的眼睛(17)在第一图像投影元件(13)中感知在与其原始捕获所借助的透视图不同的透视图下的相同原始图像(2)。
19.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述第二复制图像信号(7)和所述第一修改图像信号(11)根据需要增加多次,以便为多个观察者提供在其它独立的三维观察装置上同时看到它们的能力。
20.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述系统还包括:图像混合和选择装置(17),其接收所述原始图像信号(4)并且将其与包含至少一个辅助图像的辅助图像信号(4’)混合,所述图像混合和选择装置(17)生成由该原始图像信号(4)和该辅助图像信号(4’)整合的框(4/4’)(“画中画”)中的图像信号,框(4/4’)中的该图像信号随后由同时生成两个图像信号、即第一复制图像信号(6)和第二复制图像信号(7)的所述图像复制装置(5)接收,所述第一复制图像信号(6)由第一图像修改单元(30)接收,其生成第一修改图像信号(11),该信号包括框中的所述原始图像(2)和所述辅助图像的组合,两种图像都处于与它们被原始捕获所借助的透视图不同的透视图下,第一修改图像信号(11)和第二复制图像信号(7)由所述三维观察装置(12)接收,在其中,实现了三维观察,以及在框中,所述原始图像(2)和所述辅助图像,其借助于框中的、根据所述第二复制图像信号(7)获得的图像与框中的、根据所述第一修改图像信号(11)获得的、在其透视图中得到修改的图像的组合。
21.根据权利要求20的立体实时或静态图像观察系统,其特征在于,所述图像选择和混合装置(17)是传统类型的视频混合器。
22.根据权利要求20的立体实时或静态图像观察系统,其特征在于,所述辅助图像信号(4’)由图像捕获装置获得或生成,该装置选自实时发生的活动或事件,摄像机、外科显微镜、照相机、超声波、导航设备、内窥镜,或任何其它用于获得视频和/或打印图像的系统。
23.根据权利要求1的立体实时或静态图像观察系统,其特征在于,所述立体实施或静态图像观察系统还包括:第二图像修改单元(40),它根据所述第二复制图像信号(7)生成第二修改图像信号(21),其包括在这样的透视图下的所述原始图像(2),该透视图与它由所述第一图像捕获装置(1)捕获所借助的透视图不同,也与借助所述第一图像修改单元(30)所实现的透视图不同,借助它,在所述三维观察装置(12)中,第一(11)和第二(21)修改图像信号被接收,以借助于根据所述第一复制图像信号(11)获得的第一修改图像与根据所述第二修改图像信号(21)获得的第二修改图像的组合来实现所述原始图像(2)的三维观察。
24.根据权利要求6和23的立体实时或静态图像观察系统,其特征在于,所述第二图像修改单元(40)包括:第二图像投影装置(18),其接收所述第二复制图像信号(7)以投影第二复制图像(19);以及第三图像捕获装置(20),用于在关于所述第二图像投影装置(18)的投影表面法线的第二倾斜入射视角β下,捕获该第二复制图像(19),其中所述第三图像捕获装置(20)生成该第二修改图像信号(21),并且该第二倾斜入射视角β与在所述第一图像修改单元(30)中的所述第一入射视角α不同。
25.根据权利要求24的立体实时或静态图像观察系统,其特征在于,所述第二图像投影装置(18)选自有或没有显像管的显示屏、液晶屏幕(LCD)、等离子体屏幕或视频投影屏幕,图像借助视频投影器投影到其上。
26.根据权利要求25的立体实时或静态图像观察系统,其特征在于,所述视频投影屏幕具有平坦的表面。
27.根据权利要求24的立体实时或静态图像观察系统,其特征在于,所述第三图像捕获装置(20)选自摄像机或数字相机。
28.根据权利要求24的立体实时或静态图像观察系统,其特征在于,所述第二投影装置(18)和所述第三图像捕获装置(20)连同所述第二复制图像(19)位于相对密封和隔光的环境中。
29.根据权利要求24的立体实时或静态图像观察系统,其特征在于,所述第二倾斜入射视角β具有在0°和90°之间的值。
30.根据权利要求29的立体实时或静态图像观察系统,其特征在于,所述第二倾斜入射视角β具有6°至30°的值。
31.根据权利要求24的立体实时或静态图像观察系统,其特征在于,所述第二图像修改单元(40)包括:集成至第二图像编辑装置(41)中的第二图像投影装置(18),所述编辑装置根据所述第二原始图像信号(7)生成第二编辑图像(42),该图像投影在所述第二图像投影装置(18)上,其中所述第二编辑图像(42)包括所述原始图像(2),同时具有由所述第二图像编辑装置(41)以这种方式提供的效果,即所述原始图像(2)看起来是在如下透视图下捕获的,该透视图与其原始捕获所借助的透视图不同;以及所述第三图像捕获装置(20)位于所述第二图像投影装置(18)之前,以捕获所述第二编辑图像(42)并生成所述第二修改图像信号(21)。
32.根据权利要求23的立体实时或静态图像观察系统,其特征在于,所述立体实时或静态图像观察系统还包括:图像混合和选择装置(17),其接收所述原始图像信号(4),并且将它与包含至少一个辅助图像的辅助图像信号(4’)混合,其中所述图像混合和选择装置(17)生成由所述原始图像信号(4)和所述辅助图像信号(4’)整合的框(4/4’)(画中画)中的图像信号,框(4/4’)中的该图像信号随后由同时生成两个图像信号、即第一复制图像信号(6)和第二复制图像信号(7)的所述图像复制装置(5)接收,所述第一复制图像信号(6)由所述第一图像修改单元(30)接收,其根据所述第一复制图像信号(6)生成第一修改图像信号(11),该信号包括框中的所述原始图像(2)和所述辅助图像的组合,两种图像都处于与它们被原始捕获所借助的透视图不同的透视图下,所述第二复制信号由生成第二修改图像信号(21)的第二图像修改单元(40)接收,该第二修改图像信号包括框中的所述原始图像(2)和所述辅助图像的组合,二者都处于这样的透视图下,该透视图与它们被原始捕获所借助的透视图不同,并且与借助所述第一图像修改单元(30)所实现的透视图不同,通过这种方式,在所述三维观察装置(21)中,所述第一(11)和第二(21)修改图像信号被接收,以借助于根据所述图像信号(11)和(21)获得的、经修改的框中的两个图像的组合来实现所述原始图像(2)和所述辅助图像的三维观察,其中每个信号提供了与所述原始图像(2)和所述辅助图像不同的透视图。
CNA2003801109942A 2003-12-19 2003-12-19 用于立体观察实时或静态图像的系统 Pending CN1894618A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2003/006284 WO2005066690A1 (es) 2003-12-19 2003-12-19 Sistema de vision estereoscopica de imagenes en tiempo real o estaticas

Publications (1)

Publication Number Publication Date
CN1894618A true CN1894618A (zh) 2007-01-10

Family

ID=34746636

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003801109942A Pending CN1894618A (zh) 2003-12-19 2003-12-19 用于立体观察实时或静态图像的系统

Country Status (9)

Country Link
US (1) US20070274577A1 (zh)
EP (1) EP1705513A1 (zh)
JP (1) JP2007527249A (zh)
CN (1) CN1894618A (zh)
AU (1) AU2003289667A1 (zh)
BR (1) BR0318657A (zh)
CA (1) CA2551623A1 (zh)
IL (1) IL176402A0 (zh)
WO (1) WO2005066690A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475894A (zh) * 2013-09-27 2013-12-25 浙江大学 一种3d腹腔镜视频处理方法
CN101952837B (zh) * 2008-01-15 2014-04-23 艾可瑞公司 用于跟踪的质量保证的立体成像对中的单个x射线图像的使用
CN108926318A (zh) * 2018-07-16 2018-12-04 广州狄卡视觉科技有限公司 基于3d内窥镜微型图像的手术显示系统及方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070134637A1 (en) * 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
EP1959391A1 (de) * 2007-02-13 2008-08-20 BrainLAB AG Bestimmung des dreidimensionalen Verlaufs des Randes einer anatomischen Struktur
US8167793B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
RU2529380C2 (ru) 2009-04-29 2014-09-27 Конинклейке Филипс Электроникс Н.В. Оценка глубины в реальном времени по монокулярным изображениям эндоскопа
US8849633B2 (en) 2010-10-29 2014-09-30 Accuray Incorporated Method and apparatus for selecting a tracking method to use in image guided treatment
US8824630B2 (en) 2010-10-29 2014-09-02 Accuray Incorporated Method and apparatus for treating a target's partial motion range
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
JP6259757B2 (ja) 2011-06-27 2018-01-10 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ コンピュータ支援手術の搭載器具追跡システム
US8734328B2 (en) * 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
BRPI1106473B8 (pt) * 2011-11-08 2022-03-22 Associacao Instituto Nac De Matematica Pura E Aplicada Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
EP3200450A4 (en) * 2014-09-26 2018-05-30 Olympus Corporation Transmission system and processing device
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4895431A (en) * 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
US5867210A (en) * 1996-02-09 1999-02-02 Rod; Samuel R. Stereoscopic on-screen surgical microscope systems
IL120135A0 (en) * 1997-02-03 1997-06-10 Dentop Systems Ltd A video system for three dimensional imaging and photogrammetry
JP3464197B2 (ja) * 2000-07-18 2003-11-05 スカラ株式会社 立体視用表示装置及びこれを利用した内視鏡並びに顕微鏡
US7371218B2 (en) * 2002-01-17 2008-05-13 Siemens Medical Solutions Usa, Inc. Immersive portable ultrasound system and method
WO2003100501A1 (es) * 2002-05-23 2003-12-04 Enrique De Font-Reaulx Rojas Sistema de vision estereoscòpica de imàgenes en tiempo real

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952837B (zh) * 2008-01-15 2014-04-23 艾可瑞公司 用于跟踪的质量保证的立体成像对中的单个x射线图像的使用
CN103475894A (zh) * 2013-09-27 2013-12-25 浙江大学 一种3d腹腔镜视频处理方法
CN103475894B (zh) * 2013-09-27 2015-11-04 浙江大学 一种3d腹腔镜视频处理方法
CN108926318A (zh) * 2018-07-16 2018-12-04 广州狄卡视觉科技有限公司 基于3d内窥镜微型图像的手术显示系统及方法

Also Published As

Publication number Publication date
CA2551623A1 (en) 2005-07-21
US20070274577A1 (en) 2007-11-29
JP2007527249A (ja) 2007-09-27
WO2005066690A1 (es) 2005-07-21
EP1705513A1 (en) 2006-09-27
BR0318657A (pt) 2006-11-28
AU2003289667A1 (en) 2005-08-12
IL176402A0 (en) 2006-10-05

Similar Documents

Publication Publication Date Title
US10716460B2 (en) Stereoscopic video imaging and tracking system
US20230255446A1 (en) Surgical visualization systems and displays
US20230122367A1 (en) Surgical visualization systems and displays
CN1894618A (zh) 用于立体观察实时或静态图像的系统
US10181361B2 (en) System and method for image registration of multiple video streams
JP6609616B2 (ja) マルチポートの視点からの手術シーンの定量的な3次元イメージング
US6891518B2 (en) Augmented reality visualization device
US8504136B1 (en) See-through abdomen display for minimally invasive surgery
Satava 3-D vision technology applied to advanced minimally invasive surgery systems
US6919867B2 (en) Method and apparatus for augmented reality visualization
WO2009144729A1 (en) Laparoscopic camera array
EP3383247A1 (en) Surgical visualization systems and displays
WO2007078581A1 (en) Analyzing radiological images using 3d stereo pairs
WO2013180773A1 (en) Stereoscopic video imaging
JPH07508449A (ja) 外科手術の際に身体構造をよく見える様にするコンピュータ・グラフィック及びライブ・ビデオ・システム
Vogt et al. Reality augmentation for medical procedures: System architecture, single camera marker tracking, and system evaluation
Zhao et al. Floating autostereoscopic 3D display with multidimensional images for telesurgical visualization
Parsons et al. A non-intrusive display technique for providing real-time data within a surgeons critical area of interest
Bichlmeier et al. Virtual window for improved depth perception in medical AR
Danciu et al. A survey of augmented reality in health care
Bianchi Exploration of augmented reality technology for surgical training simulators
Mendicino et al. A Cheap and Powerful Stereo Endoscope Lab Mock-Up for Robotic Surgery to Implement and Test Machine Vision and Augmented Reality Prototypes
Parsons et al. 246 Medicine Meets Virtual Reality JD Westwood, HM Hoffman, D. Stredney, and SJ Weghorst (Eds.) IOS Press and Ohmsha, 1998 A Non-Intrusive Display Technique for

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication