CN112022056A - 成像系统和观测方法 - Google Patents
成像系统和观测方法 Download PDFInfo
- Publication number
- CN112022056A CN112022056A CN202010497115.1A CN202010497115A CN112022056A CN 112022056 A CN112022056 A CN 112022056A CN 202010497115 A CN202010497115 A CN 202010497115A CN 112022056 A CN112022056 A CN 112022056A
- Authority
- CN
- China
- Prior art keywords
- image
- orientation
- imaging system
- representation
- representation mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 claims abstract description 6
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 6
- 230000007704 transition Effects 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 24
- 238000013461 design Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000007935 neutral effect Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002428 photodynamic therapy Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000023004 detection of visible light Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00066—Proximal part of endoscope body, e.g. handles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00131—Accessories for endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/40—Animals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本公开涉及一种立体成像系统,特别是医学成像系统,包括:具有用于检测第一图像数据和第二图像数据的图像采集单元的观测仪器,第一和第二图像数据能够结合以进行立体观测;用于检测仪器相对于位置基准的定向、特别是转动定向的至少一个位置传感器;以及能够根据仪器的定向在第一表示模式和第二表示模式下操作的控制装置;控制装置被配置为输出图像信号,该图像信号在第一表示模式下包括基于第一图像数据和第二图像数据的立体信号,并且在第二表示模式下包括基于第一图像数据或第二图像数据的单一信号,并且控制装置被配置为在第二表示模式下根据定向来使通过图像信号输出的图像竖立。本公开还涉及一种立体观测方法和相应的计算机程序。
Description
技术领域
本公开涉及一种立体成像系统,该立体成像系统包括观测仪器,该观测仪器具有用于检测第一图像数据和第二图像数据的图像采集单元,该第一图像数据和第二图像数据可以结合以进行立体观测。
特别地,本公开涉及一种医学成像系统。这种成像系统通常用于观测人体和/或动物的身体。
背景技术
适于进行立体观测的成像系统通常包括具有立体观测光学器件和立体图像传感器(例如,彼此偏移的两个图像传感器)的观测仪器。因此,存在两个观测通道。图像传感器通常包括CCD传感器、CMOS传感器等。当使用彼此偏移的两个图像传感器时,两个图像传感器中的一个被分配给观测者的右眼(第一观测通道),两个图像传感器中的另一个被分配给观测者的左眼(第二观测通道)。
适于进行立体观测的成像系统有时也被称为3D成像系统。不言而喻的是,利用这些系统不一定要采集3D数据。然而,以这种方式生成的3D图像允许观测者感知深度。
医学成像系统例如包括用于进行内窥镜观测的系统。为了本公开的目的,内窥镜成像系统包括多个设计,在多个设计中,探针状的仪器可以插入到自然或人为形成的身体孔口中以捕获身体内部的图像。这也包括所谓的视频内窥镜系统。
从US 9,848,758 B2中已知一种被布置为立体内窥镜的仪器,其中,基于在组装内窥镜期间的测试对右通道和左通道的图像数据进行校正,并且获得了识别信息,以确保校正数据实际分别提供给了右通道和左通道。
从WO 2010/105946 A1中已知一种内窥镜,该内窥镜包括在远端处的惯性传感器和图像传感器,其中,惯性传感器被配置为检测图像传感器相对于重力场的倾斜,其中内窥镜还包括控制装置,其中图像传感器包括图像像素阵列以生成图像数据,其中惯性传感器适于生成表示倾斜的倾斜信号,并且其中控制装置适于通过用倾斜信号来代替图像数据的一部分以将倾斜信号与图像数据组合成一种组合信号。
从DE 10 2017 219 621 A1中已知一种医学可视化系统,该系统包括内窥镜和显微镜,内窥镜和显微镜定位在不同的定向上并且内窥镜和显微镜的视轴可以朝彼此倾斜。内窥镜设置有运动传感器,其中,内窥镜的视轴相对于显微镜的视轴的角度被检测。提供了一种显示装置,该显示装置基于显微镜数据显示第一图像并且基于内窥镜数据显示第二图像,其中第二图像的定向可以根据内窥镜的视轴的角度来被定向。
从WO 2016/012248 A1中已知一种具有远端布置的图像传感器的立体内窥镜。描述了具有笔直的视角方向的实施例和具有倾斜的视角方向的实施例。
从US 7,108,657 B2中已知一种内窥镜可视化装置,该装置包括彼此偏移的两个图像传感器,其中提出使两个图像传感器可以分别绕垂直于各自的传感器平面的轴线转动。以这种方式,可以使采集的图像转动。因此,提供了图像竖立功能。
从US 7,037,258 B2中已知一种视频内窥镜,包括用于图像竖立的装置。内窥镜被设计为单视场仪器。因此该内窥镜是一种具有一个观测通道的仪器。图像分别被电子地转动和竖立。
从US 7,134,992 B2中已知另一种视频内窥镜,包括用于图像竖立的装置。建议根据所确定的仪器的定向来使采集的图像竖立。内窥镜包括位于远端处的图像传感器。该内窥镜是一种具有一个观测通道的单视场观测仪器。加速度传感器用于检测定向。
此外,本公开涉及被布置为用于从身体的外部观测身体的医学成像系统。换句话说,对于这些系统,不旨在将仪器至少部分地插入到身体孔口中。例如,这样的系统,特别是这些系统的观测仪器,被称为外窥镜。从US 10,122,897 B2中已知这种具有立体光学器件的外窥镜。其中提出了必要时可以使光学单元转动以便使仪器的图像竖立。以这种方式,可以调整立体光学器件的立体基线的定向,使得即使在仪器的定向和/或位置变化时也可以进行立体观测。
至少在示例性实施例中,本公开涉及用于白光观测的成像系统和仪器。这包括对可见光的检测,特别是对电磁谱的对人眼可见的部分的检测。例如,这涉及380nm至750nm(纳米)的范围。然而,这不应理解为是限制性的。
特别地,这不排除根据本公开的成像系统也能够在红外或近红外范围和/或紫外范围中获取用于观测的图像信息的可能性。例如,可以想到用于PDD(光动力诊断)和/或PDT(光动力治疗)的仪器以及用于荧光观测的仪器。
然而,至少在大量实施例中,这不应包括放射性成像方法(例如放射成像、计算机断层扫描、磁共振成像、超声观测)。因此,本公开的焦点不在于用于切片图像观测的成像系统。然而,本公开的基本方面涉及对表面或靠近表面的对象的观测。应当理解,仍然可以想到组合式成像系统。
当使用上述类型的观测仪器时,通常需要使观测仪器转动或以其他方式运动,例如使观测仪器围绕其纵向轴线(仪器轴或观测光学器件的轴线)转动,以便改变观测到的图像部分。手持式和/或手持引导式仪器尤其是这种情况。然而,即使在仪器刚性安装的情况下,也可以提供运动自由度以按照期望的方式定位仪器和仪器的观测光学器件。
对于仅具有一个图像传感器的观测仪器,可以通过机械地或电子地转动图像来调节图像传感器相对于水平参考线(由例如监测器的显示设备限定)的定向。以这种方式,可以执行图像竖立。为了本公开的目的,图像竖立被理解为是一种功能,通过该功能即使在图像传感器和/或观测光学元件转动(就滚动运动而言)时也可以在很大程度上或完全保持显示图像的定向(例如,上、下、右、左的方向)。该限定也可以类似地适用于具有倾斜视角方向的观测仪器,例如适用于具有透镜的仪器,所述透镜的“法线”不平行于转动轴线。在物镜的情况下,“法线”例如是光学轴线。例如,在图像传感器与透镜同轴的情况下,“法线”例如垂直于传感器平面。通常,透镜的光学轴线对于限定视角方向是至关重要的。
然而,也可以想到不使图像竖立,使得显示图像随着仪器的转动或滚动而转动。可以可选地选择相应的表示模式。
对于被设计为用于立体观测的仪器,图像竖立呈现出了各种挑战。造成这种情况的主要原因是所谓的立体基线,即结合以用于立体观测和立体表示的两个观测通道和/或图像传感器之间的偏移量(距离和/或角度)。立体基线理想地与显示装置的水平参考线对准,理想地平行于或近似平行于显示装置的水平参考线。显示装置的水平参考线通常对应于地平线。头部正朝前的观测者使其眼睛(穿过两只眼睛的假想线)平行于该水平参考线对准。
在医学或工业环境中,成像系统的总体设计目标是保持探针部件较小。这也可以包括图像采集单元的微型化。例如,这适用于探针和/或透镜组件的直径。该设计目标对于在神经外科(脑外科、脊柱外科等)中使用的内窥镜仪器而言是格外重要的。然而,这使得用于图像竖立的机械解决方案更加困难。
通常,期望将内窥镜仪器的轴组件设计为具有尽可能小的轴直径。这可以在形成访问开口时最小化对患者的创伤。因此,该设计目标通常适用于微创外科手术仪器。
然而,仍然需要使用尽可能小的仪器(就轴直径而言)来进行立体图像采集和/或观测。针对诸如内窥镜的立体仪器的一种方法可以是在仪器的远端处或远端附近布置两个图像传感器。这两个图像传感器规则地邻近彼此布置,从而会影响仪器在该区域内的总直径。在这一区域中,为机械图像竖立提供额外的规定将是非常昂贵的。
然而,这样的仪器在使用期间也经常绕轴的纵向轴线转动。这对于具有倾斜视角方向的仪器尤其如此。然而,如上所述的,这至少在即使在滚动运动期间也要使图像保持直立的情况下对立体感知提出了挑战。相反,如果不保持直立位置,则从观测者的视角来看,“图像中”的定向变得更加困难。
仅具有一个图像传感器的仪器,即仅具有一个观测通道的仪器(单视场仪器)在这一方面存在的问题较少。采集的图像可以机械地(实际上是用手或通过致动器)或电子地(数字竖立)竖立。机械竖立涉及传感器相对于仪器的轴和/或安装件的转动。电子图像竖立包括图像处理措施,以确保在必要时使图像以直立的方式再现。
发明内容
在此背景下,本公开的目的是提出一种包括观测仪器的立体成像系统以及立体观测方法,该立体成像系统和立体观测方法允许即使在仪器和/或仪器的图像采集单元转动的情况下也可以实践地感知表示,其中如果需要的话可以使再现图像竖立。然而,应该使立体(或3D)表示在尽可能大的转动范围内是可行的。优选地,直观的操作是可行的。优选地,成像系统和/或方法仍然允许在立体检测和表示无法使用的状态下实现基本功能,使得可以使用至少一个观测通道。
此外,应在本公开的上下文中提出用于控制立体成像系统的对应的计算机程序。
根据第一方面,该目的通过立体成像系统、特别是医学成像系统实现,该成像系统包括:
-观测仪器,该观测仪器包括图像采集单元,该图像采集单元用于检测第一图像数据和第二图像数据,第一图像数据和第二图像数据能够结合以进行立体观测,
-至少一个位置传感器,该至少一个位置传感器用于检测仪器相对于位置基准的定向,特别是转动定向,以及
-控制装置,该控制装置能够根据仪器的定向在第一表示模式和第二表示模式下操作,
其中,控制装置被配置为输出图像信号,在第一表示模式下,该图像信号包括基于第一图像数据和第二图像数据的立体信号,并且在第二表示模式下,该图像信号包括基于第一图像数据或第二图像数据的单一信号,并且
其中,控制装置被配置为在第二表示模式下根据所述定向来使图像竖立,其中该图像通过图像信号被输出。
以这种方式完全实现了本发明的目的。
根据本发明,在一方面,使用了立体观测的能力。在图像采集单元处于这样的位置(特别是转动位置)时均适用这种情况,在所述位置处,立体基线的定向没有偏离位置基准(例如,偏离水平线和/或人造水平线)或仅在合理的极限内偏移。
然而,如果位置传感器提供的关于定向(转动位置和/或滚动位置)的信号指示由于图像采集单元的转动而导致无法再使用立体功能,则控制装置可以输出单一信号(仅使用一个观测通道)。当操作者不能使自己很好地在图像中定位时,例如当控制在图像中可见的手术仪器时,可能就是这种情况。
上述措施的优点在于可以实现图像竖立、特别是电子图像竖立。取决于当前的转动角度,基于两个观测通道的立体表示或基于一个观测通道的单一表示是可行的。
这意味着在观测仪器和/或其图像采集单元的某些定向上,仅使用了没有深度印象的二维表示。但这种表示形式也可以用于进行观测。
然而,如果位置传感器确定图像采集单元的当前转动定向(滚动位置)允许实现立体再现,即具有深度印象的表示(3D再现),则可以切换到立体表示。关于图像竖立,可以想到的是,如果图像采集单元转动大约180°,则用于进行表示的两个观测通道互相交换并且两个观测通道的图像信息也分别转动180°。以这种方式,至少对于较小的转动角度范围(在约180°处),也可以在立体表示的情况下实现图像竖立。
根据该方法,至少在示例性实施例中,可以提供一种仪器,在该仪器中一方面可以实现立体观测,另一方面可以实现电子图像竖立。这涉及示例性实施例并且不应理解为是限制性的。
然而,该方法特别适用于具有较小轴直径的仪器,即,适用于进行微创手术的仪器,尤其是进行神经外科手术(脑外科手术、脊柱外科手术)的仪器。在示例性实施例中,观测仪器是医学观测仪器。轴的直径越小,实现图像竖立的机械解决方案就越困难。
观测仪器通常被布置为视频内窥镜或视频外窥镜。视频内窥镜被配置为观测身体的内部,并且可以通过自然或人为的身体孔口插入到身体中。视频外窥镜被配置为从身体的外部观测身体。仪器可以被设计为用于人类医学,并且必要时还可以用于兽医医学。然而,视频内窥镜和视频外窥镜的工业应用也是可以想到的。
由位置传感器确定的位置信号所指示的位置基准例如可以是水平线(可能是人造水平线)。位置基准例如根据观测者在观测再现图像时的瞳孔间距(和/或相应矢量的定向)得到。
例如,图像采集单元包括彼此间隔开的两个图像传感器。这两个图像传感器可以平行于彼此,但也可以相对于彼此略微倾斜。两个图像传感器(右和左)中的每一个分配给了两个观测通道中的一个。可以结合两个图像传感器以在一个对象平面中进行对象的立体观测。两个图像传感器彼此间隔开并且因此适应于观测者的眼睛的视差。
这种布置不应理解为是限制性的。通常,立体基线是根据透镜单元的远端孔径和/或透镜单元彼此之间的距离得到的。这也与图像传感器的位置和/或图像传感器彼此之间的距离有关。
在单一表示和/或2D观测的情况下,仅使用两个通道中的一个,即仅使用两个图像传感器中的一个。这并不一定意味着两个图像传感器中仅有一个在实际传输信号。然而,至少在图像表示的情况下,仅使用两个通道中的一个的信号。
位置传感器相对于参照物,例如相对于水平线来检测仪器的定向。参照物通常可以是有效的(总体的)参照物,或者是根据具体情况限定的参照物。通常,将水平线用作反映观测者的双眼的位置和定向的参照物。
在第一表示模式下,将第一图像数据和第二图像数据结合以使得立体表示(3D再现)是可行的。在第二表示模式下,使用第一图像数据或第二图像数据来实现单一表示(2D再现)。
至少根据示例性实施例,观测仪器是手持式或手持引导式仪器。然而,这不应理解为是限制性的。根据可替代的实施例,观测仪器安装在三脚架或类似物上。可以由操作者和/或由电机驱动式机构直接改变仪器的定向,特别是仪器的滚动定向。可以相应地布置根据本公开的方法。
根据本公开的另一方面,通过一种立体观测方法来实现本发明的目的,该方法包括以下步骤:
-提供观测仪器,该观测仪器包括图像采集单元,该图像采集单元用于检测第一图像数据和第二图像数据,第一图像数据和第二图像数据能够结合以进行立体观测,
-检测仪器相对于位置基准的定向,特别是转动定向,以及
-根据仪器的定向在第一表示模式或第二表示模式下操作成像系统,包括:
在第一表示模式下,输出图像信号,该图像信号包括基于第一图像数据和第二图像数据的立体信号,
在第二表示模式下,输出包括单一信号的图像信号,以及
至少在第二表示模式下,根据检测到的定向,根据需要使输出图像竖立。
同样以这种方式完全实现了本发明的目的。
该方法也可以被称为用于立体观测的成像方法。应当理解,可以根据在本公开的上下文中描述的成像系统的示例性实施例来布置该方法,反之亦然。
在示例性实施例中,该方法包括提供控制装置来控制成像系统。
在该方法的另一示例性实施例中,该方法包括提供立体成像系统,该立体成像系统具有:观测仪器,该观测仪器被配置为进行立体观测;至少一个位置传感器,该至少一个位置传感器用于检测仪器的定向,特别是转动定向;以及控制装置,该控制装置可以根据仪器的定向至少在第一表示模式或第二表示模式下操作,其中,控制装置被配置为输出图像信号,在第一表示模式下,该图像信号包括基于第一图像数据和第二图像数据的立体信号,并且在第二表示模式下,该图像信号包括基于第一图像数据或第二图像数据的单一信号,并且其中,控制装置被配置为在第二表示模式下根据所述定向使用图像信号来使输出图像竖立。
在第一表示模式下,至少在示例性实施例中,输出图像不是竖立的,即,输出图像以非竖立的状态输出。因此,显示图像将会随着仪器的相对于位置基准的转动角度(滚动角度)一起转动。
根据成像系统或方法的示例性实施例,控制装置被配置为在第二表示模式下使输出图像定向为,使得显示图像相对于显示水平线的定向不会变化或仅在限定的极限内变化。定向的结果就是竖立图像的表示。
以这种方式,可以实现图像竖立。在本公开的上下文中,术语图像竖立描述了一种功能,该功能是指即使在仪器转动时,再现图像也能够保持其定向(上-下-右-左)。特别地,这涉及所谓的滚动运动,即图像采集单元和/或联接到图像采集单元的透镜组件的转动。转动限定了滚动运动的轴线。例如,在内窥镜的情况下,转动可以绕仪器轴的纵向轴线。然而,没有装入刚性纵向轴线的柔性或部分可偏转的观测仪器也是已知的。此外,具有轴和安装在轴上的观测头的观测仪器也是已知的,其中转动不围绕轴的纵向轴线而是围绕穿过观测头的轴线。该轴线例如垂直于轴的纵向轴线。
根据成像系统或方法的另一示例性实施例,控制装置适于在第一表示模式下输出处于非竖立状态的图像,使得仪器的定向的变化与待输出图像的定向的变化相关联。
在本公开的上下文中,术语“非竖立”应理解为是指待输出图像在没有竖立的情况下被输出,即不是竖立的。因此,在表示期间,当仪器围绕其纵向轴线转动5°时,待输出图像中的对象也将转动5°。
已经观测到,在某些情况下,轻微的转动角度在第一表示模式下是可以接受的,其中观测者可以感知到立体效果(具有深度印象的3D效果),并且同时图像中的定向会略微降低。因此,建议在第一表示模式下在有限的转动角度(也称为滚动角度)内保持立体表示。这使得成像系统更能承受轻微的转动运动。
根据成像系统或方法的另一示例性实施例,在第一表示模式下,控制装置能够在仪器的第一转动角度范围中操作,并且其中,在第二表示模式下,控制装置能够在仪器的第二转动角度范围中操作。例如,第一转动角度范围包括仪器相对于位置基准的至少一个中性位置。转动角度范围是可用转动角度的至少一个限定的子部分。
中性位置例如包括两个图像传感器和/或两个通道的孔径之间的连接线相对于水平线(或人造水平线)的平行定向。应该理解,中性位置和/或初始位置也可以使用合适的控制元件根据具体情况来限定。
例如,中性位置包括相对于位置基准(例如水平线)的直立状态(垂直于立体基线)。可以测量从中性位置开始的转动角度。滚动角度通常是描述围绕(轴和/或图像采集单元的)纵向轴线的转动的角度。
至少根据示例性实施例,可以在操作期间调整限定中性位置的水平线。以这种方式,例如,可以通过随身携带观测仪器来对整体运动做出反应。例如,这涉及在随身携带观测仪器时对患者的重新定位。当患者和观测仪器在转动而其他仪器没有转动时,对人造水平线的调整可以用于在很大程度上保持其他仪器在显示图像中的位置和定向。
可能的转动角度范围可以(相对于360度的整圆)以度为单位来限定或相对于12小时的钟盘以小时和分钟来限定。因此,中性位置对应于0°和/或0点钟的定向。相对于中性位置转动180°的位置对应于180°和/或6点钟的定向。相应地得到转动角度的中间位置。在示例性实施例中,第一转动角度范围和第二转动角度范围彼此互补至360°。
例如,第一转动角度范围包括11点钟至1点钟和/或330°至30°之间的范围。因此,第二转动角度范围可以覆盖1点钟至11点钟和/或30°至330°之间的范围。这样,该仪器就可以围绕其纵向轴线完全转动。
然而,也可以想到不使仪器围绕其纵向轴线完全转动(和/或仅对局部区域配置图像竖立)。例如,考虑9点至3点和/或270°至90°之间的局部区域。因此,第一转动角度范围也可以包括11点钟至1点钟和/或330°至30°之间的范围。然而,第二转动角度范围则包括9点钟至11点钟以及1点钟至3点钟之间的(局部)部分(对应于270°至330°之间的第一部分以及30°至90°之间的第二部分)。
根据成像系统或方法的另一示例性实施例,第一转动角度范围具有彼此偏移180°的两个部分。当仪器从中性位置转动180°时,用于第一图像数据和第二图像数据的图像采集单元和/或两个图像传感器再次平行于位置基准(水平线)对准。图像传感器被颠倒。这种大约180°的滚动运动通常称为翻转。在180°的交错的部分中也可以实现立体表示。这也可能包括(静态)图像竖立。对于图像竖立,必须使用于第一观测通道和第二观测通道的图像信息(第一图像数据和第二图像数据)互换(右与左互换,反之亦然),并且所述部分(右和左)将必须单独转动180°。然而,除了这种“静态”图像竖立之外,对于偏移180°的较小转动而言不存在连续的竖立。
因此,第一转动角度范围包括具有两个部分的范围。第一部分例如为11点钟至1点钟和/或330°至30°之间。第二部分给定为5点钟至7点钟和/或150°至210°之间。相应地,第二转动角度范围包括第一部分和第二部分。第一部分包括1点钟至5点钟和/或30°至150°之间的范围。第二部分具有7点钟至11点钟和/或210°至330°之间的范围。第二部分包括7点钟至11点钟和210°至330°之间的范围。然后,可以在11点钟至1点钟(和/或330°至30°)之间和5点钟至7点钟(和/或150°至210°)之间的范围中进行立体观测和图像再现。不言而喻的是,以上关于第一转动角度范围和第二转动角度范围的信息是示例性的,并且不应理解为是限制性的。第一转动角度范围可以相对于竖直线(0°位置)是对称的。此外,然而,也可以想到相对于竖直线的非对称的角度范围。
根据成像系统或方法的另一示例性实施例,控制装置被配置为使第一图像信号和第二图像信号互换,并且使第一图像信号和第二图像信号转动大约180°。
优选地,在第一转动角度范围的、与中性位置相对180°的部分中进行该操作。以这种方式,即使在翻转期间也可以提供具有3D功能的静态图像竖立。
因此,根据该示例性实施例的第一表示模式包括两个操作模式。第一模式涉及基于位置基准的初始定向(例如,初始定向限定中性位置)。第二模式是翻转模式(180度转动)。因此,第一部分也可以被称为参考部分,第二部分也可以被称为翻转部分。
根据成像系统或方法的另一示例性实施例,第二转动角度范围包括仪器的相对于位置基准转动90°的至少一个位置。这也适用于270°的转动位置。至少在这样的范围中(滚动角度为90°和/或270°),如果期望直立的图像,则立体功能不容易实现。因此,在该范围中仅使用一个观测通道来输出2D图像是合理的。至少在示例性实施例中,如果需要的话,可以对该图像进行电子转动以使该图像竖立。
根据成像系统或方法的另一示例性实施例,在其中0°(度)指示仪器相对于位置基准的理想定向的角度标度方面,第一转动角度范围包括第一部分,该第一部分覆盖具有第一极限和第二极限的范围,其中第一极限位于310°至350°之间,并且第二极限位于10°至50°之间,并且其中,第一转动角度范围优选地包括第二部分,该第二部分相对于第一部分偏移180°。
例如,第一转动角度范围相对于竖直线(在0°处)对称地布置。因此,第一转动角度范围覆盖相对于竖直线+/-10°(加/减10°)至+/-50°之间的范围,即,第一转动角度范围覆盖0°+/-10°的较小范围,或覆盖0°+/-50°的较大范围。例如,第一转动角度范围覆盖0°+/-45°的范围。在另一示例中,第一转动角度范围覆盖0°+/-30°的范围。相应地,第二部分可以覆盖180°+/-10°至180°+/-50°的范围,例如180°+/-30°或180°+/-45°的范围。
具体而言,在示例性实施例中,第一转动角度范围的第一部分在30°和330°之间延伸,其中,第一转动角度范围的第二部分在150°和210°之间延伸。第二转动角度范围可以与第一转动角度范围互补,例如第一转动角度范围具有位于30°至150°之间的第一部分和位于210°至330°之间的第二部分,其中在第二转动角度范围中,仪器可以在第二表示模式下操作。
在另一示例性实施例中,第一转动角度范围的第一部分在45°和315°之间延伸,其中第一转动角度范围的第二部分在135°和225°之间延伸。相应地,在该示例性实施例中,第二转动角度范围包括位于45°至135°之间的第一部分以及位于225°至315°之间的第二部分。
在第三示例性实施例中,第一转动角度范围的第一部分在345°和15°之间延伸,其中第一转动角度范围的第二部分在165°和195°之间延伸。相应地,在该示例性实施例中,第二转动角度范围包括位于15°至165°之间的第一部分以及位于195°至345°之间的第二部分。
不言而喻的是,也可以想到针对第一转动角度范围(即第一表示模式)和第二转动角度范围(即第二表示模式)的其他示例性实施例。
第一转动角度范围(即具有立体表示但不具有全面图像竖立的范围)被选择为使得操作者仍然可以在图像中很好地定向自己,在略微倾斜的位置处通常是这种情况。这具有立体表示的优点。可以根据成像系统的特定用途和/或根据不同操作者的客观和主观偏好来限定第一转动角度范围和/或第二转动角度范围。
可以想到固定第一转动角度范围。也可以想到第一转动角度范围的少量的变体(分别相对于竖直线大约为+/-30°或+/-45°,竖直线处于0°处,或必要时处于180°处),操作者可以在这些变体中进行选择。还可以想到使操作者可以在较宽的极限内自由地限定第一转动角度范围以及第二转动角度范围。
通常,这些部分可以覆盖至少5°至355°(即至少+/-5°)以及至少175°至185°的范围。这包括示例性实施例,在该示例性实施例中,第一角度范围包括分别相对于0°位置,或必要时相对于180°位置的+/-30°至+/-45°之间的值。然而,这不应理解为是一种限制。也可以想到其他角度范围。如果限定了两个转动角度范围中的一个,则可以得到相应的另一个转动角度范围。在该示例中,两个转动角度范围彼此互补至360°。在整圆上,两个转动角度范围中的每个可以被设置两次,偏移180°。
根据另一示例性实施例,第一转动角度范围的部分位于45°至315°以及135°至225°之间。从而,第二转动角度范围包括45°至135°以及215°至315°之间的角度部分。根据另一示例性实施例,第一转动角度范围的部分位于30°至330°以及150°至210°之间。从而,第二转动角度范围的部分位于30°至150°以及210°至330°之间。然而,这不应理解为是限制性的。
根据成像系统和方法的另一示例性实施例,控制装置还能够操作以在在第一表示模式和第二表示模式之间进行切换时,实现调适性的过渡,并且其中,所述调适性的过渡优选地包括在第一表示模式和第二表示模式之间的切换角度处且在第二表示模式下单一信号的定向和第一表示模式下立体信号的定向之间的调适。
过渡(也称为过渡模式)使得立体表示和2D表示之间的变化对于操作者而言更加协调。在第一表示模式(立体)下输出的图像信号会分别针对右眼和左眼被定期处理。例如,这可以包括从两个略微不同的角度示出了被观测对象的视场。因此,当在第一表示模式和第二表示模式之间切换时(反之亦然),在利用两个不同视场的显示方式和利用对于右眼和左眼是相同图像的显示方式之间会存在变化。例如,在过渡期间,有意淡化了两个视场中的一个,从而使另一个视场对于两只眼睛而言都是决定性的(并且反之在另一表示模式下亦然)。
根据成像系统和方法的另一示例性实施例,控制装置还被配置为在第二表示模式下根据转动角度来定向输出图像,使得优选地在第一表示模式和第二表示模式之间产生低跳跃的过渡或无跳跃的过渡。
以这种方式,可以实现没有“跳跃”图像的稳定过渡或几乎稳定过渡。当仪器转动并且在第一表示模式和第二表示模式之间存在变化时,优选地在图像的转动定向上没有跳跃变化。换句话说,至少在示例性实施例中,可以实现第一表示模式和第二表示模式之间的低跳跃或无跳跃(就转动角度而言)的过渡。不言而喻的是,较小的跳跃是可能的且完全可以接受的。然而,这些跳跃不应对观测者在显示图像中的视觉定向产生负面影响。
该设计考虑到以下事实:至少在示例性实施例中,第一表示模式包括允许的角度范围(大约在30°至330°之间,或更大),在该角度范围中,图像被立体地捕获并在对象平面中再现,其中在该(较小)范围中无需严格的图像竖立。立体表示通常仅在显示图像随仪器的转动一起转动时才有用。
然而,如果一方离开其中第一表示方式是可行的第一角度范围,则突然过渡到第二表示模式将可能导致图像相对于位置基准的立即竖立。其结果就是,从观测者的视角来看,图像会“向前跳跃”和/或“向后跳跃”。因此,至少在示例性实施例中,旨在提供一种过渡模式以使该过渡不太突然。
根据成像系统或方法的另一示例性实施例,在第二表示模式下,控制装置插补位于非竖立状态和竖立状态之间的待输出图像。
以这种方式,可以通过适当的插补步骤使过渡变得平滑,并且理想地无抖动或具有较少的抖动。这在观测期间改善了用户的感知体验并且避免了过度的视觉压力。
根据仪器的转动角度,待输出图像的定向会改变,但图像仍是竖立的。图像的插补(和/或图像的定向的插补)有助于避免或至少减少第一表示模式和第二表示模式之间的过渡处的跳跃。例如,在第一表示模式和第二表示模式之间的过渡处的实际转动与标称定向之间进行插补,该标称定向对应于(理想地或接近理想地)竖立的图像。
这意味着在第一表示模式和第二表示模式之间的过渡处立刻没有图像的“跳跃”和/或图像的突然转动。替代地,图像连续地移动和/或转动。观测者从而注意到第一表示模式和第二表示模式之间的变化(这还包括3D和2D之间的变化)。此外,可以使第一表示模式足够地兼容立体表示,使得立体效果不是仅在图像采集单元相对于位置基准的绝对精确定向下才能实现。
根据成像系统和方法的另一示例性实施例,控制装置被配置为在第二表示模式下、在仪器在第二表示模式下的切换角度和极限角度或极限角度范围之间,使待输出图像竖立,其中该切换角度被分配给第一表示模式和第二表示模式之间的过渡,并且特别地,图像在切换角度处采取对应于切换角度的定向。
例如,极限角度描述了一个范围,在该范围中再现图像是完全竖立的,即在该范围中,再现图像的定向对应于由位置基准和/或选定的人造水平线限定的标称定向。例如,极限角度与90°和270°的仪器转动定向相关联。因此可以有两个极限角度。还可以想到在极限角度范围内,即不仅在特定角度位置处,使图像完全竖立。这样的极限角度范围可以覆盖90°+/-15°的范围。互补的第二极限角度范围可以覆盖270°+/-15°的范围。这意味着当仪器在该范围内转动时,显示的图像不会改变或仅略微地改变其竖立状态。
根据成像系统和方法的另一示例性实施例,在其中0°指示仪器相对于位置基准的理想定向的角度标度方面,切换角度位于25°至50°之间,优选位于30°至45°之间。如果第一角度范围是对称的,则相应地存在相对于竖直线对称的另一切换角度,例如在310°至335°的范围中,优选在315°至330°的范围中。在示例性实施例中,切换角度对应于第一表示模式下的第一转动角度范围的极限。
根据成像系统和方法的另一示例性实施例,控制装置被配置为在第二表示模式下,使待输出图像在极限角度或极限角度范围与另一切换角度之间转动,使得当仪器朝向该另一切换角度转动时,显示图像的定向适应于另一切换角度。
该另一切换角度描述了在仪器的倒置定向上的第二表示模式和第一表示模式之间的过渡,其中,至少在示例性实施例中,鉴于用于立体表示的仪器的至少大约180°的转动位置,第一图像信号和第二图像信号进行互换并且分别转动180°。图像基本上是直立的,但对于稳定的立体表示而言,可以允许一定的转动角度。
在示例性实施例中,因此没有示出转动超过(第一)切换角度的状态下的再现图像。在第一示例中,这意味着在第一表示模式以及第二表示模式下,显示图像仅示出为处于在+/-45°内转动的状态。在另一示例性实施例中,在第一表示模式以及第二表示模式下,显示图像仅示出为处于在+/-30°内转动的状态。
根据成像系统和方法的另一示例性实施例,在其中0°指示仪器相对于位置基准的理想定向的角度标度方面,另一切换角度位于130°至155°之间,优选位于135°至150°之间,其中极限角度大约为90°。在第一角度范围的对称定向的情况下,相应地存在相对于竖直线对称的另一切换角度,该另一切换角度例如在205°至230°之间的范围中,优选在210°至225°之间的范围中。
根据仪器的另一示例性实施例,控制装置允许改变位置基准,特别是允许改变通过图像采集单元的定向给出的理想位置基准。通常,位置基准是根据图像采集单元的两个孔径的布置得到的。例如,仪器处于理想定向,如果两个孔径在水平面(立体基线的水平定向)上彼此偏移,则在该理想定向上观测者可以立体地感知直立的图像。
因此,该定向也可以是第二表示模式下的图像竖立的参照物。然而,也存在需要调整位置基准的已知的应用。例如,如果重新定位了观测对象(例如,患者),但同时应保持观测对象与观测仪器输出(竖立)的图像之间的分配,则可能是这种情况。在这种情况下,可以限定人造水平线,该人造水平线是根据相对于初始水平线(例如,在理想定向上)的选定偏移量(偏移角度)得出的。
在这种具有调整后的人造水平线的操作模式下,新的调整后的人造水平线现在可以代表仪器的定向的新的位置基准。在第二表示模式下,可以考虑新的位置基准来使显示图像竖立。应当理解,在具有变化的人造水平线的第一表示模式下,图像采集单元的物理定向不发生变化。当从第二表示模式切换到第一表示模式时,在竖立的2D图像和非竖立的立体图像之间存在过渡。因此,图像将“向前”或“向后”跳跃,其中过渡可以是平滑的,如上所述。图像是“向前”还是“向后”跳跃取决于转动的方向。如果第一表示模式包括相对于第一部分(中性位置)偏移180°的第二部分(翻转位置),则可能会出现类似的情况。
为了检测图像采集单元的转动位置/定向,例如设置有至少一个位置传感器。位置传感器检测观测仪器和/或图像采集单元的滚动位置(围绕纵向轴线的转动)。例如,在立体内窥镜的情况下,位置传感器检测仪器轴的滚动位置。
可以想到位置传感器的各种设计。这可以包括一个或多个加速度传感器。加速度传感器可以检测相对位置。为了检测绝对位置/定向,陀螺仪或类似的传感器是合适的。不言而喻的是,位置传感器可以包括至少一个单独的传感器。在示例性实施例中,位置传感器布置在仪器中。例如,位置传感器位于仪器的轴中、位于手柄中或位于观测头中。
位置传感器可以位于仪器的近端或远端处。如果安装有多个传感器,则这多个传感器可以在空间上分布。空间分布允许在考虑位置传感器之间的相对定向的情况下检测位置和/或定向。
然而,也可以想到至少部分地借助于软件来实现位置传感器。位置传感器不必一定是单独的传感器。位置传感器还可以是位于仪器上或仪器内的跟踪器,由外部导向系统通过磁场变化或直接的电磁信号传输对该跟踪器进行光学检测,并且该跟踪器可以实现对仪器的位置的计算。特别是在跟踪运动时,也可以通过图像处理操作来检测采集图像和再现图像的位置。例如,这可以包括模式识别,使得至少在第二表示模式下,在仪器和/或图像采集单元的运动期间,在图像中确定了位置并且恒定地保持该位置。
根据成像系统或方法的另一示例性实施例,观测仪器被布置为具有倾斜视角方向的仪器。为了本公开的目的,倾斜的视角方向例如被理解为是透镜的光学轴线相对于轴的纵向轴线(转动轴线)的倾角。
已知具有例如10°、15°、20°、30°或45°的倾斜视角方向的仪器。在本发明的上下文中也可以想到这样的倾斜角度。然而,这不应理解为是限制性的。至少在示例性实施例中,术语倾斜视角方向不包括绝对的横向视角方向(相对于纵向轴线倾斜90°)。这种仪器被称为横向视角仪器。
具有可变视角方向的仪器也是已知的,其中可以相对于纵向轴线调节倾斜角度。具有倾斜视角方向的仪器也可以被称为倾斜观测式仪器。视角方向的倾斜角度相对于纵向轴线覆盖了例如位于10°至60°之间的范围。
具有倾斜视角方向的仪器在绕轴的轴线进行滚动运动期间需要进行立体观测时,会存在特殊挑战。具有倾斜视角方向的仪器通常有意地围绕轴的轴线转动,以改变当前的视场和/或改变视场中的对象的显示。以这种方式,根据相应的滚动角度,可以观测到不同的观测范围和/或观测对象。然而,至少在示例性实施例中,这意味着至少在期望图像竖立时,转动范围的某些部分可以被立体地记录,而其他部分只能以单视场的方式被采集和再现。
如果在立体观测的情况下,分别单独地使各个图像竖立,则当仪器转动(滚动运动)时,还必须根据转动角度来调整立体基线的定向,使得可以利用右眼和左眼进行立体观测。因此,图像采集单元的图像传感器和/或透镜的附加的、组合的、内部的枢转运动是必要的,以在表现期间并且在图像采集单元的给定转动定向下,将立体基线调整到期望的图像定向上。然而,这几乎不能通过机械手段来实现。另外,倾斜的视角方向使得在图像采集单元的任何转动定向下的竖立的立体图像的合成更加困难。
根据成像系统或方法的另一示例性实施例,观测仪器携带图像采集单元,其中图像采集单元包括立体图像传感器或彼此偏移的两个单独的传感器。
图像采集单元的传感器示例性地布置在仪器和/或仪器的轴的远端处或附近。根据可替代的实施例,图像采集单元的传感器布置在仪器和/或仪器的轴的近端处或附近。
根据另一示例性实施例,成像系统还具有显示单元,该显示单元具有至少一个显示器,特别是3D屏幕和/或3D眼镜。例如,3D眼镜可以与3D显示屏结合使用。然而,3D眼镜具有自己的显示器也是已知的。这种显示单元被称为HMD(头戴式显示器)。根据本公开的方法可以使用这种装置。
优选地,该显示器适于使用两个观测通道的图像数据以立体模式(3D回放)进行表示,并且还适于仅使用一个观测通道的图像数据以单一模式(2D回放)进行表示。
总体上,至少在某些实施例中,仪器可以在各种全局模式下操作。在示例性设计中,存在四个全局操作模式。
在第一全局模式下,仪器可以根据需要至少在第一表示模式(立体表示)和第二表示模式(单一表示)下操作,以便在可能的情况下实现立体表示,以及需要的话在没有立体表示的区域中实现包括图像竖立的单一表示。不言而喻的是,至少在示例性实施例中,也可以想到根据本公开的过渡模式。
在第二全局模式下,仪器可以在第二表示模式(单一表示)下操作,其中执行图像竖立。在示例性实施例中,这意味着在该模式下不使用立体表示。
在第三全局模式下,仪器也可以在单一表示模式(仅一个视场的表示)下操作。然而,第三全局模式不包括矫直。在示例性实施例中,这意味着在该模式下不使用立体表示。
在第四全局模式下,仪器可以在第一表示模式(立体表示)下操作。在示例性实施例中,这不包括图像竖立。在示例性实施例中,这意味着在该模式下不使用单一表示。
不言而喻的是,某些实施例涉及使用全局模式中的两种、三种或四种。
本公开的目的还通过一种包括程序代码的计算机程序来实现,该计算机程序被布置为当在成像系统的控制装置上执行该计算机程序时,使得成像系统执行本文所述的实施例中的一个所述的方法的步骤。
应当理解,在不脱离本发明范围的情况下,本发明的上述特征和以下将要解释的特征不仅可以以相应指定的组合方式应用,还可以以其他组合方式应用或单独地应用。
附图说明
通过以下参照附图进行的对多个示例性实施例的描述公开了本发明的其他特征和优点,其中:
图1是内窥镜形式的观测仪器的分解后向立体图;
图2是图1所示仪器的分解侧向局部图;
图3是外窥镜形式的观测仪器的前向立体图;
图4是图3所示仪器的分解侧向局部图;
图5是具有内窥镜形式的观测仪器的成像系统的简化示意图;
图6是具有立体功能的成像系统的简化示意图;
图7是用于立体观测的图像采集单元的前视图;
图8是根据图7的、相比于图7处于转动表示的图像采集单元的另一视图;
图9至图14是示出了显示模式和观测仪器的当前转动定向之间的关系的几个简化示意图;
图15是示出了立体表示期间的图像合成的简化示意图;
图16是根据图15的布置的另一图示,示出了当转动180°时的图像合成;
图17是示出了第一表示模式和第二表示模式之间的切换的另一简化示意图;
图18是示出了利用观测仪器的立体观测方法的实施例的示意性简化框图;并且
图19是示出了利用观测仪器的立体观测方法的另一实施例的另一示意性简化框图。
具体实施方式
图1示出了以内窥镜12形式的观测仪器10的示例性实施例的立体图。图2从侧面示出了相应的局部视图。观测仪器10示例性地设计为立体内窥镜12。内窥镜12被配置为观测身体的内部。
内窥镜12和类似的观测仪器10的医疗和非医疗(技术)应用是众所周知的。内窥镜12包括轴14,轴14限定了纵向轴线16。例如,轴14包括远端和近端。在本公开的上下文中,远端是背离观测者(仪器的操作者)并且面向观测对象的一端。此外,在本公开的上下文中,近端是背离观测对象并且面向观测者(仪器的操作者)的一端。
内窥镜12在轴14的近端处包括壳体20。操作者可以在壳体20的区域中抓握并引导内窥镜12。当用作用于观测身体内部的医学仪器10时,仪器10的轴14可以至少部分地插入到自然或人造的身体孔口中。
壳体20例如包括操作元件22和连接件24、26。连接件24、26例如涉及供电线、信号线、照明连接件以及在医疗过程期间所需的用于液体或气体的连接件。
图2示出了仪器10被示例性地设计为倾斜视角式内窥镜12。在轴14的远端处,示出了具有视锥/视场32的图像采集单元30。视场32和/或其中心(轴线34)相对于纵向轴线16是倾斜的。倾斜角度可以为30°、45°、60°等。也可以设想更大或更小的倾斜角度。具有可调节的视角方向(可调节的倾斜角度)的倾斜视角式内窥镜12也是已知的。轴线34示例性地布置为图像采集单元30的传感器表面的法线。
此外,在图2中,标记为36的双箭头示出了仪器10围绕轴14的纵向轴线16的转动运动。这样的运动可以被称为滚动运动。因此,在该示例性实施例中,纵向轴线16是滚动轴线。根据箭头36的运动还使得图像采集单元30转动,该图像采集单元30相对于纵向轴线16是倾斜的。因此,即使不以其它方式移动仪器10,这种滚动运动也允许观测到很大范围的对象场。
图3和图4示出了另一观测仪器50,该观测仪器50被设计为外窥镜52。例如,仪器50是立体外窥镜52,该立体外窥镜52包括具有纵向轴线56的轴54。外窥镜52在轴54的近端处包括具有控制元件62的壳体60。此外,连接件64、66形成在壳体60上,尤其是形成在壳体60的近端处。操作者还可以在壳体60的区域中持握外窥镜52,并由此引导和定位外窥镜52。还可以设想的是,可以将外窥镜52安装在三脚架或类似物上。这可以是被动三脚架(不提供机动化调节)或者主动操纵器(可与机器人相比)。然而,也可以设想用作手持式/手引导式仪器50。
仪器50在轴54的远端处包括具有图像采集单元70的观测头68。在示例性实施例中,图像采集单元70包括视场和/或视锥72,该视场和/或视锥72的轴线由74表示。在图3和图4所示的示例性实施例中,轴线74大致垂直于沿着轴54的纵向轴线56对准。轴线74是图像采集单元70的传感器表面的法线,但这不应理解为是限制性的。轴线74也可以是图像采集单元70的光学装置的光学轴线,而不管图像传感器如何对准。
此外,在图4中,工作距离用78表示。不言而喻的是,相对于仪器50的其他尺寸的工作距离78不必一定按真实比例示出。通常,与根据图1和图2的内窥镜12相比,根据图3和图4的外窥镜52被配置为从外部(身体外部)来观测对象(患者、技术对象)。在这一方面,外窥镜类似于诸如显微镜的其他观测仪器。
在图4中,76还指示图像采集单元70的转动运动/滚动运动。可以设想将外窥镜52布置为使得图像采集单元70可以绕轴线74转动。在倾斜视角式仪器的情况下,可以给出不同的转动轴线。当根据图3和图4设计时,图像采集单元70可以在观测头68中转动。因此,外窥镜52没有在整体上转动。对于转动76而言,一方面可以提供手动操作,另一方面可以提供机动操作。
外窥镜的工作距离78通常明显大于内窥镜的工作距离。工作距离78可以例如覆盖从100mm(毫米)到500mm的范围。然而,这不应理解为是限制性的。通常,外窥镜还具有足够大的景深,该景深明显大于内窥镜的景深。例如,景深可以包括至少为5mm,优选地至少为10mm,更优选地至少为20mm的范围。然而,这也不应理解为是限制性的。
例如,提供了具有焦点调节的外窥镜52。例如,提供了具有20mm的固定景深的内窥镜12。换句话说,内窥镜和外窥镜都可以装配有用于调节焦点深度的装置。然而,也可以设想具有固定景深的光学装置。
对于利用内窥镜12的观测以及利用外窥镜52的观测而言,如果可以进行立体成像,则是有利的。立体视图允许景深印象(空间印象),并有助于在观测范围内使用其他仪器进行导引。
因此,具有3D功能(在立体观测的意义上)的内窥镜12和外窥镜52都是已知的。通常,这样的仪器包括彼此偏移的两个图像传感器或具有相应偏移的传感器区域的立体传感器。通过两个观测通道使立体观测成为可能,该两个观测通道具有两个间隔开的孔径,该两个间隔开的孔径适于利用右眼和左眼的立体视觉。
例如,对于立体表示而言,已知所谓的3D监测器,该3D监测器通过使用特定装置(3D眼镜)来实现立体效果。此外,已知所谓的HMD(头戴式显示器),即观测者自身佩戴的具有立体效果的视频眼镜。
然而,当仪器滚动并且立体基线(两个传感器/两个传感器表面彼此偏移的假想线)相对于水平参考线变化时,立体观测和立体表示达到其极限。当期望图像竖立时尤其如此。水平参考线通常由显示单元的布置来限定,并且最终由人眼的布置(眼距、视差)来限定。
因此,如果图像采集单元的立体基线不再至少大致对应于水平参考线,则在保持图像竖立的同时不再能够保证足够高质量的立体表示。至少在尝试“人为地”保持输出图像的定向时是这种情况。可以在没有竖立图像的情况下进行立体观测,但是随着转动角度的增加,未竖立图像中的定向变得更加困难。因此,在立体观测仪器中不易于实现针对(数字)图像竖立的措施。3D图像通常基于两个观测通道形成。图像竖立(数字/电子的或通过相应的致动器来使相应的传感器转动)现在可以使在第一通道和第二通道中的相应的单个图像转动,以便使该相应的单个图像竖立。然而,在较大角度范围的情况下,水平参考线和立体基线的位置之间可能不再具有充分对应的关系。本公开涉及该问题领域。
参照图5和图6,通过两个示意性的简化框图示出了成像系统100的示例性实施例,其中该成像系统100具有立体内窥镜112的形式的观测仪器110。内窥镜112包括轴114,轴114限定了纵向轴线116。在轴114的远端处存在图像采集单元130。在根据图5的示例性实施例中,图像采集单元130相对于轴114倾斜地定向,使得轴线134相对于纵向轴线116是倾斜的。内窥镜112在轴114的近端处还包括壳体120。图像采集单元130以观测对象140为目标。图5中弯曲的双箭头136示出了仪器112围绕纵向轴线116的滚动运动。
在示例性实施例中,壳体120还包括传感器单元142,该传感器单元142例如包括第一传感器144。例如,第一传感器144是一个或多个加速度传感器。以这种方式,可以检测仪器110的位置/位置的变化。另外,传感器单元142配备有第二传感器146,例如陀螺仪。传感器144、146可以被称为位置传感器。因此,传感器单元142可以包括绝对测量位置传感器146和相对测量位置传感器144。应当理解,传感器单元142也可以设置在仪器112上的不同位置处,例如靠近图像采集单元130。在无需费力的情况下可以想到具有至少一个位置传感器144、146的传感器单元142的其他配置。
还可以想到在观测仪器110的外部实施传感器单元142或位置传感器144、146中的至少一个。例如,还可以通过外部传感器(光学或电磁跟踪标记器等)来实现对仪器110的位置/定向的监测。原则上也可以想到至少一个位置传感器的数字实现。这可以例如包括图像处理过程(模式识别、运动跟踪等)。在无需费力的情况下可以想到用于检测仪器和/或图像采集单元的定向、尤其是当前滚动位置的组合布置。
仪器110经由信号线(有线或无线地)联接到具有至少一个控制单元152的控制装置150。控制装置150也可以至少部分地集成到仪器110中。然而,控制装置150也可以布置为单独的控制装置。控制装置150通常可以被设计为中心式或分散式/分布式控制装置。控制装置150被配置为从仪器110接收数据。该数据基于利用图像采集单元130采集的图像信息/图像信号。控制装置150被配置为用于数据处理,特别是用于处理和准备图像数据。
控制装置150的一个示例性实施例为所谓的相机平台,由申请人以名称“IMAGE1S”进行销售。通常,除了所述仪器(内窥镜或外窥镜)之外,立体观测系统还包括这样的相机平台和至少一个显示单元(例如3D监测器)。
在根据图5的设计中,控制装置150又经由信号线与用于立体回放的显示单元160(无线或有线地)联接。显示单元160示例性地被设计为监测器,尤其是3D监测器。不言而喻的是,在某些情况下,可能需要其他设备(例如合适的眼镜)来观看3D图像(立体图像)。显示单元160允许呈现观测对象140,参见标示所显示的图像的附图标记164。此外,在图5中,由166表示位置基准。位置基准166包括至少一个水平线或坐标系,再现图像162基于该至少一个水平线或坐标系来定向。在图像采集单元130、观测对象140和显示器162上的显示图像164之间具有适当定向的情况下,立体表示是可能的。
应当理解,还可以由适合与仪器110一起使用的光源或其他单元来补充图5所示的布置。
除了图5之外,图6示出了成像系统100的示例性实施例的其他设计特征。图像采集单元130形成在轴114的远端处。图像采集单元130包括第一图像传感器180和第二图像传感器182,该第一图像传感器180和第二图像传感器182在所示的示例性实施例中也位于轴114的远端处。然而,这不应理解为是限制性的。也可以想到具有近侧布置的图像传感器的实施例。
透镜组件184位于图像传感器180、182之前。透镜组件184例如包括盖玻璃186和具有孔径的光学单元188、190,该光学单元188、190与图像传感器180、182相关联。光学单元188、190限定了图像传感器180、182的相应的视场。两个图像传感器180、182中的每个与观测通道194、196关联。两个观测通道194、196中的一个可以被称为右通道,并且两个观测通道194、196中的另一个可以被称为左通道。因此,两个图像传感器180、182中的一个可以被称为右传感器,并且两个图像传感器180、182中的另一个可以被称为左传感器。
在图6所示的示例性实施例中,术语观测通道不一定是指光学观测通道。替代地,通道194、196通常被设计为用于向控制装置150传输图像数据的通道,该图像数据由右图像传感器180和左图像传感器182获取。控制装置150用于处理和准备图像数据。进一步地,在控制装置150的输出端处设置有两个输出通道200、202,这两个输出通道200、202也可以被称为右输出通道200和左输出通道202。如果经由两个输出通道200、202来提供图像信息(例如,右眼和左眼的视场),则可以控制合适的显示单元160来进行立体表示(3D显示)。图6示出了观测对象164的这种3D表示,观测对象164也相对于位置基准166对准。
图7和图8示出了具有两个图像传感器180、182的图像采集单元130的示例性实施例的正视图。在所示的示例性实施例中,图像采集单元130安装在仪器110的轴114中。然而,这不应理解为是限制性的。两个图像传感器180、182彼此间隔开适应于立体基线的距离216(例如,光学单元188、190的孔径之间的距离)。两个图像传感器180、182的相对位置进一步限定了传感器水平线218。如果两个图像传感器180、182的传感器水平线218与位置基准166一致(特别是与人造水平线一致),则可以进行竖立的3D表示。
图8示出了图像采集单元130相对于图7中的定向转动的状态。因此,(新)传感器水平线220相对于先前的传感器水平线218转动了一定角度222。然而,如果先前的传感器水平线218平行于位置基准166的人造水平线定向,则新的传感器水平线220不再会是这种情况。除了转动的基线216之外,还清楚的是存在由226标示的高度偏移。
图8中的转动/倾斜使得3D显示变得困难,特别是在转动的图像采集单元130的情况下期望图像竖立(即“竖立”表示的图像164)时。对于具有倾斜视角方向(例如,相对于轴114的纵向轴线,该纵向轴线也是滚动轴线)的仪器110更是这种情况。
本公开利用不同的表示模式解决了这些缺陷。在一方面,在可能的情况下,重点放在3D表示上。然而,如果由于图像采集单元的给定转动位置而导致3D表示似乎是无用的,则向观测者提供2D表示。在2D模式下,可以确保(数字)图像竖立。2D模式适用于以下应用:在所述应用中,观测者的视角下的视图的定向比3D模式下的立体观测更为重要。
在这种情况下,参照图9至图14。图9至图14参照角度标度230通过位置箭头232示出了观测仪器110的当前选择的转动定向。此外,图9至图14利用显示单元160示出了观测对象的再现图像164相对于位置基准166(例如,人造水平线)的结果表示和定向,其中设定利用控制装置150的图像处理是根据本公开的示例性实施例来进行的。不言而喻的是,图9至图14中的倾斜角度的表示仅是示例性的。也可以想到3D表示的较大或较小的范围。
转动角度标度230包括不同的范围240、242、244、246,其中范围240和244示例性地被分配给利用3D显示的第一表示模式。范围242、246与利用2D表示的第二表示模式相关联。各个范围240、242、244、246的大小是示例性的。在范围240、242、244、246之间,不同表示模式之间的过渡以切换角度来进行。
0°位置例如对应于图7所示的图像采集单元130的转动角度状态。在0°位置处,由两个传感器180、182和/或其上游的观测光学器件限定的水平线218对应于位置基准166的人造水平线(水平线)。由此可以输出观测对象164的3D图像。只要在期望的方向上显示观测对象164,即使没有额外的措施,也不需要图像竖立。
如果仪器110和/或图像采集单元130以较小的转动角度转动(参见图10),则仍然可以立体地再现观测对象164(3D再现)。尽管在水平线218和位置基准166之间不再存在完美的对准,但是图10中所示的转动角度所产生的偏差(例如参见图8)仍然是可以接受的。因此,仍然可以立体地显示观测对象164。
在图10中,观测对象164以范围240内的倾斜角度被显示出,该倾斜角度对应于角度标度230上示出的指针232的角度。这种倾斜(即省略了图像竖立)在一定范围内仍然是可以接受的。优点是可以保留3D功能。然而,也可以想到在第一表示模式(区域240、244)下使得在图像中示出的观测对象164竖立,类似于图9中的定向。这将具有图像竖立的优点。然而,在另一方面,这可能会伴随对3D表示的进一步减弱。在可接受的范围内,这是可以想到的。
另一方面,大量的示例性实施例考虑到观测对象164至少在范围240中不是竖立的。这在相对的范围244中也是可以想到的(与可能需要的翻转功能无关)。
在图10和图11的表示之间,存在从范围240到范围242的过渡。换句话说,图10示出了第一表示模式(3D)下的表示。图11示出了第二表示模式(2D)下的表示。如上面已经解释的,在第二表示模式下更容易实现电子图像竖立。
如果要在范围240、242之间的过渡处、在图11所示的转动角度位置下突然使观测对象164的图像竖立,则会出现明显的“跳跃”,例如相当于从观测对象164在图10中的表示到图12中的表示的直接顺序。替代地,在本公开的上下文中,至少在示例性实施例中,提出使观测对象164的图像从在第一表示模式到第二表示模式的过渡处转变的“定向”开始平稳且不突然地竖立。这种过渡运动使得观测者更容易接受两种表示模式之间的变化。换句话说,在两个定向(部分转动和竖立)之间进行了再现图像的插补。
类似地,当从第二表示模式切换到第一表示模式时,可以想到校正2D表示下的图像竖立,以便期望在进入第一表示模式时平滑地过渡到再现的观测对象164的预期倾斜。在此,图像在直立定向和部分转动定向之间进行插补。参见以下在图13和图14中进一步描述的过渡。
图12示出了在范围242内可以实现图像竖立,在范围242内使用第二表示模式。可以以基本已知的方式对观测对象164的2D图像进行图像竖立。因此,数字图像竖立是已知的。此外,通过移动图像传感器的图像竖立是已知的。
指针232在图12中处于范围242中的极限角度处。在示例性实施例中,极限角度为大约90°。在也被分配给第二表示模式的相对的范围246中,另一极限角度为大约270°。至少当仪器朝向极限角度转动时,即转动大约90°或270°时,示例性实施例涉及完全的图像竖立。在极限角度中,观测对象164相对于位置基准完美地或至少近似地对准。在切换角度处(在范围240和范围242之间的过渡处,参见图11)的定向和根据图12的极限角度处的定向之间,可以根据转动角度来进行观测对象164的逐步竖立。
基于图12中的定向,图13示出了其中指针232仍处于范围242中但是正在接近范围244的状态。由此,从第二表示模式到第一表示模式的过渡即将到来。因此,在图13中,当进入第一表示模式时,所显示的观测对象164的定向已经适应于期望的定向。
图14示出了这种状态。仪器110和/或图像采集单元130转动了几乎180°。尽管如此,现在又可以进行3D显示了。此外,再现的观测对象164相对于初始布置(图9)至少竖直地对准。基于仪器和/或图像采集单元130的给定方向,在图14中发生所谓的图像翻转,一方面包括使单个图像转动180°,另一方面包括互换两个通道。
总体而言,即使存在仪器和/或图像采集单元的滚动运动,观测者也可以获得具有可理解定向的容易理解的图像。如果在给定条件下3D表示似乎是可行的,则可以始终使用3D表示。可以在3D和2D之间自动地切换。也可以想到手动切换,至少作为附加选项。
不言而喻的是,图9至图14的图示顺序涉及具有直视角方向的仪器。然而,以上陈述也可以转用到具有倾斜/偏斜视角方向的仪器。不言而喻的是,具有倾斜视角方向的仪器的视场以这种方式移动,使得当仪器在转动时,在视场中出现各个观测对象。然而,关于定向,以上解释可以应用于具有倾斜视角方向的仪器。至少在使用除观测仪器之外的其他仪器(钳子、镊子等)并且这些其他仪器至少部分地出现在视场中时,会产生益处。
使用图15和图16的示意性高度简化的表示来描述当仪器110转动180°时的上述图像翻转。在图15和图16中,仪器110处于范围240、244中的一个中,在范围240、244中3D表示是有用且期望的。在图15中存在大致对应于根据图9的状态的状态。两个传感器180、182中的每个分别获取两个通道194、196的图像。控制装置150包括块体,该块体示意性地将两个通道194、196联接到输出通道200、202。在根据图15的配置中,两个传感器180、182所获取的图像已具有期望的定向。因此,两个传感器180、182的仅有的信号必须结合以实现针对再现的观测对象164的3D表示。
相比之下,根据图16中的配置,由于同时发生的180°转动,两个传感器180、182倒置地捕获图像。然而,如果仅转动两个通道194、196的图像数据(比较块体250、252),则第一通道和第二通道仍将被交换。因此,在根据图16的示例性实施例中,在一方面建议使两个传感器180、182的两个(局部)图像转动以使相应的单个图像竖立。此外,在该示例性实施例中,在处理和向输出通道200、202转发两个通道194、196的信号的过程中,两个通道194、196的信号被交换(交叉互换),如方框254所示。以这种方式,可以实现图像翻转(也称为180°翻转)。在范围244中,即使仪器110和/或图像采集单元130转动了180°,也可以在3D模式下实现近似竖立的显示。靠近180°的位置,3D显示也是期望的。
应当理解,块体250、252、254可以是控制装置150的功能块体。块体250、252、254可以以软件和/或硬件来实现。块体250、252、254可以被设计为具有特定单独功能的单独块体或通用功能块体。
图9至图16中所示的仪器110的功能可以由控制装置150在指定操作模式下控制。在示例性实施例中,具有控制装置150的仪器110还能够具有其他操作模式。
第一操作模式例如包括在纯2D模式下操作仪器110,即没有立体表示并且没有图像竖立。因此,再现的图像将类似于仪器110和/或图像采集单元的转动而转动。第二操作模式例如包括仪器110在具有立体表示的立体模式下的操作。这意味着省略了图像竖立。
第三操作模式涉及在2D模式下操作仪器110,以及相对于水平参考线进行连续地竖立。因此,理想地,当仪器转动时,显示图像的转动定向不会改变。为了完整起见,应当注意的是,对于倾斜视角的仪器,当仪器转动时,图像内容(视野)会发生变化。然而,显示图像保持其转动定向。第四模式是立体表示(第一表示模式)和2D表示(第二表示模式)的组合操作,其中至少在第二表示模式下,图像至少部分地是竖立的。
参照图17,参照角度标度330示出了第一表示模式和第二表示模式之间的过渡以及在第二表示模式下构成图像竖立的一部分的可想到的图像变换(插补),其中该角度标度330原则上对应于根据图9至图16的角度标度230。角标盘330表示了一个完整的圆,该完整的圆对应于围绕滚动轴线的完整转动。设置了被分配给第一表示模式的子范围340、344。此外,设置了被分配给第二表示模式的子区域342、346。切换角度350、352、354、356被分配为相应的过渡。切换角度350、352、354、356例如位于45°、135°、225°和315°处。在图17中未示出的可替代的示例性实施例中,切换角度350、352、354、356位于30°、150°、210°和330°处。
当在第一表示模式(范围340、344)和第二表示模式(范围342、346)下转动时,指针360指示仪器110和/或仪器110的图像采集单元130的转动位置。图17还示出了第二表示模式的相应子范围342、346中的极限角度362、364。例如,极限角度362、364分别位于子范围342、346的中间处,因此极限角度362在90°处。例如,极限角度364在270°处。
图17还包含相应的图370,该图370示出了展开的角度标度330。轴线372描述了仪器110和/或仪器110的图像采集单元130的当前转动角度/滚动角度,并由此对应于转动期间指针360的相应位置。另一轴线374描述了所产生的倾斜角度,即显示图像的所产生的转动定向。
在图17所示的示例性实施例中,子范围340、344覆盖0°+/-45°和180°+/-45°的范围。在这些范围内,可以想到立体表示,仪器可以在第一表示模式下操作。在第一表示模式下,没有提供广泛的电子图像竖立。因此,显示图像相对于位置基准(人造水平线)的倾斜与仪器110和/或仪器110的图像采集单元130的转动角度成比例甚至成正比。这在图370中由380标示的线示出,相当于0°和45°之间、135°和225°之间以及315°和360°之间的部分。因此,如果仪器110相对于位置基准转动了30°,则再现图像也转动30°。
在135°和225°之间的部分中,仪器110在其转动定向上基本上是倒置的,从而可以类似于图16中所示的示例性实施例来调节再现图像,以允许实现静态准竖立。两个观测通道的图像然后也倒置地转动,使得输出图像至少近似地具有期望的定向。
在其余的子区域342、346中,使用基于一个观测通道的2D表示,相当于45°和135°之间以及225°和315°之间的部分。在第二表示模式下,可以进行电子图像竖立。这允许调节定向和/或允许使显示图像的定向与仪器的当前转动角度解除关联。然而,在示例性实施例中,省略了在第二表示模式下将输出图像立即且恒定地竖立至理想定向。这样的理想定向例如对应于图370中的轴线374上的0°位置。这种功能会具有以下后果:图像在经历切换角度350、352、354、356中的一个时突然立即地转动,在示例性实施例中为相对于0°偏转转动45°。尤其是在相应的切换角度350、352、354、356的附近操作时,这可以视为缺点。
为了消除再现图像的这种“跳跃”,提出在第二表示模式下根据角度对图像的定向进行插补,使得一方面可以实现图像中足够稳定的竖立和良好的定向,并且另一方面最小化或避免了转动角度的跳跃。
曲线382、384、386示出了在第二表示模式下显示图像根据仪器110和/或图像采集单元130的实际转动定向的示例性角度定向。这些曲线/线382、384、386布置在第二表示模式的子区域342、346中。曲线382、384、386在第二表示模式下提供了第一表示模式的较远子区域340、344之间的过渡,特别是没有角度跳跃的过渡。
曲线382与仪器110的当前转动角度基本上成比例和/或成反比例。例如,在图370中,线性部分在切换角度350处的45°位置和切换角度352处的135°位置之间延伸。在仪器110的转动角度增加时,显示图像随着转动角度增加而沿相反的方向转动。类似地,在示例性实施例中,在切换角度354和356之间,即在225°和315°之间,图像沿相反的方向转动。根据图17的示例性实施例中的边界情况是在极限角度362、364处(即在仪器的90°和270°转动位置处)穿过0°位置。这样,利用角度范围340、342、344、346相对于竖直线的对称设计,特别是镜面对称设计,可以在第二表示模式的相应子范围342、346的近似中间处产生显示图像的完全竖立。
曲线384原则上是基于曲线382的走向。然而,曲线384的走向遵循一目标,该目标在于不仅仅在极限角度362、364处直接执行图像的完全竖立,而且还要在极限角度362、364的周围(示例性地为大约+/-20°)执行图像的完全竖立。这产生了一范围,在该范围中,显示图像是足够稳定的并且没有转动或仅稍微转动。然而,曲线384包含允许平滑过渡到第一表示模式的斜坡。
曲线386示例性地被设计为样条曲线(多项式曲线),其中基本走向基于曲线384。这样,可以避免沿曲线通过时的“扭结”。
应当理解,第二表示模式的曲线382、384、386可以与第一表示模式的曲线380结合,以在第一表示模式和第二表示模式下实现期望的行为。
参照图18,示意性框图用于示出立体观测方法的示例性实施例,特别是具有图像竖立、至少部分图像竖立的立体观测方法的示例性实施例。
该方法包括第一步骤S10,该第一步骤S10涉及提供具有立体功能的观测仪器。该仪器可以是立体内窥镜或立体外窥镜。该仪器通常配备有图像采集单元,该图像采集单元可以采集第一图像数据和第二图像数据。为此,图像采集单元可以包括第一传感器和与第一传感器偏离的第二传感器。这样就形成了(右和左)两个观测通道。因此,可以结合第一图像数据和第二图像数据以进行立体观测。然而,这对仪器转动使得仪器的立体基线从(理想的)水平参考线变化时期望的图像竖立提出了挑战。
在这之后是步骤S12,该步骤S12包括位置监测和/或对仪器和/或仪器的图像采集单元的转动角度位置(滚动位置)的检测。检测到的位置和/或检测到的转动指示图像采集单元的给定定向是否使3D表示在没有图像竖立的情况下是有用的,或者指示是否应当仅使用两个观测通道中的一个来切换到2D表示,以便使用电子图像竖立。
根据检测到的转动角度,可以进入到步骤S14,在步骤S14中第一表示模式被激活。第一表示模式包括3D回放。可替代地,可以进入到步骤S16,在步骤S16中第二表示模式被激活。第二表示模式包括2D表示。
在步骤S14之后是步骤S18,步骤S18包括使用两个观测通道(右和左)的表示,以进行具有深度印象的3D表示。至少在该方法的示例性实施例中,旨在使观测对象的图像在第一表示模式下不是持续竖立的。因此,显示图像随着仪器的转动而一起转动。然而,由于第一表示模式仅在有限的转动角度范围内是可使用的,因此粗略的图像定向仍是有效的,使得图像中的定向是可行的。然而第一表示模式具有立体观测的优点。
通常,第一表示模式还包括仪器和/或仪器的图像采集单元转动大约180°的状态。立体基线(例如由观测光学器件的孔径的位置和/或定向限定的)然后再次平行于或几乎平行于水平参考线。但是为了不使显示图像倒置,执行所谓的180°翻转。例如,这包括两个通道的180°转动和互换(右与左,反之亦然)。以这种方式,180°转动状态下的准竖立可以与3D表示一起实现。然而,没有连续的、紧密跟随的图像竖立。
然而,如果在第二表示模式下执行根据步骤S16的方法,则在接下来的步骤S20中仅提供和/或使用两个观测通道中的一个来进行表示。这具有的优点在于因为仅准备输出单一信号,所以不需要再考虑立体基线。
因此,待输出的图像可以是数字/电子竖立的。在步骤S22中执行图像竖立。取决于仍检测到的转动角度位置,现在可以提供跟随的和/或连续的图像竖立。对于观测者来说,当仪器转动时,图像的总体定向不会改变或仅在限定的范围内改变。
在步骤S24中以图像的表示来结束该方法,在示例性实施例中,图像的表示或者是没有即时图像竖立的(除了仪器的倒置定向外)3D表示,或者是具有图像竖立的2D表示。
参照图19,另一框图用于描述立体观测方法的示例性实施例。原则上讲,该方法也可以被设计为并且被称为用于控制成像系统的方法。
该方法从步骤S50开始,该步骤S50例如涉及成像系统的激活。在这之后是步骤S52,该步骤S52涉及对仪器和/或仪器的图像采集单元的当前转动位置(滚动位置)的检测。为此,可以设置至少一个传感器。在步骤S54中,所述检测允许监测检测到的角度。在步骤S56中,确定仪器和/或仪器的图像采集单元当前位于三个(总的)角度范围中的哪个角度范围内。在此,例如考虑相对于水平参考线的位置,其中立体基线可以用作内部仪器参照物。
取决于角度范围,仪器随后可以在第一表示模式(步骤S58)、第二表示模式(步骤S60)或第三表示模式(步骤S62)下操作,该第三表示模式也被称为过渡模式。
步骤S58针对使用两个图像通道的3D表示。步骤S60针对仅使用一个图像通道的2D表示,并且优选地还针对连续的图像竖立。步骤S62针对在第一表示模式和第二表示模式之间提供过渡。
在步骤S58之后是步骤S64,步骤S64包括适用于进行3D观测的第一表示模式的图像处理。步骤S64例如包括所谓的180°翻转,所谓的180°翻转考虑了仪器的180°转动。当仪器和立体基线一起转动了大约180°时,基本上可以再次进行3D观测。为了使图像在观测者看来是竖立的,需要进行图像处理,图像处理在步骤S64中执行。至少在该方法的示例性实施例中,除了可能的180°翻转之外,不旨在在第一表示模式下数字地竖立图像。
在步骤S60之后是步骤S66,步骤S66包括适用于第二表示模式的图像处理。图像被设置为进行2D表示。至少在一些示例性实施例中,2D表示包括连续的图像竖立,使得即使仪器在转动,再现图像在观测者看来也是竖立的。图像竖立可以具有静态目标,即恰好一个目标定向。然而,还可以根据转动角度来执行图像竖立,特别是在第一表示模式和第二表示模式之间切换时避免较大的跳跃。
在步骤S62之后是步骤S68,步骤S68包括适用于过渡模式的图像处理。过渡模式的主要目的在于在第一表示模式和第二表示模式之间提供平滑的过渡。例如,在第一表示模式下显示两个略微偏移的视场(立体)和在第二表示模式下仅显示一个图像(2D)(即仅一个观测通道的数据)之间的过渡。可以想到在立体模式下在一定时间段内(例如,限定的帧数)使两个视场中的一个渐弱或渐显,从而使得两个视场中的另一个成为主导图像。以这种方式,2D和3D之间的过渡是平稳的。这样,避免了连续帧之间的跳跃变化。
在步骤S68中,对竖立进行调节和/或修改,以使对于观测者而言,图像在不同模式之间平稳地变化,其中,代替“跳跃”,基于插补的平缓变换/转动是值得注意的,这在观测时使感知更为舒适。
在随后的步骤S70中,考虑相应的模式来进行表示。如果选择了相应的操作模式,则在仪器的操作期间连续地执行监测(步骤S54)。过渡模式S62允许根据步骤S58的第一表示模式和根据步骤S60的第二表示模式之间的视觉上舒适的过渡。
该方法在步骤S72处结束,步骤S72例如包括停用成像系统。
Claims (19)
1.一种立体成像系统,特别是医学成像系统,包括:
-观测仪器(10、50、110),所述观测仪器(10、50、110)包括图像采集单元(30、70、130),所述图像采集单元(30、70、130)用于检测第一图像数据和第二图像数据,所述第一图像数据和所述第二图像数据能够结合以用于立体观测,
-至少一个位置传感器(144、146),所述至少一个位置传感器(144、146)用于检测所述观测仪器(10、50、110)相对于位置基准(166)的定向,特别是转动定向,以及
-控制装置(150),所述控制装置(150)能够根据所述观测仪器(10、50、110)的定向在第一表示模式和第二表示模式下操作,
其中,所述控制装置(150)被配置为输出图像信号,在所述第一表示模式下,所述图像信号包括基于所述第一图像数据和所述第二图像数据的立体信号,并且在所述第二表示模式下,所述图像信号包括基于所述第一图像数据或所述第二图像数据的单一信号,并且
其中,所述控制装置(150)被配置为在所述第二表示模式下根据所述定向来使通过所述图像信号被输出的图像竖立。
2.根据权利要求1所述的立体成像系统,其中,所述控制装置(150)适于在所述第二表示模式下将输出图像定向为,使得所显示的图像相对于显示水平线的定向不会变化或在限定的极限内变化。
3.根据权利要求1或2所述的立体成像系统,其中,所述控制装置(150)适于在所述第一表示模式下以非竖立状态输出待输出的图像,使得所述观测仪器(10、50、110)的定向的变化与所述待输出的图像的定向的变化相关联。
4.根据权利要求1至3中的一项所述的立体成像系统,其中,在所述第一表示模式下,所述控制装置(150)能够在所述观测仪器(10、50、110)的第一转动角度范围中操作,并且其中,在所述第二表示模式下,所述控制装置(150)能够在所述观测仪器(10、50、110)的第二转动角度范围中操作。
5.根据权利要求4所述的立体成像系统,其中,所述第一转动角度范围包括彼此偏移180°的两个部分。
6.根据权利要求5所述的立体成像系统,其中,所述控制装置(150)适于使所述第一图像信号和所述第二图像信号互换,并且使所述第一图像信号和所述第二图像信号转动大约180°。
7.根据权利要求4至6中的一项所述的成像系统,其中,所述第二转动角度范围包括所述观测仪器(10、50、110)的相对于所述位置基准(166)转动90°的至少一个位置。
8.根据权利要求4至7中的一项所述的立体成像系统,其中,在其中0°指示所述观测仪器(10、50、110)相对于所述位置基准(166)的理想定向的角度标度方面,所述第一转动角度范围包括第一部分,所述第一部分覆盖具有第一极限和第二极限的范围,其中所述第一极限位于310°至350°之间,并且所述第二极限位于10°至50°之间,并且其中,所述第一转动角度范围优选地包括第二部分,所述第二部分相对于所述第一部分偏移180°。
9.根据权利要求1至8中的一项所述的立体成像系统,其中,所述控制装置(150)还能够操作以在在所述第一表示模式和所述第二表示模式之间进行切换时实现调适性的过渡,并且其中,所述调适性的过渡优选地包括在所述第一表示模式和所述第二表示模式之间的切换角度处且在所述第二表示模式下所述单一信号的定向和所述第一表示模式下所述立体信号的定向之间的调适。
10.根据权利要求1至9中的一项所述的立体成像系统,其中,所述控制装置(150)还被配置为在所述第二表示模式下根据所述转动角度来定向输出图像,使得优选地在所述第一表示模式和所述第二表示模式之间产生低跳跃的过渡或无跳跃的过渡。
11.根据权利要求10所述的立体成像系统,其中,在所述第二表示模式下,所述控制装置(150)根据非竖立状态和竖立状态之间的转动角度对所述待输出的图像进行插补。
12.根据权利要求10或11所述的立体成像系统,其中,所述控制装置(150)被配置为在所述第二表示模式下,在切换角度与所述观测仪器在所述第二表示模式下的极限角度或极限角度范围之间,使待输出的图像竖立,其中所述切换角度与所述第一表示模式和所述第二表示模式之间的过渡相关联,并且特别地,在所述切换角度中,所述图像采取对应于所述切换角度的定向。
13.根据权利要求12所述的立体成像系统,其中,在其中0°指示所述观测仪器(10、50、110)相对于所述位置基准(166)的理想定向的角度标度方面,所述切换角度位于25°至50°之间,优选位于30°至45°之间。
14.根据权利要求12或13所述的立体成像系统,其中,所述控制装置(150)适于在所述第二表示模式下,使待输出的图像在所述极限角度或极限角度范围与另一切换角度之间转动,使得当所述观测仪器朝向所述另一切换角度转动时,所显示的图像的定向适应于所述另一切换角度。
15.根据权利要求14所述的立体成像系统,其中,相对于其中0°描述所述观测仪器(10、50、110)相对于所述位置基准(166)的理想定向的角度标度,所述另一切换角度位于130°至155°之间,优选位于135°至150°之间,并且其中所述极限角度为90°。
16.根据权利要求1至15中的一项所述的立体成像系统,其中,所述观测仪器(10、50、110)被布置为具有倾斜视角方向的仪器。
17.根据权利要求1至16中的一项所述的立体成像系统,其中,所述观测仪器(10、50、110)携带所述图像采集单元(30、70、130),并且其中,所述图像采集单元(30、70、130)包括立体图像传感器或相对于彼此偏移的两个单独的传感器(180、182)。
18.一种立体观测方法,包括以下步骤:
-提供观测仪器(10、50、110),所述观测仪器(10、50、110)包括图像采集单元(30、70、130),所述图像采集单元(30、70、130)用于检测第一图像数据和第二图像数据,所述第一图像数据和所述第二图像数据能够结合以进行立体观测,
-检测所述感测仪器(10、50、110)相对于位置基准(166)的定向,特别是转动定向,以及
-根据所述观测仪器(10、50、110)的定向在第一表示模式或第二表示模式下操作成像系统(100),操作成像系统包括:
在所述第一表示模式下,输出图像信号,所述图像信号包括基于所述第一图像数据和所述第二图像数据的立体信号,
在所述第二表示模式下,输出包括单一信号的图像信号,以及
至少在所述第二表示模式下,根据检测到的定向使输出的图像竖立。
19.一种计算机程序,所述计算机程序包括程序代码,所述计算机程序适于在所述计算机程序在所述成像系统(100)的控制装置(150)上被执行时,使根据权利要求1至17中任一项所述的成像系统执行根据权利要求18所述的方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019114817.0A DE102019114817B4 (de) | 2019-06-03 | 2019-06-03 | Bildgebungssystem und Verfahren zur Beobachtung |
DE102019114817.0 | 2019-06-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112022056A true CN112022056A (zh) | 2020-12-04 |
Family
ID=70918341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010497115.1A Pending CN112022056A (zh) | 2019-06-03 | 2020-06-03 | 成像系统和观测方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11678791B2 (zh) |
EP (1) | EP3747345B1 (zh) |
JP (2) | JP7178385B2 (zh) |
CN (1) | CN112022056A (zh) |
DE (1) | DE102019114817B4 (zh) |
ES (1) | ES2957696T3 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11147436B2 (en) | 2019-06-20 | 2021-10-19 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
US11627243B2 (en) * | 2021-07-23 | 2023-04-11 | Phaox LLC | Handheld wireless endoscope image streaming apparatus |
DE102021131134A1 (de) | 2021-11-26 | 2023-06-01 | Schölly Fiberoptic GmbH | Stereoskopisches Bildaufnahmeverfahren und stereoskopische Bildaufnahmevorrichtung |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994013190A1 (de) * | 1992-12-11 | 1994-06-23 | Karl Storz Gmbh & Co. | Endoskop insbesondere mit stereo-seitblickoptik |
CN102076259A (zh) * | 2008-04-26 | 2011-05-25 | 直观外科手术操作公司 | 用于手术机器人的放大立体可视化 |
CN102170835A (zh) * | 2008-09-30 | 2011-08-31 | 直观外科手术操作公司 | 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统 |
CN106102549A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于控制成像器械定向的系统和方法 |
US20170163972A1 (en) * | 2015-12-03 | 2017-06-08 | Karl Storz Gmbh & Co. Kg | Observation Device Comprising A Control Unit |
US20180270466A1 (en) * | 2017-03-14 | 2018-09-20 | Karl Storz Se & Co. Kg | Constant Horizon 3D Imaging System and Related Method |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5359712A (en) | 1991-05-06 | 1994-10-25 | Apple Computer, Inc. | Method and apparatus for transitioning between sequences of digital information |
JP3504681B2 (ja) | 1993-03-19 | 2004-03-08 | オリンパス株式会社 | 電子式内視鏡装置 |
CH689968A5 (de) | 1993-07-30 | 2000-02-29 | Zeiss Carl Fa | Beobachtungs- und/oder Dokumentationseinrichtung mit vorgeschaltetem Endoskop sowie Verfahren zu deren Betrieb. |
US5545120A (en) | 1995-01-18 | 1996-08-13 | Medical Media Systems | Endoscopic viewing system for maintaining a surgeon's normal sense of kinesthesia during endoscopic surgery regardless of the orientation of the endoscope vis-a-vis the surgeon |
DE19613431B4 (de) | 1995-04-15 | 2008-01-03 | Carl Zeiss | Operationsmikroskop mit einem stereo-endoskopischen Vorsatzsystem sowie Verfahren zu dessen Betrieb |
JP3782532B2 (ja) | 1997-01-07 | 2006-06-07 | オリンパス株式会社 | 立体電子内視鏡 |
US6191809B1 (en) | 1998-01-15 | 2001-02-20 | Vista Medical Technologies, Inc. | Method and apparatus for aligning stereo images |
US6799065B1 (en) | 1998-12-08 | 2004-09-28 | Intuitive Surgical, Inc. | Image shifting apparatus and method for a telerobotic system |
US6522906B1 (en) | 1998-12-08 | 2003-02-18 | Intuitive Surgical, Inc. | Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure |
JP2000180735A (ja) | 1998-12-17 | 2000-06-30 | Asahi Optical Co Ltd | 電子内視鏡装置 |
US7037258B2 (en) | 1999-09-24 | 2006-05-02 | Karl Storz Imaging, Inc. | Image orientation for endoscopic video displays |
DE19955041C2 (de) | 1999-11-16 | 2002-11-07 | World Of Medicine Lemke Gmbh | Bildaufnahmevorrichtung für den Einsatz im Sterilbereich zur visuellen Überwachung und Dokumentation einer chirurgischen Operation |
JP4477174B2 (ja) | 1999-11-19 | 2010-06-09 | オリンパス株式会社 | 被検体観察装置 |
DE10116056B4 (de) | 2001-03-30 | 2005-09-08 | Karl Storz Gmbh & Co. Kg | Endoskopische Visualisierungsvorrichtung mit unterschiedlichen Bildsystemen |
US7134992B2 (en) | 2004-01-09 | 2006-11-14 | Karl Storz Development Corp. | Gravity referenced endoscopic image orientation |
WO2005110192A1 (ja) | 2004-05-14 | 2005-11-24 | Olympus Corporation | 挿入装置 |
DE102004059143B9 (de) | 2004-12-08 | 2016-03-24 | Carl Zeiss Ag | Mikroskop-Endoskop-Untersuchungssystem |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
EP2030558B1 (en) | 2006-05-31 | 2017-05-03 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
EP1925962A1 (en) | 2006-11-21 | 2008-05-28 | Swiss Medical Technology GmbH | Stereo video microscope system |
US8982203B2 (en) | 2007-06-06 | 2015-03-17 | Karl Storz Gmbh & Co. Kg | Video system for viewing an object on a body |
KR101038417B1 (ko) | 2009-02-11 | 2011-06-01 | 주식회사 이턴 | 수술 로봇 시스템 및 그 제어 방법 |
JP5259457B2 (ja) | 2009-03-03 | 2013-08-07 | オリンパスメディカルシステムズ株式会社 | 電子画像観察装置 |
DE102009013761A1 (de) * | 2009-03-17 | 2010-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Ein Endoskop und eine Bildaufnahmevorrichtung |
WO2012001549A1 (en) | 2010-06-30 | 2012-01-05 | Koninklijke Philips Electronics N.V. | Robotic control of an oblique endoscope for fov images |
JP2012053165A (ja) | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、プログラムおよび情報処理方法 |
DE102010041870A1 (de) | 2010-10-01 | 2012-04-05 | Olympus Winter & Ibe Gmbh | Verfahren und System zur horizontrichtigen stereoskopischen Bildverarbeitung |
DE102010042372A1 (de) | 2010-10-13 | 2012-04-19 | Kuka Laboratories Gmbh | Verfahren zum Erstellen eines medizinischen Bildes und medizinischer Arbeitsplatz |
WO2012151073A2 (en) | 2011-05-03 | 2012-11-08 | Endosee Corporation | Method and apparatus for hysteroscopy and endometrial biopsy |
US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
JP5931528B2 (ja) * | 2012-03-21 | 2016-06-08 | オリンパス株式会社 | 手術用映像システムおよび手術用映像システムの作動方法 |
DE102013110543A1 (de) | 2013-09-24 | 2015-03-26 | Karl Storz Gmbh & Co. Kg | Vorrichtung zum Aufnehmen eines Bildes eines Objektfelds an einem menschlichen oder tierischen Körper |
CN105377110B (zh) * | 2013-10-08 | 2017-07-14 | 奥林巴斯株式会社 | 立体视觉内窥镜系统 |
DE102014201271A1 (de) * | 2014-01-24 | 2015-07-30 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug |
DE102014214358B4 (de) | 2014-07-23 | 2017-12-28 | Olympus Winter & Ibe Gmbh | Stereo-Videoendoskop mit mehreren optischen Baugruppen |
KR101500717B1 (ko) | 2014-10-07 | 2015-03-12 | 주식회사 썸텍 | 시술자 기준의 3차원 영상을 제공하는 복강경 시스템 |
JP6150955B2 (ja) | 2015-05-14 | 2017-06-21 | オリンパス株式会社 | 立体視内視鏡装置およびビデオプロセッサ |
EP3383247A4 (en) * | 2015-11-25 | 2019-06-26 | Camplex, Inc. | SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS |
US20170150138A1 (en) * | 2015-11-25 | 2017-05-25 | Atheer, Inc. | Method and apparatus for selective mono/stereo visual display |
DE102017219621A1 (de) * | 2017-09-22 | 2019-03-28 | Carl Zeiss Meditec Ag | Visualisierungssystem mit einem Beobachtungsgerät und einem Endoskop |
-
2019
- 2019-06-03 DE DE102019114817.0A patent/DE102019114817B4/de active Active
-
2020
- 2020-05-28 EP EP20177131.8A patent/EP3747345B1/de active Active
- 2020-05-28 ES ES20177131T patent/ES2957696T3/es active Active
- 2020-05-29 JP JP2020093928A patent/JP7178385B2/ja active Active
- 2020-06-03 US US16/891,573 patent/US11678791B2/en active Active
- 2020-06-03 CN CN202010497115.1A patent/CN112022056A/zh active Pending
-
2022
- 2022-01-26 JP JP2022010161A patent/JP2022048245A/ja not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994013190A1 (de) * | 1992-12-11 | 1994-06-23 | Karl Storz Gmbh & Co. | Endoskop insbesondere mit stereo-seitblickoptik |
CN102076259A (zh) * | 2008-04-26 | 2011-05-25 | 直观外科手术操作公司 | 用于手术机器人的放大立体可视化 |
CN102170835A (zh) * | 2008-09-30 | 2011-08-31 | 直观外科手术操作公司 | 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统 |
CN106102549A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于控制成像器械定向的系统和方法 |
US20170163972A1 (en) * | 2015-12-03 | 2017-06-08 | Karl Storz Gmbh & Co. Kg | Observation Device Comprising A Control Unit |
US20180270466A1 (en) * | 2017-03-14 | 2018-09-20 | Karl Storz Se & Co. Kg | Constant Horizon 3D Imaging System and Related Method |
Also Published As
Publication number | Publication date |
---|---|
JP7178385B2 (ja) | 2022-11-25 |
US11678791B2 (en) | 2023-06-20 |
EP3747345B1 (de) | 2023-06-28 |
EP3747345C0 (de) | 2023-06-28 |
US20200380718A1 (en) | 2020-12-03 |
ES2957696T3 (es) | 2024-01-24 |
DE102019114817A1 (de) | 2020-12-03 |
JP2022048245A (ja) | 2022-03-25 |
JP2021000438A (ja) | 2021-01-07 |
DE102019114817B4 (de) | 2021-12-02 |
EP3747345A1 (de) | 2020-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7225300B2 (ja) | 立体視覚化カメラ及びプラットフォーム | |
US20230122367A1 (en) | Surgical visualization systems and displays | |
TWI734106B (zh) | 立體視覺化攝影機及整合機器人平台 | |
US11336804B2 (en) | Stereoscopic visualization camera and integrated robotics platform | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
US7768702B2 (en) | Medical stereo observation system | |
US11678791B2 (en) | Imaging system and observation method | |
JP6019026B2 (ja) | 立体内視鏡 | |
WO2013088709A1 (ja) | 内視鏡およびこれを備えた内視鏡システム | |
JP2017524281A (ja) | 媒介現実の外科用視覚化のためのシステム及び方法 | |
US20140187857A1 (en) | Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery | |
JP3816599B2 (ja) | 体腔内処置観察システム | |
JP2004320722A (ja) | 立体観察システム | |
CN110179550B (zh) | 具有可移动光束偏转器的医疗观察设备及其操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |