CN106455906A - 具有单个图像传感器的3d腹腔镜图像捕获装置 - Google Patents

具有单个图像传感器的3d腹腔镜图像捕获装置 Download PDF

Info

Publication number
CN106455906A
CN106455906A CN201480079171.6A CN201480079171A CN106455906A CN 106455906 A CN106455906 A CN 106455906A CN 201480079171 A CN201480079171 A CN 201480079171A CN 106455906 A CN106455906 A CN 106455906A
Authority
CN
China
Prior art keywords
picture signal
camera lens
image
prism
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480079171.6A
Other languages
English (en)
Inventor
吴新民
谭伟
罗忠池
孙若曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nellcor Puritan Bennett LLC
Covidien LP
Original Assignee
Nellcor Puritan Bennett LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nellcor Puritan Bennett LLC filed Critical Nellcor Puritan Bennett LLC
Publication of CN106455906A publication Critical patent/CN106455906A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

一种图像捕获装置，包括用于接收第一图像(115)的第一镜头(110)，用于接收第二图像(125)的第二镜头(120)，以及配置成接收第一和第二图像(115、125)的反射镜(130、140)和棱镜(150、160)组件。装置还包括配置成接收第一和第二图像(115、125)的单个图像传感器(170)。第一图像(115)被投影到单个图像传感器(170)的第一侧(310)上并且第二图像(125)被投影到单个图像传感器(170)的第二侧(320)上。

Description

具有单个图像传感器的3D腹腔镜图像捕获装置
技术领域
本公开涉及一种图像捕获装置，并且更特别地但非排他地，涉及使用具有单个图像传感器的图像捕获装置来重建三维对象的系统和方法。
背景技术
目前，用于捕获3D图像的常见方法通过使用具有两个镜头的立体照相机来执行。立体照相机的两个镜头具有相同的规格，并且两个镜头之间的距离为约7.7cm，因此模拟人的眼睛之间的实际距离。两个镜头的参数(例如焦距、光圈和快门)由处理器控制。通过快门释放触发，相同区域但是不同视角的图像被捕获并且用于模拟人的左眼图像和右眼图像。
具体地，左眼图像和右眼图像分别由立体照相机的两个镜头捕获。由于由立体照相机捕获的两个图像在角度上略有不同，因此3D立体显示器可以基于该差异生成景深并且组合两个图像以显示3D图像。只要捕获参数被调整为彼此一致，就可以捕获具有良好成像效果的3D图像。然而，在该类型的立体照相机的结构中，需要两组的镜头和传感器，并且因此成本高。用于捕获3D图像的另一种方法是通过旋转单镜头照相机来捕获图像。然而，该方法的问题是两个图像之间的近距物体和远距物体的视差可能看起来不同于真实3D图像。
因此，改善3D图像的观看的是通过提出新的图像捕获系统配置以新的方式处理被捕获数据/信息/图像/信号的能力。
发明内容
根据本公开的方面，提出一种图像捕获装置。所述图像捕获装置包括：第一镜头，其配置成接收第一图像信号；第二镜头，其配置成接收第二图像信号；第一反射镜，其配置成将第一图像信号反射到第一棱镜；以及第二反射镜，其配置成将第二图像信号反射到第二棱镜。所述图像捕获装置还包括单个图像传感器，其配置成接收分别来自所述第一和第二棱镜的第一和第二图像信号。
根据本公开的另一方面，所述图像捕获装置是相机并且所述单个图像传感器是CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器。
根据本公开的又一方面，所述第一镜头与所述第二镜头分离预定距离。而且，所述第一镜头和第二镜头彼此同步。
根据本公开的又一方面，第一图像信号被投影到所述单个图像传感器的一侧上并且第二图像信号被投影到所述单个图像传感器的另一侧上。投影到所述单个图像传感器的不同部分上的第一和第二图像信号用于重建由所述第一和第二镜头捕获的对象的三维图像。
根据本公开的另一方面，在外科手术期间使用所述图像捕获装置。
根据本公开的方面，提出一种图像捕获装置。所述图像捕获装置包括：第一镜头，其配置成接收第一图像信号；第二镜头，其配置成接收第二图像信号；第一棱镜，其配置成反射第一图像信号；以及第二棱镜，其配置成反射第二图像信号。所述图像捕获装置还包括定位在所述第一和第二棱镜之间的第三棱镜，所述第三棱镜配置成接收分别来自所述第一和第二棱镜的第一和第二图像信号。所述图像捕获装置也包括单个图像传感器，其配置成接收来自所述第三棱镜的第一和第二图像信号。
根据本公开的另一方面，第一图像信号被投影到所述单个图像传感器的一侧上并且第二图像信号被投影到所述单个图像传感器的另一侧上。投影到所述单个图像传感器的不同部分上的第一和第二图像信号用于重建由所述第一和第二镜头捕获的对象的三维图像。
根据本公开的方面，提出一种图像捕获装置。所述图像捕获装置包括：用于接收第一图像的第一镜头；用于接收第二图像的第二镜头，所述第一和第二镜头彼此同步化；以及棱镜组件，其配置成接收第一和第二图像。所述图像捕获装置还包括单个图像传感器，其配置成接收来自所述棱镜组件的第一和第二图像，第一图像被投影到所述单个图像传感器的第一侧上并且第二图像被投影到所述单个图像传感器的第二侧上。所述图像俘获装置也包括至少一个处理器，用于独立地处理所述单个图像传感器的第一侧上的第一图像和所述单个图像传感器的第二侧上的第二图像以重建对象的三维图像。
根据本公开的另一方面，所述棱镜组件包括多个棱镜。所述棱镜组件包括相对于彼此以顺序方式定位的三个棱镜。
根据本公开的方面，提出一种重建三维对象的方法。所述方法包括：接收来自第一镜头的第一图像信号；接收来自第二镜头的第二图像信号；将所述第一镜头放置在所述第二镜头的预定距离内；将第一图像信号和第二图像信号分别投影到第一反射镜和第二反射镜上；以及使第一和第二图像信号通过至少两个棱镜。所述方法还包括将第一图像信号中继到单个图像传感器的第一部分上，以及将第二图像信号中继到所述单个图像传感器的第二部分上。
根据本公开的方面，提出一种重建三维对象的方法。所述方法包括：接收来自第一镜头的第一图像信号；接收来自第二镜头的第二图像信号；将所述第一镜头放置在所述第二镜头的预定距离内；将第一图像信号和第二图像信号分别投影到第一棱镜和第二棱镜上；以及使第一和第二图像信号通过所述第一和第二棱镜。所述方法还包括通过第三棱镜中继第一和第二信号，所述第三棱镜定位在所述第一和第二棱镜之间。所述方法也包括经由所述第三棱镜将第一图像信号中继到单图像传感器的第一部分上，以及经由所述第三棱镜将第二图像信号中继到所述单个图像传感器的第二部分上。
本公开的可应用性的另外范围将从下文给出的详细描述变得明显。然而，应当理解，尽管指示本公开的示例性实施例，但是详细描述和具体例子仅仅作为举例说明给出，原因是本领域的技术人员从该详细描述将显而易见在本公开的精神和范围内的各种变化和修改。
附图说明
在下文中参考附图描述本公开及其各个方面和特征，其中：
图1是根据本公开的方面的包括一对反射镜和一对棱镜的光学系统的透视图；
图2是根据本公开的方面的包括处于串联配置的三个棱镜的光学系统的透视图；
图3示出根据本公开的方面的分成两个部分的单个图像传感器，每个部分配置成接收独立的图像信号；
图4A-4B示出根据本公开的方面的与单个图像传感器通信的至少一个处理器和至少一个存储器；
图5是描述根据本公开的方面的重建三维对象的方法的流程图；
图6是描述根据本公开的方面的重建三维对象的另一方法的流程图；
图7是根据本公开的方面的包括器械或医疗设备和具有图1的光学系统或图2的光学系统的图像捕获装置的外科定位系统的透视图。
附图仅出于示例的目的描绘本公开的实施例。本领域的技术人员将从以下公开容易地领会可以采用本文中所示的结构和方法的替代实施例而不脱离本文中所述的本公开的原理。
具体实施方式
根据本公开提供并且在下面详细描述通过使用具有两个镜头和单个图像传感器的照相机重建3D对象的设备、系统和方法。两个独立的照相机镜头允许将两个独立的图像投影到单个图像传感器上。在由单个图像传感器接收之前，两个独立的图像通过反射镜和棱镜配置。
尽管将根据具体实施例描述本公开，但是对于本领域的技术人员将显而易见可以在不脱离本公开的精神的情况下进行各种修改、重新布置和替换。本公开的范围由这里附带的权利要求限定。
为了促进对本公开的原理的理解，现在将参考附图中所示的示例性实施例，并且将使用具体语言来描述本发明。然而应当理解，不旨在由此限制本公开的范围。相关领域中并且拥有本公开的技术人员将想到的本文中所示的本发明的特征的任何变更和进一步修改以及如本文中所示的本公开的原理的任何附加应用被认为在本公开的范围内。
词语“示例性”在本文中用于表示“用作例子、实例或示例”。本文中描述为“示例性”的任何实施例不一定被理解为比其它实施例优选或有利。词语“例子”可以与术语“示例性”可互换使用。
参考图1，呈现根据本公开的方面的包括一对反射镜和一对棱镜的光学系统的透视图。光学系统100包括第一镜头110和第二镜头120。第一镜头110可以被称为左镜头，而第二镜头120可以被称为右镜头。第一镜头110可以包括多个光学元件111，并且第二镜头120可以包括多个光学元件121。
第一镜头110配置成接收穿过其中的第一图像信号115，而第二镜头120配置成接收穿过其中的第二图像信号125。图像信号115和125是从想要图像的表面反射的光。实际上，光学系统100可以用作腹腔镜或内窥镜器械(参见图7)的一部分，并且图像信号115和125可以用作最初从器械发出(例如，经由光纤束)并且反射回到第一和第二镜头110、120的光。第一图像信号115和第二图像信号125可以是由诸如照相机的图像捕获装置捕获的图像或光或其它类型的信息/数据。
第一图像信号115由第一反射镜130接收，而第二图像信号125由第二反射镜140接收。第一反射镜130将第一图像信号115反射到第一棱镜150，而第二反射镜140将第二图像信号125反射到第二棱镜160。第一和第二棱镜150、160彼此相邻定位。第一和第二棱镜150、160可以彼此接触。第一和第二棱镜150、160可以在形状上为三角形。然而，本领域的技术人员可以预料用于棱镜150、160的任何形状或尺寸。
可以预料第一反射镜130与第一镜头110同轴，而第二反射镜140与第二镜头120同轴。也可以预料第一图像信号115大致居中地穿过第一镜头110，使得第一图像信号115在第一镜头110的中心部分上被接收。类似地，也可以预料第二图像信号125大致居中地穿过第二镜头120，使得第二图像信号125在第二反射镜140的中心部分上被接收。也可以预料第一和第二棱镜150、160相对于第一和第二镜头110、120偏心或偏移。换句话说，第一和第二棱镜150、160可以定位在限定于第一和第二镜头110、120之间的中间点处。
第一图像信号115穿过第一棱镜150并且由单个图像传感器170接收。类似地，第二图像信号125穿过第二棱镜160并且由单个图像传感器170接收。第一图像信号115在单个图像传感器170的左侧上被接收，而第二图像信号125在单个图像传感器170的右侧上被接收。这在下面描述的图3中进一步示出。单个图像传感器170可以与印刷电路板(PCB)180电连通。
参考图2，呈现根据本公开的方面的包括处于串联配置的三个棱镜的光学系统的透视图。
光学系统200包括第一镜头210和第二镜头220。第一镜头210可以被称为左镜头，而第二镜头220可以被称为右镜头。第一镜头210可以包括多个光学元件211并且第二镜头220可以包括多个光学元件221。
第一镜头210配置成接收穿过其中的第一图像信号215，而第二镜头220配置成接收穿过其的第二图像信号225。第一图像信号215和第二图像信号225可以是由诸如照相机的图像捕获装置捕获的图像或光或其它类型的信息/数据。
第一图像信号215由第一棱镜230接收，而第二图像信号225由第二棱镜250接收。棱镜230将第一图像信号215反射到第三棱镜240，并且第二棱镜250将第二图像信号225反射到第三棱镜240。第一、第二和第三棱镜230、250、240以相继的方式彼此相邻地定位。可以预料三个棱镜230、250、240不彼此接触或邻接。第三棱镜240配置成定位在第一和第二棱镜230、250之间。第一、第二和第三棱镜230、250、240可以在形状上为三角形。然而，本领域的技术人员可以预料用于棱镜230、250、240的任何形状或尺寸。第一和第二棱镜230、250可以是例如直角三角形，而第三棱镜240可以是例如等边三角形。
可以预料第一棱镜230与第一镜头210同轴，而第二棱镜250与第二镜头220同轴。也可以预料第一图像信号215大致居中地穿过第一镜头210，使得第一图像信号215通过第一镜头210的一侧的中心部分被接收。类似地，也可以预料第二图像信号225大致居中地穿过第二镜头240，使得第二图像信号225通过第二棱镜250的一侧的中心部分被接收。也可以预料第三棱镜240相对于第一和第二镜头210、220偏心或偏移。换句话说，第三棱镜240可以定位在限定于第一和第二镜头210、220之间的中间点处。
第一图像信号215穿过第一棱镜230并且经由第三棱镜240由单个图像传感器270接收。类似地，第二图像信号225穿过第二棱镜250并且经由第三棱镜240由单个图像传感器270接收。第一图像信号215在单个图像传感器270的左侧上被接收，而第二图像信号225在单个图像传感器270的右侧上被接收。这在下面描述的图3中进一步示出。单个图像传感器270可以与印刷电路板(PCB)280电连通。
总之，参考图1和图2，左右镜头都用于捕获场景内的对象。左右镜头彼此同步化(同步)。第一和第二镜头在它们之间具有固定的距离。然后使用反射镜和棱镜配置，或仅仅棱镜配置，由左镜头捕获的图像通过其中传到单个图像传感器的左部，而由右镜头捕获的图像通过其中传到单个图像传感器的右部。左图像和右图像两者由单个图像传感器同时接收(没有左信号与右信号交叉)。左图像和右图像然后由至少一个处理器(参见图4A、4B，在下面描述)处理并且记录到至少一个存储器装置(参见图4A、4B，在下面描述)。因此，镜头之间的距离可以变化以便在多种3D图像捕获应用(例如，在外科手术期间使用的腹腔镜系统)中使用这样的光学系统100、200。
参考图3，呈现根据本公开的方面的分成为两个部分或部段的单个图像传感器，每个部分或部段配置成接收独立的图像信号。
在图3中显示单个图像传感器170、270的俯视图300。图像传感器170、270包括第一区域或地带或部分或部段310和第二区域或地带或部分或部段320。第一部分310可以被称为左部分，而第二部分3202可以被称为右部分。第一图像信号115、215(参见图1和2)分别在单个图像传感器170、270的左部分上被接收，而第二图像信号125、225(参见图1和2)分别在单个图像传感器170、270的右部分上被接收。
所以，由左镜头拾取的图像被投影到单个图像传感器的左区域上，而由右镜头拾取的图像被投影到单个图像传感器的右区域上。图像保持分离，原因是它们前进通过不同的反射镜/棱镜配置，并且最终在单个图像传感器的独立区域上终止以用于独立处理和存储(参见图4A、4B)。
因此，参考图1-3，光学系统100、200利用两个独立的照相机镜头将两个独立的图像投影到单个图像传感器，例如，CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器。由左镜头(即，第一镜头110、210)捕获的图像或信号分别被投影到单个图像传感器170、270的左部分310上，而由右镜头(即，第二镜头210、220)捕获的图像或信号分别被投影到单个图像传感器170、270的右部分320上。直到这时，左图像和右图像不交叉或混合，而是保持分离，原因是它们通过图1和2的反射镜/棱镜配置前进。其后，这两个图像或信号用于重建场景中的对象的3D图像。由于这些图像或信号被投影到单个图像传感器170、270上，而不是将它们投影到两个独立且不同的图像传感器上，因此可以减小两个图像之间的图像歪曲和光学失真，从而导致重建的3D图像的更好的颜色、亮度和锐度。
另外，由于图像歪曲和光学失真的减小，当重建由诸如照相机的传统图像捕获装置捕获的3D图像时的用户副作用也被减小。另外的优点包括避免从两个独立照相机镜头生成的左右图像之间的不一致，这也改善重建的3D图像的亮度、锐度、颜色和图像质量。
本文所述的设备和方法集中于在医学背景中使用本公开以便捕获和处理可见光谱光，例如，用于生成3D腹腔镜和内窥镜图像。然而，本公开不限于此，并且本技术可以在其它光谱中被使用以生成3D图像，包括但不限于自发荧光成像，光学相干断层摄影(OCT)成像等。另外，本文中所述的方法和系统可以在任何类型的医疗应用中用于任何类型的3D系统。
此外，尽管光学系统100、200可以用作新的成像设备(例如，新的腹腔镜)的一部分，但是该技术也可以用于现有设备，在现有设备中光学系统通过腹腔镜的工作通道被使用，或者连接到腹腔镜或内窥镜的外部。这样的实现方式具有提供传统成像临床医生习惯的和本公开的增强3D成像的优点。
参考图4A和4B，呈现根据本公开的方面的与单个图像传感器通信的至少一个处理器和至少一个存储器。图4A示出单个图像传感器170、270具有电连接到第一处理器405和第一存储器407的左侧410。单个图像传感器170、270具有电连接到第二处理器415和第二存储器414的右侧420。因此，单个图像传感器170、270的每一侧可以连接到不同的处理器和不同的存储器。因此，独立处理器可以用于独立地处理单个图像传感器的左侧上的第一图像和右侧上的第二图像。
然而，如图4B中所示，单个图像传感器170、270的左侧410和右侧420可以连接到公共处理器430和公共存储器424。本领域的技术人员可以预料用于处理和存储左图像、右图像以及重建的3D对象的多个不同配置。
参考图5，呈现示出根据本公开的一个实施例的重建三维对象的方法的流程图500。
流程图500包括以下步骤。在步骤510中，由照相机的第一镜头接收第一图像信号。在步骤520中，从照相机的第二镜头接收第二图像信号。在步骤530中，将第一图像信号投影到第一反射镜上，而将第二图像信号投影到第二反射镜上。在步骤540中，第一图像信号穿过第一棱镜，而第二图像信号穿过第二棱镜。在步骤550中，第一图像信号中继到单个图像传感器的第一部分(或左部分)，并且第二图像信号同时中继到单个图像传感器的第二部分(右侧)。然后过程结束。应当理解本文中所述的方法步骤不必按照所述的顺序被执行。此外，诸如“其后”、“然后”，“接着”等的词语不旨在限制步骤的顺序。这些词语仅用于通过方法步骤的描述指导读者。
参考图6，呈现示出根据本公开的一个实施例的重建三维对象的另一种方法的流程图600。
流程图600包括以下步骤。在步骤610中，由照相机的第一镜头接收第一图像信号。在步骤620中，从照相机的第二镜头接收第二图像信号。在步骤630中，将第一图像信号投影到第一棱镜上，而将第二图像信号投影到第二棱镜上。在步骤640中，第一图像信号穿过第一棱镜，而第二图像信号穿过第二棱镜。在步骤650中，第一和第二图像信号通过第三棱镜中继，第三棱镜定位在第一棱镜和第二棱镜之间。在步骤660中，第一图像信号中继到单个图像传感器的第一部分(或左部分)，并且第二图像信号同时中继到单个图像传感器的第二部分(右侧)。然后过程结束。此外，本公开的特征和方面可以在光学系统100、200中以任何合适的方式(例如，经由系统100、200的硬件和软件配置或使用任何其它合适的软件、固件和/或硬件)实现。
参考图7，呈现根据本公开的方面的包括器械或医疗设备和具有图1的光学系统或图2的光学系统的图像捕获装置的外科定位系统的透视图。
外科定位系统700根据本公开被提供并且包括器械固定装置730(可选)、外科器械710和图像捕获装置720。外科定位系统700配置成将外科器械710和图像捕获装置720定位在躺在手术台705上的患者P的手术部位内。图像捕获装置可以包括(上面描述的)图1的光学系统100或图2的光学系统200。所以，光学系统100、200可以与在各种外科手术中使用的照相机一起使用。
例如，当经由可执行指令实现时，本公开的各种元件实质上是限定这样的各种元件的操作的代码。可执行指令或代码可以从可读介质(例如，硬盘驱动器介质、光学介质、EPROM、EEPROM、磁带介质、盒式介质、闪存、ROM、存储棒和/或类似物)获得或经由来自通信介质(例如，因特网)的数据信号通信。实际上，可读介质可以包括可以存储或传送信息的任何介质。
计算机装置或计算装置或处理装置可以可操作地与组件关联，并且由软件引导以将第一输出信号与第一控制图像比较并且将第二输出信号与第二控制图像比较。软件还引导计算机以产生诊断输出。此外，包括用于将诊断输出传输到验证设备的操作者的装置。因此，可以规划本公开的许多应用。本文中公开的示例性网络可以包括用于交换数据或交易业务的任何系统，例如因特网、内联网、外联网、WAN(广域网)、LAN(局域网)、卫星通信和/或类似物。应当注意网络可以作为其它类型的网络实现。
另外，如本文所使用的“代码”或如本文所使用的“程序”可以是可以由计算机或执行设备用来执行任务的任何多个二进制值或任何可执行、解释或编译的代码。该代码或程序可以以若干已知的计算机语言中的任何一种来编写。如本文所使用的“计算机”可以表示对数据进行存储、处理、路由、操纵或执行类似操作的任何设备。“计算机”可以包含到一个或多个应答器识别和收集系统或服务器中以操作一个或多个处理器来运行应答器识别算法。而且，计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某个功能或一组功能的指令和数据。计算机可执行指令也包括程序模块，其可以由计算机在独立或网络环境中执行。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。
本领域的技术人员将理解，本文中具体描述和附图中示出的设备和方法是非限制性的示例性实施例。结合一个示例性实施例示出或描述的特征可以与其它实施例的特征组合。这样的修改和变化旨在包括在本公开的范围内。
前述例子示出本公开的各个方面和本公开的方法的实施。例子并不旨在提供本公开的许多不同实施例的详尽描述。因此，尽管为了清楚和理解的目的作为示例和例子已相当详细地描述前述本公开，但是本领域的普通技术人员将容易地认识到在不脱离本公开的精神或范围的情况下可以对其进行许多变化和修改。

Claims (20)

1.一种图像捕获设备，包括：
第一镜头，其配置成接收第一图像信号；
第二镜头，其配置成接收第二图像信号；
第一反射镜，其配置成将第一图像信号反射到第一棱镜；
第二反射镜，其配置成将第二图像信号反射到第二棱镜；以及
单个图像传感器，其配置成接收分别来自所述第一棱镜和第二棱镜的第一图像信号和第二图像信号。
2.根据权利要求1所述的图像捕获装置，其中所述图像捕获装置是照相机。
3.根据权利要求1所述的图像捕获装置，其中所述单个图像传感器是CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器。
4.根据权利要求1所述的图像捕获装置，其中所述第一镜头与所述第二镜头分离预定距离。
5.根据权利要求1所述的图像捕获装置，其中所述第一镜头和所述第二镜头彼此同步化。
6.根据权利要求1所述的图像捕获装置，其中所述单个图像传感器与印刷电路板(PCB)电连通。
7.根据权利要求1所述的图像捕获装置，其中第一图像信号被投影到所述单个图像传感器的一侧上并且第二图像信号被投影到所述单个图像传感器的另一侧上。
8.根据权利要求7所述的图像捕获装置，其中投影到所述单个图像传感器的不同部分上的第一图像信号和第二图像信号用于重建由所述第一镜头和第二镜头捕获的对象的三维图像。
9.根据权利要求1所述的图像捕获装置，其中在外科手术期间使用所述图像捕获装置。
10.一种图像捕获设备，包括：
第一镜头，其配置成接收第一图像信号；
第二镜头，其配置成接收第二图像信号；
第一棱镜，其配置成反射第一图像信号；
第二棱镜，其配置成反射第二图像信号；
定位在所述第一棱镜和第二棱镜之间的第三棱镜，所述第三棱镜配置成接收分别来自所述第一棱镜和第二棱镜的第一图像信号和第二图像信号；以及
单个图像传感器，其配置成接收来自所述第三棱镜的第一图像信号和第二图像信号。
11.根据权利要求10所述的图像捕获装置，其中所述第一镜头与所述第二镜头分离预定距离。
12.根据权利要求10所述的图像捕获装置，其中所述第一镜头和所述第二镜头彼此同步化。
13.根据权利要求10所述的图像捕获装置，其中第一图像信号被投影到所述单个图像传感器的一侧上并且第二图像信号被投影到所述单个图像传感器的另一侧上。
14.根据权利要求13所述的图像捕获装置，其中投影到所述单个图像传感器的不同部分上的第一图像信号和第二图像信号用于重建由所述第一图像信号和第二镜头捕获的对象的三维图像。
15.一种图像捕获装置，包括：
用于接收第一图像的第一镜头；
用于接收第二图像的第二镜头，所述第一镜头和第二镜头彼此同步化；以及
棱镜组件，其配置成接收第一图像和第二图像；
单个图像传感器，其配置成接收来自所述棱镜组件的第一图像和第二图像，第一图像被投影到所述单个图像传感器的第一侧上并且第二图像被投影到所述单个图像传感器的第二侧上；以及
至少一个处理器，用于独立地处理所述单个图像传感器的第一侧上的第一图像和所述单个图像传感器的第二侧上的第二图像以重建对象的三维图像。
16.根据权利要求15所述的图像捕获装置，其中所述棱镜组件包括多个棱镜。
17.根据权利要求15所述的图像捕获装置，其中所述棱镜组件包括相对于彼此以顺序方式定位的三个棱镜。
18.一种重建三维对象的方法，所述方法包括：
接收来自第一镜头的第一图像信号；
接收来自第二镜头的第二图像信号；
将所述第一镜头放置在所述第二镜头的预定距离内；
将第一图像信号和第二图像信号分别投影到第一反射镜和第二反射镜上；
使第一图像信号和第二图像信号通过至少两个棱镜；
将第一图像信号中继到单个图像传感器的第一部分上；以及
将第二图像信号中继到所述单个图像传感器的第二部分上。
19.根据权利要求18所述的方法，还包括经由至少一个处理器独立地处理所述单个图像传感器上的第一图像信号和第二图像信号。
20.根据权利要求18所述的方法，还包括：
使所述第一镜头和第二镜头同步化；以及
将所述第一镜头和第二镜头相对于彼此固定在预定距离内。
CN201480079171.6A 2014-05-23 2014-05-23 具有单个图像传感器的3d腹腔镜图像捕获装置 Pending CN106455906A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/078241 WO2015176298A1 (en) 2014-05-23 2014-05-23 3d laparoscopic image capture apparatus with a single image sensor

Publications (1)

Publication Number Publication Date
CN106455906A true CN106455906A (zh) 2017-02-22

Family

ID=54553249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480079171.6A Pending CN106455906A (zh) 2014-05-23 2014-05-23 具有单个图像传感器的3d腹腔镜图像捕获装置

Country Status (4)

Country Link
US (1) US20170202439A1 (zh)
EP (1) EP3145383B1 (zh)
CN (1) CN106455906A (zh)
WO (1) WO2015176298A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401828A (zh) * 2019-07-24 2019-11-01 深圳市中安视达科技有限公司 基于单传感器的双路图像采集式3d医疗成像系统及方法
CN110680264A (zh) * 2019-11-08 2020-01-14 中国科学院长春光学精密机械与物理研究所 基于双光路设计的3d光学内窥镜系统
CN110840385A (zh) * 2019-12-19 2020-02-28 中国科学院长春光学精密机械与物理研究所 基于单探测器的双目3d内窥镜三维图像处理方法及成像系统
CN112369018A (zh) * 2018-09-17 2021-02-12 谷歌有限责任公司 用于产生虚拟现实立体图像的光学装置
WO2021115068A1 (zh) * 2019-12-11 2021-06-17 深圳先进技术研究院 一种具有3d测量功能的胶囊内窥镜及相应成像方法
CN114296230A (zh) * 2021-12-03 2022-04-08 青岛奥美克医疗科技有限公司 双镜头校准调焦方法、三维图像适配器及内窥镜系统
CN115314698A (zh) * 2022-07-01 2022-11-08 深圳市安博斯技术有限公司 一种立体拍摄及显示装置、方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094249A1 (en) * 2015-09-24 2017-03-30 Qualcomm Incorporated Optics architecture for 3-d image reconstruction
WO2018077413A1 (en) * 2016-10-27 2018-05-03 Nokia Technologies Oy An optical arrangement for focusing images of a three-dimensional space from different divergent perspectives onto one or more camera sensors
DE102017123320A1 (de) * 2017-10-09 2019-04-11 Olympus Winter & Ibe Gmbh Stereoendoskop
GB202012562D0 (en) * 2020-08-12 2020-09-23 Ttp Plc Endoscopic optical system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6837848B2 (en) * 2003-01-15 2005-01-04 Medtronic, Inc. Methods and apparatus for accessing and stabilizing an area of the heart
US20030174237A1 (en) * 2002-03-15 2003-09-18 Largan Digital Co., Ltd. Digital stereograph-capturing device
KR100716829B1 (ko) * 2005-08-10 2007-05-09 삼성전기주식회사 초박형 모바일 카메라 광학 렌즈 시스템 및 이를 이용한이미지 결상 방법
KR100761438B1 (ko) * 2006-02-27 2007-09-27 이영화 근접 대상물의 입체동영상을 촬영하기 위한입체동영상촬영장치
WO2010069169A1 (zh) * 2008-12-18 2010-06-24 深圳市掌网立体时代视讯技术有限公司 单传感器并列式立体图像拍摄方法
DE102010053881A1 (de) * 2010-12-09 2012-06-14 Schölly Fiberoptic GmbH Endoskop und Verfahren zur Aufnahme wenigstens eines stereoskopischen Bildes mit einem Endoskop
CN102256151B (zh) * 2011-07-14 2014-03-12 深圳市掌网立体时代视讯技术有限公司 一种双光路单传感器合成模组及三维成像装置
KR102079689B1 (ko) 2011-08-12 2020-02-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술기기 내의 이미지 캡쳐 장치
CN103070660A (zh) * 2013-01-18 2013-05-01 浙江大学 三维电子内窥镜摄像装置
CN103841404A (zh) * 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369018A (zh) * 2018-09-17 2021-02-12 谷歌有限责任公司 用于产生虚拟现实立体图像的光学装置
CN110401828A (zh) * 2019-07-24 2019-11-01 深圳市中安视达科技有限公司 基于单传感器的双路图像采集式3d医疗成像系统及方法
CN110680264A (zh) * 2019-11-08 2020-01-14 中国科学院长春光学精密机械与物理研究所 基于双光路设计的3d光学内窥镜系统
WO2021115068A1 (zh) * 2019-12-11 2021-06-17 深圳先进技术研究院 一种具有3d测量功能的胶囊内窥镜及相应成像方法
CN110840385A (zh) * 2019-12-19 2020-02-28 中国科学院长春光学精密机械与物理研究所 基于单探测器的双目3d内窥镜三维图像处理方法及成像系统
CN114296230A (zh) * 2021-12-03 2022-04-08 青岛奥美克医疗科技有限公司 双镜头校准调焦方法、三维图像适配器及内窥镜系统
CN115314698A (zh) * 2022-07-01 2022-11-08 深圳市安博斯技术有限公司 一种立体拍摄及显示装置、方法

Also Published As

Publication number Publication date
US20170202439A1 (en) 2017-07-20
EP3145383B1 (en) 2021-03-24
EP3145383A4 (en) 2018-02-21
EP3145383A1 (en) 2017-03-29
WO2015176298A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
CN106455906A (zh) 具有单个图像传感器的3d腹腔镜图像捕获装置
US10334227B2 (en) Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
KR101734094B1 (ko) 증강현실영상 투영 시스템
CN104434001B (zh) 全方位三维立体视觉的单目内窥镜系统
US9220399B2 (en) Imaging system for three-dimensional observation of an operative site
KR20110016896A (ko) 다차원 영상 생성 방법 및 시스템
US11779210B2 (en) Ophthalmic imaging apparatus and system
KR102632960B1 (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
US11944265B2 (en) Medical imaging systems and methods
CN113906479A (zh) 从局部深度图生成合成三维成像
CN103654699A (zh) 激发荧光双目内窥系统
US9392230B2 (en) Endoscopic apparatus and measuring method
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
Karargyris et al. 3D representation of the digestive tract surface in Wireless Capsule Endoscopy videos
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
JP5177668B2 (ja) 立体画像作成装置及び方法並びに内視鏡検査システム
US20150035988A1 (en) Video imaging system including a plurality of cameras and a plurality of beamsplitters
WO2011151872A1 (en) 3-dimensional image data generating method
KR101067965B1 (ko) 입체 영상 시스템
CN108377384A (zh) 一种全息3d光场成像系统
CN107317954A (zh) 3d内窥胶囊镜检测方法和系统
KR20140005418A (ko) 내시경 및 내시경 시스템
Lipkin et al. Video imaging and documentation
WO2019014845A1 (zh) 一种基于棱镜合成光场的方法
L’Esperance et al. AUDIOVISUAL EQUIPMENT AND THE OPERATING ROOM OF THE FUTURE■

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222