CN102948155B - 光学立体装置及其自动对焦方法 - Google Patents

光学立体装置及其自动对焦方法 Download PDF

Info

Publication number
CN102948155B
CN102948155B CN201180022979.7A CN201180022979A CN102948155B CN 102948155 B CN102948155 B CN 102948155B CN 201180022979 A CN201180022979 A CN 201180022979A CN 102948155 B CN102948155 B CN 102948155B
Authority
CN
China
Prior art keywords
focusing position
eye image
perpetual object
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180022979.7A
Other languages
English (en)
Other versions
CN102948155A (zh
Inventor
路德维希·拉克斯胡贝尔
约阿希姆·吕贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Swiss Medical Technology GmbH
Original Assignee
Swiss Medical Technology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Swiss Medical Technology GmbH filed Critical Swiss Medical Technology GmbH
Publication of CN102948155A publication Critical patent/CN102948155A/zh
Application granted granted Critical
Publication of CN102948155B publication Critical patent/CN102948155B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供了具有自动对焦特征的光学立体装置以及对应的用于光学立体装置的自动对焦方法。光学立体装置包括被配置成借助于合成右眼图像和左眼图像来提供关注对象的立体图像的成像装置以及可操作地连接至成像装置并且被配置成接收右眼图像和左眼图像并调整成像装置的对焦位置的控制单元。控制单元还被配置成:(i)在右眼图像中识别特征,并在左眼图像中识别相同特征;(ii)确定由在右眼图像中识别出的特征相对于在左眼图像中识别出的相同特征的位移限定的位移矢量的方向和/或幅度;以及(iii)基于位移矢量的方向和/或幅度,相对于识别出的特征调整对焦位置。根据优选实施例,成像装置包括第一和第二成像单元,并且控制单元还被配置成通过在识别出的特征的位移是向右的偏移的情况下增大对焦位置或在位移是向左的偏移的情况下减小对焦位置,调整对焦位置。

Description

光学立体装置及其自动对焦方法
技术领域
本发明涉及一种光学立体装置及其自动对焦方法。具体地,本发明涉及一种立体摄像装置或立体显微镜以及使这样的光学立体装置进行自动对焦的方法。
背景技术
在许多不同的领域使用光学立体装置(诸如,立体摄像装置)正变得越来越普遍。例如,在医学领域,越来越多地采用立体摄像装置和/或立体显微镜来辅助医学专业人员执行如医疗手术、检查这样的任务。这是因为立体摄像装置或显微镜可以提供关注对象的三维视图,并因此可以提供关于关注对象的进一步信息。典型地,光学立体装置提供了借助于特殊透镜系统(诸如,可调节透镜)增大图片的可能性。一些精密复杂的立体显微镜或立体摄像装置包括自动对焦机制,即,自动对关注对象进行对焦的能力。例如,可以借助于控制装置和可操作地连接的驱动装置来提供这样的自动对焦机制,其中该可操作地连接的驱动装置通过将透镜系统移动至最优或最佳的对焦位置(即,获得关注对象的最清晰的可能图像的位置)来使立体显微镜或立体摄像装置的透镜系统对焦。
通常,可以通过若干已知的方法来自动获得立体显微镜或立体摄像装置的最优对焦位置。例如,不限于立体显微镜或立体摄像装置的第一种已知的自动对焦方法基于以下事实:关注对象的对比度或锐利度通常在摄像装置或显微镜的最优对焦位置处最大。一般借助于在控制单元上运行的图像处理软件来确定关注对象的图像的对比度,并且在较高对比度的方向上反复改变焦距和/或摄像装置或显微镜与关注对象之间的距离,直到无法辨别图像质量的进一步改善为止。然而,这种已知的自动对焦方法(即,借助于对比度优化确定最优对焦位置)具有以下缺点:在大多数情况下,最初缺乏关于(i)当前对焦位置离最优或最佳对焦位置有多远和(ii)最优对焦位置相对于当前对焦位置在哪个方向的信息。此外,图像质量与实际对焦位置到最佳对焦位置的距离之间的关系实际上不是线性的而是呈指数的。换言之,与远离最佳对焦位置相比,接近最佳对焦位置,图像质量改变得更加快速。作为其结果,通常很难在最佳对焦位置附近找到可接受对焦位置的范围作为第一“猜测”,因为在这样的可接受对焦位置的范围外图像质量仅逐渐地改变。因此,基于对比度最大化的自动对焦方法在计算上相当具有挑战性,并且由于迭代方法而通常不是非常快速。
其它已知的用于光学立体装置的自动对焦方法测量激光束在焦平面内的反射,或者使用在焦平面内重合的两束激光束的特定空间布置。
本发明的目的是提供一种光学立体装置(诸如,立体摄像装置或立体显微镜)以及对应的新的且改进的自动对焦方法,该光学立体装置被配置成以新的且改进的方式使其成像单元自动对焦。
发明内容
根据本发明的第一方面,通过根据权利要求1的光学立体装置实现了上述目的。该光学立体装置包括:成像装置,被配置成借助于合成右眼图像和左眼图像来提供关注对象的立体图像;以及控制单元,可操作地连接至成像装置,并且被配置成接收右眼图像和左眼图像并调整成像装置的对焦位置。该控制单元还被配置成:(i)在右眼图像中识别特征,并在左眼图像中识别相同特征;(ii)确定由在右眼图像中识别出的特征相对于在左眼图像中识别出的相同特征的位移限定的位移矢量的方向和/或幅度;以及(iii)基于位移矢量的方向和/或幅度而相对于识别出的特征调整对焦位置。
优选地,成像装置包括第一成像单元和第二成像单元,其中右眼图像由第一成像单元提供,而左眼图像由第二成像单元提供。
根据优选实施例,控制单元被配置成在识别出的特征的位移是向右的偏移的情况下通过增大对焦位置来调整对焦位置,或者在识别出的特征的位移是向左的偏移的情况下通过减小对焦位置来调整对焦位置。优选地,控制单元被配置成使用位移矢量的方向和/或幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的解析表示来使光学立体装置对焦。替选地或附加地,控制单元被配置成使用描述位移矢量的方向和/或幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的查找表来使光学立体装置对焦。
优选地,该光学立体装置是立体摄像装置或立体显微镜。
根据第二方面,本发明提供了一种使光学立体装置自动对焦的方法,该光学立体装置具有可操作地连接至控制单元并且被配置成通过合成右眼图像和左眼图像来提供关注对象的立体图像的成像装置。该方法包括以下步骤:(a)通过提供右眼图像和左眼图像的成像装置使关注对象在第一对焦位置处成像;(b)在右眼图像中识别特征并且在左眼图像中识别相同特征;(c)确定由在右眼图像中识别出的特征相对于在左眼图像中识别出的相同特征的位移限定的位移矢量的方向和/或幅度;(d)基于位移矢量的方向和/或幅度而相对于识别出的特征调整对焦位置。可选地,可以反复地重复步骤(a)至(d)。
优选地,调整对焦位置的步骤包括改变成像装置与关注对象的识别出的特征之间的物理距离和/或改变成像装置的焦距。
根据本发明的第三方面,提供了一种计算机可读介质,该计算机可读介质包含用于执行根据本发明的第二方面的上述方法的指令。
本发明的其他优选实施例、优点以及特征在从属权利要求中被限定,并且/或者通过参照以下详述描述和附图将会变得显而易见。
附图说明
图1示意性地示出根据本发明的包括第一成像单元和第二成像单元的形式的成像装置的光学立体装置的优选实施例。
图2针对三种不同情况示意性地示出了当根据本发明的光学立体装置分别焦点对准和焦点未对准时第一成像单元提供的右眼图像、第二成像单元提供的左眼图像以及合成图像。
图3示出了描述根据本发明的自动对焦方法的优选实施例的不同步骤的流程图。
具体实施方式
现在将通过更详细地限定以上概括地概述的本发明的不同方面来进一步描述本发明。这样限定的每个方面均可与任何其它方面组合,除非明确地相反指示。具体地,表示为优选的或有利的任何特征可与表示为优选的或有利的任何其它特征组合。
图1中示出了本发明的优选实施例。光学立体装置10(例如,立体摄像装置或立体显微镜)包括第一成像单元12和第二成像单元14。第一成像单元12和第二成像单元14彼此相对布置以限定在焦平面上彼此交叉的两个光路或光轴。由于其光路略微不同,第一成像单元12和第二成像单元14提供了关注对象20(诸如,患者的牙齿区域)的两个不同图像,可以合成这两个不同图像以创建立体图像。本领域技术人员知道第一成像单元12和第二成像单元14的可能内部配置及其所需的部件,因此将不进行更详细描述。仅简要提及的是,第一成像单元12和第二成像单元14可以均包括用于适当地引导和/或增大成像单元内的光的各种光学透镜以及用于从关注对象20接收光的探测器,诸如CCD探测器。各种光学透镜用于调整光学立体装置10的焦点和缩放因子。为此,可以使透镜单独地或成组地沿第一成像单元12和第二成像单元14各自的光轴移位。
此外,根据本发明的光学立体装置10包括可操作地连接至第一成像单元12和第二成像单元14的控制单元16。控制单元16被配置成接收第一成像单元12和第二成像单元14提供的数据(即,关注对象20的图像),并且将这些图像合成为立体图像。此外,控制单元16被配置成在箭头F的方向上使第一成像单元12和第二成像单元14和/或其某些光学透镜沿光学立体装置10的光轴A移动,以相对于关注对象20调整当前的对焦位置和/或改变缩放因子。
本领域内技术人员将认识到,在本发明的背景下导致成像单元12和14与关注对象20之间的距离改变的全部成像单元12和14的物理移动等同于导致成像单元12和14的焦距改变的成像单元12和14的内部光学元件的位置调整,因此本发明涵盖了这两种选择。控制单元16可以与输入装置(在图1中未示出)相连,用户可以借助于该输入装置输入数据、命令等以操作根据本发明的光学立体装置10,诸如,手动地改变对焦位置和/或缩放因子。如在控制机制的背景下已知的那样,输入装置可以被实现为触摸板、键盘、多个开关和/或旋钮等。此外,控制单元16可以与用于显示关注对象20的立体图像的输出装置(诸如,显示单元或立体监视器(在图1中未示出))相连,其中该关注对象20的立体图像是通过控制单元16基于第一成像单元12和第二成像单元14提供的各幅图像而创建的。
第一成像单元12提供在本文中将被称为“右眼图像”的关注对象20的第一图像。同样,第二成像单元14提供在本文中将被称为“左眼图像”的关注对象20的第二图像。如本领域技术人所知道的且如上所述,由于第一成像单元12与第二成像单元14之间的微小空间间隔以及因此而略微不同的视角,控制单元16可以基于第一成像单元12提供的右眼图像和第二成像单元14提供的左眼图像来合成关注对象20的三维图像或立体图像。然而,在本发明的背景下,右眼图像和左眼图像也可以由单个成像单元提供,该单个成像单元在提供相对于关注对象20的两个略微不同的视角的第一位置与略微偏移的第二位置之间移动。
本领域技术人员将认识到,在图1的俯视图中,站在光学装置10后面并沿其光轴A朝关注对象20看的观察者限定了唯一参考系。相对于该参考系,第一成像单元12位于右侧并提供关注对象20的右眼图像,而第二成像单元14位于左侧并提供关注对象20的左眼图像。另外,以下将在该参考系的背景下描述根据本发明的自动对焦机制。
此外,本文中将涉及“最优对焦位置”、“使…对焦”、“焦点对准”。本领域技术人员将认识到,这些表达限定了同第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的相对位置对应的状态和位置,其中第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离基本上等于第一成像单元12和第二成像单元14的焦距。
根据本发明,控制单元16被配置成实现自动对焦机制,现在将更详细地描述自动对焦机制的细节。根据本发明的该自动对焦机制基于如下的一般概念:在光学立体装置的成像装置提供的图像中,位于焦平面之外(即,在焦平面前面或后面)的对象相对于当焦点对准时它们应处于的位置(即,在焦平面内)偏移或移位。根据本发明,可以根据位移矢量的方向(即,向左或向右)确定需要调整当前对焦位置的方向,以使关注对象20或其已识别特征对焦。此外,位移矢量的幅度允许确定使关注对象20或其被识别特征对焦所需的对焦位置的改变(即,当前对焦位置与最优对焦位置之间的差别)。
图2示意性地示出了光学立体装置10的第一成像单元12和第二成像单元14提供的各种示例性图像以及控制单元16基于这些图像创建的对应的立体合成图像,以说明本发明的主要构思。
针对当关注对象20的已识别特征是焦点对准的(即,第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离基本上等于第一成像单元12和第二成像单元14的焦距)时的情况,图2的中间行(称为“焦点对准”)示意性地示出了关注对象20的已识别且优选地是独特的特征的由第二成像单元14提供的左眼图像(图2的左手列)、由第一成像单元12提供的右眼图像(图2的中间列)以及合成图像(图2的右手列)。在这种情况下,关注对象20的已识别特征的右眼图像和左眼图像基本上是相同的(除了由于第一成像单元12和第二成像单元14相对于提供立体效果的关注对象20的视角略微不同而导致的任何可能的微小变化外)。换言之,在这种情况下,借助于控制单元16仅通过重叠右眼图像和左眼图像而创建的关注对象20的已识别特征的合成图像(在图2的右手列中示出)基本上分别与右眼图像和左眼图像一致。
针对当第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离小于第一成像单元12和第二成像单元14的焦距时的情况,图2的上行(称为为“太近”)示意地示出了关注对象20的已识别且优选地是独特的特征的左眼图像、右眼图像以及合成图像。对于这种情况,关注对象20的已识别特征在右眼图像和左眼图像中位于不同位置处,如从在图2的右手列中所示的针对这种情况的合成图像可以更清楚看到。更具体地,对于这种情况(即,当第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离小于第一成像单元12和第二成像单元14的焦距时),关注对象20的已识别特征相对于左眼图像中关注对象20的相同的已识别特征在右眼视图中向右偏移或移位,如在针对这种情况的合成图像中所示的由位移矢量30表示的那样。
针对相反情况(即,当第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离大于第一成像单元12和第二成像单元14的焦距时),图2的下行(称为“太远”)示意地示出了关注对象20的已识别且优选地是独特的特征的左眼图像、右眼图像以及合成图像。此外,对于该情况,关注对象20的已识别特征在右眼图像和左眼图像中将位于不同位置处,如从在图2的右手列中所示的针对这种情况的合成图像中可以更清楚看到。更具体地,对于这种情况(即,当第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离大于第一成像单元12和第二成像单元14的焦距时),右眼视图中关注对象20的已识别特征相对于左眼图像中关注对象20的已识别特征向左偏移或移位,如在针对这种情况的合成图像中所示的由位移矢量30’表示的那样。
为了能够有利地实现以上发现,根据本发明的光学立体装置10的控制单元16被配置成:(i)在第一成像单元12提供的右眼图像中识别关注对象20的优选地是独特的特征并且在第二成像单元14提供的左眼图像中识别关注对象20的相同特征;(ii)确定由关注对象20的在右眼视图中识别出的特征相对于在左眼图像中识别出的相同特征的位移限定的位移矢量30、30’的方向和幅度;(iii)通过在位移是向右的偏移的情况下增大对焦位置或者在位移是向左的偏移的情况下减小对焦位置,基于位移矢量30、30’的方向和幅度而相对于关注对象20的已识别特征调整当前对焦位置。
如本领域技术人员将认识到的且如上所述,可以通过增大第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离和/或通过减小第一成像单元12和第二成像单元14的焦距来实现对焦位置相对于关注对象20的已识别特征的增大。类似地,可以通过减小第一成像单元12和第二成像单元14与关注对象20的已识别特征之间的距离和/或通过增大第一成像单元12和第二成像单元14的焦距来实现对焦位置的减小,例如,借助于对第一成像单元12和第二成像单元14的光学透镜和元件的适当位置调整。
为了在第一成像单元12提供的右眼图像中识别关注对象20的优选地是独特的特征以及为了在第二成像单元14提供的左眼图像中识别关注对象20的相同特征,可以在控制单元16中实施适当的图像处理算法。例如,如本领域技术人员所公知的,以基于强度值的局部极值的推导表达式和/或算法为基础的差分算法可以用于特征识别。可以在控制单元16中实现类似的图像处理算法,以确定关注对象20在右眼图像中的已识别特征相对于在左眼图像中的相同特征的位移的方向和幅度。
优选地,根据本发明的光学立体装置10的控制单元16还被配置成基于由关注对象20在右眼图像中的已识别特征相对于在左眼图像中的相同特征的位移限定的位移矢量30、30’的方向和幅度,确定最优对焦位置。换言之,根据本发明的光学立体装置10的控制单元16还被配置成基于位移矢量30、30’的方向和幅度确定使关注对象20的已识别特征对焦所需的对焦位置的改变。对于简单的光学立体装置和/或在某些对焦位置范围内,可能是如下情况:位移矢量30、30’的幅度与使光学立体装置10对焦所需的对焦位置的改变(即,当前对焦位置与最优对焦位置之间的差别)之间的关系可以通过线性的或可能稍微更复杂的解析等式来描述。在这样的情况下,可以在控制单元16中实现允许控制单元16基于位移矢量30、30’的幅度确定所需的对焦位置的改变的解析等式。
然而,对于更复杂的光学立体装置,通常可能不能将位移矢量30、30’的幅度与使光学立体装置10对焦所需的对焦位置的改变(即,当前对焦位置与最优对焦位置之间的差别)之间的关系表达为解析等式(在大多数近似时,例如在最优对焦位置附近,可以在控制单元16中实现为解析等式)。优选地,在这样的情况下,控制单元16被配置成访问存储在控制单元16自身或与其连接的存储器单元(未示出)中的适当查找表。本领域技术人员将认识到,可以通过在操作之前执行光学立体装置10的某种校准来制作这样的查找表。例如,可以通过确定相对于最优对焦位置位于以下示例性位置处的单一关注对象20的位移矢量的幅度来制作查找表:-10cm,-5cm,-2.5cm,-1cm,-0.5cm,0cm,0.5cm,1cm,2.5cm,5cm以及10cm。通过这样做,能够将校准对焦位置距最优对焦位置的对应的各距离分配为所确定的位移矢量的幅度。如本领域技术人员将认识到的,在操作中,针对落在查找表中列出的两个连续值之间的位移矢量的幅度,控制单元16可以使用内插机制来确定所需的对焦位置的改变。不同的查找表可以用于不同的缩放因子。
图3示出了强调使根据本发明的光学立体装置10自动对焦的方法的示例性步骤的流程图。该方法优选地包括以下步骤:(a)通过提供右眼图像的第一成像单元12和提供左眼图像的第二成像单元14使关注对象20在第一对焦位置处成像;(b)在右眼图像中识别关注对象20的优选地是独特的特征并在左眼图像中识别相同特征;(c)确定由在右眼图像中识别出的特征相对于在左眼图像中识别出的相同特征的位移限定的位移矢量30、30’的方向和幅度;(d)基于位移矢量30、30’的方向和幅度,相对于关注对象20的已识别特征调整第一成像单元12和第二成像单元14的对焦位置,优选地通过在位移是向右的偏移的情况下增大对焦位置或在位移是向左的偏移的情况下减小对焦位置。
此外,本发明还提供了以下优点。在借助于根据本发明的装置和/或方法以小缩放因子以及提供了可接受锐利度的较大景深确定了对焦位置的情况下,该对焦位置将与最优对焦位置一致或非常接近最优对焦位置。这确保了当用户改变为导致较小景深的较大缩放因子时,图像仍将对焦。此外,根据本发明,直接基于位移矢量的方向(即,左或右)或等同地基于位移矢量的符号(即,正或负)确定关注对象的已识别特征是在通过光学立体装置的给定设置(例如,缩放因子)限定的焦平面前面还是后面。借助于该信息,能够容易地在正确的方向上调整对焦位置。与基于对比度技术的现有技术的自动对焦方法相比,这是有利的,因为这些现有技术的方法要求在至少两个对焦位置处拍摄的一个或多个图像来确定为了改进对焦/锐利度而必须调整对焦位置的方向。
如以上详细描述的本发明不限于所描述的特定装置、用途和方法,因为这些都可以变化。例如,尽管以上已在立体摄像装置或显微镜的情况下描述了本发明,但是本发明也可以有利地应用于包括自动对焦特征的其它光学立体装置(诸如,双筒显微镜)。还应当理解,本文中所使用的术语仅是出于描述特定实施例的目的,而不旨在限制本发明的范围,本发明的范围仅由所附权利要求限制。除非另外限定,本文中使用的所有技术术语和科技术语具有本领域的普通技术人员通常理解的相同含义。
贯穿本说明书和所附权利要求的全文,除非上下文另外要求,措词“包括(comprise)”及其变型(诸如,“包括(comprises)”和“包括(comprising)”)将被理解为暗示包括一个或一组所记载的整体或步骤,但不排除任何其它的一个或一组整体或步骤。
在本说明全文中引用了若干文献。不论在前文或在下文,本文中引用的文献(包括所有专利、专利申请、科技出版物、制造商的规范、说明书等)中的每一个均通过引用而全部合并于此。本文中的任何内容都不应被解释为承认本发明无权借助在先发明而预料到这样的公开。

Claims (14)

1.一种光学立体装置(10),包括:
成像装置(12,14),被配置成借助于合成右眼图像和左眼图像来提供关注对象(20)的立体图像;
控制单元(16),可操作地连接至所述成像装置(12,14),并且被配置成:
(a)接收所述右眼图像和所述左眼图像并调整所述成像装置(12,14)的对焦位置;
(b)在所述右眼图像中识别所述关注对象(20)的特征并在所述左眼图像中识别所述关注对象(20)的相同特征;
(c)确定位移矢量(30,30’)的方向和幅度,所述位移矢量是由在所述右眼图像中识别出的所述关注对象(20)的特征相对于在所述左眼图像中识别出的所述关注对象(20)的相同特征的位移限定的,
其中,所述位移矢量的方向允许确定需要调整当前对焦位置的方向以使所述关注对象(20)或识别出的所述关注对象(20)的特征对焦,
其中,所述位移矢量的幅度允许确定所述当前对焦位置与最优对焦位置之间的差别以使所述关注对象(20)或识别出的所述关注对象(20)的特征对焦;以及
(d)基于所述位移矢量(30,30’)的方向和幅度,相对于所识别出的所述关注对象(20)的特征自动调整所述对焦位置。
2.根据权利要求1所述的光学立体装置(10),其中,所述成像装置包括第一成像单元和第二成像单元(12,14),并且其中,所述第一成像单元(12)提供所述右眼图像以及所述第二成像单元(14)提供所述左眼图像。
3.根据权利要求1所述的光学立体装置(10),其中,所述控制单元(16)被配置成通过在所述位移是向右的偏移的情况下增大所述对焦位置或者在所述位移是向左的偏移的情况下减小所述对焦位置来调整所述对焦位置。
4.根据权利要求3所述的光学立体装置(10),其中,所述控制单元(16)被配置成使用所述位移矢量(30,30’)的方向和幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的解析表示来使所述光学立体装置(10)对焦。
5.根据权利要求3所述的光学立体装置(10),其中,所述控制单元(16)被配置成使用描述所述位移矢量(30,30’)的方向和幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的查找表来使所述光学立体装置(10)对焦。
6.根据权利要求1所述的光学立体装置(10),其中,所述光学立体装置(10)是立体摄像装置。
7.根据权利要求1所述的光学立体装置(10),其中,所述光学立体装置(10)是立体显微镜。
8.一种使光学立体装置(10)自动对焦的方法,所述光学立体装置(10)具有可操作地连接至控制单元(16)并被配置成通过合成右眼图像和左眼图像来提供关注对象(20)的立体图像的成像装置(12,14),其中,所述方法包括下述步骤:
(a)借助于提供所述右眼图像和所述左眼图像的所述成像装置(12,14)使所述关注对象(20)在第一对焦位置成像;
(b)在所述右眼图像中识别所述关注对象(20)的特征,并且在所述左眼图像中识别所述关注对象(20)的相同特征;
(c)确定位移矢量(30,30’)的方向和幅度,所述位移矢量(30,30’)由在所述右眼图像中识别出的所述关注对象(20)的特征相对于在所述左眼图像中识别出的所述关注对象(20)的相同特征的位移限定,
其中,所述位移矢量的方向允许确定需要调整当前对焦位置的方向以使所述关注对象(20)或识别出的所述关注对象(20)的特征对焦,
其中,所述位移矢量的幅度允许确定所述当前对焦位置与最优对焦位置之间的差别以使所述关注对象(20)或识别出的所述关注对象(20)的特征对焦;以及
(d)基于所述位移矢量(30,30’)的方向和幅度,相对于所识别出的所述关注对象(20)的特征自动调整所述对焦位置。
9.根据权利要求8所述的方法,其中,在步骤(a)中,第一成像单元(12)提供所述右眼图像并且第二成像单元(14)提供所述左眼图像。
10.根据权利要求8所述的方法,其中,在步骤(d)中,通过在所述位移是向右的偏移的情况下增大所述对焦位置或者在所述位移是向左的偏移的情况下减小所述对焦位置来调整所述对焦位置。
11.根据权利要求10所述的方法,其中,使用所述位移矢量(30,30’)的方向和幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的解析表达来使所述光学立体装置(10)对焦。
12.根据权利要求10所述的方法,其中,使用描述所述位移矢量(30,30’)的方向和幅度与当前对焦位置和最优对焦位置之间的差别之间的关系的查找表来使所述光学立体装置(10)对焦。
13.根据权利要求8所述的方法,其中,调整所述对焦位置的步骤(d)包括:改变所述成像装置(12,14)与所述关注对象(20)的识别出的特征之间的物理距离和/或改变所述成像装置(12,14)的焦距。
14.根据权利要求8所述的方法,其中,反复地重复步骤(a)至(d)。
CN201180022979.7A 2010-03-29 2011-03-21 光学立体装置及其自动对焦方法 Expired - Fee Related CN102948155B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10003380A EP2373043A1 (en) 2010-03-29 2010-03-29 Optical stereo device and autofocus method therefor
EP10003380.2 2010-03-29
PCT/EP2011/001388 WO2011120645A1 (en) 2010-03-29 2011-03-21 Optical stereo device and autofocus method therefor

Publications (2)

Publication Number Publication Date
CN102948155A CN102948155A (zh) 2013-02-27
CN102948155B true CN102948155B (zh) 2016-11-09

Family

ID=42289529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180022979.7A Expired - Fee Related CN102948155B (zh) 2010-03-29 2011-03-21 光学立体装置及其自动对焦方法

Country Status (7)

Country Link
EP (2) EP2373043A1 (zh)
JP (1) JP5886827B2 (zh)
KR (1) KR20130009996A (zh)
CN (1) CN102948155B (zh)
BR (1) BR112012025607A2 (zh)
RU (1) RU2576485C2 (zh)
WO (1) WO2011120645A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108039B4 (de) * 2012-08-30 2022-05-05 Renfert Gmbh Dentaltechnikbilderfassungsvorrichtung
JP2015102602A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体
KR101784787B1 (ko) 2014-03-21 2017-10-12 후아웨이 테크놀러지 컴퍼니 리미티드 이미징 기기 및 이미징 기기에서의 자동 초점맞춤 방법과 대응하는 컴퓨터 프로그램
CN108351506B (zh) * 2015-11-11 2020-12-04 斯科皮奥实验室有限公司 用于计算显微镜的自动聚焦系统
DE102017110816A1 (de) 2017-05-18 2018-07-12 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
WO2020121456A1 (ja) * 2018-12-12 2020-06-18 株式会社ニコン 顕微鏡、顕微鏡用調節装置、顕微鏡システム、顕微鏡の制御方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
JP2685619B2 (ja) * 1989-04-28 1997-12-03 池上通信機株式会社 立体カメラのビューファインダ装置
US5864359A (en) * 1995-05-30 1999-01-26 Smith & Nephew, Inc. Stereoscopic autofocusing based on comparing the left and right eye images
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
RU2160463C2 (ru) * 1999-02-24 2000-12-10 Тверской государственный технический университет Электронная фотокамера
DE10113084A1 (de) * 2001-03-17 2002-09-19 Leica Microsystems Autofokus-Mikroskopsystem
JP2003296740A (ja) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd オブジェクト監視方法及びオブジェクト監視カメラ装置
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
DE102005063503B4 (de) * 2005-03-10 2011-05-19 Inaba, Minoru, Oyama 3D-Display und 3D-Projektor
US7729530B2 (en) * 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5223486B2 (ja) * 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡

Also Published As

Publication number Publication date
WO2011120645A1 (en) 2011-10-06
JP5886827B2 (ja) 2016-03-16
RU2576485C2 (ru) 2016-03-10
EP2373043A1 (en) 2011-10-05
EP2553929A1 (en) 2013-02-06
BR112012025607A2 (pt) 2019-04-02
JP2013528006A (ja) 2013-07-04
KR20130009996A (ko) 2013-01-24
CN102948155A (zh) 2013-02-27
RU2012145888A (ru) 2014-05-10

Similar Documents

Publication Publication Date Title
US9479759B2 (en) Optical stereo device and autofocus method therefor
Hu et al. High-resolution optical see-through multi-focal-plane head-mounted display using freeform optics
Huang et al. High-performance integral-imaging-based light field augmented reality display using freeform optics
CN102948155B (zh) 光学立体装置及其自动对焦方法
JP6525880B2 (ja) アドレス指定可能な焦点手がかりを用いた立体視ディスプレイ
Wilson et al. Design and demonstration of a vari-focal optical see-through head-mounted display using freeform Alvarez lenses
Takaki et al. Super multi-view display with a lower resolution flat-panel display
CN109997070B (zh) 包括调制叠层的近眼显示系统
JP5948645B2 (ja) レンズ制御装置およびレンズ制御装置を備えた交換レンズ
CN108873275B (zh) 变焦适配器光学系统、变焦适配器及内窥镜系统
CN102822740A (zh) 立体成像装置和用于自动调节立体成像装置的焦点的方法
CN108720934A (zh) 用于操作医学-光学显示系统的方法
KR20130121520A (ko) 스테레오 현미경 시스템
JP2017134399A (ja) 眼幅の調整を必要としないメガネなし3dディスプレイ装置
Bae et al. 4-mm-diameter three-dimensional imaging endoscope with steerable camera for minimally invasive surgery (3-D-MARVEL)
CN115561887A (zh) 用于机器视觉高光学扩展量模块化变焦镜头
Zhang et al. Design of a near-eye display measurement system using an anthropomorphic vision imaging method
Kwan et al. High resolution, programmable aperture light field laparoscope for quantitative depth mapping
Ueda et al. Illuminatedzoom: spatially varying magnified vision using periodically zooming eyeglasses and a high-speed projector
JP2006267767A (ja) 画像表示装置
EP3396431A1 (en) Monocular microscope for capturing stereoscopic image
Kwan et al. Prism-based tri-aperture laparoscopic objective for multi-view acquisition
JP4646437B2 (ja) 立体画像観察装置
Xu et al. Accurate measurement of virtual image distance for near-eye displays based on auto-focusing
Hoegele Afocal zoom lenses for stereo surgical microscopes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

Termination date: 20170321