CN106292162A - 立体照相装置和相关控制方法 - Google Patents

立体照相装置和相关控制方法 Download PDF

Info

Publication number
CN106292162A
CN106292162A CN201610036821.XA CN201610036821A CN106292162A CN 106292162 A CN106292162 A CN 106292162A CN 201610036821 A CN201610036821 A CN 201610036821A CN 106292162 A CN106292162 A CN 106292162A
Authority
CN
China
Prior art keywords
image
capture device
image capture
stereographic
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610036821.XA
Other languages
English (en)
Inventor
吴易叡
詹政哲
黄柏豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN106292162A publication Critical patent/CN106292162A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种立体照相装置,包括:第一图像捕捉装置,用来沿着第一光轴以第一视野捕捉第一图像;第二图像捕捉装置,用来与该第一图像捕捉装置捕捉该第一图像同时,沿着第二光轴以第二视野捕捉第二图像,其中该第一视野和该第二视野重叠;以及处理器,用来根据该立体照相装置的操作模式,动态调整该第一视野和该第二视野之间的该重叠。通过利用本发明,可使用户更方便使用立体照相装置。

Description

立体照相装置和相关控制方法
技术领域
本发明有关于照相装置(camera device),尤其有关于可动态调整多个图像捕捉装置的视野(Field Of View,FOV)重叠区域的立体照相装置(stereoscopiccamera device)和相关控制方法。
背景技术
随着技术的进步,如今具有立体照相装置的电子装置被广泛应用。然而,在市场上的电子装置中,传统立体照相装置只能用来以固定相机配置(cameraarrangement)捕捉图像,这会使不同应用产生图像不方便并更复杂。因此,需要一种立体照相装置和相关控制方法,来解决上述问题。
发明内容
有鉴于此,本发明提供一种立体照相装置,包括:第一图像捕捉装置,用来沿着第一光轴以第一视野捕捉第一图像;第二图像捕捉装置,用来与该第一图像捕捉装置捕捉该第一图像同时,沿着第二光轴以第二视野捕捉第二图像,其中该第一视野和该第二视野重叠;以及处理器,用来根据该立体照相装置的操作模式,动态调整该第一视野和该第二视野之间的该重叠。
本发明另提供一种控制方法,用于立体照相装置,其中该立体照相装置包括第一图像捕捉装置和第二图像捕捉装置,该控制方法包括:利用该第一图像捕捉装置沿着第一光轴以第一视野捕捉第一图像;利用该第二图像捕捉装置与该第一图像捕捉装置捕捉该第一图像同时,沿着第二光轴以第二视野捕捉第二图像,其中该第一视野和该第二视野重叠;以及根据该立体照相装置的操作模式,动态调整该第一视野和该第二视野之间的该重叠。
通过利用本发明,可使用户更方便使用立体照相装置。
如下详述本发明的最佳实施例。阅读完以下描述和附图后,本领域技术人员可轻易理解本发明的精神。
附图说明
图1是根据本发明一实施例的立体照相装置的示意图。
图2A-2C是根据本发明一实施例的立体照相装置的不同操作模式的示意图。
图2D-2F是根据本发明一实施例的第一图像捕捉装置和第二图像捕捉装置的FOV之间的重叠区域的示意图。
图3A-3C是根据本发明一实施例的立体照相装置的不同操作模式中光轴旋转的示意图。
图4A-4B是根据本发明另一实施例的立体照相装置的不同操作模式的示意图。
图5A-5D是根据本发明实施例的改变第一图像捕捉装置和第二图像捕捉装置的光轴的不同实施方式示意图。
图6A是根据本发明一实施例的第一图像捕捉装置和第二图像捕捉装置的旋转控制的方块示意图。
图6B是根据本发明一实施例的旋转控制方法的流程图。
图7是根据本发明一实施例的立体照相装置的控制方法流程图。
具体实施方式
在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解,硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”或“包括”为开放式的用语,故应解释成“包含但不限定于”;“组件”、“系统”和“设备”意指与计算机有关的实体,可为硬件、软件或硬件以及软件的组合。另外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表该第一装置可直接电气连接于该第二装置,或透过其他装置或连接手段间接地电气连接至该第二装置。
图1是根据本发明一实施例的立体照相装置100的示意图。立体照相装置100可为数码照相模块,可集成在消费电子装置或任何其他电子组件或可嵌入数码照相功能的装置中(包括专业视频录像和静物照相机)。立体照相装置100包括多个图像捕捉装置,如可包括第一图像捕捉装置110和第二图像捕捉装置120。此外,立体照相装置100可包括处理器130。第一图像捕捉装置110和第二图像捕捉装置120中的每个可包括一个或多个单独的镜头以及一个或多个单独的传感器(如图像传感器),以探测并转换光。图像捕捉装置也可包括数码相机、胶卷相机、数字传感器、电荷耦合装置或其他图像捕捉装置。第一图像捕捉装置110和第二图像捕捉装置120用来在不同的视角(view angle)捕捉图像。具体来说,第一图像捕捉装置110用来沿着第一光轴以第一FOV捕捉第一图像;第二图像捕捉装置120用来沿着第二光轴以第二FOV捕捉第二图像。第一图像捕捉装置110和第二图像捕捉装置120的捕捉操作可同时或同步进行,第一FOV和第二FOV可能会有重叠。在一实施例中,第一图像捕捉装置110和第二图像捕捉装置120可分别为左侧相机和右侧相机,第一图像和第二图像可分别为左眼图像和右眼图像。在另一实施例中,第一图像捕捉装置110和第二图像捕捉装置120可分别为下侧相机和上侧相机,第一图像和第二图像可分别为下方视图图像和上方视图图像。处理器130用来动态调整第一FOV和第二FOV之间的重叠。处理器130可根据立体照相装置100的操作模式进行调整,具体细节将在下面进行描述。
图2A-2C是根据本发明一实施例的立体照相装置的不同操作模式的示意图。举例来说,立体照相装置100可具有多种操作模式,如图2A-2C中分别显示的平行模式(parallel mode)、发散模式(divergence mode)和收敛模式(convergencemode)。在立体照相装置100的不同操作模式中,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在不同位置交叉或在任何位置均不交叉。举例来说,如图2A所示,在平行模式中,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴彼此平行,因此两个光轴在任何位置均不交叉。如图2B所示,在发散模式中,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在第一图像捕捉装置110和第二图像捕捉装置120的后面交叉。如图2C所示,在收敛模式中,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在第一图像捕捉装置110和第二图像捕捉装置120的前面交叉。如图2A-2C清楚所示,光轴之间的不同交叉情况,会造成第一FOV和第二FOV之间的重叠也不同。
请参照图1和图2A-2C。第一图像捕捉装置110包括第一镜头111、第一控制单元112和第一图像传感器113。第二图像捕捉装置120包括第二镜头121、第二控制单元122和第二图像传感器123。请注意,在不同的实施例中,第一镜头111和第二镜头121可包括一个或多个镜头。处理器130可通过旋转第一图像捕捉装置110和第二图像捕捉装置120中的至少一个,动态调整第一FOV和第二FOV的重叠。举例来说,第一控制单元112可包括机械硬件以及/或者相关软件控制模块,可控制第一图像捕捉装置110在第一光轴所在的平面上旋转第一光轴,或者绕着第一光轴的延伸方向旋转第一图像捕捉装置110(如绕着第一图像捕捉装置110中心进行旋转)。第二控制单元122可控制第二图像捕捉装置120在第二光轴所在的平面上旋转第二光轴。此外,当第一图像捕捉装置110的旋转和第二图像捕捉装置120的旋转分别基于第一光轴所在的平面和第二光轴所在的平面时,处理器130可控制第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴之间的夹角θ。由于上述旋转操作,立体照相装置100可在不同模式(如图2A-2C所示的平行模式、发散模式和收敛模式)之间切换。
图2D-2F是根据本发明一实施例的第一图像捕捉装置110和第二图像捕捉装置120的FOV之间的重叠区域的示意图。在一实施例中,处理器130可将第一图像捕捉装置110捕捉的第一图像与第二图像捕捉装置120捕捉的第二图像进行合并(merge),以产生第三图像,其中第三图像沿着第三光轴覆盖第三FOV。第三光轴可为第一光轴和第二光轴之一。举例来说,如图2D所示,当立体照相装置100操作在平行模式时,处理器130将第一图像和第二图像合并,产生立体图像作为第三图像,其中第一图像和第二图像可分别为左眼图像和右眼图像。处理器130可根据第一图像和第二图像计算深度信息(如基于第一图像捕捉装置110和第二图像捕捉装置120之间的视差(parallax)),从而产生立体图像。
当立体照相装置100操作在发散模式中时,处理器130可将第一图像和第二图像进行拼接(stitch),以产生输出图像。其中输出图像可为超广角图像(ultra-wide angle image)、全景图像(panorama image)或球幕图像(sphereimage)。如图2E所示,发散模式中第一FOV和第二FOV之间的重叠区域220比平行模式中的重叠区域210小。
如图2F所示,当立体照相装置100操作在收敛模式中时,处理器130可采用第一图像和第二图像产生输出图像,其中输出图像具有更高的图像质量,或者优化了深度信息。收敛模式中第一FOV和第二FOV之间的重叠区域230比平行模式中的重叠区域210大。举例来说,在收敛模式中,处理器130进一步进行以下操作之一或多个:获取高动态范围(High Dynamic Range,HDR)图像、噪声降低(noise reduction)以及微距摄影(macro photography)。
图3A-3C是根据本发明一实施例的立体照相装置100的不同操作模式中光轴旋转的示意图。请参照图1和图3A。如图3A所示,第一控制单元112可控制第一图像捕捉装置110绕着第一光轴的延伸方向旋转(如绕着第一图像捕捉装置110的中心旋转),使得第一图像捕捉装置110可通过旋转光轴本身进行旋转,且捕捉到的第一图像可在纵向模式(portrait mode)和横向模式(landscape mode)之间切换。类似地,第二控制单元122可控制第二图像捕捉装置120绕着第二光轴的延伸方向旋转(如绕着第二图像捕捉装置120的中心旋转),使得第二图像捕捉装置120可通过旋转光轴本身进行旋转,且捕捉到的第二图像可在纵向模式和横向模式之间切换。举例来说,处理器130可控制第一图像捕捉装置110以及/或者第二图像捕捉装置120旋转其各自光轴,以分别形成具有不同长宽比(aspectratio)的第一图像和第二图像。
如图3B所示,第一图像捕捉装置110捕捉的第一图像和第二图像捕捉装置120捕捉的第二图像均为纵向模式,处理器130将第一图像和第二图像组合,以产生全景图像。
如图3C所示,第一图像捕捉装置110捕捉的第一图像和第二图像捕捉装置120捕捉的第二图像均为横向模式,处理器130将第一图像和第二图像组合,以产生超广角图像。
图4A-4B是根据本发明另一实施例的立体照相装置100的不同操作模式的示意图。第一图像捕捉装置110和第二图像捕捉装置120的旋转控制可以以不同的方式进行。举例来说,当立体照相装置100操作在平行模式中时,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴彼此平行,并与第一图像捕捉装置110和第二图像捕捉装置120放置的表面垂直。在平行模式中,第一图像捕捉装置110和第二图像捕捉装置120可同时旋转,以维持二者之间的平行关系。具体来说,如图4A所示,第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴保持平行,但不再与第一图像捕捉装置110和第二图像捕捉装置120放置的表面垂直,所以第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴方向一致。
在另一实施例中,如图4B所示,第一图像捕捉装置110和第二图像捕捉装置120的旋转可自由、独立地进行控制,因此第一图像捕捉装置110和第二图像捕捉装置120可聚焦于不同的物体。此外,当处理器130执行追踪(tracking)应用时,处理器130可控制第一图像捕捉装置110和第二图像捕捉装置120同时分别追踪第一移动物体和第二移动物体。处理器130也可将第一图像和第二图像进行拼接产生输出图像,或单独保存第一图像和第二图像用于后续处理。
图5A-5D是根据本发明实施例的改变第一图像捕捉装置和第二图像捕捉装置的光轴的不同实施方式示意图。为了便于描述,图5A-5D中的实施例采用第一图像捕捉装置110的第一光轴进行描述。本领域技术人员可以理解,这些实施方式也可用于第二图像捕捉装置120。
请参照5A,第一光轴默认与第一图像捕捉装置110的镜头表面垂直。有多种方法来改变第一图像捕捉装置110的第一光轴。举例来说,如图5B所示,第一图像捕捉装置110的整个模块可旋转,使得第一光轴相应旋转。或者,第一控制单元112可通过移动镜头的全部或一部分来倾斜第一光轴。举例来说,如图5C所示,其中一个镜头被移动,第一光轴相应旋转。或者,如图5D所示,第一控制单元112也可通过移动第一图像传感器113,来倾斜第一光轴。
在以下部分,将描述第一图像捕捉装置110和第二图像捕捉装置120的旋转控制的细节。图6A是根据本发明一实施例的第一图像捕捉装置110和第二图像捕捉装置120的旋转控制的方块示意图。图6B是根据本发明一实施例的旋转控制方法的流程图。该方法可包括一个或多个操作、动作或功能,由一个或多个步骤(如步骤610-650)表示。尽管本实施例以分离的步骤描述,基于所需实施方式,各步骤可划分成额外的步骤、组合成更少的步骤或进行删除。本方法可由图1中的立体照相装置100和图7中的旋转控制实现,但本发明并不限于此。以下将描述图6B中的方法通过图1中的立体照相装置100采用图6A中的旋转控制进行,但仅为说明的,并无意图限制本发明。本方法从610开始。
在610中,用户可从用户界面选择应用。举例来说,用户可开始图像捕捉应用或视频录像应用。在620中,旋转控制单元(如处理器130)从用户界面接收信息和一个或多个以下信号/数据:自动对焦(Auto Focus,AF)控制信号、同步控制信号、第一图像的图像内容、第二图像的图像内容以及预校准(pre-calibrated)数据。处理器130确定第一图像捕捉装置110的第一旋转设定和第二图像捕捉装置120的第二旋转设定。换句话说,处理器130可根据AF控制信号、同步控制信号、第一图像的图像内容、第二图像的图像内容以及预校准数据中的一个或多个,动态调整第一FOV和第二FOV的重叠。
AF控制信号可形成自动对焦控制单元(图中未示),并用来调整第一图像捕捉装置110和第二图像捕捉装置120的焦点。预校准数据记录最优旋转角度(optimum rotation angles)、焦距(focus distance)和焦点信息(如数模转换器指数)之间的关系,并可存储到如EEPROM等的非易失性存储器中。
需注意,第一旋转设定可指示第一图像捕捉装置110可如何被旋转。具体来说,第一旋转设定可包括在第一光轴的平面旋转第一图像捕捉装置110的旋转角度,以及/或者绕着第一图像捕捉装置110的中心旋转第一图像捕捉装置110的旋转角度。类似地,第二旋转设定可指示第二图像捕捉装置120可如何被旋转。具体来说,第二旋转设定可包括在第二光轴的平面旋转第二图像捕捉装置120的旋转角度,以及/或者绕着第二图像捕捉装置120的中心旋转第二图像捕捉装置120的旋转角度。
在630中,第一控制单元112和第二控制单元122分别根据第一旋转设定和第二旋转设定,旋转第一图像捕捉装置110和第二图像捕捉装置120。
在640中,第一控制单元112和第二控制单元122旋转完成后,返回第一完成旋转信号和第二完成旋转信号给旋转同步控制单元(如处理器130)。
在650中,旋转同步控制单元(如处理器130)返回同步控制信号给应用,使得视频录像应用被通知以开始视频录像。此外,旋转同步控制单元也可返回同步控制信号给旋转控制单元,以在需要时使能下一个旋转设定。
在以下段落,描述多种估计旋转角度的方法。
预校准时期的离线校准阶段
在离线校准阶段,用于平行模式、发散模式和收敛模式的预校准数据被训练(trained)求得。
步骤1:可建立棋盘图、点阵图等,如第一图像捕捉装置110和第二图像捕捉装置120可用来捕捉棋盘图的图像。因此,可计算并记录第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴之间的夹角。
步骤2:计算每个模式中第一FOV和第二FOV之间的重叠百分比,作为“场景重叠分数”。
步骤3:重复进行步骤1和步骤2,以获得最大和最小分数。最大或最小分数依赖于立体照相装置100的操作模式。举例来说,为了获取广角图像,可采用发散模式,且场景重叠分数应最小化。也就是说,第一FOV和第二FOV之间的重叠区域应尽可能小,以根据不同需求或设计,获取广角图像或不同范围。
步骤4:估计的最优旋转角度、焦距和焦点信息(如数模转换器指数)存储到如EEPROM等的非易失性存储器中。
步骤5:重复进行步骤1-4,摄影距离相应改变,以获取用于不同场景距离的最优旋转角度。
预校准时期的在线校准阶段
在在线校准阶段,用于平行模式、发散模式和收敛模式的预校准数据被获取并传送给第一图像捕捉装置110和第二图像捕捉装置120。
步骤1:从离线校准阶段描述的非易失性存储器中检索(retrieve)相关校准数据。
步骤2:从检索到的校准数据中获取焦点信息。
步骤3:从检索到的校准数据中获取旋转角度。
步骤4:将获取的旋转角度提供给第一图像捕捉装置110和第二图像捕捉装置120。
步骤5:接收到同步控制信号后,处理第一图像和第二图像以生成输出图像。举例来说,为了获取发散模式中的广角图像,处理器130需进行图像拼接算法,以将多个图像(如第一图像和第二图像)拼接成广角图像。
在线计算时期的估计阶段
在估计阶段,第一图像和第二图像的图像特征被用于估计平行模式、发散模式或收敛模式中第一图像捕捉装置110和第二图像捕捉装置120的旋转角度。
步骤1:从第一图像捕捉装置110获取第一图像并从第二图像捕捉装置120获取第二图像。
步骤2:计算第一图像和第二图像的图像特征。举例来说,图像特征可为像素颜色、特征点或任何能够代表图像的特征。
步骤3:计算出的第一图像和第二图像的图像特征被用来估计第一图像捕捉装置110和第二图像捕捉装置120的旋转角度。举例来说,特征提取和匹配算法可用来获取一组特征对应(feature correspondence),从而计算第一图像捕捉装置110和第二图像捕捉装置120之间的相对角度。因此,第一图像捕捉装置110和第二图像捕捉装置120的旋转角度可相应确定。
在线计算时期的应用阶段
在应用阶段,用于平行模式、发散模式和收敛模式的旋转角度被获取并传送给第一图像捕捉装置110和第二图像捕捉装置120。
步骤1:将确定的旋转角度提供给第一图像捕捉装置110和第二图像捕捉装置120。
步骤2:接收到同步控制信号后,处理第一图像和第二图像以生成输出图像。举例来说,为了获取发散模式中的广角图像,处理器130需进行图像拼接算法,以将多个图像(如第一图像和第二图像)拼接成广角图像。
图7是根据本发明一实施例的立体照相装置100的控制方法流程图。控制方法可包括一个或多个操作、动作或功能,由一个或多个步骤(如步骤S710-S730)表示。尽管本实施例以分离的步骤描述,基于所需实施方式,各步骤可划分成额外的步骤、组合成更少的步骤或进行删除。本方法可由图1中的立体照相装置100实现,但本发明并不限于此。以下将描述图7中的控制方法通过图1中的立体照相装置100采用图6A中的旋转控制进行,但仅为说明的,并无意图限制本发明。本方法从710开始。
在步骤S710中,第一图像捕捉装置110用来沿着第一光轴以第一视野捕捉第一图像。在步骤S720中,与第一图像捕捉装置110捕捉第一图像同时,第二图像捕捉装置120用来沿着第二光轴以第二视野捕捉第二图像。其中,第一视野与第二视野重叠。在步骤S730中,第一视野与第二视野的重叠根据立体照相装置的操作模式进行动态调整。
据此,本发明提供了立体照相装置和相关控制方法的不同实施例。立体照相装置和相关控制方法可根据立体照相装置的操作模式,动态调整相机视野的重叠区域。在不同的操作模式中,第一图像捕捉装置110和第二图像捕捉装置120的光轴可在图像捕捉装置之前交叉(如收敛模式)、在图像捕捉装置之后交叉(如发散模式)或不彼此交叉(如平行模式)。第一图像捕捉装置110的第一FOV和第二图像捕捉装置120的第二FOV之间的重叠区域也可根据操作模式进行改变。此外,第一图像和第二图像之间的长宽比也可通过分别绕着第一图像捕捉装置110的中心旋转第一图像捕捉装置110和绕着第二图像捕捉装置120的中心旋转第二图像捕捉装置120而调整。相应地,第一图像和第二图像可被合并以生成输入图像用于不同的应用,如HDR图像、超广角图像、全景图像、球幕图像、噪声降低以及微距摄影。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明,任何熟习此技艺者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,因此本发明的保护范围当视后附的权利要求所界定者为准。

Claims (23)

1.一种立体照相装置,包括:
第一图像捕捉装置,用来沿着第一光轴以第一视野捕捉第一图像;
第二图像捕捉装置,用来与该第一图像捕捉装置捕捉该第一图像同时,沿着第二光轴以第二视野捕捉第二图像,其中该第一视野和该第二视野重叠;以及
处理器,用来根据该立体照相装置的操作模式,动态调整该第一视野和该第二视野之间的该重叠。
2.如权利要求1所述的立体照相装置,其特征在于,在该立体照相装置的不同操作模式中,该第一图像捕捉装置的该第一光轴和该第二图像捕捉装置的该第二光轴在不同位置交叉或在任何位置均不交叉。
3.如权利要求1所述的立体照相装置,其特征在于,该处理器进一步将该第一图像和该第二图像合并以产生第三图像,其中该第三图像覆盖沿着第三光轴的第三视野。
4.如权利要求1所述的立体照相装置,其特征在于,该处理器根据自动对焦控制信号、同步控制信号、该第一图像的图像内容、该第二图像的图像内容以及预校准数据中的一个或多个,动态调整该第一视野和该第二视野之间的该重叠。
5.如权利要求1所述的立体照相装置,其特征在于,该处理器通过至少旋转该第一图像捕捉装置和该第二图像捕捉装置之一,动态调整该第一视野和该第二视野之间的该重叠。
6.如权利要求5所述的立体照相装置,其特征在于,至少旋转该第一图像捕捉装置和该第二图像捕捉装置之一包括一个或多个以下操作:在该第一光轴所在的平面上旋转该第一图像捕捉装置的该第一光轴、绕着该第一光轴的延伸方向旋转该第一图像捕捉装置的该第一光轴、在该第二光轴所在的平面上旋转该第二图像捕捉装置的该第二光轴、以及绕着该第二光轴的延伸方向旋转该第二图像捕捉装置的该第二光轴。
7.如权利要求3所述的立体照相装置,其特征在于,在动态调整该第一视野和该第二视野之间的该重叠时,该第三图像具有至少两个不同的长宽比。
8.如权利要求1所述的立体照相装置,其特征在于,当该立体照相装置操作在平行模式中时,该第一图像捕捉装置的该第一光轴与该第二图像捕捉装置的该第二光轴平行。
9.如权利要求8所述的立体照相装置,其特征在于,在该平行模式中,该处理器进一步根据该第一图像和该第二图像计算深度信息。
10.如权利要求1所述的立体照相装置,其特征在于,当该立体照相装置操作在发散模式中时,该第一图像捕捉装置的该第一光轴与该第二图像捕捉装置的该第二光轴在该第一图像捕捉装置和该第二图像捕捉装置的后面交叉。
11.如权利要求10所述的立体照相装置,其特征在于,在该发散模式中,该处理器进一步进行一个或多个以下应用:获取超广角图像、获取全景图像和球幕图像。
12.如权利要求1所述的立体照相装置,其特征在于,当该立体照相装置操作在收敛模式中时,该第一图像捕捉装置的该第一光轴与该第二图像捕捉装置的该第二光轴在该第一图像捕捉装置和该第二图像捕捉装置的前面交叉。
13.如权利要求12所述的立体照相装置,其特征在于,在该收敛模式中,该处理器进一步进行一个或多个以下应用:获取高动态范围图像、噪声降低和微距摄影。
14.如权利要求3所述的立体照相装置,其特征在于,在至少一操作模式中,该第一图像捕捉装置和该第二图像捕捉装置中的至少一个处于纵向模式或横向模式,使得该第三图像具有不同的长宽比。
15.如权利要求1所述的立体照相装置,其特征在于,该第一图像捕捉装置和该第二图像捕捉装置聚焦不同的物体,或者聚焦相同的一个或多个物体。
16.如权利要求1所述的立体照相装置,其特征在于,该处理器进一步:
计算该第一图像和该第二图像的图像特征,根据该图像特征计算该第一图像捕捉装置和该第二图像捕捉装置之间的相对角度,并根据该相对角度确定该第一图像捕捉装置的该第一光轴以及/或者该第二图像捕捉装置的该第二光轴的旋转角度。
17.一种控制方法,用于立体照相装置,其中该立体照相装置包括第一图像捕捉装置和第二图像捕捉装置,该控制方法包括:
利用该第一图像捕捉装置沿着第一光轴以第一视野捕捉第一图像;
利用该第二图像捕捉装置与该第一图像捕捉装置捕捉该第一图像同时,沿着第二光轴以第二视野捕捉第二图像,其中该第一视野和该第二视野重叠;以及
根据该立体照相装置的操作模式,动态调整该第一视野和该第二视野之间的该重叠。
18.如权利要求17所述的控制方法,其特征在于,在该立体照相装置的不同操作模式中,该第一图像捕捉装置的该第一光轴和该第二图像捕捉装置的该第二光轴在不同位置交叉或在任何位置均不交叉。
19.如权利要求17所述的控制方法,其特征在于,进一步包括:将该第一图像和该第二图像合并以产生第三图像,其中该第三图像覆盖沿着第三光轴的第三视野。
20.如权利要求17所述的控制方法,其特征在于,动态调整该第一视野和该第二视野之间的该重叠包括:通过至少旋转该第一图像捕捉装置和该第二图像捕捉装置之一,动态调整该第一视野和该第二视野之间的该重叠。
21.如权利要求20所述的控制方法,其特征在于,至少旋转该第一图像捕捉装置和该第二图像捕捉装置之一包括一个或多个以下操作:在该第一光轴所在的平面上旋转该第一图像捕捉装置的该第一光轴、绕着该第一光轴的延伸方向旋转该第一图像捕捉装置的该第一光轴、在该第二光轴所在的平面上旋转该第二图像捕捉装置的该第二光轴、以及绕着该第二光轴的延伸方向旋转该第二图像捕捉装置的该第二光轴。
22.如权利要求19所述的控制方法,其特征在于,在动态调整该第一视野和该第二视野之间的该重叠时,该第三图像具有至少两个不同的长宽比。
23.如权利要求17所述的控制方法,其特征在于,进一步包括:
计算该第一图像和该第二图像的图像特征;
根据该图像特征计算该第一图像捕捉装置和该第二图像捕捉装置之间的相对角度;以及
根据该相对角度确定该第一图像捕捉装置的该第一光轴以及/或者该第二图像捕捉装置的该第二光轴的旋转角度。
CN201610036821.XA 2015-06-29 2016-01-20 立体照相装置和相关控制方法 Pending CN106292162A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562186137P 2015-06-29 2015-06-29
US62/186,137 2015-06-29
US14/957,973 US20160381345A1 (en) 2015-06-29 2015-12-03 Stereoscopic camera device and associated control method
US14/957,973 2015-12-03

Publications (1)

Publication Number Publication Date
CN106292162A true CN106292162A (zh) 2017-01-04

Family

ID=57603136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610036821.XA Pending CN106292162A (zh) 2015-06-29 2016-01-20 立体照相装置和相关控制方法

Country Status (2)

Country Link
US (1) US20160381345A1 (zh)
CN (1) CN106292162A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503623B2 (en) 2014-06-03 2016-11-22 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
TWI611248B (zh) * 2016-07-18 2018-01-11 實盈光電股份有限公司 360度全景相機模組及裝置
US10805600B2 (en) * 2016-07-29 2020-10-13 Applied Minds, Llc Methods and associated devices and systems for enhanced 2D and 3D vision
FR3073390A1 (fr) * 2017-11-16 2019-05-17 Pierre Gaussen Seven 3d
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
CN112655194B (zh) 2018-09-11 2022-07-19 三星电子株式会社 用于捕获视图的电子装置和方法
US11589029B2 (en) * 2019-04-29 2023-02-21 Microvision, Inc. 3D imaging system for RGB-D imaging
JP7399989B2 (ja) * 2019-06-06 2023-12-18 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11270464B2 (en) * 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11553123B2 (en) 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
EP3866455A1 (en) * 2020-02-14 2021-08-18 InterDigital CE Patent Holdings Device and method for capturing images or video
US11950022B1 (en) * 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
US11838653B2 (en) * 2022-02-03 2023-12-05 e-con Systems India Private Limited Wide-angle streaming multi-camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1034621A (zh) * 1988-01-26 1989-08-09 国营汉光机械厂 单机立体电影摄影装置
JPH10224820A (ja) * 1997-02-07 1998-08-21 Canon Inc 複眼カメラ装置
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 2眼式デジタルカメラ
CN201876664U (zh) * 2010-08-05 2011-06-22 中航华东光电有限公司 一种双目立体摄像机
CN102986233A (zh) * 2010-07-14 2013-03-20 夏普株式会社 图像摄像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7872665B2 (en) * 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1034621A (zh) * 1988-01-26 1989-08-09 国营汉光机械厂 单机立体电影摄影装置
JPH10224820A (ja) * 1997-02-07 1998-08-21 Canon Inc 複眼カメラ装置
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 2眼式デジタルカメラ
CN102986233A (zh) * 2010-07-14 2013-03-20 夏普株式会社 图像摄像装置
CN201876664U (zh) * 2010-08-05 2011-06-22 中航华东光电有限公司 一种双目立体摄像机

Also Published As

Publication number Publication date
US20160381345A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
CN106292162A (zh) 立体照相装置和相关控制方法
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
KR101503333B1 (ko) 촬상장치 및 그 제어 방법
CN104980644B (zh) 一种拍摄方法及装置
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
CN101959020B (zh) 成像装置和成像方法
JP4894712B2 (ja) 構図判定装置、構図判定方法、プログラム
JP5397751B2 (ja) カメラおよび画像補正方法
US20100097442A1 (en) Controller in a Camera for Creating a Panoramic Image
TWI433530B (zh) 具有立體影像攝影引導的攝影系統與方法及自動調整方法
WO2020125797A1 (zh) 一种终端、拍摄方法及存储介质
US20130016274A1 (en) Image pickup apparatus and image pickup device
US20210405518A1 (en) Camera system with a plurality of image sensors
CN104853105B (zh) 基于可控制镜头倾斜的摄像装置的三维快速自动对焦方法
CN103997599A (zh) 图像处理设备、图像拾取设备以及图像处理方法
CN104902190A (zh) 控制方法、摄像装置及电子设备
CN103945133B (zh) 一种可见光镜头的自动聚焦装置及方法
CN114584705A (zh) 变焦控制装置、变焦控制装置的控制方法和记录介质
CN102724399A (zh) 基于场景深度图的缩放、孔径和快门速度的自动设定
CN105959555B (zh) 拍摄模式自动调整方法、装置和移动终端
KR102708591B1 (ko) 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
CN105959534B (zh) 图像处理方法、装置及电子设备
US20220385882A1 (en) Information processing apparatus, control method, and non-transitory computer readable medium
JP5889022B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104

WD01 Invention patent application deemed withdrawn after publication