CN110753220A - 移动设备中的三相机对准 - Google Patents

移动设备中的三相机对准 Download PDF

Info

Publication number
CN110753220A
CN110753220A CN201910349777.1A CN201910349777A CN110753220A CN 110753220 A CN110753220 A CN 110753220A CN 201910349777 A CN201910349777 A CN 201910349777A CN 110753220 A CN110753220 A CN 110753220A
Authority
CN
China
Prior art keywords
camera module
camera
calibrated
module
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910349777.1A
Other languages
English (en)
Other versions
CN110753220B (zh
Inventor
章国治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Black Sesame International Holding Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Publication of CN110753220A publication Critical patent/CN110753220A/zh
Application granted granted Critical
Publication of CN110753220B publication Critical patent/CN110753220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种三相机对准系统，包括具有第一固定变焦的第一相机模块；具有第二固定变焦的、耦合到所述第一相机模块的第二相机模块，其中所述第二相机模块相对于所述第一相机模块进行校准；以及具有第三固定变焦的、耦合到所述第一相机模块和所述第二相机模块中的至少一个的第三相机模块，并且其中所述第三相机模块基于沿极线的块匹配与已校准的所述第一相机模块和已校准的所述第二相机模块对准。

Description

移动设备中的三相机对准
技术领域
本公开涉及数码摄影，更特别地涉及移动设备中的三相机模块的对准和无需使用光学变焦透镜来实现光学变焦。
背景技术
在移动设备中的双相机实施例使用Z方向信息以便校准相机和预限定视差与Z距离之间的关系。将三相机引入双相机实施例可以使用与双相机校准不同的校准方法。
发明内容
在一个实施例中，提供了一种三相机对准系统，包括具有第一固定变焦的第一相机模块；具有第二固定变焦的、耦合到所述第一相机模块的第二相机模块，其中将所述第二相机模块相对于所述第一相机模块进行校准；以及具有第三固定变焦的、耦合到所述第一相机模块和所述第二相机模块中的至少一个的第三相机模块，并且其中所述第三相机模块基于沿极线(epipolar line)的块匹配与已校准的所述第一相机模块和已校准的所述第二相机模块对准。
在另一个实施例中，提供了一种三相机对准方法，包括校准具有第一固定变焦的第一相机模块和具有第二固定变焦的第二相机模块；将具有第三固定变焦的第三相机模块与已校准的所述第一相机模块和已校准的所述第二相机模块进行块匹配，其中所述块匹配基于极线；以及将所述第三相机模块与已校准的所述第一相机模块和所述第二相机模块对准。
附图说明
图1是根据本公开的一个实施例的系统图；
图2是根据本公开的一个实施例的示出三相机布局的系统图；
图3示出了主相机模块和第二相机模块之间的旋转和偏移；
图4是根据本公开的一个实施例的示出立体视觉布局的系统图；
图5描绘了根据本公开的一个实施例的在校准系统中和在三相机模块中的聚焦窗口。
图6是根据本公开的一个实施例的一组用于三相机布局的选项；
图7是根据本公开的一个实施例的三相机对准的示例流程图。
具体实施方式
以下列出的实施例仅用于说明该装置和方法的应用，而不是限制范围。对该装置和方法的等同形式的修改应归入权利要求的范围内。
贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的是，不同的公司可以通过不同的名称来指代部件和/或方法。本文无意分区名称不同但功能并非不同的部件和/或方法。
在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为“包括，但不限于…”。此外，术语“耦合”或“耦合(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备耦合，则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。
图1描绘了与具有三相机的系统结合使用的示例电子系统。电子系统100可以是用于执行软件的计算设备，所述软件与图7所示的过程(process)700的一个或多个部分或步骤，或部件和过程的操作相关联。电子系统100可以是嵌入式计算机、个人计算机或移动设备(例如平板电脑、笔记本电脑、智能电话、PDA，或其他具有嵌入或耦合到其中的一个或多个处理器的触摸屏或电视)，或任何其他类型的计算机相关的电子设备。
电子系统100可以包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。在所描绘的示例中，电子系统100包括总线112、一个或多个处理器120、系统存储器114、只读存储器(ROM)118、永久存储设备110、输入设备接口122、输出设备接口116，以及一个或多个网络接口124。在一些实施方式中，电子系统100可以包括用于操作先前描述的各种部件和过程的其他计算设备或电路，或者与用于操作先前描述的各种部件和过程的其他计算设备或电路集成。在本公开的一个实施例中，一个或多个处理器120通过总线112耦合到具有第一变焦的第一相机模块126、具有第二变焦的第二相机模块128、和具有第三变焦的第三相机模块130。在一个实施例中，所述第一变焦为1x，所述第二变焦为2x，并且所述第三变焦为3x。
总线112共同表示(collectively represent)通信地连接电子系统100的众多内部设备的所有系统总线、外围设备总线和芯片组总线。例如，总线112将一个或多个处理器120与ROM 118、系统存储器114、永久存储设备110、第一相机模块126、第二相机模块128和第三相机模块130通信地连接。
一个或多个处理器120从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本公开的过程。一个或多个处理单元可以是不同实施方式中的单核处理器或多核处理器。
ROM 118存储电子系统的一个或多个处理器120和其他模块所需的静态数据和指令。另一方面，永久存储设备110是读写存储设备。该设备是非易失性存储器单元，其即使在电子系统100关闭时也存储指令和数据。本公开的一些实施方式使用大容量存储设备(诸如磁盘或光盘及其对应的盘驱动器)作为永久存储设备110。
其他实施方式使用可移动存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)作为永久存储设备110。与永久存储设备110类似，系统存储器114是读写存储器设备。然而，与永久存储设备110不同的是，系统存储器114是易失性读写存储器，例如随机存取存储器。系统存储器114存储处理器在运行时需要的一些指令和数据。在一些实施方式中，本公开的过程存储在系统存储器114、永久存储设备110和/或ROM118中。一个或多个处理器120从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一些实施方式的过程。
总线112还连接到输入设备接口122和输出设备接口116。输入设备接口122使用户能够向电子系统传达信息和选择命令。与输入设备接口122一起使用的输入设备包括例如字母数字键盘和指点设备(也被称为“光标控制设备”)。输出设备接口116例如能够显示由电子系统100产生的图像。与输出设备接口116一起使用的输出设备包括，例如打印机和显示设备，例如阴极射线管(CRT)或液晶显示器(LCD)。一些实施方式包括诸如触摸屏的设备，其用作输入和输出设备。
最后，如图1所示，总线112还通过网络接口124将电子系统100耦合到网络(未示出)。网络接口124可以包括例如无线接入点(例如，蓝牙或WiFi)或用于连接到无线接入点的无线电电路。网络接口124还可以包括用于将计算机连接到计算机网络(例如局域网(“LAN”)、广域网(“WAN”)、无线LAN，或内联网，或多个网络中的一个网络(如互联网))的一部分的硬件(例如，以太网硬件)。电子系统100的任何部件或所有部件都可以与本公开一起使用。
虽然上述讨论主要涉及执行软件的微处理器或多核处理器，但是一些实施方式由一个或多个集成电路执行，例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实施方式中，这种集成电路执行存储在电路自身上的指令。
正如在本申请的说明书和任意权利要求中所使用的那样，术语“计算机”、“服务器”、“处理器”和“存储器”都指电子设备或其他技术设备。这些术语不包括人或人群。出于说明的目的，术语显示或正在显示意味着显示在电子设备上。
为了提供与用户的交互，本说明书中描述的主题的实施方式可以在具有显示设备(例如CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息)、键盘和指点设备(例如鼠标或跟踪球，用户可以通过它们向计算机提供输入)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式被接收，包括声学、语音或触觉输入。
本说明书中描述的主题的实施例可以在包括后端部件(例如作为数据服务器)、或包括中间件部件(例如应用服务器)、或包括前端部件(例如具有图形用户界面的客户端计算机，用户可以通过该图形用户界面与本说明书中描述的主题的实施方式进行交互)，或者包括一个或多个这样的后端、中间件或前端部件的任何组合的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，因特网)和对等网络(例如ad hoc对等网络)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系由于在相应的计算机上运行、并且彼此具有客户端-服务器关系的计算机程序而产生。在客户端设备处生成的数据(例如用户交互的结果)可以从服务器处的客户端设备接收。
图2描绘了不使用光学变焦透镜来提供光学变焦的示例三相机模块设置200。传统变焦透镜的形状因子不适用于移动设备。移动设备上的光学变焦功能可以通过使用具有不同透镜视场(FOV)和焦距的多个相机来实施。第一相机模块具有光学传感器212和1x变焦透镜210，产生视场214。第二相机模块具有光学传感器218和2x变焦透镜216，并且产生220所描绘的视场。第三相机模块包括传感器224和3x变焦透镜222，并且产生226所描绘的视场。如本示例中所示的，视场位于彼此之内,如视场重叠228所示。当用户调整变焦时，软件算法可以融合来自摄像机126,128和130的图像以传送变焦图像。
在本公开中，双相机系统可以从1x变焦到2x，另外的具有3x变焦的第三相机不必要额外的校准来将该第三相机与现有的双相机系统对准。只要第三相机模块3x视场FOV在第二相机模块2x变焦视场FOV内，软件算法就可以执行旋转和平移以实现3x变焦功能。
第一相机(M)到第二相机(S)校准的一个示例可以包括：
1)将校准图卡(chart)与第一相机模块和第二相机模块对准，使图卡和两个相机彼此平行；
2)调整光源；
3)调整第一相机模块的相机透镜和第二相机模块的相机透镜与校准图卡之间的距离；
4)捕获来自第一相机模块的图像和来自第二相机模块的图像；和
5)确定第一相机模块和第二相机模块之间的模块对准参数。
图3描绘了第一相机模块相对于第二相机模块的对准，其具有M表示的主相机310和S表示的第二相机。S相机可以围绕z轴312、y轴314和x轴316旋转。第二相机模块还可以在y方向318、x方向320和z方向322上从第一(主)相机模块偏移。在第一相机模块相对于第二相机模块校准的过程中，各个失准都可以被校准消除。
以类似人类双眼视觉的方式，立体视觉系统具有两个水平并排安装的相机，在两个相机的光学中心之间具有已知的距离。这两个相机可以捕获同一场景的两个略微不同的视图。
如图4所示,来自物体A410的光线424和光线426透射通过两个针孔相机的入口点,而且在像平面上具有两个投影(P1和P2)。基于三角形的相似性，描述视差d＝(P1O1(416,418)+O2P2(420,422))和焦距(f)428之间比率的等式等于光学中心距离(D(214)＝C1C2)和点A的深度(Z)(412)之间的比率：
Figure BDA0002043537260000051
在立体系统中，两个相机可以不是相同的共面针孔相机。相反，对图像应用校正算法来模拟输出，好像图像是由两个相同的共面针孔相机捕获的。该步骤包括线性变换和非线性变换。这些变换的参数通常在离线校准步骤中校准，其中由系统捕获受控场景。为了从视差恢复深度，需要焦距(f)和相机距离(D)，其也可以通过离线校准步骤中校准。为了计算视差，通过比较它们的图像相似性来获得像素对(pixel pair)是来自相同的物点(objectpoint)的识别。
一旦第一相机模块和第二相机模块已被校准，第三相机将需要与已校准的第一相机模块和已校准的第二相机模块对准。在图5所示的示例中，给定在给定聚焦窗口WM内的IM的图像数据，找到第三图像IT的第三窗口(WT)，其包含与IM中的WM相同的物理区域。通常，该搜索过程沿着WM中心的对应极线进行。由于畸变和几何校正，极线将是水平扫描线。可以使用不同的方法找到IT，例如绝对差之和(SAD)、最大相关系数(MCC)等。
对于主图像中WM的位置(坐标)和第二图像中WS的位置(坐标)，它们被映射到纠正坐标系统，其在主纠正图像中表示为XS，在第二纠正图像中表示为XT。XM和XT之间的差异，即视差，传达了这种聚焦窗口内的内容的深度信息。
Figure BDA0002043537260000052
焦距以纠正的像素间隔进行测量，基线是两个相机的光学中心之间的真实物理距离。XM和XT是纠正的图像的两个聚焦窗口中的内容的水平(平行于基线方向)坐标。
给定聚焦距离，可以估计1x处的第一图像、2x处的第二图像和3x处的第三图像的优化融合。
图6描绘了第三相机可以固定到双相机模块的多种方式。在610到620中，相机模块以线性方式对准，第二相机模块和第三相机模块位于第一相机模块的相对侧。在622到632中，第三相机模块正交于第二相机模块，而且和第一相机模块配合。在634到644中，第三相机模块正交于第一相机模块，而且和第二相机模块配合。
在一个实施例中，一种三相机对准系统，包括具有第一固定变焦的第一相机模块和具有第二固定变焦、耦合到第一相机模块的第二相机模块，第二相机模块相对于第一相机模块进行校准，还包括第三相机模块，所述第三相机模块具有第三固定变焦，被耦合到第一相机模块和第二相机模块中的至少一个。第三相机模块基于沿极线的块匹配与已校准的第一相机模块和已校准的第二相机模块对准。
图7示出了三相机对准方法的示例,包括校准710具有第一固定变焦的第一相机模块和具有第二固定变焦的第二相机模块。然后，在具有第三固定变焦的第三相机模块上基于极线执行与已校准的所述第一相机模块和所述第二相机模块的块匹配712。然后将所述第三相机模块与已校准的所述第一相机模块和已校准的所述第二相机模块对准714。
所属领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。是否以硬件或以软件实施此功能取决于强加于整个系统的特定应用和设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能。在不脱离主题技术(subject technology)的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方式划分)。
应理解，所公开的过程中的步骤的特定顺序或层级是示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的元素，并不意味着受限于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且本文定义的一般原理可以应用于其他方面。因此，权利要求不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中的代词(例如，他的)包括女性和中性(例如，她的和它的)，反之亦然。标题和副标题(如果有的话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程以执行代码的处理器或可操作以执行代码的处理器。
诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的、或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例、或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。
本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。
本领域普通技术人员已知或以后将知道的，贯穿本公开所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，无论在权利要求中是否明确地叙述了这样的公开，本文的公开都不旨在捐献于公众。任何权利要求要素均不得根据35U.S.C.§112第六段的规定进行解释，除非使用短语“用于…的装置”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于…的步骤”叙述该要素。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但短语不一定是指同一个实施例。结合本公开，本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。
应理解，本公开仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本公开之后可以容易地设计出本发明的许多变型，并且本发明的范围由以下权利要求确定。

Claims (14)

1.一种三相机对准系统，包括：
第一相机模块，具有第一固定变焦；
第二相机模块，具有第二固定变焦，耦合到所述第一相机模块，其中将所述第二相机模块相对于第一相机模块进行校准；和
第三相机模块，具有第三固定变焦，耦合到所述第一相机模块和所述第二相机模块中的至少一个，并且其中所述第三相机模块基于沿极线的块匹配与已校准的所述第一相机模块和已校准的所述第二相机模块对准。
2.如权利要求1所述的三相机对准系统，其中所述第三相机模块的有效视场在所述第一相机模块或所述第二相机模块的有效视场内。
3.如权利要求2所述的三相机对准系统，其中所述第二相机模块的有效视场在所述第一相机模块的有效视场内。
4.如权利要求1所述的三相机对准系统，其中所述第三相机模块被电旋转，以与所述第一相机模块或所述第二相机模块对准。
5.如权利要求1所述的三相机对准系统，其中所述第三相机模块被电偏移，以与所述第一相机模块或所述第二相机模块对准。
6.如权利要求1所述的三相机对准系统，其中所述第二相机模块相对于所述第一相机模块的对准预限定了视差与z-距离之间的关系。
7.如权利要求1所述的三相机对准系统，其中所述第一相机模块、所述第二相机模块和所述第三相机模块中的至少一个是自动聚焦。
8.一种三相机对准方法，包括：
校准具有第一固定变焦的第一相机模块和具有第二固定变焦的第二相机模块；
将具有第三固定变焦的第三相机模块与已校准的所述第一相机模块和已校准的所述第二相机模块进行块匹配，其中所述块匹配基于极线；和
将所述第三相机模块与已校准的所述第一相机模块和已校准的所述第二相机模块对准。
9.如权利要求8所述的三相机对准方法，其中所述第三相机的视场在所述第一相机或所述第二相机的视场内。
10.如权利要求9所述的三相机对准方法，其中所述第二相机模块的有效视场在所述第一相机模块的有效视场内。
11.如权利要求8所述的三相机对准方法，还包括电旋转所述第三相机模块，以与所述第一相机模块或所述第二相机模块对准。
12.如权利要求8所述的三相机对准方法，还包括电偏移所述第三相机模块，以与所述第一相机模块或所述第二相机模块对准。
13.如权利要求8所述的三相机对准方法，其中所述第二相机模块相对于所述第一相机模块的对准预限定了视差与z-距离之间的关系。
14.如权利要求8所述的三相机对准方法，其中所述第一相机模块、所述第二相机模块和所述第三相机模块中的至少一个是自动聚焦。
CN201910349777.1A 2018-07-24 2019-04-28 移动设备中的三相机对准 Active CN110753220B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/044,228 2018-07-24
US16/044,228 US11044418B2 (en) 2018-07-24 2018-07-24 Three camera alignment in mobile devices

Publications (2)

Publication Number Publication Date
CN110753220A true CN110753220A (zh) 2020-02-04
CN110753220B CN110753220B (zh) 2021-06-15

Family

ID=69178372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910349777.1A Active CN110753220B (zh) 2018-07-24 2019-04-28 移动设备中的三相机对准

Country Status (2)

Country Link
US (1) US11044418B2 (zh)
CN (1) CN110753220B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US11617024B2 (en) * 2018-11-12 2023-03-28 Hewlett-Packard Development Company, L.P. Dual camera regions of interest display
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509295A (zh) * 2011-11-08 2012-06-20 北京新岸线网络技术有限公司 三目摄像头的校正方法和装置
US20160323516A1 (en) * 2015-04-29 2016-11-03 Uurmi Systems Private Limited Methods, Systems and Apparatuses for Dual-Camera Based Zooming
US20170180706A1 (en) * 2015-12-22 2017-06-22 Aquifi, Inc. Depth perceptive trinocular camera system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509295A (zh) * 2011-11-08 2012-06-20 北京新岸线网络技术有限公司 三目摄像头的校正方法和装置
US20160323516A1 (en) * 2015-04-29 2016-11-03 Uurmi Systems Private Limited Methods, Systems and Apparatuses for Dual-Camera Based Zooming
US20170180706A1 (en) * 2015-12-22 2017-06-22 Aquifi, Inc. Depth perceptive trinocular camera system

Also Published As

Publication number Publication date
US20200036905A1 (en) 2020-01-30
US11044418B2 (en) 2021-06-22
CN110753220B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN110753220B (zh) 移动设备中的三相机对准
CN109922255B (zh) 用于生成实时深度图的双相机系统
CN109309786B (zh) 一种双相机对焦的方法
CN101673395B (zh) 图像拼接方法及装置
WO2021196548A1 (zh) 距离确定方法、装置及系统
US10261345B2 (en) Imaging adjustment device and imaging adjustment method
US9912936B2 (en) Apparatus and method for adjusting stereoscopic image parallax and stereo camera
US8897502B2 (en) Calibration for stereoscopic capture system
JP2019149809A (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
WO2018019282A1 (zh) 双目全景图像获取方法，装置及存储介质
EP3735775A1 (en) Augmented reality displays with active alignment and corresponding methods
KR20140071330A (ko) 이미징 디바이스를 캘리브레이션하는 방법 및 장치
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
CN102123290B (zh) 一种纠正双摄像头所拍摄图像的平移误差的方法和装置
WO2022007500A1 (zh) 图像的处理方法、装置、电子设备、可读介质及移动终端
US20170294002A1 (en) Systems and methods for adjusting an image
CN110120098B (zh) 场景尺度估计及增强现实控制方法、装置和电子设备
WO2021037286A1 (zh) 一种图像处理方法、装置、设备及存储介质
WO2021063245A1 (zh) 图像处理方法、图像处理装置及应用其的电子设备
TW201611598A (zh) 影像擷取方法及使用此方法之影像擷取裝置
JP2019054501A (ja) デュアルカメラモジュールの整列方法
US20160241841A1 (en) A stereoscopic assembly and method for manufacturing same
CN105096296B (zh) 立体相机成像的校正装置、方法及电子设备
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant