CN113891059A - 对双摄像机进行立体校准的方法 - Google Patents

对双摄像机进行立体校准的方法 Download PDF

Info

Publication number
CN113891059A
CN113891059A CN202111346427.3A CN202111346427A CN113891059A CN 113891059 A CN113891059 A CN 113891059A CN 202111346427 A CN202111346427 A CN 202111346427A CN 113891059 A CN113891059 A CN 113891059A
Authority
CN
China
Prior art keywords
camera
parameters
intrinsic parameters
initial intrinsic
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111346427.3A
Other languages
English (en)
Other versions
CN113891059B (zh
Inventor
纳达夫·吉瓦
帕斯·伊兰
奥德·吉古辛斯基
以法莲·戈登堡
加尔·沙伯泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Priority to CN202111346427.3A priority Critical patent/CN113891059B/zh
Publication of CN113891059A publication Critical patent/CN113891059A/zh
Application granted granted Critical
Publication of CN113891059B publication Critical patent/CN113891059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

对包含一第一摄像机及一第二摄像机的一双摄像机进行立体校准的的方法。在一些实施例中，一方法包含：使用所述摄像机的初始内在参数及可选地初始外在参数，来获得优化外在参数及优化内在参数；使用所述优化外在参数及所述外在参数，来估计一无穷大偏移量e；使用所述优化外在参数、所述外在参数及所述无穷大偏移量参数e，来估计一缩放因子s，其中一起使用所述优化外在参数及所述外在参数、所述无穷大偏移量e及所述缩放因子s，来提供立体校准，从而改善深度估计。

Description

对双摄像机进行立体校准的方法
相关申请
本申请为申请号202080002266.3(PCT/IB2020/051948)、申请日2020年03月06日、发明名称为“用于动态立体校准的方法及系统”的分案申请。本申请要求2019年3月9日提交的美国临时专利申请No.62/816,097的优先权，其内容通过引用整体并入本文。
技术领域
本文公开的实施例基本上涉及例如在立体数字摄像机中的光学仪器校准，尤其是涉及在双孔径数字摄像机(“双摄像机”)中的立体校准，所述双孔径数字摄像机配置成用以被合并在车辆中作为一驾驶员辅助系统的一部分。
背景技术
定义：
“动态立体校准”–在使用立体摄像机(移动或不移动)的情况下，在没有一已知校准表的情况下估计一立体(双)摄像机的“立体参数”。
“立体参数”：为了产生一高精度的深度图而需要进行校准的立体摄像机参数，包括内在参数(对于每个摄像机)及外在参数(对于每个摄像机对)。
“内在参数”：包括焦距、X及Y轴上的光轴以及透镜畸变系数的参数。
“外在参数”：包括三个相对(两个摄像机之间)角度(偏摆、俯仰及滚转)及三个偏移量(Tx、Ty及Tz)的参数。
“视差轴”：视差的轴线(在我们的XYZ坐标系中，如果摄像机水平放置，则为X)。
“非视差轴”：垂直于所述视差轴的轴线(在我们的XYZ坐标系中，如果摄像机水平放置，则为Y)。
高级驾驶员辅助系统(Advanced Driver-Assistance Systems,ADAS)是已知的。包含在车辆中的一高级驾驶员辅助系统结合了传感器及算法，以理解所述车辆的环境，从而使所述车辆的一驾驶员可以得到辅助或收到危险警告。高级驾驶员辅助系统依靠计算机视觉，计算机视觉在获取、处理、分析及理解环境及周围物体方面起着关键作用。通常，高级驾驶员辅助系统使用带有两个或多个摄像机或“摄像机模块”的多摄像机系统。
图1A示出了具有各种布置的多摄像机系统的车辆的俯视图。术语“车辆”可适用于任何车辆，包括但不限于汽车、摩托车、卡车、公共汽车、飞机、自行车等。在(a)中，一双摄像机系统包含沿着X轴彼此靠近布置的两个摄像机102及104。在此，视差轴为X轴，非视差轴为Y轴。两个摄像机可以共享一个公共外壳。在(b)中，两个摄像机彼此之间以比(a)中更大的距离沿着Y轴放置。在(c)中，两个摄像机110及112沿着作为视差轴的X轴来布置。在(d)中有四个摄像机114、116、118及120，在(e)中有三个摄像机122、124及126，并且在(f)中有两个摄像机128及130，如图所布置。摄像机不限于特定类型的摄像机。在一个示例中，摄像机可以是相同的。在一个示例中，摄像机可能在以下一个或多个参数方面有所不同：焦距、传感器大小、像素大小和/或间距和/或f值(f-number,f/#)。在一个示例中，摄像机可以是一彩色摄像机、一黑白摄像机或一红外线(IR)敏感摄像机。在一个示例中，一多摄像机系统可以附加地包含红外投影机、光纤、激光、传感器或其组合(未示出)。
所述环境的准确深度图对于所述计算机视觉的正常运行是不可少的。一深度图是一种图像或图像通道，其包含涉及场景物体的表面到一视点的距离的信息。
用于创建所述环境的深度图的一种常见解决方案是使用一立体摄像机或一双摄像机(由两个子摄像机所组成的一摄像机)来成像及估计所述摄像机到物体的所述距离。为了深度图创建使用一双摄像机取决于计算在视场(field of view,FOV)中的各种物体的所述像素的视差。为了将以像素为单位的视差值准确地转换为以米为单位的真实深度，需要准确的摄像机立体校准。
一立体(或双)摄像机系统的校准包含分析获取的数据，以评定所述内在参数及外在参数的准确度，并且相应地进行调整。
假定所有内在参数及外在参数都是已知的，则可以使用方程1来计算和/或估计在一车辆双摄像机系统的所述视场中的一物体的距离(或“深度”)Z：
Figure BDA0003354292910000031
其中f是焦距，B是基线，D是以像素为单位的视差，“ps”是像素大小。
然而，实际上出厂校准及动态校准过程有内在参数与外在参数上存在有估计误差，可以一修正方程1’来表示：
Figure BDA0003354292910000032
其中“s”是一未知的缩放因子，是沿着一视差轴(即Tx)在焦距估计及转换的一累积误差，并且“e”代表一“无穷大视差误差”或“无穷大偏移量”，其封装了对左(“L”)及右(“R”)摄像机在光轴位置的所述估计误差(内在参数)以及沿着所述“非视差轴”旋转的估计误差(外在参数)。
图1B示出了对于e中的两个示例性误差在深度估计中的可能视差的一示例。假定e估计有0.5像素误差或1像素误差。所述图显示了用于具有焦距(f)等于1、像素大小(ps)等于0.0042毫米(mm)及基线(B)等于120毫米(mm)的一立体系统的一图表(参见方程1’)。所述图表描绘了基于距离的分歧的误差百分比，所述图表对0.5像素误差与1像素误差(公式1'中的“e”)进行比较。甚至半个像素误差对深度估计的影响也非常明显，尤其是在远距离情况下。
在一主车辆中安装立体或双摄像机之前，手动立体校准是很困难的。由于摄像机生命周期的变化，维护一预安装立体校准是很困难的。此类变化可以包含(但不限于)热膨胀、振动及机械冲击，这会导致某些校准参数随着时间变化。校准安装在一挡风玻璃后的一立体(或双)摄像机是更加复杂的，因为所述挡风玻璃可能会引响所述立体摄像机的某些校准参数，例如通过扭曲所述摄像机的透视或视角。因此，仅在将所述摄像机安装在所述主车辆中之后才能执行所述校准。
已经有许多的尝试来解决所述立体摄像机校准问题，然而没有一个能够设计出符合工业需求的解决方案。某些解决方案尝试运行运动恢复结构(Structure from Motion,SFM)算法。运动恢复结构算法使用复杂的算法，其跟踪在连续图像中的移动特征以确定它的结构信息，然后处理所述图像帧以计算出一深度图。这种解决方案无法符合工业需求，因为运行这些处理非常地困难，并且对安装在一移动汽车中的所述摄像机的计算要求也很高。
因此，需要一种动态立体校准系统及方法，其克服使用运动恢复结构技术的现有系统及方法中的缺陷，这将是有益的。
发明内容
在各种实施例中，提供了用于对包含一第一摄像机及一第二摄像机的一立体数字摄像机进行动态立体校准的方法，每一个摄像机具有内在参数及外在参数，所述方法包括：基于输入内在参数及可选地输入外在参数，来获得优化外在参数及优化内在参数；使用所述优化外在参数及所述外在参数，来估计一偏移量参数e；使用所述优化外在参数、所述外在参数及经估计的偏移量参数e，来估计一缩放因子s；使用所述优化外在参数及所述外在参数、所述无穷大偏移量e及所述缩放因子s，来提供立体校准，从而改善深度估计。
在某些实施例中，本文公开的一种用于动态立体校准的方法，可以包含：选择用于所述第一摄像机的所述内在参数和/或所述外在参数的初始值及用于所述第二摄像机的所述内在参数的初始值。所述初始值可以从例如所述摄像机的设计(“标称”值)、出厂设定(如果对每个摄像机进行了校准)或所述摄像机的先前使用等得出。所述内在参数和/或所述外在参数的校准可以包含：捕获来自所述第一摄像机的至少一个图像及来自所述第二摄像机的至少一个图像；匹配来自所述第一摄像机的所述至少一个图像上的相应点与来自所述第二摄像机的所述至少一个图像上的相应点；及使用对极几何来计算所述第一摄像机及所述第二摄像机的优化内在参数及优化外在参数。这以经对准核线来提供所述第一摄像机与所述第二摄像机的一初始校准。可以使用一处理器来执行各种选择、计算、处理等，并且可以将所述处理的数据/结果存储在一存储器中。
估计偏移量参数e及缩放因子s的进一步动作可以包含：基于接收来自所述第一摄像机及所述第二摄像机的图像来获得至少两图像对，其中所述至少两图像对是通过所述第一摄像机及所述第二摄像机连续地拍摄的图像，其中每对图像(每个摄像机一个)需要同时地拍摄；匹配在所述至少两图像对上的相应点；及生成一视差图，其中所述视差图包含来自所述至少两图像对上的相应点所匹配的像素，其中具有恒定视差的像素被识别为在无穷大距离处的像素。
在某些实施例中，所述方法包含存储所述至少两图像对在一存储器中。
在某些实施例中，由所述第一摄像机所捕获的至少两图像对及由所述第二摄像机所捕获的所述至少两图像对的数量是由一处理器来确定的。
在某些实施例中，一旦捕获到一完整视场(FOV)，所述处理器就停止从所述第一摄像机及所述第二摄像机接收至少两图像对。
在某些实施例中，所述立体数字摄像机安装在一车辆中。
在某些实施例中，所述立体数字摄像机配置成用以被合并在一车辆中，作为一驾驶员辅助系统的一部分。
在某些实施例中，设定所述第一摄像机的所述初始内在参数及所述第二摄像机的所述初始内在参数的步骤包含一处理器，对用于所述立体数字摄像机的所述内在参数执行一初始猜测。
在某些实施例中，选择初始内在参数的步骤包含出厂校准。
在某些实施例中，所述选择初始内在参数包含来自光束法平差的独立估计。
在某些实施例中，选择初始内在参数包含来自运动恢复结构(SFM)的独立估计。
在某些实施例中，来自所述第一摄像机的所述至少一个图像及来自所述第二摄像机的至少一个图像存储在存储器中。
在某些实施例中，来自所述第一摄像机及所述第二摄像机的至少一个图像上的所述相应点存储在存储器中。
在某些实施例中，所述视差图存储在存储器中。
在某些实施例中，重复用于校准外在参数及内在参数的步骤，以获得一完整视场。
在某些实施例中，重复校准深度的步骤，以获得一完整视场。
在某些实施例中，所述内在参数是选自由焦距、图像失真及光轴所组成的一群组。
在某些实施例中，所述外在参数描述一个摄像机相对于另一个摄像机的平移及旋转。
在某些实施例中，所述方法包含使用无穷大视差来补偿估计误差。
在某些实施例中，所述方法包含识别在所述至少两图像对中的移动物体。
在某些实施例中，所述方法包含从所述视差图移除所述移动物体。
在某些实施例中，使用计算机视觉来识别所述移动物体。
在某些实施例中，使用高视差值来识别所述移动物体。
在某些实施例中，所述方法包含多次重复上述参考步骤中的步骤，并且对结果进行平均。
在一实施例中，提供了一种用于动态立体摄像机校准的方法，包括从一双摄像机获得至少两图像对，对所述至少两图像对执行本地注册，并且获得一注册图，查找所述注册图中的一最小视差，计算一最小视差值，定义一全局最小视差值，及使用所述全局最小视差值来校准所述双摄像机。
附图说明
本文中的一些实施例仅通过示例的方式参考附图进行了描述。现在具体地具体参考附图，要强调的是，所示出的细节是作为示例并且出于对本申请的实施例的说明性讨论的目的。就这一点而言，结合附图进行的描述对于本领域技术人员而言是显而易见的，可以如何实践本申请的实施例。在附图中：
图1A示出了具有各种布置的多摄像机系统的车辆的俯视图。
图1B示出了由于无穷大视差所导致在深度估计中的可能视差的一示例。
图2A示出了描述用于校准立体参数的一示例性实施例的一流程图。
图2B示出了描述用于校准立体参数的一示例性实施例的一流程图。
图3A示出了描述本文公开的一种用于无穷大校正的方法的一示例性实施例的一流程图。
图3B示出了描述本文公开的一种用于无穷大校正的方法的一示例性实施例的一流程图。
图4A示出了描述本文公开的一种方法中的一种用于估计物体比例的方法的一示例性实施例的一流程图。
图4B示出了描述本文公开的一种方法中的另一种用于估计物体比例的方法的一示例性实施例的一流程图。
图5描述了安装在一车辆中并且用于执行本文公开的一种方法的一系统。
具体实施方式
本文公开的实施例描述了所述内在参数及所述外在参数的动态立体校准的方法，包含方程1’的“附加”参数、缩放因子s及视差误差e的估计。虽然方程中的所有参数都可以在一工厂(在其中组装双摄像机和/或组装车辆)中估算，但由于多种因素，所述参数在所述摄像机的生命周期中可能会发生变化，包含(但不限于)子摄像机之间的偏移、子摄像机之间的倾斜、子摄像机的透镜与传感器之间的偏移、摄像机焦距的变化等。
本申请有效地校准所述摄像机参数，以确保所述摄像机正确地观看其周围环境并且能够有效地计算距离。
图2A示出了描述用于校准一立体摄像机的内在参数及外在参数的一示例性方法的一实施例的一流程图。在步骤202中，为两个摄像机选择初始外在参数和/或初始内在参数。一初始校准参数可以通过来自光束法平差的独立估计、运动恢复结构、先前的校准参数等，从出厂设定(所述立体摄像机已知的所有标称值-焦距、透镜失真、光轴、基线等)来估计。在步骤204中，对内在参数及(可选地)外在参数进行校准。所述校准包含：在子步骤208中，获得第一组左右图像；在子步骤210中，匹配相应点；分别地对右图像及左图像使用一特征提取方法；及在所述右图像中查找左图像的所述相应特征。最少需要四对点，但通常使用几百对点。在子步骤212中，通过计算外在参数继续进行所述校准，例如使用基本矩阵估计及分解、估计3个角度(偏摆、俯仰及滚转)及到未知比例的转换(三个偏移量)Tx、Ty、Tz。然后，在子步骤214中，使用一优化技术(即，梯度标准)来精化所述内在参数，以最小化所选的内在参数上的非视差轴误差。所述精化包含：沿所述非视差轴(NDA)对每个匹配特征点计算所述图像位置差异。所述优化的目的是最小化来自所有图像中的所有匹配特征的绝对非视差轴的总和。在一个完美校准的立体系统中，所述绝对非视差轴的总和将收敛为零。对于实际情况，例如，可以设定一个停止条件，使所述最小化的平均绝对非视差轴处于从零开始的一“增量”值之内。例如，所述增量值可以是0.1像素。使用另一个停止条件及示例，所述停止条件可以是小于0.25像素的一最大绝对非视差轴。
步骤204的输出是优化立体校准参数206，即一校准双摄像机输出，其允许将所述摄像机系统的输出改正成具有平行核线的一对图像。然后，所述优化立体校准参数使用在估计无穷大偏移量e及缩放因子s。
这种优化问题可以利用多种优化技术来解决，例如梯度下降。在这个子步骤中，精化内在参数包含左右摄像机之间的焦距比、透镜失真系数及“非视差”光轴差异。
图2B示出了描述用于校准一立体摄像机的内在参数及外在参数的一示例性方法的另一实施例的一流程图。所述实施例类似于图2A的实施例，但有以下变化：
1.迭代步骤208及210，直到收集到足够的匹配点：这是在步骤211中执行的一迭代过程，直到所述匹配特征均匀分布在所述摄像机的视场(FOV)及与所述摄像机隔开一距离，例如通过在N0 x N0 x FOV_Pdisp的一3D框中具有5个相应点(N～1/20FOV P～1/10视差范围，以像素为单位)。
2.迭代步骤212及214，直到达到稳态：这是在步骤213中执行的一迭代过程。在步骤214中，精化内在参数之后，在步骤212中，重新计算外在参数，并且进行精化直到所述参数值或绝对非视差轴的总和达到稳态。
图3A示出了描述一种用于无穷大校正(即，用于估计方程1’中的无穷大偏移量e)的方法的一示例性实施例的一流程图。所述方法是在一动态环境中(例如，在一给定车辆中驾驶时)使用一双摄像机来实现的。在步骤302中，当运动时，获得至少两组立体图像(例如，4个图像，二个左图像及二个右图像)。在步骤304中，匹配在每组左图像与右图像中的相应点。在步骤306中，匹配在两组图像之间的相应点。与用一组图像来执行的左对右(L-R)特征的所述匹配相比，在步骤306中，在各种车辆位置(即，在步骤304中，在不同组立体图像中所获得的同一点)，所述匹配是左对左(L-L)和/或右对右(R-R)。在步骤308中，生成了相应点的视差图。所述视差图的生成包含：计算在两个时间帧中，在步骤304及306中匹配的所有特征的所述视差值。不论是通过改正所述输入图像(在步骤302之前)或是仅改正所述相应特征(在步骤308之前)，这个步骤必须在改正点上完成。然后，在输出206中获得(估计)改正参数(即立体参数)。在某些实施例中，当提到“视差”时，假定使用改正图像或改正图像坐标。在步骤310中，在不同时间步长上(所述车辆运动时)具有恒定视差的像素标记为“无穷大”距离。然后在步骤312中，估计所述无穷大偏移量e，其被定义为在无穷大处的点的所述视差。在某些实施例中，这是通过平均所有无穷大标记的像素的所述视差来完成的。在某些实施例中，仅一个无穷大标记的像素就足够了，尽管实际上将会使用几十个。
可选地，过滤静止物体的一步骤314可以在估计无穷大偏移量e的步骤312之前来执行。对所述双摄像机和/或所述给定车辆(例如，另一辆以与所述给定车辆相同的速度及方向驱动的车辆)是静止的物体将具有恒定视差(与无穷大像素相同)，因此需要从所述无穷大偏移量估计中过滤出来。所述过滤可以包含例如对具有足够大的视差(无穷大视差将接近于零)的像素进行阈值处理或通过机器学习来检测汽车/摩托车/自行车。
图3B示出了描述另一种用于无穷大校正的方法的一示例性实施例的一流程图。实施例与图3A中的实施例相似，除了一附加循环(迭代)步骤316外，步骤316迭代步骤302至308，以确保估计无穷大偏移量的步骤312具有足够数量的无穷大像素(通常需要更多无穷大标记的像素)，即达到无穷大偏移量估计的一稳态。
图4A示出了描述一种用于估计比例(估计方程1’中的缩放因子)的方法的一示例性实施例的一流程图。如同无穷大偏移量e的估计，所述方法是在一动态环境中(例如，在一给定车辆中驾驶时)使用一双摄像机来实现的。在步骤402中，当运动时，获得至少一组立体图像。在步骤404中，使用一检测算法，通过在所述获取图像的其中一个内查找一已知尺寸物体来检测已知尺寸物体(OKD)。我们将一“经检测已知尺寸物体”定义为XOKD。经检测已知尺寸物体可以是例如一车牌长度、一交通速度标志直径或彼此相同和/或在一给定位置(城市、州、国家、大洲等)具有恒定尺寸的任何其他物体。在步骤406中，每个已知尺寸物体上的所述相应点匹配到所述相应立体图像，并且在步骤408中，以像素为单位来计算已知物体的大小。所述大小的计算可以包含使用一细分算法来查找与所述物体关联的所有像素，及计算其尺寸POKD(例如，车牌长度或交通速度标志直径)。在步骤410中，使用改正图像或改正图像坐标(如同在步骤308中)来计算所述已知尺寸物体的所述视差。在步骤412中，使用例如摄像机焦距及物体像素大小作为距离＝焦距(focal_length)*经检测已知尺寸物体(XOKD)/已知物体尺寸(POKD)来计算所述经检测已知尺寸物体与所述双摄像机的距离。
在一些实施例中，由于物体尺寸可能是已知的，所以需要一组图像。在其他实施例中，可以获得多组图像，优选一千组图像，然而，也可以有效利用更少组图像。对缩放因子s的多个输出估计可以是许多测量值的平均值。
图4B示出了描述一种用于估计缩放因子s的方法的另一示例性实施例的一流程图。在步骤420中，当运动时，获得至少两组立体(左及右)图像。在步骤422中，查找(检测)相对于地面的静止物体(例如，通过用于交通标志/交通信号灯、建筑物和/或交叉路口的一检测算法)。在步骤424中，以类似于步骤304中的方式来匹配每组中的相应点。在步骤416中，以类似于步骤306中的方式来匹配多组图像之间的相应点。在步骤428中，以类似于步骤308中的方式生成相应点的一视差图。在步骤430中，获得(测量)在多组图像的每对之间，由所述车辆驱动的一距离ΔZ，如使用所述车辆的速度计/全球定位系统(GPS)/外部惯性测量单元。然后，在步骤432中，使用下列方程1’及方程2(在步骤312中，已经估计所述无穷大偏移量e之后)，使用所述静止物体的视差及所述驱动距离来估计缩放因子s，
Figure BDA0003354292910000121
此外，可以轻易地提取缩放因子s并且在许多样本中平均。
在替代实施例中，一双摄像机系统从所述双摄像机获得一组两个图像。所述系统执行了两个图像组的本地注册，并且获得一注册图。所述系统通过查找所述注册图中的所述最小视差，计算所述最小视差值的最小值，定义一全局最小视差值，及使用所述全局最小视差值来校准所述双摄像机来进行。
图像注册是将不同的数据组转换为一个坐标系的过程。所述数据可以是多张照片、来自不同传感器的数据、时间、深度或视点。
图5示意性地示出了编号为500的一电子装置的一实施例，所述电子装置包含一双光圈摄像机(作为可以具有两个以上摄像机模块的一多光圈摄像机的一个特定示例)。电子装置500包括一第一摄像机模块502及一第二摄像机模块510，所述第一摄像机模块502包含一第一透镜模块504，所述第一透镜模块504形成被一第一图像传感器506所记录的一第一图像，所述第二摄像机模块510包含一第二透镜模块512，所述第二透镜模块512形成被一第二图像传感器514所记录的一图像。所述两个摄像机模块在不同方面可以是相同。例如，所述两个摄像机可能具有相似或不同的视场(FOV)。所述摄像机可以是不同类型的，例如具有对可见(VIS)波长范围或红外(IR)或其他波长范围敏感的图像传感器、飞行时间(TOF)相机等。电子装置500可以进一步包括一处理单元或应用处理器(Application Processor,AP)520。在一些实施例中，初始或先前校准数据可以存储在所述电子装置500的存储器524中。
在使用中，例如应用处理器520的一处理单元可以接收分别来自摄像机模块502及510的第一图像数据及第二图像数据(或第一图像或第二图像)，并且供应摄像机控制信号给摄像机模块502及510，以确保同时地获取两个图像。在接收来自每个摄像机的至少一张图像后，应用处理器520会执行在图2A、图2B、图3A、图3B及图4A、图4B中所描述的过程。最终结果将是更新的立体校准参数，其可以存储在所述存储器524中，以供进一步使用。
应该理解的是，在权利要求书或说明书中提及“一个”或“一种”元件的情况下，这种引用不应被解释为仅存在这类元件中的一个。
可以实施本文所描述的方法来校准摄像机参数，就像用户每次开车时一样地频繁、或在每次使用时多次校准、或由制造商或用户提示预先设置好的排定校准周期，以在出厂时进行一次校准。本申请不需要网络或云访问，但是可以受益于具有用于存储或处理数据(例如图像的存储、访问维度数据、远程处理等)的访问。
公开的实施例能够独立地处理多组图像对，从而提供比标准技术更好的结果。公开的方法可以在不需要严格的顺序要求的情况下完成，与需要一系列20-100个图像对的运动恢复结构(SFM)不同。此外，当与其他已知处理及解决方案相比时，它们是独特的，因为它们(1)减少了对系统的计算需求，并且(2)减少了校准参数所需要的图像数量。
除非另有定义，否则本文中使用的所有技术或/和科学术语具有与本申请所属领域的普通技术人员通常所理解的术语具有相同含义。
尽管本公开描述了有限数量的实施例，但是应当理解，可以对这种实施例进行许多变化、修改和其他应用。一般而言，应将本公开理解为不限于本文描述的具体实施例，而是仅由所附权利要求的范围限制。

Claims (10)

1.一种对包含一第一摄像机及一第二摄像机的一双摄像机进行立体校准的方法，其特征在于：所述方法包括：在一移动车辆，
a)选择用于所述第一摄像机及所述第二摄像机中的每一个的初始内在参数；
b)使用所述双摄像机来获得第一组左右图像并且匹配在所述左右图像中的相应点以获得匹配特征点；
c)计算外在参数；
d)基于所述匹配特征点来精化所述初始内在参数；
e)使用经精化的所述初始内在参数及经计算的所述外在参数来估计一无穷大偏移量；
f)使用经精化的所述初始内在参数、经计算的所述外在参数及所述无穷大偏移量来估计一缩放因子；以及
g)使用经精化的所述初始内在参数、经计算的所述外在参数、所述无穷大偏移量及所述缩放因子来提供立体校准，从而通过在所述移动车辆中的所述双摄像机改善深度估计。
2.如权利要求1所述的方法，其特征在于：所述立体校准是一动态立体校准。
3.如权利要求1或2所述的方法，其特征在于：所述初始内在参数包含所述第一摄像机及第二摄像机的内在参数的标称值。
4.如权利要求1或2所述的方法，其特征在于：所述初始内在参数包含所述第一摄像机及第二摄像机的出厂校准的初始内在参数。
5.如权利要求1或2所述的方法，其特征在于：所述初始内在参数包含来自光束法平差所独立估计的所述第一摄像机及第二摄像机的初始内在参数。
6.如权利要求1或2所述的方法，其特征在于：所述初始内在参数包含来自运动恢复结构所独立估计的所述第一摄像机及第二摄像机的初始内在参数。
7.如权利要求1或2所述的方法，还包括：在所述外在参数的计算与在所述左右图像中的相应点的所述匹配之间进行迭代，直到收集到足够的匹配点。
8.如权利要求1或2所述的方法，其特征在于：所述精化所述初始内在参数包含：沿一非视差轴(NDA)对每一个匹配特征点计算一图像位置差异，并且其中所述精化所述初始内在参数包含：满足一停止条件。
9.如权利要求1或2所述的方法，其特征在于：使用经精化的所述初始内在参数及经计算的所述外在参数来估计所述无穷大偏移量包含：动态地获得至少两组立体图像；通过计算在两个时间帧中在相同组中及多组之间匹配的所有特征的视差值来生成一视差图；将在不同时间步长上具有恒定视差的像素标记为各自在无穷大处的点；及从所述在无穷大处点的一各自视差来估计无穷大偏移量e。
10.如权利要求7所述的方法，其特征在于：所述精化所述初始内在参数包含：沿一非视差轴(NDA)对每一个匹配特征点计算一图像位置差异，并且其中所述精化所述初始内在参数包含：满足一停止条件。
CN202111346427.3A 2019-03-09 2020-03-06 对双摄像机进行立体校准的方法 Active CN113891059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111346427.3A CN113891059B (zh) 2019-03-09 2020-03-06 对双摄像机进行立体校准的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962816097P 2019-03-09 2019-03-09
US62/816,097 2019-03-09
CN202111346427.3A CN113891059B (zh) 2019-03-09 2020-03-06 对双摄像机进行立体校准的方法
PCT/IB2020/051948 WO2020183312A1 (en) 2019-03-09 2020-03-06 System and method for dynamic stereoscopic calibration
CN202080002266.3A CN111971956B (zh) 2019-03-09 2020-03-06 用于动态立体校准的方法及系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080002266.3A Division CN111971956B (zh) 2019-03-09 2020-03-06 用于动态立体校准的方法及系统

Publications (2)

Publication Number Publication Date
CN113891059A true CN113891059A (zh) 2022-01-04
CN113891059B CN113891059B (zh) 2024-02-13

Family

ID=72426168

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080002266.3A Active CN111971956B (zh) 2019-03-09 2020-03-06 用于动态立体校准的方法及系统
CN202111346427.3A Active CN113891059B (zh) 2019-03-09 2020-03-06 对双摄像机进行立体校准的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080002266.3A Active CN111971956B (zh) 2019-03-09 2020-03-06 用于动态立体校准的方法及系统

Country Status (5)

Country Link
US (2) US11315276B2 (zh)
EP (2) EP4224841A1 (zh)
KR (2) KR102494006B1 (zh)
CN (2) CN111971956B (zh)
WO (1) WO2020183312A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
KR102557429B1 (ko) * 2021-07-06 2023-07-20 한동대학교 산학협력단 어안렌즈 카메라를 이용한 자율 발렛 주차 시스템 및 방법
US11798192B1 (en) * 2022-06-30 2023-10-24 Plusai, Inc. Methods and apparatus for calibrating stereo imagery using motion of vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630487A (zh) * 2002-02-11 2005-06-22 维思克斯公司 确定相对位置和旋转偏移
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103685936A (zh) * 2012-09-25 2014-03-26 通用汽车环球科技运作有限责任公司 宽视场摄像机图像的校准和扭曲恢复
KR101597163B1 (ko) * 2014-08-14 2016-02-24 아진산업(주) 스테레오 카메라 교정 방법 및 장치
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras

Family Cites Families (338)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3085354A (en) 1957-01-31 1963-04-16 Westinghouse Electric Corp Multi-gimbal flight simulator
US3483452A (en) 1968-09-11 1969-12-09 Hercules Inc Capacitors with polypropylene film and liquid dielectrics
US3584513A (en) 1969-01-06 1971-06-15 Singer General Precision Self-calibrating system for navigational instruments
US3941001A (en) 1973-11-09 1976-03-02 Lear Siegler, Inc. Gimbal control mechanism
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (zh) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
KR940017747A (ko) 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US5805140A (en) 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) * 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
KR20040103786A (ko) 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
US7990422B2 (en) 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
JP4894041B2 (ja) 2004-07-20 2012-03-07 株式会社ファイブ・ディー 電子撮像装置
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
WO2007055356A1 (ja) 2005-11-14 2007-05-18 Nikon Corporation 像ブレ補正装置およびカメラ
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US20090122406A1 (en) 2006-02-06 2009-05-14 Jarkko Rouvinen Optical Image Stabilizer Using Gimballed Prism
EP1984775A4 (en) 2006-02-06 2010-03-31 Nokia Corp METHOD AND DEVICE FOR DETECTING POSITION IN AN IMAGING SYSTEM
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
JP2009048516A (ja) 2007-08-22 2009-03-05 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
WO2010029689A1 (ja) 2008-09-10 2010-03-18 パナソニック株式会社 カメラ本体および撮像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
WO2010108119A2 (en) 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
WO2010116366A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
KR101351100B1 (ko) 2009-06-16 2014-01-14 인텔 코오퍼레이션 핸드헬드 디바이스의 카메라 응용
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
WO2011005413A2 (en) 2009-06-22 2011-01-13 Omnivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
ES2739036T3 (es) 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
WO2011060525A1 (en) 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
CN102906763A (zh) 2010-01-28 2013-01-30 美国路通创新科技公司 带有拍摄扫描装置和基于个人电脑的处理软件的文件成像系统
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
WO2011159401A1 (en) 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
WO2012007957A1 (en) 2010-07-13 2012-01-19 Ram Srikanth Mirlay Variable three-dimensional camera assembly for still photography
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5589823B2 (ja) * 2010-12-21 2014-09-17 株式会社リコー ステレオカメラの校正装置および校正方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2012122177A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging, LLC Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
CN104520898A (zh) 2012-06-08 2015-04-15 诺基亚公司 多帧图像校准器
JP5828039B2 (ja) 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014008939A1 (en) 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
US9225903B2 (en) 2012-07-12 2015-12-29 Sony Corporation Image blur correction apparatus, method of correcting image blur, and imaging apparatus
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
EP2915325A4 (en) 2012-10-31 2016-06-01 Invisage Technologies Inc PICTURE AND VIDEO RECORDING WITH ADVANCED VIEW FIELD
CN105122129A (zh) 2012-11-08 2015-12-02 威动光有限公司 微型光学变焦镜头
JP6152386B2 (ja) 2012-11-16 2017-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ カメラ駆動装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
EP2981397B1 (en) * 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
US9137447B2 (en) 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
CN105579902B (zh) 2013-09-23 2019-06-28 Lg伊诺特有限公司 一种制造相机模块的方法
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150103147A1 (en) * 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
CN105339841B (zh) 2013-12-06 2018-12-14 华为终端（东莞）有限公司 双镜头设备的拍照方法及双镜头设备
WO2015081556A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
CN104937921B (zh) 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
DE102014201271A1 (de) * 2014-01-24 2015-07-30 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
FR3019359B1 (fr) * 2014-03-31 2017-10-06 Continental Automotive France Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
CN105556935B (zh) 2014-05-15 2019-04-19 华为技术有限公司 用于多帧降噪的方法和终端
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
FR3026591B1 (fr) * 2014-09-25 2016-10-21 Continental Automotive France Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque
US10129455B2 (en) 2014-09-30 2018-11-13 Huawei Technologies Co., Ltd. Auto-focus method and apparatus and electronic device
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
JP6622503B2 (ja) * 2014-11-25 2019-12-18 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
KR101963546B1 (ko) 2015-04-16 2019-03-28 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
WO2016172167A1 (en) * 2015-04-20 2016-10-27 Washington University Camera calibration with lenticular arrays
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
KR101992040B1 (ko) 2015-06-24 2019-06-21 코어포토닉스 리미티드 접이식 렌즈 카메라용 저-프로파일 3-축 액추에이터
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102253997B1 (ko) 2015-08-13 2021-05-20 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
JP6228680B1 (ja) 2015-08-14 2017-11-08 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドＳＺ ＤＪＩ Ｏｓｍｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． ジンバル機構
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR102225727B1 (ko) 2015-09-06 2021-03-10 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
JP2017062150A (ja) 2015-09-24 2017-03-30 マツダ株式会社 ステレオカメラの校正装置、及びステレオカメラの校正方法
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
US10565736B2 (en) 2016-01-15 2020-02-18 Sony Corporation Image processing apparatus and method, program, and image processing system
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
WO2018022130A1 (en) * 2016-07-27 2018-02-01 Scannmen Ltd. Hybrid 3d optical scanning system
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106504186B (zh) * 2016-09-30 2019-12-06 天津大学 一种立体图像重定向方法
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
KR102365926B1 (ko) 2017-01-12 2022-02-23 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
US20210006725A1 (en) * 2018-02-14 2021-01-07 University Of Massachusetts Image capturing system, method, and analysis of objects of interest
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630487A (zh) * 2002-02-11 2005-06-22 维思克斯公司 确定相对位置和旋转偏移
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103685936A (zh) * 2012-09-25 2014-03-26 通用汽车环球科技运作有限责任公司 宽视场摄像机图像的校准和扭曲恢复
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
KR101597163B1 (ko) * 2014-08-14 2016-02-24 아진산업(주) 스테레오 카메라 교정 방법 및 장치

Also Published As

Publication number Publication date
CN111971956A (zh) 2020-11-20
WO2020183312A1 (en) 2020-09-17
KR20210077792A (ko) 2021-06-25
KR102268094B1 (ko) 2021-06-22
EP4224841A1 (en) 2023-08-09
CN111971956B (zh) 2021-12-03
CN113891059B (zh) 2024-02-13
US20210090281A1 (en) 2021-03-25
EP3782363B1 (en) 2023-06-07
EP3782363C0 (en) 2023-06-07
US11527006B2 (en) 2022-12-13
KR102494006B1 (ko) 2023-01-30
KR20200118073A (ko) 2020-10-14
US20220254047A1 (en) 2022-08-11
EP3782363A4 (en) 2021-06-16
US11315276B2 (en) 2022-04-26
EP3782363A1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
CN111971956B (zh) 用于动态立体校准的方法及系统
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
US8059887B2 (en) System and method for providing mobile range sensing
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
US11270467B2 (en) System and method for camera calibration
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
US11212511B1 (en) Residual error mitigation in multiview calibration
CN111415387A (zh) 相机位姿确定方法、装置、电子设备及存储介质
EP3332387B1 (en) Method for calibration of a stereo camera
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
EP4235574A1 (en) Measuring device, moving device, measuring method, and storage medium
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN112785647A (zh) 一种三目立体图像检测方法和系统
JP6365744B2 (ja) プログラム、記録媒体、及び校正方法
US11985292B1 (en) Residual error mitigation in multiview calibration
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
EP4016444A1 (en) Method for rectification of images and/or image points, camera-based system and vehicle
Li et al. Calibration method for binocular vision system with large field of view based on small target image splicing
Ahn Calibration of various configuration of multiple cameras for Driver Assistance Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant