CN112217976B - 用于双孔径摄影机中帧同步的系统 - Google Patents

用于双孔径摄影机中帧同步的系统 Download PDF

Info

Publication number
CN112217976B
CN112217976B CN202011076476.5A CN202011076476A CN112217976B CN 112217976 B CN112217976 B CN 112217976B CN 202011076476 A CN202011076476 A CN 202011076476A CN 112217976 B CN112217976 B CN 112217976B
Authority
CN
China
Prior art keywords
camera
frames
frame
sensor
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011076476.5A
Other languages
English (en)
Other versions
CN112217976A (zh
Inventor
N·科恩
G·沙布岱
O·吉古辛斯基
N·吉瓦
A·勒森
G·巴查尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Publication of CN112217976A publication Critical patent/CN112217976A/zh
Application granted granted Critical
Publication of CN112217976B publication Critical patent/CN112217976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

本发明涉及一种双孔径摄影机，包括：具有第一传感器和第一图像信号处理器(ISP)的第一摄影机，所述第一摄影机适于输出第一帧流；具有第二传感器和第二ISP的第二摄影机，所述第二摄影机适于输出第二帧流；以及同步和操作控制模块，其可以被配置成控制一个摄影机在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作，并且输出完全可操作摄影机的输出以作为双孔径摄影机输出，其中与另一个摄影机的完全可操作模式相比，另一个摄影机的部分可操作模式降低了双孔径摄影机功率消耗。

Description

用于双孔径摄影机中帧同步的系统
分案申请
本申请是申请号为201780002898.8的、发明名称为“双孔径摄影机系统中的帧同步”的、申请人为“核心光电有限公司”的、国际申请日为2017年6月12日的专利申请的分案申请。该申请的母案申请201780002898.8系国际申请号为PCT/IB2017/053470的中国国家阶段申请。
相关申请的交叉引用
本申请要求2016年6月19日提交的美国临时专利申请号62/351,990的优先权，该申请通过引用的方式被全文合并在本文中。
技术领域
本文中所公开的实施例总体上涉及包括两个或更多摄影机(也被称作“双摄影机”或“双孔径摄影机”)的摄影机系统，所述摄影机系统连接到处理摄影机数据的寄主设备并且需要由两个或更多摄影机输出的帧之间的同步以便降低功率消耗。
背景技术
数字摄影机模块当前正被合并到多种寄主设备中。这样的寄主设备包括蜂窝电话、个人数字助理(PDA)、计算机等等。针对寄主设备中的数字摄影机模块的消费者需求正在持续增长。
寄主设备制造商针对包括具有更好的能力(比如光学变焦、改进的低光性能和更高的图像质量)的更高性能摄影机的需求正不断增加。为了应对这一需求，近来已提出了新的摄影机系统。这样的摄影机系统包括被对准成看向相同的方向并且具有部分地或完全重叠的视场(FOV)的两个摄影机，并且在本文中被称作“双摄影机”系统(或者具有两个孔径A和B的“双孔径摄影机”系统)，例如参见国际专利申请PCT/IB2014/062180、PCT/IB2014/063393和PCT/IB2016/050844。取决于使用在每一个摄影机中的透镜，两个摄影机可以具有类似的FOV或者非常不同的FOV。已经证明(例如参见PCT/IB2014/062180和PCT/IB2014/063393)，可以根据专用的算法将来自两个摄影机的图像“缝合”或“融合”在一起，从而形成具有改进的分辨率、改进的噪声性能和改进的图像质量的复合图像(至少对于复合图像视场的某一部分)。所述图像缝合或图像融合算法可以用软件实施、运行在应用处理器(AP)上或者用硬件实施(硬件实现方式)。
此外已经证明(例如参见共同所有的美国专利9185291)，一些双摄影机系统(比如在预览或视频记录提供高质量变焦的双摄影机系统或者提供增强的低光性能的双摄影机系统)可以包括一个摄影机流到另一个摄影机流之间的过渡，以便生成随后被用来示出预览或记录视频的输出帧流。当焦距拉近和拉远时，这一过渡在特定变焦因数(ZF)下发生。在某些情况下，将两个摄影机之间的过渡保持得尽可能平滑是有益的——例如在双摄影机系统中的两个摄影机具有不同的FOV并且双摄影机系统实施两个摄影机之间的连续变焦的情况下。平滑过渡是其中用户不会注意到两个摄影机之间的过渡点的过渡。平滑过渡在时间和空间方面都应当是平滑的，也就是说在全部两个方面都是连续的。
此外还知道，一些双摄影机系统可以包括对于来自两个摄影机帧的深度映射图的计算。深度映射图是帧中的像素的映射图，其中每一个对象在场景中的相对距离是从该对象的图像在两帧之间的空间偏移确定的。在一些实施例中，深度映射图需要来自两个摄影机的帧之间的配准步骤。配准步骤是这样一个步骤：其中在对应于场景中的相同对象的两幅图像中的像素之间找到匹配，并且为每一对匹配的像素指派表示两个相应像素在传感器上的位置之间的偏移量的视差数值，从而形成“稠密视差映射图”。或者，配准步骤可以包括：从两帧中提取特征，在对应于场景中的相同对象的特征之间找到匹配，并且从匹配的特征计算“稀疏深度映射图”。可以在预览或视频流上或者在快照图像上计算深度映射图。
对于前面所提到的三项应用(两幅捕获图像的融合、两个帧流之间的过渡以及从两个摄影机帧产生深度映射图)，帧采集时间的同步是重要的要求和通常的实践。举例来说，当在来自两个摄影机的两帧之间配准信息时，如果帧采集时间没有被同步在特定时间段内(例如小于3-5msec)，则场景中的任何对象运动或者双孔径摄影机的运动可能会导致配准误差。在计算深度映射图时，配准误差可能会导致错误的深度估计。在平滑过渡中，如果在来自两个摄影机的帧对之间缺少时间同步，则在从一个摄影机切换到另一个摄影机时可能会导致明显的不连续。
本领域内已知的两个摄影机传感器之间的一种同步方法包括对于每一帧从一个传感器(其被标示成“主导传感器”)向第二传感器(其被标示成“从属传感器”)发送同步信号。这种方法要求两个摄影机以近似相同的速率输出帧流从而保持同步(举例来说，全部两个传感器将以30fps的速率输出帧)。
除了保持同步之外，将两个摄影机的流送在所有时间都保持并行(即使当仅有一个摄影机实际被用来生成输出图像或帧时)还有其他的好处：首先，即使当一个摄影机未被使用时，仍然希望保持关于全部两个摄影机的对焦、白平衡和光增益水平的信息(被称作“3A信息”)，以便能够以尽可能小的等待时间使用来自未被使用的一个摄影机的信息。如果一个摄影机被设定成处于“待机”模式并且不流送帧，则在配置该摄影机开始流送帧时，可能要花费几秒钟才能使得白平衡、曝光和对焦收敛到与场景相匹配的数值。这一时间可能会妨碍用户体验，并且例如在焦距拉近或焦距拉远时或者例如在从常规光模式切换到低光模式时可能会妨碍从一个摄影机到另一个摄影机的平滑过渡。其次，例如出于从两幅图像计算场景的深度映射图的目的，可能要求在所有时间都保持配准。但是并行地运行两个摄影机传感器所带来的代价是功率消耗加倍。
总而言之，为了在双摄影机中实现一个孔径(摄影机)与另一个孔径(摄影机)之间的快速输出切换，全部两个摄影机都需要是可操作并且是同步的。这就产生了功率消耗问题，因为保持两个摄影机完全可操作导致组合摄影机功率消耗与单摄影机系统相比加倍。当前针对这一功率消耗问题没有令人满意的解决方案。
发明内容
在示例性实施例中，提供一种包括双孔径摄影机的系统，所述双孔径摄影机包括适于输出对应的第一摄影机输出的第一摄影机和适于输出对应的第二摄影机输出的第二摄影机，所述系统还包括可以被配置成控制一个摄影机在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作的同步和操作控制模块，其中与全部两个摄影机都操作在完全可操作模式下时的系统功率消耗相比，一个摄影机处于部分可操作模式并且另一个摄影机处于完全可操作模式的双孔径摄影机的操作降低了系统功率消耗。
在一个示例性实施例中，同步和操作控制模块还可以被配置成输出完全可操作摄影机的输出以作为双孔径摄影机输出。
在一个示例性实施例中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在完全可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在部分可操作模式下的操作。
在一个示例性实施例中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在部分可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在完全可操作模式下的操作。
在一个示例性实施例中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对。
在一个示例性实施例中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对。
在一个示例性实施例中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二摄影机图像传感器当中的每一个的对应的帧尺寸。
在一个示例性实施例中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二摄影机图像传感器当中的每一个的对应的帧率。
在一个示例性实施例中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二ISP当中的每一个的对应的处理速率。
在一个示例性实施例中，所述系统还包括用于向同步和操作控制模块提供指令的平滑过渡库，所述指令被用于配置同步和操作控制模块控制每一个摄影机的操作并且输出双孔径摄影机输出。
在一个示例性实施例中，部分可操作模式下的摄影机的帧尺寸是完全可操作模式下的摄影机的帧尺寸的一定分数。在一个示例性实施例中，部分可操作模式下的摄影机的帧率是完全可操作模式下的摄影机的帧率的一定分数。在一个示例性实施例中，部分可操作模式下的摄影机的ISP处理速率是完全可操作模式下的摄影机的ISP处理速率的一定分数。作为示例，所述分数的数值可以是三分之一。所述分数当然可以采取小于1的任何其他数值。举例来说，所述分数的范围可以是在1/4到1/2之间。
在示例性实施例中，提供一种方法，所述方法包括：提供包括适于输出对应的第一摄影机输出的第一摄影机和适于输出对应的第二摄影机输出的第二摄影机的双孔径摄影机，以及将一个摄影机操作在完全可操作模式下并且将另一个摄影机操作在部分可操作模式下，从而与全部两个摄影机都操作在完全可操作模式下时的功率消耗相比降低双摄影机功率消耗。
在一个示例性实施例中，所述方法还包括：输出操作在完全可操作模式下的摄影机的输出以作为双孔径摄影机输出。
在一个示例性实施例中，所述方法还包括：在第一和第二摄影机之间进行切换，从而将第二摄影机操作在完全可操作模式下并且将第一摄影机操作在部分可操作模式下。
在一个示例性实施例中，摄影机输出包括对应的帧流，并且所述方法还包括：在输出双摄影机输出之前，将操作在完全可操作模式下的摄影机的输出的参数与操作在部分可操作模式下的摄影机的输出的参数进行同步。
附图说明
当结合附图考虑后面的详细描述时，本文中所公开的各个方面、实施例和特征将变得显而易见。
图1示意性地示出了根据本文中所公开的一个示例性实施例的系统。
具体实施方式
后面所公开的实施例涉及具有降低的功率消耗的双孔径摄影机以及用于操作此类摄影机的方法。双孔径摄影机中的每一个摄影机包括与相关联的图像信号处理器(ISP)进行通信的摄影机图像传感器(或者简称作“传感器”)。在一些实施例中，两个传感器可以与单个ISP相关联并且对其进行时间共享。功率消耗的降低是由于以下事实：大部分时间只有一个摄影机“完全可操作”，另一个摄影机则低于完全可操作或者说是“部分可操作”。本文中所使用的“完全可操作摄影机”或“处于完全可操作模式下的摄影机”指的是这样的摄影机：其中对应的图像传感器的操作处于常规帧率或帧尺寸，并且相关联的ISP的操作处于常规ISP处理速率。本文中所使用的“部分可操作摄影机”或“处于部分可操作模式下的摄影机”指的是这样的摄影机：其中对应的图像传感器的操作相对于其完全可操作帧率或帧尺寸处于降低的帧率或帧尺寸，并且/或者相关联的ISP的操作相对于其常规(完全可操作)ISP处理速率处于降低的处理速率。在一个实例中，完全可操作摄影机可以在30-60帧每秒(FPS)下输出帧，部分可操作摄影机则可以在5-10FPS的较低速率下输出帧。在另一个实例中，完全可操作摄影机可以在13Mpxl每帧的尺寸下输出帧，部分可操作摄影机则可以在0.2-8Mpxl每帧的较低尺寸下输出帧。
同步机制允许把双孔径摄影机输出从完全可操作摄影机的输出快速切换到部分可操作摄影机的输出。作为示例，可以通过专用的软件(SW)模块来实施同步机制。或者，同步机制可以被包括在硬件(HW)中。后面给出的新颖同步机制和方法允许同步两个摄影机流，即使当一个摄影机是完全可操作并且另一个摄影机是部分可操作时也是如此。所公开的同步在降低功率消耗的同时将两个摄影机的帧保持同步，并且在所有时间都允许从两个摄影机的对应帧计算深度映射图。
摄影机之间的切换由用户输入(比如对于变焦因数或场景的选择)决定，并且是通过平滑过渡库进行的，例如参见下文。作为示例，所述库是平滑过渡库。作出关于过渡定时的决定的方式在本领域内是已知的，例如参见共同所有的美国专利9185291。就在把双孔径摄影机输出从完全可操作摄影机的输出切换到部分可操作摄影机的输出之前，完全可操作摄影机变为完全可操作，并且具有对应的完全可操作帧率和/或帧尺寸和/或ISP处理速率。在双孔径摄影机输出切换之后，完全可操作摄影机变为部分可操作，并且具有对应的部分可操作帧率和/或帧尺寸和/或ISP处理速率。
如果完全可操作摄影机将停止流送帧而不是切换到“部分可操作”模式，则与使用部分可操作摄影机的所提出的操作时的切换时间相比，从完全可操作摄影机到部分可操作摄影机的切换时间将会增加。如果部分可操作摄影机将在完全可操作摄影机输出帧的同时操作在完全速率和完全帧尺寸下，则与使用部分可操作摄影机的所提出的操作时的功率消耗相比，整个双摄影机系统的功率消耗将会增加。
图1示意性地示出了根据本文中所描述的一个示例性实施例的系统100。系统100包括具有两个摄影机图像传感器(或者简称作“传感器”)106和110的双孔径摄影机110。摄影机110还包括几个机制(图1中未示出)，比如摄影机主体、透镜、致动机制、滤光器等等，正如在摄影机模块设计领域内已知的那样(例如参见专利申请PCT/IB2014/062180、PCT/IB2014/063393和PCT/IB2016/050844)。每一个传感器与对应的摄影机及其对应的组件相关联。作为示例，系统100可以是双孔径变焦摄影机，在这种情况下，传感器106与广角视场(FOV)透镜(未示出)相关联，并且传感器110与长焦(窄角)FOV透镜(未示出)相关联。在一些实施例中，一个传感器可以是彩色传感器(其在传感器像素上具有例如Bayer阵列之类的滤色器阵列(CFA))，并且另一个传感器可以是单色传感器(在其像素上不具有CFA)。系统100还包括分别与传感器106和110相关联的两个图像信号处理器(ISP)，即ISP 112和ISP 114。每一个ISP处理单个摄影机输出帧并且生成经过处理的帧。处理步骤可以包括信号基底确定和去除、白平衡、去噪声、透镜阴影效应的去除、去马赛克、锐化、颜色校正、伽马校正、帧的剪裁和缩放以及其他步骤，正如本领域内已知的那样。ISP 112通过每个摄影机的一个或多个数字控制通道116(例如MIPI、I2C、SPI)连接到传感器106，并且ISP 114通过每个摄影机的一个或多个数字控制通道118(例如MIPI、I2C、SPI)连接到传感器110。
系统100还包括同步和操作控制模块120(简称作“模块120”)。模块120控制传感器106和110操作的帧率和/或尺寸以及相关联的ISP112和114操作的处理速率，并且还负责同步由ISP 112和114处理并输出的帧对。系统100还包括平滑过渡库130。模块120从ISP 112和114以及/或者从平滑过渡库130接收帧和帧参数(比如时间标记和所请求的帧率)，并且基于这些参数进行操作。模块120分别通过数字控制通道122和124与传感器106和110进行通信。
由ISP 112和114输出的帧连同其他参数一起被传递到平滑过渡库130，所述其他参数比如有帧尺寸、曝光时间、模拟增益信息、ISP剪裁和尺度信息、帧率、焦点位置信息以及所请求的变焦因数。平滑过渡库130负责根据几个参数(比如变焦因数、所成画的场景中的对象深度等等)从一个帧流平滑地过渡到另一个帧流。平滑过渡库可以向模块120发送信号以便把部分可操作摄影机改变成完全可操作摄影机并且反之亦然，并且/或者改变帧尺寸和/或改变摄影机传感器的帧率和/或改变对应的ISP的处理速率。
在一些实施例中，模块120对帧率的控制可以通过增加或减少传感器106和110的垂直消隐时间来实施。增加垂直消隐时间会降低帧率，减少垂直消隐时间则会提高帧率。
模块120和130可以是软件模块，或者可以被实施在硬件(HW)中。所述模块可以被包括在单个HW处理器或几个HW处理器中。模块112和114通常是HW模块。ISP 112和ISP 114可以被实施在分开的HW模块中(例如微处理器、CPU、GPU、专用硬件、FPGA等等)或者被实施在单个HW模块中。
下面是所期望的情形中的系统100并且特别是模块120的示例性操作方法的第一实施例，其中一个传感器(110)在低帧率下流送帧，另一个传感器(106)则在高帧率下流送帧。因此，在该例中，传感器110是“部分可操作”摄影机的传感器，并且传感器106是“完全可操作”摄影机的传感器。应当提到的是，低帧率传感器(部分可操作)和高帧率传感器(完全可操作)的角色在相同的系统内是可互换的，其定义取决于例如变焦因数和成画场景信息之类的参数，并且在这里仅仅是作为举例而示出的。还应当提到的是，在该情形中，ISP 112和114的操作速率分别与从传感器106和110到达的帧流的速率相匹配。举例来说，如果传感器110在低帧率下流送，则ISP 114的操作速率与ISP 112相比被降低，其中ISP 112在更高帧率下从传感器106接收帧。在示例性操作中并且详细来说：
1、模块120把传感器106的垂直消隐时间配置到一定数值，从而使得该传感器在例如30FPS的高帧率下流送帧。模块120还把传感器110的垂直消隐时间配置到一定数值，从而使其在作为传感器106的高帧率的整除数(分数)的速率下流送帧(例如使得所述速率之间的帧率比是1/n，其中n作为示例是等于或大于2的整数)。
2、模块120在与高帧率传感器相同的帧率下操作。模块120连续地从ISP 112和114接收新的帧对连同元数据信息，比如对应于每一帧的帧时间标记以及表明输入帧是否有效帧的有效/无效描述符。从传感器106流送的帧全部被标记成“有效”帧。从传感器110流送的帧也被标记成“有效”帧。但是如果有这样一个帧对，其中来自传感器106的一帧是有效的并且没有来自传感器110的相应帧，则取代缺失的低帧率帧可以使用“虚设”帧，并且这样的虚设帧被标记成“无效”帧。举例来说，如果传感器106以30FPS进行流送并且传感器110以1/3的高帧率(也就是以10FPS)进行流送，则模块120大约每1/30秒将从传感器106接收到有效帧并且大约每1/10秒将从传感器110接收到有效帧。由于模块120操作在高帧率下，因此其只有每第3次操作才将接收到两个有效帧。或者，可以只在有两个有效输入帧可用时才调用模块120。
3、模块120将有效帧对的时间标记进行比较，并且计算其间的时间差。模块120随后计算对于传感器106和/或110的垂直消隐时间的所需修改，从而使得两个有效帧之间的时间差将被最小化，并且把传感器110和/或传感器106配置到新的垂直消隐时间。
4、通过经由数字控制通道122和124(例如I2C通道)发送命令而对传感器106和/或110应用改变。
5、可以基于平滑过渡库130请求决定来自传感器106和110当中的每一个的所请求的帧率。基于例如变焦因数、场景参数、系统性能和用户优选项之类的不同参数，平滑过渡库130可以请求控制模块120配置来自传感器106和110的相同帧率和/或帧尺寸或者不同帧率和/或帧尺寸。
下面是所期望的情形中的系统100并且特别是模块120的示例性操作方法的第二实施例，其中传感器106和110都在高帧率下流送帧，ISP114在低帧率下处理帧，ISP 112在高帧率下处理帧。因此，在该例中，ISP 114是“部分可操作”摄影机的ISP，ISP 112是“完全可操作”摄影机的ISP。在该情形中，模块120仅控制ISP 112和ISP 114的处理速率。在高帧率下到达ISP 114并且未由其处理的帧被丢弃。应当提到的是，低帧率传感器和高帧率传感器的角色在相同的系统内是可互换的，其定义取决于例如变焦因数和成画场景信息之类的参数，并且在这里仅作为举例示出了示例性的所选角色。在示例性操作中并且详细来说：
1、模块120配置传感器106和传感器110的垂直消隐时间全部二者并且还配置ISP112和ISP 114操作的速率。举例来说，传感器106和110被配置成以30FPS流送帧，ISP 112被配置成操作在等效于30FPS的速率下，ISP 114被配置成操作在等效于10FPS的速率下。ISP114被配置操作的速率被设定成ISP 112被配置操作的速率的整除数(例如使得所述速率之间的帧率比是1/n，其中n是等于或大于2的整数)。
2、模块120在与高帧率ISP 112相同的帧率下操作。模块120连续地从ISP 112和114接收新的帧对连同元数据信息，比如对应于每一帧的帧时间标记以及表明输入帧是否有效帧的有效/无效描述符。从ISP112流送的帧全部被标记成“有效”帧。从ISP 114流送的帧也被标记成“有效”帧。但是如果有这样一个帧对，其中一帧从ISP 112到达并且没有来自ISP 114的相应帧，则取代缺失的低帧率帧可以使用“虚设”帧，并且所述虚设帧被标记成“无效”帧。举例来说，如果ISP 112以30FPS处理帧并且ISP 114以1/3的高帧率处理帧，则模块120大约每1/30秒将从ISP 112接收到有效帧并且大约每1/10秒将从ISP 114接收到有效帧。由于模块120操作在高帧率下，因此其只有每第3次操作才将接收到两个有效帧。或者，可以只在有两个有效输入帧可用时才调用模块120。
3、模块120将有效帧对的时间标记进行比较，并且计算其间的时间差。模块120随后计算对于ISP 112和ISP 112的操作速率的所需修改并且还计算对于传感器106和/或110的垂直消隐时间的修改，从而使得两个有效帧之间的时间差将被最小化。
4、通过经由数字控制通道122和124(例如I2C通道)发送命令而对传感器106和/或110应用改变。
在前面的全部两个实例中，正如本领域内已知的那样，可以基于平滑过渡库130请求决定来自传感器106和110以及ISP 112和114当中的每一个的所请求的帧率，例如参见共同所有的美国专利9185291。基于例如变焦因数、场景参数、系统性能和用户优选项之类的不同参数，库130可以请求模块120配置来自传感器106和110以及ISP 112和114的相同帧率或不同帧率。
下面是所期望的情形中的系统100并且特别是模块120的示例性操作方法的第三实施例，其中一个传感器(110)在低帧尺寸下流送帧，另一个传感器(106)则在高帧尺寸下流送帧。在这种情况下，传感器106是完全可操作摄影机的传感器，并且传感器110是部分可操作摄影机的传感器。应当提到的是，低帧尺寸传感器(部分可操作)和高帧尺寸传感器(完全可操作)的角色在相同的系统内是可互换的，其定义取决于例如变焦因数和成画场景信息之类的参数，并且在这里仅仅是作为举例而示出的。还应当提到的是，在该情形中，ISP112和114的操作复杂度分别取决于从传感器106和110到达的帧流(举例来说，如果传感器110在低帧尺寸下进行流送，则ISP 114的操作复杂度与ISP 112相比被降低，其中ISP 112在高帧尺寸下从传感器106接收帧)：
1、模块120把全部两个传感器106和110的垂直消隐时间配置到一定数值，从而使得每一个传感器在所期望的帧率下(例如30FPS)流送帧。
2、模块120还把传感器106的帧尺寸配置到高帧尺寸(例如13mpxl)并且把传感器110的帧尺寸配置到低帧尺寸(例如0.5mpxl)。模块120还向ISP 112和114通知对应于每一个ISP的预期帧尺寸。
3、ISP 112和114根据预期帧率设定活跃和非活跃硬件链。ISP 114例如可以减少活跃晶体管的数目(将不需要的晶体管关断)并且可以降低总体功率消耗。
4、模块120在与传感器相同的帧率下操作。模块120连续地从ISP112和114接收新的帧对连同元数据信息，比如对应于每一帧的帧时间标记。
5、模块120将每一个帧对的时间标记进行比较，并且计算其间的时间差。模块120随后计算对于传感器106和/或110的垂直消隐时间的所需修改，从而使得两个有效帧之间的时间差将被最小化，并且把传感器110和/或传感器106配置到新的垂直消隐时间。
6、通过经由数字控制通道122和124(例如I2C通道)发送命令而对传感器106和/或110应用改变。
7、可以基于平滑过渡库130请求决定来自传感器106和110当中的每一个的所请求的帧率。基于例如变焦因数、场景参数、系统性能和用户优选项之类的不同参数，平滑过渡库130可以请求SW同步和操作控制模块120配置来自传感器106和110的相同帧尺寸或不同帧尺寸。
在系统100的示例性操作方法的第四实施例中，系统100可以操作成使得一个传感器在完全帧率和高帧尺寸下进行流送，并且使得第二传感器在低帧率和低帧尺寸下操作。在该实施例中实施了前面给出的操作方法的组合。
表1示出了具有可选的功率降低的四种方法的比较。对于部分可操作摄影机，具有“完全”文字的每一个单元格表示工作在完全供率消耗下，具有“部分”文字的每一个单元格则表示功率的降低。
Figure GDA0003156509630000121
Figure GDA0003156509630000131
表1
总而言之，本申请公开了一种系统及其操作方法，所述系统包括双摄影机，其中取决于用户定义的变焦因数、场景选择和其他参数，组合的预览或视频输出来自一个摄影机或另一个摄影机。通过把未被用来生成双摄影机图像输出的摄影机操作在特殊(部分)操作模式下，实现了具有最小功率消耗惩罚的快速输出切换。
前面所讨论的各种特征和步骤以及针对每一个此类特征或步骤的其他已知的等效方案可以由本领域技术人员混合并匹配，从而实施根据本文中所描述的原理的方法。虽然本公开内容是在特定实施例和实例的情境中提供的，但是本领域技术人员应当理解的是，本公开内容超出具体描述的实施例的范围扩展到其他替换的实施例和/或使用及其显而易见的修改和等效方案。因此，本公开内容不应受限于本文中的实施例的具体公开内容。举例来说，虽然本文中的描述集中在双孔径摄影机上，但是如果被应用于多孔径摄影机中的任意两个摄影机的话，具有多于两个孔径(摄影机)的多孔径摄影机也可以受益于本文中所描述的方法的应用。总体来说，本公开内容应当被理解成不受限于本文中所描述的具体实施例，而是仅由所附权利要求的范围限制。
除非另行声明，否则在用于选择的选项列表的最后两个成员之间使用的表达法“和/或”表明选择其中一个或多个所列出的选项是适当的，并且可以作出这样的选择。
应当理解的是，当权利要求或说明书提到“一个”单元时，并不应当被解释成仅有一个该单元。
在本说明书中所提到的所有参考文献都通过引用的方式被全文合并到本说明书中，就如同明确地并且单独地表明每一份单独的参考文献都通过引用的方式被合并在本文中。此外，在本申请中对于任何参考文献的引述或标识不应当被解释成承认这样的参考文献可以作为本申请的现有技术。

Claims (2)

1.一种用于同步两个摄影机的操作以降低功率消耗的系统，包括：
a)第一摄影机，其包括第一图像传感器和第一图像信号处理器ISP，所述第一摄影机适于输出对应的第一帧流；
b)第二摄影机，其包括第二图像传感器和第二ISP，所述第二摄影机适于输出对应的第二帧流；和
c)同步和操作控制模块，能够被配置成控制和在时间上同步处于完全可操作模式下的所述第一摄影机和处于完全可操作模式下的所述第一ISP的操作以及处于相对于所述完全可操作模式处于降低的帧率和/或帧尺寸的部分可操作模式下的所述第二摄影机和处于相对于所述完全可操作模式处于降低的ISP处理速率的部分可操作模式下的所述第二ISP的操作，
其中所述同步和操作控制模块被配置为将所述第二帧流的帧率设置为所述第一帧流的帧率的整除数，并且使所述第一图像传感器和所述第二图像传感器在时间上同步，使得第二帧流的每帧在时间上与第一帧流的一帧同步，并且
其中对第一摄影机的操作和第二摄影机的操作的控制和在时间上同步包括对第一帧流的帧尺寸和第二帧流的帧尺寸的控制和同步。
2.根据权利要求1所述的系统，其中，所述第二帧流的帧尺寸是所述第一帧流的帧尺寸的分数，所述分数是小于1的任意值。
CN202011076476.5A 2016-06-19 2017-06-12 用于双孔径摄影机中帧同步的系统 Active CN112217976B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662351990P 2016-06-19 2016-06-19
US62/351,990 2016-06-19
CN201780002898.8A CN107925728B (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780002898.8A Division CN107925728B (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步

Publications (2)

Publication Number Publication Date
CN112217976A CN112217976A (zh) 2021-01-12
CN112217976B true CN112217976B (zh) 2022-02-08

Family

ID=60783910

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202011076476.5A Active CN112217976B (zh) 2016-06-19 2017-06-12 用于双孔径摄影机中帧同步的系统
CN201780002898.8A Active CN107925728B (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步
CN201910160224.1A Active CN109639954B (zh) 2016-06-19 2017-06-12 双孔径摄影机中的帧同步系统和方法
CN202011076480.1A Pending CN112217977A (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201780002898.8A Active CN107925728B (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步
CN201910160224.1A Active CN109639954B (zh) 2016-06-19 2017-06-12 双孔径摄影机中的帧同步系统和方法
CN202011076480.1A Pending CN112217977A (zh) 2016-06-19 2017-06-12 双孔径摄影机系统中的帧同步

Country Status (5)

Country Link
US (4) US10616484B2 (zh)
EP (3) EP3381181B1 (zh)
KR (7) KR101939958B1 (zh)
CN (4) CN112217976B (zh)
WO (1) WO2017221106A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 白平衡同步方法、装置和终端设备
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US20190320102A1 (en) * 2018-04-13 2019-10-17 Qualcomm Incorporated Power reduction for dual camera synchronization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
US11082622B2 (en) * 2019-12-13 2021-08-03 Nuro, Inc. Systems and methods for dynamically switching image signal processor configurations
US11115590B1 (en) * 2020-03-04 2021-09-07 Gopro, Inc. Intelligent sensor switch during recording
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
US11671704B2 (en) 2020-11-13 2023-06-06 Samsung Electronics Co., Ltd. Electronic device including a plurality of image sensors and method for thereof
KR20220170301A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 영상 제어 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907091A (zh) * 2010-06-03 2013-01-30 微软公司 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
CN103986876A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
CN104333702A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种自动对焦的方法、装置及终端
US9251565B2 (en) * 2011-02-03 2016-02-02 Massachusetts Institute Of Technology Hyper-resolution imaging
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Family Cites Families (324)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (zh) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
DE69324224T2 (de) 1992-12-29 1999-10-28 Koninkl Philips Electronics Nv Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
WO2004084542A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
JP2008507229A (ja) 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
WO2006008805A1 (ja) 2004-07-20 2006-01-26 Five Dimension Co., Ltd. 電子撮像装置
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
WO2007055356A1 (ja) 2005-11-14 2007-05-18 Nikon Corporation 像ブレ補正装置およびカメラ
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
EP1984775A4 (en) 2006-02-06 2010-03-31 Nokia Corp METHOD AND DEVICE FOR DETECTING POSITION IN AN IMAGING SYSTEM
JP2009526257A (ja) 2006-02-06 2009-07-16 ノキア コーポレイション ジンバルプリズムを用いた光学像スタビライザ
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
WO2008129552A1 (en) 2007-04-19 2008-10-30 Dvp Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US8794526B2 (en) 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
CN102150078B (zh) 2008-09-10 2013-09-04 松下电器产业株式会社 相机机身及摄像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
CN102334333B (zh) 2009-01-16 2016-05-11 双光圈国际株式会社 改善成像系统的景深
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US20120026366A1 (en) 2009-04-07 2012-02-02 Nextvision Stabilized Systems Ltd. Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
SG177157A1 (en) 2009-06-16 2012-01-30 Intel Corp Camera applications in a handheld device
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
WO2011005413A2 (en) 2009-06-22 2011-01-13 Omnivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
ES2739036T3 (es) 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
EP3611555A1 (en) 2009-11-19 2020-02-19 eSight Corporation Image magnification on a head mounted display
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
US20160042522A1 (en) 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
TWI524752B (zh) 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
CN103154816A (zh) 2010-07-13 2013-06-12 R·S·米尔拉伊 用于静态摄影的可变三维照相机组件
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) * 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) * 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2012122177A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging, LLC Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2582128A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
KR101821141B1 (ko) * 2012-02-09 2018-01-23 삼성전자주식회사 3차원 영상 시스템 및 그 영상 재생 방법
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
JP5828039B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9733717B2 (en) 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface
EP2874003B1 (en) 2012-07-12 2017-12-20 Sony Corporation Image shake correction device and image shake correction method and image pickup device
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
GB2571028B (en) 2012-10-18 2019-11-06 Halliburton Energy Services Inc Gravel packing apparatus having a jumper tube protection assembly
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN102920426A (zh) 2012-10-22 2013-02-13 东莞麦可龙医疗科技有限公司 一种微距可视内窥方法及装置
WO2014070927A2 (en) 2012-10-31 2014-05-08 Invisage Technologies, Inc. Expanded-field-of-view image and video capture
EP2917783A4 (en) 2012-11-08 2016-07-13 Dynaoptics Pte Ltd MINIATURIZED OPTICAL ZOOMOBJEKTIV
CN104106002B (zh) 2012-11-16 2017-10-13 松下电器（美国）知识产权公司 相机驱动装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
JP5952782B2 (ja) * 2013-06-12 2016-07-13 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
US9137447B2 (en) 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
CN109246339B (zh) * 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
US10151859B2 (en) 2013-09-23 2018-12-11 Lg Innotek Co., Ltd. Camera module and manufacturing method for same
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150103147A1 (en) 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
GB2520726A (en) * 2013-11-29 2015-06-03 St Microelectronics Res & Dev Read-out circuitry for an image sensor
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
EP3067746B1 (en) 2013-12-06 2019-08-21 Huawei Device Co., Ltd. Photographing method for dual-camera device and dual-camera device
CN104937921B (zh) 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
US9736391B2 (en) 2013-12-06 2017-08-15 Huawei Device Co., Ltd. Photographing method of dual-lens device, and dual-lens device
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
EP3099044B1 (en) 2014-05-15 2018-12-26 Huawei Technologies Co. Ltd. Multi-frame noise reduction method and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
RU2017114952A (ru) 2014-10-03 2018-11-06 Нестек С.А. Сырная композиция и способ ее получения
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
ES2908652T3 (es) 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US10126633B2 (en) 2015-06-24 2018-11-13 Corephotonics Ltd. Low profile tri-axis actuator for folded lens camera
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102017976B1 (ko) 2015-08-13 2019-09-03 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10488631B2 (en) 2016-05-30 2019-11-26 Corephotonics Ltd. Rotational ball-guided voice coil motor
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
EP4145206A1 (en) 2017-01-12 2023-03-08 Corephotonics Ltd. Compact folded camera
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907091A (zh) * 2010-06-03 2013-01-30 微软公司 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
US9251565B2 (en) * 2011-02-03 2016-02-02 Massachusetts Institute Of Technology Hyper-resolution imaging
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN103986876A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
CN104333702A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种自动对焦的方法、装置及终端

Also Published As

Publication number Publication date
KR20210113436A (ko) 2021-09-15
CN107925728B (zh) 2020-12-08
KR20240036133A (ko) 2024-03-19
WO2017221106A1 (en) 2017-12-28
US20220030167A1 (en) 2022-01-27
KR20180100066A (ko) 2018-09-06
EP4020958B1 (en) 2023-10-25
US10616484B2 (en) 2020-04-07
EP3381181A4 (en) 2018-11-14
KR101893722B1 (ko) 2018-08-30
US20180359392A1 (en) 2018-12-13
KR101939958B1 (ko) 2019-01-17
KR102521406B1 (ko) 2023-04-12
EP4270978A3 (en) 2024-02-14
EP4020958C0 (en) 2023-10-25
EP4270978A2 (en) 2023-11-01
CN109639954B (zh) 2020-10-23
CN107925728A (zh) 2018-04-17
EP4020958A1 (en) 2022-06-29
KR102646151B1 (ko) 2024-03-08
KR20180019516A (ko) 2018-02-26
KR20230053711A (ko) 2023-04-21
EP3381181A1 (en) 2018-10-03
KR102302004B1 (ko) 2021-09-14
US20180343382A1 (en) 2018-11-29
KR102110093B1 (ko) 2020-05-13
US11172127B2 (en) 2021-11-09
KR20190010710A (ko) 2019-01-30
KR20200049906A (ko) 2020-05-08
EP3381181B1 (en) 2022-04-06
CN109639954A (zh) 2019-04-16
US20230292002A1 (en) 2023-09-14
CN112217977A (zh) 2021-01-12
CN112217976A (zh) 2021-01-12
US11689803B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN112217976B (zh) 用于双孔径摄影机中帧同步的系统
CN109040553B (zh) 双孔径变焦数字摄影机
AU2013201746B2 (en) Image processing apparatus and method of camera device
JP5185267B2 (ja) デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法
US11290619B2 (en) Imaging control apparatus, imaging control method, and imaging apparatus
US11729500B2 (en) Lowpass filter control apparatus and lowpass filter control method for controlling variable lowpass filter
CN115914829A (zh) 多摄像头设备的摄影方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant