CN102892008B - 双图像捕获处理 - Google Patents

双图像捕获处理 Download PDF

Info

Publication number
CN102892008B
CN102892008B CN201210254807.9A CN201210254807A CN102892008B CN 102892008 B CN102892008 B CN 102892008B CN 201210254807 A CN201210254807 A CN 201210254807A CN 102892008 B CN102892008 B CN 102892008B
Authority
CN
China
Prior art keywords
image
monoscopic
imageing sensor
enhancing
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210254807.9A
Other languages
English (en)
Other versions
CN102892008A (zh
Inventor
劳伦特·布里瑟杜
戴维·普洛曼
罗恩·弗里登塔勒
本杰明·休厄尔
诺希尔·帕图克
克雷西达·哈丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies International Sales Pte Ltd
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN102892008A publication Critical patent/CN102892008A/zh
Application granted granted Critical
Publication of CN102892008B publication Critical patent/CN102892008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及双图像捕获处理。本发明的成像设备的实施方式自动利用图像处理管线中的同时图像捕获。在一个实施方式中，控制处理电路启动第一图像传感器对第一图像以及第二图像传感器对第二图像的同时捕获；并且图像处理电路产生包括第一图像和第二图像中的至少一部分的增强的单视场图像。

Description

双图像捕获处理
相关申请的交叉参考
本申请要求于2011年7月20日提交的美国临时申请61/509,747、以及2011年12月22日提交的美国实用专利申请13/335,028的优先权，将其全部内容通过引用结合于此。
背景技术
某些类型的图像处理，诸如高动态范围（HDR）图像处理，涉及将照相机的顺序的静态图像输出（例如，各具有不同的曝光）组合成具有高动态范围的单个静态图像（即在亮暗图像区域之间具有更大的亮度变化范围的图像）。该方法通常被称为包围曝光，并可以在现有的相机中发现。
发明内容
本发明提供了一种图像捕获设备，包括：第一图像传感器，用于记录第一图像；第二图像传感器，用于记录第二图像；控制处理电路，启动第一图像传感器对第一图像以及第二图像传感器对第二图像的同时捕获；以及图像处理电路，产生包括第一图像和第二图像的至少一部分的增强的单视场图像。
优选地，增强的单视场图像包括从第一图像中获取的第一部分和从第二图像中获取的第二部分，其中，第一部分包括具有与第二部分不同的曝光水平或者具有与第二部分不同的景深中的至少一个。
优选地，增强的单视场图像的分辨率大于第一图片和第二图像的单个的分辨率。
优选地，对第二图像进行分析并将其与第一图像比较，以分离出第一图像中的缺陷，其中，增强的单视场图像是第一图像去除缺陷的经校正的版本。
优选地，控制处理电路被配置为在以下模式下进行操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，控制处理电路被配置为在包括单视场模式、立体模式或增强的单视场模式中的至少两个的操作模式之间自动切换。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作增强数据以增强第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
优选地，图像处理电路在第一处理路径中处理第一图像和第二图像所共享的相似像素，并且在第二处理路径中处理第二图像的不相似的像素。
优选地，第一图像传感器在同时捕获的过程中以第一面元划分水平进行操作，第一面元划分水平不同于在同时捕获的过程中第二图像传感器进行操作的面元划分水平。
本发明还提供了一种图像处理方法，包括：记录由第一图像传感器所捕获的第一图像；记录由第二图像传感器所捕获的第二图像，其中，第一图像和第二图像是同时捕获的；比较第一图像和第二图像中的至少一部分；以及响应于第一图像和第二图像的比较结果，产生增强的单视场图像。
优选地，第一图像用作用于增强的单视场图像的图像数据，而第二图像用作增强数据以增强的第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
优选地，至少一个改善的特性包括改善的景深、改善的分辨率中的至少一个；或改善的曝光水平。
优选地，对第二图像进行分析并将其与第一图像比较，以分离出第一图像中的缺陷，其中，增强的单视场图像是第一图像去除缺陷的经校正的版本。
优选地，缺陷包括镜头阴影缺陷。
优选地，一种图像捕获设备包括第一图像传感器和第二图像传感器，方法还包括：在以下模式之间切换图像捕获设备的操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，第一图像传感器包括将红色、绿色或蓝色的光传输至传感器像素的图像传感器，并且第二图像传感器包括与第一图像传感器不同类型的图像传感器。
本发明还提供了一种具有图像处理程序的计算机可读介质，当图像处理程序被硬件处理器执行时，使硬件处理器：记录由第一图像传感器所捕获的第一图像；记录由第二图像传感器所捕获的第二图像，其中，第一图像和第二图像是同时捕获的；比较第一图像和第二图像中的至少一部分；以及响应于第一图像和第二图像的比较结果，生成增强的单视场图像。
优选地，一种图像捕获设备包括第一图像传感器和第二图像传感器，图像处理程序进一步使硬件处理器：在以下模式之间切换图像捕获设备的操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作支持数据以校正第一图像中的缺陷。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作增强数据以增强的第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
附图说明
参考以下的附图，本发明的许多方面可以得到更好地了解。附图中的组成部分不一定成比例，而是将重点放在清楚地示出本发明的原理上。此外，在附图中，几个示图中类似的参考标号表示对应的部分。
图1是根据本发明的图像处理电路的一个实施方式的框图。
图2到图5是由图1的图像处理电路的管线处理逻辑所实现的图像信号处理管线的实施方式的框图。
图6是示出了采用图1的图像处理电路的电子设备的实施方式的框图。
图7到图9是示出了图1的图像处理电路的实施方式的各种功能的流程图。
具体实施方式
本发明涉及可进行编程以自动利用数码照相机或数码摄像机中的图像处理管线中的同时图像捕获（capture）的设备、方法、计算机可用介质和处理器。本领域普通技术人员应当认识到，所公开的技术也可以应用于其他环境和应用。
对于例如数码照相机、数码摄像机、移动电话、个人数据助理（PDA）、平板、便携式音乐播放器以及台式机或笔记本计算机这样的嵌入式设备中的照相机，为了产生视觉上更加悦目的图像，诸如本文所公开的技术可以改善图像质量，而不会产生明显的计算开销或电力成本。
为了获取图像数据，数字成像设备可以包括提供了多个被配置为将由图像传感器检测到的光转换成电信号的光检测单元（如光电检测器）的图像传感器。图像传感器也可以包括过滤图像传感器捕获到的光以捕获色彩信息的彩色滤光器阵列。然后，图像传感器捕获到的图像数据可以通过图像处理管线电路来处理，其可以对图像数据施加多个不同的图像处理操作以产生可以在诸如监视器的显示设备上显示以用于观看的全彩色图像。
传统的图像处理，诸如传统的高动态范围（HDR）图像处理，需要顺序地捕获多个图像，然后进行组合，以产生具有增强的图像特性的HDR。在传统的HDR图像处理中，通过单个图像传感器以不同的曝光顺序地捕获多个图像并进行组合，以产生具有比通过捕获单个图像所可能具有的更高的动态范围的单个图像。例如，对霓虹灯的室外夜间镜头的捕获，可能导致霓虹灯曝光过度或者该场景的其他部分曝光不足。然而，捕获曝光过度的图像和曝光不足的图像，并组合多个图像可以产生霓虹灯和场景都适当曝光的HDR图像。该方法通常被称为包围曝光，但是要求是捕获到的图像必须基本相同，尽管这些图像是被顺序拍摄以防止引入大量模糊或重影。
本发明的实施方式通过利用同时捕获到的多个图像而提供了增强的图像处理。参考图1，示出了用于成像设备150的图像处理电路100的一个实施方式的框图。所示的成像设备150可以被提供为数码照相机，其被配置为获取静态图像和运动图像（例如，视频）。设备150可以包括多个镜头110以及被配置为捕获光并将光转换成电信号的多个图像传感器101。仅作为示例，单个图像传感器可以包括CMOS（互补金属氧化物半导体）图像传感器（例如，CMOS有源像素传感器（APS））或CCD（电荷耦合器件）传感器。
具有多个照相机或图像传感器的成像设备150的一个有前景的应用是将会增加显示图像中所表示的维数。该功能类型的一个示例是通常具有两个照相机（例如，两个图像传感器）的立体照相机。然而，本发明的实施方式可以具有两个以上的照相机或图像传感器。此外，成像设备150的实施方式可以具有这样的操作模式：一种模式可以允许成像设备150捕获二维（2D）图像；第二模式可以允许成像设备捕获多维图像（例如，3D图像）；并且第三模式可以允许成像设备同时捕获多个图像，并用它们来产生一个或多个已应用图像处理效果的2D增强的图像。因此，本发明的一些实施方式，包括可配置的和可更改的（adaptable）的多成像器（multi-imager）照相机结构，其以立体（3D）模式、单视场（monoscopic）（单个2D成像器）模式或组合单视场（多个2D成像器）模式操作。在一个实施方式中，模式配置涉及到用户选择，而更改可以为自动或提示模式操作。例如，单视场模式可以用于足够普通的情况下，但是当控制逻辑105检测到需要时切换到组合单视场操作。
在一些实施方式中，图像处理电路100可以包括各种子组件和/或分立的逻辑单元以共同形成用于执行各个不同的图像处理步骤的图像处理“管线”。这些子组件可以使用硬件（例如，数字信号处理器或ASIC（专用集成电路））或软件、或通过硬件和软件组件的组合来实现。各种图像处理操作可以通过图像处理电路100提供。
图像处理电路100其中可以包括前端处理逻辑103、管线处理逻辑104以及控制逻辑105。一个或多个图像传感器101可以包括彩色滤光器阵列（例如，拜耳（Bayer）滤光器），从而可以提供由图像传感器101的各个成像像素捕获到的到的光强度和波长信息，以提供可被前端处理逻辑103处理的一组原始图像数据。
前端处理逻辑103可以从存储器108接收像素数据。例如，原始像素数据可以从图像传感器101发送到存储器108。然后，驻留在存储器108中的原始像素数据可以被提供至前端处理逻辑103用于处理。
在接收到原始图像数据（从图像传感器101或从存储器108）时，前端处理逻辑103可以执行一个或多个图像处理操作。然后，处理过的图像数据可以在显示（例如在显示装置106上）之前被提供至管线处理逻辑104进行附加的处理，或者可以被送至存储器108。管线处理逻辑104可以直接从前端处理逻辑103或从存储器108接收“前端”处理的数据，并可以根据情况来提供原始域以及RGB和YCbCr色彩空间中的图像数据的附加的处理。然后，管线处理逻辑104处理过的图像数据可以输出到显示器106（或取景器）用于用户观看和/或可以被图形引擎进一步处理。此外，来自管线处理逻辑104的输出可以发送到存储器108，并且显示器106可以从存储器108读取图像数据。此外，在一些实现方式中，管线处理逻辑104可以还包括诸如压缩引擎的编码器107等，用于在显示器106读取图像数据之前编码图像数据。
编码器107可以是用于对静态图像编码的JPEG（联合图像专家组）压缩引擎，或用于对视频图像编码的H.264压缩引擎，或它们的一些组合。此外，应注意，管线处理逻辑104还可以从存储器108接收原始图像数据。
控制逻辑105可以包括处理器620（图6）和/或被配置为执行一个或多个例程的微控制器（例如，固件），这些例程被配置为确定用于成像设备150的控制参数以及用于管线处理逻辑104的控制参数。仅作为示例，控制参数可以包括传感器控制参数、照相机闪光灯控制参数、镜头控制参数（例如，用于聚焦或变焦的焦距）或者这些参数的组合以用于一个或多个图像传感器101。控制参数，也可以包括图像处理命令，诸如自动白平衡、自动聚焦、自动曝光、色彩调整，以及用于管线处理逻辑104的镜头阴影校正参数。控制参数还可以包括用于管线处理逻辑104的复用信号或命令。
现在参考图2，管线处理逻辑104的一个实施方式可通过首先发送图像信息至第一处理单元201来执行图像信号处理管线的处理，第一处理单元201可采用图像传感器101（图1）所产生的原始数据并生成数字图像，以被用户观看或被下游处理单元进行进一步的处理。因此，处理管线可以被视为实时调整图像数据的一系列专用算法，并经常被实现为片上系统（SoC）图像处理器的集成组件。通过以硬件实现的图像信号处理管线，可以在不对主应用处理器620（图6）增加任何处理负担的情况下完成前端图像处理。
在一个实施方式中，图像信号处理管线的第一处理单元201元可以执行特定的图像处理，诸如降噪、有缺陷的像素检测/校正、镜头阴影校正、镜头失真校正、去马赛克、图像锐化、色彩均匀化、RGB（红、绿、蓝）对比、饱和度提升处理等。如上所述，管线可以包括第二处理单元202。在一个实施方式中，第二处理单元202可以执行特定的和不同的图像处理，诸如降噪、缺陷像素检测/校正、镜头阴影校正、去马赛克、图像锐化、色彩均匀化、RGB对比度、饱和度提升处理等。然后，图像数据可以根据情况被发送至管线的一个或多个附加单元、保存到存储器108和/或为显示器106输入。
在一个实施方式中，由图像信号处理管线中的处理单元201和202处理单元所执行的图像处理是增强的高动态范围处理。用于增强的高动态范围处理的操作模式会使同时的图像被图像传感器101捕获到。通过同时拍摄多张图像，将在每个图像中在同一时间捕获对象被拍摄的多张图片。在用于增强的高动态范围处理的操作模式下，以不同的曝光水平（例如，不同的增益设置）或其他一些特性来捕获多个图像，然后进行组合以产生具有特定特性的增强的范围的图像。例如，增强的图像可以根据同时捕获到的图像的数量而被产生为一部分具有低曝光、另一部分具有中曝光、而又一部分具有高曝光。在不同的情景下，同时的图像可关于不同聚焦级别（focus level）而被捕获。
在另一实施方式中，由图像信号处理管线中的处理单元201或202所执行的不同的图像处理是在包括增强的连续自动聚焦的许多情况下可以使用的增强的自动聚焦处理。用于增强的高动态范围处理的操作模式使同时的图像被图像传感器101捕获。可以使图像传感器101（起辅助作用）之一聚焦在对象上，然后扫描整个聚焦范围以找到对第一图像传感器最佳的聚焦。然后该最佳聚焦范围被主图像传感器用来捕获对象的图像。在一个情景中，主图像传感器101可以捕获对象或包括对象的场景的视频。因此，归因于第二或辅助图像传感器101的最佳聚焦范围可以随场景的变化而变化，因此，主图像传感器101所用的聚焦可以随着视频被捕获而进行调整。
在又一实施方式中，图像信号处理管线中的处理单元所执行的图像处理是增强的景深处理。用于增强处理的操作模式使同时的图像被图像传感器101所捕获到。图像传感器101的聚焦可以被控制逻辑105独立地控制。因此，一个图像传感器可以在场景中的对象上精密地聚焦或变焦，而第二个图像传感器可以在该场景的不同方面以不同水平焦距。然后，图像单一处理管线中的图像处理可以采取捕获到的图像，并组合它们以产生具有更大景深的增强的图像。因此，可以组合多个图像以有效地扩展长景深。此外，一些实施方式可以利用来自多于两个的成像器或图像传感器101的图像。
在各种实施方式中，多个图像传感器101可以不聚焦在场景中的同一个对象上。例如，可以对图像传感器101或成像器施加命令，其中主成像器和副成像器以不同的角度、不同的曝光、不同的增益等来捕获场景，其中，第二图像被用来校正或增强主图像。示例性操作包括但不仅限于：作为一个示例，HDR捕获和通过利用一个帧以帮助对其他帧进行降噪的增强的降噪操作。为了说明，在一个实现方式中，在两个同时的图像中捕获到的场景可通过平均两个图像的像素值来进行增强的，这将改善捕获到的场景的信噪比。此外，通过具有以不同角度同时捕获的多个图像，可以计算镜头阴影曲线（使用图像捕获中的相同的一个或多个对象在两个（或更多）图像传感器之间的位置差）并且将其用于校正有效像素。
因此，在又一实施方式中，图像信号处理管线中的处理单元201或202所执行的图像处理是校正处理。用于增强的处理的操作模式会使同时的图像被图像传感器101捕获到。各个成像器101的镜头可以具有不同的视角。因此，在图像处理中，对以不同视角捕获到的图像进行比较以确定两个图像中的差异。例如，有缺陷的硬件或设备可导致在捕获到的图像中的可见的缺陷。因此，由于不同的视角，来自多个图像传感器101的捕获图像中的缺陷在两个视图（view）/图像中将不会处于相同的位置。会存在小的差异，并且，图像信号处理管线能够区分缺陷与真实的图像，以施加某些形式的校正。
在又一实施方式中，图像信号处理管线中的处理单元201或202所执行的图像处理是增强的图像分辨率处理。用于增强的处理的操作模式会使同时的图像被图像传感器101以特定的分辨率（例如，10兆像素（Megapixel））捕获到。然后图像单一处理管线中的图像处理可以采用捕获到的图像，并组合它们以产生具有增加的或超级的分辨率（例如，20兆像素）的增强的图像。此外，在一些实施方式中，一个捕获图像可用于改善另一个捕获图像，反之亦然。因此，可以通过图像的同时捕获而产生多个增强的单视场图像。
在又一实施方式中，图像信号处理管线中的处理单元所执行的图像处理是增强的图像分辨率处理。用于增强的处理的操作模式使同时的图像视频流在低光照条件下被图像传感器101捕获到。
考虑到在低光照条件下照相机的成像质量往往不足。对于被设计为用于充足光照条件的图像传感器阵列而言，环境光照往往是较低且不充足的。因此，这样的传感器阵列不能接收足够的光子以捕获具有良好曝光的图像，从而导致发暗的图像。试图通过模拟或数字增益来校正这点可以有所帮助，但也往往过于放大了底层噪声（underlying noise）（这点在低光照条件下更加突出）。一个可行的方法是延长曝光时间，但是因为手的晃动可能引入模糊所以这也未必可行。另一种传统的解决办法是增加大光圈镜头和外置闪光灯。前者是非常昂贵且占用体积的提案，而后者则可能不被允许（诸如在博物馆中）或未必有效（诸如远距离拍摄）。此外，闪光系统也是昂贵的并消耗大量的电力。
本发明的可选择的实施方式使用了不同的图像传感器101（例如红外线、RGB、全色等）的组合。例如，一个图像传感器可以有利地补偿其他的图像传感器所不提供的图像信息，反之亦然。因此，图像传感器可以同时地捕获图像，其中，大部分的图像信息从主图像传感器所获取，而附加的图像信息则根据需要由一个或多个附加的图像传感器提供。
在一个实施方式中，低光（low light）图像传感器101或全色图像传感器与标准RGB（拜耳模式）图像传感器阵列合作而使用。由于具有较小的成像器芯片尺寸，全色传感器接收的光子多达单一的RGB感应器的光子的三倍，但是依赖RGB邻居来进行色彩识别。这种传感器阵列设计由于较大的图像芯片尺寸而优于较高光照水平的普通的RGB传感器。成像设备150的一个实施方式使用用于高光照的条件的RGB型CMOS或CCD型传感器阵列以及设计用于低光照条件下（例如，全色-只有黑色和白色亮度，或散布的全色）的第二低光型传感器。从而，成像设备150在两个传感器之间自动切换以最佳地捕获当前的光照条件下的图像。此外，在一个实施方式中，可在低光照下捕获同时的图像。特别是，通过使用全色成像器101和普通光照成像器101来捕获多个图像，捕获到的图像可以被进行关联和组合以产生更加生动的低光图像。
作为一个示例，全色图像传感器101可用于在低光照条件下以较高的帧速率来捕获视频流，而只以一半的速率来采样色度数据。相对于以比亮度更小的分辨率来处理色度的空间方法，这相当于时间压缩方法。处理单元201或202的输出可以是单一帧序列或者可以实际上包括两个分离的流以用于后处理访问。
在另一情景下，可以使用全色成像器101和普通光照成像器101来减少运动模糊。运动模糊为当对象在成像设备150前面运动时以及在低光照条件下，例如，用于低光照条件下的选择性曝光可以捕获到被拍摄的对象的运动或成像设备150本身的晃动。因此，全色成像器被用于以比普通光照成像器捕获到的第二图像更小的曝光来捕获图像。捕获到的图像可以进行关联和组合，以产生运动模糊经校正的图像。
成像设备150的实施方式不限于具有两个图像传感器，而可以应用多个图像传感器101。例如，平板设备可以在该设备的前面具有两个成像器，并且在设备的后面具有两个成像器，其中来自各个成像器的图像（包括视频）被同时地捕获，并被组合成所得图像。
接下来参考图3，在一个实施方式中，由管线处理逻辑104所实现的图像信号处理管线包含平行的路径，而不是单一的直线路径。例如，平行路径可以提供第一路径和第二路径。此外，在一个实施方式中，第一路径包括主要处理路径，第二路径包括补充处理路径。因此，当来自第一图像传感器101的图像数据正在第一路径中处理时，来自第二图像传感器101的原始图像数据可以在第二平行路径中处理。可以是：第二路径包含比第一路径更少的阶段或单元321、322。可替代地，第一路径可以包含数量等于或少于第二路径的阶段或单元311、312。此外，第二路径可以涉及图像分辨率的下转换（down-conversion），以减少在管线中的诸如用于图像分析的图像处理过程中需要处理的像素的量。并行路径的好处可以应用于一个或多个图像传感器101捕获到的静态图像以及视频图像。在图像信号处理管线中使用并行路径能够同时处理多个图像数据，同时最大化最终图像的质量。
参考图4，在图像处理管线的一个实施方式中，处理单元411和412可以划分为适合于主图像的单元和适合于副图像的处理单元421和422。因此，副图像可初步地进行诸如使缩小或按比例缩放（scale）的处理，以有益于下游单元。作为示例，由于副图像需要下游单元来进行降噪，副图像的路径可以包含噪声滤波单元。
在一些实施方式中，第一路径和第二路径所产生的图像可以存储在存储器108中，并且可用于随后的过程和单元的后续应用。因此，在一个实施方式中，当主图像正在管线的主路径中处理时，该图像的被缩小或按比例缩放的另一图像或者先前的图像可以由主路径读取。这可以实现管线中的诸如噪声滤波期间的更加强大的处理。
此外，在一些实施方式中，在多个图像中的类似像素可以一次处理，然后将独立处理不同的像素。应注意，从两个彼此接近的图像传感器同时捕获图像会非常相似。因此，第一捕获图像的像素可以在管线的主路径中处理。另外，可以以相似度掩码来识别第二捕获图像中的类似的像素，其中，类似的像素也包含在第一捕获图像中（并且已被处理）。在第二捕获图像中去除类似的像素之后，其余的像素可以在管线的副路径中处理。通过去除冗余的处理，可以实现在图像信号处理管线中显著的电力节省。
此外，在一些实施方式中，第一路径和第二路径产生的图像可以同时显示。例如，显示器106的一个显示部分可以用来显示视频（例如，从第一条路径输出）而显示器106的第二显示部分可用来显示静态图像或响应于成像设备150的界面上的暂停按钮的来自视频的“快照”（例如，从第二路径输出）。可替代地，一个图像帧可在显示器的分割画面（screen）中显示（例如，左侧部分），而另一图像帧可显示在显示器的右侧部分中。成像设备可以被配置为允许用户选择帧（例如，在分割画面中显示的帧）的组合，然后通过处理逻辑103、104、105进行比较和组合，以产生具有改善的图像质量和分辨率的增强的图像。
如前所述，成像设备150的实施方式，可以采用从设备的界面单元中可选择的操作模式。界面单元可以包括从显示器106中可选择的图形界面单元或从成像设备150的壳体中可选择的或可切换的机械式按钮或开关。在一个实施方式中，用户可以激活立体操作模式，其中，成像设备150的处理逻辑103、104、105使用捕获到的图像产生在显示屏106上可观看或能够保存在存储器108中的3D图像。用户也可以激活2D操作模式，其中，单一的图像被捕获并显示，或被保存在存储器108中。此外，用户可以激活增强的2D操作模式，其中，多个图像被捕获并被用于产生可以观看或在存储器108中保存的具有增强的特性（例如，改善景深、增强的聚焦、HDR、超级分辨率等）的2D图像。
在图像处理中，面元划分（binning）允许来自相邻像素的电荷相结合，以减小空间分辨率为代价，提供了改善的信噪比。在各种实施方式中，可以在多个图像传感器的每一个中使用不同的划分水平。因此，可以从具有较低的面元划分水平的图像传感器中获取更好的分辨率而从具有较高的面元划分水平的图像传感器中获取更好的信噪比。然后捕获到的场景或图像的两个版本可以相组合以产生图像的增强版本。
特别是，在一个实施方式中，多个图像传感器101捕获各自具有不同的曝光水平的多个图像。图像信号处理管线的处理单元201和202对捕获到的图像的不同组合进行关联并执行高动态范围处理。来自不同的组合的所得图像可以显示给用户，或者提供给用户对可以保存和/或显示的所需的最终图像进行选择。在一些实施方式中，也可以提供允许渐进或逐步移动的图形界面滑动条（或其他用户界面控制单元），以提供具有不同曝光的图像之间的不同权重组合。对于视频，可以跨所有帧而保持这样的设置。
在实施方式中，还利用多个图像传感器101实现了图像信号处理管线的复用。例如，如图5所示，考虑立体成像设备（例如，成像设备150的一个实施方式）分发（deliver）了对象的左侧图像和右侧图像至单一图像信号处理管线。因此，管线处理逻辑104中的单一图像管线被前端处理逻辑103在并行地输入至管线的左侧图像和右侧图像之间复用。可替代地，在增强的2D图像处理中，同时的图像捕获也可以通过图像之间的复用而并行地输入至管线。
因此，不是一个图像在另一图像已被完整处理之后被完整处理，而是只要前端处理逻辑103的处理时间允许，图像可以通过与另一个之间切换图像处理而同时地进行处理。这样通过不延迟图像处理直到另一图像完成而减少了等待时间，从而两个图像的处理会更迅速地完成。
记住以上几点，图6是示出了使用上面简要地提到的一个或多个图像处理技术而提供了图像数据处理的电子设备650的示例的框图。电子设备650可以是被配置为接收和处理图像数据（诸如使用一个或多个图像传感组件所获取的数据）的任何类型的电子设备，诸如笔记本计算机或台式计算机、移动电话、平板、数字媒体播放器等。
无论其形式（例如，便携式和非便携式），应当理解，其中，电子设备650可以使用以上简要地说明的一个或多个图像处理技术而提供图像数据的处理。在一些实施方式中，电子设备650可以对电子设备650的存储器中存储的图像数据应用这样的图像处理技术。在进一步的实施方式中，电子设备650可以包括诸如集成的或外部的数码照相机或成像器101的多个成像设备，它们被配置为获取图像数据，然后这些图像数据被电子设备650使用一个或多个上述提到的图像处理技术进行处理。
如图6所示，电子设备605可以包括各种有助于设备605的功能的内部和/或外部组件。本领域普通技术人员应当认识到，图6中所示的各种功能块可以包括硬件单元（包括电路）、软件单元（包括存储在计算机可读介质中的计算机代码）或硬件和软件单元的组合。例如，在当前所示的实施方式中，电子设备605可以包括输入/输出（I/O）端口610、一个或多个处理器620、存储设备630、非易失性存储器640、网络设备650、电源660以及显示器670。此外，电子设备605可以包括诸如数码照相机或成像器101的成像设备680，以及图像处理电路690。正如将在下面进一步讨论的，图像处理电路690可被配置为在处理图像数据时实现一个或多个上述图像处理技术。正如所能够认识到的，图像处理电路690处理过的图像数据可以从存储器630和/或一个或多个非易失性存储设备640中检索，或者可以使用成像设备680来获取。
在继续之前，应当理解，图6中所示的设备605的系统框图旨在成为高层级的控制图，其示出了该设备605中可以包含的各种组件。即，图6中所示的各个组件之间的连接线并非必须表示数据流动或在设备605的各个组件之间传输的路径或方向。事实上，如上所述，在一些实施方式中，所示的一个或多个处理器620包括诸如主处理器（例如，CPU）的多个处理器，以及专用的图像和/或视频处理器。在这些实施方式中，图像数据的处理可以主要由这些专用处理器来处理，从而有效地从主处理器（CPU）中分担这些任务。
接下来，参考图7，所示的是提供了根据各种实施方式的图像处理电路100的一部分的操作的一个示例的流程图。应当理解，图7的流程图只是提供了许多不同类型的功能配置的示例，它们可以被用来实现本文所述的图像处理电路100的一部分的操作。作为替代，图7的流程图可以被视为示出了根据一个或多个实施方式的电子设备605（图6）中实现的方法的步骤的示例。
从步骤702开始，控制逻辑105触发或启动来自图像传感器101的多个图像的同时捕获，其中多个图像包括至少第一图像和第二图像。第一图像包含与第二图像的成像特性不同的成像特性或设置。可能的图像特性包括曝光水平、聚焦水平、景深设置、视角等。在步骤704中，处理逻辑103和处理逻辑104至少组合第一图像和第二图像或者第一图像和第二图像的一部分以产生具有第一图像和第二图像的质量的增强的图像。作为示例，增强的图像可以包含具有来自第一图像和第二图像的景深、来自第一图像和第二图像的曝光水平、第一图像和第二图像的组合分辨率等的部分。在步骤706中，增强的图像从处理逻辑的图像信号处理管线中输出，并被提供用于显示。
接下来，参考图8，所示的是提供了根据各种实施方式的图像处理电路100的一部分的操作的附加示例的流程图。从步骤802开始，控制逻辑105触发来自图像传感器101的多个图像的同时捕获，其中多个图像包括至少第一图像和第二图像。第一图像包含与第二图像的成像特性不同的成像特性或设置。此外，由于不同的特性或设置，一个图像可包含其他图像中不存在的图像劣化。例如，如果一个图像具有比其他图像更长的曝光，则更长的曝光的图像可能具有其他图像中没有捕获到的运动模糊劣化，但是其他的图像可能具有其他诸如低光照水平的非期望的特性。在步骤804中，处理逻辑104比较至少第一图像和第二图像或者第一图像和第二图像的一部分，以检测第一图像中的图像劣化，然后在步骤806中，管线处理逻辑104补偿图像劣化以产生具有第一图像和第二图像的质量的增强的图像。在步骤808中，增强的图像从管线处理逻辑104中的图像信号处理管线中输出，并被提供用于显示。在可选的实施方式中，可以输出多个增强的图像，其中一个捕获到的图像可以用来检测第二图像中的图像劣化或缺陷而第二图像也可以用来检测第一图片中的图像劣化/缺陷。
在图9中示出了提供了根据各种实施方式的图像处理电路100的一部分的操作的附加示例的流程图。从步骤902开始，控制逻辑105激活了成像设备150的立体操作模式，其中，捕获图像被用来产生能够在显示器106上可观看的或能够保存在存储器108中的3D图像。在一个实施方式中，用户可以产生用于控制逻辑105的命令以激活立体操作模式。在可选的实施方式中，控制逻辑105可被配置为自动激活立体操作模式。
因此，在步骤904中，控制逻辑105激活用于成像设备150的2D或单视场操作模式，其中，单一的图像被捕获并显示，或者被保存在存储器108中。在一个实施方式中，用户可以产生用于控制逻辑105的命令以激活2D模式。在可选的实施方式中，控制逻辑105可被配置为在没有用户提示情况下自动激活2D操作模式。
此外，在步骤906中，控制逻辑105激活用于成像设备150的增强的2D或单视场操作模式，其中，多个图像被捕获并被用来产生具有增强的特性（例如，改善的景深、增强的聚焦、HDR、超级分辨率等）、可观看的或可保存在存储器108中的2D图像。此外，在各种实施方式中，图像处理的其中一个输出可以不是增强的图像而可以是诸如景深信息的用于增强的图像的图像信息。在一个实施方式中，用户可以生成用于控制逻辑105的命令，以激活增强的2D操作模式。在可选的实施方式中，控制逻辑105可被配置为在没有用户提示的情况下自动激活增强的2D操作模式。
流程图中的任何处理的说明或模块，应当理解为表示了包括用于实现处理中特定的逻辑功能或步骤的一个或多个可执行指令的模块、程序段（segment）或部分代码，并且可选的实施方式也被包括在本发明的实施方式的范围内，其中，如本领域技术人员所理解的，根据所涉及的功能，可以以与所示的和所说明的顺序不同的顺序（包括基本同时或逆序）而执行功能。
在本文献的上下文中，“计算机可读介质”可以是包含、存储、通信或传输被指令执行系统、装备或设备所使用或与它们相关的任何装置。计算机可读介质可以是但不限于：例如电子、磁、光、电磁、红外或半导体系统、装置或设备。计算机可读介质的更具体的示例（不完全列表）将包括以下：具有一条以上配线的电连接（电子）、便携式计算机磁盘（磁）、随机存取存储器（RAM）（电子）、只读存储器（ROM）（电子）、可擦除可编程只读存储器（EPROM或闪存存储器）（电子）、光纤（光）和便携式只读光盘存储器（CD-ROM）（光）。此外，某些实施的范围包括以硬件或软件配置的介质实现的逻辑来实现实施方式的功能。
应当强调的是，上述的实施方式仅仅是实现方式的可能的示例，只是为清楚地了解发明的原理而予以说明。在本质上没有偏离发明的精神和原理的前提下，可对上述的一个或多个实施方式进行各种变化和修改。所有这些变化和修改旨在包括在本发明范围内，并且受所附权利要求的保护。

Claims (7)

1.一种图像捕获设备，包括：
第一图像传感器，用于记录第一图像；
第二图像传感器，用于记录第二图像；
控制处理电路，启动所述第一图像传感器对所述第一图像以及所述第二图像传感器对所述第二图像的同时捕获；以及
图像处理电路，产生包括所述第一图像和所述第二图像的至少一部分的增强的单视场图像，
其中所述第一图像用作用于所述增强的单视场图像的图像数据，并且所述第二图像用作增强数据以增强所述第一图像的至少一个图像特性，
其中，对所述第二图像进行分析并将其与所述第一图像比较，以分离出所述第一图像中的缺陷，其中，所述增强的单视场图像是所述第一图像去除所述缺陷的经校正的版本，
其中，所述图像处理电路配置为：在第一处理路径中处理所述第一图像的第一像素，其中所述第一像素的全部也包含在所述第二图像中；并且在第二处理路径中处理不包括在所述第一图像中的所述第二图像的第二像素。
2.根据权利要求1所述的图像捕获设备，其中，所述增强的单视场图像包括从所述第一图像中获取的第一部分和从所述第二图像中获取的第二部分，其中，所述第一部分包括具有与所述第二部分不同的曝光水平或者具有与所述第二部分不同的景深中的至少一个，或者
其中，所述增强的单视场图像的分辨率大于所述第一图片和所述第二图像的单个的分辨率。
3.根据权利要求1所述的图像捕获设备，其中，所述控制处理电路被配置为在以下模式下进行操作：单视场模式，利用所述第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生所述增强的单视场图像，或者
其中，所述控制处理电路被配置为在包括所述单视场模式和所述增强的单视场模式之间自动切换。
4.根据权利要求1所述的图像捕获设备，其中，所述增强的单视场图像包括具有至少一个改善的特性的所述第一图像。
5.一种图像处理方法，包括：
记录由第一图像传感器所捕获的第一图像；
记录由第二图像传感器所捕获的第二图像，其中，所述第一图像和所述第二图像是同时捕获的；
比较所述第一图像和所述第二图像中的至少一部分；以及
响应于所述第一图像和所述第二图像的比较结果，产生增强的单视场图像，
其中，所述第一图像用作用于所述增强的单视场图像的图像数据，而所述第二图像用作增强数据以增强的所述第一图像的至少一个图像特性，
其中，对所述第二图像进行分析并将其与所述第一图像比较，以分离出所述第一图像中的缺陷，其中，所述增强的单视场图像是所述第一图像去除所述缺陷的经校正的版本，并且其中
在第一处理路径中处理所述第一图像的第一像素，其中所述第一像素的全部也包含在所述第二图像中；并且在第二处理路径中处理不包括在所述第一图像中的所述第二图像的第二像素。
6.根据权利要求5所述的图像处理方法，其中，所述增强的单视场图像包括具有至少一个改善的特性的所述第一图像，
其中，所述至少一个改善的特性包括改善的景深、改善的分辨率中的至少一个；或改善的曝光水平。
7.根据权利要求5所述的图像处理方法，其中，一种图像捕获设备包括所述第一图像传感器和所述第二图像传感器，所述方法还包括：
在以下模式之间切换所述图像捕获设备的操作：单视场模式，利用所述第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生所述增强的单视场图像。
CN201210254807.9A 2011-07-20 2012-07-20 双图像捕获处理 Active CN102892008B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161509747P 2011-07-20 2011-07-20
US61/509,747 2011-07-20
US13/335,028 US9270875B2 (en) 2011-07-20 2011-12-22 Dual image capture processing
US13/335,028 2011-12-22

Publications (2)

Publication Number Publication Date
CN102892008A CN102892008A (zh) 2013-01-23
CN102892008B true CN102892008B (zh) 2016-12-21

Family

ID=46514066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210254807.9A Active CN102892008B (zh) 2011-07-20 2012-07-20 双图像捕获处理

Country Status (5)

Country Link
US (1) US9270875B2 (zh)
EP (2) EP2549763A3 (zh)
KR (1) KR101428635B1 (zh)
CN (1) CN102892008B (zh)
TW (1) TWI526068B (zh)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814566B2 (ja) * 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2013190171A1 (en) * 2012-06-20 2013-12-27 Nokia Corporation Display camera operation
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
US8854362B1 (en) * 2012-07-23 2014-10-07 Google Inc. Systems and methods for collecting data
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
KR102124188B1 (ko) 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
US9635268B2 (en) * 2013-03-13 2017-04-25 Samsung Electronics Co., Ltd. Electronic device and method for generating thumbnail data
US9554113B2 (en) 2013-03-21 2017-01-24 Mediatek Inc. Video frame processing method
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
CN103338355A (zh) * 2013-06-17 2013-10-02 广东新视野信息科技有限公司 一种3g航空腹舱视频监控方法
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108989648B (zh) 2013-08-01 2021-01-15 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
JP6306845B2 (ja) * 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
US9443335B2 (en) 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
JP2016540418A (ja) * 2013-10-18 2016-12-22 ザ ライト・コ インコーポレイテッド 画像のキャプチャおよび／または結合のための方法および装置
KR20160090373A (ko) * 2013-12-06 2016-07-29 후아웨이 디바이스 컴퍼니 리미티드 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
EP3073733A4 (en) * 2013-12-06 2017-04-05 Huawei Device Co., Ltd. Method for generating picture and twin-lens device
US9319576B2 (en) 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CA2959335A1 (en) * 2014-08-26 2016-03-03 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional (3d) imaging
WO2016029465A1 (zh) * 2014-08-29 2016-03-03 华为技术有限公司 一种图像处理方法、装置及电子设备
TWI542224B (zh) * 2014-09-22 2016-07-11 瑞昱半導體股份有限公司 影像訊號處理方法以及影像訊號處理裝置
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN104363391B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
CN104469164B (zh) * 2014-12-24 2018-10-12 联想(北京)有限公司 图像采集设备、图像采集模组及图像处理方法
EP3241179B1 (en) * 2014-12-29 2020-11-18 Nokia Corporation Method, apparatus and computer program product for motion deblurring of images
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9729785B2 (en) 2015-01-19 2017-08-08 Microsoft Technology Licensing, Llc Profiles identifying camera capabilities that are usable concurrently
EP3278178B1 (en) 2015-04-02 2019-04-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
CN111175926B (zh) 2015-04-16 2021-08-20 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR102400104B1 (ko) * 2015-10-28 2022-05-19 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
JP6603558B2 (ja) 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
EP3174286B1 (en) 2015-11-25 2021-01-06 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
EP4254926A3 (en) 2015-12-29 2024-01-31 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
US9712774B1 (en) * 2016-01-14 2017-07-18 Omnivision Technologies, Inc. Method and system for implementing dynamic ground sharing in an image sensor with pipeline architecture
CN105827909B (zh) * 2016-01-25 2017-06-23 维沃移动通信有限公司 一种双摄像头快速启动方法及移动终端
EP4270976A3 (en) * 2016-02-12 2024-01-10 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
CN107102499A (zh) * 2016-02-22 2017-08-29 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
EP4270978A3 (en) 2016-06-19 2024-02-14 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102110025B1 (ko) 2016-07-07 2020-05-13 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
JP7081835B2 (ja) * 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10771697B2 (en) * 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
GB2568647B (en) 2016-09-19 2022-04-20 Tau Tech Llc Multi-camera imaging systems
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
EP3568804A2 (en) * 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
US10630888B2 (en) 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis
EP3579040B1 (en) 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
EP4357832A3 (en) 2017-03-15 2024-05-29 Corephotonics Ltd. Camera with panoramic scanning range
US10999562B2 (en) * 2017-03-27 2021-05-04 Sony Corporation Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image
CN107277348B (zh) * 2017-06-16 2019-08-16 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端
US10319079B2 (en) 2017-06-30 2019-06-11 Microsoft Technology Licensing, Llc Noise estimation using bracketed image capture
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
US10742834B2 (en) * 2017-07-28 2020-08-11 Advanced Micro Devices, Inc. Buffer management for plug-in architectures in computation graph structures
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
WO2019102313A1 (en) 2017-11-23 2019-05-31 Corephotonics Ltd. Compact folded camera structure
US10721419B2 (en) * 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
CN108024056B (zh) 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
KR102128223B1 (ko) 2018-02-05 2020-06-30 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
US10691968B2 (en) 2018-02-08 2020-06-23 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN110166795B (zh) * 2018-07-19 2022-02-18 腾讯科技（深圳）有限公司 一种视频截图方法及装置
JP7028983B2 (ja) 2018-08-04 2022-03-02 コアフォトニクス リミテッド カメラ上の切り替え可能な連続表示情報システム
KR20210046654A (ko) 2018-08-20 2021-04-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치 및 화상 처리 시스템
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
KR102012717B1 (ko) * 2018-10-25 2019-08-21 전자부품연구원 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
US10880475B2 (en) 2018-10-25 2020-12-29 Korea Electronics Technology Institute Video conversion apparatus and system for generating 360-degree virtual reality video in real time
CN113260835A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
KR20210007697A (ko) 2019-07-12 2021-01-20 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치
CN110392149A (zh) * 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102640227B1 (ko) 2019-07-31 2024-02-22 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
WO2021077205A1 (en) 2019-10-26 2021-04-29 Genetec Inc. Automated license plate recognition system and related method
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
RU2725973C1 (ru) * 2019-12-31 2020-07-08 Вячеслав Михайлович Смелков Способ формирования видеосигнала в телевизионно-компьютерной системе для контроля промышленных изделий, имеющих форму кругового кольца
KR20220053023A (ko) 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
KR20230159624A (ko) 2020-04-26 2023-11-21 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
US20210334586A1 (en) * 2020-04-28 2021-10-28 Mediatek Inc. Edge learning display device and method
US11832018B2 (en) 2020-05-17 2023-11-28 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11891075B2 (en) * 2020-06-23 2024-02-06 Tusimple, Inc. Redundant hardware and software architecture for autonomous vehicles
US11928799B2 (en) 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4202521A1 (en) 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
CN114424104B (zh) 2020-08-12 2023-06-30 核心光电有限公司 扫描折叠相机中的光学防抖
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
JP2024514432A (ja) 2021-03-29 2024-04-02 アルコン インコーポレイティド 連続自動焦点合わせモードを有する立体視撮像プラットフォーム
WO2022212507A1 (en) * 2021-03-30 2022-10-06 Cyberdontics (Usa), Inc. Optical coherence tomography for intra-oral scanning
US12007671B2 (en) 2021-06-08 2024-06-11 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
US11575828B1 (en) * 2021-10-14 2023-02-07 Meta Platforms, Inc. Dynamically identifying visual media capture formats based upon conditions
WO2023141216A2 (en) * 2022-01-21 2023-07-27 Spectral Md, Inc. System and method for topological characterization of tissue
WO2024054937A1 (en) 2022-09-08 2024-03-14 Cyberdontics (Usa), Inc. Optical coherence tomography scanning system and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2569474Y (zh) * 2002-01-07 2003-08-27 张国梁 立体影像摄录及播放系统
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、系统及方法
CN101496415A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050041640A (ko) 2003-10-31 2005-05-04 삼성전자주식회사 영상 촬영 장치 및 방법
US7086735B1 (en) * 2005-05-27 2006-08-08 Anthony Italo Provitola Enhancement of visual perception
WO2006079963A2 (en) 2005-01-28 2006-08-03 Koninklijke Philips Electronics N.V. Device for registering images
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
JP4288623B2 (ja) * 2007-01-18 2009-07-01 ソニー株式会社 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
TW200937344A (en) 2008-02-20 2009-09-01 Ind Tech Res Inst Parallel processing method for synthesizing an image with multi-view images
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
WO2010108119A2 (en) * 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2569474Y (zh) * 2002-01-07 2003-08-27 张国梁 立体影像摄录及播放系统
CN101496415A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、系统及方法

Also Published As

Publication number Publication date
EP3429189B1 (en) 2024-04-17
US20130021447A1 (en) 2013-01-24
EP2549763A2 (en) 2013-01-23
EP2549763A3 (en) 2014-03-12
TWI526068B (zh) 2016-03-11
CN102892008A (zh) 2013-01-23
KR101428635B1 (ko) 2014-08-08
TW201309003A (zh) 2013-02-16
KR20130011951A (ko) 2013-01-30
US9270875B2 (en) 2016-02-23
EP3429189A1 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
CN102892008B (zh) 双图像捕获处理
US10547772B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
CN108712608B (zh) 终端设备拍摄方法和装置
KR101340688B1 (ko) 루미넌스 및 크로미넌스 센서들을 이용한 이미지 캡처
CN103501416B (zh) 成像系统
US20050128509A1 (en) Image creating method and imaging device
US9282312B2 (en) Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof
TWI617196B (zh) 圖像感測器、成像裝置、行動終端及成像方法
US20130021504A1 (en) Multiple image processing
US20120300105A1 (en) Exposing pixel groups in producing digital images
KR20200042536A (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
CN116324882A (zh) 多相机系统中的图像信号处理
CN105993164A (zh) 固态图像传感器、电子设备和自动聚焦方法
JP2007243917A (ja) 撮像装置および画像処理プログラム
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
CN110930440B (zh) 图像对齐方法、装置、存储介质及电子设备
WO2022073364A1 (zh) 图像获取方法及装置、终端和计算机可读存储介质
CN112866554A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2011035772A (ja) 電子カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1179790

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170321

Address after: Singapore Singapore

Patentee after: Avago Technologies Fiber IP Singapore Pte. Ltd.

Address before: American California

Patentee before: Zyray Wireless Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181022

Address after: Singapore Singapore

Patentee after: Annwa high tech Limited by Share Ltd

Address before: Singapore Singapore

Patentee before: Avago Technologies Fiber IP Singapore Pte. Ltd.

TR01 Transfer of patent right
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1179790

Country of ref document: HK