CN102378015B - 使用亮度和色度传感器的图像捕获 - Google Patents

使用亮度和色度传感器的图像捕获 Download PDF

Info

Publication number
CN102378015B
CN102378015B CN201110233988.2A CN201110233988A CN102378015B CN 102378015 B CN102378015 B CN 102378015B CN 201110233988 A CN201110233988 A CN 201110233988A CN 102378015 B CN102378015 B CN 102378015B
Authority
CN
China
Prior art keywords
image
imageing sensor
chromatic diagram
picture
diagram picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110233988.2A
Other languages
English (en)
Other versions
CN102378015A (zh
Inventor
D·S·盖尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN102378015A publication Critical patent/CN102378015A/zh
Application granted granted Critical
Publication of CN102378015B publication Critical patent/CN102378015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及使用亮度和色度传感器的图像捕获。在此所公开的方法和设备涉及图像感测装置。一种实施方式可以采用以下形式的图像感测装置,该图像感测装置包括用于捕获亮度图像的第一图像传感器、用于捕获第一色度图像的第二图像传感器以及用于捕获第二色度图像的第三图像传感器。图像感测装置还可以包括用于将由第一图像传感器捕获的亮度图像、由第二图像传感器捕获的第一色度图像和由第三图像传感器捕获的第二色度图像组合以形成合成图像的图像处理模块。

Description

使用亮度和色度传感器的图像捕获
技术领域
本发明所公开的实施方式总体上涉及图像感测装置,并且更具体地,涉及用于捕获图像且具有分离的亮度和色度传感器的图像感测装置。
背景技术
某些图像捕获装置(例如数码相机和录像机)能够通过使用电子图像传感器以数字方式记录图像来拍摄视频或静止照片,或拍摄视频和静止照片二者。电子成像装置的制造成本的持续降低,加上功能性的不断增加以及用户界面的增强,已经使得使用增加并且普遍。数码相机和/或摄像机不仅可作为独立的装置,而且还可以并入其它电子装置中。例如,此类装置可以并入计算机、移动电话、手持式计算装置等中。这些装置还可以用作计算外围设备以允许图像捕获、视频会议、视频聊天等。
大部分的电子成像装置使用由光敏像素网格制成的光电传感器。这些像素可以测量光强(或亮度),以及入射到这些像素的光的特定颜色。光的特定颜色的电子表示可以被处理以得出图像的色度分量或图像亮度部分或两者。典型地,彩色图像的亮度部分可以对总体图像分辨率具有比色度部分更大的影响。这种效果能够至少部分地归因于人眼的结构,人眼包括比用于感测颜色的锥状细胞密度更高的用于感测亮度的杆状细胞。
虽然相对于色度更强调亮度的图像感测装置通常没有明显地损害所生成图像的分辨率,但是如果亮度和色度传感器与分离的光学透镜组(opticallenstrains)连接,并且亮度传感器的“盲”区相对于色度传感器的“盲”区偏移,则可能损失颜色信息。这种盲区的一个示例可能由于前景物体遮蔽背景物体而出现。而且,相同的前景物体可能造成色度传感器和亮度传感器两者的盲区,或者由一个物体造成的色度盲区可能不完全与由第二个物体造成的亮度盲区重叠。在这种情况下,可能会丢失色度传感器的“盲”区的颜色信息,由此损害合成的彩色图像的分辨率。
发明内容
在此所描述的实施方式涉及用于通过使用一个或多个专用图像传感器捕获图像的亮度和色度部分的方式来捕获图像的系统、设备和方法。图像传感器可以包括一个或多个亮度传感器以及一个或多个色度传感器,以捕获某种分辨率的图像,而不考虑物体在图像中的位置。在一种实施方式中,亮度传感器可以设置于两个色度传感器之间。色度传感器的视场可以被偏移成使得它们的潜在盲区不重叠。因此,对于图像传感器的每个像素,都可以获得色度信息。
一种实施方式可以采用以下形式的图像感测装置,该图像感测装置包括:用于捕获亮度图像的第一图像传感器、用于捕获第一色度图像的第二图像传感器以及用于捕获第二色度图像的第三图像传感器。图像感测装置还可以包括用于将由第一图像传感器捕获的亮度图像、由第二图像传感器捕获的第一色度图像和由第三图像传感器捕获的第二色度图像组合以形成合成图像的图像处理模块。
其它实施方式可以采用以下形式的图像感测装置,该图像感测装置包括用于捕获亮度图像的第一图像传感器、用于捕获第一色度图像的第二图像传感器以及用于捕获第二色度图像的第三图像传感器。第一图像传感器可能具有由于近场物体而产生的第一盲区。第二图像传感器可能具有由于近场物体而产生的第二盲区。第三图像传感器可能具有由于近场物体而产生的第三盲区。所述图像感测装置还可以包括用于将由第一图像传感器捕获的亮度图像、第一色度图像和第二色度图像组合以形成合成图像的图像处理模块。第二图像传感器的第二盲区可以相对于第三图像传感器的第三盲区偏移。
本发明内容部分为了以简化的形式介绍概念的选择而提供,所述概念将在下面的具体实施方式中进一步描述。本发明内容部分并不是要确定所要求保护的主题的关键特征或本质特征,也不是要用来限定所要求保护的主题的范围。根据以下关于各种实施方式的更具体的书面描述,其它特征、细节、应用和优点将是显而易见的,所述实施方式将在附图中进一步示出并且在所附的权利要求中进一步定义。
附图说明
图1是示出包括图像感测装置的一种实施方式的系统的某些部件的功能框图;
图2是图1所示的图像感测装置的实施方式的功能框图;
图3示出了对应于图2所示的图像感测装置的实施方式的因近场物体所致的盲区;以及
图4是用于使用亮度和色度传感器来捕获图像的方法的流程图。
在不同的附图中使用相同的参考标号指示相似的或相同的项。
具体实施方式
在此所描述的实施方式涉及用于通过使用专用的图像传感器捕获图像的亮度和色度部分的方式来捕获图像的系统、设备和方法。图像传感器可以包括一个或多个亮度传感器以及一个或多个色度传感器,以捕获某种分辨率的图像,而不考虑物体在图像中的位置。在一种实施方式中,亮度传感器可以设置于两个色度传感器之间。色度传感器的视场可以被偏移成使得它们潜在的盲区不重叠。盲区可以由部分或完全阻挡本该由传感器捕获的其它物体或者使它们变模糊的昏暗引起。因此,对于图像传感器的每个像素,都可以获得色度信息。
在下面关于说明性的实施方式的讨论中,术语“图像感测装置”包括但不限于能够捕获静止或运动图像的任意电子装置。图像感测装置可以使用模拟或数字传感器或者它们的组合来捕获图像。在某些实施方式中,图像感测装置可以被配置成将所捕获到的图像转换成数字图像数据或者促进这种转换。图像感测装置可以设置于各种电子装置中,包括但不限于:数码相机、个人计算机、个人数字助理(PDA)、移动电话,或者能够被配置用来处理图像数据的任意其它装置。
图1是示出包括示例图像感测装置100的电子装置10的一种实施方式的某些部件的功能框图。电子装置10可以包括处理单元12、存储器14、通信接口20、图像感测装置100、输出装置24和通信路径16。通信路径16(该通信路径16可以是数字总线)可以耦接两个或更多个系统部件,所述系统部件包括但不限于存储器14和处理单元12。其它实施方式可以包括更多或更少的部件。
如图1所示,图像感测装置100可以配置用于接收入射光并且将其转换成一个或多个图像信号。图像信号可以是数字信号、模拟信号或两者。在一种实施方式中,图像感测装置100可以经由通信路径16将图像信号发送到存储器14,所述存储器14可以在信号输送到处理单元12之前或之后存储从图像感测装置100接收到的图像信号。作为选择,图像信号可以从图像感测装置100发送到处理单元12,绕过存储器14。不论在何种情况下,处理单元12都可以使用图像信号来构造全彩色图像。在一种实施方式中,彩色图像可以是包含图像的每个像素的颜色信息的数字图像。作为该过程的一部分,处理单元12可以调整图像数据的颜色值或者以其它方式操纵该图像数据。最终的全彩色图像可以被输出到集成于成像装置中或者在成像装置之外的输出装置24,或者可以存储于存储器14之内。同样地,可使得最终的图像可用于打印或者存储于图像感测装置100之内或之外。
存储器14可以切实地包含能够促使电子装置10的一个或多个部件(例如,图像感测装置部件100)以在此所描述的预定方式工作的一个或多个程序、功能和/或指令。存储器14可以包括可移动的或固定的、易失性的或非易失性的、或者永久的或可重写的计算机存储介质。存储器14可以是能够被通用目的或专用的计算装置或图像处理装置访问的任何可用介质。举例来说,该计算机可读介质可以包括闪速存储器、随机存取存储器、只读存储器、电可擦除可编程只读存储器、光盘存储器、磁存储器,或者能够用来存储数字信息的任意其它介质,但不限于此。
在一种实施方式中,处理单元12(该处理单元12可以专用于图像处理或者可以包括其它功能)可以配置用于将图像信号转换成数字数据。处理单元12可以是各种在市场上可购得的处理器中的任一种,所述处理器包括但不限于微处理器、中央处理单元等,并且能够包括多个处理器和/或协处理器。其它实施方式可以包括配置用于执行所述处理单元的功能的固件或软件。在某些实施方式中,通信接口20可以促进在电子装置10与另一装置(例如,主计算机或服务器)之间的数据交换。
在某些实施方式中,电子装置10还可以包括配置用来接收来自图像感测装置100的图像信号并且显示该图像信号以用于观看的输出装置24。输出装置24可以是能够显示图像信号的任何类型的部件,包括但不限于液晶显示器、发光二极管显示器、等离子体显示器、有机发光二极管显示器等。在其它实施方式中,输出装置24可以不存在于电子装置10之内,而可以是可与电子装置10连接以接收图像信号的分离的部件,例如监视器、电视机、投影仪等。
图2是用于捕获和存储图像数据的图像感测装置100的一种实施方式的功能框图。在一种实施方式中,图像感测装置100可以是电子装置10中的部件,如图1所示。但是,在其它实施方式中,图像感测装置100可以是其它类型的电子装置中的部件,所述其它类型的电子装置可以包括额外的部件或者比图1所示的装置10少的部件。例如,图像感测装置100可被用于独立的数码相机、媒体播放器、移动电话等中。
如图2所示,图像感测装置100可以包括透镜组件102、第一色度传感器140、亮度传感器141、第二色度传感器142和图像处理模块110。在一种实施方式中,透镜组件102可以包括三个平行的透镜组104、105、106。每个透镜组104、105、106可以具有一个或多个光学对准的透镜元件103。在一种实施方式中,平行的透镜组104、105、106可以配置用于接收入射光101并且使光123a、123b、123c折射到亮度传感器141以及第一和第二色度传感器140、142。透镜组104、105、106可以各自配置用于将光传输到所关联的亮度或色度传感器140、141、142。亮度传感器141可配置用于捕获被其相应的平行透镜组105穿过的入射光的亮度分量。另外,色度传感器140、142中的每一个都可以配置用于捕获与被其相应的平行透镜组104、106穿过的入射光有关的颜色数据。在一种实施方式中,色度传感器140、142可以感测图像的R(红色)、G(绿色)和B(蓝色)分量,并且处理这些分量以得出色度信息。
在一种实施方式中,透镜组件102可以包括具有用于每个平行透镜组104、105、106的一个或多个分离的透镜元件103的透镜块。根据某些实施方式,透镜组件102的每个透镜元件103都可以是非球面透镜和/或可以由相同的成型腔模制成为在相对的透镜组中的另一对应的透镜元件103。另外,在各个平行透镜组104、105、106的对应位置中的模制透镜可以由相同的成型腔形成。当每个透镜组接收相同的入射光时,这可以有利于最小化所生成图像的差异,所述差异例如几何差异和径向光衰减。但是,在其它实施方式中,透镜元件可以不由相同的成型腔模制而成。例如,透镜元件可以使用多腔成型工具来制造。在其它实施方式中,在特定透镜组中的透镜103可以是彼此不同的,或者透镜元件103在各个透镜组中可以是不同的。例如,一个透镜元件可以被配置成具有比不同透镜组中的对应元件更大的孔径开口,以便使较高强度的光传输到一个传感器。
第一色度传感器140可以包括第一滤光器115以及与第一滤光器115关联的第一图像传感器120。亮度传感器141可以具有第二滤光器116以及与第二滤光器116关联的第二图像传感器121。第二色度传感器142可以具有第三滤光器117,以及与第三滤光器117关联的第三图像传感器122。在一种实施方式中,亮度传感器141和两个色度传感器140、142可以是分离的集成电路。但是,在其它实施方式中,亮度和色度传感器可以形成于同一电路之上和/或形成于单一板或其它元件之上。
如图2所示,滤光器115、116、117可以设置于第一、第二和第三图像传感器120、121、122与物体之间,使得由物体反射的光穿过滤光器115、116、117并且入射到相应的图像传感器120、121、122。图像传感器120、121、122可以是能够检测各种波长的光的任何电子传感器,例如通常使用于数码相机、数字摄像机、移动电话和个人数字助理、网络摄像机等中的那些图像传感器。
在一种实施方式中,第一、第二和第三图像传感器120、121、122可以由色敏像素的阵列形成。也就是说,图像传感器120、121、122的每个像素可以检测构成可见光的各种波长中的至少一种。由每个这样的像素生成的信号可以随着入射到它的光的波长的变化而变化,从而使得所述阵列可以由此再现物体213的合成图像。在一种实施方式中,第一、第二和第三图像传感器120、121、122可以具有基本上相同的像素阵列配置。例如,第一、第二和第三图像传感器120、121、122可以具有相同的像素数量、相同的像素宽高比、相同的像素布置、和/或相同的像素尺寸。但是,在其它实施方式中,第一、第二和第三图像传感器120、121、122可以具有不同的像素数量、像素尺寸和/或布局。例如,在一种实施方式中,两个色度传感器140、142的第一和第三图像传感器120、122可以比亮度传感器141的第二图像传感器121具有较少数量的像素,反之亦然,或者像素的布置在各传感器之间可以是不同的。
如以上所暗示的,第一和第三滤光器115、117可以置于第一和第三图像传感器120、122之上,并且允许所述图像传感器捕获所感测图像的色度部分,例如色度图像125a和125c。类似地,第二滤光器116可以置于第二图像传感器121之上,并且允许图像传感器121捕获所感测图像的亮度部分,作为亮度图像125b。亮度图像125b,连同色度图像125a和125c一起,可以被发送到图像处理模块110。如以下将进一步描述的,图像处理模块110可以将由亮度传感器141捕获并发送的亮度图像125b与由色度传感器140、142捕获并发送的色度图像125a、125c组合,以输出合成图像213。
在一种实施方式中,图像的亮度可以按照下列方式表示为图像的红色、绿色和蓝色的波长的加权和:
L=0.59G+0.3R+0.11B
其中L是亮度、G是所测得的绿光、R是所测得的红光,而B是所测得的蓝光。图像的色度部分可以是全彩色图像和亮度图像之间的差。因此,全彩色图像可以是与图像的亮度部分组合的图像的色度部分。色度部分可以通过在数学上处理图像的R、G和B分量来得出,并且可以表示为针对图像传感器的每个像素的两个信号或二维向量。例如,色度部分可以通过两个单独的分量Cr和Cb来定义,其中Cr可以与所测得的红光减去所测得的亮度之差成比例,以及其中Cb可以与所测得的蓝光减去所测得的亮度之差成比例。在某些实施方式中,例如,通过以红色和蓝色滤光器阵列覆盖第一和第三图像传感器120、122的像素元件,第一和第二色度传感器140、142可配置用于检测红光和蓝光而不检测绿光。这可以用棋盘形图案的红色和蓝色滤光器部分来实现。在其它实施方式中,滤光器可以包括Bayer图案的滤光器阵列,该滤光器阵列包括红色、蓝色和绿色的滤光器。作为选择,滤光器可以是CYGM(青色、黄色、绿色、品红色)或RGBE(红色、绿色、蓝色、翠绿色)滤光器。
如以上所讨论的,对于总的彩色图像分辨率而言,彩色图像的亮度部分可以比彩色图像的色度部分具有更大的影响。在某些实施方式中,亮度传感器141可以是具有比色度传感器140、142的像素数更高的像素数的图像传感器121。因此,由亮度传感器141生成的亮度图像125b可以是比由色度传感器140、142生成的色度图像125a、125b更高分辨率的图像。在其它实施方式中,亮度图像125b与色度图像125a、125c相比可以以更高的分辨率来存储或者以更高的带宽来传输。在某些实施方式中,色度图像125a、125c可以被降低带宽、二次采样、压缩或者以其它方式单独处理,以缩短处理色度图像125a、125c所需的时间量并提高图像感测装置100的总的效率或性能。
独立于色度传感器140、142控制亮度传感器141的能力能够以多种方式扩展图像感测装置100的性能。根据某些实施方式,色度传感器140、142可配置用于将色度图像125a、125b生成为较低分辨率的图像,而不产生人可察觉的合成图像213的劣化,特别是在合成图像213被压缩(例如,使用JPEG压缩)的情况下。在另一种实施方式中,与亮度传感器121相比,色度传感器140、142可以使用较大的透镜孔径或较低的帧频,这可以改进较低的光亮水平下(例如,在入射光101的较低强度水平下)的操作。在其它实施方式中,色度传感器140、142可以使用较短的曝光时间来减少运动模糊。
在某些实施方式中,亮度传感器141可以缺少任意的滤光器116,或者可以使用与彩色滤光器115、117的光透射相比具有增大的光透射的滤光器。本领域技术人员应当认识到,没有滤光器的图像传感器或者使用具有增大的光透射的滤光器的图像传感器可以基本上检测到入射光的全部强度,并且使得每秒钟吸收相同数量的光子的更小的像素成为可能。这可以使得图像传感器121能够具有较高的采样率、改进的光效率和/或灵敏度。例如,亮度传感器141可以配置用于在基本上全部像素位置感测任意波长的光。在其它实施方式中,亮度传感器141可以包括滤光器116,该滤光器116根据需要使光衰减,以便由传感器产生与人眼的响应相匹配的响应。例如,在一种实施方式中,滤光器116可以产生模仿人眼的响应的加权函数。
通过感测图像的全部或基本上全部的亮度所提供的亮度传感器141的提高的灵敏度可以以各种方式用于扩展图像感测装置100的性能及其合成图像213。例如,具有相对小的像素的图像传感器可以配置用于均分(average)帧或者以更高的帧频来工作。另外,噪声水平可以通过使用较小的模拟和/或数字增益来提高图像压缩和图像分辨率的方式降低。较小的透镜孔径可以用来增加景深。图像可以在较暗的环境照明条件下捕获。
在某些实施方式中,亮度和色度传感器140、141、142中的任意两个的视场可以偏移,从而使得所产生的图像125a、125b、125c稍微不同。如以上所讨论的,图像处理模块110可以将由亮度传感器141捕获并发送的高分辨率的亮度图像125b与由第一和第二色度传感器140、142捕获并发送的第一和第二色度图像125a、125c组合,以输出合成图像213。如以下将进一步讨论的,图像处理模块110可以使用多种技术来考虑在高分辨率的亮度图像125b与第一和第二色度图像140、142之间的差异以形成合成图像213。
在一种实施方式中,第一和第二色度传感器140、142可以相互偏离,并且图像处理模块110可以配置用于补偿在由传感器所捕获的图像125a、125c之间的差异。在某些实施方式中,这可以通过将第一色度图像125a与第二色度图像125c进行比较以形成这两个色度图像125a、125c之间的立体视差图来实现。立体视差图可以是深度图,在该深度图中物体在图像中的深度信息由偏移的第一和第二色度图像125a、125c得出。该信息可以被用来估计在图像中的物体之间的近似距离,该近似距离又可以被用来使第一和第二色度图像125a、125c基本上对准。在某些实施方式中,图像处理模块110还可以将亮度图像125b与色度图像125a、125c中的一个或两个进行比较,以进一步形成亮度图像125b与色度图像125a、125c之间的立体视差图。作为选择,图像处理模块110可以配置用于改进最初仅使用两个色度传感器生成的立体视差图的精度。在该三传感器方法的一种实施方式中,色度传感器可以是全Bayer阵列的传感器。
根据某些实施方式,图像处理模块110可以使用立体视差图来生成第一和第二色度图像125a、125c中的至少一个的特意(deliberate)的几何畸变,例如补偿景深效果或立体效果。由图像感测装置100捕获的某些图像可以具有在距透镜组件202的各种工作距离处的同时存在的许多感兴趣的物体。第一和第二色度图像125a、125c的对准因此可以包括使用特定的弯曲函数弯曲一个图像以在需要对准时匹配其它图像。例如,弯曲函数可以使用第一和第二色度图像125a、125c来得出,除了景深效果和立体效果之外,所述第一和第二色度图像125a、125c可以是基本上相同的图像。在一种实施方式中,用于确定弯曲函数的算法可以基于找出第一和第二色度图像125a、125c中的基准、然后确定像素阵列中的基准之间的距离。一旦确定了弯曲函数,就可以使第一色度图像126a“弯曲”,并使之与第二色度图像126b组合。在某些实施方式中,还可以使第一和第二色度图像125a、125c“弯曲”,并使它们与色度图像125b组合以形成合成图像213。在其它实施方式中,图像处理模块110可以配置用于通过选择性地裁剪这些图像中的至少一个、通过识别第一和第二色度图像125a、125c的视场中的基准、或者通过将标定数据用于图像处理模块210来使图像125a、125b、125c对准。在又一种实施方式中,可以组合这两个色度图像125a、125c,使得所组合的色度图像的表观视场(apparentfiledofview)与亮度传感器的视场相同。
图3示出了对应于图2所示的图像感测装置的实施方式的因近场物体所导致的盲区。如图3所示,第一和第二色度传感器140、142的视场能够被偏移,使得第一和第二色度图像125a、125c是不同的。例如,第一和第二色度传感器140、142的视场能够被水平地或垂直的偏移。在其它实施方式中,第一和第二色度传感器的视场能够被对角地偏移或以其它方式偏移。一旦偏移,第一和第二色度传感器140、142的视场就可能只是部分重叠。在其它实施方式中,第一和第二色度传感器140、142的视场可以完全重叠。
亮度传感器141的视场同样能够水平地、垂直地、对角地或者以其它方式相对于第一和第二色度传感器140、142的视场偏移。在一种实施方式中,亮度传感器141的视场可以相对于第一和第二色度传感器140、142的视场偏移,使得第一色度传感器140的视场可以只是部分地与亮度传感器141的视场重叠以及第二色度传感器142的视场可以只是部分地与亮度传感器141的视场重叠。在其它实施方式中,第一和第二色度传感器140、142以及亮度传感器141的视场可以完全重叠。
亮度和色度传感器140、141、142中的每一个都可能具有因近场物体207所导致的盲区201、203、205,该近场物体207会部分地或完全地遮蔽传感器的视场。例如,近场物体207可能阻挡传感器140、141、142的视场,从而阻碍传感器140、141、142检测到背景或远场物体209的一部分或全部,该远场物体209位于比近场物体离传感器140、141、142更远的位置。
在一种实施方式中,色度传感器140、142可以设置成使得色度传感器140、142的盲区201、205不重叠。因此,在许多情况下,色度传感器140、142中的一个由于近场物体207而丢失的色度信息可以通过图像感测装置的另一个色度传感器140、142来捕获。如前面所描述的,所捕获的颜色信息然后可以与来自亮度传感器141的亮度信息组合,并且结合到最终的图像中。由于色度传感器的盲区偏移,通过确保在需要的地方由色度传感器140、142中的至少一个来提供颜色信息,可以在最终的图像中减少立体成像伪影(artifact)。换言之,亮度传感器141的每个像素的颜色信息可以由色度传感器140、142中的至少一个来提供。因而,例如,当R-B滤光器阵列结合色度传感器使用时,三传感器的图像感测装置会是有用的,并且来自亮度传感器的亮度图像可能是计算图像的色度分量所需要的或者有助于计算图像的色度分量。
生成多个色度图像125a、125c可以产生更精确的立体视差图,从而导致亮度和色度图像125a、125b、125c更精确的对准,所述亮度和色度图像125a、125b、125c被组合以形成合成图像213。例如,用于生成立体视差图的许多算法使用色彩来使来自一个图像的点或特征与另一图像的相同点或特征相匹配。因此,与只能够生成单一色度图像的图像感测装置相比,由第一和第二色度传感器140、142产生的色度图像可以允许生成更精确的立体视差图。另外,某些实施方式还可以将由亮度传感器141产生的亮度图像125b与由色度传感器140、142产生的每个彩色图像125a、125b进行比较,以生成彩色图像与色度图像之间的附加的视差图。这可以进一步提高图像感测装置使亮度和彩色图像精确对准以形成合成图像213的能力。
图像感测装置的其它实施方式可以包括色度和亮度传感器的其它配置。例如,在一种实施方式中,亮度和色度传感器140、141、142可以设置成使得亮度和色度传感器140、141、142中的每一个的盲区201、203、205可以不同。在某些实施方式中,亮度和色度传感器的盲区201、203、205可以完全不重叠。在其它实施方式中,色度传感器140、142的盲区可以彼此部分或完全重叠。
仍然参考图3,亮度照相机141可以设置于色度传感器140、142之间,使得亮度传感器141的盲区203可以位于第一和第二色度传感器140、142的盲区205、201之间。这种配置可以防止或减少在第一和第二色度传感器140、142的盲区205、201之间的重叠,同时还允许在图像感测装置中的传感器的更紧凑的布置。但是,在其它实施方式中,亮度摄像机141可以设置成与色度传感器140、142中的一个或两个相邻,而不是在这两个传感器之间。
图4是根据某些实施方式用于使用分离的亮度和色度传感器来捕获图像的示例性方法400的流程图。在块402的操作中,入射光可以被第一色度图像传感器捕获为第一色度图像。在一种实施方式中,第一色度图像传感器可以配置用于捕获低分辨率的图像。第一色度图像传感器可以配置用于捕获入射光的色度和亮度部分。在块404的操作中,入射光可以被第二色度图像传感器捕获为第二色度图像。在一种实施方式中,第二色度图像传感器可以配置用于捕获低分辨率的色度图像。第一色度图像传感器可以相对于第二色度图像传感器偏移,使得第一和第二色度图像传感器的盲区不重叠,或者只是部分重叠。
在块406的操作中,入射光可以被亮度图像传感器捕获为亮度图像。在一种实施方式中,亮度图像与被第一和第二色度图像传感器捕获的色度图像相比可以具有更高数量的像素或者可以是分辨率更高的图像。在块408的操作中,第一色度图像可以与第二色度图像组合以形成立体视差图。在某些实施方式中,来自第一和第二色度图像的色度信息可以被用来在两个图像中识别相同的点或像素。在块410的操作中,第一色度图像、第二色度图像和亮度图像可以被组合以形成合成图像。在某些实施方式中,组合图像可以包括使用诸如几何畸变和图像裁剪的技术来使图像基本上对准。例如,可以将亮度图像与第一和第二色度图像中的每一个进行比较以确定为适当地组合这两个图像以形成合成图像所需的适当的弯曲函数。
除非另有说明,否则在此示出并描述的方法的执行或施行的顺序并不是必要的。也就是说,除非另有说明,否则方法的元素可以按任意顺序来执行,并且方法可以包括比在此所公开的那些元素多或少的元素。例如,应当想到,特定元素在另一元素之前或之后执行或施行或者该特定元素与另一元素同时执行或施行都是可能的执行顺序。

Claims (18)

1.一种图像感测装置,包括:
用于捕获亮度图像的第一图像传感器;
用于捕获第一色度图像的第二图像传感器;
用于捕获第二色度图像的第三图像传感器;以及
用于将所述亮度图像、所述第一色度图像和所述第二色度图像组合以形成合成图像的图像处理模块,
其中,所述第一图像传感器被设置于所述第二图像传感器和所述第三图像传感器之间,
其中立体视差图根据所述第一色度图像和所述第二色度图像来生成;以及基于所述立体视差图,所述亮度图像与所述第一色度图像和所述第二色度图像组合以产生合成图像。
2.根据权利要求1所述的图像感测装置,其中所述第二图像传感器捕获第一视场,而所述第三图像传感器捕获第二视场;并且
所述第一视场相对于所述第二视场偏移。
3.根据权利要求2所述的图像感测装置,其中所述第一图像传感器捕获第三视场;并且
所述第三视场相对于所述第一视场和所述第二视场偏移。
4.根据权利要求1所述的图像感测装置,其中所述图像处理模块被配置成根据所述第一色度图像和所述第二色度图像生成立体视差图。
5.根据权利要求1所述的图像感测装置,其中所述图像处理模块被配置成根据所述第一色度图像和所述亮度图像生成第一立体视差图,以及根据所述第二色度图像和所述亮度图像生成第二立体视差图。
6.根据权利要求1所述的图像感测装置,其中所述第二图像传感器或所述第三图像传感器包括红色和蓝色滤光器的图案。
7.根据权利要求1所述的图像感测装置,其中所述第二图像传感器或所述第三图像传感器包括Bayer图案的滤光器。
8.一种用于感测图像的方法,包括以下步骤:
通过第一传感器生成亮度图像;
通过第二传感器生成第一色度图像;
通过第三传感器生成第二色度图像,其中所述第一传感器被设置于所述第二传感器和所述第三传感器之间;
根据所述第一色度图像和所述第二色度图像生成立体视差图;以及
基于所述立体视差图,将所述亮度图像与所述第一色度图像和所述第二色度图像组合以产生合成图像。
9.根据权利要求8所述的方法,其中所述第一传感器比所述第二传感器具有更高的像素数。
10.根据权利要求8所述的方法,其中所述第一传感器比所述第三传感器具有更高的像素数。
11.根据权利要求8所述的方法,其中所述组合步骤包括使所述第一色度图像和所述第二色度图像与所述亮度图像基本上对准。
12.根据权利要求11所述的方法,其中使所述第一色度图像和所述第二色度图像与所述亮度图像基本上对准包括使所述第一色度图像和所述第二色度图像弯曲。
13.一种图像感测装置,包括:
用于捕获亮度图像的第一图像传感器,所述第一图像传感器具有由于近场物体而产生的第一盲区;
用于捕获第一色度图像的第二图像传感器,所述第二图像传感器具有由于所述近场物体而产生的第二盲区;
用于捕获第二色度图像的第三图像传感器,所述第三图像传感器具有由于所述近场物体而产生的第三盲区,其中所述第一图像传感器被设置于所述第二图像传感器和所述第三图像传感器之间;以及
用于将由所述第一图像传感器捕获的所述亮度图像、所述第一色度图像和所述第二色度图像组合以形成合成图像的图像处理模块,
其中立体视差图根据所述第一色度图像和所述第二色度图像来生成;以及基于所述立体视差图,所述亮度图像与所述第一色度图像和所述第二色度图像组合以产生合成图像,
其中形成所述合成图像包括在由于所述第二盲区而缺少色度信息的所述第一色度图像的部分中,用来自所述第二色度图像的色度信息来补充所述第一色度图像;
其中所述第二图像传感器的所述第二盲区相对于所述第三图像传感器的所述第三盲区偏移。
14.根据权利要求13所述的图像感测装置,其中所述第一图像传感器被设置于所述第二图像传感器和所述第三图像传感器之间。
15.根据权利要求13所述的图像感测装置,其中所述第二盲区不与所述第三盲区重叠。
16.根据权利要求13所述的图像感测装置,其中所述第一盲区相对于所述第二盲区和所述第三盲区中的至少一个偏移。
17.根据权利要求16所述的图像感测装置,其中所述第一图像传感器是比所述第二图像传感器分辨率更高的传感器。
18.一种用于感测图像的方法,包括以下步骤:
通过第一传感器生成亮度图像;
通过第二传感器生成第一色度图像;
通过第三传感器生成第二色度图像,其中所述第一传感器被设置于所述第二传感器和所述第三传感器之间;
根据所述第一色度图像和亮度图像生成第一立体视差图;以及
基于所述立体视差图,将所述亮度图像与所述第一色度图像和所述第二色度图像组合以产生合成图像。
CN201110233988.2A 2010-08-17 2011-08-16 使用亮度和色度传感器的图像捕获 Active CN102378015B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/857,903 US8497897B2 (en) 2010-08-17 2010-08-17 Image capture using luminance and chrominance sensors
US12/857,903 2010-08-17

Publications (2)

Publication Number Publication Date
CN102378015A CN102378015A (zh) 2012-03-14
CN102378015B true CN102378015B (zh) 2016-01-20

Family

ID=44583380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110233988.2A Active CN102378015B (zh) 2010-08-17 2011-08-16 使用亮度和色度传感器的图像捕获

Country Status (6)

Country Link
US (1) US8497897B2 (zh)
EP (1) EP2589226B1 (zh)
KR (1) KR101340688B1 (zh)
CN (1) CN102378015B (zh)
TW (1) TWI468021B (zh)
WO (1) WO2012024044A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US9143749B2 (en) * 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
TWI525382B (zh) * 2012-11-21 2016-03-11 豪威科技股份有限公司 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9473708B1 (en) * 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
JP2015079208A (ja) * 2013-10-18 2015-04-23 ソニー株式会社 画像表示装置、及び制御方法
US9706116B2 (en) 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
WO2015087772A1 (ja) * 2013-12-11 2015-06-18 三菱電機株式会社 画像処理装置及び方法、並びにプログラム及び記録媒体
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
KR102480600B1 (ko) 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CN105959667A (zh) * 2016-07-06 2016-09-21 南京捷特普智能科技有限公司 一种三维图像采集装置及系统
EP3497928B1 (en) * 2016-08-31 2020-11-18 Huawei Technologies Co., Ltd. Multi camera system for zoom
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
EP3631504B8 (en) 2017-05-23 2023-08-16 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
US10300573B2 (en) 2017-05-24 2019-05-28 Trimble Inc. Measurement, layout, marking, firestop stick
US10406645B2 (en) * 2017-05-24 2019-09-10 Trimble Inc. Calibration approach for camera placement
US10341618B2 (en) 2017-05-24 2019-07-02 Trimble Inc. Infrastructure positioning camera system
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
TWI667620B (zh) * 2018-01-25 2019-08-01 國立臺灣大學 蟲害監控系統
CN108769635B (zh) * 2018-05-30 2020-01-21 Oppo(重庆)智能科技有限公司 拍摄装置、电子设备及图像获取方法
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922864A (zh) * 2003-12-18 2007-02-28 阿瓦戈科技传感器Ip股份有限公司 具有在传感器元件的相应区域上形成图像的成像元件阵列的彩色图像传感器
CN101213830A (zh) * 2004-12-15 2008-07-02 美光科技公司 多透镜成像系统和方法

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3363104A (en) 1965-10-01 1968-01-09 North American Aviation Inc Detection system for coherent light beams
GB1356730A (en) 1971-09-09 1974-06-12 Wandel & Goltermann System for the documentary recording with x-y-recorder
US4620222A (en) 1982-11-10 1986-10-28 Matsushita Electric Industrial Co., Ltd. Digital color TV camera
JPS612490A (ja) 1984-06-14 1986-01-08 Sony Corp 記録装置
US5272473A (en) 1989-02-27 1993-12-21 Texas Instruments Incorporated Reduced-speckle display system
US5274494A (en) 1991-04-25 1993-12-28 Hughes Aircraft Company Speckle suppression illuminator
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
JPH05164687A (ja) 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
JPH089309A (ja) 1994-06-23 1996-01-12 Canon Inc 表示方法及び装置
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6560711B1 (en) 1999-05-24 2003-05-06 Paul Given Activity sensing interface between a computer and an input peripheral
US6282655B1 (en) 1999-05-24 2001-08-28 Paul Given Keyboard motion detector
US6339429B1 (en) 1999-06-04 2002-01-15 Mzmz Technology Innovations Llc Dynamic art form display apparatus
JP3509652B2 (ja) 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
US7123292B1 (en) * 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
US7028269B1 (en) 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
GB2359895B (en) 2000-03-03 2003-09-10 Hewlett Packard Co Camera projected viewfinder
US7213254B2 (en) 2000-04-07 2007-05-01 Koplar Interactive Systems International Llc Universal methods and device for hand-held promotional opportunities
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US6924909B2 (en) 2001-02-20 2005-08-02 Eastman Kodak Company High-speed scanner having image processing for improving the color reproduction and visual appearance thereof
JP3640173B2 (ja) 2001-04-02 2005-04-20 ソニー株式会社 画像表示装置
JP2002354493A (ja) 2001-05-25 2002-12-06 Canon Inc 多眼多板式撮像装置
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7352913B2 (en) 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
US7079707B2 (en) 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US6862022B2 (en) 2001-07-20 2005-03-01 Hewlett-Packard Development Company, L.P. Method and system for automatically selecting a vertical refresh rate for a video display monitor
US20030038927A1 (en) 2001-08-27 2003-02-27 Alden Ray M. Image projector with integrated image stabilization for handheld devices and portable hardware
US6636292B2 (en) 2001-09-05 2003-10-21 Eastman Kodak Company Printing apparatus for photosensitive media having a hybrid light source
US6870684B2 (en) 2001-09-24 2005-03-22 Kulicke & Soffa Investments, Inc. Multi-wavelength aperture and vision system and method using same
JP2003143459A (ja) 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US20030117343A1 (en) 2001-12-14 2003-06-26 Kling Ralph M. Mobile computer with an integrated micro projection display
US7460179B2 (en) 2002-01-31 2008-12-02 Hewlett-Packard Development Company, L.P. Adaptive image display
US6930669B2 (en) 2002-03-18 2005-08-16 Technology Innovations, Llc Portable personal computing device with fully integrated projection display system
US6931601B2 (en) 2002-04-03 2005-08-16 Microsoft Corporation Noisy operating system user interface
JP2003299113A (ja) * 2002-04-04 2003-10-17 Canon Inc 撮像装置
GB0208654D0 (en) 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
US6877863B2 (en) 2002-06-12 2005-04-12 Silicon Optix Inc. Automatic keystone correction system and method
US20050132408A1 (en) 2003-05-30 2005-06-16 Andrew Dahley System for controlling a video display
WO2004025466A2 (en) 2002-09-16 2004-03-25 Clearcube Technology, Inc. Distributed computing infrastructure
US7058234B2 (en) 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US6807010B2 (en) 2002-11-13 2004-10-19 Eastman Kodak Company Projection display apparatus having both incoherent and laser light sources
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US6921172B2 (en) 2003-07-02 2005-07-26 Hewlett-Packard Development Company, L.P. System and method for increasing projector amplitude resolution and correcting luminance non-uniformity
US7453510B2 (en) 2003-12-11 2008-11-18 Nokia Corporation Imaging device
JP2005197792A (ja) * 2003-12-26 2005-07-21 Canon Inc 画像処理方法、画像処理装置、プログラム、記憶媒体及び画像処理システム
US6970080B1 (en) 2003-12-31 2005-11-29 Crouch Shawn D Computer shut down system
US20050182962A1 (en) 2004-02-17 2005-08-18 Paul Given Computer security peripheral
US20070177279A1 (en) 2004-02-27 2007-08-02 Ct Electronics Co., Ltd. Mini camera device for telecommunication devices
US20050280786A1 (en) 2004-06-22 2005-12-22 Jean-Paul Moiroux Integrated computer and projector system
TWI244861B (en) 2004-07-06 2005-12-01 Asia Optical Co Inc Device and method for optical center detection
US7330584B2 (en) * 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
EP1672460B1 (en) 2004-12-15 2009-11-25 STMicroelectronics (Research & Development) Limited Computer user detection apparatus
JP4196942B2 (ja) 2004-12-21 2008-12-17 セイコーエプソン株式会社 撮像装置及びこれを備えた携帯電話機
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
US7653304B2 (en) 2005-02-08 2010-01-26 Nikon Corporation Digital camera with projector and digital camera system
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006245726A (ja) 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
US20080191864A1 (en) 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
US8044880B2 (en) 2005-04-28 2011-10-25 Hitachi, Ltd. Projection type image display device
US20070027580A1 (en) 2005-07-14 2007-02-01 Ligtenberg Chris A Thermal control of an electronic device for adapting to ambient conditions
EP1906451A4 (en) 2005-07-21 2011-12-21 Panasonic Corp ILLUSTRATION DEVICE
KR20080035601A (ko) 2005-08-08 2008-04-23 코니카 미놀타 옵토 인코포레이티드 촬상 장치 및 촬상 장치의 조립 방법
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7551771B2 (en) 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7413311B2 (en) 2005-09-29 2008-08-19 Coherent, Inc. Speckle reduction in laser illuminated projection displays having a one-dimensional spatial light modulator
US7629897B2 (en) 2005-10-21 2009-12-08 Reino Koljonen Orally Mounted wireless transcriber device
US7901084B2 (en) 2005-11-02 2011-03-08 Microvision, Inc. Image projector with display modes
US7641348B2 (en) 2006-01-31 2010-01-05 Hewlett-Packard Development Company, L.P. Integrated portable computer projector system
US7570881B2 (en) 2006-02-21 2009-08-04 Nokia Corporation Color balanced camera with a flash light unit
WO2007100057A1 (ja) 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. 撮像装置及び集積回路
JP2007258989A (ja) 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20070300312A1 (en) 2006-06-22 2007-12-27 Microsoft Corporation Microsoft Patent Group User presence detection for altering operation of a computing system
US7658498B2 (en) 2006-07-13 2010-02-09 Dell Products, Inc. System and method for automated display orientation detection and compensation
US20090115915A1 (en) 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4406937B2 (ja) 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
US8094195B2 (en) 2006-12-28 2012-01-10 Flextronics International Usa, Inc. Digital camera calibration method
ATE501594T1 (de) 2007-06-27 2011-03-15 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
EP2053844B1 (en) 2007-06-28 2011-05-18 Panasonic Corporation Image processing device, image processing method, and program
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101374198A (zh) 2007-08-24 2009-02-25 鸿富锦精密工业(深圳)有限公司 摄像装置及其影像自动正立方法
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US20090262306A1 (en) 2008-04-16 2009-10-22 Quinn Liam B System and Method for Integration of a Projector and Information Handling System in a Common Chassis
US20090262343A1 (en) 2008-04-18 2009-10-22 Archibald William B Infrared spectroscopy of media, including aqueous
US8405727B2 (en) 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US20100073499A1 (en) 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US8610726B2 (en) 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079653A1 (en) 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US20100079426A1 (en) 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100103172A1 (en) 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
US8502926B2 (en) 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922864A (zh) * 2003-12-18 2007-02-28 阿瓦戈科技传感器Ip股份有限公司 具有在传感器元件的相应区域上形成图像的成像元件阵列的彩色图像传感器
CN101213830A (zh) * 2004-12-15 2008-07-02 美光科技公司 多透镜成像系统和方法

Also Published As

Publication number Publication date
EP2589226A1 (en) 2013-05-08
US20120044328A1 (en) 2012-02-23
TW201215166A (en) 2012-04-01
EP2589226B1 (en) 2020-03-11
WO2012024044A4 (en) 2012-05-24
KR101340688B1 (ko) 2013-12-12
CN102378015A (zh) 2012-03-14
US8497897B2 (en) 2013-07-30
KR20120017006A (ko) 2012-02-27
TWI468021B (zh) 2015-01-01
WO2012024044A1 (en) 2012-02-23

Similar Documents

Publication Publication Date Title
CN102378015B (zh) 使用亮度和色度传感器的图像捕获
CN107959778B (zh) 基于双摄像头的成像方法和装置
JP6817960B2 (ja) ライトフィールドコンテンツを処理する方法及び装置
CN102484721B (zh) 四通道滤色片阵列图案
CN101753812B (zh) 成像装置和成像方法
JP5543616B2 (ja) 色フィルタアレイ画像反復デノイズ
CN106331445B (zh) 全光凹相机
CN104041020B (zh) 彩色摄像元件
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
WO2010004677A1 (ja) 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
CN102461175A (zh) 用于四通道彩色滤光片阵列的内插
JP5406151B2 (ja) 3次元撮像装置
CN103782586A (zh) 成像设备
US20120230549A1 (en) Image processing device, image processing method and recording medium
CN111726549B (zh) 图像传感器、电子设备和芯片
CN103828345A (zh) 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备
CN103688536A (zh) 图像处理装置、图像处理方法及程序
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
CN104956669B (zh) 图像处理装置、摄像装置和图像处理方法
JP2013044597A (ja) 画像処理装置および方法、プログラム
WO2021157237A1 (ja) 電子機器
EP3002731A2 (en) Determing color information using a binary sensor
CN105359517A (zh) 图像处理装置和图像处理方法
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5549564B2 (ja) ステレオ撮影装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant