CN103209301A - 摄像设备 - Google Patents
摄像设备 Download PDFInfo
- Publication number
- CN103209301A CN103209301A CN2013100112407A CN201310011240A CN103209301A CN 103209301 A CN103209301 A CN 103209301A CN 2013100112407 A CN2013100112407 A CN 2013100112407A CN 201310011240 A CN201310011240 A CN 201310011240A CN 103209301 A CN103209301 A CN 103209301A
- Authority
- CN
- China
- Prior art keywords
- pixel
- photoelectric conversion
- conversion unit
- pick
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 230000005693 optoelectronics Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract 3
- 238000012545 processing Methods 0.000 description 28
- 230000015654 memory Effects 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 239000004411 aluminium Substances 0.000 description 3
- 238000000205 computational method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 1
- 102100023472 P-selectin Human genes 0.000 description 1
- 208000009989 Posterior Leukoencephalopathy Syndrome Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B27/00—Photographic printing apparatus
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04D—ROOF COVERINGS; SKY-LIGHTS; GUTTERS; ROOF-WORKING TOOLS
- E04D13/00—Special arrangements or devices in connection with roof coverings; Protection against birds; Roof drainage ; Sky-lights
- E04D13/04—Roof drainage; Drainage fittings in flat roofs, balconies or the like
- E04D13/064—Gutters
- E04D13/072—Hanging means
- E04D13/0722—Hanging means extending mainly under the gutter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
一种摄像设备，包括：光电转换单元，其对穿过摄像镜头的入射光进行光电转换，并输出电信号，所述光电转换单元包括多个二维地配置的像素；以及多个微透镜，其形成于所述摄像镜头和所述光电转换单元之间。所述多个微透镜分别与所述光电转换单元中的多个区域相对应，且每个所述区域包括预定数量的像素。在所述像素中，每个所述区域中光的接收量小的像素由包括所述摄像镜头和所述微透镜的光学系统的特性和所述光电转换单元的特性确定，且被配置为在用于输出自所述光电转换单元的所述电信号的基准值的计算中使用的像素。
Description
技术领域
本发明涉及用于拍摄、记录以及再现静止图像和运动图像的摄像设备，特别涉及在图像传感器前面具有微透镜阵列的摄像设备，该图像传感器为摄像设备的构成要素。
背景技术
传统上，存在许多诸如如下的电子照相机等的摄像设备，其通过使用具有固态存储单元的存储卡作为记录介质来记录和再现由诸如CCD或CMOS等的固态图像传感器所拍摄的静止图像和运动图像。
作为用于这种摄像设备的技术的例子，已提出具有将如下的微透镜阵列配置在固态图像传感器的前面的结构的摄像设备，其中，微透镜阵列以使每个透镜与多个像素相对应的方式来配置透镜，借此也获得与入射到图像传感器上的光线的入射方向相关的信息(例如，参照Ren.Ng et al.“Light FieldPhotography with a Hand-Held Plenoptic Camera”,Stanford TechReport CTSR2005-02)。
这种摄像设备除了能够根据来自各个像素的输出信号生成通常的拍摄图像外，还能够通过对所拍摄图像进行预定的图像处理来重构聚焦于任意距离的图像。
然而，摄像设备，不仅是具有如上所述的微透镜阵列的摄像设备，具有以下问题。特别是，经常存在以下情况：在常用摄像设备中使用的图像传感器具有用于确定输出信号的基准电平并且包括多个光学地遮光的光学黑像素(OB像素)的OB区域。当所述OB像素配置在用于接收来自被摄体的光的有效像素区域内时，该像素区域的光信号不能被接收，因此，经常将所述OB像素配置于诸如有效像素区域的上侧、左侧等的有效像素区域的周边，而不是有效像素区域内。
然而，对诸如本说明书给出的实施例中所描述的，具有包括如下微透镜的微透镜阵列的摄像设备中的所述OB区域没有给予考虑，其中，每个微透镜与多个像素相对应。
此外，如果所述基准电平在摄像面内二维地改变，则难以基于来自周边的OB区域的输出信号确定有效像素区域的基准电平，因此可能引起所获得的图像的劣化。
发明内容
已经考虑到上述情形而作出本发明，并且本发明提供包括由各自与多个像素相对应的微透镜所组成的微透镜阵列的如下的摄像设备，其中，可以在不增加新的构成要素的情况下获得有效像素区域中的精细的基准电平。
根据本发明，提供一种摄像设备，包括：光电转换单元，其对穿过摄像镜头的入射光进行光电转换，并输出电信号，所述光电转换单元包括多个二维地配置的像素；以及多个微透镜，其形成在所述摄像镜头和所述光电转换单元之间，所述多个微透镜与所述光电转换单元中的多个区域分别相对应，每个所述区域包括预定数量的像素，其中，在所述多个区域所包括的像素中，将在每个区域中由以下特性导致光的接收量小的像素配置为在计算输出自所述光电转换单元的电信号的基准值时所使用的像素，该特性为包括所述摄像镜头和所述微透镜的光学系统的特性、以及所述光电转换单元的特性。
根据本发明，提供一种摄像设备，包括：光电转换单元，其对穿过摄像镜头的入射光进行光电转换，并输出电信号，所述光电转换单元包括多个二维地配置的像素；以及多个微透镜，其形成在所述摄像镜头和所述光电转换单元之间，所述多个微透镜与所述光电转换单元中的多个区域分别相对应，每个所述区域包括预定数量的像素，其中，在所述多个区域所包括的像素中，将配置在所述多个区域中的每个区域的最外侧部分处的像素配置为在计算输出自所述光电转换单元的电信号的基准值时所使用的像素。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例，并和说明书一起用来解释本发明的原理。
图1是示出根据本发明实施例的摄像设备的示意性结构的框图。
图2是示出在根据本发明实施例的摄像设备的光学系统周边的构成要素的框图。
图3A和3B是示出根据本发明实施例的图像传感器的示意性结构的图。
图4A和4B是示出根据本发明实施例的图像传感器中的像素结构的图。
图5是根据本发明实施例的摄像设备中的来自被摄体的光线轨迹图。
图6是根据本发明实施例的摄像设备中的来自不同位置处的被摄体的光线轨迹图。
图7是二维地示出根据本发明实施例的摄像设备中的光线轨迹图。
图8A和8B是说明根据本发明实施例的图像传感器中的像素结构的图。
图9是说明根据本发明实施例的基准电平计算方法的例子的图。
具体实施方式
下面将根据附图详细说明本发明的典型实施例。实施例中示出的组成部分的尺寸、形状和相对位置可根据多种情况和适于本发明的设备的结构适当地改变，本发明不限于这里描述的实施例。
图1是示出根据本实施例的摄像设备的示意性结构的框图。在图1中，附图标记101表示包括摄像镜头、光圈和微透镜的光学系统，以及102是机械快门。图像传感器103将入射光转换为电信号，且包括将入射光转换为电信号的光电转换单元104和放大所述电信号的放大器电路105。模拟信号处理电路106对输出自图像传感器103的图像信号进行模拟信号处理。模拟信号处理电路106包括进行相关双采样的CDS电路107、放大模拟信号的信号放大器108、进行水平OB箝位的箝位电路109以及将所述模拟信号转换为数字信号的A/D转换器110。
定时信号生成电路111生成用于操作图像传感器103和模拟信号处理电路106的信号。驱动电路112驱动光学系统101和机械快门102。数字信号处理电路113包括对图像数据进行必要的校正处理的图像校正电路114、放大经图像校正电路114校正的数字信号的信号放大电路115和对图像数据进行必要的图像处理的图像处理电路116。利用这些构成要素，数字信号处理电路113对拍摄的图像数据进行必要的数字信号处理。
附图标记117是存储已处理的图像数据的图像存储器，118是可从摄像设备移除的记录介质，以及119是将经过信号处理的图像数据记录到记录介质118的记录电路。附图标记120是显示经过信号处理的图像数据的图像显示装置，以及121是用于将图像显示到图像显示装置120上的显示电路。
系统控制单元122对摄像设备进行总体控制。非易失性存储器(ROM)123存储写入了系统控制单元122所执行的控制方法的程序、在执行所述程序中使用的诸如参数和表格等的控制数据、以及诸如缺陷地址等的校正数据。在控制该摄像设备时，将存储于非易失性存储器123的所述程序、控制数据和校正数据传送并存储到系统控制单元122所使用的易失性存储器(RAM)124中。
具有上述结构的摄像设备的拍摄操作说明如下。在拍摄操作之前，在诸如摄像设备电源开启时等的系统控制单元122开始工作时，将必要的程序、控制数据和校正数据从非易失性存储器123传送并存储到易失性存储器124。系统控制单元122在控制摄像设备时使用所述程序和数据。此外，需要时，将附加程序和数据从非易失性存储器123传送到易失性存储器124，或者系统控制单元122直接从非易失性存储器123读出并使用所述数据。
首先，光学系统101响应于来自系统控制单元122的控制信号，驱动诸如镜头等的光学系统101，并在图像传感器103上形成被控制成具有适当亮度的被摄体的图像。接着，在拍摄静止图像时，响应于来自系统控制单元122的控制信号，驱动机械快门102以使得随着图像传感器103的操作而对图像传感器103遮光，从而获得所需的曝光时间段。此时，在图像传感器103具有电子快门功能的情况下，可通过和机械快门102一同使用图像传感器103的电子快门功能来确保所需曝光时间段。当拍摄运动图像以及在实时取景下被驱动时，响应于来自系统控制单元122的控制信号，将机械快门102维持在完全打开状态，以使拍摄过程中图像传感器103持续曝光。
利用基于由系统控制单元122控制的定时信号生成电路111所生成的操作脉冲的驱动脉冲来驱动图像传感器103。光电转换单元104通过使用光电转换将被摄体的图像转换为电信号，以及放大器电路105将电信号乘以增益，并且输出该乘积作为模拟图像信号，所述增益为根据入射光的量所设置的放大率。
响应于由系统控制单元122控制的定时信号生成电路111所生成的操作脉冲，在模拟信号处理电路106的CDS电路107中，将时钟同步噪声从输出自图像传感器103的模拟图像信号中移除。此外，信号放大器108将图像信号与作为根据入射光的量所设置的放大率的增益相乘，且箝位电路109对输出自水平OB区域的信号箝位以作为基准电压，且A/D转换器110将该信号转换为数字图像信号。
接着，在由系统控制单元122控制的数字信号处理电路113中，对输出自模拟信号处理电路106的数字图像信号进行处理。首先，图像校正电路114进行多种类型的图像校正处理，诸如对已转换为数字信号的图像信号进行缺陷校正和暗遮光校正等。针对诸如暗遮光校正等的用于实现均匀暗电平的校正，使用将于后面说明的来自基准值计算像素(OB像素)的输出信号。
在此之后，信号放大电路115将信号乘以作为根据入射光的量所设置的放大率的增益，图像处理电路116进行包括诸如颜色转换、白平衡和伽马校正等的图像处理、分辨率转换处理和图像压缩处理的多种类型的图像处理。此外，图像处理电路116能够通过使用由Ren.Ng等公开的方法进行例如再聚焦处理(该处理用于根据输出自图像传感器103的电信号生成多个图像，其中每个图像聚焦于任意距离)。此时，图像存储器117用于暂时存储图像处理中的数字图像信号，或者存储作为已经过信号处理的数字图像信号的图像数据。
通过记录电路119将在数字信号处理电路113中经过信号处理的图像数据和存储在图像存储器117中的图像数据转换为适合于记录介质118的数据(例如，具有分层结构的文件系统数据)，然后将这些数据存储到记录介质118。或者，例如，通过显示电路121将在数字信号处理电路113中经过分辨率转换处理的图像数据转换成适合于图像显示装置120的信号(例如，NTSC类型的模拟信号等)，然后显示在图像显示装置120上。
这里，在数字信号处理电路113中，响应于来自系统控制单元122的控制信号，可以将数字图像信号在不进行信号处理的情况下作为图像数据输出到图像存储器117和记录电路119。此外，如果存在来自系统控制单元122的请求，则数字信号处理电路113输出在图像处理期间所生成的数字图像信号和图像数据信息给系统控制单元122。例如，所述图像数据信息包括关于图像的空间频率、特定区域的平均值、压缩图像的数据量等的信息，或者由此提取的信息。另外，如果存在来自系统控制单元122的请求，则记录电路119输出关于记录介质118的类型、可用空间等的信息给系统控制单元122。
接着，将说明在图像数据记录到记录介质118时所进行的再现操作。响应于来自系统控制单元122的控制信号，记录电路119从记录介质118读出图像数据。然后，类似地，响应于来自系统控制单元122的控制信号，数字信号处理电路113在所读出的图像数据为压缩图像的情况下对所读出的图像数据进行图像解压缩处理，并将该图像数据存储到图像存储器117。另外，存储在图像存储器117中的图像数据由数字信号处理电路113进行分辨率转换处理，之后由显示电路121转换成适合于图像显示装置120的信号，然后显示在图像显示装置120上。
图2是示出在根据本发明实施例的摄像设备的光学系统周边的构成要素的框图。
在图2中，摄像镜头201和光圈204一起构成光学系统101。微透镜阵列202和传感器阵列203是图像传感器103的构成要素。附图标记205表示被摄体。图2示出的其它构成要素与和图1相关联所描述的相同，因而这里不再给出说明。
在通过驱动电路112打开机械快门102和光圈204的状态下，通过摄像镜头201将被摄体205的图像形成在图像传感器103上。入射到图像传感器103上的光信号被微透镜阵列202中的各个微透镜进一步会聚，并入射到传感器阵列203的各个像素上。下文将参照图4A和4B说明微透镜阵列202和传感器阵列203的结构。对入射到传感器阵列203上的光信号在各个像素中进行光电转换，并作为电信号输出。此后的处理与参考图1所描述的相同。
图3A和3B是示出本实施例的摄像设备的图像传感器103的示意性结构的图。如图3A中所示，图像传感器103包括像素区域302和外围电路，在像素区域302中多个像素301配置成阵列。该外围电路包括垂直移位寄存器303、读出电路304、水平移位寄存器305、输出放大器306、驱动信号线307、垂直信号线308等等。经由驱动信号线307，为配置在各行的各个像素发送来自垂直移位寄存器303的驱动脉冲。为简化附图，以针对各行提供单个驱动信号线的方式示出驱动信号线307，但实际上，每一行连接有多个驱动信号线。此外，将对齐于同一列中的像素连接到同一垂直信号线308。将由垂直移位寄存器303所选择的行的像素信号经由垂直信号线308输出至读出电路304，并且将由水平移位寄存器305所选择的列的像素信号顺次经由输出放大器306输出。图3A和3B示出像素区域302具有8列和8行的像素301的结构，但实际上，像素区域302由数千列和数千行的像素组成。
图3B是示出如图3A所示的像素301的结构的电路图。如图3B所示，像素301包括光电二极管401、浮动扩散单元402、放大器单元403、传送开关404、复位开关405和选择开关406。
光电二极管401用作接收入射到像素301上的光的光电转换单元，并根据所接收的光的量生成信号电荷。浮动扩散单元402用作暂时存储由光电二极管401生成且被传送的电荷、并将所保持的电荷转换为电压信号的电荷电压转换单元。利用传送脉冲信号PTX驱动传送开关404，并传送由光电二极管401生成的信号电荷。复位开关405由复位脉冲信号PRES驱动，并将浮动扩散部402的电位复位到参考电位VDD。放大器单元403是源极跟随MOS晶体管，并且放大基于浮动扩散单元402所保持的电荷的电压信号，并输出作为像素信号的信号。选择开关406由垂直选择脉冲信号PSEL驱动，并将由放大器单元403放大的像素信号输出至垂直信号线308。
图4A和4B是示出构成本实施例中的图像传感器103的传感器阵列203的像素和微透镜阵列202之间的相对配置的图。在图4A中，附图标记501表示对应于重构图像中的单个像素的记录像素单元，以及附图标记502表示配置在构成记录像素单元501的8列和8行中的如下的像素，其中，各像素按各光电转换单元来设置并且各像素与图3A和3B中所描述的像素301相对应。附图标记503表示与像素单元501一一对应地配置的微透镜。
将利用图4A和4B示出的传感器阵列203来描述本实施例，在传感器阵列203中，记录像素单元501以4列和4行配置，每个记录像素单元501包括以8列和8行配置的像素502。图4B是示出记录像素单元501的放大图。在本实施例的以下描述中，如图4B所示，以从a00到a77的编号对64个像素进行标记。
图5是示出入射到本实施例的摄像设备上的光线的光线轨迹的图，该光线来自位于多个距离处的被摄体。
在图5中，被摄体701a是位于这样位置上的被摄体，在该位置处，摄像镜头201将被摄体701a的图像形成在包含微透镜阵列202的平面A上。在来自被摄体701a的光线中，用实线表示穿过摄像镜头201的最外周、且经由光轴上的微透镜入射到传感器阵列203上的光线。
被摄体701b是从摄像镜头201处观察、位置相对于被摄体701a更远的被摄体。由摄像镜头201形成的被摄体701b的图像形成在比包括微透镜阵列202的平面A更靠近摄像镜头201的平面B上。在来自被摄体701b的光线中，用虚线表示穿过摄像镜头201的最外周、且经由光轴上的微透镜入射到传感器阵列203上的光线。
被摄体701c是从摄像镜头201处观察、位置比被摄体701a更靠近摄像镜头201的被摄体，由摄像镜头201形成的被摄体701c的图像形成在比包括微透镜阵列202的平面A更远离摄像镜头201的平面C上。在来自被摄体器701c的光线中，用虚线两点线表示穿过摄像镜头201的最外周、且经由光轴上的微透镜入射到传感器阵列203上的光线。
如由图5示出的各光线的光线轨迹所表示的那样，根据摄像镜头201到被摄体701的距离，光线入射到传感器阵列203的不同像素上。基于这一事实，利用具有上述结构的摄像设备，重构拍摄后的图像信号，从而能够生成聚焦于不同距离处的被摄体的图像。
图6是示出从多个位置处的被摄体入射到本实施例的摄像设备的光线的光线轨迹的图。
在图6中，被摄体801a是位于这样位置上的被摄体，在该位置处，摄像镜头201将被摄体801a的图像形成在包括微透镜阵列202的平面A上的微透镜802a上。在来自被摄体801a的光线中，用实线表示穿过摄像镜头201的最外周、且经由微透镜802a入射到传感器阵列203上的光线。这些光线到达传感器阵列203上的记录像素单元803a。
被摄体801b是位于这样位置处的物体，从摄像镜头201处观察、该位置以与被摄体801a相同的距离远离摄像镜头201，并且在该位置处、摄像镜头201将被摄体801b的图像形成在包括微透镜阵列202的平面A上的微透镜802b上。在来自被摄体801b的光线中，用虚线表示穿过摄像镜头201的最外周、且经由微透镜802b入射到传感器阵列203上的光线。这些光线经由传感器阵列203到达记录像素单元803b。
在根据本发明的摄像设备的实施例中，为了最有效地使用传感器阵列203的像素，配置微透镜阵列202以使得作为透镜的特征之一的F值在摄像镜头201和微透镜之间一致。如果在这里假定摄像镜头201的开口直径由D表示，从摄像镜头201到微透镜阵列202的距离由F表示，记录像素单元501的一边的长度由d表示，从微透镜阵列202到传感器阵列203的距离由f表示，则以下关系成立：
D/F=d/f
在上述配置的情况下，在来自被摄体801a的光线中，如图6中的实线所示，穿过摄像镜头201的最外周、且经由微透镜802a入射到传感器阵列203的记录像素单元803a上的光线到达相对于记录像素单元803a的中心的距离为d/2的位置。同样地，在来自被摄体801b的光线中，如图6中的虚线所示，穿过摄像镜头201的最外周、且经由微透镜802b入射到传感器阵列203的记录像素单元803b上的光线到达相对于记录像素单元803b的中心的距离为d/2的位置。此时，任何光线不到达远离与各微透镜相对应的记录像素单元的位置，因此，可以防止如下情况：由于传感器阵列上的光信号的重叠而不能进行图像的重构(再聚焦)。
图7是二维地示出根据本实施例的摄像设备中的入射光线的光线轨迹的图。在图7中，附图标记902表示微透镜阵列202的微透镜中的一个微透镜，以及903表示传感器阵列表面。
穿过光圈204的中心p0的光线入射到传感器阵列表面903与光轴相交的点p0'。来自被摄体且穿过光圈204的开口的外周上的点p1的光线入射到传感器阵列表面903上的点p1'，该被摄体位于如下的位置上，在该位置处，摄像镜头201将该被摄体的图像形成在包括微透镜阵列202的平面上。同样，穿过光圈204的开口的外周上的其它点p2和p3的光线分别入射到传感器阵列表面903上的点p2'和p3'。
如上所述，理论上，在来自被摄体的光线中，所有穿过光圈204和微透镜902的光线入射到传感器阵列表面903上的圆904的内侧，且不到达圆904的外侧，该被摄体位于如下的位置上，在该位置处，摄像镜头201将该被摄体的图像形成在包括微透镜阵列202的平面上。因而，除了少量的杂散光和重像光，没有光线到达传感器阵列表面903上的像素a00、a07、a70和a77。
对于来自位于与以下位置不同的位置处的被摄体的光线也同样，其中，在该位置上，摄像镜头201将该被摄体的图像形成在包括微透镜阵列202的面上。换句话说，由传感器阵列表面903上的像素a00、a07、a70和a77所接收并且在重构图像的生成时有效的光线的量小于在微透镜的光轴周围的像素的光线的量，从而对再聚焦处理的影响小。
具体而言，由于图像传感器103以及包括摄像镜头201和微透镜阵列202的光学系统的特性(即，如上所述的D、F、d和f等)，位于记录像素单元501的四个角的像素a00、a07、a70和a77具有相对小的接收光的量。因此，可以说这些像素对于再聚焦处理是无效的。
图8A和8B是示出本实施例的摄像设备中的像素结构的图。图8A是参照图4A描述的传感器阵列203的布局图，且图8B是作为参照图4B所述的传感器阵列203的构成要素的记录像素单元501和像素502的结构图。
在图8B中，如参照图7描述的，位于记录像素单元501的四个角的像素a00、a07、a70和a77是布置在不适合于后续所进行的再聚焦处理的区域中的像素，因此将这些像素作为OB像素使用。在图8A和8B中，作为OB像素使用的像素具有灰色阴影，且作为有效像素使用的像素以白色示出。作为OB像素使用的四个像素利用铝布线进行遮光，以提高遮光效果。
图9是示出在本实施例的摄像设备中基准电平的计算方法的例子的图。将参照图9说明用于通过使用图8B示出的像素结构中的OB像素a00、a07、a70和a77的输出信号值来计算像素amn的基准电平的方法。
这种计算方法是假设OB像素的基准电平与相对于OB像素距离成比例地线性变化来进行计算的方法。OB像素a00、a07、a70和a77的输出信号的值分别用B(0,0)，B(0,7)，B(7,0)和B(7,7)表示。像素a0n是位于这样位置上的像素，在该位置处，OB像素a00和OB像素a07之间的距离被内分为n:7-n。因此，像素a0N的基准电平B(0,n)表示如下：
B(0,n)=(1-n/7)·B(0,0)+n/7·B(0,7)。
类似地，像素a7n是位于这样位置上的像素，在该位置处，OB像素a70和OB像素a77之间的距离被内分成n:7-n，因此，像素a7n的基准电平B(7,n)的表示如下：
B(7,n)=(1-n/7)·B(7,0)+n/7·B(7,7)。
相同的计算适用于垂直方向。像素amn是位于这样位置上的像素，在该位置处，OB像素a0n和OB像素a7n之间的距离被内分成m:7-m，因此，像素amn的基准电平B(m，n)表示如下：
B(m,n)=(1-m/7)·(1-n/7)·B(0,0)
+(1-m/7)·n/7·B(0,7)
+m/7·(1-n/7)·B(7,0)
+m/7·n/7·B(7,7)。
如上所述，基于本实施例的摄像设备通过将OB像素配置在有效像素区域内，可获得比传统技术更详细和更精确的基准电平。因而，通过使用上述基准电平进行暗电平校正等，可实现能够提供具有良好图像质量的图像的摄像设备。
虽然上面参照图1至图9描述了根据本发明的摄像设备的实施例，但本发明不限于此，本发明能够采取多种形式。
例如，在根据本发明的摄像设备的实施例的像素结构中，为了便于理解像素结构，利用8×8像素来配置单个记录像素单元。然而，本发明不限于此，可以以任意形状、利用任意数目的像素来配置单个记录像素单元。
此外，在根据本发明的摄像设备的实施例的像素结构中，将位于最外侧区域的特定位置、并且对穿过光圈204和微透镜902并用于后续的再聚焦处理的光线的接收量小的像素用作OB像素。然而，本发明不限于此，可以将更多的像素作为OB像素使用，诸如使用如下结构，在该结构中，将可能用于再聚焦处理的光线的接收量小的像素和该像素周围的像素用作OB像素。在这种情况下，期望利用铝对用作OB像素的像素遮光，以使得光线不到达所述像素。
在根据本发明的摄像设备的实施例的像素结构的例子中，OB像素利用铝布线遮光，但本发明不限于此。OB像素可通过任何其它方法遮光。例如，如下结构是可能的：在该结构中，将黑色滤色器布置在OB像素的前面，从而产生遮光效果。
可选地，在将本发明的OB像素用于电路系统的遮光校正的情况下，例如，代替使用如上所述的遮光构件，可以使用不传送光电转换单元中所生成的电荷的结构、或者不包括光电转换单元的结构。
更具体来说，作为OB像素使用的像素可以配置成通过将图3B示出的传送开关404设置为总是断开而不传送由光电二极管401所生成的信号电荷。也可以使用如下结构，在该结构中，不设置光电二极管401和传送开关404，并且总是读出与基准电位VDD相对应的复位电平。
此外，在参考图9说明的针对每个像素计算基准电平的方法的例子中，根据距四个OB像素的距离来计算每个像素的基准值。然而，本发明不限于此。例如，可以使用如下结构，在该结构中，针对属于记录像素单元501的OB像素502，将属于记录像素单元501的四个OB像素的输出值的平均值统一设置为记录像素单元501的像素的基准电平。基于该结构，可减少计算量。
此外，在参照图1说明的本发明的实施例中，作为摄像设备的构成要素的数字信号处理电路113进行诸如图像重构等的图像处理，但该图像处理并非必需在摄像设备内进行。具体地，可使用如下结构，其中，将图像处理单元设置在与所述摄像设备分开的、诸如PC(个人计算机)等的设备中，将通过摄像设备获得的拍摄数据传送到PC，并在PC中进行图像处理。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同配置和功能。
Claims (8)
1.一种摄像设备，包括：
光电转换单元，其对穿过摄像镜头的入射光进行光电转换，并输出电信号，所述光电转换单元包括多个二维地配置的像素；以及
多个微透镜，其形成在所述摄像镜头和所述光电转换单元之间，所述多个微透镜与所述光电转换单元中的多个区域分别相对应，每个所述区域包括预定数量的像素，
其中，在所述多个区域所包括的像素中，将在每个区域中由以下特性导致光的接收量小的像素配置为在计算输出自所述光电转换单元的电信号的基准值时所使用的像素，该特性为包括所述摄像镜头和所述微透镜的光学系统的特性、以及所述光电转换单元的特性。
2.根据权利要求1所述的摄像设备，其中，在计算所述基准值时所使用的像素是被遮光的像素。
3.根据权利要求1所述的摄像设备，其中，在计算所述基准值时所使用的像素是具有如下配置的像素，在该配置中不将经过光电转换得到的电信号输出。
4.根据权利要求1所述的摄像设备，其中，在计算所述基准值时所使用的像素是不具有用于进行光电转换的结构的像素。
5.根据权利要求1至4中任一项所述的摄像设备，其中，在计算所述基准值时所使用的像素配置在所述多个区域中的每个区域的最外侧部分。
6.根据权利要求1所述的摄像设备，其中，还包括：再聚焦图像生成单元，其根据输出自所述光电转换单元的电信号，进行用于生成聚焦于任意距离的图像的再聚焦处理。
7.根据权利要求1所述的摄像设备，其中，所述光学系统的特性是所述微透镜的F值，且所述F值在所述摄像镜头和所述微透镜之间一致。
8.一种摄像设备，包括：
光电转换单元，其对穿过摄像镜头的入射光进行光电转换，并输出电信号，所述光电转换单元包括多个二维地配置的像素；以及
多个微透镜，其形成在所述摄像镜头和所述光电转换单元之间，所述多个微透镜与所述光电转换单元中的多个区域分别相对应，每个所述区域包括预定数量的像素，
其中，在所述多个区域所包括的像素中，将配置在所述多个区域中的每个区域的最外侧部分处的像素配置为在计算输出自所述光电转换单元的电信号的基准值时所使用的像素。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012005663A JP5963448B2 (ja) | 2012-01-13 | 2012-01-13 | 撮像装置 |
| JP2012-005663 | 2012-01-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103209301A true CN103209301A (zh) | 2013-07-17 |
Family
ID=48756371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013100112407A Pending CN103209301A (zh) | 2012-01-13 | 2013-01-11 | 摄像设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9191560B2 (zh) |
| JP (1) | JP5963448B2 (zh) |
| KR (1) | KR101582134B1 (zh) |
| CN (1) | CN103209301A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113419394A (zh) * | 2021-06-23 | 2021-09-21 | 合肥联宝信息技术有限公司 | 一种镜头组件、摄像头及成像方法 |
| WO2021212486A1 (zh) * | 2020-04-24 | 2021-10-28 | 达闼机器人有限公司 | 镜头模块和物体探测装置 |
| WO2022116676A1 (zh) * | 2020-12-02 | 2022-06-09 | 达闼机器人股份有限公司 | 物体探测装置、方法、存储介质和电子设备 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015072982A (ja) * | 2013-10-02 | 2015-04-16 | 株式会社ニコン | 撮像素子および撮像装置 |
| CN104580877B (zh) * | 2013-10-29 | 2018-03-06 | 华为技术有限公司 | 图像获取的装置及方法 |
| US9774804B2 (en) * | 2013-12-13 | 2017-09-26 | Bio-Rad Laboratories, Inc. | Digital imaging with masked pixels |
| JP6555863B2 (ja) * | 2013-12-25 | 2019-08-07 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| US9712820B2 (en) * | 2014-04-24 | 2017-07-18 | Lytro, Inc. | Predictive light field compression |
| US9414087B2 (en) * | 2014-04-24 | 2016-08-09 | Lytro, Inc. | Compression of light field images |
| FR3040798B1 (fr) * | 2015-09-08 | 2018-02-09 | Safran | Camera plenoptique |
| KR102593949B1 (ko) | 2018-07-25 | 2023-10-27 | 삼성전자주식회사 | 이미지 센서 |
| US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
| US11616924B2 (en) * | 2020-10-30 | 2023-03-28 | SmartSens Technology (HK) Co., Ltd. | CMOS image sensor with image black level compensation and method |
| US11985438B2 (en) * | 2021-03-18 | 2024-05-14 | Taiwan Semiconductor Manufacturing Company, Ltd. | Pixel array including dark pixel sensors |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060262209A1 (en) * | 2005-05-17 | 2006-11-23 | Takafumi Kishi | Image sensing device and control method therefor |
| CN1874429A (zh) * | 2005-05-30 | 2006-12-06 | 富士通株式会社 | 图像信号处理单元和方法 |
| CN101292352A (zh) * | 2005-09-01 | 2008-10-22 | 美光科技公司 | 微电子成像单元和以晶片级制造微电子成像单元的方法 |
| US20100277629A1 (en) * | 2009-05-01 | 2010-11-04 | Samsung Electronics Co., Ltd. | Photo detecting device and image pickup device and method thereon |
| US20110069189A1 (en) * | 2008-05-20 | 2011-03-24 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| CN102082153A (zh) * | 2009-10-30 | 2011-06-01 | 索尼公司 | 固体摄像器件、其制造方法、照相机和电子设备 |
| CN102090053A (zh) * | 2008-07-10 | 2011-06-08 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN102292974A (zh) * | 2009-03-17 | 2011-12-21 | 佳能株式会社 | 摄像设备 |
| CN102318335A (zh) * | 2009-02-06 | 2012-01-11 | 佳能株式会社 | 摄像设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2072003B1 (en) * | 2007-12-17 | 2016-08-10 | Olympus Corporation | Image display apparatus and image display system |
| JP2010093759A (ja) * | 2008-10-10 | 2010-04-22 | Canon Inc | 撮像センサ及び撮像装置 |
| JP2010147785A (ja) * | 2008-12-18 | 2010-07-01 | Fujifilm Corp | 固体撮像素子及び撮像装置並びにその画像補正方法 |
| JP4706882B2 (ja) * | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
| JP5394814B2 (ja) * | 2009-05-01 | 2014-01-22 | 三星電子株式会社 | 光検出素子及び撮像装置 |
-
2012
- 2012-01-13 JP JP2012005663A patent/JP5963448B2/ja not_active Expired - Fee Related
-
2013
- 2013-01-08 KR KR1020130001874A patent/KR101582134B1/ko active IP Right Grant
- 2013-01-10 US US13/738,198 patent/US9191560B2/en not_active Expired - Fee Related
- 2013-01-11 CN CN2013100112407A patent/CN103209301A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060262209A1 (en) * | 2005-05-17 | 2006-11-23 | Takafumi Kishi | Image sensing device and control method therefor |
| CN1874429A (zh) * | 2005-05-30 | 2006-12-06 | 富士通株式会社 | 图像信号处理单元和方法 |
| CN101292352A (zh) * | 2005-09-01 | 2008-10-22 | 美光科技公司 | 微电子成像单元和以晶片级制造微电子成像单元的方法 |
| US20110069189A1 (en) * | 2008-05-20 | 2011-03-24 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| CN102037717A (zh) * | 2008-05-20 | 2011-04-27 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
| CN102090053A (zh) * | 2008-07-10 | 2011-06-08 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN102318335A (zh) * | 2009-02-06 | 2012-01-11 | 佳能株式会社 | 摄像设备 |
| CN102292974A (zh) * | 2009-03-17 | 2011-12-21 | 佳能株式会社 | 摄像设备 |
| US20100277629A1 (en) * | 2009-05-01 | 2010-11-04 | Samsung Electronics Co., Ltd. | Photo detecting device and image pickup device and method thereon |
| CN102082153A (zh) * | 2009-10-30 | 2011-06-01 | 索尼公司 | 固体摄像器件、其制造方法、照相机和电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021212486A1 (zh) * | 2020-04-24 | 2021-10-28 | 达闼机器人有限公司 | 镜头模块和物体探测装置 |
| WO2022116676A1 (zh) * | 2020-12-02 | 2022-06-09 | 达闼机器人股份有限公司 | 物体探测装置、方法、存储介质和电子设备 |
| CN113419394A (zh) * | 2021-06-23 | 2021-09-21 | 合肥联宝信息技术有限公司 | 一种镜头组件、摄像头及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101582134B1 (ko) | 2016-01-04 |
| JP2013145981A (ja) | 2013-07-25 |
| US20130182170A1 (en) | 2013-07-18 |
| JP5963448B2 (ja) | 2016-08-03 |
| US9191560B2 (en) | 2015-11-17 |
| KR20130083847A (ko) | 2013-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103209301A (zh) | 摄像设备 | |
| JP7001080B2 (ja) | 撮像装置 | |
| US8704926B2 (en) | CMOS image sensor with selectable hard-wired binning | |
| CN101821657B (zh) | 摄像设备 | |
| US9781366B2 (en) | Image sensing system and method of driving the same | |
| JP2017216646A (ja) | 撮像素子、撮像装置、および撮像信号処理方法 | |
| JP6678504B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
| JP3906202B2 (ja) | 固体撮像装置およびそれを利用した撮像システム | |
| US9392193B2 (en) | Image pickup apparatus, control method therefor and image pickup system | |
| JP2013045907A (ja) | 撮像素子及び撮像装置 | |
| CN109474781A (zh) | 摄像装置、摄像装置的控制方法、记录介质 | |
| JP2013145982A (ja) | 撮像装置、画像処理装置及び方法 | |
| CN103581578A (zh) | 图像拾取装置和图像拾取方法 | |
| JP2016072895A (ja) | 電子機器、再生プログラム、記録プログラム、再生方法、記録方法および記録媒体 | |
| US20220256108A1 (en) | Solid-state imaging device and method for driving the same, and electronic apparatus | |
| CN105407299A (zh) | 摄像装置及控制摄像装置的方法 | |
| CN117135480A (zh) | 影像感测装置 | |
| JP5917158B2 (ja) | 撮像装置、その制御方法及び撮像システム | |
| JP5789109B2 (ja) | 固体撮像素子および撮像装置 | |
| JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 | |
| JP2016019157A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP7478201B2 (ja) | 画像センサ、カメラモジュール、モバイル端末及び画像収集方法 | |
| JP6046912B2 (ja) | 撮像装置及びその制御方法 | |
| JP2017195616A (ja) | 画像処理装置及び画像処理方法 | |
| WO2020203799A1 (ja) | 撮像素子、及び、撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130717 |