CN102845066A - 图像拾取设备和图像拾取设备控制方法、以及程序 - Google Patents

图像拾取设备和图像拾取设备控制方法、以及程序 Download PDF

Info

Publication number
CN102845066A
CN102845066A CN2012800011378A CN201280001137A CN102845066A CN 102845066 A CN102845066 A CN 102845066A CN 2012800011378 A CN2012800011378 A CN 2012800011378A CN 201280001137 A CN201280001137 A CN 201280001137A CN 102845066 A CN102845066 A CN 102845066A
Authority
CN
China
Prior art keywords
pixel
pixels
image
gravity
image pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800011378A
Other languages
English (en)
Inventor
笠井政范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102845066A publication Critical patent/CN102845066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于实现处理的设备和方法，通过该处理当在图像拾取设备中生成像素数目减少图像时能够进行像素重心控制。提供了像素单元和像素信息合成单元，像素单元被配置成输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号，像素信息合成单元被配置成将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值。对构成像素数目减少图像的各个像素的重心位置的控制通过像素单元的像素相加信号生成处理和像素信息合成单元的加权相加处理来执行。例如，执行了在像素单元中均匀地布置构成像素数目减少图像的各个像素的重心位置的重心位置控制。通过这个处理，能够生成其中抑制了锯齿状图形等的生成的高质量图像。

Description

图像拾取设备和图像拾取设备控制方法、以及程序
技术领域
本发明涉及一种图像拾取(image pickup)设备和图像拾取设备控制方法、以及程序。更详细地，本发明涉及一种生成其中像素的数目通过对图像拾取元件的输出信号的处理来变换的图像信号的图像拾取设备和图像拾取设备控制方法、以及程序。
背景技术
目前许多图像拾取设备设有具有从几百万至几千万像素的极大量的像素的图像拾取元件以用于拾取高分辨率图像。
然而，利用能够输出与提供给图像拾取元件的像素的数目相对应的高分辨率图像的显示设备是不常见的，并且也发生以下情形，其中如果从图像拾取元件输出的高分辨率图像被按原样记录在存储器中，则用于记录所必需的存储器容量增加并且能够被记录的图像的数目减少。
通过考虑上述情况，在设有具有大量的像素的图像拾取元件的图像拾取设备中，来自图像拾取元件的输出像素信号未被按原样记录在存储器中，并且减少待记录在存储器中的像素的总数目的处理通常通过使输出像素的数目变稀少的处理或包括多个像素的相加计算等的合成处理来执行。
公开了上述像素数目减少处理的相关技术包括例如PTL 1(日本未经审查的专利申请公报No.2008-278453)。
参照图1，将描述PTL 1中描述的处理的概述。
图1示出了
(a)图像拾取元件的像素布置，以及
(b)图像拾取元件的电路配置，
其都被描述在上述PTL 1中。
应该注意的是，图1(b)中所示出的电路是与用于包括图1(a)中所示出的Gb1、R1、Gb2以及R2的四个像素的一部分的像素区11相对应的电路。
根据PTL 1中描述的实施例中的一个，在图1(a)中所示出的图像拾取元件配置中，像素区11被设置为公共像素区，即包括用于决定构成作为像素数目减少图像的输出图像的一个像素的像素值的多个像素的单元区。Gb和R的像素被经由传输晶体管(T1至T4)连接到如图1(b)中所示出的用于放大(AMP)的晶体管的栅极部分。
为了获得其中减少了像素的数目的输出图像，通过使用图1(b)中所示出的电路配置，执行了包括在区11中的具有相同颜色的像素(根据本示例，Gb1和Gb2)的相加计算。
图2示出了通过使用图1(b)中所示出的电路配置执行的像素值相加处理的时序图。
图2示出了以下信号的这些信号样式：
传输晶体管信号：T1至T4，
复位信号：RST(浮动扩散(FD)的复位)，以及
选择信号：SEL，在以下操作中
(1)用于调节曝光开始的快门操作，以及
(2)用于调节曝光结束的读出操作。
图2示出了在执行了用于图1(a)中所示出的像素Gb1和像素Gb2的相加处理的情况下的信号样式。
在图2中所示出的时间ts与te之间的周期相当于曝光周期。
响应于图2中的(1)的快门操作中的晶体管T1和T3的导通，用于图1(a)中所示出的像素Gb1和像素Gb2的曝光开始。在那之后，响应于图2中的(2)的读出操作中的晶体管T1和T3的导通，用于图1(a)中所示出的像素Gb1和像素Gb2的曝光结束，并且执行读出处理。
在读出处理的初始阶段(T＝t1)中，执行了公共像素的选择(SEL)和浮动扩散(FD)的复位(RST)，并且随后，在时间(T＝t2)处，图1(a)中所示出的像素Gb1和像素Gb2的晶体管T1和T3被同时读出，并且在Gb1和Gb2中生成的电子被累积在浮动扩散(FD)中以用于相加。因此，获得了基于该两个像素的像素值的相加信号。例如，基于这些相加信号计算了多个像素的平均信号，并且计算了输出像素值。
根据PTL 1，虽然用于多个像素的上述相加处理被用作基本的配置，但是，例如公开了在四个像素被设置为一个像素时(如图3中所示)通过像素值相加的像素数目减少配置。图3示出了以下的这些图：
(a)图像拾取元件的像素阵列，以及
(b)输出像素的像素重心。
图3(a)中所示出的像素阵列是类似于图1(a)中所示出的像素阵列的像素阵列。这个像素阵列相当于图像拾取元件的像素阵列。
基于与在图3(a)的图像拾取元件中的具有相同颜色的像素相对应的四个像素，设置并且输出了输出图像的一个像素的像素值。
也就是说，通过将四个像素合并成一个像素以用于输出减少了像素的总数目。
图3(b)的输出像素的像素重心示出了在像素的数目上的减少之后关于输出像素中的每一个的原始图像拾取元件中的像素重心。
例如，图3(b)的Gb像素31对应于通过在图3(a)的3×3像素块21中的四个角落上均匀地使用Gb像素的像素值决定的像素值，并且像素重心被设置在3×3像素块21的中心位置。这个重心位置由图3(b)的Gb像素31来表示。
图3中所示出的示例是其中执行了将输出图像的像素的数目减少到图像拾取元件的像素的数目的1/4的处理、同时(a)中所示出的8×8像素的64个像素被设置为(b)中所示出的4×4＝16像素的示例。
对于这个处理，例如，执行了对于在图3(a)中所示出的3×3像素块21的四个角落上的(Gb)像素的相加处理，并且计算了在输出图像中的一个Gb像素的像素值。
遵循参照图1(b)在上文中所描述的电路，在垂直方向上的两个Gb的像素值被相加。在那之后，从在每隔一列中的图像拾取元件输出的两个相加值被进一步相加以计算四个Gb像素值的相加值，并且随后，计算基于这些相加值的平均值，以决定基于这四个像素的输出图像的一个像素的像素值。
也就是说，基于在图3(a)中所示出的3×3像素块21中包括的四个Gb像素，计算了图3(b)中所示出的Gb像素31的像素值。
在这种情况下，输出图像中的Gb像素31的重心在坐标轴中的(x，y)＝(2，2)的位置处，即，图3(b)中所示出的Gb像素31的位置，其中水平向右方向被设置为x而垂直向下方向被设置为y。
同样地，基于在图3(a)中所示出的3×3像素块22中包括的四个B像素，计算了图3(b)中所示出的B像素32的像素值。
在这种情况下，输出图像中的B像素32的重心在(x，y)＝(3，2)的位置处，即，图3(b)中所示出的B像素32的位置。
类似地，基于在图3(a)中所示出的3×3像素块23中包括的四个Gb像素，计算了图3(b)中所示出的Gb像素33的像素值。
在这种情况下，输出图像中的Gb像素33的重心在(x，y)＝(6，2)的位置处，即，图3(b)中所示出的Gb像素33的位置。
同样地，基于在图3(a)中所示出的3×3像素块24中包括的四个B像素，计算了图3(b)中所示出的B像素34的像素值。
在这种情况下，输出图像中的B像素34的重心在(x，y)＝(7，2)的位置处，即，图3(b)中所示出的B像素34的位置。
图3(b)中所示出的总共16个像素在像素被设置为输出图像的情况下被输出为4×4像素的图像。
也就是说，像素被输出为如图4(c)中所示出的4×4像素的图像70。
图4示出了这些：
(b)输出像素的像素重心(与图3(b)相同)，以及
(c)输出图像的像素位置。
在图4(c)中，考虑了在左上方的2×2像素，即，包括Gb像素31和B像素32的2×2像素块是固定的。在这种设置的情况下，其它三个2×2像素块被全部根据图4(c)中所示出的箭头(α)、(β)以及(γ)移动并且作为图4(c)中所示出的4×4像素的图像70的组成像素输出。
通过这个移位处理，发生了以下问题。
例如，在输出图像中，其中像素重心的位置在(x，y)＝(6，2)处的Gb像素33被设置为其中像素位置在(x，y)＝(3，2)的Gb像素53。
同样地，在输出图像中，其中像素重心的位置在(x，y)＝(7，2)处的B像素34被设置为其中像素位置在(x，y)＝(3，3)处的B像素54。
这里，计算减少缩放比率(reduction scale rate)。
考虑了当假定在像素位置(x，y)＝(2，2)处的GB像素31被设置为在固定位置处的参考像素。
在图4(b)中所示出的像素位置(x，y)＝(6，2)处的Gb像素33距离与参考像素相对应的Gb像素31有4个像素。
在输出图像中，由于这被设置为其中像素位置是(x，y)＝(3，2)的Gb像素53，所以与参考像素：Gb像素31的距离是2个像素。
也就是说，减少缩放比率是
2像素/4像素＝1/2。
另一方面，在图4(b)中所示出的像素位置(x，y)＝(7，2)处的B像素34距离与参考像素相对应的Gb像素31有5个像素。
在输出图像中，由于这被设置为其中像素位置是(x，y)＝(4，2)的B像素54，所以与参考像素：Gb像素31的距离是3个像素。
也就是说，减少缩放比率是
3像素/5像素＝3/5。
按照这种方式，像素之间的减少缩放比率变动，并且生成了具有不同于与图像拾取元件的像素阵列相对应的拾取图像的各个像素的相对位置的相对位置的输出图像。
也就是说，生成了输出图像，然而在图像拾取元件中拾取的原始图像的各个像素之间的间隔被不均匀地减少。
上述在像素间隔中的不均匀引起了图像质量降级。
具体地说，例如，出现了诸如图5中所示出的锯齿状图形(jaggy)扩张的降级。
图5(A)的原始图像是相当于图像拾取元件的所拾取的图像的、具有大量像素的高分辨率图像，并且这个图像具有小的锯齿状图形。
如果基于图5(A)的这个原始图像执行通过其参照图1至图4所描述的相对像素位置被设置成各不相同的像素数目减少处理，则生成了其中锯齿状图形被扩张为图5(B)中所示出的图像。
应该注意的是，锯齿状图形是一种类型的折叠噪声。由于在相加之后的在像素重心之间的间隔中的不均匀，增加了锯齿状图形降级。
应该注意的是，除了这个之外，RGB的相应颜色布置之间的位置关系的混乱等引起了各种图像质量降级，其中在输出图像与原始图像之间还出现了颜色差异。
引用列表
专利文献
PTL 1：日本未经审查的专利审请公报No.2008-278453
发明内容
技术问题
例如已经考虑到上述情况完成了本发明，并且本发明的目的是提供一种可用来生成高质量图像的图像拾取设备和图像拾取设备控制方法以及程序，其中，当生成并且输出具有与提供给图像拾取元件的像素的数目不同的多个像素的图像时，抑制了图像质量降级。
问题的解决方案
本发明的第一方面属于一种图像拾取设备，所述图像拾取设备包括：
像素单元，所述像素单元被配置成输出通过将来自具有不同敏感度(sensitivity)的像素的输出像素信号彼此相加获得的像素相加信号；以及
像素信息合成单元，所述像素信息合成单元被配置成执行将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成像素数目减少图像的各个像素的重心位置的控制通过像素单元的像素相加信号生成处理和像素信息合成单元的加权相加处理来执行。
此外，根据本发明的图像拾取设备的实施例，像素单元和像素信息合成单元执行重心位置控制以在像素单元中均匀地布置构成像素数目减少图像的各个像素的重心位置。
此外，根据本发明的图像拾取设备的实施例，像素单元在像素相加信号生成处理中执行在构成像素数目减少图像的各个像素的一个方向上的重心位置控制，并且像素信息合成单元在加权相加处理中执行在与由像素单元执行的重心位置控制方向正交的方向上的重心位置控制。
此外，根据本发明的图像拾取设备的实施例，像素单元在像素相加信号生成处理中执行对作为重心位置控制的结果的相加像素值的计算，所述重心位置控制是根据对应于相加处理目标的像素的敏感度比率进行的。
此外，根据本发明的图像拾取设备的实施例，像素信息合成单元在加权相加处理中，执行将与加权相加处理目标相对应的多个像素相加信号乘以根据计划控制的重心位置的增益的加权相加处理。
此外，根据本发明的图像拾取设备的实施例，像素单元具有其中相同颜色的像素被布置在每隔一行中并且设置成具有敏感度比率1∶3的不同敏感度的像素被布置在每隔两行中的像素阵列，并且像素单元具有输出通过将来自具有其中敏感度比率是1∶3的两个不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号的配置。
此外，根据本发明的图像拾取设备的实施例，像素单元具有其中相同颜色的像素被布置在每隔一列中的像素阵列，并且像素信息合成单元执行将从在每隔一列中的像素单元输出的两个像素相加信号乘以1∶3的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值。
此外，根据本发明的图像拾取设备的实施例，图像拾取设备还包括控制单元，所述控制单元被配置成对像素单元的区域单位执行曝光时间控制。
此外，本发明的第二方面属于一种在图像拾取设备中执行的图像拾取设备控制方法，所述控制方法包括：
像素相加信号输出步骤，其在像素单元中输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及
像素信息合成步骤，其在像素信息合成单元中执行将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成像素数目减少图像的各个像素的重心位置的控制通过像素单元的像素相加信号生成处理和像素信息合成单元的加权相加处理来执行。
此外，本发明的第三方面属于一种用于在图像拾取设备中执行图像拾取设备控制处理的程序，所述程序包括：
使像素单元执行像素相加信号输出步骤，所述步骤输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及
使像素信息合成单元执行像素信息合成步骤，所述步骤执行将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成像素数目减少图像的各个像素的重心位置的控制通过像素单元的像素相加信号生成处理和像素信息合成单元的加权相加处理来执行。
应该注意的是，根据本发明的程序是例如提供给能够通过例如记录介质的方式执行各种程序代码的信息处理设备或计算机系统的程序。在信息处理设备或计算机系统上的程序执行单元执行上述程序的同时，根据该程序的处理被实现。
从基于本发明的实施例和附图的以下具体描述，本发明的另外的目的、特征以及优点将变得显而易见。应该注意的是，本说明书中的系统是多个设备的逻辑聚合结构并且不限于其中相应结构的设备位于同一外壳中的系统。
本发明的有益效果
根据本发明的实施例，提供了用于实现处理的设备和方法，通过该处理当在图像拾取设备中生成了像素数目减少图像时能够进行对像素重心的控制。
具体地说，提供了像素单元和像素信息合成单元，所述像素单元被配置成输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号，所述像素信息合成单元被配置成将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值。对构成像素数目减少图像的各个像素的重心位置的控制通过像素单元的像素相加信号生成处理和像素信息合成单元的加权相加处理来执行。例如，执行了在像素单元中均匀地布置构成像素数目减少图像的各个像素的重心位置的重心位置控制。
通过这个处理，能够生成其中抑制了锯齿状图形等的生成的高质量图像。
附图说明
图1是用于描述作为相关技术的在图像拾取元件中的像素值相加处理的说明图。
图2是在通过图像拾取元件的图像拾取处理中的时序图。
图3是用于描述在相关技术处理中的问题点的说明图。
图4是用于描述在相关技术处理中的问题点的说明图。
图5是用于描述在相关技术处理中的作为问题点的锯齿状图形的生成的说明图。
图6是用于描述图像拾取设备的配置示例的说明图。
图7是用于描述图像拾取元件的配置和处理示例的说明图。
图8是用于描述像素数目减少图像的生成示例的说明图。
图9是用于描述像素数目减少图像和对像素重心的控制的说明图。
图10是用于描述像素数目减少图像和对像素重心的控制的说明图。
图11是用于描述图像拾取元件的详细配置和处理的说明图。
图12是用于描述图像拾取元件的详细配置和处理的说明图。
图13是用于描述通过图像拾取元件的曝光控制处理的说明图。
图14是用于描述基于与通过图像拾取元件的处理相对应的像素值相加在垂直方向上的重心位置控制的说明图。
图15是用于描述当生成像素数目减少图像时被设置的块的说明图。
图16是用于描述基于与通过图像拾取元件的处理相对应的像素值相加在垂直方向上的重心位置控制的说明图。
图17是用于描述在水平方向上的与通过图像拾取元件的处理相对应的重心位置控制的说明图。
具体实施方式
在下文中，将参照图描述根据本发明的图像拾取设备和图像拾取设备控制方法以及程序的细节。将根据以下项目进行描述。
1.有关图像拾取设备的配置示例
2.有关图像拾取元件的配置示例
3.有关用于像素数目减少图像的生成处理的特定示例
4.有关图像拾取元件的特定配置和特定处理示例
[1.有关图像拾取设备的配置示例]
首先，将参照图6描述图像拾取设备的整体配置示例。
图6是示出了图像拾取设备的配置示例的方框图。经由光学镜头101的入射光进入由例如CMOS图像传感器等组成的图像拾取元件102，并且输出基于光电转换的图像数据。输出图像数据被输入到信号处理单元103。信号处理单元103通过执行例如一般相机中的信号处理生成输出图像120，所述信号处理诸如白平衡(WB)调整或伽玛校正。输出图像120被存储在未被示出在图中的存储单元中或者输出到显示单元。
控制单元105根据例如存储在未被示出在图中的存储器中的程序将控制信号输出到相应单元并且对各种处理执行控制。
[2.有关图像拾取元件的配置示例]
接下来，将参照图7描述图像拾取元件102的配置示例。
图7示出了根据本发明的实施例的图像拾取元件102的配置。
图像拾取元件102具有像素单元201和输出像素值计算单元202，如图7中所示出。
输出像素值计算单元202具有AD转换单元211、像素信息合成单元212以及输出单元213。
像素单元201基于在大量的像素中的每一个中的对象光累积电荷，并且输出与高分辨率图像相对应的大量像素的图像数据。
应该注意的是，像素单元201被配置成具有其中执行了长时间曝光的高敏感度像素和其中执行了短时间曝光的低敏感度像素。在下文中将描述像素单元201的详细配置。
像素单元具有由例如类似于在上文中参照图1所描述的RGbGrB的阵列组成的像素配置并且设有类似于图1(b)的输出电路，并且通过相同颜色的两个像素值获得的相加像素值250被从像素单元201输出。
然而，应该注意的是，根据本实施例，从像素单元201输出的相加像素值250是相同颜色的两个像素值的相加值，但是以这两个不同敏感度的两个像素值的相加值被作为相加像素值250输出：
(a)其中执行长时间曝光的高敏感度像素的像素值，以及
(b)其中执行短时间曝光的低敏感度像素的像素值。
将在后续的阶段中描述这个处理的配置。
从像素单元201输出的相加像素值250被在输出像素值计算单元202的AD转换单元211中转换成数字数据并且输入到像素信息合成单元212。
在像素信息合成单元212中，通过利用从AD转换单元211输入的关于相加像素值的数字数据，执行了对于构成其中减少了像素单元201中的像素的数目的输出图像的各个像素的像素值的计算。
例如，决定了其中像素单元201中的像素的数目被减少到1/4的像素数目减少图像的各个像素的像素值。在下文中将描述特定的处理示例。
输出单元213将从像素信息合成单元212输入的、其中减少了像素的数目的图像数据输出到信号处理单元103。
应该注意的是，控制单元105根据在未被示出在图中的存储器中存储的程序供应例如用于像素单元201的曝光时间的控制信号、用于输出像素值计算单元202的处理控制信号等。
[3.关于用于像素数目减少图像的生成处理的特定示例]
接下来，将描述根据本实施例的由图像拾取设备执行的用于像素数目减少图像的生成处理的特定示例。
首先，参照图8，将描述像素单元201的特定配置示例和由输出像素值计算单元202执行的像素数目减少处理的示例。
图8示出了以下图。
(a)像素单元201的像素阵列示例
(b)由图像拾取元件102输出的像素数目减少图像
在图中，为了容易地识别构成像素单元的各个像素的像素位置，当水平轴被设置为x而垂直轴被设置为y时，各个像素位置由坐标(x，y)来表示。
当在左上方边缘上的Gb像素的位置被设置为(x，y)＝(1，1)时，并且
在右下方边缘上的Gr像素的位置被设置为(x，y)＝(8，8)时，
示出了8×8个像素。应该注意的是，图8(a)中所示出的8×8个像素是仅示出了像素单元201的一部分(像素单元201的左上方边缘部分的一部分)的图。
在图8(a)中所示出的像素单元201的像素阵列具有如参照图1在上文中所描述的像素中的类似的拜耳(Bayer)图案(RGbGrB)的像素阵列。
像素单元201具有包括其中执行了长时间曝光的高敏感度像素和其中执行了短时间曝光的低敏感度像素的配置。
如在图中所示出的，从上行开始采用了以下配置，其中，
第一行是其中执行了长时间曝光的高敏感度像素行，
第二和第三行是其中执行了短时间曝光的低敏感度像素行，
第四和第五行是其中执行了长时间曝光的高敏感度像素行，并且
第六和第七行是其中执行了短时间曝光的低敏感度像素行，并且
在下文中，高敏感度像素和低敏感度像素被以两行的单位设置。
应该注意的是，例如基于控制单元105的控制信号执行这些曝光时间控制。
图8(b)示出了由图像拾取元件201输出的像素数目减少图像280。
例如，基于在包括在图8的(1)中的左上方边缘上示出的3×3像素块271中的四个角落上的Gb像素的像素值，图像拾取元件102决定并且输出构成像素数目减少图像280的在左上方边缘上的一个Gb像素281的像素值。
类似地，例如，基于在包括在图8的(1)中的右下方边缘上示出的3×3像素块272中的四个角落上的Gr像素的像素值，决定并且输出了构成像素数目减少图像280的在右下方边缘上的一个Gr像素282的像素值。
至于RGbGrB的所有其它的各个像素，基于在设置在各种位置处的3×3像素块的四个角落上的相同颜色的像素值，图像拾取元件102决定并且输出构成像素数目减少图像280的RGbGrB的各个像素值。
按照这种方式，决定并且输出了其中像素单元201中的像素的数目被减少到1/4的像素数目减少图像280的各个像素的像素值。
接下来，参照图9，描述块(3×3像素块)和输出像素(在像素数目减少图像280中设置的像素)的像素重心的设置示例。
在基于参照图1至图4在上文中所描述的相关技术的图像拾取元件的多个像素的相加处理的处理中，发生了在输出图像中的重心位置被从原始的拾取图像移位的问题。
与此相反，采用根据本实施例的图像拾取设备，在垂直方向(y方向)上的重心位置控制通过将具有不同曝光时间的像素，即，具有不同敏感度的像素彼此组合来执行，并且此外，其中调整了增益(权重)的加权相加处理被执行以在水平方向(x方向)上进行重心位置控制。通过这些处理，在与输出图像相对应的像素数目减少图像中设置的相应颜色的相对位置能够被输出为原始拾取的图像中的相应颜色的重心位置的相对位置上的相同设置。
具体地说，如图9(b)中所示出的，生成了具有其中均匀地布置了RGbGrB的相应颜色的布置重心位置的设置的像素数目减少图像。
基于在图9(a)中所示出的3×3像素块321的四个角落上的Gb像素，计算了具有在图9(b)中所示出的Gb像素331处的重心位置的Gb像素值。
基于在图9(a)中所示出的3×3像素块322的四个角落上的B像素，计算了具有在图9(b)中所示出的B像素332处的重心位置的B像素值。
基于在图9(a)中所示出的3×3像素块323的四个角落上的Gb像素，计算了具有在图9(b)中所示出的Gb像素333处的重心位置的Gb像素值。
基于在图9(a)中所示出的3×3像素块324的四个角落上的B像素，计算了具有在图9(b)中所示出的B像素334处的重心位置的B像素值。
至于所有其它的RGbGrB像素，3×3像素块被设置在图9(a)中所示出的图像拾取元件的像素阵列中，并且基于具有块中的四个角落上的相同颜色的像素的像素值，计算了具有其中重心位于图9(b)中所示出的位置处的设置的像素值。
应该注意的是，根据参照图1至图4在上文中所描述的相关技术示例以及本实施例，在图9(a)中所示出的3×3像素块上的设置模式相同。
根据参照图1至图4所描述的相关技术示例，由于所有的像素都具有相同敏感度(相同曝光时间)的设置，所以根据在3×3像素块中的四个角落上的像素的像素值计算的一个像素的像素重心被设置在3×3像素块的中心，其与图9(b)中所示出的像素Gb 341至像素B 344的位置相对应。这与参照图3和图4在上文中所描述的相同。
与此相反，根据本实施例，执行了对于设置在图9(b)中所示出的在水平方向上以及垂直方向上的均匀布置的位置处的像素数目的减少之后的各个像素的重心位置的重心位置控制。
对像素重心的控制通过对多个像素的以下合成处理来执行。
这些合成处理被执行以控制重心位置：
(a)对用于在垂直方向(y方向)上的重心位置控制的具有不同敏感度差异的像素的合成处理，以及
(b)设置用于在水平方向(x方向)上的重心位置控制的增益(权重)的合成处理。
将参照图10描述根据本实施例的在像素重心的位置上的特定控制示例。
图10(A)示出了
设置在图像拾取元件的像素阵列中的3×3像素块的四个图案。示出了这些相应的块：
(a1)具有在四个角落上的Gb像素的像素块351，
(a2)具有在四个角落上的B像素的像素块352，
(a3)具有在四个角落上的R像素的像素块353，
(a4)具有在四个角落上的Gr像素的像素块354。
此外，这些被示出在图10(B)中：
(b1)基于像素块351中的四个Gb像素生成的像素数目减少图像的Gb像素的像素重心371的位置，
(b2)基于像素块352中的四个B像素生成的像素数目减少图像的B像素的像素重心372的位置，
(b3)基于像素块353中的四个R像素生成的像素数目减少图像的R像素的像素重心373的位置，
(b4)基于像素块354中的四个Gr像素生成的像素数目减少图像的Gr像素的像素重心374的位置。
如图10(B)中所示出的，用于像素重心的设置位置模式在相应颜色：Gb、B、R以及Gr中的每一种颜色的单元中彼此不同如下。
(b1)基于像素块351中的四个Gb像素生成的像素数目减少图像的Gb像素的像素重心371被设置为像素块351的中心像素的左上方边缘部分。
(b2)基于像素块352中的四个B像素生成的像素数目减少图像的B像素的像素重心372被设置为像素块352的中心像素的右方边缘部分。
(b3)基于像素块353中的四个R像素生成的像素数目减少图像的R像素的像素重心373被设置为像素块353的中心像素的左下方边缘部分。
(b4)基于像素块354中的四个Gr像素生成的像素数目减少图像的Gr像素的像素重心374被设置为像素块354的中心像素的右下方边缘部分。
在这些颜色中的任何一种中，通过利用具有在3×3像素块的四个角落上的相同颜色的像素的像素值来计算在像素数目减少图像中设置的一个像素的像素值的点相同，但是对于用于被基于这些四个像素设置的像素重心的位置的这些颜色中的每一个进行了不同的设置。
在根据本实施例的图像拾取设备中，如图10(B)中所示出的，在用于相应颜色中的每一个的不同的模式下执行了重心位置控制。也就是说，利用3×3像素块的四个像素值的像素值计算被在每个颜色的单元中作为不同的处理来执行。
应该注意的是，对于重心位置的控制基本上以以下两个处理的组合来执行。控制通过这些处理来执行：
(a)在垂直方向(y方向)上对于具有用于重心位置的移位的不同敏感度差异的像素的合成处理，以及
(b)其中在水平方向(x方向)上增益(权重)被设置用于重心位置的移位的合成处理。
通过这些像素合成，建立了其中用于像素数目减少图像的组成像素的相应颜色的布置是图9(b)中所示出的均匀布置的配置，即，所有颜色的重心位置被在水平方向和垂直方向两者上以均匀的间隔布置。
在其中这些均匀布置的像素被集成并且输出为由用于原始图像拾取元件的拾取图像的像素的1/4数目组成的像素数目减少图像的情况下，用于构成像素数目减少图像的各个像素之间的距离的压缩比率全部是相同的压缩比率。
因此，能够生成并且输出不引起诸如参照图5在上文中所描述的锯齿状图形的扩张或颜色模糊的图像质量方面的降低的图像。
[4.关于图像拾取元件的特定配置和特定处理示例]
接下来，实现对重心位置的上述控制处理的图像拾取元件的特定配置和处理。
图11示出了图7中所示出的图像拾取元件102的相应结构单元以及特定的处理示例。
图11示出了类似于图7中的那些的像素单元201和输出像素值计算单元202。
像素值计算单元202具有AD转换单元211、像素信息合成单元212以及输出单元213。
像素单元201具有RGbGrB图案的拜耳图案。像素单元201输出通过将每隔一行中的垂直方向(y方向)上的相同颜色的两个像素彼此相加获得的像素值。
将参照图12描述用于将具有垂直方向(y方向)上的相同颜色的两个像素彼此相加的电路。在像素单元中，根据图12(b)中所示出的电路配置，输出了通过将具有每隔一行中的垂直方向(y方向)上的相同颜色的两个像素彼此相加获得的像素值。
图12(b)中所示出的电路是类似于参照图1(b)在上文中所描述的电路。
图12(b)中所示出的电路是与用于图12(a)中所示出的Gb1、R1、Gb2以及R2的四个像素的像素区域301相对应的电路。Gb和R的像素被经由传输晶体管(T1至T4)连接到如图12(b)中所示出的用于放大(AMP)的晶体管的栅极部分。
通过使用图12(b)中所示出的电路配置，对具有包括在像素区域301中的相同颜色的像素(根据本示例，Gb1和Gb2)执行相加计算。
在用于像素值的读取处理中，执行了公共像素的选择(SEL)和浮动扩散(FD)的复位(RST)，在像素Gb1和像素Gb2中的晶体管T1和T3被同时地读出，并且在Gb1和Gb2中生成的电子被累积在浮动扩散(FD)中以彼此相加。因此，获得了基于两个像素的像素值的相加信号。
通过这个相加处理，基于在垂直方向上的两个像素的像素值的相加信号被从像素单元201输出。
然而，应该注意的是，根据本实施例，与相加目标相对应的像素包括
(a)其中执行了长时间曝光的高敏感度像素，以及
(b)其中执行了短时间曝光的低敏感度像素，
并且这两个像素具有这些不同敏感度。根据本实施例，执行了以这些两个不同敏感度的像素值相加处理。
在图像拾取元件的像素单元201中，高敏感度像素和低敏感度像素被以图12(a)中所示出的两个行的单位设置，并且根据本实施例，在设置为用于计算合成像素值的基本单位的3×3像素块的四个角落上的像素之中，具有布置在垂直方向(y方向)上的相同颜色的两个像素一定具有具有不同敏感度的这些像素的组合。
(a)其中执行了长时间曝光的高敏感度像素，以及
(b)其中执行了短时间曝光的低敏感度像素。
因此，像素相加被执行为不同敏感度的这个像素相加处理。
从在图11的像素单元201下所示出的输出线输出的数据示例被图示在图11的步骤(S1)中。
在这里，作为代表性的示例，关于包括在图11中所示出的3×3像素块401中的Gb像素的合成处理示例被示出为步骤(S1)和(S2)。
图11中所示出的步骤(S1)是对于具有不同敏感度差异的像素的合成处理并且对应于对在垂直方向(y方向)上的重心位置的控制处理。
步骤(S2)是其中设置了增益(权重)的合成处理并且对应于对在水平方向(x方向)上的重心位置的控制处理。
高敏感度与低敏感度之间的敏感度差异(曝光时间比)被设置为3∶1。
图13示出了图像拾取元件102的曝光控制处理示例。
第一行是高敏感度(长时间曝光)像素行。
第二和第三行是低敏感度(短时间曝光)像素行。
第四和第五行是高敏感度(长时间曝光)像素行。
第六和第七行是低敏感度(短时间曝光)像素行。
在下文中，高敏感度和低敏感度像素行被以两行的单位重复地设置。
将参照图13描述像素单元201的曝光时间控制处理。
针对高敏感度像素，沿着图13中所示出的快门开始位置S1，曝光被从上行朝向下行顺序地开始。
另一方面，针对低敏感度像素，沿着图13中所示出的快门开始位置S2，曝光被从上行朝向下行顺序地开始。
在读出处理中，针对所有的行，沿着在从上行到下行的所有行上的读出位置E1顺序地执行读出。
例如基于来自控制单元105的控制信号执行对于这个处理的控制。
作为这个曝光控制的结果，执行其中高敏感度与像敏感度之间的敏感度差异(曝光时间率)被设置为3∶1的曝光处理。
在由具有不同曝光时间的两个像素行组成的像素单元201中设置的3×3像素块中，具有上边缘行和下边缘行上的相同颜色的像素一定是高敏感度像素和低敏感度像素的对。
因此，与图12(b)中所示出的两个像素相加电路的相加目标相对应的像素是高敏感度像素和低敏感度像素的组合。
因此，如图11的步骤(S1)中所示出的，来自图11中所示出的像素单元201的输出被输出为在其中像素重心接近高敏感度像素侧的位置处的像素值。
将参照图14描述在这个垂直方向(y方向)上的重心位置控制处理的细节。
图14是用于描述在用于垂直方向(y方向)上的相同颜色像素的两个像素相加中的重心位置的说明图并且示出了这些两个示例：
(a)针对具有相同敏感度的像素的两个像素相加，以及
(b)针对具有不同敏感度(敏感度比率3∶1)的像素的两个像素相加。
图14(a)示出了在设置用于参照图1至图4在上文中所描述的所有像素中的相同敏感度(相同曝光时间)的情况下在用于垂直方向(y方向)上的相同颜色像素的两个像素相加中的重心位置。
在这种情况下，重心被设置在与相加目标(Gb1和Gb2)相对应的两个像素的像素位置的中心位置处。
图14(b)对应于根据本实施例的图像拾取设备和用于具有不同敏感度(敏感度比率3∶1)的像素的两个像素相加处理的情况，并且在这种情况下，重心位置被设置在靠近高敏感度像素(Gb1)侧的位置处。
从高敏感度像素(Gb1)到重心的距离与从低敏感度像素(Gb2)到重心的距离的比率取敏感度比率的倒数并且为1∶3。
也就是说，重心被设置在靠近高敏感度像素(Gb1)的像素位置的位置处。
按照这种方式，控制了垂直方向上的像素重心。
这个处理由图11的步骤(S1)中的处理来表示。
图11中所示出的像素单元201的输出被输出为在其上已经执行了在垂直方向上的对于像素重心的控制的值。
应该注意的是，如参照图10(B)所描述的，
重心位置控制模式对于相应颜色中的每一个而不同。
如正根据图10(B)所理解的，
关于Gb和B，在垂直方向上的重心位置需要被设置在3×3像素块的中心像素的上方。
关于R和Gr，在垂直方向上的重心位置需要被设置在3×3像素块的中心像素的下方。
为了实现这个处理，
用于计算Gb和B的3×3像素块是其中高敏感度像素被设置在如图11中所示出的像素块401的上方的块。采用这个块设置，重心被设置，同时被朝向上方移位。
另一方面，用于计算R和Gr的3×3像素块是其中高敏感度像素被设置在如图15中所示出的像素块402的下方的块。采用这个块设置，重心被设置，同时被朝向下方移位。
图16示出了根据相应颜色和敏感度设置的块与垂直方向上的重心位置之间的对应关系。
(1)针对Gb和B的处理示例
(2)针对R和Gr的处理示例
示出了这些处理示例。
如图16(1)中所示出的，在计算了Gb和B的情况下，用于计算Gb和B的3×3像素块是其中高敏感度像素被设置在上方的块。采用这种块设置，重心被设置，同时被朝向上方移位。
另一方面，如图16(2)中所示出的，在计算了R和Gr的情况下，用于计算R和Gr的3×3像素块是其中高敏感度像素被设置在下方的块。采用这种块设置，重心被设置，同时被朝向下方移位。
图11中所示出的输出像素值计算单元202的AD转换单元211对这个相加值执行AD转换以生成数字值。
这是图11中所示出的AD转换单元输出值(像素相加值)291。
这个AD转换单元输出值(像素相加值)291被输出到像素信息合成单元212。
像素信息合成单元212执行
对于在水平方向(x方向)上的重心位置的控制，并且这个处理通过其中设置了增益(权重)的合成处理来实现。
关于这个处理，对于图11中所示出的3×3像素块401的Gb像素的处理将被描述为示例。
像素信息合成单元212利用两个相加值，即，这两个Gb相加值：
[Gb12Data]与3×3像素块401中的Gb1和Gb2的相加值输出相对应，以及
[Gb34Data]与3×3像素块401中的Gb3和Gb4的相加值输出相对应，
并且计算了在像素数目减少图像中设置的最后的Gb像素值。
这个像素值计算处理被通过考虑了像素重心位置的处理，即，由其中设置了增益(权重)的加权相加完成的像素值计算处理来执行。
这个处理被表示在图11中所示出的步骤(S2)中。
如参照图10(b1)在上文中所描述的，
Gb像素的重心位置需要被设置在图10(b1)中所示出的3×3像素块351的中心像素的左上方边缘位置处。
对于用于这个目的的处理，对于像素数目减少图像的Gb像素的像素值(Gb(出))的计算根据以下的表达式(表达式1)来执行。
Gb(out)＝((Gb12×3)+Gb34)/4
                    ...(表达式1)
应该注意的是，在上述表达式中，
Gb12表示Gb1和Gb2的像素相加值，并且
Gb34表示Gb3和Gb4的像素相加值。
通过根据上述表达式(表达式1)的像素值计算，重心位置被设置在如图11的步骤(S2)中所示出的3×3像素块的中心像素的左上方边缘处。
这个结果对应于用于图10(b1)中所示出的Gb像素的位置的像素重心371的位置。
关于Gb像素，在计算了该两个相加像素值之后，执行了将在左侧上的相加值(根据本示例，Gb12)乘以比用于右侧上的相加值(Gb34)更大的增益(权重)的计算，使得重心被从两个相加像素位置的中心朝向左侧移位。
这个增益(权重)设置模式对于相应颜色中的每一个而不同。
如从图10(B)中所示出的图显而易见的，
关于Gb像素和R像素，执行了将在左侧上的相加值乘以比用于右侧上的相加值更大的增益(权重)的计算，使得重心被从两个相加像素位置的中心朝向左侧移位。
另一方面，
关于B像素和Gr像素，执行了将在右侧上的相加值乘以比用于左侧上的相加值更大的增益(权重)的计算，使得重心被从两个相加像素位置的中心朝向右侧移位。
通过上述处理，执行了水平方向上的重心位置控制。
应该注意的是，在本示例中增益比率是3∶1。
图17示出了根据相应颜色和敏感度设置的块与水平方向上的重心位置之间的对应关系。
(1)针对Gb和R的处理示例
(2)针对B和Gr的处理示例
示出了这些处理示例。
如图17(1)中所示出的，在计算了Gb和R的情况下，在从用于计算Gb和R的3×3像素块获得的两个相加值之中，对于左侧上的相加值增益被设置为3，并且对于右侧上的相加值增益被设置为1，使得通过基于这个增益设置的加权相加处理，重心能够被设置，同时被朝向左侧移位。
另一方面，如图17(2)中所示出的，在计算了B和Gr的情况下，在从用于计算B和Gr的3×3像素块获得的两个相加值之中，对于左侧上的相加值增益被设置为1，并且对于右侧上的相加值增益被设置为3，使得通过基于这个增益设置的加权相加处理，重心能够被设置，同时被朝向右侧移位。
在图11中所示出的像素信息合成单元212中，通过执行伴随有在水平方向上的上述重心位置控制的像素值计算处理，一个输出像素值被基于两个相加值来决定。
这个结果被经由输出单元213输出到信号处理单元。
如参照图9(b)在上文中所描述的，用于通过重心位置控制生成的像素数目减少图像的相应组成像素的像素重心具有其中均匀地布置了各个像素位置的设置，并且获得了具有类似于原始图像拾取元件的拾取图像的像素布置的相对像素位置的像素数目减少图像。
因此，输出了其中抑制了参照图5在上文中所描述的锯齿状图形的生成等的高质量图像。
应该注意的是，根据上述实施例，已经描述了其中3×3像素块被设置为单位并且两个行的单位的敏感度差异被设置为3∶1的配置，但是能够对块大小、敏感度比率等进行其它各种设置。如果增益设置等被根据相应设置来调整以执行处理，则能够进行对于在各种位置设置重心位置的控制。
在上文中，已经参照特定实施例详细地描述了本发明。然而，显而易见的是，本领域的技术人员可以在不背离本发明的主旨的范围内做出实施例的各种修改和改变。也就是说，已经通过例证的方式公开了本发明，并且不应该以有限的方式来解释。为了确定本发明的主旨，应该考虑权利要求的部分。
同样地，在本说明书中所描述的系列处理能够通过硬件或软件、或这些的复合配置来执行。在其中该系列的处理通过软件来执行的情况下，记录处理顺序的程序能够被安装到在被合并到用于执行的专用硬件中的计算机中的存储器中，或者程序能够被安装到能够执行用于执行的各种处理的通用计算机中。例如，程序能够被事先记录在记录介质中。除了从记录介质到计算机中的安装之外，程序还能够经由诸如LAN(局域网)或互联网的网络接收并且安装到诸如内置硬盘的记录介质中。
应该注意的是，在本说明书中所描述的各种处理可以不仅以根据本描述的时间序列方式来执行，而且可以根据执行处理的设备的处理性能并行地或单独地执行。同样地，本说明书中的系统指的是多个设备的逻辑聚合结构并且不限于其中相应配置的设备位于同一外壳中的系统。
工业适用性
如上文所描述，根据本发明的实施例，实现了用于实现当在图像拾取设备中生成像素数目减少图像时通过其能够进行对像素重心的控制的处理的设备和方法。
具体地说，提供了一种像素单元，所述像素单元被配置成输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及像素信息合成单元，所述像素信息合成单元被配置成将从像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于像素单元的像素的数目的像素数目减少图像的配置像素值。对构成像素数目减少图像的各个像素的重心位置的控制通过由像素单元的像素相加信号生成处理和由像素信息合成单元的加权相加处理来执行。例如，执行了重心位置控制以便在像素单元中均匀地布置构成像素数目减少图像的各个像素的重心位置。
通过这个处理，能够生成其中抑制了锯齿状图形的生成等的高质量图像。
标号列表
11像素区
21至24块
31至34像素
101光学镜头
102图像拾取元件
103信号处理单元
105控制单元
120输出图像
201像素单元
202输出像素值计算单元
211AD转换单元
212像素信息合成单元
213输出单元
250相加像素值
291AD转换单元输出值(像素相加值)
321至324块
331至334像素
351至354块
371至374像素重心
401块
421块

Claims (10)

1.一种图像拾取设备，包括：
像素单元，所述像素单元被配置成输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及
像素信息合成单元，所述像素信息合成单元被配置成执行将从所述像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于所述像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成所述像素数目减少图像的各个像素的重心位置的控制通过所述像素单元的像素相加信号生成处理和所述像素信息合成单元的加权相加处理来执行。
2.根据权利要求1所述的图像拾取设备，
其中，所述像素单元和所述像素信息合成单元执行重心位置控制以在所述像素单元中均匀地布置构成所述像素数目减少图像的各个像素的所述重心位置。
3.根据权利要求1所述的图像拾取设备，
其中，所述像素单元在所述像素相加信号生成处理中，执行在构成所述像素数目减少图像的各个像素的一个方向上的重心位置控制，并且
其中，所述像素信息合成单元在所述加权相加处理中，执行在与由所述像素单元执行的所述重心位置控制方向正交的方向上的所述重心位置控制。
4.根据权利要求1所述的图像拾取设备，
其中，所述像素单元在所述像素相加信号生成处理中，根据与相加处理目标相对应的像素的敏感度比率、执行对于作为所述重心位置控制的结果的相加像素值的计算。
5.根据权利要求1所述的图像拾取设备，
其中，所述像素信息合成单元在所述加权相加处理中，根据计划控制的重心位置、执行将与加权相加处理目标相对应的多个像素相加信号乘以增益的加权相加处理。
6.根据权利要求1所述的图像拾取设备，
其中，所述像素单元具有以下像素阵列，其中相同颜色的像素被布置在每隔一行中并且设置成具有敏感度比率1∶3的不同敏感度的像素被布置在每隔两行中，并且
其中，所述像素单元具有以下配置，该配置输出通过将来自具有其中所述敏感度比率是1∶3的两个不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号。
7.根据权利要求1所述的图像拾取设备，
其中，所述像素单元具有其中相同颜色的像素被布置在每隔一列中的像素阵列，并且
其中，所述像素信息合成单元执行将从在每隔一列中的所述像素单元输出的两个像素相加信号乘以1∶3的增益的加权相加处理，并且计算其中所述像素的总数目低于所述像素单元的像素的数目的所述像素数目减少图像的所述配置像素值。
8.根据权利要求1所述的图像拾取设备，还包括：
控制单元，所述控制单元被配置成对所述像素单元的区域单位执行曝光时间控制。
9.一种在图像拾取设备中执行的图像拾取设备控制方法，所述控制方法包括：
像素相加信号输出步骤，其在像素单元中输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及
像素信息合成步骤，其在像素信息合成单元中执行将从所述像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于所述像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成所述像素数目减少图像的各个像素的重心位置的控制通过所述像素单元的像素相加信号生成处理和所述像素信息合成单元的加权相加处理来执行。
10.一种用于在图像拾取设备中执行图像拾取设备控制处理的程序，所述程序包括：
使像素单元执行像素相加信号输出步骤，所述步骤输出通过将来自具有不同敏感度的像素的输出像素信号彼此相加获得的像素相加信号；以及
使像素信息合成单元执行像素信息合成步骤，所述步骤执行将从所述像素单元输出的多个像素相加信号乘以预先设置的增益的加权相加处理，并且计算其中像素的总数目低于所述像素单元的像素的数目的像素数目减少图像的配置像素值，
其中，对构成所述像素数目减少图像的各个像素的重心位置的控制通过所述像素单元的像素相加信号生成处理和所述像素信息合成单元的加权相加处理来执行。
CN2012800011378A 2011-02-24 2012-01-26 图像拾取设备和图像拾取设备控制方法、以及程序 Pending CN102845066A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-037943 2011-02-24
JP2011037943A JP2012175600A (ja) 2011-02-24 2011-02-24 撮像装置、および撮像装置制御方法、並びにプログラム
PCT/JP2012/051599 WO2012114819A1 (ja) 2011-02-24 2012-01-26 撮像装置、および撮像装置制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102845066A true CN102845066A (zh) 2012-12-26

Family

ID=46720607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800011378A Pending CN102845066A (zh) 2011-02-24 2012-01-26 图像拾取设备和图像拾取设备控制方法、以及程序

Country Status (8)

Country Link
US (2) US8786731B2 (zh)
EP (1) EP2544453A4 (zh)
JP (1) JP2012175600A (zh)
KR (1) KR20130139154A (zh)
CN (1) CN102845066A (zh)
CA (1) CA2793534A1 (zh)
MX (1) MX2012011492A (zh)
WO (1) WO2012114819A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184965A (zh) * 2013-05-20 2014-12-03 全视科技有限公司 从像素阵列读取像素数据的方法及成像系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP5895504B2 (ja) 2011-12-15 2016-03-30 ソニー株式会社 撮像パネルおよび撮像処理システム
JP6390429B2 (ja) * 2012-12-25 2018-09-19 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
JP6369016B2 (ja) * 2013-11-28 2018-08-08 株式会社ニコン 撮像素子および撮像装置
EP2942941B1 (en) * 2014-05-08 2016-04-27 Axis AB Method and apparatus for determining a need for a change in a pixel density requirement due to changing light conditions
KR102247564B1 (ko) * 2014-11-13 2021-05-03 삼성전자 주식회사 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템
CN107211101A (zh) * 2015-02-12 2017-09-26 索尼公司 成像设备及其控制方法以及电子装置
KR102356706B1 (ko) 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
JP2017158084A (ja) * 2016-03-03 2017-09-07 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11350045B2 (en) 2020-03-10 2022-05-31 Samsung Electronics Co., Ltd. Image sensing apparatus and image binning method thereof
KR20220000761A (ko) * 2020-06-26 2022-01-04 삼성전자주식회사 이미지 센서 및 이미지 센서의 비닝 방법
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2022093657A1 (en) * 2020-10-28 2022-05-05 Gigajot Technology, Inc. Dual-progression pixel readout
KR20220125103A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 이미지 센서 및 이의 동작 방법
KR20220144087A (ko) 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템
KR20220156242A (ko) 2021-05-18 2022-11-25 에스케이하이닉스 주식회사 이미지 처리 장치
US11778337B2 (en) 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023005A (ja) * 2001-07-06 2003-01-24 Horiba Ltd 化学気相成長法による膜堆積装置および膜堆積方法
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
US20080088725A1 (en) * 2006-10-12 2008-04-17 Yoshiyuki Matsunaga Solid-state imaging device
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器
JP2010178281A (ja) * 2009-02-02 2010-08-12 Nikon Corp 撮像装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP4307780B2 (ja) 2002-03-07 2009-08-05 富士フイルム株式会社 固体撮像装置およびその信号読出し方法
JP2004147092A (ja) 2002-10-24 2004-05-20 Canon Inc 信号処理装置、撮像装置、及び制御方法
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法
JP3942569B2 (ja) * 2003-09-04 2007-07-11 オリンパス株式会社 撮像装置および画像データの変換方法
JP4497872B2 (ja) * 2003-09-10 2010-07-07 キヤノン株式会社 撮像装置
JP4183635B2 (ja) * 2004-02-16 2008-11-19 富士フイルム株式会社 固体撮像装置
JP4428195B2 (ja) * 2004-10-22 2010-03-10 株式会社日立製作所 撮像装置、補完信号生成方法及びプログラム
JP2007129581A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置及び撮像システム
US8237808B2 (en) * 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
JP5053654B2 (ja) * 2007-02-09 2012-10-17 オリンパスイメージング株式会社 画像処理装置およびその方法と電子カメラ
JP2008278453A (ja) 2007-04-03 2008-11-13 Canon Inc 撮像装置及び撮像システム
US8009211B2 (en) * 2007-04-03 2011-08-30 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP4442695B2 (ja) * 2008-02-29 2010-03-31 ソニー株式会社 固体撮像装置及びカメラ装置
JP5180687B2 (ja) * 2008-06-03 2013-04-10 キヤノン株式会社 撮像装置及び補正方法
JP4868021B2 (ja) * 2009-01-07 2012-02-01 ソニー株式会社 固体撮像素子および駆動制御方法
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5230552B2 (ja) * 2009-07-13 2013-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法
WO2011010359A1 (ja) * 2009-07-21 2011-01-27 キヤノン株式会社 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体
JP5625298B2 (ja) * 2009-09-28 2014-11-19 ソニー株式会社 撮像装置
JP5075934B2 (ja) * 2010-03-25 2012-11-21 株式会社東芝 固体撮像装置および画像記録装置
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013143730A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023005A (ja) * 2001-07-06 2003-01-24 Horiba Ltd 化学気相成長法による膜堆積装置および膜堆積方法
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
US20080088725A1 (en) * 2006-10-12 2008-04-17 Yoshiyuki Matsunaga Solid-state imaging device
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器
JP2010178281A (ja) * 2009-02-02 2010-08-12 Nikon Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184965A (zh) * 2013-05-20 2014-12-03 全视科技有限公司 从像素阵列读取像素数据的方法及成像系统
CN104184965B (zh) * 2013-05-20 2017-09-22 豪威科技股份有限公司 从像素阵列读取像素数据的方法及成像系统

Also Published As

Publication number Publication date
US20130010153A1 (en) 2013-01-10
US20140307158A1 (en) 2014-10-16
CA2793534A1 (en) 2012-08-30
EP2544453A1 (en) 2013-01-09
MX2012011492A (es) 2013-02-15
JP2012175600A (ja) 2012-09-10
US9001233B2 (en) 2015-04-07
US8786731B2 (en) 2014-07-22
KR20130139154A (ko) 2013-12-20
EP2544453A4 (en) 2014-04-23
WO2012114819A1 (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
CN102845066A (zh) 图像拾取设备和图像拾取设备控制方法、以及程序
CN104822034B (zh) 固态成像装置和成像系统
US20130308044A1 (en) Imaging apparatus, image sensor, imaging control method, and program
CN104202543A (zh) 数据处理方法、数据处理设备、半导体装置和电子设备
CN1946136B (zh) 一种成像设备的驱动方法
US20060001745A1 (en) Image sensing device, image processing apparatus and method, and memory medium
CN102625060B (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
CN103369241A (zh) 摄像设备和信号处理方法
CN104113708B (zh) 固态成像装置及其信号处理方法和电子设备
CN102569321A (zh) 固体摄像器件和电子装置
US11622081B2 (en) Imaging systems for generating HDR images and operating methods thereof
US9025065B2 (en) Solid-state imaging device, image processing method, and camera module for creating high dynamic range images
CN102132570A (zh) 图像信号校正设备、成像设备、图像信号校正方法和程序
CN102740005A (zh) 固体摄像器件及其驱动方法和电子装置
JP2011244249A (ja) 固体撮像装置、画像処理装置、カメラシステム
CN102265600A (zh) 图像处理设备和车载照相机设备
US10171784B2 (en) Solid state imaging device and imaging apparatus having a plurality of addition read modes
CN102761712A (zh) 摄像装置
EP2228983B1 (en) Image data generation device, image data generation method, and image data generation program
CN103581563A (zh) 图像捕获设备、图像捕获设备控制方法和程序
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
US20130016244A1 (en) Image processing aparatus and method, learning apparatus and method, program and recording medium
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
US12008789B2 (en) Image sensing device and method of operating the same
US20240171873A1 (en) Apparatus and method for improving image quality in a dual conversion gain image sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20121226

C20 Patent right or utility model deemed to be abandoned or is abandoned