CN101262552A - 成像装置及其驱动方法 - Google Patents

成像装置及其驱动方法 Download PDF

Info

Publication number
CN101262552A
CN101262552A CNA2008100852133A CN200810085213A CN101262552A CN 101262552 A CN101262552 A CN 101262552A CN A2008100852133 A CNA2008100852133 A CN A2008100852133A CN 200810085213 A CN200810085213 A CN 200810085213A CN 101262552 A CN101262552 A CN 101262552A
Authority
CN
China
Prior art keywords
image
pixel
rarefaction
topography
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100852133A
Other languages
English (en)
Other versions
CN101262552B (zh
Inventor
太田径介
桥本诚二
繁田和之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101262552A publication Critical patent/CN101262552A/zh
Application granted granted Critical
Publication of CN101262552B publication Critical patent/CN101262552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

本发明公开了一种成像装置及其驱动方法。提供了一种消除读取低分辨率的图像和读取高分辨率的图像的复杂性并避免帧率降低的成像装置。所述装置包括：像素区，包括多个像素元件，并将对象的入射光成像为图像；以及读取单元，对来自像素区的像素元件进行稀疏化处理以读取低分辨率的稀疏化图像，并从像素区的局部区读取分辨率高于稀疏化图像的分辨率的局部图像(水平移位寄存器和垂直移位寄存器)，其中，读取单元从互相不同的像素元件读取稀疏化图像和局部图像，并将稀疏化图像和局部图像读取为不同的成像帧。

Description

成像装置及其驱动方法
技术领域
本发明涉及一种成像装置及其驱动方法，所述成像装置包括像素区，该像素区包括多个像素元件并将对象的入射光成像为图像。
背景技术
作为能够利用较低的分辨率对较宽的成像区域进行成像并利用较高的分辨率对预定的局部成像区域进行成像的传统成像装置，存在以下专利，例如，第H09-214836号特许公开的日本专利申请以及第2000-032318号特许公开的日本专利申请。
在第H09-214836号特许公开的日本专利申请中，使用能够读取预定像素元件的数据的成像装置。在所有像素元件中仅读取预定块的像素元件的块模式以及以预定稀疏率读取所有像素元件的跳跃模式被切换以进行驱动、写入存储器以及显示。因此，提供一种能够在成像之前实现视角调整以及实现用于快速准确地聚焦的图像显示的成像装置。此外，提供能够使得以短循环周期在一显示器上完全显示的图像和按照局部放大的方式显示的图像同时可见的成像装置。
此外，在第2000-032318号特许公开的日本专利申请中，公开一种包括具有二维像素阵列的固态成像装置并被用来以多种扫描模式进行扫描的成像装置。所述成像装置在固态成像装置的像素阵列中仅扫描连续的预定区的像素组的所有像素元件。此外，所述成像装置包括：扫描控制单元，以稀疏化(thin out)方式在像素阵列的剩余区域中扫描像素组；视频信号分离单元，将来自整个像素扫描区的视频信号与来自稀疏化扫描区的视频信号彼此分离。因此，提供一种成像装置，其能够同时从相同帧通过稀疏化扫描来获得整个图像信息并通过整个像素扫描来获得高分辨率的局部图像信息。
然而，上述两个专利文档分别包括以下问题。首先，在第H09-214836号特许公开的日本专利申请中描述的成像装置在读取低分辨率的图像和读取高分辨率的图像的时候使用相同的像素元件。因此，同样在交替地读取低分辨率的帧和高分辨率的帧的情况下，必须对于每一帧按照先后顺序来执行累加和像素读取，这产生问题。
此外，在第2000-032318号特许公开的日本专利申请中描述的成像装置将从相同帧获得低分辨率的图像和高分辨率的图像。因此，必须对于每个图像调整每个像素元件的曝光控制或增益，从而传感器的驱动时序的改变变得复杂，这产生问题。
此外，对于在图像读取时的驱动频率，上述两种成像装置均不作考虑；在读取多个高分辨率的图像的情况下，每个图像的帧率将改变，这产生问题。
发明内容
考虑到上述问题而实现本发明，因此，本发明的目的在于提供一种成像装置并提供所述成像装置的驱动方法，所述成像装置能够在不会使读取低分辨率的图像和高分辨率的图像变得复杂的情况下防止帧率的下降。
本发明的成像装置包括：像素区，其包括多个像素元件并将对象的入射光成像为图像；以及读取单元，用于对来自像素区的像素元件进行稀疏化处理以读取低分辨率的稀疏化图像，并从像素区的局部区读取分辨率高于稀疏化图像的分辨率的局部图像，其中，读取单元从互相不同的像素元件读取稀疏化图像和局部图像，并将稀疏化图像和局部图像读取为互相不同的成像帧。此外，本发明的成像装置包括：像素区，其包括多个像素元件并将入射光成像为图像；以及读取单元，用于对来自像素区的像素元件进行稀疏化处理以读取低分辨率的稀疏化图像，并从像素区的局部区读取分辨率高于稀疏化图像的分辨率的局部图像，其中，读取单元从互相不同的像素元件读取稀疏化图像和局部图像，并在互相不同的累加时间段中进行读取。
本发明的驱动成像装置的方法是驱动如下成像装置的方法，所述成像装置包括像素区，所述像素区包括多个像素元件并将对象的入射光成像为图像，其中，所述方法包括以下步骤：通过对来自像素区的像素元件进行稀疏化处理来读出低分辨率的稀疏化图像；从像素区的局部区读出分辨率高于稀疏化图像的分辨率的局部图像。在所述两个读取步骤期间，从各不相同的像素元件以及从各不相同的成像帧读出稀疏化图像和局部图像。
根据本发明，可在不会使读取低分辨率的图像和高分辨率的图像变得复杂的情况下防止帧率的下降。
通过以下参照附图进行的对示例性实施例的描述，本发明的其它特点将变得清楚。
附图说明
图1是示出关于本发明实施例的成像装置的示意性配置的示例的示图。
图2是由关于本发明实施例的成像装置实现的图像的示例的示意图。
图3是示出由关于本发明实施例的成像装置实现的图像的示例的像素区的示意图。
图4是示出由关于本发明实施例的成像装置实现的图像的示例的像素区的示意图。
图5是示出由关于本发明实施例的成像装置实现的图像的示例的像素区的示意图。
图6是示出使得能够进行随机存取的像素区的单位像素元件中的电路的示例的示图。
图7是示出像素区的单位像素元件中的电路的示例的示图。
图8是示出像素区中的电路的另一示例的示图。
图9是示出关于本发明实施例的成像装置的传感器单元(成像装置)的示意性配置的示例的示图。
图10是示出关于本发明实施例的驱动成像装置的方法的示例的时序图。
图11A和图11B是示出用于确定行1中的像素元件的累加时间段的设置的复位脉冲的输入时序的示例的时序图。
图12是示出本发明实施例并示出改变用于读取低分辨率的稀疏化图像和读取高分辨率的局部图像的驱动频率的示例的时序图。
具体实施方式
以下，将参照附图来描述本发明的实施例。
图1是示出关于本发明实施例的成像装置的示意性配置的示例的示图。例如，成像装置100包括：光学单元110、传感器单元(成像装置)120、信号处理电路单元130、记录和发送单元140、时序控制电路单元150、系统控制电路单元160以及再现和显示单元170。
通过光学单元110的对象入射光被聚焦到传感器单元(成像装置)120以形成图像。传感器单元(成像装置)120包括：例如，像素区，其中，按照二维矩阵来排列像素元件。当对象的入射光在像素区中被聚焦以形成图像时，通过像素区的每个像素元件将对象的光转换为电信号(图像信号)，图像被成像。
在传感器单元(成像装置)120的每个像素元件中转换的图像信号在信号处理电路单元130中按照预定方法经历信号转换处理。此外，通过记录介质来记录由信号处理电路单元130进行信号处理的图像信号，所述图像信号被记录和发送单元140发送到外部设备，或被直接发送到再现和显示单元170，并被再现和显示。此外，由记录和发送单元140记录在记录介质中的图像信号在必要的情况下被发送到再现和显示单元170，并被再现和显示。
时序控制电路单元150基于系统控制电路单元160的控制来控制用于传感器单元(成像装置)120和信号处理电路单元130的驱动时序。系统控制电路单元160综合地控制成像装置的操作，并控制光学单元110、记录和发送单元140、时序控制电路单元150以及再现和显示单元170的各组件单元。此外，系统控制电路单元160通过时序控制电路单元150来控制传感器单元(成像装置)120和信号处理电路单元130的驱动。
接下来将首先简要描述本发明。图2是由关于本发明实施例的成像装置实现的图像的示例的示意图。这里，图2示意性示出在传感器单元(成像装置)120中提供的像素区121与从像素区121的每个像素元件读取之后的局部图像A和B以及稀疏化图像C之间的关系。也就是说，图2示出包括在像素区121中的像素元件中稀疏化图像(C)的像素以及局部图像(A，B)的像素。
如图2所示，基于从稀疏化图像(C)的像素读取的较小数量的像素信号来形成像素区121中的整个图像。这里，整个图像被进行稀疏化处理并从整个像素区121读取，因此，整个图像将变成低分辨率的图像。例如，系统控制电路单元160控制所述整个图像的记录并监视所述整个图像，从其监视的结果确定将被关注的受关注图像。例如，系统控制电路单元160读取所述受关注图像区中的较少数量的像素信号，并使所述像素信号进行信号处理，从而高分辨率的局部图像A和局部图像B被形成，并经历相应于监视的对象的处理。
在本发明中，用于局部图像(A，B)的像素元件将不用作用于稀疏化图像(C)的像素元件。也就是说，在图2所示的情况下，在局部图像(A，B)的像素区域中，在读取相关局部图像(A，B)的时间将不读取来自稀疏化图像(C)的像素的像素信号。
时序控制电路单元150驱动稀疏化图像(C)的像素和局部图像(A，B)的像素，作为相互不同的成像帧。因此，在像素区121的像素元件被复位之后实施曝光。可以对于每个成像帧来切换直到下次被读取之前对像素元件的曝光控制和驱动控制，因此，可大大简化相关控制。
此外，时序控制电路单元150基于系统控制电路单元160的控制选择通过稀疏化读取的关于整个图像的低分辨率读取模式以及通过局部图像读取的高分辨率读取模式。在这种情况下，通过稀疏化读取的关于整个图像的低分辨率读取模式和通过局部图像读取的高分辨率读取模式在水平驱动脉冲和垂直驱动脉冲方面是不同的。因此，对于每种读取模式需要改变传感器单元(成像装置)120的驱动时序、信号处理电路单元130的分辨率处理以及在记录和发送单元140中记录和处理的记录像素数量。通过系统控制电路单元160来相应于每种读取模式进行所述控制。
此外，根据读取模式，进行控制，使得传感器单元(成像装置)120的敏感度不同。具体说来，系统控制电路单元160控制光学单元110的光圈(附图中没有示出)。此外，作为另一种方法，还考虑传感器单元(成像装置)120内部的放大电路(放大器)的增益变为通过来自时序控制电路单元150的控制脉冲来增加，从而获得适当的信号。
接下来，将描述图2所示的本发明实现的图像的示例，以便更容易地理解像素区121的像素级别。
图3、图4和图5是示出由关于本发明实施例的成像装置实现的图像的示例的像素区121的示意图。在图3、图4和图5中，通过方块来示出一个像素元件(单位像素元件)121a。在图3、图4和图5中，涂有黑色的方块(■)指示稀疏化图像的像素，空白方块(□)指示局部图像的像素。
在图3所示的示例中，水平方向以及垂直方向上的稀疏化图像的像素被看作点。通过读取所述稀疏化图像的像素，可使驱动频率成为最低频率，并能够节省功率和减少信号处理电路单元130的存储器容量。此外，对于局部图像的分辨率的影响可减小到能够忽略由于稀疏化图像的像素带来的恶化的级别。在图6中示出用于图3所示的示例的最佳单位像素的电路图的示例。
图6是示出使得能够进行随机存取的像素区的单位像素元件中的电路的示例的示图。对于图6所示的单位像素元件121a，作为光电转换单元的光电二极管PD、用于控制光电二极管PD的信号电荷并将所述信号电荷传送到像素放大器MSFM的栅极部分(浮动传播区)的传送开关MTX以及传送开关MVX被连接。通过利用传送开关MTX控制和传送对相关像素元件的水平选择以及利用传送开关MVX控制和传送对相关像素元件的垂直选择，对像素元件的随机存取变得可行。通过使传送开关MTX、传送开关MVX和复位开关MRES同时导通，去除光电二极管PD的剩余电荷。由像素放大器MSFM通过控制选择开关MSEL并将其导通来放大在复位像素放大器MSFM的栅极部分或来自光电二极管PD的信号电荷之后的复位信号，所述复位信号被输出到垂直信号线Vh。在像素元件的成像区外部提供像素放大器MSFM的电流源开关MRV。去除栅极部分以及像素放大器MSFM中的扩散，以便通过在后续阶段中利用CDS电路单元(附图中未示出)实现复位信号与信号电荷之间的差来达到低噪声。这里，在图6中，控制脉冲
Figure A20081008521300101
和
Figure A20081008521300102
可共享共同的控制线。
此外，图4所示的示例示出以像素区121的行单位提供稀疏化图像的像素的情况。在图4所示的示例中，以行单位控制每个像素元件，因此，自然以行单位实施曝光。此外，本示例在认为稀疏化图像的水平分辨率比较重要的情况下有效。如果在该示例中，稀疏化图像的像素如图3所示被用作点像素元件，则通过传感器单元(成像装置)120的水平扫描电路单元来选择并输出信号，或者，可选择如图3所示从传感器单元(成像装置)120读取并从信号处理电路单元130的存储器利用的像素元件。图7示出用于图4所示的示例的最佳单位像素元件的电路图的示例。
图7是示出在像素区的单位像素元件中的电路的示例的示图。在图7所示的单位像素元件121a中，一个光电二极管PD包括一个像素放大器MSFM。然而，在这种情况下，像素元件的随机存取扫描不可行，但是，这并不破坏本发明的要点。
此外，在图8中示出像素区121中的电路的另一示例。如图8所示，一个像素放大器MSFM可包括多个光电二极管PD。具体说来，在图8中，对于一个像素放大器MSFM排列多个光电二极管PD、用于水平选择的多个传送开关MYX以及一个复位开关MRES。按照如图8所示的配置，用于一个光电二极管的垂直选择的传送开关MVX的面积以及像素放大器MSFM的面积变得较小，因此，产生改善光电二极管的孔径比的效果。
图5所示的示例是以下示例，在该示例中，在涉及稀疏化图像的像素的列和行上的像素元件中，只有点像素信号被用作稀疏化图像，而其它信号不用作稀疏化图像。图7和图8所示的电路将成为用于图5所示的示例的最佳像素区的电路图的示例。
作为以下描述的本发明的代表性特定实施例，将描述假设图5所示的示例的成像装置。这里，作为本发明的特定实施例，应用于假设采用图3所示的示例或图4所示的示例的成像装置的模式自然包括在本发明中。
图9是示出关于本发明实施例的成像装置100的传感器单元(成像装置)120的示意性配置的示例的示图。如图9所示，传感器单元(成像装置)120包括：像素区121；水平移位寄存器122，用于沿水平方向(行方向)扫描像素区121；垂直移位寄存器123，用于沿垂直方向(列方向)扫描像素区121。像素区121包括二维矩阵形式的多个单位像素元件(121a)并将对象的入射光成像为图像。在图9所示的示例中，示出像素区121包括32行x48列的单位像素元件的示例，以便理解说明书。
配置水平移位寄存器122和垂直移位寄存器123，从而可基于系统控制电路单元160(见图1)通过时序控制电路单元150(见图1)的控制根据将被读取的图像来改变用于扫描的方法。也就是说，水平移位寄存器122和垂直移位寄存器123包括：“读取单元”用于对来自像素区121的像素元件进行稀疏化处理，读取低分辨率的稀疏化图像，并从像素区121的局部区读取分辨率高于稀疏化图像的分辨率的局部图像。因此，可进行低分辨率读取和高分辨率读取，所述低分辨率读取用于仅以预定稀疏率读取稀疏化图像的像素元件1213的像素信号，所述高分辨率读取用于局部图像的第一像素元件1211的像素信号和局部图像的第二像素元件1212的像素信号。
此外，如图9所示，相关读取单元从像素区121的像素元件中的相互不同的像素元件读取稀疏化图像和局部图像，并读取稀疏化图像和局部图像，作为不同的成像帧。
此外，在图9所示的示例中，作为像素区121中读取高分辨率的局部图像的局部区，示出两个局部区，但是在像素区121中可仅提供一个相关局部区。此外，在像素区121中可提供三个或更多相关的局部区。
接下来，将描述驱动作为所述传感器单元(成像装置)120的读取单元的水平移位寄存器122和垂直移位寄存器123的方法。这里，读取单元在任意周期对来自像素区121的像素元件进行稀疏化处理，读取稀疏化图像，并从像素区121的上述稀疏化像素元件(除了为稀疏化图像读取的像素元件之外的像素元件)读取高分辨率的局部图像。此外，在本发明的情况下，在以低分辨率读取稀疏化图像的像素元件1213的像素信号时的稀疏率被设置为1/4像素元件。
图10是示出驱动关于本发明实施例的成像装置100的方法的示例的时序图。具体说来，图10示出在成像装置100的传感器单元(成像装置)120中读取每一行上的像素元件的像素信号的时序图。此外，在图10中，当脉冲位于高时间段时读取行。
首先，在读取图9所示的低分辨率的稀疏化图像的像素元件1213的像素信号的情况下，垂直移位寄存器123读取行1，然后每四行来读取，诸如，行5、行9、行13、行17、行21、行25和行29。这里，尽管没有在图10中示出，但是为了在每一行驱动水平移位寄存器122，列1被读取，然后，每四列(诸如列5、列9、...、列45)执行稀疏化处理和读取。
接着，为了读取高分辨率的第一局部图像的像素元件1211的像素信号，首先复位垂直移位寄存器123，处理返回头行。此外，如果高分辨率的第一局部图像的区是如图9所示从行2开始的区，则垂直移位寄存器123读取行2，然后，读取行3和行4，接着略过行5并读取行6、行7和行8。接着，寄存器略过行9，并读取行10和行11，以读取高分辨率的第一局部图像区1211的像素元件的像素信号。也就是说，垂直移位寄存器123不读取经过读取低分辨率的稀疏化图像的像素元件1213的像素信号的行(诸如行1、行5和行9)的相关像素信号，但是读取其它必要的行。
此外，在读取有必要读取的先前行，即，在该示例中最多到达行11之后，垂直移位寄存器123被复位以返回头行，并读取高分辨率的第二局部图像的像素元件1212的像素信号。
为了读取高分辨率的第二局部图像的像素元件1212，对于经历过读取低分辨率的稀疏化图像的像素元件1213、也经历过读取高分辨率的第一局部图像的像素元件1211的行不进行像素信号的读取。具体说来，对于读取高分辨率的第二局部图像的像素元件1212，在本发明中，垂直移位寄存器123被驱动，以便读取行18到行20、行22到行24、行26和行27。
这里，某些时候，当读取高分辨率的第一局部图像和第二局部图像时，由于省略读取稀疏化图像的已经读取的像素元件1213的行引起的图像不连续问题也被认为会发生。在这种情况下，后续阶段中的信号处理电路单元130(见图1)可被安排成根据在较高或较低的高分辨率的局部图像中读取的行而对略过的且未读取的稀疏化图像的像素元件1213实施互补处理。
此外，对于在高分辨率的第一局部图像的像素元件1211和第二局部图像的像素元件1212中驱动水平移位寄存器122的方法而言，可使用以下描述的两种方法中的任何一种。
第一种方法是通过仅读取除了经历过对低分辨率的稀疏化图像的读取的列(即，列1、列5、列9、...、列45)之外的必要列的驱动方法。所述驱动方法是图9所示的情况中的驱动方法。此时，当由于省略读取稀疏化图像的已经读取的列引起的图像不连续产生问题时，后续阶段中的信号处理电路单元130可按照与行的情况类似的方式来实施互补处理。
第二种方法是水平移位寄存器122读取所有列的驱动方法。在这种情况下，尽管四行中有一行不被读取，但是列均被读取。因此，成像的图像的宽高比将被改变。相应地，后续阶段中的信号处理电路单元130也对其实施互补处理。
在涉及该实施例的传感器单元(成像装置)120的驱动中的每个像素元件的累加时间段如下所述。首先，最大累加时间段是从读取先前帧中的行到在下一帧中进行读取的时间段。例如，如图10中的箭头所指，行1从先前帧的读取覆盖到下一帧的读取。在所述时间段期间，在另一行中实施对高分辨率的局部图像的两帧的读取的同时，在行1中继续进行累加操作。
在期望设置短于最大累加时间段的累加时间段的情况下，可在完成先前帧的读取之后，利用任意时序从时序控制电路单元150(见图1)输入用于复位累加的脉冲。图11示出以上方式。
图11是示出用于确定行1中的像素元件的累加时间段的设置的复位脉冲的输入时序的示例的时序图。图11A所示的情况是累加时间最大化的情况，并为以下示例，其中，在先前帧读取之后立即输入复位脉冲，以实施复位从而开始累加运算，持续累加，直到读取下一帧。图11B示出以下示例，其中，在读取过程中间输入复位脉冲，因此，实际累加时间段在用于读取下一帧的相关复位脉冲完成复位操作之后被缩短。
经常出现以下情况：低分辨率的稀疏化图像的适当曝光与高分辨率的局部图像的适当曝光不相同。
例如，当城镇的整个场景被读取作为低分辨率的稀疏化图像并且在建筑物的阴影中行进的人们被同时读取作为高分辨率的局部图像时，建筑物的阴影中的部分的输出级别将变得较低。因此，在适当曝光对于每个读取的区均不同的处所的情况下，本发明实施例以单独或混合的方式实施下面两种操作。
第一种操作以不同的方式在低分辨率的稀疏化图像和高分辨率的局部图像的每个成像帧中控制累加时间。如先前所述，在该实施例中，低分辨率的稀疏化图像的像素元件1213不同于高分辨率的局部图像的像素元件1211和1212。因此，即使利用图11B所示的时序来复位读取稀疏化图像的行以缩短累加时间段，高分辨率的第一局部图像和第二局部图像的累加时间段也不会受影响，而对每个图像的曝光控制是独立可行的。因此，在该实施例中，例如，作为控制单元的系统控制电路单元160(见图1)独立地控制低分辨率的稀疏化图像和高分辨率的局部图像的曝光。
第二种操在低分辨率的稀疏化图像和高分辨率的局部图像的每一成像帧中改变读取放大器(例如，图6到图8所示的像素放大器MSFM)的增益。在所述方法的情况下，例如，当低分辨率的稀疏化图像的读取结束并且垂直移位寄存器123被复位以返回行的头时，关于读取放大器的增益的设置被同时改变以开始读取下一高分辨率的局部图像。
如果相同的像素元件被用于低分辨率的稀疏化图像的像素元件1213以及高分辨率的局部图像的像素元件1211和1212，则系统必须包括两个放大器，即，用于稀疏化图像的放大器和用于局部图像的放大器。此外，在这种情况下，如果增益的设置相同，则每个放大器将必须包括高精度的互补电路单元以便对输出进行均衡。
然而，涉及该实施例的成像装置被各自独立地提供有低分辨率的稀疏化图像的像素元件1213以及高分辨率的局部图像的像素元件1211和1212，因此，可包括一个放大器。相应地，可避免系统的复杂性。这里，在这种情况下，作为利用增益控制输出电平的优点，提供在较少抖动的情况下对运动对象进行成像的能力。
此外，在图10中，在相同的级别示出读取低分辨率的稀疏化图像以及读取高分辨率的局部图像的驱动频率。然而，使读取每个图像的驱动频率对于每个帧而言不同的模式也可被应用于该实施例的成像装置。也就是说，在该实施例中，例如，水平移位寄存器122和垂直移位寄存器123利用用于读取稀疏化图像和读取局部图像的不同驱动频率来实施读取。
图12示出本发明的实施例并且是示出改变读取低分辨率的稀疏化图像和读取高分辨率的局部图像的驱动频率的示例的时序图。图12所示的示例具体为读取高分辨率的局部图像的驱动频率是读取低分辨率的稀疏化图像的驱动频率的两倍。因此，除了读取相关的第一和第二局部图像之外，可在与如图11所示的读取高分辨率的第一和第二局部图像的时间段相同的时间段进一步添加第三和第四局部图像的读取。
这里，该实施例包括以32行x48列并且具有1/4像素元件的稀疏率的图9所示的像素区121中的像素元件，但是对于像素区121的实际设计来说，本实施例并不受限于此。此外，关于读取图像的区域，在该实施例中，低分辨率的稀疏化图像的像素元件1213和高分辨率的局部图像的像素元件1211和1212的区已经被描述，但是其实际上并不受限于这种结合。此外，为了简化对于在读取每一图像时的驱动频率的描述，在图12所示的示例中，读取高分辨率的局部图像的驱动频率统一为读取低分辨率的稀疏化图像的驱动频率的两倍，但是其并不受限于两倍大的频率。此外，可应用驱动频率对于每一图像的读取而言不同的情况。
该实施例的成像装置100从相互不同的像素元件读取低分辨率的稀疏化图像和高分辨率的局部图像，并读取稀疏化图像和局部图像，作为不同的成像帧。根据所述配置，消除了读取低分辨率的图像以及读取高分辨率的图像的复杂性，并可防止降低帧率。
此外，该实施例的成像装置100可读取多个局部图像，这是因为读取低分辨率的稀疏化图像的驱动频率和读取高分辨率的局部图像的驱动频率不同。
可通过使存储在计算机的RAM或ROM中的程序进行操作来实现关于上述实施例的成像装置100中包括的图1中的单元以及示出用于所述成像装置100的驱动方法的图10到图12中的时序图。所述程序以及存储相关程序的计算机可读存储介质包括在本发明中。
具体说来，上述程序存储在诸如CD-ROM的存储介质中，并以其它方式通过各种类型的传输介质提供给计算机。作为用于存储上述程序的存储介质，可使用除了CD-ROM之外的介质，诸如，软盘、硬盘、磁盘、磁光盘、非易失性存储器卡。另一方面，作为上述程序的传输介质，可使用用于传送并提供程序信息的计算机网络(LAN、诸如互联网的WAN、无线通信网络等)系统中的通信介质作为载体。此外，在这种情况下的通信介质包括诸如光纤的有线线路以及无线线路。
此外，不仅可以考虑通过促使计算机执行所提供的程序来实现涉及本实施例的成像装置100的功能的情况，还可以考虑以下所述的情况。
一种情况为通过在计算机中操作的程序和OS(操作系统)或其它应用软件的协作等来实现涉及该实施例的成像装置100的功能的情况。另一种情况为通过促使计算机的功能扩展板和功能扩展单元来实施所提供的程序的全部处理或一部分处理来实现涉及该实施例的成像装置100的功能的情况。如上所述的情况中的程序被包括在本发明中。
尽管已经参照示例性实施例描述了本发明，但是应理解：本发明并不受限于这里公开的示例性实施例。权利要求的范围与最宽泛的解释相一致，从而包括所有的所述变型以及等同的结构和功能。

Claims (7)

1、一种成像装置，包括：
像素区，包括多个像素元件，用于基于入射光成像为图像；以及
读取单元，通过对来自像素区的像素元件进行稀疏化处理以读出低分辨率的稀疏化图像，并从像素区的局部区读出分辨率高于稀疏化图像的分辨率的局部图像，其中，
读取单元从各不相同的像素元件，以及从各不相同的成像帧读出稀疏化图像和局部图像。
2、如权利要求1所述的成像装置，其中，在像素区提供要从其中读出局部图像的一个或多个局部区。
3、如权利要求1所述的成像装置，其中，读取单元通过以任意频率对来自像素区的像素元件进行稀疏化处理来读出稀疏化图像，并从稀疏化的像素元件读出局部图像。
4、如权利要求1所述的成像装置，还包括：
控制单元，独立地控制稀疏化图像和局部图像的曝光。
5、如权利要求1所述的成像装置，其中，读取单元以不同的驱动频率执行对稀疏化图像的读取和对局部图像的读取。
6、一种用于驱动成像装置的方法，所述成像装置包括：
像素区，所述像素区包括多个像素元件，用于基于入射光成像为图像，其中，所述方法包括以下步骤：
通过对来自像素区的像素元件进行稀疏化处理来读出低分辨率的稀疏化图像；以及
从像素区的局部区读出分辨率高于稀疏化图像的分辨率的局部图像，
其中，在所述两个读取步骤期间，从各不相同的像素元件以及从各不相同的成像帧读出稀疏化图像和局部图像。
7、一种读取单元，包括：
像素区，包括多个像素元件，用于基于入射光成像为图像；以及
读取单元，通过对来自像素区的像素元件进行稀疏化处理以读出低分辨率的稀疏化图像，并从像素区的局部区读出分辨率高于稀疏化图像的分辨率的局部图像，其中，
读取单元在各不相同的累加时间段期间从各不相同的像素元件读取稀疏化图像和局部图像。
CN2008100852133A 2007-03-06 2008-03-06 成像装置及其驱动方法 Active CN101262552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-055769 2007-03-06
JP2007055769 2007-03-06
JP2007055769A JP5188080B2 (ja) 2007-03-06 2007-03-06 撮像装置、撮像装置の駆動方法、及び読み出し装置

Publications (2)

Publication Number Publication Date
CN101262552A true CN101262552A (zh) 2008-09-10
CN101262552B CN101262552B (zh) 2011-06-22

Family

ID=39839081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100852133A Active CN101262552B (zh) 2007-03-06 2008-03-06 成像装置及其驱动方法

Country Status (3)

Country Link
US (2) US7859575B2 (zh)
JP (1) JP5188080B2 (zh)
CN (1) CN101262552B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873443A (zh) * 2009-04-24 2010-10-27 索尼公司 固态成像装置、驱动其的方法和摄像机系统
CN101909168A (zh) * 2009-06-05 2010-12-08 佳能株式会社 图像拾取器件及其驱动方法、图像拾取系统
CN103716555B (zh) * 2012-10-02 2017-04-12 株式会社索思未来 用于处理图像的装置和方法、以及成像装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
JP5106052B2 (ja) * 2007-11-08 2012-12-26 キヤノン株式会社 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
US8390710B2 (en) 2007-12-19 2013-03-05 Canon Kabushiki Kaisha Image pickup system, method for driving image pickup elements, and recording medium
JP5288823B2 (ja) * 2008-02-18 2013-09-11 キヤノン株式会社 光電変換装置、及び光電変換装置の製造方法
JP5188292B2 (ja) 2008-06-30 2013-04-24 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
JP5315039B2 (ja) * 2008-12-19 2013-10-16 キヤノン株式会社 撮像センサ、撮像システム、および、撮像センサの駆動方法
TW201032175A (en) * 2009-02-18 2010-09-01 Altek Corp Method of acceleration image capturing process and digital image-capturing device
JP5550253B2 (ja) * 2009-04-22 2014-07-16 キヤノン株式会社 マーク位置検出装置及びマーク位置検出方法、それを用いた露光装置及びデバイスの製造方法
JP5219962B2 (ja) * 2009-08-13 2013-06-26 キヤノン株式会社 固体撮像素子、その駆動方法、及び撮像システム
WO2011067834A1 (ja) * 2009-12-01 2011-06-09 キヤノン株式会社 撮像装置及び撮像システム、それらの制御方法及びそのプログラム
JP5610961B2 (ja) 2010-09-30 2014-10-22 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
WO2012043867A1 (en) 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Solid-state imaging apparatus
JP5808162B2 (ja) 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
GB2492387B (en) * 2011-06-30 2017-07-19 Cmosis Nv Pixel array with individual exposure control for a pixel or pixel region
CN104041019B (zh) * 2011-12-27 2016-01-06 富士胶片株式会社 摄像装置及摄像装置的控制方法
JP5893550B2 (ja) 2012-04-12 2016-03-23 キヤノン株式会社 撮像装置及び撮像システム
JP2014197832A (ja) 2013-03-07 2014-10-16 キヤノン株式会社 撮像装置及びその駆動方法
JP2015029259A (ja) * 2013-07-03 2015-02-12 キヤノン株式会社 撮像装置、撮像システム、センサおよび撮像装置の動作方法
JP6274788B2 (ja) 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
US9924094B2 (en) 2013-11-25 2018-03-20 Canon Kabushiki Kaisha Image pickup apparatus capable of changing drive mode and image signal control method
JP6230395B2 (ja) 2013-12-06 2017-11-15 キヤノン株式会社 撮像装置およびその駆動方法
JP2015186234A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP6389685B2 (ja) 2014-07-30 2018-09-12 キヤノン株式会社 撮像装置、および、撮像システム
US9979916B2 (en) 2014-11-21 2018-05-22 Canon Kabushiki Kaisha Imaging apparatus and imaging system
US9912886B2 (en) 2014-12-17 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus and driving method of image sensor
JP6545013B2 (ja) * 2015-06-17 2019-07-17 キヤノン株式会社 画像形成方法、画像形成装置、および画像形成プログラム
US9900539B2 (en) 2015-09-10 2018-02-20 Canon Kabushiki Kaisha Solid-state image pickup element, and image pickup system
JP6674219B2 (ja) 2015-10-01 2020-04-01 キヤノン株式会社 固体撮像装置及び撮像システム
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
DE102016213493A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP6929671B2 (ja) 2017-03-17 2021-09-01 キヤノン株式会社 撮像装置及び撮像システム
JP7150469B2 (ja) 2018-05-17 2022-10-11 キヤノン株式会社 撮像装置及び撮像システム
JP7204480B2 (ja) 2018-12-27 2023-01-16 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の制御方法
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11252366B2 (en) * 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11950002B2 (en) * 2020-04-28 2024-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Analog resolution adjustment for CMOS image sensor
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2533056B1 (fr) * 1982-09-14 1987-05-15 Thomson Csf Imageur a transfert de lignes et camera de television comportant un tel imageur
GB2170675B (en) 1984-12-28 1989-12-13 Canon Kk Image sensing apparatus
DE3856165T2 (de) 1987-01-29 1998-08-27 Canon Kk Photovoltaischer Wandler
US4959723A (en) 1987-11-06 1990-09-25 Canon Kabushiki Kaisha Solid state image pickup apparatus having multi-phase scanning pulse to read out accumulated signal
US5146339A (en) 1989-11-21 1992-09-08 Canon Kabushiki Kaisha Photoelectric converting apparatus employing Darlington transistor readout
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JPH09214836A (ja) 1996-02-07 1997-08-15 Olympus Optical Co Ltd 撮像装置
EP0920215A4 (en) * 1997-06-16 2005-09-21 Sony Corp IMAGE PROCESSING METHOD AND DEVICE, TRANSMISSION MEDIUM, TRANSMISSION METHOD, AND IMAGE FORMAT
JP3965237B2 (ja) * 1997-12-25 2007-08-29 オリンパス株式会社 撮像装置
JP4049896B2 (ja) 1998-07-09 2008-02-20 オリンパス株式会社 画像入力装置
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP4503878B2 (ja) 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
US7499091B2 (en) * 2002-03-20 2009-03-03 Sony Corporation Solid-state imaging device and method for driving same
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置
US7554590B2 (en) * 2003-02-26 2009-06-30 Digital Imaging Systems Gmbh Simultaneous readout of CMOS APS imagers
JP4426885B2 (ja) * 2004-03-23 2010-03-03 オリンパス株式会社 固体撮像装置
US7592645B2 (en) 2004-12-08 2009-09-22 Canon Kabushiki Kaisha Photoelectric conversion device and method for producing photoelectric conversion device
JP4756960B2 (ja) * 2005-09-02 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2007110639A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 固体撮像素子、その駆動方法および撮像装置
JP4887750B2 (ja) * 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
JP4018727B2 (ja) * 2006-02-14 2007-12-05 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873443A (zh) * 2009-04-24 2010-10-27 索尼公司 固态成像装置、驱动其的方法和摄像机系统
CN101873443B (zh) * 2009-04-24 2012-10-10 索尼公司 固态成像装置、驱动其的方法和摄像机系统
CN101909168A (zh) * 2009-06-05 2010-12-08 佳能株式会社 图像拾取器件及其驱动方法、图像拾取系统
CN101909168B (zh) * 2009-06-05 2012-09-26 佳能株式会社 图像拾取器件及其驱动方法、图像拾取系统
CN103716555B (zh) * 2012-10-02 2017-04-12 株式会社索思未来 用于处理图像的装置和方法、以及成像装置
US9762776B2 (en) 2012-10-02 2017-09-12 Socionext, Inc. Device and method for resizing image, and imaging device

Also Published As

Publication number Publication date
US7859575B2 (en) 2010-12-28
US20110058079A1 (en) 2011-03-10
JP5188080B2 (ja) 2013-04-24
CN101262552B (zh) 2011-06-22
JP2008219594A (ja) 2008-09-18
US8624992B2 (en) 2014-01-07
US20080291304A1 (en) 2008-11-27

Similar Documents

Publication Publication Date Title
CN101262552B (zh) 成像装置及其驱动方法
CN101483712B (zh) 固态成像装置、成像系统和固态成像装置的驱动方法
JPH0530437A (ja) 画像記録装置
US20150189249A1 (en) Solid state imaging apparatus and imaging system using the same
US20100157083A1 (en) Imaging system
CN101854488A (zh) 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN103891267A (zh) 图像感测装置以及摄像设备
US20130063635A1 (en) Solid-state image pickup element, driving method thereof, and control program
CN103404126A (zh) 摄像装置、摄像方法
US8792036B2 (en) Image sensor and image capture apparatus
US20090262210A1 (en) Solid-state imaging apparatus, imaging system, and method of driving solid-state imaging apparatus
JP2007129581A (ja) 撮像装置及び撮像システム
JP2015201736A (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP2005210725A (ja) 解像度を変えることができかつ高速出力が可能な画像センサアレイを有する撮像装置
CN105407299A (zh) 摄像装置及控制摄像装置的方法
JP3956875B2 (ja) 固体撮像装置
JP2005064828A (ja) 固体撮像装置およびその駆動方法ならびに撮像装置
JP4131133B2 (ja) 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP6274901B2 (ja) 撮像装置及びその制御方法
US9313426B2 (en) Photoelectric conversion device and imaging system
JP2020021989A (ja) 撮像装置
JP5207905B2 (ja) 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体
JP3222687B2 (ja) 固体撮像装置
JP3707820B2 (ja) 高速撮影装置
JPH09163236A (ja) 固体撮像装置の駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant