CN1985509A - 摄像装置、摄像元件的集成电路以及摄像结果的处理方法 - Google Patents

摄像装置、摄像元件的集成电路以及摄像结果的处理方法 Download PDF

Info

Publication number
CN1985509A
CN1985509A CNA2005800231344A CN200580023134A CN1985509A CN 1985509 A CN1985509 A CN 1985509A CN A2005800231344 A CNA2005800231344 A CN A2005800231344A CN 200580023134 A CN200580023134 A CN 200580023134A CN 1985509 A CN1985509 A CN 1985509A
Authority
CN
China
Prior art keywords
image pickup
pickup result
unit
peripheral circuit
data compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800231344A
Other languages
English (en)
Other versions
CN1985509B (zh
Inventor
福原隆浩
奈良部忠邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1985509A publication Critical patent/CN1985509A/zh
Application granted granted Critical
Publication of CN1985509B publication Critical patent/CN1985509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明可应用到例如记录活动图像的摄像结果的摄像机、电子静像照相机、监视装置等之中，通过形成于与摄像单元(3)的摄像面相反一侧的面上的布线层连接摄像单元(3)和图像压缩单元(5)并集成，按照与图像压缩处理相关的处理单位依次从摄像单元(3)输出摄像结果S1。并且，事先在有效图像区的局部区域上检测数据压缩处理的发生码量，根据该发生码量改变数据压缩比率，以此对摄像结果进行数据压缩处理。

Description

摄像装置、摄像元件的集成电路以及摄像结果的处理方法
技术领域
本发明涉及摄像装置、摄像元件的集成电路以及摄像结果的处理方法，例如，本发明可以应用于记录活动图像的摄像结果的摄像机、电子静像照相机(数码照相机)、监视装置等。在本发明中，通过形成于与摄像单元的摄像面相反一侧的面上的布线层连接摄像单元和图像压缩单元并一体化(集成)，并且，通过按照与图像压缩处理相关的处理单位从摄像单元依次输出摄像结果，从而能够有效利用作为CMOS固体摄像元件等摄像元件特征的摄像结果读出的高自由度，并进一步简化整体结构。另外，通过在有效图像区的局部区域上事先检测数据压缩处理的发生码量，并根据该发生码量改变压缩比率来对摄像结果进行数据压缩处理，从而能够有效利用作为CMOS固体摄像元件等摄像元件特征的摄像结果读出的高自由度，并与现有技术相比，以简单的处理即可更恰当地进行速率控制。
背景技术
在现有技术的摄像机中，将从CCD(Charge Coupled Device，电荷耦合装置)固体摄像元件输出的摄像结果在帧存储器中缓冲，并根据MPEG(Moving Picture Experts Group，运动图像专家组)方法以块为单位进行数据压缩。同样地，在数码照相机中，将从CCD固体摄像元件输出的摄像结果在帧存储器中缓冲，并根据JPEG(Joint Photographic Coding Experts Group，联合图像专家组)方法以块为单位进行数据压缩。
对此，近年来，CMOS固体摄像元件逐渐运用于实践。在此，与CCD固体摄像元件对比，如图1所示，CMOS固体摄像元件具有各种特征，例如，在CCD固体摄像元件中所有像素的电荷存储开始时间、结束时间都相同，与此相对，CMOS固体摄像元件却有以列或像素为单位采用不同的电荷存储开始时间、结束时间这样的特征。
尤其，如图2所示，与CCD固体摄像元件通过串行传输读出各像素的摄像结果相比，CMOS固体摄像元件却如图3所示，能够根据X-Y地址的控制来读出各像素的摄像结果，由此，与CCD固体摄像元件相比，CMOS固体摄像元件在摄像结果的读出上具有高自由度的特征。图2是表示从CCD固体摄像元件输出摄像结果的示意图，在CCD固体摄像元件中，将各像素保存的存储电荷传输到垂直传输寄存器，并将已传输到该垂直传输寄存器的存储电荷依次传输到水平传输寄存器，而且通过水平传输寄存器依次传输输出。对此，图3是表示从CMOS固体摄像元件输出摄像结果的示意图，其中，示出了以列线为单位依次输出各像素的摄像结果的情形，这时，能与列线的数量相对应地同时并行地输出摄像结果。
具体而言，在CMOS固体摄像元件中，通过在水平方向上延长的水平地址线和在垂直方向上延长的垂直地址线，选择性地使设于各像素的MOSFET进行导通(ON)操作，从被该水平地址线和垂直地址线选择的像素输出摄像结果到信号线。由此，在图3所示的例子中，垂直方向上连续的多个像素共同使用基于一条列线的信号线，从而依次切换与连接到一条列线的多个像素相关的水平地址线的设定，使设于该多个像素上的MOSFET依次进行导通操作，从而通过时分将该条列线分配给垂直方向上连续的各像素，输出各像素的摄像结果。由此，在水平方向上看时，水平方向上连续的像素共用水平地址线，从而垂直方向上连续的各像素向列线进行的这样的时分分配，在水平方向上连续的像素上同时并行地执行，因此，以行为单位输出摄像结果。
关于这种CMOS固体摄像元件，例如，日本特开2004-31785号公报等中提出了与外围电路一体化的结构。
对此，作为与这种图像数据的处理相关的编码方法，近年来提出了各种采用小波变换处理的编码方法。在此，小波变换处理是指在水平方向及垂直方向上，分别将图像数据频带划分为高频成分和低频成分并分别进行下采样，从而将图像数据分割为四个子频带进行处理的方法，例如，存在如图4(A)所示的只进行一次这种分割处理而根据四个子频带HH、HL、LH、LL处理图像数据的情况，也存在进一步如图4(B)所示的重复这种频带划分处理来处理图像数据的情况等。图4(B)示出的是将频带划分处理重复三次的情形，其中，假设了对于子频带HH、HL、LH、LL中的水平方向及垂直方向上频率低的子频带LL进一步执行频带划分处理生成四个子频带LLHH、LLHL、LLLH、LLLL，然后，对于这四个子频带LLHH、LLHL、LLLH、LLLL中的水平方向及垂直方向上频率低的子频带LLLL又进一步执行频带划分处理生成四个子频带LLLLHH、LLLLHL、LLLLLH、LLLLLL的例子。
针对这种通过小波变换处理的编码处理，提出了以行为单位处理图像数据的所谓line-base型小波变换、和以区块(tile)为单位处理图像数据的所谓tile-base型小波变换，其中，区块单位是通过分割一个画面而设置的矩形块。
因此，考虑到如果能够有效利用读出摄像结果的高自由度这一CMOS固体摄像元件的特征，便能够进一步简化摄像装置的整体结构。而且，与现有技术相比，以简单的处理即可更恰当地进行速率控制。并且，在图像中，由于各部分的编码难度不一，所以当根据现有的MPEG方法进行编码处理时，例如，通过TM5(Test Mode 5)等方法时需周密地进行速率控制。
发明内容
本发明鉴于上述问题，提供了了一种能够有效利用摄像结果读出的高自由度这一CMOS固体摄像元件的特征，从而能够进一步简化整体结构的摄像装置、摄像元件的集成电路以及摄像结果的处理方法。并且，本发明还提供了一种能够有效利用摄像结果读出的高自由度这一CMOS固体摄像元件的特征，从而与现有技术相比，能够以简单的处理更恰当地进行速率控制的摄像装置、摄像元件的集成电路以及摄像结果的处理方法。
为了解决上述问题，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像装置当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体(保持为一体)，在本发明中，外围电路至少包括将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元，摄像单元对应外围电路中的摄像结果的各处理单位依次输出多个光电转换部的摄像结果。
根据本发明的结构，摄像装置包括：将多个光电转换部配置成矩阵状并通过XY地址的控制来输出摄像结果的摄像单元；以及通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接并与摄像单元成为一体的外围电路，并且通过外围电路处理并输出摄像单元的摄像结果，在上述摄像装置中，通过形成于与受光面相反一侧的面上的布线层连接摄像单元的光电转换部和外围电路，从而能够有效避免将布线层设于受光面一侧时的各种问题，并能够高自由度地连接光电转换部和外围电路，由此，无损涉及摄像结果读出的摄像单元的高自由度，能够以各种形式将摄像单元的摄像结果提供给外围电路。以该种结构为前提，根据本发明的构成，如果外围电路至少包括将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元，并且，如果摄像单元对应外围电路中的摄像结果的各处理单位依次输出摄像单元的摄像结果，那么便能有效利用涉及摄像结果读出的摄像单元的高自由度，从而降低与数据压缩处理相关的存储器容量，相应地，能够简化整体构成。
并且，可将本发明应用到下述的摄像装置中，该摄像装置包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果，在上述摄像装置中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，外围电路至少包括对摄像结果进行数据压缩并输出的图像压缩单元，外围电路事先从摄像单元获取有效图像区的局部区域上的摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，根据基于该检测到的码量的数据压缩比率，对摄像结果进行数据压缩。
根据本发明的结构，摄像装置包括：将多个光电转换部配置成矩阵状、并通过XY地址的控制来输出摄像结果的摄像单元；以及通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体的外围电路；并且通过外围电路处理并输出摄像单元的摄像结果，在上述摄像装置中，通过形成于与受光面相反一侧的面上的布线层连接摄像单元的光电转换部和外围电路，从而能够有效避免将布线层设于受光面一侧时的各种问题，并能够高自由度地连接光电转换部和外围电路，由此，无损涉及摄像结果读出的摄像单元的高自由度，能够以各种形式将摄像单元的摄像结果提供给外围电路。以该种结构为前提，根据本发明的构成，如果外围电路至少包括对摄像结果进行数据压缩并输出的图像压缩单元，并且，如果外围电路事先从摄像单元获取有效图像区的局部区域上的摄像结果，同时，对该获取的摄像结果进行数据压缩并检测码量，根据基于该检测到的码量的数据压缩比率，对摄像结果进行数据压缩，那么便能根据与事先处理有关的码量高自由度地进行速率控制。由此，能够有效利用涉及摄像结果读出的高自由度，与现有技术相比，以简单的处理即可更适当地进行速率控制。
并且，可将本发明运用到包括摄像单元和外围电路、并且通过外围电路处理并输出摄像单元的摄像结果的摄像元件的集成电路当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，外围电路至少包括将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元，摄像单元对应外围电路中的摄像结果的各处理单位依次输出多个光电转换部的摄像结果。
由此，根据本发明的结构，可提供一种能有效利用涉及摄像结果读出的高自由度，并能进一步简化整体结构的摄像元件的集成电路。
并且，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像元件的集成电路当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，外围电路至少包括对摄像结果进行数据压缩并输出的图像压缩单元，外围电路事先从摄像单元获取有效图像区的局部区域上的摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，根据基于该检测到的码量的数据压缩比率，对摄像结果进行数据压缩。
由此，根据本发明的结构，可提供一种能够有效利用涉及摄像结果读出的高自由度，从而与现有技术相比，以简单的处理即可更适当地进行速率控制的摄像元件的集成电路。
并且，可将本发明运用到将摄像单元和外围电路保持为一体的摄像装置中的摄像结果的处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，在本发明中，包括：通过XY地址的控制，从摄像单元输出摄像结果的摄像结果输出步骤；以及通过外围电路至少将摄像结果对应各个预定的处理单位进行数据压缩并输出的数据压缩步骤，在摄像结果输出步骤中，对应外围电路中的摄像结果的各处理单位从摄像单元依次输出多个光电转换部的摄像结果。
由此，根据本发明的结构，可提供一种能有效利用涉及摄像结果读出的高自由度，并能进一步简化整体结构的摄像结果的处理方法。
并且，可将本发明运用到将摄像单元和外围电路保持为一体的摄像装置中的摄像结果的处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，在本发明中，包括：通过XY地址的控制，从摄像单元输出摄像结果的摄像结果输出步骤；通过外围电路至少对摄像结果进行数据压缩并输出的数据压缩步骤；以及事先从摄像单元获取有效图像区的局部区域上的摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量的码量检测步骤，在数据压缩步骤中，根据基于在码量检测步骤中检测到的码量的压缩比率，对摄像结果进行数据压缩。
由此，根据本发明的结构，可提供一种能够有效利用涉及摄像结果读出的高自由度，从而与现有技术相比，以简单的处理即可更适当地进行速率控制的摄像结果的处理方法。
并且，可将本发明运用到将摄像单元和外围电路保持为一体的摄像元件的集成电路中的摄像结果处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，在本发明中，包括：通过XY地址的控制，从摄像单元输出摄像结果的摄像结果输出步骤；以及通过外围电路至少将摄像结果对应各个预定的处理单位进行数据压缩并输出的数据压缩步骤，在摄像结果输出步骤中，对应外围电路中的摄像结果的各处理单位从摄像单元依次输出多个光电转换部的摄像结果。
由此，根据本发明的结构，可提供一种能有效利用涉及摄像结果读出的高自由度，并能进一步简化整体结构的摄像结果处理方法。
并且，可将本发明运用到将摄像单元和外围电路保持为一体的摄像元件的集成电路中的摄像结果处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，在本发明中，包括：通过XY地址的控制，从摄像单元输出摄像结果的摄像结果输出步骤；通过外围电路至少对摄像结果进行数据压缩并输出的数据压缩步骤；以及事先从摄像单元获取有效图像区的局部区域上的摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量的码量检测步骤，在数据压缩步骤中，根据基于在码量检测步骤中检测到的码量的压缩比率，对摄像结果进行数据压缩。
由此，根据本发明的结构，可提供一种能够有效利用涉及摄像结果读出的高自由度，从而与现有技术相比，以简单的处理即可更适当地进行速率控制的摄像结果处理方法。
根据本发明，能够有效利用涉及摄像结果读出的高自由度，并能进一步简化整体结构。并且，能够有效利用涉及摄像结果读出的高自由度，从而与现有技术相比，以简单的处理即可更适当地进行速率控制。
附图说明
图1是用于比较摄像元件的图表。
图2是表示CCD固体摄像元件的输出的示意图。
图3是表示CMOS固体摄像元件的输出的示意图。
图4是用于说明小波变换处理的概略图。
图5是表示本发明实施例1涉及的摄像装置的框图。
图6是用于说明图5所示的摄像装置中的小波变换部的概略图。
图7是用于说明图5所示的摄像装置中小波变换部的频带划分的概略图。
图8是用于说明图5所示的摄像装置中小波变换部的处理所用的行缓冲器系数的概略图。
图9是运用于图5所示的摄像装置中的集成电路的剖视图。
图10是用于说明本发明实施例2涉及的摄像装置中的小波变换部的概略图。
图11是运用于本发明实施例3涉及的摄像装置中的集成电路的局部立体图。
图12(A)、12(B)、12(C)、及12(D)是用于说明图11所示的集成电路的摄像结果输出的概略图。
图13(A)、13(B)、及13(C)是用于说明图11所示的集成电路的摄像结果输出顺序的概略图。
图14是表示本发明实施例4涉及的摄像装置的框图。
图15是用于说明图14所示的摄像装置中的数据压缩处理的平面图。
具体实施方式
下面，适当参照附图说明本发明实施例。
(1)实施例1的结构
图5是表示本发明实施例1涉及的摄像装置的框图。该摄像装置1对所希望的拍摄对象的摄像结果进行数据压缩后，在存储介质中进行记录，并发送给希望的传输对象。
在此，在摄像装置1中，响应用户对透镜2的操作，调整焦距倍率、光圈，将入射光会聚到摄像元件3的摄像面。光学低通滤波器A1削弱与透镜2的射出光相比空间频率更高的成分，接着颜色修正滤波器A2对从光学低通滤波器A1射出的射出光的色温度进行修正后将其射出。
摄像元件3例如由CMOS固体摄像元件形成，根据从未图示的驱动部输出的各种时间(timing)信号而动作，并通过各像素，对形成于摄像面的光学图像进行光电转换后输出摄像信号S1。在该处理中，摄像元件3通过未图示的驱动电路对XY地址的控制，以及根据与后级的数据压缩单元中的编码处理的顺序相应的顺序输出各像素的摄像结果。具体而言，在本实施例中，由于在图像压缩部5中通过line-base型小波变换处理以行为单位进行编码处理，从而摄像元件3按所有像素的行的顺序以行为单位依次输出摄像结果。由此，在本实施例中，对应后级处理电路中的摄像结果的各处理单位输出摄像结果，因此，如后所述，将简化用于该摄像信号S1的处理的存储器电路的结构。
模拟数字转换电路(AD)4对该摄像信号S1实施模拟数字转换处理后，输出图像数据D1。该摄像装置1通过未图示的信号处理电路对该图像数据D1实施像素插值处理(pixel interpolationprocess)、颜色空间转换处理、边缘增强处理、噪声消减处理等之后，将其输入到图像压缩部5中。
图像压缩部5对该图像数据D1进行数据压缩并进行编码处理，将作为该处理结果的编码数据D2输出到存储系统、传输系统，由此，在该摄像装置1中，通过存储系统将编码数据D2记录到预定的存储介质上，并通过该传输系统将编码数据D2传输给外部设备。图像压缩部5使用小波变换方法执行该数据压缩处理。
即，在图像压缩部5中，小波变换部6对依次输入的图像数据D1进行小波变换处理，输出作为该处理结果的变换系数数据D3。在此，小波变换部6通过所谓的line-base型小波变换处理以行为单位执行小波变换处理。
在此，如图6的一个阶段的频带划分处理所示，小波变换部6通过在垂直方向上具有预定抽头数的低通滤波器6A和高通滤波器6B将图像数据D1频带限制为两个频带成分VL、VH后，通过在水平方向上具有预定抽头数的低通滤波器6C及高通滤波器6D、和低通滤波器6E及高通滤波器6F对各频带成分VL、VH进行频带划分，生成子频带LL～HH。由此，小波变换部6通过行缓冲器7暂时保存对应与各频带划分处理相关的输入级的低通滤波器6A和高通滤波器6B的抽头数的、用于频带划分处理的输入图像数据D1，并输出。
如图7所示，小波变换部6通过三个阶段执行这样的频带划分处理，由此，由接着的后级处理电路通过各频带划分处理对小波变换系数HH～LLLLLL进行处理，此外，设有分别与各频带划分处理的输入级对应的行缓冲器7A～7C，从模拟数字转换电路4输出的图像数据直接输入到最先的行缓冲器7A中。
而且通过这些处理，如图8所示，小波变换系数的数据存储在这些行缓冲器7A～7C中，如果与图像数据D1有关的一帧的处理开始后，数据存储在这些行缓冲器7A～7C中，此时输出各自对应的系数数据。
即，在图7中，开始一帧的处理，按行的顺序将图像数据D1输入到最先的行缓冲器7A中，当在行缓冲器7A中存储与接着该行缓冲器7A的垂直滤波器的抽头数对应的图像数据D1时，则按行的顺序开始从行缓冲器7A同时并行地输出与垂直滤波器的抽头数对应的图像数据D1，由此，按照行顺序在接着的垂直滤波器6AA、6BA上开始垂直方向上的频带限制处理、下采样处理。由此，在小波变换部6中，按照数量大约减少一半的行的顺序从垂直滤波器6AA、6BA输出涉及垂直方向的频带限制的变换系数数据，该变换系数数据被输入到水平方向的低通滤波器和高通滤波器中。
在此，当在水平方向的低通滤波器和高通滤波器中在各行上向各滤波器输入与这些滤波器的抽头数对应的系数变换数据时，小波变换部6开始基于正确的变换系数数据的水平方向上的频带限制处理、下采样处理，该基于正确的变换系数数据的频带限制处理持续到在行的末尾侧与滤波器的抽头数相应的下采样数为止。由此，该第一阶段的频带限制处理以行为单位依次执行。
在这样得到的通过第一阶段的频带限制处理的变换系数数据中，在水平方向及垂直方向频率低的变换系数数据LL被输入到与第二阶段的频带限制处理有关的行缓冲器7B，在此同样地，当存储与接着该行缓冲器7B的垂直滤波器的抽头数对应的变换系数数据时，基于从该行缓冲器7B同时并行输出的变换系数数据，在接着的垂直滤波器6AB、6BB上按行顺序开始基于正确变换系数数据的频带限制处理、下采样处理，进而，按照数量大约减少一半的行的顺序输出涉及垂直方向的频带限制的变换系数数据，该变换系数数据被输入到水平方向的低通滤波器和高通滤波器中。在该第二阶段的水平方向的低通滤波器和高通滤波器中，当在各行上向各滤波器输入与这些滤波器的抽头数相应的系数变换数据时，开始基于正确的变换系数数据的水平方向的频带限制处理、下采样处理，由此，该第二阶段的频带限制处理也以行为单位依次执行。
在通过第二阶段的频带限制处理的变换系数数据中，在水平方向及垂直方向频率低的变换系数数据LLLL被输入到与第三阶段的频带限制处理有关的行缓冲器7C，当存储与接着的垂直滤波器的抽头数对应的变换系数数据时，基于自该行缓冲器7C同时并行输出的变换系数数据，按行顺序在接着的垂直滤波器6AC、6BC上开始基于正确变换系数数据的频带限制处理、下采样处理，进而，按照数量大约减少一半的行的顺序输出涉及垂直方向的频带限制的变换系数数据，该变换系数数据被输入到水平方向的低通滤波器和高通滤波器中。在该第三阶段的水平方向的低通滤波器和高通滤波器中，当在各行上向各滤波器输入与这些滤波器的抽头数相应的系数变换数据时，开始基于正确的变换系数数据的水平方向的频带限制处理、下采样处理，由此，该第三阶段的频带限制处理也以行为单位依次执行。
由此，在本实施例中，小波变换部6以行为单位处理图像数据，从而能够减少设于各分割处理的输入侧的作为存储器电路的行缓冲器的容量，并能简化整体结构。
量化部8依次对像这样地从小波变换部6输出的变换系数数据D3进行量化处理并输出，熵编码部9依次对该量化部8的输出数据执行熵编码处理并输出。速率控制部10对该熵编码部9的输出数据进行速率控制，输出编码数据D2。在这些处理中，量化部8、熵编码部9以如上所述地在小波变换部6的行缓冲器7A～7C中存储变换系数数据并输出对应的系数数据的定时(timing)，依次处理自小波变换部6输出的系数数据D3，由此，在本实施例中，在量化部8、熵编码部9中也以行为单位执行处理，从而可简化量化部8、熵编码部9的结构。
由此，图像压缩部5整体地以行为单位对图像数据D1进行数据压缩处理，摄像元件3对应图像压缩部5的这种以行为单位的处理，以行为单位输出摄像结果，进而在各行上根据图像压缩部5的处理顺序输出摄像结果，从而将从模拟数字转换电路4输出的图像数据D1直接输入到图像压缩部5，由此也能够简化整体结构。
图9是适用于摄像装置1的集成电路的局部剖视图。在此，该集成电路51将摄像元件3和外围电路一体化地形成(进行集成)，在该实施例中，摄像元件3的驱动电路、模拟数字转换电路4、图像压缩部5都包含在该一体化的外围电路中。由此，简化了本实施例涉及的摄像装置的整体结构。
在集成电路51中，将像素部配置成矩阵状形成摄像元件部，通过该摄像元件部形成摄像元件3。外围电路部形成于该摄像元件部的周围。由此，图9是该摄像元件部和外围电路部的局部剖视图。
集成电路51通过厚度为10～20(μm)左右的硅(Si)层形成元件层52，在像素部中，与以像素为单位的光电转换处理相关的光电二极管(光敏二极管)53形成于该元件层52，在外围电路部中，在该元件层52的下层一侧形成构成外围电路的MOSFET等各电路元件。
在集成电路51中，二氧化硅(SiO2)膜54、遮光膜55、氮化硅膜(SiN)56、滤色器A27、微透镜58依次层压在该元件层52的上层(上面)。在该元件层52的下面(下层)形成光电二极管53、对外围电路的电路元件进行布线的布线层59，在该布线层59的下层一侧设有用于支撑全体的基板支撑材料(基板支撑部件)60。由此，集成电路51在与受光面相反的一侧设置布线层59，从而能够一举解决将布线层设置于受光面一侧时的各种问题，显著提高了布线的自由度。至于将布线层设置于受光面一侧时的各种问题，其中包括由于形成布线层的布线而导致的入射到像素中的光量减少、相邻像素间的串扰等。
在集成电路51中，由于象这样的在与受光面相反的一侧形成布线层59，所以从布线层59侧处理厚度较薄的半导体基板，在形成光电二极管53、外围电路的电路元件后，在该半导体基板上依次形成布线层59、基板支撑材料60，然后，将该半导体基板翻转，通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜55、氮化硅膜(SiN)56、滤色器A27、微透镜58，制成集成电路51。
由此，该摄像装置1以摄像元件3和外围电路一体地集成电路化(集成为集成电路)为前提，在与受光面相反的一侧形成布线层59，并有效利用显著提高布线自由度这点，以能够按照与数据压缩处理相应的处理单位、即以行为单位，进而能以与该数据压缩处理对应的顺序从摄像元件3输出摄像结果进行处理的方式加以布线，从而使整体结构简化。
(2)实施例1的动作
在上述结构中，摄像装置1通过透镜2而在摄像元件3的摄像面形成拍摄对象的图像，该图像的摄像结果被从摄像元件3输出，并通过模拟数字转换电路4转换成图像数据D1。对该图像数据D1执行了边缘增强(边缘锐化)等处理后，由图像压缩部5进行数据压缩转换成编码数据D2，该编码数据D2被记录在存储介质中，并传输给外部设备。由此，在摄像装置1中，既对摄像结果进行数据压缩并记录，并且还传输摄像结果。
在该一系列的处理中，通过小波变换处理将图像数据D1在图像压缩部5变换处理成小波变换系数数据D3后，对该小波变换系数数据D3执行量化处理、熵编码处理、速率控制，并作为编码数据D2输出。这时，从摄像元件3依次输出对应该图像压缩部5中的各处理单位的摄像结果、即摄像信号S1，由此，从模拟数字转换电路4输出的图像数据D1能够直接输入到图像压缩部5进行数据压缩处理，从而能够简化整体结构。
在由CMOS固体摄像元件构成的摄像元件3中，通过XY地址的控制来输出摄像结果，从而在摄像结果的读出上具有高自由度，由此，不仅能够以行为单位按行顺序输出摄像结果，而且例如能够以列为单位输出摄像结果、以预定块为单位输出摄像结果等根据各种形式输出摄像单元的摄像结果。由此，在本实施例中，根据图像压缩部5中的各处理单位执行该摄像结果的输出，从而有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，并使整体结构进一步简化。
更具体而言，在该摄像装置1中，将图像压缩部5中的处理单位设定为以行为单位，通过所谓的line-base型小波变换处理来以行为单位进行小波变换以对图像数据执行数据压缩处理，由此，以行为单位从摄像元件3输出摄像结果，从而有效利用读出摄像结果的高自由度，并简化整体结构。
在摄像装置1中，像这样地输出摄像结果的摄像元件3、作为处理该摄像元件3的摄像结果的外围电路的图像压缩部5、以及模拟数字转换电路4以集成电路的形式一体化构成，由此使整体结构更小型，进而简化了结构。
但是，若单纯地以CMOS工艺使摄像元件和外围电路一体化，则会因与摄像元件、外围电路相关的布线图案而产生各种问题，致使无法充分发挥读出摄像结果的高自由度。因此，在本实施例中，在与摄像单元的受光面相反的一面上形成布线层，通过该布线层连接构成摄像单元的光电转换部和外围电路，并使它们一体化，由此，能够以充分确保读出摄像结果的高自由度的方式构成集成电路，并有效利用摄像结果读出相关的高自由度，从而简化整体结构。
(3)实施例1的效果
根据以上结构，摄像单元和图像压缩单元由形成于与摄像单元的摄像面相反一侧的面上的布线层连接并一体化，并且，按照与图像压缩处理相关的处理单位从摄像单元依次输出摄像结果，从而能够有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，并使整体结构进一步简化。
而且针对该图像压缩处理是通过小波变换处理以行为单位对摄像结果进行数据压缩，多个光电转换部的摄像结果也是按行顺序从摄像元件中被输出，从而能够有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，并且可使整体结构进一步简化。
(4)实施例2
在本实施例中，代替上述实施例1描述的摄像装置1中的line-base型小波变换处理，通过tile-base型小波变换处理进行数据压缩。由此，在本实施例涉及的摄像装置中，除了小波变换部6、以及与小波变换部6相关的结构不同之外，其余均采用与实施例1涉及的摄像装置1相同的构成。因此，下面沿用图5对本实施例进行说明，且不再对与实施例1涉及的摄像装置1相同的构成进行赘述。
即，在该摄像装置中，如图10所示，小波变换部6将区块T0、T1、T2......设置为处理单位，其中，区块T0、T1、T2......是将作为摄像结果的图像在水平方向及垂直方向分别按照预定的划分数量进行划分而成的块，根据光栅扫描的顺序以区块T0、T1、T2......为单位依次输入图像数据D1进行小波变换处理，量化部8对以区块为单位从小波变换部6依次输出的变换系数数据执行依次量化处理。接着的熵编码部9对以同样的区块为单位依次输出的量化部8的输出数据执行熵编码，速率控制部10对该熵编码部9的输出数据进行速率控制并输出。
该以区块为单位的小波变换处理是通过二维滤波器进行频带限制、下采样来执行。由此，与line-base型小波变换处理相比，tile-base型小波变换处理能够降低设于各划分处理的输入级的缓冲存储器的容量。
由此，在该摄像装置中，图像压缩部5以区块为处理单位执行数据压缩处理，与此相对应地，摄像元件3通过未图示的驱动电路的XY地址的控制，以区块为单位依次输出各光电转换部的摄像结果。
根据实施例2的结构，摄像单元和图像压缩单元由形成于与摄像单元的摄像面相反一侧的面上的布线层连接并形成为一体，并按照与图像压缩处理相关的处理单位从摄像单元依次输出摄像结果，通过将以区块为单位的小波变换处理运用到图像压缩单元的数据压缩处理中，并以区块为单位从摄像元件输出摄像结果，从而在以区块为单位处理图像数据的情况时，也能够有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，并且可使整体结构进一步简化。
(5)实施例3
图11是本发明实施例3涉及的摄像装置中采用的集成电路的局部立体图。在本实施例中，由该集成电路构成实施例1、2涉及的摄像装置。此外，在该集成电路61中，对于与上述实施例1中的集成电路51相同的结构，采用相应的附图标记加以表示，并省略其重复的说明。
在此，该集成电路61的摄像元件3和外围电路一体化地形成，其中的外围电路与实施例1、2涉及的外围电路相同地形成，因此，在本实施例涉及的摄像装置中，将使整体结构简化。
该集成电路61是通过将摄像元件部层压在外围电路部上而形成，外围电路部是通过在半导体基板62上根据预定的半导体工艺形成构成外围电路的半导体元件后，再在这些半导体元件的上层形成连接这些半导体元件的布线层63而形成。外围电路部在该布线层63的表层形成用于与摄像元件部连接的电极等。
与上述实施例1所描述的同样，摄像元件部是通过将光电转换部(像素部)配置成矩阵状而形成，并由厚度为10～20(μm)左右的硅(Si)层形成元件层52。摄像元件部在该元件层52上形成与以像素为单位的光电转换处理相关的光电二极管。
在摄像元件部中，在该元件层52的上层依次层压二氧化硅膜、遮光膜、氮化硅膜、滤色器A27、微透镜58形成摄像面，对此，在元件层52的下层(下面)形成布线层59。在摄像元件部的布线层59的下层侧设有外围电路部，通过连接外围电路部的布线层63和布线层59，从而使摄像元件和外围电路一体地被集成电路化。
由此，集成电路61在与受光面相反的一侧设置布线层59，从而能够一举解决将布线层59设于受光面一侧时的各种问题，并显著提高了布线的自由度。并且，通过象这样地经由形成于与受光面相反一侧的布线层59而与形成了外围电路的外围电路部一体化，从而能够以不同的晶片加工工艺制作摄像元件部和外围电路部后再使其一体化，相应地，能够以其各自适合的晶片加工工艺来制作摄像元件部和外围电路部，因此，能够整体提高各种性能。
具体地，就形成了外围电路的外围电路部而言，通过使各半导体元件、布线图案宽度缩小而形成为高密度，从而能够缩小芯片尺寸，并降低功耗。但是，如果摄像元件部缩小了像素尺寸，那么相应地，灵敏度便会下降，并且芯片面积也会随着像素数量而增大。由此，若象本实施例这样地，以不同的晶片加工工艺制作摄像元件部和外围电路部后再使其一体化，便能够根据其各自适合的晶片加工工艺制作摄像元件部和外围电路部，因此，相应地，能够提高整体的性能。
并且，由于像这样地经由形成于与受光面相反一侧的布线层59而与形成了外围电路的外围电路部一体化，所以该集成电路61与实施例1中描述的相同，在从布线层59侧处理厚度较薄的半导体基板并形成光电二极管后，再在该半导体基板上形成布线层59，并层压以另外的工艺制作的外围电路部，然后，将该半导体基板翻转，通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜、滤色器A27、微透镜58等，制成集成电路61。
如图12(A)所示，通过这种采用不同晶片加工工艺的半导体基板的层压而形成的集成电路61能够以将各像素输出同时并行地输出到外围电路中进行模拟数字转换处理的方式构成摄像元件部和外围电路部的连接。并且还可以，如图12(B)所示，也能够以列为单位同时并行地输出摄像结果并在外围电路中进行处理。并且，如图12(C)所示，也能够以行为单位同时并行地输出摄像结果并在外围电路中进行处理，由此，可进一步显著提高摄像元件输出的自由度。
通过对各像素分别设置信号线，从而可根据各种X-Y地址的控制来输出摄像结果，例如，在图12(A)所示例子的场合，使在所有像素上设置的MOSFET同时进行导通操作，同时并行地输出所有像素的摄像结果；如针对图3所描述地，通过水平地址线的控制以行为单位输出摄像结果；以及如后面针对图12(C)所描述地，代替该水平地址线的选择，通过垂直地址线的选择，同时并行地输出在垂直方向上连续的像素的摄像结果等。在图12(C)的场合，代替上面针对图3所描述的水平地址线的控制而根据垂直地址线的控制，通过时分(時分割)将一条信号线依次分配给水平方向上连续的像素，从而能够同时并行地输出垂直方向上连续的像素的摄像结果。对此，在图12(D)所示例子的场合，根据垂直地址线及水平地址线的控制，依次选择共同连接于一条信号线的一个块的多个像素，从而能够在连接于该一条信号线的一个块中按光栅扫描、折线扫描等各种顺序输出摄像结果。在水平方向及垂直方向上连续的像素分别共同地设有水平地址线及垂直地址线，因此，多个块的像素的扫描顺序是相同的。
由此，如图13(A)所示，集成电路61连接摄像元件部和外围电路部，以便能够按照基于以行为单位的输出、即行顺序输出摄像结果，如图13(B)所示，集成电路61连接摄像元件部和外围电路部，以便能够按照以列为单位的顺序输出摄像结果，如图13(C)所示，集成电路61连接摄像元件部和外围电路部，以便能够以块为单位输出摄像结果。
在本实施例涉及的摄像装置中，上述实施例1中描述的以行为单位进行处理的摄像装置，根据图12(A)至图12(D)所示连接中的对应连接，输入摄像结果到外围电路中。
进而，在本实施例中，集成电路61根据这种连接，通过多个系统同时并行地将摄像结果输出到外围电路中，在外围电路中，与数据压缩处理相关的图像压缩部8由三个系统的处理电路C1～C3(图11)形成，通过这三个系统的处理电路C1～C3同时并行地处理多个系统的图像数据。
在本实施例中，通过与摄像单元不同的晶片生成工艺形成外围电路，从而能够以其各自适合的晶片加工工艺制作摄像元件部和外围电路部，并能够提高各种性能。
(6)实施例4
图14是通过与图5的对比而示出本发明实施例4涉及的摄像装置的框图。在该摄像装置71中，对于与上述图5中描述的摄像装置1相同的结构，采用对应的附图标记并省略其重复的说明。与上述实施例1或实施例3中描述的同样，该摄像装置71被集成电路化，其通过摄像元件73与外围电路一体地被集成电路化而构成，其中，外围电路包括该摄像元件73的驱动电路、模拟数字转换电路4、构成图像压缩部75，由此，所采用的结构能够根据各种形式输出摄像结果到外围电路，从而简化、缩小了整体构成。
摄像元件73由CMOS固体摄像元件构成，根据未图示的驱动电路的驱动，如图15所示，按图像压缩部75的处理单位依次输出有效图像区AR的摄像结果，由此，输出摄像信号S1。在该处理中，摄像元件73根据未图示的驱动电路的XY地址的控制，在各帧间事先输出该有效图像区AR的局部区域ARA～ARE的摄像结果。在该实施例中，局部区域ARA～ARE被设置成多个矩形的区域，进而，将这多个区域设置成有效图像区AR的中央区域为ARC，四个角上的区域为ARA、ARB、ARD、ARE，由此，通过这些在有效图像区AR中设置的局部区域ARA～ARE，能够大概地把握对整个有效图像区AR进行数据压缩时所需的处理。
图像压缩部75对这样得到的局部区域ARA～ARE进行数据压缩并检测码量，根据基于该检测的码量的数据压缩比率对摄像元件73的摄像结果进行数据压缩。即，在该图像压缩部75中，特定区图像压缩部76对局部区域ARA～ARE所涉及的图像数据D1进行数据压缩，并将其发生码量告知码量分配控制部77，码量分配控制部77基于该发生码量，预测在整个有效图像区AR产生的码量，根据该预测结果确定数据压缩比率。此外，在本实施例中，虽然特定区图像压缩部76根据将该局部区域ARA～ARE设置为与区块相当的处理单位的小波变换处理，或者根据将该局部区域ARA～ARE设置为一个或多个宏块的MPEG2进行数据压缩，但就该数据压缩方法而言，各种各样的方法都可以被采用。
图像压缩部78根据该码量分配控制部77确定的数据压缩比率改变量化位阶(量化等级)，并对有效图像区AR的图像数据D1进行数据压缩后输出，速率控制部79通过在该图像压缩部78中插入空数据来执行速率控制处理并输出编码数据D2。在此，在本实施例中，图像压缩部78采用与特定区图像压缩部76相同的数据压缩方法执行数据压缩处理，但是若能在实际上充分地进行速率控制，也可以采用与特定区图像压缩部76不同的数据压缩方法对图像数据执行数据压缩。
由此，在本实施例中，有效利用作为CMOS固体摄像元件等摄像元件特征的读出摄像结果的高自由度，事先在有效图像区的局部区域上检测数据压缩处理的发生码量，根据该发生码量改变数据压缩比率来对整个摄像结果进行数据压缩处理，由此，通过适当地设定数据压缩比率，从而比现有技术更适当地进行速率控制。
即，如果假设该局部区域的发生码量为TS，整个图像的目标码量为TALL，那么剩下的区域的可分配码量TE则由TALL-TS来表示。由此，如果假设对剩下的区域进行数据压缩产生的码量为TR，那么剩余的码量TExta由(TR+TS)-TALL表示，如果以将剩余的码量TExta分配给全体这样来设定数据压缩比率，那么便能够根据目标码量进行数据压缩处理，并且能够根据通过事先的数据压缩而产生的码量TS来预测对剩下的区域进行数据压缩产生的码量TR，从而能够适当地进行数据压缩处理。
码量分配控制部77、速率控制部79根据基于这种事先的编码处理的发生码量改变图像压缩部78的数据压缩比率，并执行速率控制的处理。
由此，在本实施例中，事先在有效图像区的局部区域上检测数据压缩处理的发生码量，根据该发生码量改变数据压缩比率来对摄像结果进行数据压缩处理，从而能够有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，与现有技术相比，能够以简单的处理更恰当地进行速率控制。
通过将以基于事先检测的码量的数据压缩比率进行的摄像结果的数据压缩运用到有效图像区的摄像结果的数据压缩中，从而若实际上能够充分地进行速率控制时，可根据与事先处理所涉及的数据压缩方法不同的数据压缩方法对图像数据进行数据压缩，由此，可广泛地运用于根据各种数据压缩方法进行数据压缩的场合。
具体而言，可以运用于根据对应数据压缩比率的量化位阶对系数数据进行量化处理的场合，从而以简单的处理即可进行速率控制。
并且，由于除进行与这种事先处理相关的数据压缩之外，还另外地重新对有效像素区进行数据压缩，从而若实际上能够充分地进行速率控制时，可根据与事先处理所涉及的数据压缩方法不同的数据压缩方法对图像数据进行数据压缩，由此，可广泛地运用于根据各种数据压缩方法进行数据压缩的场合。
并且，通过将与该事先处理相关的数据压缩单元、以及使用与该事先处理相关的数据压缩比率的数据压缩单元分别包含在不同的系统中，从而可根据与事先处理所涉及的数据压缩方法不同的数据压缩方法对图像数据进行数据压缩，由此，可广泛地运用于根据各种数据压缩方法进行数据压缩的场合。
并且，在这些结构中，通过形成于与摄像单元的受光面相反一侧的面上的布线层而与配置于该布线层下层的外围电路连接，从而在事先从摄像单元取得局部摄像结果来检测发生码量、并重新进行编码处理的场合，也能够采用这一连串处理从摄像单元输出摄像结果给外围电路。
这样，由于外围电路以与摄像单元不同的晶片生成工艺而形成，因而能够以其各自适合的晶片加工工艺制作摄像元件部和外围电路部，从而能够整体提高各种性能。
(7)实施例5
本实施例与实施例4的结构相类似，根据通过事先的数据压缩处理检测出的发生码量控制剩下区域的发生码量，以此来执行速率控制处理。由此，摄像元件73接着事先的数据压缩处理，输出除局部区域ARA～ARE之外的有效图像区AR的摄像结果，至于码量分配控制部77，其针对除局部区域ARA～ARE之外的有效图像区AR的摄像结果，控制与图像压缩部78的数据压缩处理相关的量化位阶。并且，摄像装置将通过事先的数据压缩处理获得的编码数据与通过该图像压缩部78的数据压缩处理获得的编码数据一同输出。
并且，根据与除局部区域ARA～ARE之外的有效图像区AR的摄像结果相关的数据压缩处理的产生码量，控制与接着的事先处理相关的特定区图像压缩部76中的量化位阶。由此，在本实施例中，特定区图像压缩部76和图像压缩部78以相同的方法对图像数据D1进行数据压缩。
在本实施例中，除了与这些图像数据D1的处理有关的构成不同之外，其余均与实施例4涉及的摄像装置结构相同。
根据本实施例，事先在有效图像区的局部区域检测数据压缩处理的发生码量，根据该发生码量改变数据压缩比率来对摄像结果进行数据压缩处理，并且，将以基于该检测到的码量的数据压缩比率进行的摄像结果的压缩运用于与事先处理相关的除一部分区域之外的区域的摄像结果的数据压缩时，也能获得与实施例4同样的效果。
(8)实施例6
在本实施例中，在实施例4或实施例5的结构的基础上，根据用户选择的拍摄模式改变与事先处理有关的局部区域。并且，在本实施例中，除了与涉及该事先处理的局部区域有关的处理不同之外，其余均与实施例4或实施例5的摄像装置结构相同。
在本实施例中，在用户选择的拍摄模式下，将最重要的位置设定为检测事先的发生码量的区域。并且，根据拍摄模式，切换与有效像素区的数据压缩相关的数据压缩比率，以便以最重要的区域为基准向各部分适当地分配码量，其中，该数据压缩比率是基于该事先检测的发生码量。
即，例如，当用户选择的拍摄模式是人物拍摄模式时，与人物有关的摄像结果是重要的，这时，人物多位于有效摄像区的中央，所以这时，将检测事先的发生码量的区域设置为画面中央。这时，由于人物的背景、近景没有人物那么重要，所以根据事先检测的发生码量设置与有效像素区的数据压缩有关的数据压缩比率，以便与有效摄像区的周边相比，中央侧的码量更多。
对此，例如，当用户选择的拍摄模式是风景模式时，由于整个有效摄像区大致都是重要的，所以如上面针对图15所描述地，将检测事先的发生码量的区域设置在有效摄像区的中央及周边的多个位置。这时，根据事先检测的发生码量，设置与有效像素区的数据压缩有关的数据压缩比率，以便整个有效摄像区的数据压缩比率大致相等。
此外，在本实施例中，响应用户对拍摄模式的选择，由控制整体动作的运算处理单元、即系统控制器控制从摄像元件3输出的摄像结果、图像压缩单元的动作，从而使这一连串的处理被执行。
像本实施例这样，由于根据拍摄模式切换基于事先检测的发生码量的数据压缩比率的设定，进而根据拍摄模式切换事先检测发生码量的区域，因此，能够更适当地进行速率控制。
(9)实施例7
在本实施例中，根据拍摄模式，按照摄像结果的色彩分布自动设置根据实施例6中涉及的拍摄模式而被确定为最重要的局部区域。并且，在本实施例中，除了在与该局部区域的自动设定相关的处理上不同之外，其余均与实施例6中描述的摄像装置的结构相同。
即，在本实施例中，如果用户选择了人物拍摄模式，那么根据1帧前的摄像结果检测肌肤颜色的部分，并设置与事先的数据压缩处理有关的局部区域以便其包含该肌肤颜色的部分，或者以便其在该肌肤颜色部分的内侧。
对此，如果用户选择特写模式，这时，从同样的1帧前的摄像结果检测画面中央与暖色调有关的区域，并设置与事先的数据压缩处理有关的局部区域以便其包含该区域，或者以便其在该区域的内侧。
如本实施例这样，如果根据摄像结果的色彩分布设置用于检测事先的发生码量的区域，便能够更适当地执行速率控制处理。
并且，通过根据拍摄模式切换该区域的设定，从而也能够更适当地执行速率控制。
(10)其它实施例
在上述的实施例4至7中，针对通过格外的系统执行事先的数据压缩处理的情况进行了描述，但本发明并不限定于此，也可以通过原有的数据压缩处理系统来执行数据压缩处理。
并且，在上述的实施例中，针对将CMOS固体摄像元件用作摄像单元的情况进行了描述，但本发明并不限定于此，可以在很广的范围内运用采用XY地址控制的各种摄像元件。
本发明可运用到记录活动图像的摄像结果的摄像机、数码照相机、监视装置等之中。

Claims (21)

1.一种摄像装置，包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；
以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果，所述摄像装置的特征在于：
所述外围电路至少包括将所述摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元，
所述摄像单元对应所述外围电路中的所述摄像结果的各处理单位依次输出所述多个光电转换部的摄像结果。
2.根据权利要求1所述的摄像装置，其特征在于：
所述图像压缩单元通过小波变换处理以行为单位对所述摄像结果进行数据压缩处理，
所述摄像单元按照行的顺序输出所述多个光电转换部的摄像结果。
3.根据权利要求1所述的摄像装置，其特征在于：
所述图像压缩单元通过小波变换处理以区块为单位对所述摄像结果进行数据压缩处理，
所述摄像单元以区块为单位输出所述多个光电转换部的摄像结果。
4.根据权利要求1所述的摄像装置，其特征在于：
所述外围电路通过与所述摄像单元不同的晶片生成工艺形成，并被配置在所述布线层的下面。
5.一种摄像装置，包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；
以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果，所述摄像装置的特征在于：
所述外围电路至少包括对所述摄像结果进行数据压缩并输出的图像压缩单元，
所述外围电路事先从所述摄像单元获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
根据基于该检测到的码量的数据压缩比率，对所述摄像结果进行数据压缩。
6.根据权利要求5所述的摄像装置，其特征在于：
以基于所述检测到的码量的数据压缩比率进行的所述摄像结果的数据压缩是除了所述局部区域之外的区域的摄像结果的数据压缩，
所述外围电路输出基于所述事先的数据压缩的处理结果、以及基于以所述数据压缩比率进行的所述摄像结果的数据压缩的处理结果。
7.根据权利要求5所述的摄像装置，其特征在于：
以基于所述检测到的码量的数据压缩比率进行的所述摄像结果的数据压缩是所述有效图像区的摄像结果的数据压缩。
8.根据权利要求5所述的摄像装置，其特征在于：
所述图像压缩单元在将所述摄像结果变换处理成系数数据后，由量化单元对所述系数数据进行量化处理，从而对所述摄像结果进行数据压缩，
所述量化单元根据与所述数据压缩比率相应的量化位阶对所述系数数据进行量化处理。
9.根据权利要求5所述的摄像装置，其特征在于：
与所述事先的数据压缩有关的数据压缩单元、与使用所述数据压缩比率的所述摄像结果的数据压缩有关的数据压缩单元分别包含在不同的系统中。
10.根据权利要求5所述的摄像装置，其特征在于：
所述外围电路配置在所述布线层的下面。
11.根据权利要求10所述的摄像装置，其特征在于：
所述外围电路通过与所述摄像单元不同的晶片生成工艺形成。
12.一种摄像元件的集成电路，包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果，所述摄像元件的集成电路的特征在于：
所述外围电路至少包括将所述摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元，
所述摄像单元对应所述外围电路中的所述摄像结果的各处理单位依次输出所述多个光电转换部的摄像结果。
13.一种摄像元件的集成电路，包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果，所述摄像元件的集成电路的特征在于：
所述外围电路至少包括对所述摄像结果进行数据压缩并输出的图像压缩单元，
所述外围电路事先从所述摄像单元获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
根据基于该检测到的码量的数据压缩比率，对所述摄像结果进行数据压缩。
14.一种摄像装置，包括：摄像部，所述摄像部将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像部的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像部成为一体，其中，通过所述外围电路处理并输出所述摄像部的摄像结果，所述摄像装置的特征在于：
所述外围电路至少包括将所述摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩部，
所述摄像部对应所述外围电路中的所述摄像结果的各处理单位依次输出所述多个光电转换部的摄像结果。
15.一种摄像装置，包括：摄像部，所述摄像部将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及
外围电路，所述外围电路通过形成于与所述摄像部的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像部成为一体，其中，通过所述外围电路处理并输出所述摄像部的摄像结果，所述摄像装置的特征在于：
所述外围电路至少包括对所述摄像结果进行数据压缩并输出的图像压缩部，
所述外围电路事先从所述摄像部获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
根据基于该检测到的码量的数据压缩比率，对所述摄像结果进行数据压缩。
16.一种摄像元件的集成电路，包括：摄像部，所述摄像部将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像部的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像部成为一体，其中，通过所述外围电路处理并输出所述摄像部的摄像结果，所述摄像元件的集成电路的特征在于：
所述外围电路至少包括将所述摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩部，
所述摄像部对应所述外围电路中的所述摄像结果的各处理单位依次输出所述多个光电转换部的摄像结果。
17.一种摄像元件的集成电路，包括：摄像部，所述摄像部将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像部的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像部成为一体，其中，通过所述外围电路处理并输出所述摄像部的摄像结果，所述摄像元件的集成电路的特征在于：
所述外围电路至少包括对所述摄像结果进行数据压缩并输出的图像压缩部，
所述外围电路事先从所述摄像部获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
根据基于该检测到的码量的数据压缩比率，对所述摄像结果进行数据压缩。
18.一种摄像结果的处理方法，通过一种摄像装置来实现，所述摄像装置包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元形成一体，所述摄像结果的处理方法的特征在于包括以下步骤：
摄像结果输出步骤，通过XY地址的控制，从所述摄像单元输出摄像结果；以及
数据压缩步骤，通过所述外围电路至少将所述摄像结果对应各个预定的处理单位进行数据压缩并输出，
在所述摄像结果输出步骤中，对应所述外围电路中的所述摄像结果的各处理单位从所述摄像单元依次输出所述多个光电转换部的摄像结果。
19.一种摄像结果的处理方法，通过一种摄像装置来实现，所述摄像装置包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元形成一体，所述摄像结果的处理方法的特征在于包括以下步骤：
摄像结果输出步骤，通过XY地址的控制，从所述摄像单元输出所述摄像结果；
数据压缩步骤，通过所述外围电路至少对所述摄像结果进行数据压缩并输出；以及
码量检测步骤，事先从所述摄像单元获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
在所述数据压缩步骤中，根据基于在所述码量检测步骤中检测到的所述码量的数据压缩比率，对所述摄像结果进行数据压缩。
20.一种摄像结果的处理方法，通过一种摄像元件的集成电路来实现，所述摄像元件的集成电路包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元形成一体，
所述摄像结果的处理方法的特征在于包括以下步骤：
摄像结果输出步骤，通过XY地址的控制，从所述摄像单元输出摄像结果；以及
数据压缩步骤，通过所述外围电路至少将所述摄像结果对应各个预定的处理单位进行数据压缩并输出，
在所述摄像结果输出步骤中，对应所述外围电路中的所述摄像结果的各处理单位从所述摄像单元依次输出所述多个光电转换部的摄像结果。
21.一种摄像结果的处理方法，通过一种摄像元件的集成电路来实现，所述摄像元件的集成电路包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元形成一体，所述摄像结果的处理方法的特征在于包括以下步骤：
摄像结果输出步骤，通过XY地址的控制，从所述摄像单元输出所述摄像结果；
数据压缩步骤，通过所述外围电路至少对所述摄像结果进行数据压缩并输出；以及
码量检测步骤，事先从所述摄像单元获取有效图像区的局部区域上的所述摄像结果，而且，对该获取的摄像结果进行数据压缩并检测码量，
在所述数据压缩步骤中，根据基于在所述码量检测步骤中检测到的所述码量的数据压缩比率，对所述摄像结果进行数据压缩。
CN2005800231344A 2004-07-09 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法 Expired - Fee Related CN1985509B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP202575/2004 2004-07-09
JP2004202575A JP4599917B2 (ja) 2004-07-09 2004-07-09 撮像装置
PCT/JP2005/011883 WO2006006396A1 (ja) 2004-07-09 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法

Publications (2)

Publication Number Publication Date
CN1985509A true CN1985509A (zh) 2007-06-20
CN1985509B CN1985509B (zh) 2010-10-06

Family

ID=35783740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800231344A Expired - Fee Related CN1985509B (zh) 2004-07-09 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法

Country Status (12)

Country Link
US (1) US8174587B2 (zh)
EP (1) EP1768391A4 (zh)
JP (1) JP4599917B2 (zh)
KR (1) KR101148334B1 (zh)
CN (1) CN1985509B (zh)
AU (1) AU2005261104B2 (zh)
BR (1) BRPI0513008A (zh)
CA (1) CA2572806A1 (zh)
MX (1) MXPA06015142A (zh)
RU (1) RU2367107C2 (zh)
TW (1) TW200614805A (zh)
WO (1) WO2006006396A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403396B2 (ja) * 2004-07-13 2010-01-27 ソニー株式会社 撮像装置及び撮像素子の集積回路
JP5256725B2 (ja) 2007-12-25 2013-08-07 株式会社ニコン 撮像装置
JP2015050446A (ja) * 2013-09-05 2015-03-16 ソニー株式会社 撮像素子および撮像装置
WO2016121172A1 (ja) * 2015-01-28 2016-08-04 ソニー株式会社 撮像装置、および、撮像装置の制御方法
JP6700798B2 (ja) * 2016-01-13 2020-05-27 キヤノン株式会社 撮像装置及びその制御方法
EP3472806A4 (en) 2016-06-17 2020-02-26 Immersive Robotics Pty Ltd IMAGE COMPRESSION METHOD AND DEVICE
CN110495107A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 用于移动设备通信的天线控制
EP3635952B1 (en) 2017-06-05 2024-07-03 Immersive Robotics Pty Ltd Digital content stream compression
AU2018372561B2 (en) * 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
EP3714598A4 (en) 2017-11-21 2021-03-31 Immersive Robotics Pty Ltd SELECTING A FREQUENCY COMPONENT FOR IMAGE COMPRESSION
US10863088B2 (en) 2018-06-25 2020-12-08 Canon Kabushiki Kaisha Image capturing apparatus and control method for capturing still images without interrupting video recordings
US11558574B2 (en) * 2020-12-14 2023-01-17 Bae Systems Information And Electronic Systems Integration Inc. Interleaved simultaneous binning mode

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170174A (ja) 1990-11-02 1992-06-17 Canon Inc 撮像装置及び撮像方式
JPH06303533A (ja) 1993-04-09 1994-10-28 Sony Corp イメージセンサおよび電子式スチルカメラ
JP3457407B2 (ja) 1994-12-28 2003-10-20 シャープ株式会社 画像圧縮機能を有する撮像装置
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
JP3668604B2 (ja) * 1997-12-16 2005-07-06 株式会社東芝 固体撮像素子およびこれを用いた画像システム
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
JP3728107B2 (ja) * 1998-07-07 2005-12-21 キヤノン株式会社 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000050293A (ja) * 1998-07-30 2000-02-18 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記録媒体
JP4164161B2 (ja) * 1998-07-06 2008-10-08 キヤノン株式会社 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JP3434740B2 (ja) * 1999-06-30 2003-08-11 Ｎｅｃエレクトロニクス株式会社 固体撮像装置
JP2001145105A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
EP1107107A1 (en) 1999-12-10 2001-06-13 Koninklijke Philips Electronics N.V. Parallel data processing and shuffling
JP4450941B2 (ja) 2000-04-12 2010-04-14 富士通マイクロエレクトロニクス株式会社 固体撮像素子、画像処理装置及び画像処理方法
JP3702778B2 (ja) * 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
JP3759435B2 (ja) * 2001-07-11 2006-03-22 ソニー株式会社 Ｘ−ｙアドレス型固体撮像素子
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
JP4087615B2 (ja) 2002-02-12 2008-05-21 株式会社フォトロン 高速撮像装置
JP3722367B2 (ja) * 2002-03-19 2005-11-30 ソニー株式会社 固体撮像素子の製造方法
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004085936A (ja) * 2002-08-27 2004-03-18 Olympus Corp カメラ

Also Published As

Publication number Publication date
CN1985509B (zh) 2010-10-06
AU2005261104A1 (en) 2006-01-19
US8174587B2 (en) 2012-05-08
TWI294739B (zh) 2008-03-11
BRPI0513008A (pt) 2008-04-22
JP2006025270A (ja) 2006-01-26
RU2367107C2 (ru) 2009-09-10
KR20070030218A (ko) 2007-03-15
EP1768391A4 (en) 2012-08-15
AU2005261104B2 (en) 2009-04-23
TW200614805A (en) 2006-05-01
WO2006006396A1 (ja) 2006-01-19
JP4599917B2 (ja) 2010-12-15
CA2572806A1 (en) 2006-01-19
EP1768391A1 (en) 2007-03-28
RU2007100356A (ru) 2008-07-20
US20080266410A1 (en) 2008-10-30
MXPA06015142A (es) 2007-03-26
KR101148334B1 (ko) 2012-05-21

Similar Documents

Publication Publication Date Title
CN1985509B (zh) 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
CN101459777B (zh) 图像处理装置和方法
US6130420A (en) Solid state image sensing apparatus, camera using the apparatus, and method for driving the apparatus
JP4978719B2 (ja) 撮像装置
TWI272840B (en) Imaging equipment, imaging component, control method thereof
US7932942B2 (en) Solid-state imaging device including three stacked photoelectric conversion layers, three accumulators, and a single readout circuit
US6885402B1 (en) Solid-state image pickup apparatus with fast photometry with pixels increased, and signal reading out method therefor
US7428013B2 (en) Electronic camera having solid-state image pickup device
JP2004172858A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101006

Termination date: 20150622

EXPY Termination of patent right or utility model