CN101459777B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN101459777B
CN101459777B CN2008101873813A CN200810187381A CN101459777B CN 101459777 B CN101459777 B CN 101459777B CN 2008101873813 A CN2008101873813 A CN 2008101873813A CN 200810187381 A CN200810187381 A CN 200810187381A CN 101459777 B CN101459777 B CN 101459777B
Authority
CN
China
Prior art keywords
image
unit
image pickup
pickup result
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101873813A
Other languages
English (en)
Other versions
CN101459777A (zh
Inventor
福原隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101459777A publication Critical patent/CN101459777A/zh
Application granted granted Critical
Publication of CN101459777B publication Critical patent/CN101459777B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明涉及一种图像处理装置及方法，可应用到例如记录活动图像的摄像结果的摄像机、电子静像照相机、监视装置等上。该图像处理装置包括：接收单元，用于按压缩处理的顺序接收图像数据；压缩单元，用于以将有效图像区在水平方向和垂直方向上分割所形成的块为单位来对所述接收单元接收到的图像数据进行压缩处理并生成压缩数据；以及控制单元，用于将从所述接收单元接收到的图像数据作为对象，根据在对帧内第1个块进行压缩处理而产生的码量，在对帧内的第2个块进行数据压缩处理时控制数据压缩率。

Description

图像处理装置和方法
本申请是申请日为2005年6月22日、申请号为200580023649.4、发明名称为“摄像装置、摄像元件的集成电路以及摄像结果的处理方法”的专利申请的分案申请，其全部内容结合于此作为参考。
技术领域
本发明涉及图像处理装置及方法，例如，本发明可以应用到记录活动图像的摄像结果的摄像机、电子静像照相机(数码相机)、监视装置等。在本发明中，通过形成于与摄像单元的摄像面相反一侧的面上的布线层连接摄像单元和图像压缩单元并一体化(集成)，而且，根据以块为单位对摄像结果进行数据压缩而产生的码量，至少改变接下来的块的数据压缩所用的数据压缩率，并对应于以该块为单位的处理从摄像单元输出各光电转换部的摄像结果，从而能够有效利用作为CMOS固体摄像元件等特征的摄像结果读出的高自由度，且能简化整体结构，可靠地进行速率控制。
背景技术
在现有技术的摄像机中，将从CCD(Charge Coupled Device，电荷耦合装置)固体摄像元件输出的摄像结果在帧存储器中缓冲，并根据MPEG(Moving Picture Experts Group，运动图像专家组)方法以块为单位进行数据压缩，在MPEG2中，例如根据TM5(TestMode 5，测试方式5)等方法进行速率控制。同样地，在电子静像照相机中，将从CCD固体摄像元件输出的摄像结果在帧存储器中缓冲，并根据JPEG(Joint Photographic Coding Experts Group，联合图像专家组)方法以块为单位进行数据压缩，并与MPEG2同样地进行速率控制。
对此，近年来，CMOS固体摄像元件逐渐运用于实践。在此，与CCD固体摄像元件对比，如图1所示，CMOS固体摄像元件具有各种特征，例如，相对于在CCD固体摄像元件中所有像素的电荷存储开始时间、结束时间都相同，CMOS固体摄像元件却有以列或像素为单位采用不同的电荷存储开始时间、结束时间这样的特征。
尤其，如图2所示，与CCD固体摄像元件通过串行传输读出各像素的摄像结果相比，CMOS固体摄像元件却如图3所示，能够根据X-Y地址的控制来读出各像素的摄像结果，由此，与CCD固体摄像元件相比，CMOS固体摄像元件在摄像结果的读出上具有高自由度的特征。图2是表示从CCD固体摄像元件输出摄像结果的示意图，在CCD固体摄像元件中，将各像素保存的存储电荷传输到垂直传输寄存器，并将已传输到该垂直传输寄存器的存储电荷依次传输到水平传输寄存器，而且通过水平传输寄存器依次传输输出。对此，图3是表示从CMOS固体摄像元件输出摄像结果的示意图，其中，示出了以列线为单位依次输出各像素的摄像结果的情形，这时，能与列线的数量相对应地同时并行地输出摄像结果。
具体而言，在CMOS固体摄像元件中，通过在水平方向上延长的水平地址线和在垂直方向上延长的垂直地址线，选择性地使设于各像素的MOSFET进行导通(ON)操作，从被该水平地址线和垂直地址线选择的像素输出摄像结果到信号线。由此，在图3所示的例子中，垂直方向上连续的多个像素共同使用基于一条列线的信号线，从而依次切换与连接到一条列线的多个像素相关的水平地址线的设定，使设于该多个像素上的MOSFET依次进行导通操作，从而通过时分将该条列线分配给垂直方向上连续的各像素，输出各像素的摄像结果。由此，在水平方向上看时，水平方向上连续的像素共用水平地址线，从而垂直方向上连续的各像素向列线进行的这样的时分分配，在水平方向上连续的像素上同时并行地执行，因此，以行为单位输出摄像结果。
关于这种CMOS固体摄像元件，例如，日本特开2004-31785号公报等中提出了与外围电路一体化的结构。
对此，作为与这种图像数据的处理相关的编码方法，近年来提出了各种采用小波变换处理的编码方法。在此，小波变换处理是指在水平方向及垂直方向上，分别将图像数据频带划分为高频成分和低频成分并分别进行下采样，从而将图像数据分割为四个子频带进行处理的方法，例如，存在如图4(A)所示的只进行一次这种分割处理而根据四个子频带HH、HL、LH、LL处理图像数据的情况，也存在进一步如图4(B)所示的重复这种频带划分处理来处理图像数据的情况等。图4(B)示出的是将频带划分处理重复三次的情形，其中，假设了对于子频带HH、HL、LH、LL中的水平方向及垂直方向上频率低的子频带LL进一步执行频带划分处理生成四个子频带LLHH、LLHL、LLLH、LLLL，然后，对于这四个子频带LLHH、LLHL、LLLH、LLLL中的水平方向及垂直方向上频率低的子频带LLLL又进一步执行频带划分处理生成四个子频带LLLLHH、LLLLHL、LLLLLH、LLLLLL的例子。
针对这种通过小波变换处理的编码处理，提出了以行为单位处理图像数据的所谓基于行的小波变换(line-base型小波变换)、和以区块(tile)为单位处理图像数据的所谓基于区块的小波变换(tile-base型小波变换)，其中，区块单位是通过分割一个画面而设置的矩形块。
因此，考虑到如果能够有效利用读出摄像结果的高自由度这个CMOS固体摄像元件的特征，便能够进一步简化摄像装置的整体结构，并可靠地进行速率控制。
发明内容
本发明鉴于上述问题，提出了一种能够有效利用作为CMOS固体摄像元件等特征的摄像结果读出的高自由度，从而能够简化整体结构，并可靠地进行速率控制的摄像装置、摄像元件的集成电路以及摄像结果的处理方法。
为了解决上述问题，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像装置当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体(保持为一体)，在本发明中，外围电路至少包括：将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元、以及控制图像压缩单元的数据压缩率的控制单元，外围电路以在水平方向及垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄像结果并依次进行数据压缩，在一帧内，外围电路基于图像压缩单元对一个块进行数据压缩而产生的码量，至少改变图像压缩单元对接下来的块进行数据压缩时的数据压缩率，摄像单元以块为单位，按照与图像压缩单元的数据压缩对应的顺序输出光电转换部的摄像结果。
根据本发明的结构，在摄像装置中，该摄像装置包括：将多个光电转换部配置成矩阵状并通过XY地址的控制来输出摄像结果的摄像单元；以及通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接并与摄像单元成为一体的外围电路，并且通过外围电路处理并输出摄像单元的摄像结果，通过形成于与受光面相反一侧的面上的布线层连接摄像单元的光电转换部和外围电路，从而能够有效避免将布线层设于受光面一侧时的各种问题，并能够高自由度地连接光电转换部和外围电路，由此，无损涉及摄像结果读出的摄像单元的高自由度，能够以各种形式将摄像单元的摄像结果提供给外围电路。以该结构为前提，根据本发明的构成，如果外围电路至少包括将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元、以及控制图像压缩单元的数据压缩率的控制单元，并且，外围电路以在水平方向及垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄像结果并依次进行数据压缩，并且，在一帧内，外围电路根据图像压缩单元对一个块进行数据压缩而产生的码量，至少改变图像压缩单元对接下来的块进行数据压缩时的数据压缩率，并且，摄像单元以块为单位，按照与图像压缩单元的数据压缩对应的顺序输出光电转换部的摄像结果，那么便能够将摄像单元的摄像结果直接输入到图像压缩单元中进行数据压缩，并能可靠地进行速率控制，由此，能够有效利用与摄像结果读出有关的摄像单元的高自由度，并能简化整体结构，可靠地进行速率控制。
此外，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像元件的集成电路当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，外围电路至少包括将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩单元、以及控制图像压缩单元的数据压缩率的控制单元，外围电路以在水平方向及垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄像结果并依次进行数据压缩，在一帧内，外围电路根据图像压缩单元对一个块进行数据压缩而产生的码量，至少改变图像压缩单元对接下来的块进行数据压缩时的数据压缩率，摄像单元以块为单位，按照与图像压缩单元的数据压缩对应的顺序输出光电转换部的摄像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制的摄像元件的集成电路。
此外，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像装置中的摄像结果处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，包括以下步骤：从摄像单元输出光电转换部的摄像结果到外围电路中的摄像结果输出步骤；通过外围电路至少将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩步骤；以及控制图像压缩步骤中的数据压缩率的控制步骤，其中，在图像压缩步骤中，以在水平方向及垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄像结果并依次进行数据压缩，在控制步骤中，在一帧内，基于通过图像压缩步骤对一个块进行数据压缩而产生的码量至少改变通过图像压缩步骤对接下来的块进行数据压缩时的数据压缩率，在摄像结果输出步骤中，以块为单位，按照与图像压缩步骤中的数据压缩对应的顺序输出光电转换部的摄像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制的摄像结果的处理方法。
此外，可将本发明运用到包括摄像单元和外围电路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像元件集成电路中的摄像结果处理方法当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像单元成为一体，在本发明中，包括以下步骤：从摄像单元输出光电转换部的摄像结果到外围电路中的摄像结果输出步骤；通过外围电路至少将摄像结果对应各个预定的处理单位进行数据压缩并输出的图像压缩步骤；以及控制图像压缩步骤中的数据压缩率的控制步骤，其中，在图像压缩步骤中，以在水平方向及垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄像结果并依次进行数据压缩，在控制步骤中，在一帧内，根据通过图像压缩步骤对一个块进行数据压缩而产生的码量至少改变通过图像压缩步骤对接下来的块进行数据压缩时的数据压缩率，在摄像结果输出步骤中，以块为单位，按照与图像压缩步骤中的数据压缩对应的顺序输出光电转换部的摄像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制的摄像结果的处理方法。
根据本发明，能够有效利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
附图说明
图1是用于比较摄像元件的图表。
图2是表示CCD固体摄像元件的输出的示意图。
图3是表示CMOS固体摄像元件的输出的示意图。
图4是用于说明小波变换处理的概略图。
图5是表示本发明实施例1涉及的摄像装置的框图。
图6是用于说明图5所示的摄像装置中的数据压缩处理的平面图。
图7是运用于图5所示的摄像装置中的集成电路的剖视图。
图8(A)、8(B)、8(C)及8(D)是用于说明图7所示的集成电路的摄像结果输出的概略图。
图9是用于说明本发明实施例2涉及的摄像装置中的小波变换部的概略图。
图10是用于说明图9所示的摄像装置中的小波变换部的频带划分的概略图。
图11是用于说明图9所示的摄像装置中的小波变换部的处理产生的行缓冲器用系数的概略图。
图12是用于说明本发明实施例3涉及的摄像装置中的图像压缩部的概略图。
图13是用于说明本发明实施例4涉及的摄像装置中的图像压缩部的概略图。
图14是运用于本发明实施例5涉及的摄像装置中的集成电路的局部立体图。
图15是用于说明本发明实施例6涉及的摄像装置中的摄像结果输出的平面图。
图16是表示本发明实施例7涉及的摄像装置的框图。
具体实施方式
下面，参照合适的附图，详细说明本发明实施例。
(1)实施例1的结构
图5是表示本发明实施例1涉及的摄像装置的框图。该摄像装置1对所希望的拍摄对象的摄像结果进行数据压缩后，在存储介质中进行记录，并发送给希望的传输对象。
在此，在摄像装置1中，响应用户对透镜2的操作，调整焦距倍率、光圈，将入射光会聚到摄像元件3的摄像面。光学低通滤波器A1削弱与透镜2的射出光相比空间频率更高的成分，接着颜色修正滤波器A2对从光学低通滤波器A1射出的射出光的色温度进行修正后将其射出。
摄像元件3例如由CMOS固体摄像元件形成，根据从未图示的驱动部输出的各种时间(timing)信号而动作，并通过各像素，对形成于摄像面的光学图像进行光电转换后输出摄像信号S1。在该一系列的处理中，在摄像元件3中，构成各像素的光电转换部被划分成与后级的图像压缩部6的处理单位对应的区域，摄像元件3将输出摄像结果的期间依次分配给各区。属于各区的光电转换部在输出摄像结果以外的期间分别对入射光进行光电转换处理，同时存储光电转换结果。
在此，在本实施例中，如图6所示，在后级的图像压缩部6中，将摄像元件3的摄像结果在水平方向及垂直方向上按照预定的数量进行划分，形成块B1、B2、B3……，从而以块B1、B2、B3……为单位，按光栅扫描的顺序对与块B1、B2、B3……相关的图像数据进行数据压缩处理。由此，在摄像元件3中，光电转换部以对应于各块B1、B2、B3……的方式被划分，并且，将根据驱动电路进行的XY地址的控制、按光栅扫描的顺序输出摄像结果的期间分配给各区，在该期间内分别输出属于各区的光电转换部的摄像结果。由此，将按光栅扫描的顺序以各区为单位进行光电转换处理的期间分配给属于各区的光电转换部。摄像元件3通过摄像信号S1输出这些光电转换部的摄像结果。此外，摄像元件3在各区内，通过按光栅扫描顺序的单一体系的输出，或者以列线为单位的依次扫描的输出，或者以行或列线为单位的多个体系的同时并行的输出，进而通过所有像素的同时并行的输出，输出摄像结果。
模拟数字转换电路(AD)7对该摄像信号S1实施模拟数字转换处理后，输出图像数据D1。该摄像装置1通过未图示的信号处理电路对该图像数据D1实施像素插值处理(pixel interpolationprocess)、颜色空间转换处理、边缘增强处理、噪声消减处理等之后，将其输入到图像压缩部6中。
图像压缩部6以块B1、B2、B3……为单位对图像数据D1进行数据压缩并执行编码处理，输出作为其处理结果的编码数据D2。
码量计算部8以块B1、B2、B3……为单位计量自图像压缩部6输出的编码数据的码量，从而对块B1、B2……中的每一个块都检测图像压缩部6的数据压缩处理的发生码量。
压缩率决定部9基于码量计算部8检测的发生码量，控制图像压缩部6中的接下来的块的数据压缩处理涉及的数据压缩率，由此，执行速率控制处理以便每一帧的发生码量变成目标码量。即，将平均每帧的块的数量除分配给一帧的码量(用分配给一帧的码量除以分配给一帧的码量)而得到的目标码量TS作为基准，计算与码量计算部8实际检测的发生码量TE的差分值TEX，根据该差分值TEX校正与接下来的块相关的目标码量。
在此，对于与该块相关的目标码量的校正，例如，当在与接下来的块相关的目标码量TS上加上或减去该差分值TEX而直接校正接下来的块的目标码量TS时，以及进一步地，当以该一帧中尚未完成编码处理的块数除差分值TEX，并在与接下来的块相关的目标码量TS上加上或减去该除得的值，从而将差分值TEX分配给一帧中尚未完成编码处理的块等时，可以广泛地应用各种处理方法。
压缩率决定部9根据这样计算的目标码量可改变地控制图像压缩部6中的数据压缩率。
编码流存储部10存储并输出自图像压缩部6输出的编码数据D2，辅助速率控制部11对从该编码流存储部10输出的编码数据D2进行速率控制。在此，在该速率控制中，插入虚拟数据或者中止执行预定块的编码数据D2的传输，以便各帧的码量变成目标码量。在该摄像装置1中，从辅助速率控制部11输出的编码数据D2记录在存储介质中，进而被传输到外部设备。由此，编码流存储部10和辅助速率控制部11构成用于存储作为图像压缩单元的图像压缩部6的一帧的输出数据D2并校正数据量的数据量校正单元，在本实施例中，通过数据量校正单元更高精度地进行速率控制。
图7是运用于摄像装置1的集成电路的局部剖视图。在此，该集成电路51将摄像元件3和外围电路形成为一体，在该实施例中，未图示的摄像元件3的驱动电路、模拟数字转换电路7、图像压缩部6、码量计算部8、压缩率决定部9、编码流存储部10、辅助速率控制部11等都运用在该一体化的外围电路中。由此，简化了本实施例涉及的摄像装置的整体结构。
在集成电路51中，将像素部配置成矩阵状形成摄像元件部，通过该摄像元件部形成摄像元件3。外围电路部形成于该摄像元件部的周围。由此，图7是该摄像元件部和外围电路部的局部剖视图。
集成电路51通过厚度为10～20(μm)左右的硅(Si)层形成元件层52，在像素部中，与以像素为单位的光电转换处理相关的光电二极管(光敏二极管)53形成于该元件层52上，在外围电路部中，在该元件层52的下面(下层)一侧形成构成外围电路的MOSFET等各电路元件。
在集成电路51中，二氧化硅(SiO2)膜54、遮光膜55、氮化硅膜(SiN)56、滤色器57、微透镜58依次层压在该元件层52的上层。在该元件层52的下面形成光电二极管53、对外围电路的电路元件布线的布线层59，在该布线层59的下面一侧设有用于支撑全体的基板支撑材料60。由此，集成电路51在与受光面相反的一侧设置布线层59，从而能够一举解决将布线层设置于受光面一侧时的各种问题，显著提高了布线的自由度。至于将布线层设置于受光面一侧时的各种问题，其中包括由于形成布线层的布线而导致的入射到各像素中的光量减少、相邻像素间的串扰等。
在集成电路51中，由于像这样地在与受光面相反的一侧形成布线层59，所以从布线层59侧处理厚度较薄的半导体基板，在形成光电二极管53、外围电路的电路元件后，在该半导体基板上依次形成布线层59、基板支撑材料60，然后，将该半导体基板翻转，通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜55、氮化硅膜(SiN)56、滤色器57、微透镜58，制成集成电路51。
由此，该摄像装置1以摄像元件3和外围电路一体地集成电路化(集成为集成电路)为前提，在与受光面相反的一侧形成布线层59，从而使布线自由度显著提高，且无损作为CMOS固体摄像元件特征的读出摄像结果的高自由度，并将简化整体结构。
即，在集成电路51中，如图8(A)所示，能够以将各像素输出同时并行地输出到外围电路中进行模拟数字转换处理的方式构成摄像元件部和外围电路的连接。并且还可以如图8(B)所示地以列线为单位同时并行地输出摄像结果并在外围电路中进行处理，以及如图8(C)所示地以行为单位同时并行地输出摄像结果并在外围电路中进行处理，进而，也可以如图8(D)所示地以预定块为单位同时并行地输出摄像结果并在外围电路中进行处理，由此，可进一步显著提高摄像元件输出的自由度。
在图8(A)所示例子的场合，由于各像素分别设有信号线，所以当使所有像素上设置的MOSFET同时进行导通操作并同时并行地输出所有像素的摄像结果时、以及如针对图3所描述地，通过水平地址线的控制按行单位输出摄像结果时、以及如后面针对图8(C)所描述地，代替该水平地址线的选择，通过垂直地址线的选择，同时并行地输出在垂直方向上连续的像素的摄像结果等时，可以通过各种X-Y地址的控制来输出摄像结果。在图8(C)的场合，代替上面针对图3所描述的水平地址线的控制而根据垂直地址线的控制，通过时分将一条信号线依次分配给水平方向上连续的像素，从而能够同时并行地输出垂直方向上连续的像素的摄像结果。对此，在图8(D)所示例子的场合，根据垂直地址线及水平地址线的控制，依次选择共同连接于一条信号线的一个块的多个像素，从而能够在通过该一条信号线的一个块中按光栅扫描、折线扫描等各种顺序输出摄像结果。此外，在水平方向及垂直方向上连续的像素分别共同地设有水平地址线及垂直地址线，因此，在多个块中像素的扫描顺序是相同的。
在本实施例涉及的摄像装置1中，如参照图6对摄像元件3所描述地，将输出摄像结果的期间依次分配给对应于块B1、B2、B3……的区，根据从各块内的光电转换部输出的形式，通过图8(A)～图8(D)所示连接中的对应的连接将摄像结果输出到外围电路。
(2)实施例1的动作
在上述结构中，摄像装置1(图5)通过透镜2而在摄像元件3的摄像面(受光面)形成拍摄对象的图像，该图像的摄像结果被从摄像元件3输出，并通过模拟数字转换电路7转换成图像数据D1。对该图像数据D1执行了边缘增强(边缘锐化)等处理后，由图像压缩部6进行数据压缩转换成编码数据D2，通过编码流存储部10、辅助速率控制部11将该编码数据D2记录在存储介质中，并传输给外部设备。由此，在摄像装置1中，既对摄像结果进行数据压缩并记录，并且还传输摄像结果。
在该一系列的处理中，当以在水平方向及垂直方向上分别分割摄像结果成预定的数量而形成的块B1、B2、B3……(图6)为单位，对一块的图像数据D1进行数据压缩处理时，基于其发生码量，可改变地控制与接下来的块的数据压缩处理相关的数据压缩率，通过重复该处理，以一帧为单位进行数据压缩处理。由此，在摄像装置1中，能够可靠地进行速率控制，并以希望的传输速率将摄像结果记录到存储介质并输出。
在本实施例中，将编码数据D2暂时存储并保存在编码流存储部10中，通过辅助速率控制部11插入虚拟数据，或者中止与预定块相关的编码数据D2的输出，输出编码数据D2。由此，在该摄像装置1中，能够更可靠地执行速率控制处理，并能够以希望的传输速率将摄像结果记录到存储介质并输出。
于是，对于像这样地以块为单位依次处理的摄像结果，对应于图像压缩部6中的处理单位、即块B1、B2、B3……，划分与设于摄像元件3的各像素对应的光电转换部，对应于图像压缩部6中的处理将输出摄像结果的期间依次分配给各区，并在该期间内通过摄像信号S1输出对应区的摄像结果。在除该期间之外的期间内，各区的光电转换部用于光电转换处理。
由此，在摄像装置1中，只是通过模拟数字转换电路7将从摄像元件3输出的摄像结果依次输入到图像压缩部6，以这种结构即可依次地以块为单位进行图像压缩处理并执行速率控制，由此，可简化整体结构。
在由CMOS固体摄像元件构成的摄像元件3中，通过XY地址的控制来输出摄像结果，从而在摄像结果的读出上具有高自由度，由此，不仅能够以行为单位按行顺序输出摄像结果，而且例如能够以列线为单位输出摄像结果、以预定块为单位输出摄像结果等根据各种形式输出摄像单元的摄像结果。由此，在本实施例中，将输出摄像结果的期间依次分配给与作为图像压缩部6中的处理单位的块对应的区，并在该期间内输出对应区的摄像结果，从而有效利用作为CMOS固体摄像元件特征的摄像结果读出的高自由度，并使整体结构进一步简化。
在摄像装置1中，像这样地输出摄像结果的摄像元件3、作为处理该摄像元件3的摄像结果的外围电路的模拟数字转换电路7、图像压缩部6等以集成电路的形式一体化构成，由此使整体结构更小型，进而简化了结构。
但是，若单纯地以CMOS工艺使摄像元件和外围电路一体化，则会因与摄像元件、外围电路相关的布线图案而产生各种问题，致使无法充分发挥读出摄像结果的高自由度。因此，在本实施例中，在与摄像单元的受光面相反的一面上形成布线层，通过该布线层连接构成摄像单元的光电转换部和外围电路，并使它们一体化，由此，能够以充分发挥读出摄像结果的高自由度的方式构成集成电路，并确实地有效利用读出摄像结果的高自由度，从而简化整体结构。
(3)实施例1的效果
根据以上结构，摄像单元和图像压缩单元由形成于与摄像单元的受光面相反一侧的面上的布线层连接并一体化，而且，根据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设置输出摄像结果的期间以从摄像单元输出摄像结果，从而能够有效利用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
(4)实施例2
在本实施例涉及的摄像装置中，将小波变换处理运用到上面参照图5所描述的图像压缩部6的数据压缩处理中。在本实施例涉及的摄像装置中，除了与图像压缩部6的小波变换处理相关的结构是不同的之外，其余均与实施例1中描述的摄像装置1的构成相同，因此，在本实施例中，沿用图5所示的结构进行说明。
在此，在图像压缩部6中，由小波变换部以块为单位对图像数据D1执行了小波变换处理之后，通过量化部、熵编码部依次执行量化处理、熵编码处理，由此输出编码数据D2。值得说明的是，在小波变换部中，通过line-base型小波变换处理，以块为单位执行小波变换处理。
在此，如图9的一个阶段的频带划分处理所示，小波变换部通过在垂直方向上具有预定抽头数的低通滤波器61A和高通滤波器61B将图像数据D 1频带限制为两个频带成分VL、VH，然后，通过在水平方向上具有预定抽头数的低通滤波器62A及高通滤波器62B、和低通滤波器63A及高通滤波器63B对各频带成分VL、VH进行频带限制，生成子频带LL～HH。由此，小波变换部通过行缓冲器64暂时保存对应于与各频带划分处理相关的输入级的低通滤波器61A和高通滤波器61B的抽头数的用于频带划分处理的输入图像数据D1，并输出。
如图10所示，小波变换部通过三个阶段执行这样的频带划分处理，由此，由接着的后级处理电路处理各频带划分处理产生的小波变换系数HH～LLLLLL，此外，设有分别对应于各频带划分处理的输入级的行缓冲器64A～64C，从模拟数字转换电路7输出的图像数据直接输入到最先(第一级)的行缓冲器64A中。
通过这些处理，如图11所示，小波变换系数的数据存储在这些行缓冲器64A～64C中，如果与图像数据D1有关的一帧的处理开始后，数据存储在这些行缓冲器64A～64C中，此时分别输出对应的系数数据。
由此，在图像压缩部6的小波变换部中设有基于块B1、B2、B3……的水平方向的采样数的行缓冲器64A、基于行缓冲器64A的1/2及1/4的采样数的行缓冲器64B、64C，由垂直方向的低通滤波器和高通滤波器61AA和61BA、61AB和61BB、及61AC和61BC分别对从各行缓冲器64A～64C同时并行地输出的抽头输出进行频带限制并下采样，接下来，由水平方向的低通滤波器及高通滤波器进行频带限制并下采样，生成与各子频带HH～LLLLLL相关的小波变换系数数据。
由此，在本实施例中，小波变换部运用基于行的小波变换处理以块为单位处理图像数据，从而降低作为设于各分割处理的输入侧的存储器电路的行缓冲器的容量，并使整体构成得到简化。
并且，对应于该小波变换部的结构，图像压缩部6根据大于等于该小波变换部的垂直滤波器的抽头数的行数，并根据大于等于水平滤波器的抽头数的水平方向的采样数形成各块。
对应于该小波变换部的处理，摄像元件3在各区内根据驱动电路的XY地址的控制来按照与该小波变换部的处理顺序相应的行扫描的顺序输出各光电转换部的摄像结果。由此，在本实施例中，能够将图像数据D1直接输入到小波变换部中进行处理，并且相应地，能够简化整体结构。
对此，压缩率决定部9通过量化部中的量化位阶的切换控制，可改变地控制图像压缩部6中的数据压缩率，由此，所形成的结构能够简单且可靠地改变数据压缩率。
根据实施例2的结构，摄像单元和图像压缩单元由形成于与摄像单元的受光面相反一侧的面上的布线层连接并一体化，而且，根据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过小波变换处理执行该块的数据压缩处理，从而能够有效利用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
并且，通过量化小波变换处理产生的系数数据，并通过与该量化相关的量化位阶的控制，从而控制数据压缩率，因此，能够简单且可靠地进行速率控制。
(5)实施例3
在本实施例中，代替上述实施例2描述的摄像装置中的基于行的小波变换处理，通过基于区块的小波变换处理进行数据压缩。由此，在本实施例涉及的摄像装置中，除了与小波变换处理相关的结构不同之外，其余均采用与实施例2涉及的摄像装置相同的构成。因此，下面与实施例2一样，沿用图5对本实施例进行说明，且在下述的说明中，不再对与实施例1涉及的摄像装置1相同的构成进行赘述。
即，在该摄像装置中，图像压缩部6通过小波变换部对图像数据D1执行了小波变换处理之后，通过量化电路、熵编码部对作为结果获得的系数数据进行量化和熵编码，输出编码数据D2。如图12所示，图像压缩部6的小波变换部将区块T0、T1、T2……设置为处理单位，其中，区块T0、T1、T2……是将基于摄像结果的图像在水平方向及垂直方向分别按照预定的划分数量进行划分而成，小波变换部依次根据光栅扫描的顺序以区块T0、T1、T2……为单位输入图像数据D1，进行小波变换处理。小波变换部通过二维滤波电路执行这些小波变换处理。
在摄像元件3中，对应于该小波变换部的处理，根据驱动电路的XY地址的控制在各区块单位中输出摄像结果。并且，在各区块内，以对应于与小波变换部的处理相关的二维滤波电路的处理的顺序输出摄像结果。
根据实施例3的结构，摄像单元和图像压缩单元由形成于与摄像单元的受光面相反一侧的面上的布线层连接并一体化，而且，根据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过基于区块的小波变换处理执行与该块相关的处理，从而能够有效利用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
(6)实施例4
在本实施例中，代替上述实施例2描述的摄像装置中的小波变换处理，通过离散余弦变换处理对图像数据进行数据压缩。在本实施例涉及的摄像装置中，除了与该数据压缩处理相关的结构不同之外，其余均采用与实施例2涉及的摄像装置相同的构成。因此，在下述的说明中，与实施例2同样，沿用图5对本实施例进行说明，且不再对与实施例1涉及的摄像装置1相同的构成进行赘述。
即，在该摄像装置中，图像压缩部6按作为离散余弦变换处理单位的宏块单位输入图像数据D1，通过离散余弦变换处理部进行了离散余弦变换处理之后，对作为结果获得的系数数据进行量化处理和可变长度编码处理并输出。在本实施例中，如图13所示，将该宏块设置为8×8像素的块。值得说明的是，图像压缩部6适当地以差分数据的形式输入用于离散余弦变换处理的图像数据D1，其中，差分数据已通过运动预测进行了处理。
在摄像元件3中，对应于该离散余弦变换处理，通过驱动电路的XY地址的控制按光栅扫描的顺序以宏块为单位输出摄像结果。并且，在各宏块中，同时并行地输出构成宏块的8×8像素的摄像结果。
根据实施例4的结构，摄像单元和图像压缩单元由形成于与摄像单元的受光面相反一侧的面上的布线层连接并一体化，而且，根据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过离散余弦变换处理执行与该块相关的处理，从而能够有效利用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
(7)实施例5
图14是本发明实施例5涉及的摄像装置中采用的集成电路的局部立体图。在本实施例中，由该集成电路构成上述实施例1～4涉及的摄像装置。此外，在该集成电路71中，对于与上述实施例1中描述的集成电路51相同的结构，采用相应的附图标记加以表示，并省略其重复的说明。
在此，该集成电路71的摄像元件3和外围电路一体化地形成，其中的外围电路与上述各实施例涉及的图像压缩部等相同地形成，因此，在本实施例涉及的摄像装置中，将使整体结构简化。
该集成电路71是通过将摄像元件部层压在外围电路部上而形成，外围电路部是通过在半导体基板72上根据预定的半导体工艺形成用于构成外围电路的半导体元件后，再在这些半导体元件的上层形成连接这些半导体元件的布线层73而形成。外围电路部在该布线层63的表层形成用于与摄像元件部连接的电极等。
与上述实施例1所描述的同样，摄像元件部是通过将像素部配置成矩阵状而形成，并由厚度为10～20(μm)左右的硅(Si)层形成元件层52。摄像元件部在该元件层52上形成与像素单位的光电转换处理相关的光电二极管。
在摄像元件部中，在该元件层52的上层依次层压二氧化硅膜、遮光膜、氮化硅膜、滤色器57、微透镜58形成摄像面，对此，在元件层52的下面形成布线层59。在摄像元件部的布线层59的下面(下层一侧)设有外围电路部，通过连接外围电路部的布线层73和布线层59，从而使摄像元件和外围电路一体地被集成电路化。
由此，集成电路71在与受光面相反的一侧设置布线层59，从而一举解决将布线层59设于受光面一侧时的各种问题，并显著提高了布线的自由度。并且，通过像这样地经由形成于与受光面相反侧的布线层59而与形成了外围电路的外围电路部一体化，从而能够以不同的晶片工艺制作了摄像元件部和外围电路部后再使其一体化，相应地，能够以其各自适合的晶片加工来制作摄像元件部和外围电路部，因此，能够整体提高各种性能。
具体地，在形成了外围电路的外围电路部中，通过缩小各半导体元件、及布线图案宽度而形成为高密度，从而能够使芯片尺寸更小型，并降低功耗。但是，如果在摄像元件部中缩小像素大小，那么相应地，灵敏度便会下降，并且芯片面积也会随着像素数量而增大。由此，若象本实施例这样地，以不同的晶片工艺制作摄像元件部和外围电路部后再使其一体化，便能够根据其各自适合的晶片工艺制作摄像元件部和外围电路部，因此，相应地，能够提高整体的性能。
并且，由于象这样地经由形成于与受光面相反侧的布线层59而与形成了外围电路的外围电路部一体化，所以该集成电路71与实施例1中描述的同样，在从布线层59侧处理厚度较薄的半导体基板并形成光电二极管后，再在该半导体基板上形成布线层59，并层压以另外的工艺制作的外围电路部。然后，将该半导体基板翻转，通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜、滤色器57、微透镜58等，制成集成电路71。
在通过层压这种根据不同晶片工艺的半导体基板而形成的集成电路71中，能够更简单地实现根据上述图8(A)～图8(D)中描述的各种形式的摄像结果的输出，由此，能够显著地提高摄像元件输出的自由度。
进而，在本实施例中，通过这种连接，集成电路71由多个系统同时并行地将摄像结果输出到外围电路中，在外围电路中，与数据压缩处理相关的图像压缩部6由三个系统的处理电路C1～C3形成，通过这三个系统的处理电路C1～C3同时并行地处理多个系统的图像数据。
在本实施例中，由于在摄像元件部的布线层的下面形成外围电路，因而以更高的自由度使摄像元件和外围电路一体地集成电路化，由此，以更高的自由度输出摄像结果，从而能够有效利用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
进而，由于通过与摄像单元不同的晶片生成工艺形成外围电路，因此，能够以其各自适合的晶片工艺制作摄像元件部和外围电路部，从而能够提高各种性能。
(8)实施例6
图15(A)、15(B)是与图6对比地示出本发明实施例6涉及的摄像装置中用于数据压缩处理的块的处理顺序的平面图。在本实施例涉及的摄像装置中，除了与该块的处理相关的结构不同之外，其余均与上述实施例1～5相同地构成，由此，在下面的描述中，沿用图5的结构进行说明。值得说明的是，在图15中，各块中的数字表示各块的处理顺序。
在本实施例中，由未图示的系统控制器接收拍摄模式的设定。根据该拍摄模式切换图像压缩部6中的块的处理顺序。因此，系统控制器响应用户对拍摄模式的选择操作，切换驱动摄像元件3的驱动电路的动作，在摄像元件3中，根据该驱动电路的动作切换，改变以块为单位的摄像结果的输出顺序。
具体而言，系统控制器在用户选择的拍摄模式下，切换从摄像元件3输出的块的顺序以便从最重要的位置开始依次进行数据压缩。
即，例如，当用户选择的拍摄模式是人物拍摄模式时，与人物有关的摄像结果是重要的，这时，由于人物多位于有效摄像区的中央，并且，由于人物的背景、近景没有人物那么重要，所以如图15(A)所示，从有效摄像区的中央的块开始输出摄像结果，并从该中央的块向外侧的块依次切换要输出摄像结果的块。在本实施例中，象描绘螺旋的轨迹这样从该中央的块向外侧的块切换要输出摄像结果的块。
相反，例如，当用户选择的拍摄模式是风景模式时，由于几乎整个有效摄像区都是重要的，因此，如图15(B)所示，分散地设置优先进行数据压缩的块，并且，控制摄像元件3的动作以使这些块首先进行数据压缩，而接下来的其它块按预定顺序进行数据压缩。在本实施例中，这些分散的块被设置在有效图像区的中央及周边的多个位置。
进而，为了对更重要的位置分配更多的码量，系统控制器控制压缩率决定部9的动作，以使基于该优先进行数据压缩并被检测的这些块的发生码量设定与各块的数据压缩相关的数据压缩率。具体而言，系统控制器控制压缩率决定部9的动作，以便根据拍摄模式切换优先处理的块和分配给其它块的码量。
由此，在本实施例中，改变块的处理顺序、码量的分配以便优先对待与用户认为重要的区域相关的块，并且，以与实施例1～5相同的构成执行速率控制的处理，并能够以相应高的图像质量有效地利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。
此外，如图15(B)所示，当分散地设置优先进行数据压缩的块时，能够根据这些块的优先的数据压缩处理所产生的发生码量大致地检测画面全体中的发生码量的分布，进而能够检测整个画面的数据压缩所产生的发生码量。由此，也可以基于优先的数据压缩处理所产生的发生码量，预测发生码量的分布、画面全体的发生码量，从而基于该预测结果设定各块的数据压缩率、进而设置整个画面的数据压缩率，因此，能够有效利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能更周密及更可靠地分配码量进行速率控制。
(9)实施例7
图16是与图5对比示出本发明实施例7涉及的摄像装置的框图。在该摄像装置81中，由速率控制部82根据码量计算部8检测的发生码量控制各部分的动作。值得说明的是，本实施例涉及的摄像装置81除了该速率控制部82对各部分的控制不同之外，其余均与上面实施例1～6中描述的摄像装置相同地构成，因此，在下面的描述中，只对与速率控制部82有关的结构进行描述，省略其重复的说明。
在本实施例中，当开始一帧的处理且由码量计算部8检测的发生码量在一定的范围内时，速率控制部82与上述实施例1～6中描述的同样，通过压缩率决定部9对数据压缩率的控制执行速率控制的处理。对此，当发生码量超出一定的范围时，通过压缩率决定部9对数据压缩率的控制以及驱动摄像元件3的驱动电路83的控制，改变从摄像元件3输出的摄像信号S 1的帧速率，由此来执行速率控制的处理。
即，当发生码量大于该范围时，速率控制部82根据该发生码量降低摄像信号S1的帧速率，相反，当发生码量小于该范围时，速率控制部82根据该发生码量增大摄像信号S 1的帧速率，且连同控制数据压缩率，从而将编码数据D2的数据传输速度保持在一定值。
如果象本实施例这样地连同改变摄像结果的帧速率便能够更可靠地进行速率控制。此外，对于像这样的与摄像元件3相关的速率的可改变既可以根据用户的直接指示执行，也可以根据用户对拍摄模式、动作模式的指示而执行，进而，也可以改变与该帧速率的控制相关的一定范围。
(10)其他实施例
在上述实施例中，说明了通过辅助速率控制部11对编码数据D2进行速率控制的情况，但本发明并不限定于此，当在实际运用过程中能够充分地进行速率控制时，也可以省略与该辅助速率控制部11有关的构成。
并且，在上述实施例中，对将CMOS固体摄像元件运用于摄像单元的情况进行了说明，但本发明并不限定于此，也可以广泛地采用基于XY地址控制的各种摄像元件。
产业上的可利用性
本发明可运用到记录活动图像的摄像结果的摄像机、数码照相机、监视装置等之中。

Claims (5)

1.一种摄像装置，包括：
摄像单元，将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果；
所述外围电路至少包括：图像压缩单元，所述图像压缩单元用于将所述摄像结果对应于各个预定的处理单位进行数据压缩并输出；
其中，所述外围电路以在水平方向及垂直方向上分割有效图像区而形成的块为单位从所述摄像单元输入所述摄像结果，并依次进行数据压缩；以及
控制单元，所述控制单元用于控制所述图像压缩单元的数据压缩率，所述外围电路根据在对帧内第1个块进行压缩处理而产生的码量，在对帧内的第2个块进行数据压缩处理时控制数据压缩率；
所述摄像单元以所述块为单位，按照与所述图像压缩单元进行的数据压缩对应的顺序输出所述光电转换部的摄像结果。
2.根据权利要求1所述的摄像装置，其中还包括：
数据校正单元，用于蓄积一帧的所述图像压缩单元生成的压缩数据并校正所述压缩数据的数据量。
3.根据权利要求1所述的摄像装置，其中，
所述图像压缩单元采用基于行的小波变换处理对图像数据进行压缩处理。
4.根据权利要求1所述的摄像装置，其中，
所述图像压缩单元采用离散余弦变换处理对图像数据进行压缩处理。
5.一种摄像结果的处理方法，通过摄像装置来实现，所述摄像装置包括：摄像单元，所述摄像单元将多个光电转换部配置成矩阵状，并通过XY地址的控制来输出摄像结果；以及外围电路，所述外围电路通过形成于与所述摄像单元的受光面相反一侧的面上的布线层而与所述光电转换部连接，并与所述摄像单元成为一体，其中，通过所述外围电路处理并输出所述摄像单元的摄像结果，所述摄像结果的处理方法的特征在于包括以下步骤：
摄像结果输出步骤，从所述摄像单元输出所述光电转换部的摄像结果到所述外围电路中；
图像压缩步骤，通过所述外围电路至少将所述摄像结果对应各个预定的处理单位进行数据压缩并输出；
其中，在所述图像压缩步骤中，以在水平方向及垂直方向上分割有效图像区而形成的块为单位从所述摄像单元输入所述摄像结果，并依次进行数据压缩；以及
控制步骤，控制所述图像压缩步骤中的数据压缩率，根据通过所述图像压缩步骤在对帧内第1个块进行压缩处理而产生的码量，在对帧内的第2个块进行数据压缩处理时控制数据压缩率；
其中，在所述摄像结果输出步骤中，以所述块为单位，按照与所述图像压缩步骤中的数据压缩对应的顺序输出所述光电转换部的摄像结果。
CN2008101873813A 2004-07-13 2005-06-22 图像处理装置和方法 Expired - Fee Related CN101459777B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004205381 2004-07-13
JP2004-205381 2004-07-13
JP2004205381A JP4403396B2 (ja) 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800236494A Division CN100474900C (zh) 2004-07-13 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法

Publications (2)

Publication Number Publication Date
CN101459777A CN101459777A (zh) 2009-06-17
CN101459777B true CN101459777B (zh) 2012-04-25

Family

ID=35783742

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005800236494A Expired - Fee Related CN100474900C (zh) 2004-07-13 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
CN2008101873813A Expired - Fee Related CN101459777B (zh) 2004-07-13 2005-06-22 图像处理装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2005800236494A Expired - Fee Related CN100474900C (zh) 2004-07-13 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法

Country Status (12)

Country Link
US (1) US7936376B2 (zh)
EP (1) EP1770991A4 (zh)
JP (1) JP4403396B2 (zh)
KR (1) KR101055058B1 (zh)
CN (2) CN100474900C (zh)
AU (1) AU2005261106A1 (zh)
BR (1) BRPI0513266A (zh)
CA (1) CA2572904A1 (zh)
MX (1) MX2007000063A (zh)
RU (1) RU2367108C2 (zh)
TW (1) TWI267299B (zh)
WO (1) WO2006006398A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
KR101499498B1 (ko) 2008-10-08 2015-03-06 삼성전자주식회사 초고해상도 비디오 처리 장치 및 방법
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP5366304B2 (ja) * 2009-05-19 2013-12-11 ルネサスエレクトロニクス株式会社 表示駆動装置およびその動作方法
PL2543181T3 (pl) * 2010-03-03 2016-03-31 Koninklijke Philips Nv Urządzenia i sposoby definiowania systemu kolorów
JP5560785B2 (ja) * 2010-03-12 2014-07-30 株式会社リコー 情報処理装置、画像形成装置及び情報処理方法
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
JP5054857B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
JP5714187B2 (ja) * 2011-11-15 2015-05-07 ニシラ， インコーポレイテッド ミドルボックスを備えるネットワークのアーキテクチャ
WO2014155919A1 (ja) * 2013-03-27 2014-10-02 日本電気株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
US9875723B2 (en) 2013-08-13 2018-01-23 Mediatek Inc. Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method
JP6248468B2 (ja) * 2013-08-23 2017-12-20 株式会社ニコン 撮像装置および電子機器
EP3036905A4 (en) * 2013-10-17 2017-03-08 MediaTek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
EP3748975A1 (en) * 2014-02-07 2020-12-09 Sony Corporation Transmission device, transmission method, reception device, reception method, display device, and display method
US10178181B2 (en) * 2014-04-02 2019-01-08 Cisco Technology, Inc. Interposer with security assistant key escrow
JP6549366B2 (ja) * 2014-09-19 2019-07-24 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
US9978798B2 (en) * 2015-08-03 2018-05-22 Sony Corporation Sensors with variable sensitivity to maximize data use
RU2640298C1 (ru) 2015-10-12 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки и хранения изображений
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device
JP2018029404A (ja) * 2017-11-24 2018-02-22 株式会社ニコン 撮像素子および撮像装置
CN111868682B (zh) * 2018-02-27 2024-05-28 泽腾系统有限公司 用于异构数据的可扩展变换处理单元

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
CN1487728A (zh) * 2002-08-27 2004-04-07 奥林巴斯株式会社 照相机

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5892260A (ja) 1981-11-27 1983-06-01 Mitsubishi Electric Corp 半導体装置
JPS63174356A (ja) 1987-01-14 1988-07-18 Agency Of Ind Science & Technol 画像処理用半導体装置
JP3117138B2 (ja) 1989-09-13 2000-12-11 オリンパス光学工業株式会社 電子スチルカメラとその撮像記録素子
JPH05268535A (ja) 1992-03-24 1993-10-15 Toshiba Corp 視覚センサー
JP3859815B2 (ja) * 1996-08-02 2006-12-20 シャープ株式会社 圧縮情報記憶装置
JP4150112B2 (ja) * 1998-08-24 2008-09-17 ソニー株式会社 画像データ処理方法および画像データ処理装置
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
JP2001094888A (ja) 1999-09-22 2001-04-06 Canon Inc 撮像装置
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6809769B1 (en) * 2000-06-22 2004-10-26 Pixim, Inc. Designs of digital pixel sensors
US20020171743A1 (en) * 2001-05-16 2002-11-21 Konica Corporation Electronic device and digital still camera
JP3759435B2 (ja) * 2001-07-11 2006-03-22 ソニー株式会社 Ｘ−ｙアドレス型固体撮像素子
JP3617498B2 (ja) * 2001-10-31 2005-02-02 三菱電機株式会社 液晶駆動用画像処理回路、およびこれを用いた液晶ディスプレイ装置、ならびに画像処理方法
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004031785A (ja) 2002-06-27 2004-01-29 Fujitsu Ltd 半導体装置及び半導体装置の設計方法
JP4599917B2 (ja) * 2004-07-09 2010-12-15 ソニー株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
CN1487728A (zh) * 2002-08-27 2004-04-07 奥林巴斯株式会社 照相机

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Charilaos Christopoulos et al..The JPEG2000 Still Image Coding System:An Overview.IEEE Transactions on Consumer Electronics.2000,46(4),第16页第1栏至第2栏. *
Takahiko Masuzaki et al..adaptive rate control for JPEG2000 image coding in embedded systems.IEEE ICIP.2002,第Ⅲ-77页第1栏至第Ⅲ-78页第1栏. *
陈国斌.视频编码中质量、复杂度和码率控制.中国博士学位论文全文数据库.2004,第54页至第55页. *

Also Published As

Publication number Publication date
CA2572904A1 (en) 2006-01-19
EP1770991A4 (en) 2012-07-11
TWI267299B (en) 2006-11-21
WO2006006398A1 (ja) 2006-01-19
KR101055058B1 (ko) 2011-08-05
RU2367108C2 (ru) 2009-09-10
CN1985510A (zh) 2007-06-20
AU2005261106A1 (en) 2006-01-19
MX2007000063A (es) 2007-03-28
BRPI0513266A (pt) 2008-05-06
KR20070042138A (ko) 2007-04-20
RU2007101299A (ru) 2008-07-27
US7936376B2 (en) 2011-05-03
JP2006033104A (ja) 2006-02-02
CN100474900C (zh) 2009-04-01
EP1770991A1 (en) 2007-04-04
US20090002507A1 (en) 2009-01-01
TW200614806A (en) 2006-05-01
CN101459777A (zh) 2009-06-17
JP4403396B2 (ja) 2010-01-27

Similar Documents

Publication Publication Date Title
CN101459777B (zh) 图像处理装置和方法
CN1985509B (zh) 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
CN1057891C (zh) 记录量化且编码的数字视频信号的方法和装置
US9479749B2 (en) Resolution based formatting of compressed image data
US7755669B2 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
KR100347508B1 (ko) 촬상 장치
US7990424B2 (en) Imaging data processing device, imaging data processing method, and imaging element
JPWO2006025232A1 (ja) 撮像装置及び撮像結果の出力方法
JP4978719B2 (ja) 撮像装置
US7719578B2 (en) Image pickup apparatus, image pickup element, and method for controlling image pickup apparatus
JPH0630444A (ja) 画像符号化装置
JPH03288831A (ja) ディジタル電子スチルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120425

Termination date: 20150622

EXPY Termination of patent right or utility model