CN101459787A - 固体摄像元件及使用该固体摄像元件的装置 - Google Patents

固体摄像元件及使用该固体摄像元件的装置 Download PDF

Info

Publication number
CN101459787A
CN101459787A CNA2008101869998A CN200810186999A CN101459787A CN 101459787 A CN101459787 A CN 101459787A CN A2008101869998 A CNA2008101869998 A CN A2008101869998A CN 200810186999 A CN200810186999 A CN 200810186999A CN 101459787 A CN101459787 A CN 101459787A
Authority
CN
China
Prior art keywords
solid
state imager
output
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101869998A
Other languages
English (en)
Inventor
沢田保宏
湊健浩
增田孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acutelogic Corp
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Publication of CN101459787A publication Critical patent/CN101459787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明的目的在于，提供一种固体摄像元件及使用该固体摄像元件的摄像装置，在从图像传感器输出图像数据时，能降低像素速率并抑制视场角变窄和画质劣化。固体摄像元件在多个光电转换元件中分别具有透过不同颜色分量的光的滤色器，该多个滤色器以多个颜色为1个单元周期性地排列，其特征在于，该固体摄像元件具有信号输出部，上述信号输出部将经由A/D转换部输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比光电转换元件的数量少的信号数而进行输出，并且，从信号输出部输出的多个输出信号的采样重心分别为等间隔。

Description

固体摄像元件及使用该固体摄像元件的装置
技术领域
本发明涉及单板式彩色图像传感器，特别是涉及能高速输出高分辨率的图像信号、能兼用于显示静止图像和动态图像的单板式彩色图像传感器以及使用该单板式彩色图像传感器的摄像装置。
背景技术
迄今为止，公知有如下的图像处理方法：在数码相机等摄像装置中，经由镜头将被摄体像成像在摄像器件上，通过该摄像器件对被摄体像进行光电转换来生成图像信号。
并且，近年来，在数码相机等摄像装置中，除了静止图像拍摄功能以外还普遍安装了动态图像拍摄功能。并且，即使是摄像机，针对高分辨率的静止图像拍摄功能的要求也在提高。并且，在这些数码相机和摄像机等摄像装置中，要求高像素拍摄静止图像，另一方面，在拍摄动态图像时也要求高清晰度(high vision)等高精细的图像。
并且，在这种静止图像和动态图像兼用的摄像装置中，一般来说，在拍摄静止图像时读取所有像素来生成高精细的图像，但是在拍摄动态图像时为了高速读取或降低功耗，不读取所有像素的信号而读取有限的像素数来生成图像。
例如，根据静止图像的图像拍摄要求而使用8M像素的图像传感器(即固体摄像元件)。此时，如果各像素的深度为12比特，则为了输出1个画面，需要从图像传感器(即本发明的固体摄像元件)输出8M像素×12比特/像素＝96M比特的信息。
并且，如果是静止图像则输出所需要的时间不会特别成为问题，但是，在拍摄动态图像时，例如为了以30fps等高速帧率读取动态图像时，若使用上述的8M像素的图像传感器的所有像素，则需要从图像传感器输出96M比特/帧×30帧/秒＝2.88Gbps的信息。但是，实现这种输出数据率比较困难且功耗较大，所以在拍摄动态图像时，需要减少从图像传感器输出的像素数。
并且，公知有切出输出，即，在减少从图像传感器输出的像素数时，切出画面的一部分而进行输出。
例如，切出输出是下述的方法：如果是静止图像8M像素的图像传感器，则在输出2M像素的动态图像时，切出画面的中央部1/4而进行输出。与拍摄静止图像时相比，会产生拍摄动态图像时视场角变窄的问题。
并且，作为减少从图像传感器输出的像素数的其他方法，公知有间除像素信号而进行输出的间除输出、混合相同颜色的多个像素信号而进行输出的像素混合输出(例如参照专利文件1)。例如，纵横分别每隔2个像素进行间除或像素混合，来输出1个像素，输出数据率能达到1/4。
例如，如图9所示，在具有R(红)G(绿)B(蓝)三原色拜尔排列的滤色器的彩色图像传感器中，以方格花纹图案配置G的输出像素，交替构成交替配置了G的输出像素和R的输出像素的列和交替配置了B的输出像素和G的输出像素的列。而且，在此时的像素混合输出中，位于关注像素周围的相同颜色的像素信号2×2像素相加，成为一个信号而进行输出。
具体而言，在图9(a)所示的拜尔排列的像素组中，如图9(b)所示，每隔一个像素混合相加纵2个像素、横2个像素的相同颜色的4个像素，如图9(c)所示，缩小像素数据而进行输出。
【专利文件1】：日本特开2007-088733号公报
但是，在减少从图像传感器输出的像素数时，间除输出意味着图像传感器接收到的图像中产生不进行读取的像素，成为降低输出图像数据的分辨率的原因。
并且，如图9所示，如果将像素混合输出使用到拜尔排列的彩色图像传感器，则拜尔排列的位置关系打乱，从而产生实际分辨率降低到不到1/2、产生折叠噪音(folding noise)这样的问题。
具体而言，如图9(c)所示，R、Gr、Gb、B的混合输出的像素排列(采样重心)从图9(a)的正格子排列打乱。例如，在水平方向上，R和Gr的间隔以及Gb和B的间隔不到1个像素，接下来的Gr和R的间隔以及B和Gb的间隔超过1个像素。并且，在垂直方向上，R和Gb的间隔以及Gr和B的间隔不到1个像素，接下来的Gb和R的间隔以及B和Gr的间隔超过1个像素。
发明内容
因此，本发明的目的在于提供一种固体摄像元件及使用该固体摄像元件的摄像装置，在从图像传感器输出图像数据时，能降低像素速率(pixelrate)并抑制视场角变窄和画质劣化。
为了达到上述目的，本发明的第一方面记载的固体摄像元件具有：多个光电转换元件，其在行和列方向上排列成格子状，输出与受光量相应的模拟信号；A/D转换部，其将从所述多个光电转换元件输出的模拟信号量化成数字信号而进行输出；在所述多个光电转换元件中，分别具有透过不同颜色分量的光的滤色器，该多个滤色器以多个颜色为1个单元周期性地排列，该固体摄像元件具有信号输出部，该信号输出部将经由所述A/D转换部输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比所述光电转换元件的数量少的信号数而进行输出，并且，从所述信号输出部输出的多个输出信号的采样重心分别为等间隔。
第一方面记载的固体摄像元件具有信号输出部，并且，从信号输出部输出的多个输出信号的采样重心分别为等间隔，其中，信号输出部将经由A/D转换部输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比光电转换元件的数量少的信号数而进行输出，从而在从该固体摄像元件输出图像数据时，能降低像素速率并抑制视场角变窄和画质劣化。
并且，第一方面记载的固体摄像元件如第二方面记载的发明那样，所述滤色器由RGB三原色的拜尔(Bayer)排列来构成，由所述信号输出部生成的输出信号也是所述RGB三原色的拜尔(Bayer)，从而在根据拜尔排列的像素排列生成缩小图像时，能抑制画质劣化而不打乱RGB的像素间隔。
并且，第一方面记载的固体摄像元件如第三方面记载的发明那样可以构成为，在所述信号输出部中，对所述多个颜色的不同颜色光的输出进行混合。
并且，第一方面记载的固体摄像元件如第四方面记载的发明那样，所述信号输出部可以构成为，即使在相同的采样位置上，也能根据帧来改变所述多个颜色的不同颜色光的输出的混合比率。
并且，第三方面记载的固体摄像元件如第五方面记载的发明那样可以构成为，所述滤色器由R(红)、G(绿)、B(蓝)三原色的拜尔(Bayer)排列来构成，由所述信号输出部生成的输出信号为C(青绿色)、Ye(黄色)、G(绿色)和M(品红色)。
并且，第三方面记载的固体摄像元件如第六方面记载的发明那样可以构成为，所述滤色器由R(红)、G(绿)、B(蓝)三原色的拜尔(Bayer)排列来构成，由所述输出部生成的输出信号为亮度Y、色差信号C1、C2。
并且，第六方面记载的固体摄像元件如第七方面记载的发明那样可以构成为，由所述信号输出部生成的所述色差信号C1和C2比所述亮度Y的信号数少。
并且，第六方面记载的固体摄像元件如第八方面记载的发明那样可以构成为，在生成所述色差信号C1和C2中的至少一个中，所述信号输出部进行伪色的抑制。
并且，第一方面记载的固体摄像元件如第九方面记载的发明那样，具有可变增益放大器，其按照所述多个颜色的每个颜色来改变从所述光电转换元件输出的模拟信号量，该固体摄像元件构成为能通过所述增益放大器对经由该固体摄像元件拍摄到的图像颜色的白平衡进行调整，从而能进一步提高便利性。
并且，第一方面记载的固体摄像元件如第十方面记载的发明那样，该固体摄像元件具有切换单元，该切换单元在从所述信号输出部输出输出信号时，切换第一输出模式和第二输出模式，其中，所述第一输出模式为混合所述多个数字信号来进行输出，所述第二输出模式为不混合所述多个数字信号而输出每个所述光电转换元件的数字信号，从而能容易地切换从该固体摄像元件读取图像数据时的数据率和分辨率。
接着，第十一方面记载的发明为一种摄像装置，该摄像装置具有：摄像光学系统，其将被摄体像导入固体摄像元件来使之成像；固体摄像元件，其将所述成像后的被摄体像进行光电转换而进行输出；以及图像处理装置，其针对从所述固体摄像元件输出的输出信号施加预定的图像处理，再现所述被摄体像，该摄像装置的特征在于，所述固体摄像元件是第一方面记载的固体摄像元件。
第十一方面记载的摄像装置具有第一方面记载的固体摄像元件，所以能降低从固体摄像元件读取的像素信号的像素速率并抑制视场角变窄和画质劣化，进而能有效地使用RGB三原色的拜尔(Bayer)排列的固体摄像元件。
并且，第十一方面记载的摄像装置具有能调整白平衡的固体摄像元件，从而能进一步提高画质。
并且，第十一方面记载的摄像装置如下，固体摄像元件具有对第一输出模式和第二输出模式进行切换的切换单元，其中，第一输出模式为混合多个数字信号来进行输出，第二输出模式为不混合所述多个数字信号而输出每个光电转换元件的数字信号，从而能容易地切换数据率和分辨率。
接着，第十二方面记载的发明为一种摄像装置，该摄像装置具有：摄像光学系统，其将被摄体像导入固体摄像元件来使之成像；固体摄像元件，其将所述成像后的被摄体像进行光电转换而进行输出；以及图像处理装置，其针对从所述固体摄像元件输出的输出信号施加预定的图像处理，再现所述被摄体像，该摄像装置的特征在于，所述固体摄像元件是第四方面记载的固体摄像元件，所述图像处理装置根据多个帧来再现所述被摄体像。
根据第十二方面记载的摄像装置，构成为固体摄像元件是第四方面记载的固体摄像元件，图像处理装置根据多个帧来再现所述被摄体像，所以能通过图像处理根据多个帧来生成高品质的图像。
本发明的固体摄像元件具有信号输出部，并且从信号输出部输出的多个输出信号的采样重心分别为等间隔，其中，该信号输出部将经由A/D转换部输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比光电转换元件的数量少的信号数而进行输出，从而在从该固体摄像元件输出图像数据时，能降低像素速率并抑制视场角变窄和画质劣化。
并且，本发明的固体摄像元件中，滤色器由RGB三原色的拜尔(Bayer)排列来构成，由信号输出部生成的输出信号也是RGB三原色的拜尔，从而能通过既有的图像处理来再现被摄体像而不打乱RGB的像素间隔。
并且，本发明的固体摄像元件中，在信号输出部中，能对多个颜色的不同颜色光的输出进行混合，生成Cy(青绿色)、Ye(黄色)、G(绿色)和Mg(品红色)等输出信号，或者生成亮度Y、色差信号C1、C2等输出信号，能进一步抑制画质劣化。
并且，本发明的固体摄像元件的信号输出部构成为，即使在相同的采样位置上，也能根据帧来改变所述多个颜色的不同颜色光的输出的混合比率，从而能通过图像处理根据多个帧来生成高品质的图像。
并且，本发明的固体摄像元件构成为，具有按照所述多个颜色的每个颜色来改变从光电转换元件输出的模拟信号量的可变增益放大器，并能通过增益放大器调整图像颜色的白平衡，从而能提高便利性。
并且，本发明的固体摄像元件具有在从信号输出部输出输出信号时切换第一输出模式和第二输出模式的切换单元，其中，第一输出模式为混合多个数字信号来进行输出，第二输出模式为不混合多个数字信号而输出每个光电转换元件的数字信号，从而能容易地切换数据率和分辨率。
并且，本发明的摄像装置具有能降低要读取的像素信号的像素速率并抑制视场角变窄和图像劣化的固体摄像元件，所以在拍摄动态图像时，能提高帧率并抑制图像劣化。
并且，本发明的摄像装置可以在固体摄像元件中具有在从信号输出部输出输出信号时切换第一输出模式和第二输出模式的切换单元，其中，第一输出模式为混合多个数字信号来进行输出，第二输出模式为输出每个光电转换元件的数字信号。从而能按照静止图像和动态图像的切换来选择摄像器件的优选输出模式，能得到与用途相应的分辨率和输出数据率。
并且，本发明的摄像装置中，固体摄像元件的信号输出部可以构成为，即使在相同的采样位置上，也能根据帧来改变所述多个颜色的不同颜色光的输出的混合比率。从而能通过图像处理根据多个帧来生成高品质的图像。
附图说明
图1是示出应用了本发明的固体摄像元件和摄像装置的第1实施方式的摄像装置1的结构的框图。
图2是第1实施方式的固体摄像元件中的信号输出部的说明图。
图3是示出应用了本发明的固体摄像元件和摄像装置的第2实施方式的信号输出部的动作的说明图。
图4是示出应用了本发明的固体摄像元件和摄像装置的第3实施方式的信号输出部的动作的说明图。
图5是本实施方式中的拜尔排列的像素配置图。
图6是第2实施方式的固体摄像元件中的奇数帧(odd Frame)的像素混合的说明图。
图7是第2实施方式的固体摄像元件中的偶数帧(even Frame)的像素混合的说明图。
图8是第2实施方式的图像处理芯片中的三维YC分离的说明图。
图9是现有例中的彩色图像传感器的输出信号的间除处理的说明图。
标号说明
10、摄像光学系统；20、固体摄像元件；21、光电转换元件(受光元件)；22、A/D转换部；23、信号输出部；24、图像处理部；25、输出部；30、图像处理芯片。
具体实施方式
(第1实施方式)
接着，根据附图说明本发明的固体摄像元件和摄像装置的第1实施方式。
图1是示出应用了本发明的固体摄像元件和摄像装置的第1实施方式的摄像装置1的结构的框图。图2是第1实施方式的固体摄像元件中的信号输出处理的说明图。
如图1所示，摄像装置1由以下部分构成：摄像光学系统10，其将被摄体像导入固体摄像元件20来使之成像；固体摄像元件20，其将成像后的被摄体像进行光电转换而进行输出；图像处理芯片30，其针对从固体摄像元件20输出的输出信号施加预定的信号处理，并再现被摄体像。在此，芯片是封装化的半导体集成电路。
固体摄像元件20具有：多个光电转换元件(受光元件)21，其在行和列方向上排列成格子状，输出与受光量相应的模拟信号；A/D转换部22，其将从多个光电转换元件输出的模拟信号量化成数字信号而进行输出；信号输出部23，其将经由A/D转换部22输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比光电转换元件的数量少的信号数而进行输出。
并且，多个光电转换元件21中分别具有透过不同颜色分量的光的滤色器，该多个滤色器以多个颜色为1个单元周期性地排列着。
并且，固体摄像元件20是单板式摄像器件，构成为多个光电转换元件21被配置成矩阵状，在该固体摄像元件的前面，与光电转换元件对应地具有由R(红)G(绿)B(蓝)三原色的拜尔(Bayer)排列构成的滤色器(参照图2(a))，将通过各色滤波器的单一颜色的光量转换成模拟电信号。
具体如图2(a)所示，上述原色拜尔排列为：以方格花纹图案配置G色滤波器，交替地构成交替配置了G色滤波器和R色滤波器列和配置了G色滤波器和B色滤波器的列。并且，在本实施例中，在图2(a)中与R并列地配置成一个方向的G色表示为Gr，与B并列地配置成一个方向的G色表示为Gb。
并且，在本实施方式中，固体摄像元件20用8M像素(pixel)的像素数(即光电转换元件21的数量)来构成，在拍摄静止图像时输出8Mpixel，在拍摄动态图像时，将宽度方向和高度方向的像素数设为1/2，输出HD动态图像拍摄所需的2M pixel。
从光电转换元件21输出的电信号通过A/D转换部22转换成数字信号，作为初始的RAW数据输出到信号处理部23。
信号处理部23由对RAW数据进行间除处理来生成输出信号的图像处理部24、和将由图像处理部24生成的输出信号输出到图像处理芯片30的输出部25构成。
图像处理部24接受RAW数据，按R、Gr、Gb、B的每个像素应用低通滤波器，并将像素数据间除成纵横1/2而传送到信号输出部。
例如，可应用如下所述的低通滤波器：如果一个方向上的图像的缩小率设为1/2，则以fs/4((fs/2)×(1/2))为截止频率。此时，如图5(a)所示，与拜尔排列对应起来分配各像素序号。
首先，为了生成Gr，在将Gr00作为起始像素的6×6像素范围内的像素上，安装图2(c)所示的滤波器。
具体而言，利用(Gr00×1+Gr01×2+Gr02×1+Gr10×2+Gr11×8+Gr12×6+Gr20×1+Gr21×6+Gr22×5)÷32的运算式来计算Gr的输出信号。此时，滤波器的系数被设定成在将Gr00作为起始像素的6×6像素范围的中心上具有重心，并且构成对混淆(aliasing)进行抑制的高频滤波器。在本实施方式中，从高分辨率的原始图像中采样低分辨率的像素。此时，如果原始图像中含有用缩小后的图像不能表示的高频率(奈奎斯特以上)，则缩小后的图像变暗。因此，本实施方式通过使用高频滤波器对缩小前的图像进行平滑处理，从而得到适合缩小后的图像的亮度。
然后，为了生成R，相对于Gr将扫描范围往右方向移动2个像素，在将Gr01作为起始像素的6×6像素范围内的像素上，安装图2(d)所示的滤波器。
具体而言，利用(R01×1+R02×2+R03×1+R11×6+R12×8+R13×2+R21×5+R22×6+R23×1)÷32的运算式来计算R的输出信号。此时，滤波器的系数被设定成在将Gr01作为起始像素的6×6像素范围的中心上具有重心，并且构成对混淆进行抑制的高频滤波器。
然后，为了生成Gb，相对于R的生成将扫描范围往下方向移动2个像素，在将Gr11作为起始像素的6×6像素范围内的像素上，安装图2(f)所示的滤波器。
具体而言，利用(Gb11×5+Gb12×6+Gb13×1+Gb21×6+Gb22×8+Gb23×2+Gb31×1+Gb32×2+Gb33×1)÷32的运算式来计算Gb的输出信号。此时，滤波器的系数被设定成在将Gr11作为起始像素的6×6像素范围的中心上具有重心，并且构成对混淆进行抑制的高频滤波器。
然后，为了生成B，相对于Gr的生成将扫描范围往下方向移动2个像素，在将Gr10作为起始像素的6×6像素范围内的像素上，安装图2(e)所示的滤波器。
具体而言，利用(B10×1+B11×6+B12×5+B20×2+B21×8+B22×6+B30×1+B31×2+B32×1)÷32的运算式来计算B的输出信号。此时，滤波器的系数被设定成在将Gr10作为起始像素的6×6像素范围的中心上具有重心，并且构成对混淆进行抑制的高频滤波器。
通过按照每纵横4个像素重复进行这些处理，从而如图2(g)所示，能输出缩小到纵横1/2后的图像数据而不打乱原来的拜尔排列，能抑制在后级的图像处理芯片30中生成彩色图像时的画质劣化。即，能从信号输出部23得到采样重心等间隔的输出信号。
接着，图像处理芯片30使用从固体摄像元件20输出的图像数据生成彩色图像。
即，单板式的摄像元件中，各像素只具有单色的颜色信息，为了表示彩色图像，各像素需要所有红色(R)、绿色(G)、蓝色(B)的值。因此，在使用单板式摄像元件的图像处理中，根据各像素仅具有R、G、B分量中的任意一种的颜色马赛克图像，进行所谓公知的反马赛克处理。在此，反马赛克处理是指如下的处理：对于颜色马赛克图像的各像素的单色信息，使用从其周边像素集中的其他不足颜色的亮度信息进行插值运算，从而生成各像素分别具有所有R、G、B分量的彩色图像(即颜色插值处理)。
以上，按照第1实施方式的固体摄像元件20和摄像装置，具有信号输出部，并且从信号输出部输出的多个输出信号的采样重心分别为等间隔，其中，该信号输出部将经由A/D转换部输出的多个数字信号，在预定采样位置上按照不同的预定比率进行混合，成为比光电转换元件的数量少的信号数而进行输出，从而从该固体摄像元件输出图像数据时，能降低像素速率并抑制视场角变窄和画质劣化。并且，滤色器由RGB三原色的拜尔(Bayer)排列来构成，由信号处理部生成的输出信号也是上述RGB三原色的拜尔(Bayer)，从而能通过与处理初始的RAW数据相同的图像处理芯片30来生成抑制了画质劣化的被摄体像。
此外，在利用信号处理部进行滤波时，可以按照低通滤波器的强度的调整或图像处理芯片30的处理来改变滤波器的系数。
(第2实施方式)
然后，使用图3说明本发明的第2实施方式。图3是本发明的固体摄像元件的图像处理的说明图。
第2实施方式的固体摄像元件和摄像装置与第1实施方式中表示的图像处理部24的动作不同，基本上与第1实施方式的结构相同，所以省略对相同的构成部分的详细说明，针对特征部分进行如下说明。
如图3所示，第2实施方式的图像处理部24将输出信号设为总像素数的1/2，以互补色系的CYGM形式进行输出。在此，从固体摄像元件的各光电转换元件21输出的像素排列是图5(a)所示的拜尔排列，作为A/D转换部22初始的RAW数据输出到图像处理部24。
图像处理部24接受RAW数据，一边混合不同颜色的像素信号，一边应用低通滤波器并将像素数据间除成纵横1/2来生成输出信号。
例如，可应用如下所述的低通滤波器：如果一个方向上的图像的缩小率设为1/2，则以fs/4((fs/2)×(1/2))为截止频率。此时，如图5(a)所示，与拜尔排列对应起来分配各像素序号。
首先，为了生成G，在将Gr00作为起始像素的5×5像素范围内的像素上，安装图3(c)所示的滤波器。
具体而言，利用(Gr00×2+Gr01×4+Gr02×2+Gb00×8+Gb01×8+Gr10×4+Gr11×8+Gr12×4+Gb10×8+Gb11×8+Gr20×2+Gr21×4+Gr22×2)÷64的运算式来计算G的输出信号。
然后，为了生成Cy，相对于G将扫描范围往右方向移动2个像素，在将Gr01作为起始像素的5×5像素范围内的像素上，安装图3(d)所示的滤波器。
具体而言，利用(Gr01×1+Gr02×2+Gr03×1+B01×4+Gb01×4+B02×8+Gb02×4+B03×4+Gr11×2+Gr12×4+Gr13×2+B11×4+Gb11×4+B12×8+Gb12×4+B13×4+Gr21×1+Gr22×2+Gr23×1)÷64的运算式来计算Cy的输出信号。
然后，为了生成Ye，相对于G的生成将扫描范围往下方向移动2个像素，在将Gr10作为起始像素的5×5像素范围内的像素上，安装图3(e)所示的滤波器。
具体而言，利用(Gr10×1+R10×4+Gr11×2+R11×4+Gr12×1+Gb10×4+Gb11×4+Gr20×2+R20×8+Gr21×4+R21×8+Gr22×2+Gb20×4+Gb21×4+Gr30×1+R30×4+Gr31×2+R31×4+Gr32×1)÷64的运算式来计算Ye的输出信号。
然后，为了生成Mg，相对于Ye的生成将扫描范围往右方向移动2个像素，在将Gr11作为起始像素的5×5像素范围内的像素上，安装图3(g)所示的滤波器。
具体而言，利用(R11×4+R12×4+B11×4+B12×8+B13×4+R21×8+R22×8+B21×4+B22×8+B23×4+R31×4+R32×4)÷64的运算式来计算Mg的输出信号。
按照上述的运算式进行滤波使得以2个像素间隔生成CYGM排列。通过按照每纵横4个像素重复进行这些处理，从而采样重心成为等间隔，所以能抑制由于像素间除引起的分辨率低下。此外，在进行滤波时，可以根据需要改变低通滤波器的强度，或者变更滤波器的系数。
接着，将在图像处理部24中缩小后的RAW数据输出到图像处理芯片30，在图像处理芯片30中，进行基于互补色系的公知的反马赛克处理，生成彩色图像。
而且，在拍摄动态图像时，在图像处理部中，可以根据帧来改变像素混合的方法。
例如，对于奇数帧，在图6(a)的各Gb像素位置的周边安装用图中的数字来表示3×3像素范围的滤波器，以图6(b)所示的方式进行间除输出。G、Cy、Ye、Mg指示的滤波器将不同颜色的像素信号按照各自不同的比率进行混合，该间除输出以2个像素间隔来生成CYGM排列。对于偶数帧，如图7(a)所示，更换G和Mg、Cy和Ye的滤波器，以图7(b)所示的方式进行间除输出。
然后，此时如图8所示，在图像处理芯片30中，进行所谓三维YC分离来生成彩色图像。具体而言，在图像处理芯片30中，在接受到第n个帧Fn时，通过计算与前面的Fn-1之间的平均，来生成所有输出像素的亮度信号Y＝(Gr+Gb+R+B)/2。
并且，通过计算Fn与其前面的Fn-1之间的差，能够得到G和Mg像素位置的第一色差C1＝(G—Mg)＝(Gr+Gb—R—B)/2、以及Cy和Ye像素位置的第二色差C2＝(Cy—Ye)＝(B—R)/2，输出根据这些处理生成的彩色图像。
由此，能对动作少的被摄体生成高品质的图像。并且，在图像处理芯片30中，还可以按照被摄体的动作大小来切换根据单一帧进行的图像生成和根据所谓三维YC分离进行的图像生成。
(第3实施方式)
接着，使用图4说明本发明的第3实施方式。图4是本发明的固体摄像元件的图像处理的说明图。
第3实施方式的固体摄像元件和摄像装置与第1实施方式中表示的图像处理部24的动作不同，基本上与第1实施方式的结构相同，所以省略对相同的构成部分的详细说明，针对特征部分进行如下说明。
如图4所示，第3实施方式的图像处理部24将输出信号设为总像素数的1/2，以YCC形式进行输出(即输出亮度Y和两个色差C1、C2)。并且，此时以采样格式4：2：2进行输出。
在此，从固体摄像元件的各光电转换元件21输出的像素排列是图5(b)表示的拜尔排列，作为A/D转换部22初始的RAW数据输出到图像处理部24。并且，优选构成为：按照每个颜色具有可变增益放大器，在通过A/D转换部22进行A/D转换之前，调整光电转换元件21的输出信号，取得白平衡。
首先，为了生成Y，在将B00作为起始像素的3×3像素范围内的像素上，安装图4(c)所示的滤波器。此时，如图5(b)所示，与拜尔排列对应起来分配各像素序号。
具体而言，利用(B00×1+Gb01×2+B01×1+Gr10×2+R11×4+Gr11×2+B10×1+Gb11×2+B11×1)÷16的运算式来计算Y的输出信号。该信号的采样重心是R11的位置。该运算式是以fs/2(奈奎斯特频率(Nyquist frequency)为截止频率的低通滤波器，由此生成的Y是R：G：B＝1：2：1的混合比率。
接着，为了生成C2，在将R00作为起始像素的5×5像素范围内的像素上，安装图4(d)所示的滤波器。
具体而言，利用(R00×1+R01×2+R02×1+B00×(-4)+B01×(-4)+R10×2+R11×4+R12×2+B10×(-4)+B11×(-4)+R20×1+R21×2+R22×1)÷32的运算式来计算C2的输出信号。该信号的采样重心是R11的位置。该滤波器等价于在R和B上安装fs/4的滤波器后取得R和B的差值，C2是R：G：B＝1：0：(-1)的混合比率。
接着，为了生成Y，在将B01作为起始像素的3×3像素范围内的像素上，安装图4(c)所示的滤波器，生成采样重心为R12位置的Y的输出信号。此后，为了生成C1，在将R01作为起始像素的5×5像素范围内的像素上，安装图4(e)所示的滤波器。
具体而言，利用(R01×(-1)+Gr01×2+R02×(-2)+Gr02×2+R03×(-1)+Gb01×2+B01×(-4)+Gb02×4+B02×(-4)+Gb03×2+R11×(-2)+Gr11×4+R12×(-4)+Gr12×4+R13×(-2)+Gb11×2+B11×(-4)+Gb12×4+B12×(-4)+Gb13×2+R21×(-1)+Gr21×2+R22×(-2)+Gr22×2+R23×(-1))÷32的运算式来生成C1的输出信号。该信号的采样重心是R12的位置。该滤波器等价于在R、Gr、Gb、B上分别安装fs/4的滤波器后取得(Gr+Gb)和(R+B)的差值，C1是R：G：B＝(-1)：2：(-1)的混合比率。
通过以纵2个像素、横4个像素的间隔重复进行这些处理，如图4(f)所示，根据以纵横2个像素间隔间除生成的亮度Y、以纵2个像素、横4个像素间隔间除生成的C1和C2，生成Y：C1：C2＝4：2：2的1/2输出的图像。
此外，在利用信号处理部进行滤波时，还可以对调整低通滤波器强度的滤波器大小进行改变，或者对滤波器系数进行变更。并且，优选针对亮度实施比色差弱的低通滤波器，针对色差实施比亮度强的低通滤波器。
以上，按照第3实施方式，在YCC4：2：2的输出方式中，像素数缩小成1/4，此时，还包含色差信息，每1个像素是2值，若一个值是12比特则每1个像素是24比特。于是，进行2M像素的动态图像输出图像时的信息输出是24比特×2M像素×60fps＝2.88Gbps，将频带控制成1/2。
此外，如图4(g)所示，通过将图像处理部23的色差的间除设为纵横4个像素间隔，能取得YCC＝4：2：0的采样格式。此时，每1个像素平均是18比特，进行2M像素的动态图像输出图像时的信息输出是18比特×2M像素×60fps＝2.16Gbps，将频带控制成3/8。
接着，在图像处理芯片30中，根据从固体摄像元件输出的YCC转换成公知的RGB或YCbCr(ITU-R(International Telecommunication Union-Radio communication Sector)BT.601)等标准彩色图像的颜色空间，生成彩色图像。
以上，按照第3实施方式，根据三原色的拜尔(Bayer)排列生成亮度Y、色差信号C1、C2的输出信号时，得到以等间隔构成采样重心的亮度Y和色差C1、C2，能降低输出数据率，同时因为针对所有的输出像素取得亮度Y，所以能得到高分辨率的图像。
并且，在生成色差信号C1、C2时，还能进行伪色抑制。作为伪色抑制的一个例子，说明C2上红色或蓝色的伪色抑制。在由固体摄像元件20构成的拜尔排列的彩色图像传感器中，在奈奎斯特频率附近的高频上容易产生红色或蓝色的伪色，所以能通过取得Gr和Gb的差值来检测它们的花纹图案，并抑制伪色。
具体而言，如前所述，利用C2＝(R00×1+R01×2+R02×1+B00×(-4)+B01×(-4)+R10×2+R11×4+R12×2+B10×(-4)+B11×(-4)+R20×1+R21×2+R22×1)÷32的运算式来计算C2。
接着，利用K＝((Gr00×1+Gr10×2+Gr20×1+Gr01×1+Gr11×2+Gr21×1)-(Gb00×1+Gb01×2+Gb02×1+Gb10×1+Gb11×2+Gb12×1))÷16的运算式来计算高频分量K。
接着，利用下述公式从C2的绝对值(在除零范围内)中减去K2的绝对值即可。
C2→sign(C2)max(abs(C2)—abs(K)，0)
以上说明了本发明的实施方式，但是本发明不限于上述实施方式，对于在图像处理部24中使用的滤波器的形状或从信号输出部25输出的数据的输出形式等，能采用各种方式。

Claims (12)

1.一种固体摄像元件，其特征在于，该固体摄像元件具有：
多个光电转换元件，其在行和列方向上排列成格子状，输出与受光量相应的模拟信号；
A/D转换部，其将从所述多个光电转换元件输出的模拟信号量化成数字信号而进行输出；
在所述多个光电转换元件中，分别具有透过不同颜色分量的光的滤色器，该多个滤色器以多个颜色为1个单元周期性地排列，
该固体摄像元件具有信号输出部，该信号输出部将经由所述A/D转换部输出的多个数字信号在预定的采样位置上按照不同的预定比率进行混合，成为比所述光电转换元件的数量少的信号数而进行输出，
并且，从所述信号输出部输出的多个输出信号的采样重心分别为等间隔。
2.根据权利要求1所述的固体摄像元件，其特征在于，
所述滤色器由RGB三原色的拜尔排列来构成，由所述信号输出部生成的输出信号也是所述RGB三原色的拜尔。
3.根据权利要求1所述的固体摄像元件，其特征在于，
在所述信号输出部中，对所述多个颜色的不同颜色光的输出进行混合。
4.根据权利要求1所述的固体摄像元件，其特征在于，
所述信号输出部被构成为，即使在相同的采样位置上，也能根据帧来改变所述多个颜色的不同颜色光的输出的混合比率。
5.根据权利要求3所述的固体摄像元件，其特征在于，
所述滤色器由R、G、B三原色的拜尔排列来构成，
由所述信号输出部生成的输出信号为C、Ye、G和M。
6.根据权利要求3所述的固体摄像元件，其特征在于，
所述滤色器由R、G、B三原色的拜尔排列来构成，
由所述信号输出部生成的输出信号为亮度Y、色差信号C1、C2。
7.根据权利要求6所述的固体摄像元件，其特征在于，
由所述信号输出部生成的所述色差信号C1和C2比所述亮度Y的信号数少。
8.根据权利要求6所述的固体摄像元件，其特征在于，
在生成所述色差信号C1和C2中的至少一个时，所述信号输出部进行伪色的抑制。
9.根据权利要求1所述的固体摄像元件，其特征在于，
该固体摄像元件具有可变增益放大器，该可变增益放大器按照所述多个颜色的每个颜色来改变从所述光电转换元件输出的模拟信号量，
该固体摄像元件被构成为，能通过所述可变增益放大器，对经由该固体摄像元件拍摄到的图像颜色的白平衡进行调整。
10.根据权利要求1所述的固体摄像元件，其特征在于，
该固体摄像元件具有切换单元，该切换单元在从所述信号输出部输出输出信号时，切换第一输出模式和第二输出模式，其中，
所述第一输出模式为混合所述多个数字信号来进行输出，
所述第二输出模式为不混合所述多个数字信号而输出每个所述光电转换元件的数字信号。
11.一种摄像装置，该摄像装置具有：
摄像光学系统，其将被摄体像导入固体摄像元件来使之成像；
固体摄像元件，其将所述成像后的被摄体像进行光电转换而进行输出；以及
图像处理装置，其针对从所述固体摄像元件输出的输出信号施加预定的图像处理，再现所述被摄体像，
该摄像装置的特征在于，
所述固体摄像元件是权利要求1所述的固体摄像元件。
12.一种摄像装置，该摄像装置具有：
摄像光学系统，其将被摄体像导入固体摄像元件来使之成像；
固体摄像元件，其将所述成像后的被摄体像进行光电转换而进行输出；以及
图像处理装置，其针对从所述固体摄像元件输出的输出信号施加预定的图像处理，再现所述被摄体像，
该摄像装置的特征在于，
所述固体摄像元件是权利要求4所述的固体摄像元件，所述图像处理装置根据多个帧来再现所述被摄体像。
CNA2008101869998A 2007-12-12 2008-12-12 固体摄像元件及使用该固体摄像元件的装置 Pending CN101459787A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007320455A JP4377428B2 (ja) 2007-12-12 2007-12-12 固体撮像素子及びそれを用いた撮像装置
JP2007320455 2007-12-12

Publications (1)

Publication Number Publication Date
CN101459787A true CN101459787A (zh) 2009-06-17

Family

ID=40755484

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101869998A Pending CN101459787A (zh) 2007-12-12 2008-12-12 固体摄像元件及使用该固体摄像元件的装置

Country Status (6)

Country Link
US (1) US7973831B2 (zh)
JP (1) JP4377428B2 (zh)
KR (1) KR101011833B1 (zh)
CN (1) CN101459787A (zh)
TW (1) TWI386049B (zh)
WO (1) WO2009075243A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131460A (zh) * 2015-05-08 2016-11-16 佳能株式会社 成像装置、成像系统和信号处理方法
CN109346493A (zh) * 2013-07-08 2019-02-15 株式会社尼康 摄像装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585045B1 (ja) * 2009-07-07 2010-11-24 アキュートロジック株式会社 画像処理装置及び画像処理方法、画像処理プログラム
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
JP5633518B2 (ja) 2009-11-27 2014-12-03 株式会社ニコン データ処理装置
JP4825311B1 (ja) * 2010-09-09 2011-11-30 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
CN103348675B (zh) * 2011-01-28 2016-05-25 日本电气株式会社 二维信号编码设备和二维信号编码方法
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
JP6065395B2 (ja) * 2012-03-15 2017-01-25 株式会社ニコン 撮像装置
JP6069857B2 (ja) * 2012-03-15 2017-02-01 株式会社ニコン 撮像装置
TWI694726B (zh) * 2013-02-27 2020-05-21 日商新力股份有限公司 攝像元件
JP2015088810A (ja) * 2013-10-29 2015-05-07 耕太郎 滝上 色差信号を利用した画像処理方法
JP6270423B2 (ja) * 2013-11-14 2018-01-31 キヤノン株式会社 画像処理装置およびその制御方法
US9219870B1 (en) * 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
JP6628987B2 (ja) * 2015-06-16 2020-01-15 ハンファテクウィン株式会社 画像処理装置、画像処理方法及び撮像装置
KR102362138B1 (ko) * 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
US10848730B2 (en) 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
KR102412278B1 (ko) * 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
CN107635087B (zh) * 2017-11-08 2024-05-07 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247689A (ja) 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
US6452632B1 (en) 1997-01-31 2002-09-17 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
US6366318B1 (en) 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
JP4142340B2 (ja) 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
JP3877695B2 (ja) * 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP2006262382A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Corp 画像処理装置
JP2007088733A (ja) 2005-09-21 2007-04-05 Fujifilm Corp Ｃｃｄ型単板式カラー固体撮像素子
JP4682070B2 (ja) * 2006-03-23 2011-05-11 Ｈｏｙａ株式会社 画像信号処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346493A (zh) * 2013-07-08 2019-02-15 株式会社尼康 摄像装置
CN106131460A (zh) * 2015-05-08 2016-11-16 佳能株式会社 成像装置、成像系统和信号处理方法

Also Published As

Publication number Publication date
JP4377428B2 (ja) 2009-12-02
TWI386049B (zh) 2013-02-11
KR20100086510A (ko) 2010-07-30
JP2009147489A (ja) 2009-07-02
WO2009075243A1 (ja) 2009-06-18
TW200926796A (en) 2009-06-16
KR101011833B1 (ko) 2011-01-31
US20100277628A1 (en) 2010-11-04
US7973831B2 (en) 2011-07-05

Similar Documents

Publication Publication Date Title
CN101459787A (zh) 固体摄像元件及使用该固体摄像元件的装置
CN101867830B (zh) 图像处理设备及其控制方法
US20130308022A1 (en) Mosaic image processing method
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
CN101494795B (zh) 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
US9159758B2 (en) Color imaging element and imaging device
US9143747B2 (en) Color imaging element and imaging device
CN104412581B (zh) 彩色摄像元件及摄像装置
CN102224736A (zh) 摄像装置
CN1178520C (zh) 画像信号处理装置
US9219894B2 (en) Color imaging element and imaging device
JP2733859B2 (ja) カラー撮像装置
CN106067935B (zh) 图像拾取装置、图像拾取系统和信号处理方法
US9185375B2 (en) Color imaging element and imaging device
US20140307135A1 (en) Color imaging element
CN103270757B (zh) 图像传感装置和控制其操作的方法
Hubel Foveon technology and the changing landscape of digital cameras
US20020060743A1 (en) Image processing apparatus and method
WO2007082289A2 (en) Color filter array with neutral elements and color image formation
CN103380623A (zh) 彩色图像拾取元件
CN1170305A (zh) 高分辨率摄像机的垂直线倍增方法及其电路
US20030063205A1 (en) Aliasing reducing
JP2635545B2 (ja) 固体撮像装置
JPH0640670B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090617