具体实施方式
参照附图对本发明的实施方式进行说明。
(第一实施方式)
图1是表示本发明的第一实施方式中的拍摄装置的图。拍摄装置100由摄像部101和图像处理部110构成。摄像部101包括拍摄被摄体并积蓄像素信号的XY地址方式CMOS图像传感器102、按照被摄体的亮度来放大像素信号的放大器103、以及将像素信号转换为数字图像数据的A/D转换器104。放大器103及A/D转换器104构成转换机构111。图像处理部110包括存储器105、107和图像处理机构106、108。即在本实施方式中,拍摄装置100通过图像处理机构106、108来进行两种图像处理。存储器105存储由A/D转换器104输出的数字图像数据。图像处理机构106从存储器105读出数字图像数据,将其进行图像处理后写入存储器107。图像处理机构108从存储器107读出已写入的数字图像数据,将其进行另一种图像处理后输出。作为图像处理机构106和108所进行的图像处理的例子,可以举出已知的各种各样的图像处理,例如:校正透镜失真的处理、将Bayer排列的颜色信息转换为RGB的处理、利用RGB信号的矩阵运算的颜色校正、γ校正、图像数据的压缩编码处理等。对于上述图像处理的内容,省略说明。
下面,用图1~3来说明主要构成要素。如图1所示的XY地址方式CMOS图像传感器102是可以指定位于所希望的位置中的像素的地址、并能够读出该像素信号的图像传感器。图2是表示在从XY地址方式CMOS图像传感器102读出像素信号时所采用的矩形块读出方式的图。在图2所示的例中,摄像区域被分割为3×4的矩形块(0,0)、…、(2,3)。区域200既是对于矩形块(0,0)在水平和垂直方向上附加了规定的像素数的区域,也是对应于矩形块(0,0)的读出块单位。积蓄在XY地址方式CMOS图像传感器102的像素信号,以对应于各个矩形块这样的读出块为单位被读出。在此,对于附加在矩形块的规定的像素的区域,在相邻的读出块之间互相重叠地被读出。
图3是表示对应于各个矩形块的读出块重叠在邻接的矩形块的情况的图。作为如图3所示的对应于矩形块(i,j)的读出块300中的水平方向的重叠量301,只要确保为以后对矩形块(i,j)所进行的图像处理所需的滤波运算的水平方向的像素数的宽度即可。同样,对于垂直方向的重叠量302,只要确保为后续的图像处理所需的滤波运算的垂直方向的像素数的宽度即可。此外,就位于摄像区域的端部的矩形块而言,当然不需要在像素信号不存在的方向上确保重叠量。例如,图2中,由于矩形块(0,0)位于摄像区域的左上端部,所以实际上,区域200在矩形块(0,0)的左方向和上方向的重叠量为0。
下面,参照图4所示的本实施方式中的拍摄装置100的处理流程,并对应各个构成要素来说明处理流程的各个步骤。
步骤S400:使用XY地址方式CMOS图像传感器102对被摄体进行摄像。
步骤S401:以对邻接的矩形块在水平和垂直方向上重叠了规定的像素数的读出块为单位,来读出通过摄像而积蓄在XY地址方式CMOS图像传感器102中的像素信号。
步骤S402:通过放大器103和A/D转换器104,将像素信号放大并加以A/D转换,以生成数字图像数据。
步骤S403:在图像处理机构106和108,通过以读出块为单位的流水线处理来进行图像处理。
步骤S404:若所有的矩形块的处理已完毕则结束处理,若尚未完毕则返回步骤S401。
根据第一实施方式,由于在读出各个矩形块时,是以包括该矩形块的图像处理所需的邻接矩形块中的像素信号在内的读出块为单位来进行读出的,所以可以只使用读出块中的图像数据,对该矩形块进行图像处理。因此,与现有技术不同,不需要将多个矩形块的数据同时保存在存储器上,或者没有必要每次都将图像处理所需的图像数据在存储器上解压,从而可以减少存储器容量和数据存取量,实现低成本化。另外,也容易实现流水线处理。
本实施例中示出了,通过存储器107连接两个图像处理机构106和108,并以流水线处理的方式进行两种图像处理的例子。然而,也可以相应于图像处理的数目来增减图像处理机构和存储器、变更流水线处理的级数。虽然图像处理的数目增加则存储器的数目也增加,但是各个存储器可以是小容量,只要各具相当于读出块单位的容量即可。并且,由于用于读写数据的存储器存取被分散到各个存储器,所以各个存储器的存取带宽可以较小。因此,与以往相比,成本增加的幅度可被控制得更小。
(第二实施方式)
图5是表示本发明的第二实施方式中的拍摄装置500的图。拍摄装置500在第一实施方式中的拍摄装置100的A/D转换器104与存储器105之间具有噪声降低部510,在由A/D转换器104输出的数字图像数据未被写入到存储器105之前对其进行噪声降低处理。对于与第一实施方式相同之处,使用相同的参照标记并省略说明。噪声降低部510对于包含在读出块中的区域中的、与已进行了读出的其他读出块的区域相重叠的区域及不重叠的区域,分别进行不同特性的噪声降低处理。即,噪声降低部510对对应于在摄像之后第一次从XY地址方式CMOS图像传感器102读出的像素信号的图像数据、及对应于此外的像素信号的图像数据,分别进行不同特性的噪声降低处理。如此切换噪声降低方式的理由将于后述。
对噪声降低部510的内部构成进行说明。噪声降低特性控制机构600进行特性A噪声降低机构601与特性B噪声降低机构602之间的切换。特性A噪声降低机构601是适于降低暗电流噪声、散粒噪声及kTC噪声的随机模式噪声的噪声降低机构。特性B噪声降低机构602是适于降低暗电流噪声及散粒噪声的随机模式噪声的噪声降低机构。在此,已知暗电流噪声、散粒噪声及kTC噪声是通常在CMOS图像传感器中会发生的噪声。因而省略对暗电流噪声、散粒噪声的说明。至于kTC噪声,将于说明切换噪声降低方式的理由时一并解释。
参照图6所示的噪声降低特性控制机构600的处理流程及图7所示的噪声去除的特性切换的例子,来说明处理流程的各个步骤。噪声降低特性控制机构600着眼于现在正在处理的图像数据中所包含的各个像素数据,来进行以下处理。
步骤S700:判断所着眼的像素数据是否是对应于第一次从XY地址方式CMOS图像传感器102读出的像素信号的像素数据。
步骤S701:若所着眼的像素数据不是对应于第一次读出的像素信号的像素数据,则通过特性A噪声降低机构601来进行处理。
步骤S702:若所着眼的像素数据是对应于第一次读出的像素信号的像素数据,则通过特性B噪声降低机构602来进行处理。
在此,若要判断对应于所着眼的像素数据的像素信号是否是第一次被读出的信号,则例如,噪声降低特性控制机构600只要将已被读出的像素信号的范围以像素信号的地址的范围或读出块为单位加以存储,并判断该范围是否包括该像素信号即可。
例如,考虑对应于图7所示的矩形块(i,j)的读出块的区域800。在读出了对应于矩形块(i,j)的读出块的时间点,斜线所示的区域801中所包含的像素数据被包含在以前已读出的、对应于矩形块(i-1,j-1)、(i,j-1)以及(i-1,j)的读出块中。由此可知,区域801中所包含的像素数据不是对应于第一次被读出的像素信号的像素数据。对于这样的区域801,由噪声降低特性A进行噪声降低处理。另外,分别对应于矩形块(i+1,j)、(i,j+1)以及(i+1,j+1)的读出块尚未被读出。由此可知,区域802中所包含的像素数据是对应于这次是第一次被读出的像素信号的像素数据。对于这样的区域802,由噪声降低特性B进行噪声降低处理。
下面,参照图8所示的本实施方式中的拍摄装置500整体的处理流程,并对应于各个构成要素,来说明处理流程的各个步骤。本处理流程是在第一实施方式的步骤S402与步骤S403之间追加了步骤S1000的流程。图8中,对与第一实施方式相同的步骤使用相同的参照标记,并省略说明。
步骤S1000:在噪声降低部510中,通过上述步骤S700-S702的处理,噪声降低特性得到切换,从而使噪声降低。
在此,说明对对应于在摄像之后第一次从XY地址方式CMOS图像传感器102读出的像素信号的图像数据、及对应于此外的像素信号的图像数据进行不同特性的噪声降低处理的理由。图9是表示一般的CMOS图像传感器的一个像素单位的构成的图。CMOS图像传感器的各个像素包括:接收光并积蓄电荷的PD(光电二极管);将被移出的电荷转换为电压的FD(浮动扩散);以及实现复位、放大、选择的功能的各个TR(晶体管)。这样的像素单位受到读出、选择、复位的各个信号线的控制,并将像素信号输出到输出信号线。
一般而言,在PD接收光且所积蓄的电荷被移出之前,FD的电位被复位。根据非专利文献1,此时在FD的电位产生被称为kTC噪声的随机模式噪声。之后,由FD移出电荷,FD的电位相应于该电荷而变动。从外部读出的像素信号是相应于该FD的电位变动而被放大的电位信号,而读出时的FD的电位处于加上了复位时所产生的kTC噪声之后的状态。所以,对复位时的FD的电位进行取样和保持,并将其从所读出的像素信号的电位中减去,便可以抵消kTC噪声。作为进行这样的取样及噪声抵消的电路,已知的有CDS(Correlated Double Sampling,相关性双采样)电路。
但是,在第二次以后进行像素信号的读出时,FD的电位与复位时相比发生了变化,并且也不能再次进行FD的电位的复位,因此用上述方法不能消除kTC噪声。为此,第二次读出的像素信号中包含kTC噪声。本实施方式中,对于对应于这样的像素信号的图像数据,特别采用适于降低kTC噪声的方式,来进行噪声降低处理。
根据第二实施方式,与第一实施方式同样,可以减少存储器容量和数据存取量,也可以实现低成本化,并容易实现流水线处理,同时还可以降低因再次读出像素信号而包含在像素数据中的kTC噪声,从而可以防止画质降低的情况。
以上所说明的本发明的拍摄装置可以通过集成电路的方式来实现。集成电路如图10的(a)所示那样,可以用单个芯片构成的集成电路1101来实现,也可以如图10的(b)所示那样,通过将摄像部的功能和图像处理部的功能分别集成到不同的集成电路1102及1103的两个芯片构成方式来实现。如图10的(c)所示那样,也可以将在第二实施方式中所说明过的噪声降低部510的功能集成到如上所述的集成电路上。图10的(c)表示使进行图像处理的集成电路1105具备噪声降低部510的例子,但也可以使进行摄像的集成电路1104具备噪声降低部510。另外,图10的(a)、(b)以及(c)表示具备两个存储器和图像处理机构的例子,但可以根据需要而增减其数目。如上所述的集成电路中,通过将所需的最小限度的少量存储器装载于集成电路中,可以削减诸如DRAM等外部存储装置,从而能够进一步减少成本及功耗。另外,本发明的拍摄装置也可以通过3个以上芯片的集成电路来实现。
并且,还可以使数字照相机系统具备本发明的拍摄装置。图11是表示具备拍摄装置的数字照相机系统的构成例的图。数字照相机系统包括:作为图像和声音的输入接口的摄像外围部及麦克风;自动聚焦部;控制自动聚焦部的照相机信号处理机构;具有分别进行图像和声音的编码及解码的图像编码器、图像解码器、声音编码器及声音解码器的AV信号处理机构;显示图像的显示部;作为输出视频及声音的接口的视频/声音接口;输出并输入记录数据的记录接口;以及控制以上所有要素的系统控制机构。在此例中,摄像外围部装有摄像部,在照相机信号处理机构装有图像处理部。
工业实用性
本发明所涉及的拍摄装置可应用于数字照相机系统等,特别是在高像素数、高画质的数字照相机系统中,有效于通过减少存储器和功耗来节省成本。
附图标记说明
100、500 拍摄装置
101 摄像部
102 XY地址方式CMOS图像传感器
103 放大器
104 A/D转换器
105、107、603 存储器
106、108 图像处理机构
110 图像处理部
111 转换机构
200、300、800 图像数据读出区域
301 水平方向重叠量
302 垂直方向重叠量
510 噪声降低部
600 噪声降低特性控制机构
601 特性A噪声降低机构
602 特性B噪声降低机构
801 第二次以后的读出区域
802 第一次的读出区域
1101、1102、1103、1104、1105 集成电路
1300 3×3滤波器区域
1301 3×3滤波器区域的中心
1302 以往需要存储于存储器中的区域
1413 摄像元件
1414 A/D转换器
1415 放大器
1416 存储器
1417 图像处理机构
1418 总线
1400 现有的图像处理装置
1500 包括图像处理机构的现有的图像处理装置