CN102648632A - 数据处理装置 - Google Patents

Abstract

数据处理装置具有：水平内插单元，按照从摄像部输出的拜耳数据的每个水平线，对构成水平线的各像素生成内插数据，并进行内插以使各像素具有内插数据和原来的像素数据这2个颜色数据；和数据大小缩小单元，使用各像素具有的2个颜色数据，按照每个水平线生成缩小了数据量(数据大小)的数据，并输出由所生成的数据构成的拜耳数据。

Description

数据处理装置

技术领域

本发明涉及一种缩小基于拜耳(Bayer)排列的格式的图像数据的数据大小的数据处理装置。

背景技术

最近，不仅是摄像机，数字静物相机、移动电话等中可进行动画摄影已经普遍化。并且，这些设备中，摄像元件的高像素化近年来也取得进展，搭载超过1000万像素的摄像元件已经变得理所当然。

在这种高像素的设备中，如果直接进行摄影，会从摄像元件输出非常大的数据量(数据大小)的图像数据。因此，为了能够在这些设备中拍摄动画，因性能、价格等方面的制约，要求缩小从摄像元件输出的图像数据的数据大小。

因此，例如专利文献1中公开了以下方法：对基于拜耳(Bayer)排列的格式的图像数据，在内插前的拜耳数据的阶段进行调整大小（resize）处理，从而缩小数据大小。并且，专利文献2中公开了以下方法：通过以像素相加模式驱动摄像元件，缩小输出的图像数据(拜耳数据)的数据大小。

现有技术文献

专利文献

专利文献1：日本特开2002-8457号公报

专利文献2：日本特开2009-147489号公报

发明内容

发明要解决的问题

然而，从画质的角度而言，和现有方法不同，其优选的方法是：在对从摄像元件输出的图像数据(拜耳数据)进行内插而使R、G、B各颜色与各像素一致后的阶段，缩小数据大小。这样一来，可将现有方法中成为问题的画质劣化限制在最小限度。

但这样一来，要处理和原来的拜耳数据相比数据大小为3倍的图像数据，因此仍然在性能、成本等方面产生问题。

本发明的目的在于提供一种数据处理装置，其能够在抑制画质劣化的同时缩小拜耳数据的数据大小。

用于解决问题的方法

本发明的数据处理装置具有：水平内插单元，按照从摄像部输出的拜耳数据的每个水平线，对构成水平线的各像素生成内插数据，并进行内插以使各像素具有内插数据和原来的像素数据这2个颜色数据；和数据大小缩小单元，使用各像素具有的2个颜色数据，按照每个水平线生成缩小了数据量(数据大小)的数据，并输出由所生成的数据构成的拜耳数据。

并且，水平内插单元可以通过下述公式(1)~(5)进行内插。

并且，本发明的数据处理装置具有：水平内插单元，按照从摄像部输出的拜耳数据的每个水平线，对构成水平线的各像素生成内插数据，并进行内插以使各像素具有内插数据和原来的像素数据这2个颜色数据；和数据大小缩小单元，使用各像素具有的2个颜色数据，按照每个水平线，生成缩小了数据量(数据大小)的间隔剔除数据，根据该间隔剔除数据合成至少缩小了R素色数据及B素色数据的数据量(数据大小)的合成数据并输出该合成数据。

并且，数据大小缩小单元可以通过下述公式(10)~(11)进行合成数据的生成。

附图说明

图1是表示实施方式的数字相机的构成的框图。

图2是说明摄像元件104的基色滤波器的排列方法(拜耳排列)的图。

图3是表示通过垂直大小缩小处理读出对象像素的图示的图。

图4是表示水平大小缩小处理的块状图。

图5是表示通过水平内插处理对关注像素生成内插数据的图示的图。

图6是表示从水平内插处理输出的数据的图示的图。

图7是说明合成处理的图。

图8是内插处理的块状图。

附图标记说明

101摄像镜头

102镜头驱动部

103摄像部

104摄像元件

105AFE电路

106CDS电路

107增益调节电路

118A/D变换电路

109时序产生电路

110数据处理部

111显示部

112记录介质

113CPU

114总线

具体实施方式

(一个实施方式)

以下说明本发明的一个实施方式。本实施方式是数字相机的实施方式。

图1是表示本实施方式的数字相机的构成的框图。

数字相机由摄像镜头101、镜头驱动部102、摄像部103、数据处理部110、显示部111、记录介质112、统一控制数字相机的CPU113构成。其中，镜头驱动部102和摄像部103分别连接到CPU113。并且，CPU113和数据处理部110、显示部111、记录介质112经由总线114连接。

摄像部103具有：摄像元件104、AFE(模拟前端)电路105和时序产生电路109。AFE电路105具有：CDS(Correlated Double Sampling：相关双采样)电路106、增益调节电路107和A/D变换电路108。

摄像镜头101由包括聚焦透镜、变焦透镜的多个透镜组构成。此外，为了简化，在图1中将镜头101作为一个透镜进行图示。

镜头驱动部102根据CPU113的指示而产生镜头驱动信号，使摄像镜头101向光轴方向移动，进行聚焦调节、变焦调节，并且在摄像元件104的受光面形成通过了摄像镜头101的光束所形成的被摄体像。

摄像元件104是可进行动画摄影的摄像元件，例如由CCD型摄像元件或CMOS型摄像元件等构成。此外，摄像元件104当然也可进行每一帧的静止图像的摄影。并且，摄像元件104是可进行间隔剔除(間引き)读出、像素相加(混合)读出、全部像素读出、窗口读出(裁剪)的摄像元件。

摄像元件104配置在摄像镜头101的像空间侧，对在其受光面上形成的被摄体像进行光电变换，输出模拟图像信号。

在摄像元件104的受光面上二维状排列有多个光电二极管。并且，为了对被摄体像进行彩色摄影，而在该受光面上与各光电二极管相对应地以拜耳(Bayer)排列配置红(R)、绿(G)、蓝(B)的基色滤波器。这样一来，摄像元件104输出的模拟图像信号中，包括R、G、B的颜色信号成分。

在此简单说明基色滤波器的配置方法。

在摄像元件104的受光面上，和各光电二极管(Photo Diode：PD)对应，以拜耳(Bayer)排列配置红(R)、绿(G)、蓝(B)的基色滤波器。具体而言，如图2所示，以使PD00对应红(R)、PD01对应绿(Gr)、PD10对应绿(Gb)、PD11对应蓝(B)的方式重复“R、Gr、Gb、B”的排列图案(拜耳图案)，通过这种排列来配置基色滤波器。此外，PD01和PD10中均配置绿(G)的滤波器，但为了区别滤波器是配置在哪里的滤波器，如上所述，对于PD01用“Gr”表示、PD10用“Gb”表示。

通过这样配置基色滤波器，确定受光面的各像素(光电二极管)的种类。即，在上述拜耳排列的情况下，确定R(红色)、Gr(第1绿色)、Gb(第2绿色)、B(蓝色)这4种。

CDS电路106对摄像元件104输出的模拟图像信号的重置时(曝光前)的信号以及数据传送时(曝光后)的信号两者进行采样，从数据传送时的信号值减去重置时的信号值，从而从模拟图像信号去除暗电流形成的噪声。

增益调节电路107根据CPU113的指示，设定模拟图像信号的增益调节量。这样一来，对CDS电路106输出的噪声去除后的模拟图像信号，进行相当于ISO灵敏度的摄影灵敏度的调节。

A/D变换电路108将增益调节电路107输出的模拟图像信号变换为数字数据。并且，将该数字数据(图像数据)作为摄像部103的输出而输出到数据处理部110。

时序产生电路109根据CPU113的指示，向摄像元件104和AFE电路105提供时序脉冲。通过该时序脉冲的供给，控制摄像元件104、及AFE电路105内各电路的驱动时序。例如，在摄像元件104中，控制从受光面的光电二极管读出电荷的时序等，并且在AFE电路105内的、例如CDS电路106中，控制对摄像元件104输出的模拟图像信号进行采样的时序等。

数据处理部110根据CPU113的指示，对摄像部103输出的图像数据(拜耳数据)进行水平大小缩小处理、内插、白平衡调节、轮廓强调、伽玛校正等各种图像处理。该数据处理部110作为ASIC等构成。此外，稍后说明水平大小缩小处理。

显示部111是设置在数字相机筐体的背面等的LCD监视器、具有接目部的电子取景器等，根据CPU113的指示，显示包括动画、静止图像的各种图像。

记录介质112由存储卡、小型硬盘、DVD等光盘等构成。此外，记录介质112可以内置于数字相机中或可相对于数字相机拆装地安装，也可以设置在外部。设置在外部时，记录介质112和数字相机通过有线或无线连接。

在记录介质112中记录由CPU113进行了压缩处理的图像数据等。此外，压缩在动画时以MPEG(Moving Picture Experts Group：运动图像专家组)格式等进行，在静止图像时以JPEG(Joint Photographic ExpertsGroup：联合图像专家组)格式等进行。

CPU113根据用户对操作部件的操作内容，统一控制数字相机的各部。

例如，数字相机在摄影模式下在运行中被按下动画摄影按钮时，CPU113驱动镜头驱动部102及摄像部103，开始动画摄影。此时，摄像部103的摄像元件104被驱动以便按预定的帧频取得预定分辨率的图像，并将和动画的各帧对应的图像数据(动态图像数据)经由摄像部103的AFE电路105依次输出到数据处理部110。

之后，CPU113驱动数据处理部110而对这样从摄像部103输出的图像数据(动态图像数据)实施必要的图像处理。并且，CPU113将该图像处理后的动态图像数据显示到显示部111。并且，CPU113对图像处理后的动态图像数据实施MPEG格式等的压缩处理，并且将该压缩后的动态图像数据记录到记录介质112。

此外，在动画摄影过程中，CPU113持续进行自动焦点调节(AF)及自动曝光(AF)的控制动作。

并且，在动画摄影过程中，若动画摄影按钮再次被按下，则CPU113停止上述动作，结束动画的摄影。

在动画的摄影中，如上所述，需要缩小动态图像数据的数据量(数据大小)，而因该缩小会出现动态图像数据的画质劣化的问题。

因此，本实施方式的数字相机在动画摄影时通过实施以下动作，可在抑制画质劣化的同时缩小动态图像数据的数据大小(以下简称为大小)。

以下，作为一例说明为获得全HD动画而将有效像素为6000×4000像素的摄像元件(在本实施方式中是摄像部103的摄像元件104)的输出缩小为2000×1126的像素(1/3)的大小的动作。

(垂直大小缩小处理)

首先，CPU113为了将摄像元件104的垂直(纵)方向的有效像素即4000像素缩小为1126像素，而进行垂直大小缩小处理。

具体而言，为使视角对应16：9，将摄像元件104的受光面中的垂直(纵)方向上排列的4000像素中、靠中央的3378像素作为窗口读出的对象。例如，将除了上下各311像素以外的剩余3378像素作为窗口读出的对象。

并且，对于该3378像素，在垂直(纵)方向上，将按照每3像素就除去了其中央1像素的、剩余的同色2像素作为间隔剔除读出的读出对象，且将该同色2像素作为相加(合成)读出的对象。

并且，CPU113驱动摄像元件104以便在组合了窗口读出、间隔剔除读出、像素相加(合成)读出的模式下读出这些对象像素。

在此，图3表示读出对象像素的图示。例如，作为对象像素的、在图3左上的垂直(纵)方向上排列的“R”、“Gb”、“R”3像素，其中央的“Gb”1像素被间隔剔除，并且，剩余的同色“R”2像素被相加(合成)，结果作为图3右上的“R”1像素而读出。

这样一来，CPU113从摄像部103输出将垂直(纵)方向的3378像素缩小到1/3(1126像素)的6000×1126像素的图像数据(拜耳数据)。

(水平大小缩小处理)

接着，CPU113对从摄像部103输出的图像数据(拜耳数据)，为了将其水平(横)方向的有效像素即6000像素缩小到2000像素，进行水平大小缩小处理。

此外，水平大小缩小处理作为数据处理部110中的图像处理之一，在进行内插前实施。即，CPU113驱动数据处理部110，对从摄像部103输出的图像数据(拜耳数据)实施水平大小缩小处理。

图4是水平大小缩小处理的块状图。

以下根据该块状图详细说明水平大小缩小处理。

(1)水平内插处理

通过CPU113驱动的数据处理部110，将来自摄像部103的图像数据(拜耳数据)作为输入，按照其水平(横)方向的各像素行(水平线)进行“水平内插处理”。

此外，在“水平内插处理”中，如图4所示，输入的水平线的各像素的数据具有“12位”的位宽。

数据处理部110首先通过下式(1)，根据水平线的像素中关注像素附近的同色4像素的数据(像素值)，生成对关注像素的内插数据。

例如如图5所示，当R(红色)像素R04是关注像素时，根据其附近的同色4像素、即Gr(第1绿色)像素的Gr01、Gr03、Gr05、Gr07的数据，生成对关注像素的Gr成分的内插数据“Gr*”。

因此，在公式(1)中，当R(红色)像素是关注像素时，根据其附近的4个Gr(第1绿色)像素的数据，生成对关注像素的Gr成分的内插数据“Gr*”。反之，当Gr(第1绿色)像素是关注像素时，根据其附近的4个R(红色)像素的数据，生成对关注像素的R成分的内插数据“R*”。

从而，关注像素具有输入的原数据(例如“R”)和内插数据(例如若原数据是“R”则是“Gr*”)这2个颜色数据。

(数式1)

$\mathrm{IMP}\left(i\right)=\frac{\underset{a=0}{\overset{3}{\mathrm{\Σ}}}k\_\mathrm{imp}\left(a\right)\·\mathrm{Din}(i+2a-3)}{\underset{a=0}{\overset{3}{\mathrm{\Σ}}}k\_\mathrm{imp}\left(a\right)}...\left(1\right)$

此外，公式(1)的“Din(i)”表示输入的拜耳数据中的各水平线的像素的数据。

并且，“i”表示各水平线中的关注像素(处理对象像素)的位置。此外，在该说明中，“i”是“i＝0~Wide-1”的值，Wide是水平(横)方向的有效像素数“6000”。

并且，“k_imp”是用于加权的系数，例如预先设定为“k_imp＝[-1，9，9，-1]”这样的值。

并且，“IMP(i)”表示对生成的关注像素的内插数据。

接着，数据处理部110使用下式(2)~(4)校正以上生成的对关注像素的内插数据。

具体而言，根据公式(2)，求出关注像素的原数据和内插数据、即2个颜色数据的差分“CD(i)”。

接着，根据求出的差分数据，通过公式(3)，算出以关注像素为中央的相邻5像素、即“CD(i-2)、CD(i-1)、CD(i)、CD(i+1)、CD(i+2)”的平均色差，将算出的平均色差的数据作为对关注像素的校正数据“CD_avg(i)”。

并且，根据公式(4)，从关注像素的原数据减去该校正数据、或将该校正数据与原数据相加，从而校正对关注像素的内插数据。

这样一来，取得校正后的内插数据“IMP’(i)”。

此外，在公式(2)中，关注像素是R(红色)像素、Gr(第1绿色)像素的任意一个时，从R(红色)成分减去Gr(第1绿色)成分而求出差分。

并且，在公式(4)中，当R(红色)像素是关注像素时，作为校正后的内插数据“IMP’(i)”，取得Gr成分的数据“Gr^”。反之，当Gr(第1绿色)像素是关注像素时，作为校正后的内插数据“IMP’(i)”，取得R成分的数据“R^”。

(数式2)

$\mathrm{CD}\_\mathrm{avg}\left(i\right)=\frac{\underset{a=-2}{\overset{2}{\mathrm{\Σ}}}k\_\mathrm{cd}(a+2)\·\mathrm{CD}(i+a)}{\underset{a=-2}{\overset{2}{\mathrm{\Σ}}}k\_\mathrm{cd}(a+2)}...\left(3\right)$

此外，公式(3)的“k_cd”是进行上述色差平均时使用的加权系数，例如预先设定为“k_cd＝[1，2，2，2，1]”这样的值。

如上取得校正后的内插数据“IMP’(i)”后，数据处理部110根据公式(5)，作为“水平内插处理”的输出，按照作为水平线的关注像素的各1像素，分别输出其原数据“Din(i)”及校正后的内插数据“IMP(i)”这2个颜色的数据。

(数式3)

其中，图6表示输入的水平线是R/Gr线时从“水平内插处理”输出的数据、即“Deven(i)”及“Dodd(i)”的图示。

如图6所示，在“水平内插处理”中，关注像素“Din(i)”配置在水平线上的偶数位置上时，在输出的“Deven(i)”中直接输出被输入的原数据“Din(i)”，在另一个输出的“Dodd(i)”中输出以上取得的校正后的内插数据“IMP’(i)”。并且，关注像素“Din(i)”配置在水平线上的奇数位置上时，在输出的“Deven(i)”中输出以上取得的校正后的内插数据“IMP’(i)”，在另一个输出的“Dodd(i)”中直接输出被输入的原数据“Din(i)”。

因此，若输入的水平线是R(红色)/Gr(第1绿色)线，则向“Deven(i)”输出R素色、向“Dodd(i)”输出Gr素色的数据。并且，输入的水平线是Gb(第2绿色)/B(蓝色)线时，向“Deven(i)”输出Gb素色、向“Dodd(i)”输出B素色的数据。

人的眼睛在水平方向具有更高的分辨率，因此在数据处理部110中，通过上述“水平内插处理”，抑制了图像数据(拜耳数据)的水平方向的画质劣化。

(2)LPF处理

结束上述“水平内插处理”后，数据处理部110将其输出的“Deven(i)”及“Dodd(i)”作为输入而进行“LPF处理”。

具体而言，数据处理部110对各“Deven(i)”数据及“Dodd(i)”数据，通过下式(6)，以3抽头(tap)、即水平线上的相邻的3像素为采样点，根据该3个采样点的像素数据(像素值)，进行LPF(低通滤波)处理。

并且，将该处理后的数据作为“Oeven(i)”及“Oodd(i)”输出。

通过实施该“LPF处理”，在数据处理部110中，可抑制因超过奈奎斯特(Nyquist)频率的频率成分形成的折返噪声所引起的波纹干扰、蓬乱(shaggy)等的发生。

(数式4)

$\mathrm{Oeven}\left(i\right)=\frac{K1\·\mathrm{Deven}\left(i\right)+K2\·\mathrm{Deven}(i+1)+K3\·\mathrm{Deven}(i+2)}{K1+K2+K3}$

$...\left(6\right)$

$\mathrm{Oodd}\left(i\right)=\frac{K1\·\mathrm{Dodd}\left(i\right)+K2\·\mathrm{Dodd}(i+1)+K3\·\mathrm{Dodd}(i+2)}{K1+K2+K3}$

此外，公式(6)的“K1、K2、K3”是任意的系数，例如预先设定“K1＝K2＝K3＝1”这样的值。

并且，“LPF处理”除了公式(6)以外，还可使用双三次(Bicubic)法等现有的方法进行。

(3)间隔剔除处理

结束“LPF处理”后，数据处理部110将其输出的“Oeven”及“Oodd”作为输入，使用下式(7)、(8)，进行“间隔剔除处理”。

具体而言，数据处理部110对作为“Oeven”及“Oodd”输入的R素色及Gr素色(或者Gb素色及B素色)的数据，按照各素色，从该素色上的连续的“a”像素选择预定的1像素。此外，在该说明中，为将拜耳数据缩小到1/3，设“a＝3”。因此，在这种情况下，从各素色上的连续的“3”像素选择预定的1像素。并且，将对R素色(或Gb素色)选择的1像素的数据作为“O’even(j)”输出，并将对Gr素色(或B素色)选择的1像素的数据作为“O’odd(j)”输出。

这样一来，在数据处理部110中，将作为“Oeven”及“Oodd”输入的R素色及Gr素色(或者Gb素色及B素色)的数据分别缩小到1/3。

(数式5)

O′even(j)＝Oeven(aj+b)                …(7)

O′odd(j)＝Oodd(aj+b)

$j=0~\mathrm{RoundDown}\left(\frac{\mathrm{Wide}-b}{2a}\right)\×2-1...\left(8\right)$

此外，公式(8)的“a”是由缩小率决定的系数，如上所述，在本说明中，为将拜耳数据缩小到1/3，设定为“a＝3”。

并且，“b”是用于指定将输入数据中的连续的“a”像素中的哪个像素作为“间隔剔除处理”的输出的补偿，在本说明中，因“a＝3”，所以是“0~2”的任意一值，在此例如设定为“b＝0”。

并且，公式(8)的“RoundDown”是进行分数舍入的函数。

(4)合成处理

结束“间隔剔除处理”后，数据处理部110将其输出的“O’even(j)”及“O’odd(j)”作为输入，使用下式(9)进行“合成处理”。

具体而言，数据处理部110在输入数据配置在水平线上的偶数位置时，将输入的“O’even(j)”的数据作为“Dout(j)”输出。另一方面，当输入数据配置在水平线上的奇数位置时，将输入的“O’odd(j)”的数据作为“Dout(j)”输出。

这样一来，输入数据整理为基于拜耳(Bayer)排列的格式，作为“Dout(j)”输出。

(数式6)

(j＝偶数时)

Dout(j)＝O’even(j)

(j＝奇数时)            …(9)

Dout(j)＝O’odd(j)

通过这样的动作，在数据处理部110中，可在抑制画质的劣化的同时缩小拜耳数据的大小。

之后，通过上述处理将缩小为2000×1126像素大小的图像数据(动态图像数据)经由“Dout(j)”取得后，CPU113对该动态图像数据实施内插及其他必要的图像处理，并进行上述动画摄影时的动作。

(其他实施方式)

接着说明本发明的其他实施方式。本实施方式是数字相机的实施方式，和图1所示的一个实施方式的数字相机相同。因此，省略对本实施方式的数字相机的各构成要素的详细说明。

并且，本实施方式的数字相机的动作直到图4所示的“间隔剔除处理”为止和一个实施方式相同，省略详细说明。本实施方式与一个实施方式的不同点是：使用下式(10)~(11)进行图4所示的“合成处理”，并且对通过该“合成处理”输出的合成数据实施“内插处理”。因此，以下说明本实施方式中的“合成处理”及“内插处理”的动作。

(4)合成处理

结束图4所示的“内插处理”后，数据处理部110将其输出“O’even(j)”及“O’odd(j)”作为输入，替代上述公式(9)，使用下式(10)、(11)进行“合成处理”。

(数式7)

(R/Gr线时：j＝偶数时)

D(j)[15:0]＝O′even(j)[11:2]+O′odd(j)[11:6]×1024

(R/Gr线时：j＝奇数时)                    …(10)

D(j)[15:0]＝O′odd(j)[11:0]+O′odd(j-1)[5:2]×4096

(Gb/B线时：j＝偶数时)

D(j)[15:0]＝O′even(j)[11:0]+O′even(j+1)[5:2]×4096

(Gb/B线时：j＝奇数时)                    …(11)

D(j)[15:0]＝O′odd(j)[11:2]+O′even(j)[11:6]×1024

具体而言，数据处理部110将输入数据的“O’even(j)”及“O’odd(j)”分成2组，即，将输入中的偶数位的“O’even(j＝偶数)”及“O’odd(j＝偶数)”、奇数位的“O’even(j＝奇数)”及“O’odd(j＝奇数)”作为一组数据使用，如下进行“合成处理”。图7表示该“合成处理”的图示。此外，图7中的“jE”表示数据在输入输出中是偶数位，并且“jO”表示数据是奇数位。

数据处理部110在输入数据是R素色及Gr素色的数据、即水平线的R(红色)/Gr(第1绿色)线时的数据时，使用公式(10)，对具有“12位”位宽的输入的偶数位的“O’even(j＝偶数)”及“O’odd(j＝偶数)”、奇数位的“O’even(j＝奇数)”及“O’odd(j＝奇数)”的数据进行合成，将其合成结果作为具有“16位”位宽的输出中的偶数位的“D(j＝偶数)”和奇数位的“D(j＝奇数)”的一组数据输出。

在此参照图7进行详细说明，首先，将偶数位的R素色数据“O’even(“jE”)”的(从零(0)计数)第2~11位的数据(10位长)，插入到输出中应输出到偶数位的数据“D(“jE”)”的第0~9位。

接着，将偶数位的Gr素色数据“O’odd(“jE”)”的第6~11位的数据(6位长)，同样插入到应输出到偶数位的数据“D(“jE”)”的第10~15位。

并且，将奇数位的Gr素色数据“O’odd(“jO”)”的第0~11位的数据(12位长)，插入到输出中应输出到奇数位的数据“D(“jO”)”的第0~11位。

接着，再次使用偶数位的Gr素色数据“O’odd(“jE”)”，此次将其第2~5位的数据(4位长)，插入到输出中应输出到奇数位的数据“D(“jO”)”的第12~15位。

并且，将如上合成的16位长的数据“D(“jE”)”和“D(“jO”)”作为一组，将其作为“合成处理”的结果输出。

这样，对输入中的奇数位的“O’even(jE)”及“O’odd(jE)”、和奇数位的“O’even(jO)”及“O’odd(jO)”的总计“48位(“12位”×4)”的数据进行合成，将输出中的偶数位的数据“D(“jE”)”和奇数位的数据“D(“jO”)”的总计“32位(“16位”×2)”的数据输出。

并且，数据处理部110在输入数据是Gb素色及B素色的数据、即水平线的Gb(第2绿色)/B(蓝色)线时的数据时，使用公式(11)，合成具有“12位”位宽的输入的偶数位的“O’even(j＝偶数)”及“O’odd(j＝偶数)”、奇数位的“O’even(j＝奇数)”及“O’odd(j＝奇数)”的数据，将其合成结果作为具有“16位”位宽的输出中的偶数位的“D(j＝偶数)”和奇数位的“D(j＝奇数)”的一组数据输出。

在此参照图7进行详细说明，首先，将偶数位的Gb素色数据“O’even(“jE”)”的第0~11位的数据(12位长)，插入到输出中应输出到偶数位的数据“D(“jE”)”的第0~11位。

接着，将奇数位的Gb素色数据“O’even(“jO”)”的第2~5位的数据(4位长)，同样插入到应输出到偶数位的数据“D(“jE”)”的第12~15位。

并且，将奇数位的B素色数据“O’odd(“jO”)”的第2~11位的数据(10位长)，插入到在输出中应输出到奇数位的数据“D(“jO”)”的第0~9位。

接着，再次使用奇数位的Gb素色数据“O’even(“jO”)”，此次将其第6~11位的数据(6位长)，插入到在输出中应输出到奇数位的数据“D(“jO”)”的第10~15位。

并且，将如上合成的16位长的数据“D(“jE”)”和“D(“jO”)”作为一组，将其作为“合成处理”的结果输出。

这样，对输入中的偶数位的“O’even(jE)”及“O’odd(jE)”、和奇数位的“O’even(jO)”及“O’odd(jO)”的总计“48位(“12位”×4)”的数据进行合成，将输出中的偶数位的数据“D(“jE”)”和奇数位的数据“D(“jO”)”的总计“32位(“16位”×2)”的数据输出。

即，数据处理部110通过该“合成处理”，从输入的缩小了大小的拜耳数据进一步减少1/3的数据，使数据量减少到原来的2/3。

通过该动作，在数据处理部110中，可在抑制画质劣化的同时缩小数据的大小。

此外，在上述“合成处理”中，将12位长的输入的、尤其是R素色数据、B素色数据缩小为10位长度并输出。这是因为，最终取得的图像数据一般是使各像素的R、G、B各色的位宽为“8位”，因此至少确保该“8位”的信息量。这样一来，可在抑制画质劣化的同时缩小数据的大小。

并且，在上述“合成处理”中，当输入数据是R(红色)/Gr(第1绿色)线时的数据时，对于其奇数位的R素色数据“O’even(“jO”)”没有使用，但可以对其进行保持并在之后的处理中使用。并且，输入数据是Gb(第2绿色)/B(蓝色)线时的数据时，对于其偶数位的B素色数据“O’odd(“jE”)”也没有使用，但同样也可以对其进行保持并在之后的处理中使用。

并且，在上述“合成处理”中，无需特别的电路，可使用一般易于入手的常用的电路来构成其逻辑，因此设输出的各像素数据的位宽是“16位”。但不限于此，例如位宽也可是“14位”、“18位”等。

数据处理部110在上述“合成处理”后，对由此输出的减少了数据量的合成数据实施内插处理。

以下说明该内插处理的一例。此外在以下说明中，为了简化，对于内插处理不以水平线(行)单位进行，而以水平线(行)及垂直线(列)的面单位进行。

图8是内插处理的块状图。

以下根据该块状图详细说明内插处理。

(1)数据分离处理

数据处理部110在被输入减少了数据量的合成数据“D”后，通过下式(12)、(13)，从输入数据分离其中合成的G素色和R素色(或B素色)的数据，输出该分离后的素色数据。

(数式8)

※1：“r＝偶数&c＝偶数”或“r＝奇数&c＝奇数”时

※2：“r＝奇数&c＝偶数”或“r＝偶数&c＝奇数”时

※1：“r＝偶数&c＝偶数”时

※2：“r＝奇数&c＝奇数”时

※3：“r＝奇数&c＝偶数”或“r＝偶数&c＝奇数”时

具体而言，数据处理部110根据下式(12)，若表示输入数据的水平线(行)的“r”是偶数(R/Gr线)、且表示垂直线(列)的“c”是偶数(图7的“D(“jE”)”，则将对该其0~9位的数据乘以4而获得的数据(12位长)作为第1输出“Bayer[11：0](r，c)”输出。并且，当“r”是奇数(Gb/B线)且“c”是奇数(图7的“D(“jO”)”时，同样将对其第0~9位的数据乘以4而获得的数据(12位长)作为第1输出“Bayer[11：0](r，c)”输出。

另一方面，若表示输入数据的水平线(行)的“r”是偶数(R/Gr线)、且表示垂直线(列)的“c”是奇数(图7的“D(“jO”)”，则将其第0~11位的数据(12位长)直接作为第1输出“Bayer[11：0](r，c)”输出。并且，当“r”是奇数(Gb/B线)且“c”是偶数(图7的“D(“jE”)”时，同样将其第0~11位的数据(12位长)直接作为第1输出“Bayer[11：0](r，c)”输出。

并且，数据处理部110根据下式(13)，若表示输入数据的水平线(行)的“r”是偶数(R/Gr线)、且表示垂直线(列)的“c”是偶数(图7的“D(“jE”)”，则对其第10~15位的数据乘以64。并且，将通过该乘算获得的数据与对位于下一“c+1”位置的“D(“jO”)”的第12~15位数据乘以4而获得的数据相加，将通过该相加获得的数据(12位长)作为第2输出“tmpG[11：0](r，c)”输出。

并且，若表示输入数据的水平线(行)的“r”是奇数(Gb/B线)、且表示垂直线(列)的“c”是奇数(图7的“D(“jO”)”，则对其第10~15位的数据乘以64。并且，将通过该乘算获得的数据与对位于前一“c-1”位置的“D(“jE”)”的第12~15位数据乘以4而获得的数据相加，将通过该相加获得的数据(12位长)作为第2输出“tmpG[11：0](r，c)”输出。

并且，表示输入数据的水平线(行)的“r”是奇数(Gb/B线)、且表示垂直线(列)的“c”是偶数(图7的“D(“jE”)”时，或者“r”是偶数(R/Gr线)且“c”是奇数(图7的“D(“jO”)”时，将其第0~11位的数据(12位长)直接作为第2输出“tmpG[11：0](r，c)”输出。

(2)G素色生成处理

接着，数据处理部110以上述“数据分离处理”的第1输出“Bayer(r，c)”和第2输出“tmpG(r，c)”为输入，通过下式(14)、(15)，进行“G素色生成处理”。此外，G素色的数据(在本处理中作为“tmpG(r，c)”输入)已经生成，但其是仅根据画面的横(水平)方向的像素信号电平(像素值)的梯度生成的数据，因此，在此对该G素色数据，再次评估是否取纵(垂直)方向的相关。

(数式9)

$\mathrm{dV}(r,c)=|\frac{\mathrm{Bayer}(r,c-2)+\mathrm{Bayer}(r,c+2)}{2}-\mathrm{Bayer}(r,c)|...\left(14\right)$

$\mathrm{dH}(r,c)=|\frac{\mathrm{Bayer}(r-2,c)+\mathrm{Bayer}(r+2,c)}{2}-\mathrm{Bayer}(r,c)|$

※1：“dV(r，c)-dH(r，c)＞Th”时

※2：“dV(r，c)-dH(r，c)≤Th”时

具体而言，当通过下式(14)求出的“dV(r，c)”和“dH(r，c)”之差超过预定的阈值“Th”时，根据下式(15)，不取纵(垂直)方向的相关，将输入的“tmpG(r，c)”直接作为“G(r，c)”输出。另一方面，它们的差为预定阈值“Th”以下时，根据下式(15)，取纵(垂直)方向的相关，将其结果数据作为“G(r，c)”输出。

(3)R、B素色生成处理

数据处理部110将上述“数据分离处理”的第1输出“Bayer(r，c)”、和上述“G素色生成处理”的输出“G(r，c)”作为输入，进行“R、B素色生成处理”。此外，该“R、B素色生成处理”可适用现有技术，在此作为一例，使用下式(16)~(19)所示的一般方法进行“R、B素色生成处理”。

(数式10)

$R(r,c)=\frac{\mathrm{Bayer}(c-2,c)-G(r-2,c)+\mathrm{Bayer}(r+2,c)-G(r+2,c)}{2}+G(r,c)...\left(16\right)$

$B(r,c)=\frac{\mathrm{Bayer}(r,c-2)-G(r,c-2)+\mathrm{Bayer}(r,c+2)-G(r,c+2)}{2}+G(r,c)$

$R(r,c)=\frac{\mathrm{Bayer}(r,c-2)-G(r,c-2)+\mathrm{Bayer}(r,c+2)-G(r,c+2)}{2}+G(r,c)...\left(17\right)$

$B(r,c)=\frac{\mathrm{Bayer}(r-2,c)-G(r-2,c)+\mathrm{Bayer}(r+2,c)-G(r+2,c)}{2}+G(r,c)$

B(r，c)＝(Bayer(r-1，c-1)-G(r-1，c-1)

+Bayer(r+1，c-1)-G(r+1，c-1)            …(18)

+Bayer(r-1，c+1)-G(r-1，c+1)

+Bayer(r+1，c+1)-G(r+1，c+1))/4+G(r，c)

R(r，c)＝(Bayer(r-1，c-1)-G(r-1，c-1)

+Bayer(r+1，c-1)-G(r+1，c-1)            …(19)

+Bayer(r-1，c+1)-G(r-1，c+1)

+Bayer(r+1，c+1)-G(r+1，c+1))/4+G(r，c)

具体而言，使用下式(16)，生成Gr像素位置上的R素色“R(r，c)”及B素色“B(r，c)”。并且，使用下式(17)，生成Gb像素位置上的R素色“R(r，c)”及B素色“B(r，c)”。并且，使用下式(18)，生成R像素位置上的B素色“B(r，c)”。并且，使用下式(19)，生成B像素位置上的R素色“R(r，c)”。

数据处理部110将通过“R、B素色生成处理”这样生成的R素色、B素色的数据，分别作为“R(r，c)”、“B(r，c)”输出。

作为数据处理部110的内插处理的结果，取得由“G素色生成处理”的输出“G(r，c)”、“R、B素色生成处理”的输出的“R(r，c)”和“B(r，c)”构成的动态图像数据后，CPU113对该动态图像数据实施其他必要的图像处理(伽玛校正等)，进行上述动画摄影时的动作。

(实施方式的补充事项)

以上作为本发明的实施方式的一例，说明了数字相机(数字静物相机)的实施方式，但本发明也可适用于能够进行动画摄影的数字摄像机、移动电话等其他设备。

在上述其他实施方式中，为简化说明，分开进行内插处理的“数据分离处理”和“G素色生成处理”。但是，实际上“tmpG”的信息(数据)只使用关注像素，因此两者可一次处理。

Claims (4)

1.一种数据处理装置，其特征在于，具有：

水平内插单元，按照从摄像部输出的拜耳数据的每个水平线，对构成上述水平线的各像素生成内插数据，并进行内插以使上述各像素具有上述内插数据和原来的像素数据这2个颜色数据；和

数据大小缩小单元，使用上述各像素具有的2个颜色数据，按照每个上述水平线生成缩小了数据量的数据，并输出由所生成的数据构成的拜耳数据。

2.根据权利要求1所述的数据处理装置，其特征在于，

上述水平内插单元通过下述公式(1)~(5)进行上述内插：

(数式1)

$\mathrm{IMP}\left(i\right)=\frac{\underset{a=0}{\overset{3}{\mathrm{\Σ}}}k\_\mathrm{imp}\left(a\right)\·\mathrm{Din}(i+2a-3)}{\underset{a=0}{\overset{3}{\mathrm{\Σ}}}k\_\mathrm{imp}\left(a\right)}...\left(1\right)$

$\mathrm{CD}\_\mathrm{avg}\left(i\right)=\frac{\underset{a=-2}{\overset{2}{\mathrm{\Σ}}}k\_\mathrm{cd}(a+2)\·\mathrm{CD}(i+a)}{\underset{a=-2}{\overset{2}{\mathrm{\Σ}}}k\_\mathrm{cd}(a+2)}...\left(3\right)$

3.一种数据处理装置，其特征在于，具有：

水平内插单元，按照从摄像部输出的拜耳数据的每个水平线，对构成上述水平线的各像素生成内插数据，并进行内插以使上述各像素具有上述内插数据和原来的像素数据这2个颜色数据；和

数据大小缩小单元，使用上述各像素具有的2个颜色数据，按照每个上述水平线，生成缩小了数据量的间隔剔除数据，根据该间隔剔除数据合成至少缩小了R素色数据及B素色数据的数据量的合成数据并输出该合成数据。

4.根据权利要求3所述的数据处理装置，其特征在于，

上述数据大小缩小单元通过下述公式(6)~(7)进行上述合成数据的生成：

(数式2)

(R/Gr线时：j＝偶数时)

D(j)[15:0]＝O′even(j)[11:2]+O′odd(j)[11:6]×1024

(R/Gr线时：j＝奇数时)                …(6)

D(j)[15:0]＝O′odd(j)[11:0]+O′odd(j-1)[5:2]×4096

(Gb/B线时：j＝偶数时)

D(j)[15:0]＝O′even(j)[11:0]+O′even(j+1)[5:2]×4096

(Gb/B线时：j＝奇数时)                …(7)

D(j)[15:0]＝O′odd(j)[11:2]+O′even(j)[11:6]×1024。

Images