CN101360248A - 像素插值电路、像素插值方法以及记录介质 - Google Patents

Abstract

本发明提供一种像素插值方法，利用在贝叶尔数据中的R像素、G像素和B像素的各自的像素值，对插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算。在计算出的各相关性中的相关性强的方向上，根据与插值对象像素相邻的像素值，确定插值到插值对象像素中的G像素的像素值。将成为确定后的像素值的G像素插值到所述贝叶尔数据中的插值对象像素中。

Description

像素插值电路、像素插值方法以及记录介质

技术领域

本发明涉及采用单板式彩色摄像方式的摄像装置等中使用的像素插值电路、像素插值方法以及记录介质。

背景技术

在数字照相机中，使用了贝叶尔(bayer)排列的像素排列的摄像元件的单板式摄像方式成为主流。当从使用贝叶尔排列的摄像元件拍摄到的被摄体图像数据即贝叶尔数据来获取图像信号时，有必要对在贝叶尔数据中的各像素中所配置的滤色器以外的颜色信息(像素值)进行插值。尤其，由于G像素的信息对亮度信息产生影响，所以G像素的信息对图像信号的分辨率及轮廓的鲜明度(sharpness)产生影响。

在此，以往作为在贝叶尔数据中针对插值对象像素(不存在G像素的信息的R像素及B像素)插值G像素的技术，在日本专利公开公报特开2000-278703号公报及特开2006-135564号公报中有所记载。在这些现有技术中，考虑在贝叶尔数据中的插值对象像素的周围的像素的相关性，在插值对象像素中插值G像素。

然而，这些现有技术在对贝叶尔数据中的插值对象像素插值G像素时，都只参照插值对象像素的周围的G像素。因此，当在插值对象像素中插值G像素时，参照的像素的信息变得很少。其结果，就存在所谓无法恰当地对插值对象像素的周围的像素的相关性进行判断，而不能在插值对象像素中插值恰当的G像素的问题。

发明内容

本发明的目的是对贝叶尔数据恰当地插值G像素的信息。

本发明的一种形态，具备：相关性计算部，其在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；和像素值确定部，其在由所述相关性计算部计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；对基于所述贝叶尔数据的图像信号插值：由所述像素值确定部确定的像素值的G像素。

本发明的另一种形态，包括：第一步骤，在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；第二步骤，在所述第一步骤中计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；和第三步骤，对基于所述贝叶尔数据的图像信号插值：在所述第二步骤中确定的像素值的G像素。

本发明的另一种其他形态，使计算机执行：第一处理，在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；第二处理，在通过所述第一处理计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；和第三处理，对基于所述贝叶尔数据的图像信号插值：通过所述第二处理确定的像素值的G像素。

(发明效果)

根据本发明，能够对贝叶尔数据可以恰当地插值G像素的信息。

附图说明

图1是表示数字照相机100的整体结构的图。

图2是表示图像处理部20的结构的图。

图3是表示像素插值单元30的结构的图。

图4是G像素提取电路40的结构的图。

图5是表示贝叶尔排列的示例的图。

图6是表示水平基准图像的示例的图。

图7是表示垂直基准图像的示例的图。

图8是变形例中的G像素提取电路40的结构的图。

图中：30—像素插值单元，31—宽带LPF，32—G插值电路，33—R插值电路，34—B插值电路，36—加法器，37—LPF，38—减法器，40—像素插值电路，41—水平方向基准图像生成部，42—垂直方向基准图像生成部，43—水平方向相关度计算部，44—垂直方向相关度计算部，45—像素值确定部，46—像素值提取部，47—混合比确定部，100—数字照相机。

具体实施方式

对本发明的实施方式进行说明。首先，参照图1对涉及本实施方式的数字照相机100的整体结构进行说明。

摄像透镜62包含聚集透镜和变焦透镜，并连接有透镜驱动块63。此透镜驱动块63包括：分别沿与摄像面相平行的光轴方向驱动未图示的聚集透镜和变焦透镜的聚焦电动机以及变焦电动机；和按照来自CPU70的控制信号分别驱动聚焦电动机以及变焦电动机的聚焦驱动器以及变焦驱动器。

兼用光圈的快门64包含未图示的驱动电路，此驱动电路按照从CPU70传送来的控制信号使兼用光圈的快门动作。并且，该兼用光圈的快门64作为光圈和快门来发挥功能。

在作为摄像元件的CCD50中，在受光面上设置有贝叶尔排列的滤色器。CCD50将经由摄像透镜62以及兼用光圈的快门64进行投影后的被摄体的光转换成电信号，并将转换后的电信号作为摄像信号向图像处理部20输出。此外，CCD50按照TG66根据来自CPU70的控制信号所生成的规定频率的定时信号进行驱动。

在卡I/F76上连接有可以拆装的存储卡80。

存储器69存储有由CPU70对数字照相机100的各部进行控制所必需的程序及数据。

DRAM68在由CCD50进行摄像后，既被用作暂时存储传送到CPU70的图像数据的缓存器，也被用作CPU70的工作存储器。

图像显示部71由液晶显示屏和其驱动电路构成。数字照相机100在处于拍摄等待状态时，将由CCD50拍摄到的被摄体作为直通(through)图像显示在液晶显示屏上。图像显示部71在数字照相机100对图像进行再生时，将从存储卡80读出的图像显示在液晶显示屏上。

键输入部72包含快门按钮及模式键、SET键、数字键和拍摄模式选择键等多个操作键，并向CPU70输出对应于用户的键操作的操作信号。

CPU70控制数字照相机100的整体。CPU70通过与从存储器69读出的程序的协同来执行各种动作。

其次，参照图2对图像处理部20的结构进行说明。图像处理部20包括模拟处理部(CDS、AGC、A/D)21、黑水平调节部22、白平衡调节部23、伽码修正(gamma correction)部24、像素插值单元30、YUV转换处理部27、和JPEG转换部28。

在图像处理部20中，相关双重采样电路(CDS)使包含在从CCD50输出的模拟信号即摄像信号中的噪声减少。自动增益控制电路(AGC)对降噪后的摄像信号的增益进行调节。A/D转换器(A/D)将增益调节后的摄像信号转换为数字信号，即作为与滤色器的贝叶尔排列相对应的R(表示红色信息的像素数据)、G(表示绿色信息的像素数据)和B(表示蓝色信息的像素数据)的像素数据的贝叶尔数据。

黑水平调节部22将贝叶尔数据锁定(clamp)为规定的黑水平上。白平衡调节部23对锁定后的贝叶尔数据按每个R、G和B进行增益调节，并执行白平衡的调节。伽码修正部24在白平衡调节后进行针对贝叶尔数据的伽码特性(灰度特性)的校正。像素插值单元30对伽码特性校正之后的贝叶尔数据插值像素值的信息，并生成图像信号。关于像素插值单元30的详细将在以后记述。

YUV转换处理部27根据插值了图像信息后的图像信号生成由亮度信号(Y)和色差信号(U、V)构成的图像信号。JPEG转换部28以JPEG形式对图像信号进行压缩编码。在存储卡80中记录被压缩编码后的图像信号。

其次，参照图3对像素插值单元30进行详细说明。像素插值单元30包括：第一电路部30a和第二电路部30b两个电路部；LPF(低通滤波器)26；和加法器36。第一电路部30a包括：宽带LPF31；G插值电路32；R插值电路33；和B插值电路34。第二电路部30b包括：G像素提取电路40；和HPF(高通滤波器)37。

在第一电路部30a中，对从伽码修正部24传送来的贝叶尔数据实施对所欠缺的像素的信息进行插值的信号处理，而生成彩色图像信号。该彩色图像信号将成为在像素插值单元30中所生成的图像信号的基准。

在此，在第一电路部30a中的信号处理与日本公开专利公报特开2006-135564号公报中所公开的信号处理相同。即在第一电路部30a中进行信号处理时，针对贝叶尔数据中不存在G像素的信息的R像素及B像素(以下称为“插值对象像素”)插值G像素的像素值时，只参照插值对象像素的周围的G像素的像素值。因此，在插值对象像素中插值G像素时，参照的像素值的信息变得很少。其结果，就存在无法恰当地对插值对象像素的周围的像素的相关性进行判断，不能在插值对象像素中插值G像素的恰当的G像素值的情形。

然后，此不恰当的G像素成为孤立点，有时会在图像信号中产生噪声。因此，为了除去此噪声成分，使此图像信号通过作为低通滤波器的LPF26来除去图像信号的高频成分(噪声成分等)。但是，使图像信号通过LPF26时，虽然可以除去噪声，但同时图像信号中的鲜明度也降低，使基于图像信号的再生图像变得模糊。

在此，通过第二电路部30b，从由伽码修正部24传送来的贝叶尔数据中另外提取G像素的恰当的信息。然后，在加法器38中将提取出的G像素的信息与通过LPF26后的图像信号相加。由于G像素的信息对再生图像中轮廓的鲜明度有影响，所以若如此进行，基于贝叶尔数据的再生图像的轮廓被强调，再生图像不会变得模糊。

其次，对在第二电路30b中的信号处理进行详细说明。第二电路部30b中的G像素提取电路40，是用于针对贝叶尔数据中的插值对象像素(不存在G像素的信息的R像素和B像素)提取应插值的G像素的信息(像素值)的电路。G像素提取电路40如图4所示，由水平方向基准图像生成部41、垂直方向基准图像生成部42、水平方向相关度计算部43、垂直方向相关度计算部44、像素值确定部45和像素提取部46构成。

水平方向基准图像生成部41针对贝叶尔数据，进行使用了在水平方向上相相邻的像素的像素值的运算，并生成水平方向基准图像。水平方向基准图像是用于在贝叶尔数据的各插值对象像素的周围求出图像的相关性强的方向的信息。

具体而言，水平方向基准图像生成部41对于在贝叶尔数据的各插值对象像素的周围的各像素，通过逐次执行接下来的(A1)～(A4)中的任意一个处理，生成水平方向基准图像。

(A1)对于在水平方向上相邻于G像素的R像素，进行从该R像素的像素值中减去在水平方向上相邻于该R像素的G像素的像素值的平均值的处理。

(A2)对于在水平方向上相邻于R像素的G像素，进行从在水平方向上相邻于该G像素的R像素的像素值的平均值中减去该G像素的像素值的处理。

(A3)对于在水平方向上相邻于B像素的G像素，进行从在水平方向上相邻于该G像素的B像素的像素值的平均值中减去该G像素的像素值的处理。

(A4)对于在水平方向上相邻于G像素的B像素，进行从该B像素的像素值中减去在水平方向上相邻于该B像素的G像素的像素值的平均值的处理。

在图5中，表示在贝叶尔数据中的各像素的像素值的示例。在图5中B0、B2、…B48等以B进行标示的位置是在贝叶尔数据中配置有B像素的位置。G1、G3、…G47等以G进行标示的位置是在贝叶尔数据中配置有G图像素的位置。R8、R10、…R40等以R进行标示的位置是在贝叶尔数据中配置有R图像素的位置。

另外，在图5中，B0、B2、…B48表示各B像素的像素值。G1、G3、…G47表示各G像素的像素值。R8、R10、…R40表示各R像素的像素值。

在水平方向基准图像的生成时，着眼于贝叶尔数据中的各插值对象像素的周围区域。在图6中表示作为水平方向基准图像的示例的水平方向基准图像40H。水平方向基准图像40H是涉及在图5所示“R24”的位置上的像素(插值对象像素)的水平方向基准图像。

例如，在水平方向基准图像40H的生成时，着眼于图5所示“R24”的位置上的像素的周围区域上7×7个像素即B0、G1、B2、…B48的位置上的各像素所构成的区域。并且，着眼区域也可不是由7×7个像素构成的区域。

其次，作为在水平方向基准图像中的各分量的示例，对水平方向基准图像40H中的各分量进行说明。

水平方向基准图像40H中的分量“h8”，通过使用了图5所示的G7、R8和G9的像素值的(A1)处理，成为以下值。

h8＝R8-(G7+G9)/2

水平方向基准图像40H中的分量“h9”，通过使用了图5所示的R8、G9和R10的像素值的(A2)处理，成为以下值。

h9＝(R8+R10)/2-G9

水平方向基准图像40H中的分量“h15”，通过使用了图5所示的B14、G15和B16的像素值的(A3)处理，成为以下值。

h15＝(B14+B16)/2-G15

水平方向基准图像40H中的分量“h16”，通过使用了图5所示的G15、B16和G17的像素值的(A4)处理，成为以下值。

h16＝B16-(G15+G17)

同样地，关于水平方向基准图像40H中的其他分量，也可以通过执行(A1)～(A4)处理来求出。

代替(A1)～(A4)的处理，对于在贝叶尔数据的插值对象像素的周围的各像素，也可通过逐次执行以下(A5)～(A8)中的任意一个处理，生成水平方向基准图像。

(A5)对于在水平方向上相邻于G像素的R像素，进行从在水平方向上相邻于该R像素的G像素的像素值的平均值中减去该R像素的像素值的处理。

(A6)对于在水平方向上相邻于R像素的G像素，进行从该G像素的像素值中减去在水平方向上相邻于该G像素的R像素的像素值的平均值的处理。

(A7)对于在水平方向上相邻于B像素的G像素，进行从该G像素的像素值中减去在水平方向上相邻于该G像素的B像素的像素值的平均值的处理。

(A8)对于在水平方向上相邻于G像素的B像素，进行从在水平方向上相邻于该B像素的G像素的像素值的平均值中减去该B像素的像素值的处理。

另一方面，垂直方向基准图像生成部42针对贝叶尔数据，进行使用了在垂直方向上相相邻的像素的像素值的运算，并生成垂直方向基准图像。垂直方向基准图像是用于在贝叶尔数据的各插值对象像素的周围求出像素的相关性强的方向。具体而言，垂直方向基准图像生成部42对于在贝叶尔数据的各插值对象像素的周围的各像素，通过逐次执行接下来的(B1)～(B4)中的任意一个处理，生成垂直方向基准图像。

(B1)对于在垂直方向上相邻于G像素的R像素，进行从该R像素的像素值中减去在垂直方向上相邻于该R像素的G像素的像素值的平均值的处理。

(B2)对于在垂直方向上相邻于R像素的G像素，进行从在垂直方向上相邻于该G像素的R像素的像素值的平均值中减去该G像素的像素值的处理。

(B3)对于在垂直方向上相邻于B像素的G像素，进行从在垂直方向上相邻于该G像素的B像素的像素值的平均值中减去该G像素的像素值的处理。

(B4)对于在垂直方向上相邻于G像素的B像素，进行从该B像素的像素值中减去在垂直方向上相邻于该B像素的G像素的像素值的平均值的处理。

在图7中，作为垂直方向基准图像的示例，表示垂直方向基准图像40V。在此，对垂直方向基准图像40V中的各分量进行说明。

垂直方向基准图像40V中的分量“v8”，通过使用了图5所示的G1、R8和G15的像素值的(B1)处理，成为以下值。

v8＝R8-(G1+G15)/2

垂直方向基准图像40V中的分量“v15”，通过使用了图5所示的R8、G15和R22的像素值的(B2)处理，成为以下值。

v15＝(R8+R22)/2-G15

垂直方向基准图像40V中的分量“v9”，通过使用了图5所示的B2、G9和B16的像素值的(B3)处理，成为以下值。

v9＝(B2+B16)/2-G9

垂直方向基准图像40V中的分量“v16”，通过使用了图5所示的G9、B16和G23的像素值的(B4)处理，成为以下值。

v16＝B16-(G9+G23)/2

同样，关于垂直方向基准图像40V中的其他分量，也可以通过执行(B1)～(B4)的处理来求出。

代替(B1)～(B4)的处理，对于在贝叶尔数据的插值对象像素的周围的各像素，也可通过逐次执行以下(B5)～(B8)中的任意一个处理，生成垂直方向基准图像。

(B5)对于在垂直方向上相邻于G像素的R像素，进行从在垂直方向上相邻于该R像素的G像素的像素值的平均值中减去该R像素的像素值的处理。

(B6)对于在垂直方向上相邻于R像素的G像素，进行从该G像素的像素值中减去在垂直方向上相邻于该G像素值的R像素的像素值的平均值的处理。

(B7)对于在垂直方向上相邻于B像素的G像素，进行从该G像素的像素值中减去在垂直方向上相邻于该G像素的B像素的像素值的平均值的处理。

(B8)对于在垂直方向上相邻于G像素的B像素，进行从在垂直方向上相邻于该B像素的G像素的像素值的平均值中减去该B像素的像素值的处理。

水平方向相关度计算部43针对贝叶尔数据中的各插值对象像素，根据水平方向基准图像计算出作为水平方向的相关度的水平相关度Hr。水平相关度计算部43通过执行以下(C1)～(C3)的处理，对水平相关度Hr进行计算。

(C1)求出水平方向基准图像中的各分量间的差分值。

(C2)求出在(C1)中所求出的各差分值的绝对值。

(C3)将在(C2)中所求出的各绝对值乘以规定的系数而得到的值的总和作为水平相关度Hr来进行计算。

若举一个(C1)～(C3)的处理的示例，则与图5所示的“R24”的位置相关的像素的水平相关度Hr将如下所示。

Hr＝abs(h8-h9)+2×abs(h9-h10)+2×abs(h10-h11)+abs(h11-h12)+2×{abs(h15-h16)+2×abs(h16-h17)+2×abs(h17-h18)+abs(h18-h19)}+2×{abs(h22-h23)+2×abs(h23-h24)+2×abs(h24-h 25)+abs(h25-h26))+2×{abs(h29-h30)+2×abs(h30-h31)+2×abs(h31-h32)+abs(h32-h33)}+abs(h36-h37)+2×abs(h37-h38)+2×abs(h38-h39)+abs(h39-h40)

在此，abs( )是表示求取绝对值的运算。

水平相关度Hr的值越小，水平方向的相关度越强。

垂直方向相关度计算部44针对贝叶尔数据中的各插值对象像素，根据垂直方向基准图像计算出作为垂直方向的相关度的垂直相关度Vd。垂直相关度计算部44通过执行以下(D1)～(D3)的处理，对垂直相关度Vd进行计算。

(D1)求出垂直方向基准图像中的各分量间的差分值。

(D2)求出在(D1)中所求出的各差分值的绝对值。

(D3)将在(D2)中所求出的各绝对值乘以规定的系数而得到的值的总和作为垂直相关度Vd来进行计算。

若举一个(D1)～(D3)的处理的示例，则涉及图5所示的“R24”的位置上的像素的垂直相关度Vd将如下所示。

Vd＝abs(v8-v15)+2×abs(v15-v22)+2×abs(v22-v29)+abs(v29-v36)+2×{abs(v9-v16)+2×abs(v16-v23)+2×abs(v23-v30)+abs(v30-v37)}+2×{abs(v10-v17)+2×abs(v17-v24)+2×abs(v24-v31)+abs(v31-v38))+2×(abs(v11-v18)+2×abs(v18-v25)+2×abs(v25-v32)+abs(v32-v39)}+abs(v12-v19)+2×abs(v19-v25)+2×abs(v26-v33)+abs(v33-v40)

在此，abs( )是表示求取绝对值的运算。

垂直相关度Vd的值越小，垂直方向的相关度越强。

像素值确定部45根据水平相关度Hr和垂直相关度Vd，确定插值到插值对象像素中的G像素的像素值。

当水平相关度Hr比垂直相关度Vd小，换言之，水平方向的相关性比垂直方向的相关性强时，像素值确定部45将在插值对象像素的水平方向上所相邻的G像素的像素值的平均值确定为插值到插值对象像素中的G像素的像素值。

此时，例如，像素值确定部45，作为对图5所示的“R24”的位置上的像素(插值对象像素)进行插值的G像素的像素值“G24”，利用在水平方向上相邻于“R24”的位置上的像素的G像素的像素值“G23”、“G25”，确定以下的像素值。

G24＝(G23+G25)/2

另一方面，当垂直相关度Vd比水平相关度Hr小，换言之，垂直方向的相关性比水平方向的相关性强时，像素值确定部45将在插值对象像素的垂直方向上所相邻的G像素的像素值的平均值确定为插值到插值对象像素中的G像素的像素值。

此时，例如像素值确定部45，作为对图5所示的“R24”的位置上的像素(插值对象像素)进行插值的G像素的像素值“G24”，利用在垂直方向上相邻于“R24”的位置上的像素的G像素的像素值“G17”、“G31”，确定以下的像素值。

G24＝(G17+G31)/2

像素值提取部46将像素值确定部所确定的像素值作为对贝叶尔数据中的插值对象像素应进行插值的G像素的像素值来提取。

G像素提取电路40除了“R24”的位置上的像素以外，要对贝叶尔数据中全部的插值对象像素(不存在G像素的信息的R像素和B像素)实施以上说明的处理，并提取对各插值对象应进行插值的G像素的像素值。即，G像素提取电路40对贝叶尔数据中全部的插值对象像素的每一个，分别生成水平方向基准图像和垂直方向基准图像，并利用这些水平方向基准图像和垂直方向基准图像中的分量，计算出水平方向上的像素值的相关性和垂直方向上的像素值的相关性，提取对各插值对象应进行插值的G像素的像素值。通过此处理，可以得到只由从贝叶尔数据提取到的恰当的G像素的信息所构成的图像信号(以下称为“G图像信号”)。

返回图3，在第二电路部30b中，使G像素提取电路40所得到的G图像信号通过作为高通滤波器的HPF37，除去G图像信号的低频成分。

然后，在加法器36中，对在第一电路部30a中实施了信号处理并通过了LPF(低通滤波器)26后的彩色图像信号，加上除去了低频成分后的G图像信号，即进行插值。

如以上说明，根据本实施方式，不仅参照在插值对象像素周围的G像素，还参照在插值对象像素周围的R像素及B像素，来确定对贝叶尔数据进行插值的G像素的像素值。若如此进行，则在对贝叶尔数据插值G像素时，参照的像素的信息将变多。其结果，能够对图像信号插值G像素的恰当的像素值。

另外，根据本实施方式，利用在插值对象像素的周围的G像素、R像素和B像素的各自的像素值，生成水平方向基准图像和垂直方向基准图像，并利用这些水平方向基准图像和垂直方向基准图像中的分量，计算出水平方向上的像素值的相关性和垂直方向上的像素值的相关性。若如此进行，则在计算与像素值相关的相关性时，参照的像素的信息将变多。其结果，能够减少对与像素值相关的相关性强的方向进行误判断的可能性。

另外，根据本实施方式，对在第一电路部30a中实施了信号处理并通过了LPF(低通滤波器)26后的彩色图像信号，插值了在第二电路部30b中提取出的G像素的恰当的信息。由于G图像的信息对再生图像中轮廓的鲜明度有影响，所以若如此进行，则基于贝叶尔数据的再生图像的轮廓被强调，能够提高再生图像的画质。

[变形例]

接着，对本发明的变形例进行说明。对于在插值对象像素的周围的像素，有水平方向的相关性与垂直方向的相关性之差很小的情形。即，在插值对象像素的周围有梯度(gradation)平缓的情形。此时，若利用第一实施方式的处理，对贝叶尔数据的插值对象像素插值G像素，则插值对象像素的像素值将成为特殊值(孤立点)，出现基于图像信号的再生图像的画质劣化的问题。

在此变形例中，如图8所示，仅在G像素提取电路40中设置了混合比确定部47这一点上与上述的实施方式有所不同。其他的结构及处理与上述的实施方式相同。

混合比确定部47根据由水平方向相关度计算部43计算出的水平相关度Hr和由垂直方向相关度计算部44计算出的垂直相关度Vd来确定混合比。

当水平相关度Hr比垂直相关度Vd小，换言之，水平方向的相关性比垂直方向的相关性强时，混合比确定部47将由Hr/Vd构成的值确定为混合比。另一方面，当垂直相关度Vd比水平相关度Hr小，换言之，垂直方向的相关性比水平方向的相关性强时，混合比确定部47将由Vd/Hr构成的值确定为混合比。

当水平方向的相关性比垂直方向的相关性强时，像素值确定部45将在水平方向上相邻于插值对象像素的G像素的像素值的平均值、与在水平方向及垂直方向上相邻于插值对象像素的四个G像素的平均值，以基于混合比的比率进行相加后的像素值的G像素，确定为插值到插值对象像素中的G像素的像素值。

此时，例如，对图5所示的“R24”的位置上的像素进行插值的G像素的像素值“G24”将成为以下的像素值。

G24＝(1.0-(Hr/Vd))×(G23+G25)/2+(Hr/Vd)×(G17+G31+G23+G25)/4

当垂直水平方向的相关性比水平方向的相关性强时，像素值确定部45将在垂直方向上相邻于插值对象像素的G像素的像素值的平均值、与在水平方向及垂直方向上相邻于插值对象像素的四个G像素的平均值，以基于混合比的比率进行相加后的像素值的G像素，确定为插值到插值对象像素中的G像素的像素值。

此时，例如，对图5所示的“R24”的位置上的像素进行插值的G像素的像素值“G24”将成为以下的像素值。

G24＝(1.0-(Vd/Hr))×(G17+G31)/2+(Vd/Hr)×(G17+G31+G23+G25)/4

像素值提取部46，将像素值确定部所确定的像素值作为对贝叶尔数据中的插值对象像素应进行插值的G像素的像素值来提取。这样，就可获得仅由从贝叶尔数据提取出的恰当的G像素的信息所构成的图像信号(G图像信号)。

然后，返回图3，在加法器36中，对在第一电路部30a中实施了信号处理并通过了LPF(低通滤波器)26后的彩色图像信号，加上G图像信号，即进行插值。

根据以上说明的变形例，在确定对贝叶尔数据进行插值的G像素的像素值时，不仅使用了在相关性强的方向上相邻于插值对象像素的两个像素的平均值，还使用了在水平方向及垂直方向上相邻于插值对象像素的四个像素的平均值。若如此进行，则即便是水平方向的相关性与垂直方向的相关性之差很小的情形，插值对象像素的像素值也不会成为特殊值(孤立点)，能够防止基于图像信号的再生图像的画质的劣化。

本发明不限于上述的实施方式及变形例，还包括不脱离此发明的宗旨的范围的设计变更。

Claims (10)

1、一种像素插值电路，具备：

相关性计算部，其在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；和

像素值确定部，其在由所述相关性计算部计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；

对基于所述贝叶尔数据的图像信号插值：由所述像素值确定部确定的像素值的G像素。

2、根据权利要求1所述的像素插值电路，其特征在于，

具备：

第一基准图像生成部，其在所述插值对象像素的周围区域中，进行使用了沿水平方向相邻的像素的像素值的运算，生成第一基准图像；和

第二基准图像生成部，其在所述插值对象像素的周围区域中，进行使用了沿垂直方向相邻的像素的像素值的运算，生成第二基准图像；

所述相关性计算部，根据由所述第一基准图像生成部生成的第一基准图像计算出水平方向的相关性，并根据由所述第二基准图像生成部生成的第二基准图像计算出垂直方向的相关性。

3、根据权利要求2所述的像素插值电路，其特征在于，

所述第一基准图像生成部具备水平差分运算部，其在所述插值对象像素的周围区域，取得第一像素的像素值、与在水平方向上相相邻于该第一像素的第二像素以及第三像素各自的像素值的平均值的差分值，

所述第一基准图像生成部根据由所述水平差分运算部得到的各差分值生成所述第一基准图像，

所述第二基准图像生成部具备垂直差分运算部，其在所述插值对象像素的周围区域，取得第一像素的像素值、与在垂直方向上相相邻于该第一像素的第四像素以及第五像素各自的像素值的平均值的差分值，

所述第二基准图像生成部根据由所述垂直差分运算部得到的各差分值生成所述第二基准图像。

4、根据权利要求2所述的像素插值电路，其特征在于，

所述第一基准图像生成部，具备：

第一水平差分运算部，其取得R像素的像素值、与在水平方向上相邻于该R像素的G像素的像素值的平均值的差分值；

第二水平差分运算部，其取得B像素的像素值、与在水平方向上相邻于该B像素的G像素的像素值的平均值的差分值；

第三水平差分运算部，其取得在水平方向上相邻于G像素的R像素的像素值的平均值、与该G像素的像素值的差分值；和

第四水平差分运算部，其取得在水平方向上相邻于G像素的B像素的像素值的平均值、与该G像素的像素值的差分值；

并根据由所述第一～第四水平差分运算部得到的各差分值生成所述第一基准图像，

所述第二基准图像生成部，具备：

第一垂直差分运算部，其取得R像素的像素值、与在垂直方向上相邻于该R像素的G像素的像素值的平均值的差分值；

第二垂直差分运算部，其取得B像素的像素值、与在垂直方向上相邻于该B像素的G像素的像素值的平均值的差分值；

第三垂直差分运算部，其取得在垂直方向上相邻于G像素的R像素的像素值的平均值、与该G像素的像素值的差分值；和

第四垂直差分运算部，其取得在垂直方向上相邻于G像素的B像素的像素值的平均值、与该G像素的像素值的差分值；

并根据由所述第一～第四垂直差分运算部得到的各差分值生成所述第二基准图像。

5、根据权利要求4所述的像素插值电路，其特征在于，

相关性计算部，具备：

第一计算部，其计算第一相关值，该第一相关值是对由所述第一～第四水平差分运算部得到的各差分值的绝对值的每一个乘以规定的系数后得到的值的总和；和

第二计算部，其计算第二相关值，该第二相关值是对由所述第一～第四垂直差分运算部得到的各差分值的绝对值的每一个乘以规定的系数后得到的值的总和；

并根据由所述第一计算部计算出的第一相关值和由所述第二计算部计算出的第二相关值，计算出水平方向的相关性和垂直方向的相关性。

6、根据权利要求1所述的像素插值电路，其特征在于，

所述像素值确定部，在由所述相关性计算部计算出的各相关性中的相关性强的方向上，将相邻于所述各插值对象像素的像素的像素值的平均值确定为插值到所述插值对象像素中的G像素的像素值。

7、根据权利要求1所述的像素插值电路，其特征在于，

所述像素值确定部，将在由所述相关性计算部计算出的各相关性中的相关性强的方向上相邻于所述各插值对象像素的像素的像素值的平均值、和在水平方向及垂直方向上相邻于所述各插值对象像素的像素的平均值，按规定的比率进行相加后得到的像素值，确定为插值到所述各插值对象像素中的G像素的像素值。

8、根据权利要求7所述的像素插值电路，其特征在于，

所述规定的比率是基于由所述第一计算部计算出的第一相关值和由所述第二计算部计算出的第二相关值的比率。

9、一种像素插值方法，包括：

第一步骤，在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；

第二步骤，在所述第一步骤中计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；和

第三步骤，对基于所述贝叶尔数据的图像信号插值：在所述第二步骤中确定的像素值的G像素。

10、一种计算机可读取的记录介质，存储有使计算机执行下述处理的程序，所述处理包括：

第一处理，在贝叶尔数据中利用R像素、G像素和B像素的各自的像素值，对不存在G像素的像素即插值对象像素的周围区域的水平方向的相关性和垂直方向的相关性进行计算；

第二处理，在通过所述第一处理计算出的各相关性中的相关性强的方向上，基于与所述插值对象像素相邻的像素的像素值，确定插值到所述插值对象像素中的G像素的像素值；和

第三处理，对基于所述贝叶尔数据的图像信号插值：通过所述第二处理确定的像素值的G像素。

Images