CN101742336B

CN101742336B - 图像处理装置以及图像处理方法

Info

Publication number: CN101742336B
Application number: CN2009102246132A
Authority: CN
Inventors: 市川学
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Corp
Priority date: 2008-11-21
Filing date: 2009-11-20
Publication date: 2013-06-12
Anticipated expiration: 2029-11-20
Also published as: JP2010124411A; US20100128142A1; US8786728B2; JP5642344B2; CN101742336A

Abstract

本发明提供图像处理装置以及图像处理方法。该图像处理装置具有：白平衡设定部，其进行针对图像数据的白平衡校正处理用的设定；白平衡校正部，其对摄像得到的多个RAW图像数据分别进行与白平衡设定部的设定对应的白平衡校正处理；以及图像合成部，其将进行白平衡校正处理后的多个图像数据进行合成，生成合成图像数据。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及进行多个图像数据的合成的图像处理装置以及图像处理方法。

背景技术

近年来，公知有具有多重曝光功能的数字照相机，多重曝光功能是对实施颜色处理后的多个彩色图像数据进行合成，生成在一个图像上映现出多个场景的图像。在JP200-448663A中公开了这样一种技术，该技术用于实现消除了伽马转换等的影响的图像合成处理。在该技术中，将实施颜色处理后的彩色图像数据转换成实施颜色处理前的彩色图像数据，然后进行合成，之后再次实施颜色处理。

但是，在使用RAW图像数据进行合成的情况下，由于未进行颜色再现等图像处理，因此存在这样的问题，即：当单纯地对不同光源下拍摄到的RAW图像数据进行合成时，形成白平衡不正确的合成图像。

发明内容

本发明的一种方式的图像处理装置具有：白平衡设定部，其在每次摄影时进行针对图像数据的白平衡校正处理用的与摄影时的光源对应的白平衡模式的设定；白平衡校正部，其对不同光源下摄像得到的多个RAW图像数据分别进行白平衡校正处理，所述白平衡校正处理是指将所述多个RAW图像数据乘以与在摄影时分别设定的白平衡模式对应确定的白平衡增益；以及图像合成部，其将进行白平衡校正处理后的多个图像数据进行合成，生成合成图像数据。

本发明的另一方式的图像处理方法包括以下步骤：在每次摄影时进行针对图像数据的白平衡校正处理用的与摄影时的光源对应的白平衡模式的设定；对不同光源下摄像得到的多个RAW图像数据分别进行白平衡校正处理，所述白平衡校正处理是指将所述多个RAW图像数据乘以与在摄影时分别设定的白平衡模式对应确定的白平衡增益；以及将进行白平衡校正处理后的多个图像数据进行合成，生成合成图像数据。

根据本发明，能够生成白平衡正确的合成图像。

附图说明

图1是示出应用了第1实施方式的图像处理装置的数字静态照相机的结构的框图。

图2是示出由应用了第1实施方式的图像处理装置的数字静态照相机进行的主处理流程的流程图。

图3是示出关于摄影/记录动作的详细处理内容的流程图。

图4是示出关于合成处理的详细处理内容的流程图。

图5是示出关于显影处理的详细处理内容的流程图。

图6是由第2实施方式的图像处理装置进行的合成处理的详细内容的流程图。

图7是示出与白平衡模式对应的白平衡增益的一例的图。

具体实施方式

<第1实施方式>

图1是示出应用了第1实施方式的图像处理装置的数字静态照相机的结构的框图。图1所示的数字静态照相机由照相机主体1和交换式镜头2构成。

交换式镜头2具有透镜1010、闪存1011、微型计算机1012、驱动器1013以及光圈1014。交换式镜头2经由I/F 999以可通信的方式与照相机主体1连接。

照相机主体1具有：机械快门101、摄像元件102、模拟处理部103、模拟/数字转换部104（以下称为A/D转换部104）、总线105、SDRAM 106、图像处理部107、AE处理部108、AF处理部109、JPEG处理部110、存储器接口111（以下称为存储器I/F 111）、记录介质112、LCD驱动器113、LCD 114、微型计算机115、操作部116以及闪存117。

透镜1010将被摄体的光学像会聚在摄像元件102上。透镜1010可以是单焦点透镜，也可以是变焦透镜。

微型计算机1012与I/F 999、闪存1011以及驱动器1013连接，对存储在闪存1011中的信息进行读/写，并且对驱动器1013进行控制。微型计算机1012还可以经由I/F 999与微型计算机115进行通信，向微型计算机115发送各种信息，此外，从微型计算机115接收光圈值等信息。

驱动器1013接受微型计算机1012的指示，对透镜1010进行驱动，改变焦距及焦点位置，并且驱动光圈1014。光圈1014设置在透镜1010的附近，对被摄体的光量进行调节。

机械快门101接受微型计算机115的指示而驱动，控制向摄像元件102曝光被摄体的时间。

摄像元件102是在构成各像素的光电二极管的前面配置有拜尔排列的滤色器的摄像元件。拜尔排列构成为：在水平方向上，具有R像素与G（Gr）像素交替配置的行（line）、以及G（Gb）像素与B像素交替配置的行，并且在垂直方向上，也交替地配置有这两种行。该摄像元件102通过构成像素的光电二极管来接收由透镜1010会聚的光并进行光电转换，由此，将光量作为电荷量输出给模拟处理部103。另外，摄像元件102可以采用CMOS方式也可以采用CCD方式。此外，摄像元件也可以不采用配置有拜尔排列的滤色器的类型，而是例如采用FOVEON（注册商标）图像传感器那样的可利用1个像素来读取所有R、G、B信息的类型。

模拟处理部103针对从摄像元件102读出的电信号（模拟图像信号），在降低了复位噪声的基础上进行波形整形，然后提高增益以得到目标明亮度。A/D转换部104将从模拟处理部103输出的模拟图像信号转换成数字图像信号（后文中称为图像数据）。

总线105是用于将数字照相机内部产生的各种数据传送到数字照相机内的各部的传送路径。总线105与A/D转换部104、SDRAM 106、图像处理部107、AE处理部108、AF处理部109、JPEG处理部110、存储器I/F 111、LCD驱动器113以及微型计算机115连接。

从A/D转换部104输出的图像数据经由总线105而临时存储在SDRAM 106中。SDRAM 106是临时存储以下等各种数据的存储部，即：在A/D转换部104中得到的图像数据、在图像处理部107、JPEG处理部110中进行处理后的图像数据。

图像处理部107包括光学黑体减法运算部1071（以下称为OB减法运算部）、白平衡校正部1072（以下称为WB校正部1072）、同步处理部1073、伽马/颜色再现处理部1074、颜色矩阵运算部1075、边缘强调处理部1076以及降噪处理部1077（以下称为NR处理部1077），对从DRAM106读出的图像数据实施各种图像处理。

OB减法运算部1071对图像数据进行光学黑体减法运算处理（以下称为OB减法运算处理）。OB减法运算处理是这样的处理：从构成图像数据的各像素的像素值，减去由摄像元件102的暗电流等引起的光学黑体值（以下称为OB值）。

WB校正部1072进行如下处理：对图像数据乘以与白平衡模式对应的白平衡增益，进行白平衡校正。白平衡模式可以由用户根据晴天、阴天、灯泡、荧光灯等光源来进行设定。

同步处理部1073进行如下处理：对基于拜尔排列的图像数据进行同步，使其成为每个像素均是由R、G、B信息构成的图像数据。伽马/颜色再现处理部1074进行伽马校正处理以及改变图像色调的颜色再现处理。

颜色矩阵运算部1075进行对图像数据乘以颜色矩阵的线性转换，对图像数据的颜色进行校正。边缘强调处理部1076进行如下处理：从图像数据中提取边缘，对提取出的边缘的数据乘以预定增益，之后与图像数据相加，由此来强调图像数据的边缘。NR处理部1077进行如下处理：通过使用了降低高频的滤波器的处理或核化（coring）处理等，进行降噪。

图像处理部107根据需要而选择设置在内部的各部1071～1077，进行各种处理。由图像处理部107进行了各处理后的图像数据存储在SDRAM 106中。

AE处理部108根据图像数据来计算被摄体亮度。用于计算被摄体亮度的数据可以是专用测光传感器的输出。AF处理部109从图像数据中取出高频成分信号，通过AF（Auto Focus：自动聚焦）累计处理来取得对焦评价值。

JPEG处理部110在图像数据的记录时，从SDRAM 106读出图像数据，按照JPEG压缩方式对读出的图像数据进行压缩，将压缩后的JPEG图像临时存储在SDRAM 106中。微型计算机115对存储在SDRAM 106中的JPEG图像添加构成JPEG文件所需的JPEG头而制成JPEG文件，并经由存储器I/F 111将制成的JPEG文件记录在记录介质112中。记录介质112例如是由可在照相机主体1上装卸的存储卡构成的记录介质，但不限于此。

LCD驱动器113使LCD 114显示图像。在对记录在记录介质112中的JPEG文件进行再现时，JPEG处理部110读出记录在记录介质112中的JPEG文件并实施解压缩处理，然后将解压缩后的图像数据临时存储在SDRAM 106中。LCD驱动器113从SDRAM 106读出解压缩后的图像数据，将读出的图像数据转换成影像信号，之后输出到LCD 114，进行图像显示。图像显示不仅包含静态图像显示，还包含实时取景显示图像等动态图像显示。

具有控制部功能的微型计算机115统一控制数字照相机主体1的各种进程（sequence）。微型计算机115与操作部116以及闪存117相连。

操作部116是电源按钮、释放按钮、各种输入键等操作部件。响应于用户对操作部116中的任一操作部件进行了操作，微型计算机115执行与用户操作对应的各种进程。电源按钮是用于对该数字照相机的电源进行接通/关闭指示的操作部件。当按下电源按钮时，微型计算机115接通或关闭该数字照相机的电源。释放按钮构成为具有第一释放开关和第二释放开关这两级开关。当半按释放开关而接通第一释放开关时，微型计算机115进行AE处理或AF处理等摄影准备进程。此外，当全按释放开关而接通第二释放开关时，微型计算机115执行摄影进程而进行拍摄。

闪存117存储有与白平衡模式对应的白平衡增益及低通滤波器系数等数字照相机的工作中所需的各种参数、以及用于确定数字静态照相机的制造编号等。此外，闪存117还存储有供微型计算机115执行的各种程序。微型计算机115根据存储在闪存117中的程序，从闪存117中读入各种进程中所需的参数，执行各处理。

图2是示出由应用了第1实施方式的图像处理装置的数字静态照相机进行的主处理流程的流程图。当用户按下电源按钮而接通了数字静态照相机的电源时，微型计算机115开始步骤S201的处理。

在步骤S201中，判定是否进行摄影，即，判定是否按下了释放按钮。当判定为按下了释放按钮时，进入步骤S202，进行摄影/记录动作。后面将使用图3所示的流程图对摄影/记录动作进行描述。

在步骤S201中判定为未按下释放按钮时，进入步骤S203。在步骤S203中，判定是否进行图像数据的合成处理。当用户操作了操作部116所包含的输入键而从LCD 114上显示的多个菜单中选择了图像数据合成菜单时，判定为进行图像数据的合成处理，进入步骤S204。在步骤S204中，进行图像数据合成处理。后面将使用图4所示的流程图对图像数据合成处理的详细内容进行描述。

当判定为不进行图像数据合成处理时，进入步骤S205。在步骤S205中，判定是否进行图像数据显影处理。当用户操作了操作部116所包含的输入键而从LCD 114上显示的多个菜单中选择了图像数据显影菜单时，判定为进行显影处理，进入步骤S206。在步骤S206中，进行图像数据显影处理。后面将使用图5所示的流程图对图像数据显影处理的详细内容进行描述。

在步骤S207中，判定数字静态照相机的电源是否关闭，即，判定用户是否按下了电源按钮而将电源关闭。当判定为电源尚未关闭时，返回步骤S201，而当判定为电源关闭时，结束所有动作。

图3是示出在图2所示流程图的步骤S202中进行的摄影/记录动作的详细处理内容的流程图。从步骤S301到步骤S303的处理是在第一释放操作中进行的处理，步骤S304以后的处理是在第二释放操作中进行的处理。

在步骤S301中，在AF处理部109中计算对焦评价值。微型计算机115根据对焦评价值向驱动器1013发出驱动透镜1010的指令。

在步骤S302中，在AF处理部109中计算被摄体亮度。在步骤S303中，根据被摄体亮度，参照存储在闪存117中的光圈值和快门速度确定表，计算光圈值和快门速度。

在步骤S304中，判断用户是否全按下释放按钮而接通了第二释放开关。当判定为未接通第二释放开关时，进入步骤S305。在步骤S305中，判定释放按钮是否复位。当判定为已从半按下释放按钮的状态复位时，结束摄影/记录动作，当判定为释放按钮并未复位时，返回步骤S304。

另一方面，当在步骤S304中判定为第二释放开关接通时，进入步骤S306。在步骤S306中进行摄影。关于摄影，与以往使用的方法相同。驱动器1013根据微型计算机1012的指示，驱动光圈1014以达到设定的光圈值。然后，根据计算出的快门速度对机械快门101进行控制，进行拍摄，得到图像数据。

在步骤S307中，判定图像的记录格式是否为RAW格式。用户可以通过对操作部116进行操作来在摄影前选择图像的记录格式。当判定为图像的记录格式是RAW格式时，进入步骤S317，经由存储器I/F 111将RAW格式的数据即拜尔数据记录到记录介质112中。这里，针对每个记录的拜尔数据制作缩略图像数据，并与拜尔数据一起进行记录。此外，摄影时得到的OB值、与白平衡模式对应的白平衡增益、与白平衡模式对应的颜色矩阵也作为同一文件，与拜尔数据同时进行记录。

另外，可以通过用户对操作部116所包含的输入键进行操作来在每次摄影时进行白平衡模式的设定。微型计算机115根据用户对操作部116的操作来对白平衡模式进行设定。此外，在数字静态照相机具有自动调节白平衡的自动白平衡功能的情况下，微型计算机115自动设定为与摄影时的光源对应的白平衡模式。

另一方面，当在步骤S307中判定为图像的记录格式是JPEG格式时，进入步骤S308。在步骤S308中，由OB减法运算部1071进行OB减法运算处理，即，从摄影得到的图像数据中减去摄像时得到的OB值。

在步骤S309中，由WB校正部1072进行这样的处理：对实施OB减法运算处理后的图像数据乘以与白平衡模式对应的白平衡增益，对白平衡进行校正。

在步骤S310中，由同步处理部1073对实施白平衡校正处理后的图像数据实施同步处理。

在步骤S311中，由颜色矩阵运算部1075进行颜色矩阵运算，即，对实施同步处理后的图像数据乘以与白平衡模式对应的颜色矩阵。

在步骤S312中，由伽马/颜色再现处理部1074对进行颜色矩阵运算后的图像数据进行伽马校正处理以及改变图像色调的颜色再现处理。

在步骤S313中，由边缘强调处理部1076对进行了伽马校正处理和颜色再现处理后的图像数据进行边缘强调处理。

在步骤S314中，由NR处理部1077对进行了边缘强调处理后的图像数据进行降噪处理。

在步骤S315中，在JPEG处理部110中对进行降噪处理后的图像数据进行JPEG压缩。在步骤S316中，制作图像的记录模式及曝光条件等摄影信息，作为文件头信息，将制成的文件头信息添加到进行JPEG压缩后的图像数据中，并经由存储器I/F 111记录在记录介质112中。

图4是示出在图2所示的流程图的步骤S204中进行的合成处理的详细处理内容的流程图。在步骤S401中，根据用户对操作部116的操作，选择两个以上进行合成处理的拜尔数据。这里，首先，在LCD 114上显示记录在记录介质112中的多个缩略图像数据。然后，当用户选择了两个以上进行合成处理的缩略图像数据时，从记录在记录介质112中的多个拜尔数据中选择与选择出的缩略图像数据对应的拜尔数据。以下，将所选择的拜尔数据设为N个（N为2以上的自然数），继续说明。

在步骤S402中，从记录介质112中读出所选择的N个拜尔数据中的第i个拜尔数据。其中，参数i的初始值被设为1。从N个拜尔数据中读出的顺序可以是用户所选择的顺序，也可以是任意顺序。

在步骤S403中，在OB减法运算部1071中，对在步骤S402中读出的拜尔数据实施OB减法运算处理，该OB减法运算处理使用与读出的拜尔数据记录在同一文件中的OB值。在步骤S404中，由WB校正部1072对实施OB减法运算处理后的拜尔数据实施白平衡校正处理，该白平衡校正处理使用与读出的拜尔数据记录在同一文件中的白平衡增益。

在步骤S405中，对构成实施了白平衡校正处理后的拜尔数据的各像素的像素值乘以1/N。这是出于以下目的而进行的处理，即：在将N个拜尔数据合成而生成1个合成图像时，需要保持适当的亮度。

另外，对像素值乘以的值不限于1/N。例如，在将4个拜尔数据进行合成的情况下，如果所选择的拜尔数据分别是在一级曝光不足（曝光量为正常曝光量的一半）的条件下拍摄到的，则优选使用0.5（1/2）作为系数。

在步骤S406中对参数i加1。在步骤S407中，判定参数i是否为比合成个数N大的值。当判定为参数i并非大于N时，返回步骤S402，进行从步骤S402到步骤S407的处理。另一方面，当判定为参数i大于N时，将参数i的值设定为初始值1，进入步骤S408。由此，对作为合成对象的所有拜尔数据都实施了与各拜尔数据的白平衡模式对应的白平衡校正处理。

在步骤S408中，进行N个拜尔数据的合成处理。这里，将N个拜尔数据的同一坐标值处的各像素的像素值相加，生成1个合成图像数据。

在步骤S409中，经由存储器I/F 111，将生成的合成图像数据记录到记录介质112中。这里，由于处于图像处理之前，因此合成图像数据作为拜尔数据记录在记录介质112中。此时，制作所记录的合成图像数据的缩略图像数据，与合成图像一起进行记录。并且，对生成的合成图像数据进行显影处理时所要使用的OB值、白平衡增益以及颜色矩阵也预先记录在与生成的合成图像数据相同的文件中。设所记录的OB值为0、白平衡增益为1.0、颜色矩阵为特定的颜色矩阵（例如晴天时的颜色矩阵）。

图5是示出在图2所示的流程图的步骤S206中进行的显影处理的详细处理内容的流程图。在步骤S501中，根据用户对操作部116的操作来选择进行显影处理的拜尔数据。这里，首先，在LCD 114上显示记录在记录介质112中的多个缩略图像数据。然后，当用户选择了进行显影处理的缩略图像数据时，从记录在记录介质112中的多个拜尔数据中选择与选择出的缩略图像数据对应的拜尔数据。

在步骤S502中，从记录介质112中取出在步骤S501中选择的拜尔数据。在步骤S503中，由OB减法运算部1071对读出的拜尔数据实施OB减法运算处理，该OB减法运算处理使用与读出的拜尔数据记录在同一文件中的OB值。在进行合成图像数据的显影处理的情况下，由于所记录的OB值为0，因此实际上相当于不进行OB减法运算处理。

在步骤S504中，由WB校正部1072对实施OB减法运算处理后的数据实施白平衡校正处理，该白平衡校正处理使用与读出的拜尔数据记录在同一文件中的白平衡增益。在进行合成图像数据的显影处理的情况下，由于所记录的白平衡增益为1.0，因此实际上相当于不进行白平衡校正处理。

另外，如上所述，在进行合成图像数据的显影处理的情况下，由于相当于实质不进行OB减法运算处理和白平衡校正处理，因此也可以不进行步骤S503和步骤S504。

在步骤S505中，由同步处理部1073对实施白平衡校正处理后的数据实施同步处理。在步骤S506中，由颜色矩阵运算部1075对实施了同步处理后的数据进行颜色矩阵运算，该颜色矩阵运算使用与读出的拜尔数据记录在同一文件中的颜色矩阵。

在步骤S507中，由伽马/颜色再现处理部1074对进行颜色矩阵运算后的数据，进行伽马校正处理以及改变图像色调的颜色再现处理。

在步骤S508中，由边缘强调处理部1076对进行伽马校正处理和颜色再现处理后的数据进行边缘强调处理。在步骤S509中，由NR处理部1077对进行边缘强调处理后的数据进行降噪处理。

在步骤S510中，在JPEG处理部110中，对进行降噪处理后的数据进行JPEG压缩。在步骤S511中，制作图像的记录模式和曝光条件等摄影信息，作为文件头信息，将制成的文件头信息添加到进行JPEG压缩后的数据中，并经由存储器I/F 111记录到记录介质112中。

根据第1实施方式的图像处理装置，对摄像得到的多个RAW图像数据分别进行与白平衡校正处理用的设定对应的白平衡校正处理，将白平衡校正处理后的多个图像数据进行合成，生成合成图像数据。由此，在对不同光源下拍摄到的多个RAW图像数据进行合成的情况下，也能够生成白平衡正确的合成图像数据。

此外，在对合成图像数据实施图像处理的情况下，不进行白平衡校正处理，或者进行不产生实质变化的白平衡校正处理，因此，能够防止白平衡校正处理的重复进行。

<第2实施方式>

第2实施方式的图像处理装置的结构与图1所示的第1实施方式的图像处理装置的结构相同。第2实施方式的图像处理装置与第1实施方式的图像处理装置的区别在于，在图2所示的流程图的步骤S204中进行的合成处理不同。在第2实施方式的图像处理装置中，不仅对作为合成对象的多个RAW图像数据进行白平衡校正处理，还对其进行颜色矩阵运算处理。

图6是示出由第2实施方式的图像处理装置进行的合成处理的详细内容的流程图。对进行与图4所示的流程图的处理相同的处理的步骤，标注相同的步骤编号并省略详细的说明。

在步骤S404中进行了白平衡校正处理后，进入步骤S601。在步骤S601中，在同步处理部1073中，对实施白平衡校正处理后的图像数据实施同步处理。

在步骤S602中，由颜色矩阵运算部1075进行颜色矩阵运算，即，对实施同步处理后图像数据乘以与处理对象的拜尔数据记录在同一文件中的颜色矩阵。

在步骤S603中，进行如下处理：对进行颜色矩阵运算后的图像数据进行拜尔数据化。即，在步骤S601中进行同步处理后的数据，在每个象素中都包含有R、G、B的数据，因此，为了恢复为拜尔数据而要进行这样的处理：基于拜尔排列，提取出R、G、B中的一个数据。

步骤S405以后的处理与图4所示的流程图相同。其中，在步骤S409中将合成图像数据记录到记录介质112中时，设记录在同一文件中的OB值为0、白平衡增益为1.0、颜色矩阵为单位矩阵。由于将预先记录的颜色矩阵设为单位矩阵，因此在对合成图像数据进行显影处理的情况下，在进行颜色矩阵运算的前后，合成图像数据不发生变化。另外，在对合成图像数据进行显影处理的情况下，也可以不进行颜色矩阵运算。

根据第2实施方式的图像处理装置，对摄像得到的多个RAW图像数据分别进行与白平衡校正处理用的设定对应的白平衡校正处理，并且进行与白平衡设定对应的颜色矩阵运算，对颜色矩阵运算后的多个图像数据进行合成，生成合成图像数据。由此，能够生成白平衡及颜色再现都正确的合成图像数据。

此外，在对合成图像实施图像处理的情况下，不进行颜色矩阵运算，或进行不产生实质变化的颜色矩阵运算，因此，能够防止颜色矩阵运算的重复进行。

<第3实施方式>

在上述第1和第2实施方式的图像处理装置中，在对通过合成多个拜尔数据而得到的合成图像数据进行图像处理时，由于白平衡增益为1.0，因此相当于不进行白平衡校正处理。在第3实施方式的图像处理装置中，例如进行与不同于摄影时的光源对应的白平衡校正处理。另外，第3实施方式的图像处理装置的结构与图1所示的第1实施方式的图像处理装置的结构相同。

图7是示出与白平衡模式对应的白平衡增益的一例的图。这里，可以设定灯泡、晴天、阴天和背阴这4种白平衡模式。例如，在白平衡模式为灯泡的情况下，白平衡增益中的R增益为1.0，B增益为2.5。

在进行合成图像数据的显影处理的情况下，WB校正部1072使用将用户设定的白平衡模式的白平衡增益除以规定的白平衡增益而得到白平衡增益，进行白平衡校正处理。规定的白平衡增益为与可设定的白平衡模式（在图7所示的例子中为灯泡、晴天、阴天和背阴）中的任意一个白平衡模式对应的白平衡增益，这里，设为与晴天的白平衡模式对应的白平衡增益。但是，规定的白平衡增益不限于与晴天的白平衡模式对应的白平衡增益。

在用户设定的白平衡模式例如为灯泡的情况下，白平衡校正处理中使用的白平衡增益的R增益和B增益分别用下式（1）、（2）来表示。

R增益=1.0／2.0 （1）

B增益=2.5／1.5 （2）

在该情况下，对合成图像数据的R信号乘以R增益，对B信号乘以B增益，由此来进行白平衡校正处理。

根据第3实施方式的图像处理装置，在对合成图像数据实施图像处理的情况下，使用将与白平衡校正处理的设定对应的白平衡增益除以规定的白平衡增益而得到的白平衡增益，来进行白平衡校正处理。由此，能够对合成图像数据准确地实施用户所希望的白平衡校正处理。例如，针对将晴天下拍摄的多个RAW图像数据进行合成而得到的合成图像数据，进行使用了与灯泡的白平衡模式对应的白平衡增益的白平衡校正处理，由此能够得到强调了蓝色的合成图像。

此外，由于规定的白平衡增益为可设定的多个白平衡增益中的任意一个，因此，能够进行准确的白平衡校正处理，而不受各相机的白平衡增益偏差的影响。

另外，在上述各实施方式的说明中，以将图像显示装置应用于数字静态照相机为例进行了说明，但也可以将其应用于数字静态照相机以外的电子设备，或者采用由计算机来执行用于实现各实施方式中说明的处理的程序的结构。在具有CPU、RAM等主存储装置、以及存储有用于实现各实施方式所说明的全部或一部分处理的程序的计算机可读存储介质的计算机中，由CPU读出存储在上述存储介质中的程序而执行信息的加工/运算处理，由此来实现与上述图像显示装置同样的处理。

这里，计算机可读存储介质是指磁盘、光磁盘、CD-ROM、DVD-ROM以及半导体存储器等。此外，也可以经由通信线路向计算机发布上述程序，由接收到该发布的计算机执行程序。

本发明不限于上述实施方式，在不脱离本发明主旨的范围内可以进行各种变形和应用。例如，数字静态照相机可设定的白平衡模式不限于图7所示的灯泡、晴天、阴天和背阴这四种。

在上述实施方式中，作为RAW图像数据的一例，以拜尔数据为例进行了说明，但只要是未显影的数据即可，而不限于拜尔数据。

另外，虽然将与合成图像数据记录在同一文件中的白平衡增益设为1.0，但只要是实际不进行白平衡校正的大致1倍的增益即可。此外，在第2实施方式中，虽然将与合成图像数据记录在同一文件中的颜色矩阵设为单位矩阵，但只要是实际不进行颜色矩阵运算的矩阵即可。

本发明主张基于2008年11月21日向日本特许厅申请的日本特愿2008-298462的优先权，该申请的所有内容以参照的方式包含在本说明书中。

Claims

1.一种图像处理装置，该图像处理装置具有：

白平衡设定部，其在每次摄影时进行针对图像数据的白平衡校正处理用的与摄影时的光源对应的白平衡模式的设定；

白平衡校正部，其在每次摄影时对不同光源下摄像得到的多个RAW图像数据分别进行白平衡校正处理，所述白平衡校正处理是指将所述多个RAW图像数据乘以与在摄影时分别设定的白平衡模式对应确定的白平衡增益；以及

图像合成部，其将进行所述白平衡校正处理后的多个RAW图像数据进行合成，生成合成图像数据，

所述多个RAW图像数据是通过在自动白平衡模式下的摄影得到的，或者是通过在用户能够根据光源进行设定的手动白平衡模式下的摄影得到的，

通过所述摄像得到的多个RAW图像数据中的至少1个RAW图像数据是通过与其他RAW图像数据不同的白平衡模式得到的，对应于与其他的RAW图像数据不同的白平衡增益。

2.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有颜色矩阵运算部，该颜色矩阵运算部对进行所述白平衡校正处理后的多个RAW图像数据分别进行与所述白平衡模式对应的颜色矩阵运算，

所述图像合成部将进行所述颜色矩阵运算后的多个RAW图像数据进行合成，生成合成图像数据。

3.根据权利要求1或2所述的图像处理装置，其中，

在对所述合成图像数据实施图像处理的情况下，所述白平衡校正部不进行所述白平衡校正处理，或者进行在处理前后不产生实质变化的白平衡校正处理。

4.根据权利要求1或2所述的图像处理装置，其中，

在对所述合成图像数据实施图像处理的情况下，所述白平衡校正部使用将与所述白平衡设定部的设定对应的白平衡增益除以规定的白平衡增益而得到的白平衡增益，进行所述白平衡校正处理。

5.根据权利要求4所述的图像处理装置，其中，

所述规定的白平衡增益是所述白平衡设定部所能设定的多个白平衡增益中的任意一个。

6.根据权利要求2所述的图像处理装置，其中，

在对所述合成图像数据实施图像处理的情况下，所述颜色矩阵运算部不进行所述颜色矩阵运算，或者进行在运算前后不产生实质变化的颜色矩阵运算。

7.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有对所述合成图像数据进行记录的记录部，

所述记录部将如下附带信息与所述合成图像数据对应地进行记录，所述附带信息将进行所述白平衡校正处理时所使用的白平衡增益设为一倍。

8.根据权利要求2所述的图像处理装置，其中，

9.根据权利要求3所述的图像处理装置，其中，

10.根据权利要求2所述的图像处理装置，其中，

所述记录部将如下附带信息与所述合成图像数据对应地进行记录，所述附带信息将所述颜色矩阵运算中使用的颜色矩阵设为单位矩阵。

11.根据权利要求6所述的图像处理装置，其中，

12.一种图像处理方法，该图像处理方法包括以下步骤：

在每次摄影时进行针对图像数据的白平衡校正处理用的与摄影时的光源对应的白平衡模式的设定；

在每次摄影时对不同光源下摄像得到的多个RAW图像数据分别进行白平衡校正处理，所述白平衡校正处理是指将所述多个RAW图像数据乘以与在摄影时分别设定的白平衡模式对应确定的白平衡增益；以及

将进行所述白平衡校正处理后的多个RAW图像数据进行合成，生成合成图像数据，

13.根据权利要求12所述的图像处理方法，其中，

该图像处理方法还具有以下步骤：对进行所述白平衡校正处理后的多个RAW图像数据分别进行与所述白平衡模式对应的颜色矩阵运算，

在生成所述合成图像数据的步骤中，将进行所述颜色矩阵运算后的多个RAW图像数据进行合成，生成合成图像数据。