CN102326393A - 图像处理设备、图像拾取设备、图像处理方法和计算机程序 - Google Patents
图像处理设备、图像拾取设备、图像处理方法和计算机程序 Download PDFInfo
- Publication number
- CN102326393A CN102326393A CN2010800085283A CN201080008528A CN102326393A CN 102326393 A CN102326393 A CN 102326393A CN 2010800085283 A CN2010800085283 A CN 2010800085283A CN 201080008528 A CN201080008528 A CN 201080008528A CN 102326393 A CN102326393 A CN 102326393A
- Authority
- CN
- China
- Prior art keywords
- solar radiation
- image processing
- image data
- shaded areas
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 152
- 238000004590 computer program Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000005855 radiation Effects 0.000 claims description 154
- 238000000926 separation method Methods 0.000 claims description 92
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000001915 proofreading effect Effects 0.000 claims 4
- 238000000034 method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 238000003702 image correction Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 14
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 6
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 239000002932 luster Substances 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- OIQPTROHQCGFEF-UHFFFAOYSA-L chembl1371409 Chemical compound [Na+].[Na+].OC1=CC=C2C=C(S([O-])(=O)=O)C=CC2=C1N=NC1=CC=C(S([O-])(=O)=O)C=C1 OIQPTROHQCGFEF-UHFFFAOYSA-L 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
提供对每个由光源照亮的图像部分以及由光源遮蔽的图像部分执行单独的最优图像处理的图像处理设备、图像拾取设备、图像处理方法以及计算机程序。
Description
技术领域
本发明总的来说涉及提供图像处理设备、图像拾取设备、图像处理方法和计算机程序。
背景技术
用于校正通过使用诸如数码相机之类的图像拾取设备获取的图像数据的白平衡的技术是已知的技术。白平衡校正涉及，例如，改变图像数据的红色(R)信号、绿色(G)信号以及蓝色(B)信号之间的比率。
日本专利No.3849834(专利文件1)中公开了用于通过使用拍摄曝光值(EV)识别光源类型以及基于光源类型而校正白平衡来实现自动白平衡的技术。另一方面，在例如日本专利特开No.2004-64468(专利文件2)中公开了用于通过基于图像数据的R、G和B分量的平均值而识别光源类型来校正白平衡的技术。
发明内容
然而，专利文件1和2中公开的用于自动控制白平衡的方法的缺点在于，对表示一个图像的整个屏幕的图像数据均匀地执行校正而不考虑一个图像可能来源于多个光源的情况。
假定图像具有由光源直接照亮的部分以及由光源遮蔽的部分。在该实施例中，这两个部分将具有不同的颜色特性。如果通过假定只有一种类型的光源来校正这样的图像的白平衡，则剩余部分中的颜色将变得不自然。
例如，假定通过使用诸如数码相机之类的图像拾取设备来拍摄具有阳光照射区域(sunlit area)以及遮蔽区域(shaded area)的被摄体(subject)的照片。在该示例中，如果在整个图像上均匀地执行白平衡校正，则使得图像中的阳光照射区域或者遮蔽区域之一的颜色不自然。假定阳光照射区域在背景中，人正站在遮蔽区域中，以及参考阳光照射区域来调节颜色。在该示例中，人的脸显现出蓝色的色调，使脸色具有不健康的色泽。另一方面，如果参考正站在遮蔽区域中的人调节颜色，则背景中的绿色森林显现出红色的色调并具有不自然的色泽。
由于当图像具有阳光照射区域以及遮蔽区域两者时，难以对两者区域都最优地执行颜色再现，所以如上所述在图像的整个屏幕上均匀地执行白平衡控制是不利的。
鉴于以上情况提出本发明，且本发明的目的是提供对每个由光源照亮的图像部分以及由光源遮蔽的图像部分执行单独的最优图像处理的图像处理设备、图像拾取设备、图像处理方法和计算机程序。
根据本发明的方面，提供了图像处理设备，包括：阳光照射区域以及遮蔽区域分离单元，接收将要处理的图像数据的输入并基于将要处理的图像数据的特征值而分离将要处理的图像数据为阳光照射区域以及遮蔽区域；信息获得单元，获得阳光照射信息和遮蔽信息，该阳光照射信息是与适合于阳光照射区域的图像处理有关的信息，该遮蔽信息是与适合于遮蔽区域的图像处理有关的信息；以及图像处理单元，根据阳光照射信息对阳光照射区域执行图像处理和/或根据遮蔽信息对遮蔽区域执行图像处理。
结果，有可能提供对每个由光源照亮的图像区域以及由光源遮蔽的图像区域执行单独的最优图像处理的图像处理设备。
为了消除该缺点，可以通过图像拾取设备的方式实施本发明的其他方面，该图像拾取设备包括：图像处理设备、要由图像处理设备执行的图像处理方法、以及使得计算机执行图像处理方法的计算机程序。
根据本发明的方面，提供了对每个由光源照亮的图像部分以及由光源遮蔽的图像部分执行单独的最优图像处理的图像处理设备、图像拾取设备、图像处理方法和计算机程序。
附图说明
图1是作为亮度值的Y与作为红色分量和蓝色分量之间的比率的B/R之间的相关图。
图2是说明获得用于分离阳光照射区域与遮蔽区域的参数的配置的框图。
图3是说明根据本发明第一实施例的图像拾取设备的示例性功能配置的框图。
图4是用于解释区域分离参数的表。
图5是说明图3所示的图像拾取设备的硬件配置的框图。
图6是说明阳光照射区域与遮蔽区域之间的分离结果的示意图。
图7是说明图3和图5所示的图像拾取设备中执行的图像校正的流程图。
图8是说明根据本发明第二实施例的图像处理设备的示例性功能配置的框图。
图9是说明图8所示的图像处理设备的硬件配置的框图。
图10是说明图8所示的图像处理设备中执行的图像校正的流程图。
图11是说明获得供阳光照射区域与遮蔽区域之间的分离使用的参数的配置的框图。
图12是作为亮度值的Ys与图像样本中的每个像素的Bs/R之间的相关图。
图13是说明获得供天空区域的分离使用的参数的配置的框图。
图14是说明根据本发明第三实施例的图像处理设备的示例的框图。
图15是用于解释天空识别参数的示例的表。
图16是用于解释阳光照射区域、遮蔽区域和天空区域的示意图。
图17是说明图14所示的图像处理设备中执行的图像校正的流程图。
图18是说明图14所示的图像处理设备中执行的图像校正的流程图。
具体实施方式
以下将参考附图描述本发明的示例性实施例。在以下描述中，在阳光照射区域与遮蔽区域之间相互“分割”也称为“分离”阳光照射区域与遮蔽区域。
将描述根据本发明实施例的将图像分离为阳光照射区域与遮蔽区域的方法。
使用Y与比率B/R从图像数据中分离阳光照射区域与遮蔽区域，其中Y是图像数据中的像素的亮度值，R是像素的红色分量的值，而B是像素的蓝色分量的值。为了相互分离阳光照射区域与遮蔽区域，确定由Y以及B/R表示的分离标准。
更具体地，通过使用包含与阳光照射区域以及遮蔽区域的范围有关的信息的图像数据(在下文中，“图像样本”)，预先基于逐像素地获得每个区域的Y以及R/B的值，以及基于获得的信息而确定分离标准。
图1是Y与B/R之间的相关图，其中Y是亮度值，B/R是红色分量与蓝色分量之间的比率。因为基于各个像素，图像样本具有与其中像素属于阳光照射区域还是属于遮蔽区域有关的信息，所以通过基于逐像素地发现亮度值Y与比率B/R之间的相关性，可以获得图1中的相关图。如相关图所示，通常，以独立的簇的形式分离以及分布阳光照射区域中的像素以及遮蔽区域中的像素。从该现象可以获得用于相互分离两个簇的标准。
使用例如亮度值Y以及比率B/R，以及基于由以下公式(1)以及公式(2)表示的标准，可以相互分离阳光照射区域与遮蔽区域。更具体地，当像素满足由公式(1)以及公式(2)两者表示的标准时，确定该像素属于遮蔽区域。在这些公式中，K表示直线部分的斜率的百分比，而Y_thre表示亮度的阈值。
Y＜K·B/R (1)
Y＜Y_thre (2)
可以基于由公式(1)以及公式(2)表示的标准而相互分离阳光照射区域与遮蔽区域中的像素。
由公式(1)以及公式(2)表示的分离标准可以取决于拍摄条件中的曝光、自动白平衡的设置(在下文中，“AWB”)等而改变。因此，在逐个拍摄条件的基础上，优选地确定例如图像拾取设备的分离标准。此外，阈值，即，Y_thre可以取决于拍摄条件而改变。由此，一种方法是通过执行实验预先存储作为参数的K以及Y_thre来测量多个拍摄条件的阈值，然后将测量结果存储在参数数据库(DB)中。
图2是说明获得供阳光照射区域与遮蔽区域的分离使用的参数的配置的框图。图2中说明的配置包括图像样本输入单元201、参数计算单元202和参数输出单元203。图像样本输入单元201接收图像样本的输入。图像样本包含与阳光照射区域以及遮蔽区域的范围有关的信息。
参数计算单元202通过基于每个区域的像素值而求得参考图1提到的相关性来计算作为参数的K以及Y_thre。参数输出单元203输出由参数计算单元202获得的参数。
以下将参考以图像拾取设备具体体现本发明的附图来描述第一实施例。
图3是说明根据第一实施例的图像拾取设备100的示例性功能配置的框图。图像拾取设备100是例如数码相机，以及包括：图像拾取单元301、阳光照射区域/遮蔽区域分离处理单元302、图像校正处理单元303、图像输出单元304、相机参数输入单元305、区域分离参数获得单元306和区域分离参数DB 307。
图像拾取单元301获得通过使被摄体成像而获得的图像数据，以及使图像数据输入到阳光照射区域/遮蔽区域分离处理单元302。例如，图像拾取单元301是实现图像拾取设备100的成像功能的装置。
阳光照射区域/遮蔽区域分离处理单元302对从图像拾取单元301输入的图像数据执行分离为阳光照射区域与遮蔽区域。基于从区域分离参数获得单元306输入的区域分离参数而执行分离。更具体地，将满足由公式(1)以及公式(2)表示的标准的像素确定为遮蔽区域中的像素，以及将不满足该标准的像素确定为阳光照射区域中的像素。
相机参数输入单元305获得为图像拾取设备100设置的拍摄条件参数。拍摄条件参数也称为“相机参数”。区域分离参数获得单元306可以基于拍摄条件参数而获得区域分离参数。区域分离参数优选地存储在区域分离参数DB307中。
图4是用于解释区域分离参数的表。如图4所示，给各个拍摄条件参数设置K(K1，K2，等等)以及Y_thre(Y_thre1，Y_thre2，等等)的值。将每个设置的K以及Y_thre的值代入公式(1)以及公式(2)，对每个单独的拍摄条件参数执行阳光照射区域与遮蔽区域之间的分离。
图像校正处理单元303执行适合于每个这样分离的阳光照射区域与遮蔽区域的自动白平衡控制。更具体地，通过获得R增益、G增益以及B增益，即，每个区域的R像素、G像素、以及B像素之间的比率来执行该控制。图像输出单元304输出由图像校正处理单元303处理的图像。可以基于处理参数而执行自动白平衡控制，每个处理参数适合于相对应的一个区域。例如，处理参数可以存储在区域分离参数DB 307中，以及由区域分离参数获得单元306读出以输入到图像校正处理单元303。
图5是说明图像拾取设备100的硬件配置的框图。图像拾取设备100包括拍摄光学系统1、机械快门2、电荷耦合器件(CCD)3、相关双采样(CDS)电路4、模拟数字(A/D)转换器5、电机6、定时信号生成器7、图像处理电路8、中央处理单元(CPU)9、随机存取存储器(RAM)10、只读存储器(ROM)11、同步动态随机存取存储器(SDRAM)12、压缩/展开元件13、存储器14、操作单元15和液晶显示器(LCD)16。
往返于被摄体反射的光通过拍摄光学系统1照射在CCD 3上。布置在拍摄光学系统1与CCD 3之间的机械快门2能够切断入射在CCD 3上的光。拍摄光学系统1与机械快门2由电机6驱动。
CCD 3将它的成像表面上形成的光学图像转换为电信号，并输出模拟图像数据。从CCD 3输出的图像数据经受由CDS电路4执行的噪音分量移除，由A/D转换器5从模拟数据转换为数字数据，然后输出到图像处理电路8。
通过使用在其中临时存储图像数据的SDRAM 12，图像处理电路8执行各种图像处理，诸如从RGB信号到YCrCb信号的转换、白平衡控制、对比度校正、边缘增强以及颜色转换。执行白平衡控制以调节图像数据的颜色密度。执行对比度校正以调节图像数据的对比度。执行边缘增强以调节图像数据的锐度；以及执行颜色转换以调节图像数据的色度。图像处理电路8将至少经历任意一个信号处理以及图像处理的图像数据显示在LCD 16上。
已经经历由图像处理电路8执行的图像处理的图像数据优选地经历由压缩/展开元件13执行的数据压缩以及其后存储在存储器14中。根据从操作单元15接收的指令，压缩/展开元件13压缩从图像处理电路8输出的图像数据以及输出这样压缩的图像数据到存储器14，以及展开从存储器14中读出的图像数据并输出这样展开的图像数据到图像处理电路8。
经由生成定时信号的定时信号生成器7由CPU 9控制CCD 3、CDS电路4以及A/D转换器5。图像处理电路8、压缩/展开元件13以及存储器14也由CPU 9控制。
在图像拾取设备100中，CPU 9根据计算机程序执行各种计算。图像拾取设备100包括ROM 11，其是在其中存储计算机程序等的只读存储器、RAM10，其是包括供各种处理使用的工作区以及各种数据存储区域的可读/可写存储器。这些经由总线连接在一起。
图像拾取设备100接收图像数据的输入并临时在作为存储器区域的SDRAM 12中存储图像数据。响应于此，从ROM 11中读出阳光照射区域以及遮蔽区域分离处理计算机程序以及图像校正计算机程序，并开始执行阳光照射区域与遮蔽区域之间的分离。从存储在ROM 11中的区域分离参数DB307中读出参数，以使得基于参数执行阳光照射区域与遮蔽区域的分离。阳光照射区域与遮蔽区域之间的分离的结果存储在SDRAM 12中。
图6是说明阳光照射区域与遮蔽区域之间的分离结果的示意图。区域A和B属于遮蔽区域，而区域C和D属于阳光照射区域。
随后，执行图像校正计算机程序以便执行图像校正。搜索并定位遮蔽区域中的图像的白色部分，以计算Rg_S、Gg_S以及Bg_S，其是遮蔽区域中白色部分中的R、G和B的增益。类似地，搜索并定位阳光照射区域中的图像的白色部分，以计算增益，或者Rg_B、Gg_B和Bg_B。基于每个阳光照射区域与遮蔽区域的增益而执行自动白平衡控制。
在图像拾取设备100中执行的图像处理计算机程序具有包括阳光照射区域与遮蔽区域分离功能以及图像校正功能的模块配置。CPU 9从存储介质中读出图像处理计算机程序以及执行主存储装置中加载各种单元的计算机程序，由该程序执行阳光照射区域与遮蔽区域的提取以及对每个阳光照射区域与遮蔽区域的自动白平衡控制。将这样处理的图像数据压缩以及存储在存储器卡上的存储区域中。
以下将解释图像拾取设备100中执行的图像校正的处理的示例。
在图7中的步骤S101，通过以图像拾取单元301拍摄被摄体而获得图像数据。在步骤S101之后，系统控制前进到步骤S102与步骤S104。
在步骤S101之后的步骤S102，获得步骤S101执行的成像涉及的相机参数。在步骤S102之后，系统控制前进到步骤S103，在该步骤获得与步骤S102获得的相机参数相关联的图像处理参数。图像处理参数是例如供阳光照射区域与遮蔽区域之间的分离使用的区域分离参数，诸如图4中给出的K以及Y_thre的值。
图像处理参数可以包括例如当对图像数据执行图像处理时使用的处理参数。图像处理参数优选地存储在区域分离参数DB 307中以及从其中读出。
在步骤S101之后的步骤S104，执行阳光照射区域与遮蔽区域之间的分离。基于在该实施例中的步骤S103获得的区域分离参数而执行分离。
在步骤S104之后，系统控制前进到步骤S105，在该步骤基于处理参数而对步骤S104分离的每个阳光照射区域与遮蔽区域执行图像颜色校正。如该结果所示，对每个阳光照射区域与遮蔽区域执行适当的自动白平衡控制。处理参数可以是在步骤S103从区域分离参数DB 307中读出的处理参数。
在步骤S105之后，系统控制前进到步骤S106，在该步骤输出已经在步骤S105处理的图像数据。
将参考以图像处理设备具体体现本发明的附图来描述第二实施例。以下将描述使第二实施例不同于第一实施例的内容。
根据第二实施例的图像处理设备接收在图像输入单元由图像拾取设备以文件的形式记录的图像数据的输入。将这样输入的图像数据分离成阳光照射区域以及遮蔽区域，其每个然后经历单独的自动白平衡控制。
图8是说明根据第二实施例的图像处理设备200的功能配置的框图。对于图8中描述的图像处理设备200，具有与图3中描述的图像拾取设备100相同功能以及配置的块用同样的附图标记表示，并省略重复描述。
图8中描述的图像处理设备200的配置在图像输入单元401与相机参数获得单元405方面不同于图3中描述的图像拾取设备100。图像输入单元401获得文件(数据)形式的图像数据。图像数据可以是例如外部供给的图像数据或者从存储装置等(未示出)中读出的图像数据。
通过例如从图像数据中读出Exif数据获得相机参数。
对于图像处理设备200，图像校正处理单元303仅可以对遮蔽区域执行图像处理以实现背景模糊功能。
图9是说明图像处理设备200的硬件配置的框图。图像处理设备200包括RAM 21、ROM 22、通信接口(在下文中，“通信I/F”)23、CPU 24、硬盘驱动器(在下文中，“HDD”)25、致密盘(CD)-ROM驱动器20、以及存储器卡驱动器27。
CPU 24控制图像处理设备200中提供的各种装置以及连接到图像处理设备200的各种装置。在其中存储基本输入/输出系统(BIOS)等的只读存储器ROM 22以及在其中可重写地存储各种数据以便起CPU的工作区作用的RAM 21经由总线连接到CPU 24，从而实现微型计算机的功能。
在其中存储计算机程序的HDD 25、读取CD-ROM的CD-ROM驱动器20、以及与诸如打印机之类的外部装置接口通信的通信I/F 23也连接到总线。
存储介质28是例如在其中存储由CPU 24执行的计算机程序的CD-ROM。CPU 24使用CD-ROM驱动器20读出存储在存储介质28中的计算机程序，并将计算机程序安装在HDD 25中。这样准备好执行诸如上述的各种处理。图像数据等存储在存储器卡29中，将使用存储器卡驱动器27读取该存储卡。可以连接从另一存储介质中读出数据的驱动装置，来代替本实施例中的CD-ROM驱动器20以及存储器卡驱动器27。
存储介质并不限于CD-ROM或者存储器卡，而可以是另一类型的介质。介质的示例包括诸如数字多用途盘(DVD)之类的各种光盘、各种磁光盘、诸如软(注册商标)盘之类的各种磁盘、以及半导体存储器。
由CPU 24执行的计算机程序可以从经由诸如因特网之类的网络连接到图像处理设备200的服务器设备中下载，以及安装在HDD 25中。用该配置，连接到从其中发送计算机程序的服务器设备以及在其中存储计算机程序的存储装置也是根据本实施例的存储介质。
根据本实施例的计算机程序可以是在预定操作系统(OS)上操作的计算机程序。用该配置，稍后将描述的各种处理的一部分可以由OS执行；或者，计算机程序可以是配置诸如字处理软件、OS等的预定应用软件的计算机程序文件组的一部分。
通过由CPU 24执行根据本实施例的计算机程序实现图8中描述的功能块。
以下详细解释由图像处理设备200执行的图像校正处理的示例。
图10是说明在图像处理设备200中执行的图像校正的流程图。在图10的步骤S201获得包括相机参数的图像数据文件。在步骤S201之后，系统控制前进到步骤S202以及步骤S204。
在步骤S202之后，系统控制前进到步骤S203，在该步骤获得与步骤S202获得的相机参数相关联的图像处理参数。在步骤S202之后，系统控制前进到步骤S203，在该步骤获得与在步骤S202获得的相机参数相关联的图像处理参数。图像处理参数是例如供阳光照射区域与遮蔽区域之间的分离使用的区域分离参数，诸如图4中给出的K以及Y_thre的值。
图像处理参数可以包括例如当对图像数据执行图像处理时使用的处理参数。图像处理参数优选地存储在区域分离参数DB 307中以及从其中读出。
在步骤S201之后的步骤S204，执行阳光照射区域与遮蔽区域之间的分离。基于该实施例中的步骤S203获得的区域分离参数而执行分离。
在步骤S204之后，系统控制前进到步骤S205，在该步骤基于处理参数而对步骤S204分离的每个阳光照射区域与遮蔽区域执行图像颜色校正。如该结果所示，对每个阳光照射区域与遮蔽区域执行适当的自动白平衡控制。处理参数可以是在步骤S203从区域分离参数DB 307中读出的处理参数。
在步骤S205，可以代替自动白平衡控制执行背景模糊。例如，通过对遮蔽区域中的像素执行模糊处理可以实现背景模糊功能。在步骤S205之后，系统控制前进到步骤S206，在该步骤输出在步骤S205已经处理的图像数据。
实现图像处理设备200的功能的计算机程序可以配置为存储在连接到诸如因特网之类的网络的计算机中，以及通过经由网络下载来提供。实现根据本实施例的图像处理的计算机程序可以配置为经由诸如因特网之类的网络提供或者分布。根据本实施例的计算机程序可以配置为预先安装在ROM等中来提供。
通过记录在诸如CD-ROM、软盘(FD)、CD-R以及DVD之类的计算机可读记录介质中，可以提供由图像处理设备200执行的、作为以可安装格式或者可执行格式的文件的计算机程序。
以下将描述由图像处理设备200处理的图像数据的示例性文件结构。
优选地将拍摄条件记录在由根据本实施例的图像处理设备处理的图像数据文件中，在该拍摄条件下拍摄物体。与拍摄条件有关的信息优选地记录在图像数据文件中。
在本实施例中，分离单元与阳光照射区域/遮蔽区域分离处理单元302相对应，而信息获得单元与区域分离参数获得单元306相对应。
图像处理单元与图像校正处理单元303相对应，存储单元与区域分离参数DB 307相对应，而图像拾取单元与图像拾取单元301相对应。
当使用图像拾取设备100拍摄具有阳光照射区域以及遮蔽区域的被摄体的图像时，在一些情况下，在图像的整个屏幕上均匀地执行白平衡控制会导致图像中的阳光照射区域或者遮蔽区域的颜色不自然。如果参考例如人在遮蔽区域中而背景在阳光照射区域中的情况下的阳光照射区域调节颜色，则人的脸显现出蓝色的色调，并具有不健康的脸色。相反，如果参考遮蔽区域中的人调节颜色，则在例如绿色森林是背景的情况下，森林的红色增加并具有不自然的色泽。
例如，根据日本专利特开No.2000-224608(专利文件3)中公开的图像拾取设备的技术，基于图像的亮度以及色度信息而猜测图像的光源类型。执行适合于这样猜测的光源类型的白平衡控制。对于专利文件3中公开的图像拾取设备，因为在图像的整个屏幕上执行白平衡控制，所以没有考虑对具有阳光照射区域与遮蔽区域两者的图像执行两个区域的最优颜色再现。
尤其对于具有蓝色天空区域的图像，很可能将蓝色天空区域分离成遮蔽区域的一部分。如果将蓝色天空区域分离成包括在遮蔽区域内并经历颜色校正，则不利地增加蓝色天空区域的红色。
为此，在本实施例中，将描述将包含蓝色天空区域的天空区域分割为阳光照射区域的一部分的示例。
以下将解释用于包括阳光照射区域中的天空区域的根据本实施例的图像处理的概述。
(1)阳光照射区域与遮蔽区域之间的分割
(1A)从与用于阳光照射区域与遮蔽区域之间的区分的信息相关联的图像数据提取特征数据。特征数据的示例包括图像中的R、G和G的值、亮度值、以及位置。
(1B)使用(1A)中提取的特征数据确定相互分离阳光照射区域与遮蔽区域的标准(在下文中，“阳光照射区域以及遮蔽区域分离标准”)作为学习数据。
(1C)基于阳光照射区域以及遮蔽区域分离标准而相互分离阳光照射区域与遮蔽区域。
(2)分离天空区域
(2A)从与用于天空区域与非天空区域之间的区分的信息相关联的图像数据中提取特征数据。
(2B)使用(2A)中提取的特征数据确定相互分离天空区域与非天空区域的标准(在下文中，“天空区域分离标准”)作为学习数据。
(2C)基于天空区域分离标准而相互分离天空区域与非天空区域。
(3)使(2C)中识别为天空区域以及属于通过(1C)中的分离获得的遮蔽区域的区域包括在阳光照射区域内。
(4)对每个阳光照射区域与遮蔽区域执行自动白平衡控制。
((1)相互分离阳光照射区域与遮蔽区域)
(1A)用与第一实施例相同的方法，相互分割阳光照射区域与遮蔽区域，并省略重复描述。
图11是说明获得供阳光照射区域与遮蔽区域之间的分离使用的参数的配置的框图。图11中说明的配置包括图像样本输入单元501、特征值提取单元502、参数计算单元503和参数输出单元504。
图像样本输入单元501接收图像样本的输入。与每个像素属于阳光照射区域以及遮蔽区域中的哪一个有关的信息与图像样本相关联。
特征值提取单元502从图像样本中提取特征数据。通过求出参考图1提到的相关性，参数计算单元503计算参数K以及Y_thre。参数输出单元504输出由参数计算单元503计算的参数。
((2)识别天空区域)
以下将描述怎样识别图像中的天空区域。
((2A)特征值提取)
从作为输入接收的图像数据中提取预定特征值。特征值的示例包括亮度值Y以及R分量与B分量之间的比率B/R。可以取决于图像处理设备的特性和/或被摄体的特性采用另一特征值。其他特征值的示例包括图像中像素的R、G和B的值、亮度值、颜色饱和度、光度或者位置。
((2B)确定天空区域分离标准)
获得天空区域分离标准作为天空识别参数。通过采用包含与天空区域有关的信息的图像样本进行学习来预先确定分离标准。图12是图像样本中的像素的亮度值Ys与Bs/R之间的相关图。在图12中描述的相关图中，水平轴指示Bs/R，而垂直轴指示Ys。注意，附加下标“s”指示在此附加的值与天空区域有关。
在图12中描述的相关图中，以独立的簇的形式分布属于天空区域的像素与属于非天空区域的像素。因此，可以获得用于相互分离两个簇的标准作为天空区域分离标准。表示天空区域分离标准的数字称为天空识别参数。
例如使用亮度值Ys与比率Bs/R的值，以及基于由以下公式(3)以及公式(4)表示的标准，可以相互分离天空区域与非天空区域。更具体地，满足由公式(3)以及公式(4)表示的标准的像素确定为属于天空区域的像素。在公式中，Ks是直线部分的斜率的百分比，以及Y_thres是亮度的阈值，其是天空识别参数。
Ys＜Ks·Bs/R (3)
Ys＜Y_thres (4)
可以基于由公式(3)以及公式(4)表示的标准而相互分离天空区域中的像素以及非天空区域中的像素。
由公式(3)以及公式(4)表示的分离标准可以取决于拍摄条件下的曝光、AWB的设置等而改变。因此，基于逐个拍摄条件而优选地确定用于例如图像拾取设备的分离标准。阈值Y_thres可以取决于拍摄条件而改变。由此，通过执行实验预先存储参数Ks以及Y_thres到参数DB中，可以测量用于多个拍摄条件的天空识别参数。
图13是说明获得供天空区域的分离使用的参数的配置的框图。图13中说明的配置包括图像样本输入单元601、特征值提取单元602、参数计算单元603和参数输出单元604。
图像样本输入单元601接收图像样本的输入。与每个像素是否属于天空区域有关的信息与图像样本相关联。
特征值提取单元602从图像样本中提取特征数据。通过求出参考图12提到的相关性，参数计算单元603计算参数Ks以及Y_thres。参数输出单元604输出由参数计算单元603计算的参数。
当两个或者更多特征值用于确定阳光照射区域以及遮蔽区域分离标准或者天空区域分离标准时，通过映射多维空间中的特征值之间的相关性，可以确定分离标准，即，天空识别参数。
((2C)天空区域的分割)
基于天空分离标准而从作为输入接收的图像数据中分离天空区域。结果，将图像数据分割成天空区域以及非天空区域。更具体地，如果像素值满足公式(3)以及公式(4)，则确定这样输入的图像数据的每个像素属于天空区域。相反，如果像素的值不满足公式(3)以及公式(4)中的至少任意一个，则确定这样输入的图像数据的每个像素不属于天空区域。
((3)阳光照射区域/遮蔽区域分离的结果以及天空识别的结果的结合)
分离阳光照射区域与遮蔽区域的结果以及分离天空区域的结果结合在一起。在该示例中，(2)中分离为天空区域的区域包括在阳光照射区域内。
((4)对已经经历分离的图像执行AWB)
通过使用从遮蔽区域中分离阳光照射区域的结果，用预定参数对每个阳光照射区域以及遮蔽区域执行AWB控制。
当对具有蓝色天空区域的图像执行阳光照射区域与遮蔽区域之间的分离时，如在被摄体处于遮蔽区域的情况下，蓝色天空区域很可能具有带白色的蓝色色调。因此，天空区域很可能分离为遮蔽区域，这使得难以对分离之后的每个区域执行适当的处理。对于本实施例，通过使天空区域包括在阳光照射区域内，能够基于逐个区域而执行适当的处理。
以下解释以图像处理设备具体体现本发明的第三实施例。
图14是说明根据本实施例的图像处理设备700的示例的框图。图像处理设备700包括图像输入单元701、特征值提取单元702、天空区域识别单元703、天空识别参数获得单元704、天空识别参数DB 705、阳光照射区域/遮蔽区域分离处理单元706、区域分离参数获得单元306、区域分离参数DB 307、图像校正处理单元303、图像输出单元304以及相机参数输入单元711。
具有与图3中描述的图像拾取设备100的功能以及配置相同的单元用相同的附图标记表示，并省略重复描述。
图像输入单元701接收图像数据。图像数据从图像拾取设备、另一图像处理设备等(未示出)输入。特征值提取单元702从这样输入的图像数据中提取亮度值Y以及B/R。
天空区域识别单元703基于由特征值提取单元702提取的特征值而分离天空区域。天空区域识别单元703从天空识别参数获得单元704中获得供分离天空区域使用的天空识别参数。
天空识别参数获得单元704从相机参数输入单元711输入的相机参数中获得供分离天空区域使用的天空识别参数。相机参数是当图像数据由拾取设备成像时为图像拾取设备(未示出)设置的值。相机参数的项目的示例包括曝光、曝光时间、国际标准组织(ISO)速度、快门速度以及光圈。
天空识别参数获得单元704获得与从相机参数输入单元711输入的相机参数相关联的天空识别参数。天空识别参数是供识别图像数据中的天空区域使用的参数。天空识别参数获得单元704基于包含用于区分天空区域与其他区域的信息的图像数据的特征值而优选地生成天空识别参数。这样生成的天空识别参数存储在天空识别参数DB 705中。天空识别参数获得单元704输出存储在天空识别参数DB 705中的天空识别参数到天空区域识别单元703。
图15是供分离天空区域使用的天空识别参数的示例的表。如图15所示，图12中说明的图表中，为每个不同的拍摄条件设置斜率Ks(Ks1、Ks2、等等)以及亮度上限值Y_thres(Y_thres1、Y_thres2、等等)。
例如，优选地设置天空识别参数如下。
(1)对于在阳光充足的户外拍摄，曝光时间通常很短。考虑到此，当曝光时间短时，供分离天空区域使用的阈值设置为小于处于曝光时间长的情况下的值。
(2)对于在雨天拍摄，曝光时间通常很长。考虑到此，当曝光时间长时，供分离天空区域使用的阈值设置为大于处于曝光时间短的情况下的值。
天空识别参数DB 705在其中存储由天空识别参数获得单元704获得的天空识别参数，然后将天空识别参数输出到天空识别参数获得单元704。
阳光照射区域/遮蔽区域分离处理单元706接收图像数据的输入以及对图像数据执行阳光照射区域与遮蔽区域之间的分离。阳光照射区域/遮蔽区域分离处理单元706基于由特征值提取单元702提取的特征值而执行阳光照射区域与遮蔽区域之间的分离。阳光照射区域/遮蔽区域分离处理单元706从区域分离参数获得单元306中获得供阳光照射区域与遮蔽区域之间的分离使用的区域分离参数。
供阳光照射区域与遮蔽区域之间的分离使用的区域分离参数优选地从例如图1中描述的相关图中获得。在第一实施例中已经给出关于图1和图4的描述，并省略重复描述。
参考图14，然后阳光照射区域/遮蔽区域分离处理单元706使由天空区域识别单元703分离的天空区域包括在阳光照射区域内。例如，阳光照射区域/遮蔽区域分离处理单元706可以首先执行阳光照射区域与遮蔽区域之间的分离，然后将识别为天空区域以及属于遮蔽区域的区域改变为阳光照射区域。这允许防止将“蓝色”相对强的天空区域确定为属于遮蔽区域。
图像处理设备700的硬件配置与图9中描述的配置相同。以下将描述使本实施例不同于第一实施例的内容。
图像处理设备700接收图像数据的输入以及将图像数据临时存储到SDRAM 12，该SDRAM 12是存储器区域。响应于此，天空区域分离处理计算机程序从ROM 11中读出，以及开始执行天空区域的分离。基于从存储在ROM 11中的天空识别参数DB 705中读出的参数而执行天空区域的分离。与天空区域分离的结果有关的信息存储在SDRAM 12中。
从ROM 11中读出阳光照射区域以及遮蔽区域分离处理计算机程序以及图像校正计算机程序，并开始执行阳光照射区域与遮蔽区域之间的分离。基于从存储在ROM 11中的区域分离参数DB 307中读出的参数而执行阳光照射区域与遮蔽区域之间的分离。阳光照射区域与遮蔽区域之间的分离结果存储在SDRAM 12中。
在图像处理设备700中执行的图像处理计算机程序具有包括天空区域分离功能、阳光照射区域与遮蔽区域分离功能和图像校正功能的模块配置。CPU9从存储介质中读出图像处理计算机程序以及执行计算机程序以加载各种单元到主存储装置中，由该计算机程序执行天空区域的提取、阳光照射区域与遮蔽区域的提取、以及对每个阳光照射区域与遮蔽区域的自动白平衡控制。这样处理的图像数据被压缩并存储在存储器卡上的存储区域中。
图16是说明阳光照射区域、遮蔽区域以及天空区域的示意图。参考图16，遮蔽区域包括区域A和B。阳光照射区域包括区域C和E。天空区域包括区域S。亮度值Y在阳光照射区域中相对大，而亮度值Y在遮蔽区域中相对小。天空区域中的亮度值Y比阳光照射区域中的小。相应地，天空区域S包括在阳光照射区域内。
随后，执行图像校正计算机程序以便执行图像校正。搜索并定位遮蔽区域中图像的白色部分，以计算Rg_S、Gg_S和Bg_S，其是遮蔽区域中白色部分的R、G和B的增益。类似地，搜索并定位阳光照射区域中的图像的白色部分，以计算增益，或者Rg_B、Gg_B和Bg_B。基于每个阳光照射区域以及遮蔽区域的增益而执行自动白平衡控制。
在根据本实施例的图像拾取设备中执行的图像处理计算机程序具有包括天空区域分离功能、阳光照射区域以及遮蔽区域分离功能和图像校正功能的模块配置。CPU 9从存储介质中读出图像处理计算机程序以及执行计算机程序以加载各种单元到主存储装置中，由该计算机程序执行阳光照射区域与遮蔽区域的提取、以及对每个阳光照射区域与遮蔽区域的自动白平衡控制。这样处理的图像数据被压缩并存储在存储器卡上的存储区域中。
以下将解释图像拾取设备700中执行的图像校正处理的示例。
图17是说明图像处理设备700中执行的图像校正的流程图。在图17的步骤S501，当图像拾取单元执行被摄体的成像时，相机参数输入单元711获得为图像拾取单元设置的相机参数。在步骤S501之后，系统控制前进到步骤S502和步骤S503。在步骤S502，区域分离参数获得单元306获得与相机参数相关联以及供相互分割阳光照射区域与遮蔽区域使用的区域分离参数。在步骤S503，天空识别参数获得单元704获得与相机参数相关联以及供识别天空区域使用的天空识别参数。
在步骤S601，图像数据从图像输入单元701输入。通过由具有在步骤S501获得的相机参数的图像拾取单元执行拍摄来获得图像数据。在步骤S601之后，系统控制前进到步骤S602，在该步骤特征值提取单元702提取在步骤S601输入的图像数据的特征值。
在步骤S602之后，系统控制前进到步骤S603，在该步骤基于在步骤S602提取的特征值以及在步骤S503获得的天空识别参数而从在步骤S601输入的图像数据中识别天空区域。
在步骤S603之后，系统控制前进到步骤S604，在该步骤阳光照射区域/遮蔽区域分离处理单元706基于在步骤S602提取的特征值以及供从遮蔽区域中分割阳光照射区域使用的、并在步骤S502获得的区域分离参数而分离在步骤S601输入的图像数据中的阳光照射区域与遮蔽区域。阳光照射区域/遮蔽区域分离处理单元706还基于关于在步骤S603获得的天空区域的信息而添加天空区域到阳光照射区域。
在步骤S604之后，系统控制前进到步骤S605，在该步骤图像校正处理单元303对步骤S204分离的每个阳光照射区域与遮蔽区域执行适合于该区域的特性的处理。图像校正处理单元303执行例如诸如AWB控制之类的图像校正。在步骤S605之后，系统控制前进到步骤S606，在该步骤图像输出单元304输出已经经历了在步骤S605执行的图像处理的图像数据。
以下解释以图像处理设备具体体现本发明的第四实施例。
将参考附图描述第四实施例。以下将描述使第四实施例不同于第一至第三实施例的内容。
对于根据第四实施例的图像处理设备，由图像拾取设备获取的图像数据以文件的形式输入到图像输入单元。这样输入的图像数据经历阳光照射区域与遮蔽区域的分离，然后每个区域经历单独的自动白平衡控制。
以下解释根据第四实施例的图像处理设备的示例性功能配置。
根据第四实施例的图像处理设备的示例性功能配置与图14中描述的图像处理设备700的相同。
以下解释根据第四实施例的图像处理设备的示例性硬件配置。
根据第四实施例的图像处理设备的示例性硬件配置与图9中描述的图像处理设备200的相同。
根据第四实施例的计算机程序可以是在预定OS上操作的计算机程序。用该配置，稍后将描述的各种处理部分可以由OS执行；替代地，计算机程序可以是配置诸如字处理软件、OS等的预定应用软件的计算机程序文件组的一部分。
通过由CPU 24执行该计算机程序实现图14中描述的功能块。
以下解释根据第四实施例的由图像处理设备执行的图像校正处理的示例。
图18是说明在根据第四实施例的图像处理设备中执行的图像校正的流程图。在图18的步骤S701，图像文件从图像输入单元701输入。图像文件从例如HDD 25中读出。替代地，图像文件可以经由通信I/F 23等从外部装置(未示出)输入。
在步骤S701之后，系统控制前进到步骤S702、步骤S704以及步骤S801。在步骤S702，相机参数输入单元711从步骤S701输入的图像文件中获得相机参数。例如通过从图像文件中读取Exif数据获得相机参数。
在步骤S702之后，系统控制前进到步骤S703，其中区域分离参数获得单元306获得与步骤S702获得的相机参数相关联以及供相互分割阳光照射区域与遮蔽区域使用的区域分离参数。区域分离参数从区域分离参数DB 307中读出。
在S704执行与步骤S702执行的相同的处理。注意，在步骤S702之后，系统控制可以前进到步骤S703以及步骤S705，而不是执行在步骤S704执行的处理。在步骤S704之后，系统控制前进到步骤S705，在该步骤天空识别参数获得单元704获得与在步骤S704获得的相机参数相关联以及供提取天空区域使用的天空识别参数。天空识别参数从天空识别参数DB 705中读出。
在步骤S801，从在步骤S701输入的图像文件中提取图像的特征值。在步骤S801之后，系统控制前进到步骤S802，在该步骤天空区域识别单元703基于在步骤S801提取的特征值以及在步骤S705获得的天空识别参数而从步骤S701输入的图像文件的图像中分离天空区域。
在步骤S802之后，系统控制前进到步骤S803，在该步骤阳光照射区域/遮蔽区域分离处理单元706基于在步骤S801提取的特征值以及在步骤S703获得的区域分离参数而分离阳光照射区域与遮蔽区域。阳光照射区域/遮蔽区域分离处理单元706还使得在步骤S802分离以及属于遮蔽区域的天空区域包括在阳光照射区域内。
在步骤S803之后，系统控制前进到步骤S804，在该步骤图像校正处理单元303对在步骤S803分离的每个阳光照射区域以及遮蔽区域执行适合于该区域的处理。
对于根据第四实施例的图像处理设备，图像校正处理单元303只可以对遮蔽区域执行图像处理以提供背景模糊功能。
在步骤S804之后，系统控制前进到步骤S805，在该步骤图像输出单元304输出经历了步骤S804执行的图像处理的图像数据。
实现根据第四实施例的图像处理设备的功能的计算机程序可以配置为存储在连接到诸如因特网之类的网络的计算机中，以及通过经由网络下载来提供。实现根据本实施例的图像处理的计算机程序可以配置为经由诸如因特网之类的网络提供或者分布。根据本实施例的计算机程序可以配置为通过预先安装在ROM等中而提供。
通过记录在诸如CD-ROM、FD、CD-R以及DVD之类的计算机可读记录介质中，可以提供由根据本实施例的图像处理设备执行的、作为可安装格式或者可执行格式的文件的计算机程序。
以下解释由根据第四实施例的图像处理设备处理的图像数据的示例性文件结构。
优选地将拍摄条件记录在由根据本实施例的图像处理设备处理的图像数据文件中，在该拍摄条件拍摄物体。优选地将与拍摄条件有关的信息记录在图像数据文件中。
虽然在其优选实施例中已经描述了本发明，但是应该理解本发明并不限于此。应该理解在不脱离本发明的精神以及范围下，能够进行各种改变以及修改。
工业实用性
如上所述，根据本发明的方面的图像处理设备可用于白平衡控制，且尤其适合于诸如数码相机之类的图像拾取设备。
Claims (16)
1.一种图像处理设备，包括：
阳光照射区域和遮蔽区域分离单元，接收将要处理的图像数据的输入并基于所述将要处理的图像数据的特征值而将所述将要处理的图像数据分离为阳光照射区域和遮蔽区域；
信息获得单元，获得阳光照射信息和遮蔽信息，所述阳光照射信息是与适合于所述阳光照射区域的图像处理有关的信息，所述遮蔽信息是与适合于所述遮蔽区域的图像处理有关的信息；以及
图像处理单元，根据所述阳光照射信息对所述阳光照射区域执行图像处理和/或根据所述遮蔽信息对所述遮蔽区域执行图像处理。
2.根据权利要求1所述的图像处理设备，其中，所述将要处理的图像数据的特征值包括所述将要处理的图像数据中的各个像素的颜色值和亮度值。
3.根据权利要求1或者2所述的图像处理设备，还包括分离参数获得单元，获得供基于第一样本图像数据的阳光照射区域的特征值以及第一样本图像数据的遮蔽区域的特征值而将所述将要处理的图像数据分离为阳光照射区域和遮蔽区域使用的区域分离参数，所述第一样本图像数据包括与第一样本图像数据的阳光照射区域有关的区域信息和与遮蔽区域有关的区域信息。
4.根据权利要求3所述的图像处理设备，其中，当通过由为其设置相机参数的图像拾取单元执行的成像已经获得所述将要处理的图像数据，且所述将要处理的图像数据与相机参数相关联时，所述分离参数获得单元获得基于相机参数的分离参数。
5.根据权利要求1至4中任意一项所述的图像处理设备，还包括天空区域分离单元，基于所述将要处理的图像数据的特征值从所述将要处理的图像数据中分离天空区域，其中所述阳光照射区域和遮蔽区域分离单元使天空区域包括在阳光照射区域内。
6.根据权利要求5所述的图像处理设备，还包括天空识别参数获得单元，基于具有与天空区域有关的区域信息的第二样本图像数据的天空区域的特征值而获得供所述天空区域分离单元从所述将要处理的图像数据中分离天空区域使用的天空识别参数。
7.根据权利要求6所述的图像处理设备，其中，当根据相机参数通过图像拾取单元执行的成像已经获得所述将要处理的图像数据且所述将要处理的图像数据与相机参数相关联时，所述天空识别参数获得单元获得基于相机参数的天空识别参数。
8.根据权利要求1至7中任意一项所述的图像处理设备，其中，所述阳光照射信息是用于校正所述阳光照射区域中的颜色值的信息，而所述遮蔽信息是用于校正所述遮蔽区域中的颜色值的信息。
9.一种图像拾取设备，包括：
根据权利要求1至8中任意一项所述的图像处理设备；以及
图像拾取单元，其对被摄体成像以生成图像数据并且将图像数据输入到所述图像处理设备。
10.一种图像处理方法，包括：
阳光照射区域和遮蔽区域分离步骤，接收将要处理的图像数据的输入并基于所述将要处理的图像数据的特征值而将所述将要处理的图像数据分离为阳光照射区域和遮蔽区域；
信息获得步骤，获得阳光照射信息以及遮蔽信息，所述阳光照射信息是与适合于所述阳光照射区域的图像处理有关的信息，所述遮蔽信息是与适合于所述遮蔽区域的图像处理有关的信息；以及
图像处理步骤，根据所述阳光照射信息对所述阳光照射区域执行图像处理和/或根据所述遮蔽信息对所述遮蔽区域执行图像处理。
11.根据权利要求10所述的图像处理方法，其中，所述将要处理的图像数据的特征值包括所述将要处理的图像数据中的各个像素的颜色值和亮度值。
12.根据权利要求10或者11所述的图像处理方法，还包括分离参数获得步骤，获得供基于第一样本图像数据的阳光照射区域的特征值以及第一样本图像数据的遮蔽区域的特征值而将所述将要处理的图像数据分离为阳光照射区域和遮蔽区域使用的区域分离参数，所述第一样本图像数据包括与所述第一样本图像数据的阳光照射区域有关的区域信息以及与遮蔽区域有关的区域信息。
13.根据权利要求10至12中任意一项所述的图像处理方法，还包括天空区域分离步骤，基于所述将要处理的图像数据的特征值而从所述将要处理的图像数据中分离天空区域，其中所述阳光照射区域和遮蔽区域分离步骤使天空区域包括在阳光照射区域内。
14.根据权利要求13所述的图像处理方法，还包括天空识别参数获得步骤，基于具有与天空区域有关的区域信息的第二样本图像数据的天空区域的特征值而获得供在所述天空区域分离步骤从所述将要处理的图像数据中分离天空区域使用的天空识别参数。
15.根据权利要求10至14中任意一项所述的图像处理方法，其中，所述阳光照射信息是用于校正阳光照射区域中的颜色值的信息，而所述遮蔽信息是用于校正遮蔽区域中的颜色值的信息。
16.一种具有计算机可读介质的计算机程序，该计算机可读介质包括当由计算机执行时使计算机执行根据权利要求10至15中任意一项的该图像处理方法的程序指令。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009-037999 | 2009-02-20 | ||
| JP2009037999 | 2009-02-20 | ||
| JP2009059699A JP5251629B2 (ja) | 2008-05-20 | 2009-03-12 | 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム |
| JP2009-059699 | 2009-03-12 | ||
| PCT/JP2010/050868 WO2010095488A1 (en) | 2009-02-20 | 2010-01-19 | Image processing apparatus, image pickup apparatus, image processing method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102326393A true CN102326393A (zh) | 2012-01-18 |
| CN102326393B CN102326393B (zh) | 2014-12-17 |
Family
ID=42633774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080008528.3A Expired - Fee Related CN102326393B (zh) | 2009-02-20 | 2010-01-19 | 图像处理设备、图像拾取设备和图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8792016B2 (zh) |
| EP (1) | EP2399397B1 (zh) |
| JP (1) | JP5251629B2 (zh) |
| CN (1) | CN102326393B (zh) |
| WO (1) | WO2010095488A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780353A (zh) * | 2015-03-26 | 2015-07-15 | 广东欧珀移动通信有限公司 | 一种图像处理方法及装置 |
| CN106664364A (zh) * | 2014-09-26 | 2017-05-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN106954022A (zh) * | 2017-03-08 | 2017-07-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8823829B2 (en) * | 2010-09-16 | 2014-09-02 | Canon Kabushiki Kaisha | Image capture with adjustment of imaging properties at transitions between regions |
| JP6106921B2 (ja) | 2011-04-26 | 2017-04-05 | 株式会社リコー | 撮像装置、撮像方法および撮像プログラム |
| JP2013025650A (ja) | 2011-07-23 | 2013-02-04 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
| JP5915478B2 (ja) * | 2012-09-21 | 2016-05-11 | 富士通株式会社 | 画像処理装置、方法及びプログラム |
| JP2016140030A (ja) | 2015-01-29 | 2016-08-04 | 株式会社リコー | 画像処理装置、撮像装置、及び画像処理プログラム |
| US10593292B2 (en) * | 2015-03-23 | 2020-03-17 | Dolby Laboratories Licensing Corporation | Dynamic power management for an HDR display |
| DE112018006730T5 (de) * | 2017-12-28 | 2020-10-01 | Sony Corporation | Steuervorrichtung und steuerverfahren, programm und mobiles objekt |
| JP7114335B2 (ja) * | 2018-05-23 | 2022-08-08 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
| JP6726324B1 (ja) * | 2019-01-17 | 2020-07-22 | オリンパス株式会社 | 撮像装置、画像合成方法、及び画像合成プログラム |
| GB201908521D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image white balance processing system and method |
| WO2023064105A1 (en) * | 2021-10-11 | 2023-04-20 | Dolby Laboratories Licensing Corporation | Context-dependent color-mapping of image and video data |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08280041A (ja) * | 1995-04-07 | 1996-10-22 | Canon Inc | 撮像装置 |
| JP2559000B2 (ja) * | 1992-09-04 | 1996-11-27 | 松下電器産業株式会社 | 逆光検出装置と自動レベル制御装置 |
| JP2002281512A (ja) * | 2001-03-19 | 2002-09-27 | Sony Corp | ホワイトバランス制御装置及びホワイトバランス制御方法 |
| US20030016881A1 (en) * | 1998-05-06 | 2003-01-23 | Takahiro Matsuura | Image processing apparatus and method |
| JP2003061103A (ja) * | 2001-08-09 | 2003-02-28 | Canon Inc | 撮像装置およびホワイトバランス調整方法およびその動作処理プログラム |
| JP2003163944A (ja) * | 2001-11-28 | 2003-06-06 | Fuji Photo Film Co Ltd | ホワイトバランス制御方法及びデジタルカメラ。 |
| JP2008052428A (ja) * | 2006-08-23 | 2008-03-06 | Nikon Corp | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3849834B2 (ja) | 1999-02-02 | 2006-11-22 | 富士写真フイルム株式会社 | オートホワイトバランス制御方法 |
| US6788813B2 (en) * | 2000-10-27 | 2004-09-07 | Sony Corporation | System and method for effectively performing a white balance operation |
| JP2004064468A (ja) | 2002-07-30 | 2004-02-26 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP4040625B2 (ja) * | 2002-09-12 | 2008-01-30 | 松下電器産業株式会社 | 画像処理装置、プリンタ装置、撮影装置、及びテレビ受像装置 |
| US7356180B2 (en) * | 2003-09-30 | 2008-04-08 | Sharp Laboratories Of America, Inc. | Systems and methods for correcting image color balance |
| JP4677226B2 (ja) * | 2004-12-17 | 2011-04-27 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP4414369B2 (ja) * | 2005-06-03 | 2010-02-10 | 本田技研工業株式会社 | 車両及び路面標示認識装置 |
| JP4635828B2 (ja) * | 2005-11-07 | 2011-02-23 | コニカミノルタホールディングス株式会社 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
| JP5116393B2 (ja) * | 2007-07-31 | 2013-01-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2009110137A (ja) | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2009
- 2009-03-12 JP JP2009059699A patent/JP5251629B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-19 US US13/202,496 patent/US8792016B2/en active Active
- 2010-01-19 CN CN201080008528.3A patent/CN102326393B/zh not_active Expired - Fee Related
- 2010-01-19 EP EP10743617.2A patent/EP2399397B1/en active Active
- 2010-01-19 WO PCT/JP2010/050868 patent/WO2010095488A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2559000B2 (ja) * | 1992-09-04 | 1996-11-27 | 松下電器産業株式会社 | 逆光検出装置と自動レベル制御装置 |
| JPH08280041A (ja) * | 1995-04-07 | 1996-10-22 | Canon Inc | 撮像装置 |
| US20030016881A1 (en) * | 1998-05-06 | 2003-01-23 | Takahiro Matsuura | Image processing apparatus and method |
| JP2002281512A (ja) * | 2001-03-19 | 2002-09-27 | Sony Corp | ホワイトバランス制御装置及びホワイトバランス制御方法 |
| JP2003061103A (ja) * | 2001-08-09 | 2003-02-28 | Canon Inc | 撮像装置およびホワイトバランス調整方法およびその動作処理プログラム |
| JP2003163944A (ja) * | 2001-11-28 | 2003-06-06 | Fuji Photo Film Co Ltd | ホワイトバランス制御方法及びデジタルカメラ。 |
| JP2008052428A (ja) * | 2006-08-23 | 2008-03-06 | Nikon Corp | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106664364A (zh) * | 2014-09-26 | 2017-05-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
| US10475237B2 (en) | 2014-09-26 | 2019-11-12 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
| CN106664364B (zh) * | 2014-09-26 | 2020-05-05 | 佳能株式会社 | 图像处理设备及其控制方法和摄像设备 |
| CN111385482A (zh) * | 2014-09-26 | 2020-07-07 | 佳能株式会社 | 图像处理设备及其控制方法和机器可读介质 |
| CN111385482B (zh) * | 2014-09-26 | 2022-02-01 | 佳能株式会社 | 图像处理设备及其控制方法和机器可读介质 |
| CN104780353A (zh) * | 2015-03-26 | 2015-07-15 | 广东欧珀移动通信有限公司 | 一种图像处理方法及装置 |
| CN106954022A (zh) * | 2017-03-08 | 2017-07-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端 |
| CN106954022B (zh) * | 2017-03-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2399397B1 (en) | 2020-04-08 |
| CN102326393B (zh) | 2014-12-17 |
| EP2399397A1 (en) | 2011-12-28 |
| JP5251629B2 (ja) | 2013-07-31 |
| JP2010219573A (ja) | 2010-09-30 |
| EP2399397A4 (en) | 2014-07-30 |
| WO2010095488A1 (en) | 2010-08-26 |
| US20110298946A1 (en) | 2011-12-08 |
| US8792016B2 (en) | 2014-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102326393A (zh) | 图像处理设备、图像拾取设备、图像处理方法和计算机程序 | |
| US8035853B2 (en) | Image processing apparatus which calculates a correction coefficient with respect to a pixel of interest and uses the correction coefficient to apply tone correction to the pixel of interest | |
| JP4803178B2 (ja) | 画像処理装置、コンピュータプログラム製品および画像処理方法 | |
| EP1834302B1 (en) | Automatic white balancing of colour gain values | |
| JP4955235B2 (ja) | デジタルカメラおよびゲイン算出方法 | |
| US20080013787A1 (en) | Imaging apparatus, image processor, image filing method, image processing method and image processing program | |
| EP1976268A1 (en) | Imaging system and image processing program | |
| KR101309008B1 (ko) | 화상처리방법 및 화상처리장치 | |
| JPH0823473A (ja) | 撮像装置 | |
| CN102474628A (zh) | 图像处理方法和设备、图像处理程序和存储该程序的介质 | |
| JP2007067815A (ja) | 画像処理装置及び画像処理方法 | |
| US20110135202A1 (en) | Image processing apparatus and image processing method | |
| CN102595031A (zh) | 摄像装置以及图像处理方法 | |
| JPH11331738A (ja) | 画像処理方法および装置 | |
| JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
| JP2008109305A (ja) | 画像処理装置および画像処理装置の制御方法 | |
| CN111147924B (zh) | 一种视频增强处理方法及系统 | |
| JP4335727B2 (ja) | 顔抽出を行うディジタルカメラ | |
| JP2009296172A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、プログラム及び記録媒体 | |
| JP2005354130A (ja) | 撮像処理システム、プログラム及び記憶媒体 | |
| JP3836237B2 (ja) | 画像修正方法および装置 | |
| JP5606300B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP4803982B2 (ja) | 画像処理装置、画像記録装置、及び画像処理方法 | |
| JP2013055459A (ja) | 撮像装置、画像処理装置およびプログラム | |
| JP5269234B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141217 |