JP2006197460A - 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 - Google Patents
画像処理方法、画像処理装置、画像処理プログラム及び撮像装置Info
- Publication number
- JP2006197460A JP2006197460A JP2005008864A JP2005008864A JP2006197460A JP 2006197460 A JP2006197460 A JP 2006197460A JP 2005008864 A JP2005008864 A JP 2005008864A JP 2005008864 A JP2005008864 A JP 2005008864A JP 2006197460 A JP2006197460 A JP 2006197460A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- index
- correction
- input
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 245
- 238000012545 processing Methods 0.000 claims abstract description 197
- 238000000034 method Methods 0.000 claims description 102
- 230000008569 process Effects 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000004364 calculation method Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 description 25
- 230000014509 gene expression Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 10
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 235000012736 patent blue V Nutrition 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
Abstract
【課題】 撮影者の意図どおりに撮影画像データの肌色領域の明るさを連続的且つ適正に補正(修正)する画像処理方法及び画像処理装置を提供する。
【解決手段】 入力された画像データに基づいて算出された撮影条件を表す指標及び設定された撮影条件の判別に係る閾値に基づいて画像データの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す。
【選択図】 図3
【解決手段】 入力された画像データに基づいて算出された撮影条件を表す指標及び設定された撮影条件の判別に係る閾値に基づいて画像データの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す。
【選択図】 図3
Description
本発明は、画像処理方法、画像処理装置、画像処理プログラム及び撮像装置に関する。
従来、フィルムスキャン画像やデジタルカメラ画像の輝度補正は、画像全体の平均輝度をユーザが希望する値へと補正することで行われていた。また通常の撮影では、順光、逆光、ストロボ等の光源条件が様々に変動し、画像中に輝度の偏りの大きい大面積の領域が生じるため、平均輝度の補正に加えて、判別分析、重回帰分析により算出される値を用いた追加補正が必要であった。しかしながら、判別回帰分析方法では、ストロボシーン及び逆光シーンから算出されるパラメータが非常に類似しているため、撮影条件(撮影シーン)の判別が困難であるという問題があった。
上記の課題に対して、判別回帰分析方法に代わる追加補正値の算出方法が開示されている(例えば、特許文献1参照)。特許文献1に記載の方法は、輝度の累積画素数(頻度数)を示す輝度ヒストグラムから、高輝度領域と抵輝度領域を削除し、さらに、頻度数を制限したものを用いて、輝度の平均値を算出し、この平均値と基準輝度との差分を補正値として求めるものである。
また、顔領域の抽出精度を補償するために、撮影時の光源状態の判別を行う方法が提案されている(例えば、特許文献2参照)。特許文献2に記載の方法は、まず、顔候補領域を抽出し、抽出した顔候補領域の平均輝度の画像全体に対する偏りを算出し、偏倚量が大きい場合、撮影条件(逆光撮影かストロボ近接撮影か)の判別を行い、顔領域としての判断基準の許容幅を調整する。特許文献2には、顔候補領域の抽出方法として、特開平6−67320号公報に記載の、色相と彩度の2次元ヒストグラムを用いる方法、特開平8−122944号公報、特開平8−184925号公報及び特開平9−138471号公報に記載のパターンマッチング、パターン検索方法などが引用されている。
また、特許文献2には、顔以外の背景領域除去方法としては、特開平8−122944号公報及び特開平8−184925号公報に記載の、直線部分の比率、線対象性、画面外縁との接触率、濃度コントラスト、濃度変化のパターンや周期性を用いて判別する方法が引用されている。撮影条件の判別には、濃度の1次元ヒストグラムを用いる方法が記載されている。この方法は、逆光の場合は顔領域が暗く背景領域が明るい、ストロボ近接撮影の場合は顔領域が明るく背景領域が暗いという経験則に基づいている。
特開2002−247393号公報
特開2000−148980号公報
しかしながら、特許文献1及び特許文献2に記載の方法は、典型的な逆光やストロボ近接撮影に当てはまるか否かに基づいて、肌色領域(顔領域)の平均輝度値としての採用可否を判断しているため、典型的な撮影シーンとそうでない撮影シーンとの境界における濃度の不連続性が生じたり、撮影シーンを誤判別したりすることによって、撮影画像データの肌色領域の明るさが適切に補正されない可能性があった。
また、撮影者は、意図的に人物を暗くする逆光、人物を白飛びさせるストロボ近接、或いは画像全体を暗くするアンダーといった撮影条件に設定することがあり、撮影者の意図どおりの補正が行われない場合があった。
本発明は、上記の課題に鑑みて、撮影者の意図どおりに撮影画像データの肌色領域の明るさを連続的且つ適正に補正(修正)する画像処理方法及び画像処理装置を提供することを目的とする。
本発明の目的は、下記構成により達成することができる。
請求項1に係る発明は、被写体を撮像することにより生成された画像データを入力する入力工程と、
撮影条件の判別に係る閾値を設定する閾値設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標及び設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法である。
撮影条件の判別に係る閾値を設定する閾値設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標及び設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法である。
請求項2に係る発明は、前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記閾値設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項1に記載の画像処理方法である。
前記閾値設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項1に記載の画像処理方法である。
請求項3に係る発明は、設定された閾値を、補正処理が施された画像データと対応付けて記録する記録工程を含むことを特徴とする請求項1又は2に記載の画像処理方法である。
請求項4に係る発明は、撮影条件毎に補正量を設定する補正量設定工程を含み、
前記補正処理工程は、判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対して補正処理を施すことを特徴とする請求項1乃至3の何れか1項に記載の画像処理方法である。
前記補正処理工程は、判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対して補正処理を施すことを特徴とする請求項1乃至3の何れか1項に記載の画像処理方法である。
請求項5に係る発明は、被写体を撮像することにより生成された画像データを入力する入力工程と、
撮影条件毎に補正量を設定する補正量設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対し補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法である。
撮影条件毎に補正量を設定する補正量設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対し補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法である。
請求項6に係る発明は、前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記補正量設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項5に記載の画像処理方法である。
前記補正量設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項5に記載の画像処理方法である。
請求項7に係る発明は、設定された補正量を、補正処理が施された画像データと対応付けて記録する記録工程を含むことを特徴とする請求項5又は6に記載の画像処理方法である。
請求項8に係る発明は、前記指標算出工程で算出された指標を表示する指標表示工程を含むことを特徴とする請求項1乃至7の何れか1項に記載の画像処理方法である。
請求項9に係る発明は、前記撮影条件判別工程で判別された撮影条件を表示する撮影条件表示工程を含むことを特徴とする請求項1乃至8の何れか1項に記載の画像処理方法である。
請求項10に係る発明は、前記指標算出工程は、入力された画像データを所定領域毎に、所定の明度と色相とで分割された複数の階級に分類したときの、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第1の占有率を算出し、算出された第1の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項1乃至9の何れか1項に記載の画像処理方法である。
請求項11に係る発明は、前記指標算出工程は、入力された画像データを所定領域毎に、当該画像データで表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第2の占有率を算出し、算出された第2の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項1乃至10の何れか1項に記載の画像処理方法である。
請求項12に係る発明は、前記指標算出工程は、入力された画像データの階調分布の偏りを示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特徴とする請求項1乃至11の何れか1項に記載の画像処理方法である。
請求項13に係る発明は、前記指標算出工程は、偏倚量として、入力された画像データの明るさの偏差量、入力された画像データの画面中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも1つを含むことを特徴とする請求項12に記載の画像処理方法である。
請求項14に係る発明は、被写体を撮像することにより生成された画像データを入力する入力手段と、
撮影条件の判別に係る閾値を設定する閾値設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標及び前記閾値設定手段で設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置である。
撮影条件の判別に係る閾値を設定する閾値設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標及び前記閾値設定手段で設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置である。
請求項15に係る発明は、前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記閾値設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項14に記載の画像処理装置である。
前記閾値設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項14に記載の画像処理装置である。
請求項16に係る発明は、前記閾値設定手段で設定された閾値を、前記補正処理手段で補正処理が施された画像データと対応付けて記録する記録手段を有することを特徴とする請求項14又は15に記載の画像処理装置である。
請求項17に係る発明は、撮影条件毎に補正量を設定する補正量設定手段を有し、
前記補正処理手段は、前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施すことを特徴とする請求項14乃至16の何れか1項に記載の画像処理装置である。
前記補正処理手段は、前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施すことを特徴とする請求項14乃至16の何れか1項に記載の画像処理装置である。
請求項18に係る発明は、被写体を撮像することにより生成された画像データを入力する入力手段と、
撮影条件毎に補正量を設定する補正量設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置である。
撮影条件毎に補正量を設定する補正量設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置である。
請求項19に係る発明は、前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記補正量設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項18に記載の画像処理装置である。
前記補正量設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項18に記載の画像処理装置である。
請求項20に係る発明は、前記補正量設定手段で設定された補正量を、前記補正処理手段で補正処理が施された画像データと対応付けて記録する記録手段を有することを特徴とする請求項18又は19に記載の画像処理装置である。
請求項21に係る発明は、表示手段を有し、
前記指標算出手段で算出された指標を表示する表示手段を有することを特徴とする請求項14乃至20の何れか1項に記載の画像処理装置である。
前記指標算出手段で算出された指標を表示する表示手段を有することを特徴とする請求項14乃至20の何れか1項に記載の画像処理装置である。
請求項22に係る発明は、前記撮影条件判別手段で判別された撮影条件を表示する表示手段を有することを特徴とする請求項14乃至21の何れか1項に記載の画像処理装置である。
請求項23に係る発明は、前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、所定の明度と色相とで分割された複数の階級に分類したときの、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第1の占有率を算出し、算出された第1の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項14乃至22の何れか1項に記載の画像処理装置である。
請求項24に係る発明は、前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、当該画像データで表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第2の占有率を算出し、算出された第2の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項14乃至23の何れか1項に記載の画像処理装置である。
請求項25に係る発明は、前記指標算出手段は、前記入力手段で入力された画像データの階調分布の偏りを示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特徴とする請求項14乃至24の何れか1項に記載の画像処理装置である。
請求項26に係る発明は、前記指標算出手段は、偏倚量として、前記入力手段で入力された画像データの明るさの偏差量、前記入力手段で入力された画像データの画面中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも1つを含むことを特徴とする請求項25に記載の画像処理装置である。
請求項27に係る発明は、請求項1乃至13の何れか1項に記載の方法をコンピュータに実行させるための画像処理プログラムである。
請求項28に係る発明は、請求項14乃至26の何れか1項に記載の各手段としてコンピュータを機能させるための画像処理プログラムである。
請求項29に係る発明は、請求項14乃至26の何れか1項に記載の画像処理装置を備えたことを特徴とする撮像装置である。
請求項1又は請求項14に記載の発明によれば、入力された画像データに基づいて算出された撮影条件を表す指標及び設定された撮影条件の判別に係る閾値に基づいて画像データの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して補正処理を施すので、入力された画像データの撮影条件を表す指標に応じて、入力された画像データの肌色領域の明るさを補正(修正)することにより、肌色領域としての確度検証結果に基づく採用可否判断や、肌色領域の明るさの算出値に依存しすぎることなく、被写体の明るさを適切且つ連続的に補正することが可能となる。しかも、撮影条件の判別に係る閾値が設定できるので、補正の有無やその程度を撮影者の意図どおりとすることが可能となる。
また、撮影条件を定量的に表す指標に基づいて入力された画像データの撮影条件を判別し、判別結果に基づいて肌色領域の明るさを補正することにより、判別結果に応じた適切な階調変換処理を行うことが可能となる。
請求項2又は請求項15に記載の発明によれば、撮影条件として逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定するので、少なくとも1つの撮影条件において、補正の有無やその程度を撮影者の意図どおりとすることが可能となる。
請求項3又は請求項16に記載の発明によれば、設定された閾値を、補正処理が施された画像データと対応付けて記録するので、例えば、補正処理済みの画像データからプリントを作成する際に適用される画像処理の適用量を、記録された闘値に基づいて設定できるので、補正の有無やその程度が撮影者の意図どおりであるプリントを作成することが可能となる。
請求項4又は請求項17に記載の発明によれば、撮影条件毎に補正量を設定するので、判別された撮影条件において、補正の程度を撮影者の意図どおりとすることが可能となる。
請求項5又は請求項18に記載の発明によれば、入力された画像データに基づいて算出された撮影条件を表す指標に基づいて画像データの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して撮影条件毎に設定された補正量の補正処理を施すので、入力された画像データの撮影条件を表す指標に応じて、入力された画像データの肌色領域の明るさを補正(修正)することにより、肌色領域としての確度検証結果に基づく採用可否判断や、肌色領域の明るさの算出値に依存しすぎることなく、被写体の明るさを適切且つ連続的に補正することが可能となる。しかも、判別された撮影条件毎に補正量が設定できるので、補正の程度を撮影者の意図どおりとすることが可能となる。
請求項6又は請求項19に記載の発明によれば、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定するので、補正の程度を撮影者の意図どおりとすることが可能となる。
請求項7又は請求項20に記載の発明によれば、設定された補正量を、補正処理が施された画像データと対応付けて記録するので、例えば、補正処理済みの画像データからプリントを作成する際に適用される画像処理の適用量を、記録された闘値に基づいて設定できるので、補正の有無やその程度が撮影者の意図どおりであるプリントを作成することが可能となる。
請求項9又は請求項22に記載の発明によれば、判別された撮影条件を表示するので、撮影者は自分の意図どおりの補正が行われているか否かを確認することが可能となる。
請求項10又は請求項23に記載の発明によれば、第1の占有率に基づいて光源条件を表す指標を算出するので、肌色領域の明るさと、背景領域の明るさの差異に起因する、逆光シーンやストロボ近接シーンらしさ(程度)を、連続的且つ適正に定量化することが可能となり、撮影条件判別の精度を高くすることが可能となる。
請求項11又は請求項24に記載の発明によれば、第2の占有率に基づいて光源条件を表す指標を算出するので、画面中央の明るさと、周辺領域の明るさの差異に起因する、逆光シーンやストロボ近接シーン、アンダーシーンらしさ(程度)を、連続的且つ適正に定量化することが可能となり、撮影条件判別の精度を高くすることが可能となる。
請求項12又は請求項25に記載の発明によれば、入力された画像データの階調分布の偏りを示す偏倚量に基づいて露出条件を表す指標を算出するので、中間の明るさと、その他(シャドー、ハイライト)の明るさに対する分布の偏りに起因する、逆光シーンやストロボ近接シーンらしさ(程度)を、連続的且つ適正に定量化することが可能となり、撮影条件判別の精度を高くすることが可能となる。
請求項13又は請求項26に記載の発明によれば、偏倚量として、入力された画像データの明るさの偏差量、入力された画像データの画面中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも1つを含むので、シャドー、中間、ハイライトの明るさに対する分布の偏りに起因する、アンダーやオーバーシーンらしさ(程度)を、連続的且つ適正に定量化することが可能となり、撮影条件判別の精度を高くすることが可能となる。
以下、画像処理装置が適用された撮像装置の一実施形態としてデジタルカメラを例に、図面に基づき本発明の実施の形態を説明する。
図1は、本発明に係る画像処理装置が適用された撮像装置の一実施形態であるデジタルカメラの機能的構成を示すブロック図である。
デジタルカメラ1は、レンズ2、絞り3、撮像素子4、制御部5、アナログ処理回路6、一時記憶メモリ7、記憶デバイス8、撮像素子駆動回路9、画像処理部10、A/D変換器11、操作部12、表示部13、ストロボ駆動回路14、ストロボ15、焦点距離調整回路16、自動焦点駆動回路17、モータ18等を備えて構成されている。
デジタルカメラ1の光学系は、レンズ2、絞り3、撮像素子4を備えて構成されている。
レンズ2は、フォーカスの調節を行い、被写体の光画像を結像する。絞り3は、レンズ2を透過した光束の光量を調節する。撮像素子4は、レンズ2により受光面上に結像された被写体光を、撮像素子4内の各センサ毎に光の入射量に応じた量の電気的な信号(撮像信号)へ光電変換する。そして、撮像素子4は、撮像素子駆動回路9から出力されるタイミングパルスに制御されることにより、この撮像信号をアナログ処理回路6へ順次出力する。
なお、撮像素子4は、2次元のCCD型イメージセンサ、C−MOS型イメージセンサ、CID型イメージセンサ等の何れのデバイスでもよいが、以下の本実施の形態では原色系のフィルタが用いられたインターライン型のCCD型イメージセンサを例にとって説明する。
制御部5は、CPU(Central Processing Unit)等により構成され、記憶デバイス8に記憶されているデジタルカメラ1の制御プログラムを読み出して、読み出したプログラムにしたがってってデジタルカメラ1全体の制御を行う。具体的には、制御部5は、操作部12からの操作信号に応じて、レンズ2の焦点距離とフォーカス(ピント)を調節するモータ18の制御を行う自動焦点駆動回路17、焦点距離調整回路16、撮像素子駆動回路9、アナログ処理回路6、一時記憶メモリ7、画像処理部10、操作部12、表示部13及びストロボ駆動回路14の制御を行い、撮影を行う。
また、制御部5は、例えば画像を複数のブロックに分割し、各ブロックの代表輝度値に基づいて絞り3の開口径や撮像素子4による電荷蓄積時間を調整する、いわゆる自動露出制御を行う。
アナログ処理回路6は、撮像素子4から入力された撮像信号に対して、R、G、B信号の増幅やノイズの低減処理等を行う。
一時記憶メモリ7は、バッファメモリ等であり、A/D変換器11から出力されたデジタル画像データを一時格納する。
記録手段として機能する記憶デバイス8は、不揮発性の半導体メモリ等により構成されており、撮影されたデジタル画像データを記録するメモリカード等の情報記録媒体と、デジタルカメラ1の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
情報記録媒体は、例えばコンパクトフラッシュ(登録商標)、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピー(登録商標)ディスク、磁気情報記録媒体(MO)、或いはCD−Rなど何れであってもよい。また、情報記録媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの形態であってもよい。さらに、撮像装置と情報記録媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が撮像装置から直接「撮像装置特性補正処理を施す際の再現補助データ」及び「必要なデータ」を読み出すことのできる機能を併せ持つ態様であってもよい。「メディアに記録する」ときのファイル形式は、撮像装置固有の形式ではなく、TIFF、JPEGなどの規格化された汎用のファイル形式で記録されるのが好ましい。
撮像素子駆動回路9は、制御部5から出力される制御信号をもとにタイミングパルスを出力し、撮像素子4の駆動制御を行う。
画像処理部10は、表示部13での表示に用いるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換、本発明に係る撮影条件の判別に基づく補正等の処理を行う。この画像処理部10における処理は、操作部12からの操作信号に応じ制御部5を介して画像処理内容を切り替えられるようになっている。
A/D変換器11は、アナログ処理回路6から入力された撮像信号をデジタル画像データに変換して出力する。
操作部12には、図示しないレリーズボタン、電源のON/OFFボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部5に出力する。
表示手段として機能する表示部13は、制御部5からの制御信号により、デジタル画像データを表示するとともに、デジタルカメラ1の使用者が撮影に関する設定や条件を確認するための情報を表示する。
ストロボ駆動回路14は、制御部5からの制御信号により、被写体輝度が低いときにストロボ15を駆動制御して発光させる。
ストロボ15は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路14により駆動されることにより、コンデンサに蓄えられた電荷によりキセノン管を発光して、被写体に対して補助光を照射する。
焦点距離調整回路16は、制御部5からの制御信号により、レンズ2を移動させて焦点距離を調整するためのモータ18の制御を行う。
自動焦点駆動回路17は、制御部5からの制御信号により、レンズ2を移動させてフォーカス(ピント)を調整するためのモータ20の制御を行う。
なお、図1に示したデジタルカメラ1において、画像処理部10、制御部5及び操作部12は協働して本発明に係る画像処理装置として機能しているものである。すなわち、制御部5と操作部12は協働して閾値設定手段及び補正量設定手段として機能するものである。
図2は、図1に示したデジタルカメラ1の外観図である。図2(a)はデジタルカメラ1前面の斜視図であり、図2(b)はデジタルカメラ1背面の斜視図である。
図1(a)において、20はズーム撮像光学系、22はレンズカバーであり、不使用時はズーム撮像光学系20は沈胴する。このレンズカバー22のスライド操作に連動してメインスイッチのON、OFFが切り替えられるようになっている。151はストロボ15の一部を構成するフラッシュ発光部、21は外部入出力端子(例えば、USB端子)である。
図1(b)において、19はファインダ接眼部、23は電池/カード蓋である。電池/カード蓋23の内部には、本カメラの電源を供給する電池と、撮影した画像を記録するカード用のスロットが備えられており、画像を記録する記憶デバイス8の一部を構成する記録用メモリカードが挿脱可能になっている。
表示部13の一部を構成する赤と緑の表示ランプ132は、自動焦点距離調整や自動露出制御の情報を、点灯若しくは点滅により撮影者に表示するものである。また、表示部13の一部を構成するモニタ131は画像やその他文字情報等を表示する。
デジタルカメラ1は、操作部12の一部を構成するボタンとして、レリーズスイッチ121、ズームボタン123、選択ボタン124、メニュー/セットボタン125、再生ボタン126、ディスプレイボタン127及び消去ボタン128を具備している。
レリーズスイッチ121はその1段の押し込み(以下、半押しと称す)によりカメラの撮影準備動作、すなわち焦点合わせ動作や測光動作が行われ、その2段の押し込み(以下、レリーズスイッチ121のONと称す)により撮影露光動作が行われる。
ズームボタン123は、ズームアップ、ズームダウンを行うボタンである。選択ボタン124は4方向スイッチであり、メニュー/セットボタン125で、モニタ131上に各種のメニューを表示させ、選択ボタン124で選択し、メニュー/セットボタン125で確定させる機能を有している。再生ボタン126は、撮影した画像の再生を行うボタンである。ディスプレイボタン127は、モニタ131に表示された画像やその他文字情報の表示や消去を選択するボタンである。消去ボタン128は、撮影記録した画像の消去を行うボタンである。
本発明に図1に示したデジタルカメラ1の画像処理部10について、図3を用いて説明する。図3は、図1に示したデジタルカメラ1の画像処理部10の内部構成を示すブロック図である。
画像処理部10は、画像処理制御部100、入力部101、入出力処理部102、撮影条件判別部103、補正処理部104、記憶部105及び出力部106により構成される。
画像処理制御部100は、画像処理部10の各部の動作を制御し、画像処理制御手段として機能する。
入力手段として機能する入力部101へは、一時記憶メモリ7や記憶デバイス8から出力された画像データや、全体制御部5から出力された各種制御データが入力される。
入出力処理部102は、入力部101から入力された画像データに対し、その画像データのデータ書式にしたがって、必要に応じて圧縮符号の復元、色データの表現方法の変換等の処理を施し、画像処理部10内の演算に適したデータ形式に変換する。
また、入出力処理部102は、画像処理部10内の各部で処理された画像データに対して、その出力先に応じて校正処理、画素数変更、カラーマッチング等の処理や、必要に応じてJPEG、TIFF等に代表される各種の汎用画像フォーマットへの変換を施し、処理済みの画像データを出力部106に出力する。また、必要に応じて記憶部105に記憶された情報(例えば、撮影条件判別部103の判別結果等)を画像データのヘッダ部にタグデータとして付加したり、該情報に基づいて画像データと対応付けられたメタファイルを作成する。
撮影条件判別部103は、占有率演算部1031、指標算出部1032により構成され、入出力処理部102で変換された画像データに基づいて撮影条件(以下、撮影シーンともいう)を判別する撮影条件判別手段として機能する。
占有率演算部1031は、例えば明度、色相、画像データで再現される画像(以下、単に画像ともいう)の外縁からの距離等の画像データに係わるパラメータの組み合わせによって分割された階級毎に、累積画素数の全画素数(画像データ全体)に占める割合を示す占有率を算出する占有率演算手段として機能する。
指標算出部1032は、撮影シーンを特定するための、例えば、下記に示す指標1乃至6を算出する指標算出手段として機能する。なお、指標1乃至6の具体的な算出方法は、後述の本実施形態の動作説明において詳細に説明する。
(指標1)
屋内撮影度、近接撮影度、顔色高明度等のストロボ撮影時の特徴を示す指標。
屋内撮影度、近接撮影度、顔色高明度等のストロボ撮影時の特徴を示す指標。
(指標2)
屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示す指標で、「逆光」と判別されるべき画像を他の撮影シーンから分離するためのものである。
屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示す指標で、「逆光」と判別されるべき画像を他の撮影シーンから分離するためのものである。
(指標3)
逆光とストロボ近接間における、画像データの画面の中心と外側の明暗関係の差異を示す指標であり、逆光又はストロボ近接と判別されるべき画像のみを定量的に示すものである。
逆光とストロボ近接間における、画像データの画面の中心と外側の明暗関係の差異を示す指標であり、逆光又はストロボ近接と判別されるべき画像のみを定量的に示すものである。
(指標4、5)
順光、逆光、ストロボ近接の各撮影シーンを判別するための指標である。
順光、逆光、ストロボ近接の各撮影シーンを判別するための指標である。
(指標6)
ストロボ近接撮影シーンとアンダー撮影シーンにおける、画像データの画面の中心と外側の明暗関係の差異を示すだけでなく、輝度ヒストグラムにおける分布情報を示す指標であり、ストロボ近接撮影シーン又はアンダー撮影シーンと判別されるべき画像のみを定量的に示すものである。
ストロボ近接撮影シーンとアンダー撮影シーンにおける、画像データの画面の中心と外側の明暗関係の差異を示すだけでなく、輝度ヒストグラムにおける分布情報を示す指標であり、ストロボ近接撮影シーン又はアンダー撮影シーンと判別されるべき画像のみを定量的に示すものである。
補正処理手段として機能する補正処理部104は、補正処理選択部1041、補正処理量調整部1042、補正処理実行部1043から構成され、撮影条件判別部103で判別された撮影シーンに応じた補正処理を画像データに対して行う。
補正処理選択部1041は、撮影条件判別部104で判別された撮影シーンに応じた補正処理方法を例えば記憶部105に予め記憶されている既定の補正処理の中から選択する。
具体的には、例えば、指標算出部1032において算出された指標4、指標5及び指標6の値に基づいて、画像データの撮影シーン(光源条件及び露出条件)を判別し、判別された撮影シーンに応じて、予め設定されている画像データに対する階調調整の方法を決定する。
補正処理量調整部1042は、指標算出部1032において算出された指標4、指標5、指標6の値に基づいて、例えば画像データに対する階調調整量を算出(決定)する。具体的には、補正処理選択部1041において決定された階調調整方法に対応して、オフセット値やガンマ値が設定される。
補正処理実行部1043は、補正処理選択部1041で選択され、補正処理調整部1042で調整された補正処理量に基づいて、画像データに対して画像処理を施す。
記憶部105は、画像処理部10の各部で実行される処理で必要となるパラメータやテーブル等を記憶する。具体的には、撮影条件判別部103で撮影シーンを判別するための、指標算出部1032で算出された各種指標の閾値と撮影シーンとの対応付けテーブル、撮影条件判別部103で判別された撮影シーンや指標の値と補正処理選択部1041で選択される階調調整方法との対応付けテーブル等が記憶される。
出力部106は、画像処理部10の各部で処理された画像データや各種制御データを、画像処理部10と接続している各部へと出力する。
なお、図3に示した各部は、画像処理部10の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のCPUによるソフトウエア処理の種類の区分として実現されてもよい。
次に、本発明に係る画像処理装置における動作の一例を説明する。本発明に係る画像処理装置が適用された撮像装置においては、補正レベルの設定が行われ、設定された補正レベルに基づいて、撮影時に撮影条件の判別及び補正処理が行われるものである。
補正レベルの設定について図4を用いて説明する。図4は、図1及び図2に示したデジタルカメラ1で実行される補正レベル設定処理の流れを示すフローチャートである。なお、図4に示したフローチャートにおいては、デジタルカメラ1のメインスイッチはオンされた状態であり、操作部12で所定の操作を行うことにより補正レベル設定モードに設定されているものとする。
ステップS11では、補正レベルの選択が行われる。本実施の形態においては、補正レベルの選択は、光源の種類に関係なく、あたかも標準的な光源で撮影されたかのように補正する「光源補正モード」と、光源の影響が画像に反映されやすく、撮影者の意図どおりとなるように補正する「自然モード」の2種類から選択される。
ステップS12では、ステップS11で選択された補正レベルが「光源補正モード」であるか否かが判断される。「光源補正モード」である場合(ステップS12;YES)、ステップS13の処理が実行され、「自然モード」である場合(ステップS12;NO)、ステップS15の処理が実行される。
ステップS13では、「光源補正モード」で画像処理部10の撮影条件判別部103が撮影条件を判別するための閾値の設定が行われる(閾値設定工程)。閾値は、画像処理部10の指標算出部1032で算出される指標に対して設定され、例えば、指標4、指標5及び指標6に対して設定される。指標4については、撮影シーンを「逆光」又は「順光」と、それら以外の撮影シーンとを判別するための閾値が設定される。指標5については、撮影シーンを「逆光」、「順光」及び「順光・逆光間」の何れかに判別するための閾値が設定される。指標6については、撮影シーンを「ストロボ近接」、「アンダー」及び「ストロボ近接・アンダー間」の何れかに判別するための閾値が設定される。このとき、設定される閾値で区切られる撮影シーン領域枠が一目で分かるように、モニタ131に閾値設定画面が表示される。設定された閾値は、画像処理部10の記憶部106に記憶される。
ステップS14では、「光源補正モード」における補正処理量の設定が行われる(補正処理量設定工程)。補正処理量の設定は、撮影シーン毎に設定されるようになっており、例えば、「高い」「普通」「低い」の3段階から選択され、画像処理部10の記憶部106に撮影シーン毎に記憶される。記憶された設定は補正処理量調整部1042で実行される。
「光源補正モード」において設定される補正処理量の一例を下記表1に示す。
ステップS15では、「自然モード」で画像処理部10の撮影条件判別部103が撮影条件を判別するための閾値の設定が行われる(閾値設定工程)。設定される閾値はステップS13で設定される閾値と同様であり、画像処理部10の記憶部106に記憶されるとともに、モニタ131に画面が表示される。
ステップS16では、「自然モード」における補正処理量の設定が行われる(補正処理量設定工程)。設定される補正処理量はステップS14と同様であり、画像処理部10の記憶部106に記憶される。
「自然モード」において設定される補正処理量の一例を下記表2に示す。
なお、図4に示した処理では、補正レベルの設定は2種類のモードから何れか一方を選択するようにしたが、3種類以上のモードから選択するようにしてもよく、閾値及び補正処理量を任意に調整できるようにしてもよい。
図4のステップS13及びステップS15で設定される閾値について、図5を用いて説明する。図5は、図4のステップS13及びステップS15でモニタ131に表示される閾値設定画面の表示例であり、図5(a)はステップS11で「光源補正モード」が選択されたときの閾値設定画面であり、図5(b)はステップS11で「自然モード」が選択され
図5(a)において、閾値設定画面30は、第1画面31と第2画面32とから構成される。第1画面31は、撮影シーンを「逆光」又は「順光」と判別するための閾値を設定するための画面であり、具体的には指標4と指標5の閾値を設定するための画面である。第2画面32は、撮影シーンを「ストロボ近接」又は「アンダー」と判別するための閾値を設定するための画面であり、具体的には指標6の閾値を設定するための画面である。なお、第1画面31の表示と第2画面32の表示は、連動して表示される。
図5(a)において、閾値設定画面30は、第1画面31と第2画面32とから構成される。第1画面31は、撮影シーンを「逆光」又は「順光」と判別するための閾値を設定するための画面であり、具体的には指標4と指標5の閾値を設定するための画面である。第2画面32は、撮影シーンを「ストロボ近接」又は「アンダー」と判別するための閾値を設定するための画面であり、具体的には指標6の閾値を設定するための画面である。なお、第1画面31の表示と第2画面32の表示は、連動して表示される。
図5(a)の第1画面31には、指標4の座標軸312と指標5の座標軸311とが表示され、指標4の閾値ライン313が座標軸311上に、指標5の逆光閾値ライン314が座標軸312上に表示される。
指標4の閾値ライン313及び指標5の逆光閾値ライン314で囲まれた逆光領域枠316が、撮影条件が「逆光」と判別される指標4及び指標5の組み合わせ領域となり、逆光領域枠316の面積が大きいと画像の枚数が相対的に増し、逆光領域枠316の面積を小さくすると撮影条件が「逆光」と判別される画像の枚数が相対的に減少する。
逆光領域枠316と同様に、指標4の閾値ライン313及び指標5の順光閾値ライン315で囲まれた順光領域枠317が、撮影条件が「順光」と判別される指標4及び指標5の組み合わせ領域であり、指標4の閾値ライン313、指標5の逆光閾値ライン314及び指標5の順光閾値ライン315で囲まれた領域が順光・逆光間領域枠318である。
図5(a)の第2画面32には、指標4の座標軸321と指標6の座標軸322とが表示され、座標軸322上に指標6のストロボ近接閾値ライン323及び指標6のアンダー閾値ライン324が表示される。
指標6のストロボ近接閾値ライン323及び指標4の閾値ライン313で囲まれた領域のうち、図中右側、すなわち指標4が閾値よりも大きい領域がストロボ近接領域枠325である。ストロボ近接領域枠325は、撮影条件が「ストロボ近接」と判別される指標4及び指標6の組み合わせ領域となり、ストロボ近接領域枠325の面積を大きくすると、撮影条件が「ストロボ近接」と判別される画像の枚数が相対的に増す。
指標6のアンダー閾値ライン324よりも図中下側にある領域、すなわち指標6がアンダー閾値よりも小さい領域がアンダー領域枠326である。アンダー領域枠326の面積を大きくすると、撮影条件が「アンダー」と判別される画像の枚数が相対的に増す。また、指標6のストロボ近接閾値ライン323、指標6のアンダー閾値ライン324及び指標4の閾値ライン313で囲まれたはストロボ近接・アンダー間領域枠327として第2画面32に表示される。
指標6のストロボ近接閾値ライン323及び指標4の閾値ライン313で囲まれた領域のうち、図中左側、すなわち指標4が閾値よりも小さい領域がオーバー領域枠328である。オーバー領域枠328は、撮影条件が「オーバー」と判別される指標4及び指標6の組み合わせ領域となり、オーバー領域枠328の面積を大きくすると、撮影条件が「オーバー」と判別される画像の枚数が相対的に増す。
図5(b)の「自然モード」においては、図5(a)の「光源補正モード」に比して、逆光領域枠316、ストロボ近接領域枠325、アンダー領域枠326及びオーバー領域枠328の面積を小さなものとしている。
図5(b)の第1画面31において、逆光領域枠316は、指標4の逆光閾値ライン313a及び指標5の逆光閾値ライン314で囲まれた領域となり、順光領域枠317は、指標4の順光閾値ライン313b及び指標5の順光閾値ライン315で囲まれた領域となる。すなわち「自然モード」においては、指標4にも撮影シーンを「順光」と判別するための閾値と「逆光」と判別するための閾値とが設定されることになる。
図5(b)の第2画面32において、ストロボ近接領域枠325は、指標6のストロボ近接閾値ライン323及び指標4の順光閾値ライン313aで囲まれた領域のうち右側となり、アンダー領域枠326は、指標6のアンダー閾値ライン324よりも下側の領域となる。オーバー領域枠328は、指標6のストロボ近接閾値ライン323及び指標4の順光閾値ライン313aで囲まれた領域のうち左側側となる。
本発明に係る画像処理装置が適用された撮像装置の撮影時の動作について図6を用いて説明する。図6は、図1及び図2に示したデジタルカメラ1で実行される撮影処理の流れを示すフローチャートである。なお、図6に示したフローチャートにおいては、デジタルカメラ1のメインスイッチはオンされた状態であり、撮影モードに設定されているものとする。
ステップS21では、撮像素子4による撮像が開始され、モニタ131上にライブビュー表示が行われる。
ステップS22では、レリーズスイッチ121が半押しされたかどうかが判断され、レリーズスイッチ121が半押しされるまでステップS22で待機する。レリーズスイッチ121が半押しされると(ステップS22;YES)、ステップS23の処理が実行される。
ステップS23では、制御部5により、オートフォーカス制御(AF)と露光量制御(AE)が行われ、ステップS24では、レリーズスイッチ121がオンされたかどうかが判断される。レリーズスイッチ121がオンされるまでステップS22乃至S24の処理が繰り返される。レリーズスイッチ121がオンされると(ステップS24;YES)、ステップS25の処理が実行される。
ステップS25では、撮像素子4により撮影が行われ、ステップS26では、ステップS25で撮影された画像データが一時記憶メモリ7に一旦蓄えられる(入力工程)。
ステップS27では、ステップS26で一時記憶メモリ7に蓄えられた画像データに基づいて指標が算出され(指標算出工程)、算出された指標に基づいて撮影条件判別が行われる(撮影条件判別工程)。
ステップS28では、ステップS27で判別された撮影条件に対応する補正処理が画像データに対して施される(補正処理工程)。
ステップS29では、モニタ131上に撮影された画像の表示(アフタービュー表示)が行われ、ステップS30では、ステップS28で補正された画像データが記憶デバイス8に記録される(記録工程)。このとき、ステップS26で判別された撮影条件や図4で説明した補正レベル設定処理で設定された撮影条件判別のための閾値も、画像データと対応付けて記録される。
ステップS31では、モニタ131上のアフタービュー表示が消灯されて、ステップS32では、モニタ131上に再度ライブビュー表示が行われ、1画像(1コマ)相当の撮影が終了する。
ステップS33では、メインスイッチがオフされていないかどうかが判断される。なお、メインスイッチのオフには、規定の時間、何の操作も行われなかった場合に自動的に電源をオフするオートパワーオフ機能によりオフされる場合も含まれる。メインスイッチがオフされていない場合(ステップS33;NO)、ステップS34の処理が実行され、オフされた場合(ステップS33;YES)、モニタ131上のライブビューが消灯され(ステップS35)、撮影処理を終了する。
ステップS34では、撮影モードが終了されていないか否か、すなわち動作モードが撮影モードから他のモードに変更されていないか否かが判断される。変更されていなければ(ステップS34;NO)、ステップS21に戻って上述のシーケンスを繰り返す。動作モードが変更されている場合は(ステップS34;YES)、モニタ131上のライブビューが消灯され(ステップS35)、変更されたモードでの制御に移行する。
図6のステップS27で実行される撮影条件判別処理について、図7を用いて説明する。図7は、図3の撮影条件判別部103により実行される撮影条件判別処理の流れを示すフローチャートである。図7のフローチャートにおいて、ステップS101乃至ステップS105では占有率の算出が行われ、ステップS106乃至ステップS110では指標の算出が行われ、ステップS111乃至ステップS124では撮影条件の判別が行われる。
ステップS101では、図3の占有率演算部1031により、画像データのRGB(Red, Green, Blue)値がHSV表色系に変換される。
なお、上記においてHSV表色系とは、画像データを、色相(Hue)、彩度(Saturation)、明度(Value又はBrightness)の3つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。また、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意味である。以下の記載において、HSV表色系のV(0〜255)を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。また、本実施形態における画像データは、人物を主要被写体とする画像データであるものとする。
ステップS102では、占有率演算部1031により、ステップS101でHSV表色系に変換された画像データが、所定の領域毎例えば画素毎に、所定の明度範囲と色相範囲との組み合わせからなる階級に分類され、分類された階級毎に累積画素数を算出することにより第1の2次元ヒストグラムが作成される(第1のヒストグラム作成工程)。
明度(V)は、明度値が0〜25(v1)、26〜50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の7つの階級に分類される。色相(H)は、色相値が0〜39、330〜359の肌色色相階級(H1及びH2)、色相値が40〜160の緑色色相階級(H3)、色相値が161〜250の青色色相階級(H4)、赤色色相階級(H5)の4つの階級に分類される。なお、赤色色相階級(H5)は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相階級は、さらに、肌色階級(H1)と、それ以外の階級(H2)に分割される。以下、肌色色相階級(H=0〜39、330〜359)のうち、下記の式(1)を満たす色相’(H)を肌色階級(H1)とし、式(1)を満たさない階級を(H2)とする。
10<彩度(S)<175、
色相’(H)=色相(H)+60 (0≦色相(H)<300のとき)、
色相’(H)=色相(H)−300 (300≦色相(H)<360のとき)、
輝度(Y)=InR×0.30+InG×0.59+InB×0.11 (A)
として、
色相’(H)/輝度(Y)<3.0×(彩度(S)/255)+0.7 (1)
したがって、画像データの階級の数は4×7=28個となる。なお、式(A)及び(1)において明度(V)を用いることも可能である。
色相’(H)=色相(H)+60 (0≦色相(H)<300のとき)、
色相’(H)=色相(H)−300 (300≦色相(H)<360のとき)、
輝度(Y)=InR×0.30+InG×0.59+InB×0.11 (A)
として、
色相’(H)/輝度(Y)<3.0×(彩度(S)/255)+0.7 (1)
したがって、画像データの階級の数は4×7=28個となる。なお、式(A)及び(1)において明度(V)を用いることも可能である。
ステップS103では、占有率演算部1031により、ステップS102で作成された第1の2次元ヒストグラムに分類された階級毎に、算出された累積度数の全度数(画像全体)に占める割合を示す第1の占有率が算出される(第1の占有率算出工程)。明度階級vi、色相階級Hjの組み合わせからなる階級において算出された第1の占有率をRijとすると、各階級における第1の占有率は表3のように表される。
ステップS104では、占有率演算部1031により、ステップS101でHSV表色系に変換された画像データが、所定の領域毎例えば画素毎に、画像画面の外縁からの距離と明度の組み合わせからなる階級に分類され、分類された階級毎に累積画素数を算出することにより第2の2次元ヒストグラムが作成される(第2のヒストグラム作成工程)。
画像の外縁からの距離は、例えば図8(a)乃至(d)に示したように、画像データで再現される1つの画像の外縁からの距離に応じて4つの領域n1〜n4に分類される。図8(a)に示す領域n1が外枠であり、図8(b)に示す領域n2が、外枠の内側の領域であり、図8(c)に示す領域n3が、領域n2のさらに内側の領域であり、図8(d)に示す領域n4が、画像の中心部の領域である。また、明度は、ステップS102で作成された第1の2次元ヒストグラムと同様にv1〜v7の7つの階級に分類するものとする。したがって、画像データを、画像の外縁からの距離と明度の組み合わせからなる階級に分類した場合の階級の数は4×7=28個となる。
図7に戻って、ステップS105では、占有率演算部1031により、ステップS104で作成された第2の2次元ヒストグラムに分類された階級毎に、算出された累積度数の全度数(画像全体)に占める割合を示す第2の占有率が算出される(第2の占有率算出工程)。明度階級vi、画面領域njの組み合わせからなる階級において算出された第2の占有率をQijとすると、各階級における第2の占有率は表4のように表される。
ステップS106では、指標算出部1032により、ステップS103において各階級毎に算出された第1の占有率に、撮影シーンに応じて予め(例えば、判別分析によって)設定された第1の係数を乗算して和をとることにより、撮影シーンを特定するための指標1が算出される(指標1算出工程)。ここで、撮影シーンとは、順光、逆光、ストロボ近接等の、被写体を撮影するときの光源条件及びアンダー撮影等の露出条件を示す。指標1は、屋内撮影度、近接撮影度、顔色高明度等のストロボ近接撮影時の特徴を示すもので、「ストロボ近接」と判別されるべき画像データを他の撮影シーンから分離するためのものである。
表5に、第1の係数の例を階級別に示す。表5に示された各階級の係数は、表3に示した各階級の第1の占有率Rijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表5に示した第1の係数のうち、肌色階級(H1)における第1の係数と、その他の階級(緑色色相階級(H3))における第1の係数を、明度全体にわたって連続的に変化する曲線(係数曲線)として図9に示す。表5及び図9に示したように、本実施の形態においては、高明度の階級v5、v6では、肌色階級(H1)における第1の係数の符号は正(+)であり、その他の階級(例えば、緑色色相階級(H3))における第1の係数の符号は負(−)となるように設定されている。
明度階級vi、色相階級Hjにおける第1の係数をCijとすると、指標1を算出するためのHk階級の和は、式(2)のように定義される。
したがって、H1〜H4階級の和は、下記の式(2−1)〜(2−4)のように表される。
H1階級の和=R11×(-44.0)+R21×(-16.0)+(中略)...+R71×(-11.3) (2-1)
H2階級の和=R12×0.0+R22×8.6+(中略)...+R72×(-11.1) (2-2)
H3階級の和=R13×0.0+R23×(-6.3)+(中略)...+R73×(-10.0) (2-3)
H4階級の和=R14×0.0+R24×(-1.8)+(中略)...+R74×(-14.6) (2-4)
指標1は、式(2−1)〜(2−4)で示されたH1〜H4階級の和を用いて、式(3)のように定義される。
H1階級の和=R11×(-44.0)+R21×(-16.0)+(中略)...+R71×(-11.3) (2-1)
H2階級の和=R12×0.0+R22×8.6+(中略)...+R72×(-11.1) (2-2)
H3階級の和=R13×0.0+R23×(-6.3)+(中略)...+R73×(-10.0) (2-3)
H4階級の和=R14×0.0+R24×(-1.8)+(中略)...+R74×(-14.6) (2-4)
指標1は、式(2−1)〜(2−4)で示されたH1〜H4階級の和を用いて、式(3)のように定義される。
指標1=H1階級の和+H2階級の和+H3階級の和+H4階級の和+4.424 (3)
図7に戻って、ステップS107では、指標算出部1032により、ステップS106で各階級毎に算出された第1の占有率に、撮影シーンに応じて予め(例えば、判別分析によって)設定された第2の係数を乗算して和をとることにより、撮影シーンを特定するための指標2を算出する。指標2は、屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示すもので、「逆光」と判別されるべき画像を他の撮影シーンから分離するためのものである。
図7に戻って、ステップS107では、指標算出部1032により、ステップS106で各階級毎に算出された第1の占有率に、撮影シーンに応じて予め(例えば、判別分析によって)設定された第2の係数を乗算して和をとることにより、撮影シーンを特定するための指標2を算出する。指標2は、屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示すもので、「逆光」と判別されるべき画像を他の撮影シーンから分離するためのものである。
表6に、第2の係数の一例を階級別に示す。表6に示された各階級の係数は、表3に示した各階級の第1の占有率Rijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表6に示した第2の係数のうち、肌色色相階級(H1)における第2の係数を、明度全体にわたって連続的に変化する曲線(係数曲線)として図10に示す。表6及び図10に示したように、肌色色相階級の、中間明度階級v4の第2の係数の符号は負(−)であり、低明度(シャドー)階級v2、v3の第2の係数の符号は正(+)であり、両階級での係数の符号が異なるように設定されている。
明度階級vi、色相階級Hjにおける第2の係数をDijとすると、指標2を算出するためのHk階級の和は、式(4)のように定義される。
したがって、H1〜H4階級の和は、下記の式(4−1)〜(4−4)のように表される。
H1階級の和=R11×(-27.0)+R21×4.5+(中略)...+R71×(-24.0) (4-1)
H2階級の和=R12×0.0+R22×4.7+(中略)...+R72×(-8.5) (4-2)
H3階級の和=R13×0.0+R23×0.0+(中略)...+R73×0.0 (4-3)
H4階級の和=R14×0.0+R24×(-5.1)+(中略)...+R74×7.2 (4-4)
指標2は、式(4−1)〜(4−4)で示されたH1〜H4階級の和を用いて、式(5)のように定義される。
H1階級の和=R11×(-27.0)+R21×4.5+(中略)...+R71×(-24.0) (4-1)
H2階級の和=R12×0.0+R22×4.7+(中略)...+R72×(-8.5) (4-2)
H3階級の和=R13×0.0+R23×0.0+(中略)...+R73×0.0 (4-3)
H4階級の和=R14×0.0+R24×(-5.1)+(中略)...+R74×7.2 (4-4)
指標2は、式(4−1)〜(4−4)で示されたH1〜H4階級の和を用いて、式(5)のように定義される。
指標2=H1階級の和+H2階級の和+H3階級の和+H4階級の和+1.554 (5)
指標1及び指標2は、画像データの明度と色相の分布量に基づいて算出されるため、画像データがカラー画像である場合の撮影シーンの判別に有効である。
指標1及び指標2は、画像データの明度と色相の分布量に基づいて算出されるため、画像データがカラー画像である場合の撮影シーンの判別に有効である。
図7に戻って、ステップS108では、指標算出部1032により、ステップS105において各階級毎に算出された第2の占有率に、撮影シーンに応じて予め(例えば、判別分析によって)設定された第3の係数を乗算して和をとることにより、撮影シーンを特定するための指標3を算出する。指標3は、「逆光」と「ストロボ近接」間における、画像データの画面の中心と外側の明暗関係の差異を示すものであり、「逆光」又は「ストロボ近接」と判別されるべき画像のみを定量的に示すものである。
表7に、第3の係数の一例を階級別に示す。表7に示された各階級の係数は、表4に示した各階級の第2の占有率Qijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
表7に示した第3の係数のうち、画面領域n1〜n4における第3の係数を、明度全体にわたって連続的に変化する曲線(係数曲線)として図11に示す。第3の係数は、画像データの画面の外縁からの距離に応じて異なる値の係数となっている。
明度階級vi、画像領域njにおける第3の係数をEijとすると、指標3を算出するためのnk階級(画像領域nk)の和は、式(6)のように定義される。
したがって、n1〜n4階級の和は、下記の式(6−1)〜(6−4)のように表される。
n1階級の和=Q11×40.1+Q21×37.0+(中略)...+Q71×22.0 (6-1)
n2階級の和=Q12×(-14.8)+Q22×(-10.5)+(中略)...+Q72×0.0 (6-2)
n3階級の和=Q13×24.6+Q23×12.1+(中略)...+Q73×10.1 (6-3)
n4階級の和=Q14×1.5+Q24×(-32.9)+(中略)...+Q74×(-52.2) (6-4)
指標3は、式(6−1)〜(6−4)で示されたn1〜n4階級の和を用いて、式(7)のように定義される。
n1階級の和=Q11×40.1+Q21×37.0+(中略)...+Q71×22.0 (6-1)
n2階級の和=Q12×(-14.8)+Q22×(-10.5)+(中略)...+Q72×0.0 (6-2)
n3階級の和=Q13×24.6+Q23×12.1+(中略)...+Q73×10.1 (6-3)
n4階級の和=Q14×1.5+Q24×(-32.9)+(中略)...+Q74×(-52.2) (6-4)
指標3は、式(6−1)〜(6−4)で示されたn1〜n4階級の和を用いて、式(7)のように定義される。
指標3=n1階級の和+n2階級の和+n3階級の和+n4階級の和−12.6201 (7)
指標3は、画像データの明度の分布位置による構図的な特徴(画像データで再現される画像の外縁からの距離)に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
指標3は、画像データの明度の分布位置による構図的な特徴(画像データで再現される画像の外縁からの距離)に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
図7に戻って、ステップS109では、指標算出部1032により、画像データの画面中央部における肌色の平均輝度値に、撮影シーンに応じて予め(例えば、判別分析によって)設定された第4の係数を乗算して和をとることにより、撮影シーンを特定するための指標6が算出される(指標6算出工程)。
指標6は、撮影シーン「ストロボ近接」、撮影シーン「オーバー」及び撮影シーン「アンダー」における、画像の中心と外側の明暗関係の差異を示すだけでなく、輝度ヒストグラムにおける分布情報を示すものであり、撮影シーンが「オーバー」、「ストロボ近接」又は「アンダー」と判別されるべき画像のみを定量的に示すものである。
より好ましくは、入力された画像データの階調分布の偏りを示す偏倚量を算出し、算出された偏倚量に基づいて算出される。
偏倚量としては、例えば、画像データの最大輝度値と平均輝度値との差分値(異なる条件で算出された明るさの差分値)、輝度標準偏差(画像データの明るさの偏差量)、画面中央部における平均輝度値(画像データの画面中央部における明るさの平均値)、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色平均輝度値との比較値等が上げられる。
これらの偏倚量の各々に、撮影シーンに応じて予め設定された第4の係数を乗算して和をとることにより、撮影シーンを特定するための指標6が算出される。ここで、用いる変数によって第4の係数を変えることは言うまでもない。
指標6の算出に先立ち、偏倚量の算出が行われる。X1乃至X5で示される偏倚量の算出は、下記の手順により行われる。
まず、画像データのRGB(Red,Green,Blue)値から、ステップS102で使用された式(A)を用いて各画素の輝度Y(明るさ)が算出され、輝度の標準偏差(x1)が算出される。輝度の標準偏差(x1)は、式(8)のように表される。
式(8)において、画素輝度値とは、画像データの各画素の輝度であり、平均輝度値とは、画像データの輝度の平均値である。また、全体画素数とは、画像データ全体の画素数である。
次いで、式(9)に示すように、輝度差分値(x2)が算出される。
輝度差分値(x2)=(最大輝度値−平均輝度値)/255 (9)
式(9)において、最大輝度値とは、画像データの輝度の最大値である。
式(9)において、最大輝度値とは、画像データの輝度の最大値である。
次いで、画像データの画面中央部における肌色領域の平均輝度値(x3)が算出され、さらに、当該画面中央部における平均輝度値(x4)が算出される。ここで、画面中央部とは、例えば、図8において、領域n3及び領域n4により構成される領域である。
次いで、肌色輝度分布値(x5)が算出される。画像データの肌色領域の最大輝度値をYskin_max、肌色領域の最小輝度値をYskin_min、肌色領域の平均輝度値をYskin_aveとすると、肌色輝度分布値(x5)は、式(10)のように表される。
x5=(Yskin_max−Yskin_min)/2 −Yskin_ave (10)
次いで、上記で算出された偏倚量x1〜x5の各々に、撮影条件に応じて予め設定された第4の係数を乗算し、和をとることにより、指標6が算出される。指標6は、式(11)のように表される。なお、偏倚量x1〜x5の各値に乗算される重み係数は、撮影条件に応じて予め設定されている。
次いで、上記で算出された偏倚量x1〜x5の各々に、撮影条件に応じて予め設定された第4の係数を乗算し、和をとることにより、指標6が算出される。指標6は、式(11)のように表される。なお、偏倚量x1〜x5の各値に乗算される重み係数は、撮影条件に応じて予め設定されている。
指標6=x1×0.02+x2×1.13+x3×0.06+x4×(-0.01)+x5×0.03−6.49 (11)
この指標6は、画像データの画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特にストロボ近接撮影シーンとアンダー撮影シーンの判別に有効である。
この指標6は、画像データの画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特にストロボ近接撮影シーンとアンダー撮影シーンの判別に有効である。
なお、指標6を算出する際、指標算出部1042では、画像中央部における肌色の平均輝度値、画像の最大輝度値と平均輝度値との差分値、輝度標準偏差、画面中央部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色平均輝度値との比較値を用いているが、ここでいう輝度値とは、明るさを表す指標であり、他の明るさを表す指標(例えば、HSV表色系の明度値等)を用いてもよい。また、最大輝度値、肌色最大輝度値、肌色最小輝度値には、最大輝度値及び最小輝度値からの累積画素数が全画素に対して所定の割合に達した画素の輝度値を用いてもよい。
ステップS110では、指標算出部1042により、指標4及び指標5が算出される。
指標4は、ステップS106で算出された指標1、ステップS108で算出された指標3に、それぞれ、撮影シーンに応じて予め(例えば、判別分析によって)設定された係数を乗算して和をとることにより算出される。なお、指標1、指標3及び画面中央部(例えば、図7の領域n2、領域n3及び領域n4から構成される領域)における肌色の平均輝度値x6に、それぞれ、撮影シーンに応じて予め設定された係数を乗算して和をとることにより指標4を算出してもよい。
指標5は、ステップS106で算出された指標2、ステップS107で算出された指標3に、それぞれ、撮影シーンに応じて予め設定された係数を乗算して和をとることにより算出される。指標2、指標3及びx6に、それぞれ、撮影シーンに応じて予め設定された係数を乗算して和をとることにより指標5を算出してもよい。
例えば、指標4は、指標1、指標3、x6を用いて式(12)のように定義され、指標5は、指標2、指標3、x6を用いて式(13)のように定義される。
指標4=0.46×指標1+0.61×指標3+0.01×x6−0.79 (12)
指標5=0.58×指標2+0.18×指標3+(-0.03)×x6+3.34 (13)
ここで、式(12)及び式(13)において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
指標5=0.58×指標2+0.18×指標3+(-0.03)×x6+3.34 (13)
ここで、式(12)及び式(13)において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
ステップS111では、図4に示した補正レベル設定処理で設定された閾値LA1乃至LA5が記憶部105から読み出される。図4のステップS11で選択されるモードに応じて設定される閾値LA1乃至LA5の一例を表8に示す。
なお、閾値LA1乃至閾値LA5は、各種の光源条件及び露光条件と、該光源条件及び露光条件で撮像された画像データから算出される各指標の値から経験的に定められるものであ。
ステップS112では、撮影条件判別部103により、ステップS110で算出された指標4がステップS111で設定された閾値LA1よりも大きいか否かが判断される。指標4がLA1より大きい場合(ステップS112;YES)、ステップS113の処理が実行され、指標4がLA1以下である場合(ステップS112;NO)、ステップS118の処理が実行される。
ステップS113では、ステップS109で算出された指標6がステップS111で設定された閾値LA2より大きいか否か、すなわち高確度で撮影シーンが「ストロボ近接」と判別できる否かが判断される。指標6がLA2より大きい場合(ステップS113;YES)、ステップS114の処理が実行され、指標6がLA2以下である場合(ステップS113;NO)、ステップS115の処理が実行される。
ステップS114では、撮影シーンが高確度である「ストロボ近接」と判定され、処理を終了する。
ステップS115では、ステップS109で算出された指標6がステップS111で設定された閾値LA3以下であるか否か、すなわち高確度で撮影シーンが「アンダー」と判別できるか否かが判断される。指標6がLA3以下である場合(ステップS115;YES)、ステップS116の処理が実行され、指標6がLA3より大きい場合(ステップS115;NO)、「ストロボ近接」とも「アンダー」とも低確度であると判断され、ステップS117の処理が実行される。
ステップS116では撮影シーンが高確度である「アンダー」と判定され、ステップS117では撮影シーンが低確度である「ストロボ近接・アンダー間」と判定され、処理を終了する。
ステップS118では、ステップS110で算出された指標5がステップS111で設定された閾値LA4より大きいか否かすなわち高確度で撮影シーンが「逆光」と判別できる否かが判断される。指標5がLA4より大きい場合(ステップS118;YES)、ステップS119の処理が実行され、指標5がLA4以下である場合(ステップS118;NO)、ステップS120の処理が実行される。
ステップS119では、撮影シーンが高確度である「逆光」と判定され、処理を終了する。
ステップS120では、ステップS110で算出された指標5がステップS111で設定された閾値LA5以下であるか否か、すなわち高確度で撮影シーンが「順光」又は「オーバー」と判別できるか否かが判断される。指標5がLA5以下である場合(ステップS120;YES)、ステップS121の処理が実行され、指標5がLA5より大きい場合(ステップS120;NO)、「逆光」とも「順光」とも低確度であると判断され、ステップS124の処理が実行される。
ステップS121では、ステップS109で算出された指標6がステップS111で設定された閾値LA2よりも大きいか否か、すなわち撮影シーンが「オーバー」と判別できるか否かが判断される。指標6がLA2よりも大きい場合(ステップS121;YES)、撮影シーンが「オーバー」と判別され(ステップS122)、指標6がLA2以下の場合(ステップS121;NO)、「順光」と判断され、ステップS123の処理が実行される。
ステップS123では撮影シーンが高確度である「順光」と判定され、ステップS124では撮影シーンが低確度である「順光・逆光間」と判定され、処理を終了する。
以上、ステップS111乃至ステップS121の処理により、指標4及び指標5の値により光源条件を定量的に判別することができ、指標4及び指標6の値により露出条件を定量的に判別することができる。
なお、指標4の閾値について、逆光とストロボ近接の間の低確度領域等、他の低確度領域も存在するが、本実施形態では省略している。
図6のステップS28で実行される補正処理について、図12を用いて説明する。図12は、図3の補正処理部104で実行される補正処理の流れを示すフローチャートである。
ステップS201では、補正処理選択部1041により、図6のステップS27で判別された撮影シーンに応じて、予め設定されている補正処理方法が決定される。以下、画像データに対する階調調整処理を例に説明する。
撮影シーンが「順光」、「オーバー」又は「ストロボ近接」の場合、図13(a)に示すように平行移動(オフセット)補正する方法が適用される(ステップS201a)。オフセット補正は、図13(a)の横軸に示す入力された画像データの値に対して、縦軸に示す出力される画像データの値の関係を、例えば直線A1(オフセット値=+10)やA2(オフセット値=−5)となるように調整する。このとき、調整される補正処理量は、オフセット値となる。
ここで、図13は、各階調調整方法に対応する階調変換曲線を示す図であり、横軸に入力される画像データの値、縦軸に出力される画像データの値を、0乃至255の8ビットで示してある。また、図13(a)、図13(b)、図13(c)それぞれにおいて直線A(オフセット値=0、ガンマ値=1.0)は、入力された画像データの値を補正しないときの、入力された画像データの値と出力される画像データの値の関係を示している。
撮影シーンが「逆光」又は「アンダー」の場合、図13(b)に示すようにガンマ補正する方法が適用される(ステップS201b)。ガンマ補正において、入力された画像データの値と出力される画像データの値との関係は、例えば曲線B1(ガンマ値=1.5)や曲線B2(ガンマ値=1.3)で示されたものとなる。このとき、調整される補正処理量はガンマ値となる。
撮影シーンが「順光・逆光間」又は「ストロボ近接・アンダー間」の場合、図13(c)に示すように、ガンマ補正及びオフセット補正する方法が適用される(ステップS201c)。ガンマ補正及びオフセット補正において、入力された画像データと出力される画像データの値との関係は例えば曲線C1(オフセット値=+5、ガンマ値=0.8)やC2(オフセット値=−5、ガンマ値=0.7)で示されたものとなる。このとき、調整される補正処理量はオフセット値及びガンマ値となる。
ステップS202では、補正処理量調整部1042により、図6のステップS27で算出された各種の指標に基づいて、階調調整に必要なパラメータ(階調調整パラメータ)が算出される。以下、ステップS202において算出される階調調整パラメータの算出方法について説明する。なお、以下では、8bitの画像データは16bitへと事前に変換されているものとし、画像データの値の単位は16bitであるものとする。
ステップS202では、階調調整パラメータとして、例えば下記のP1〜P5のパラメータが算出される。
P1:撮影画面全体の平均輝度、
P2:ブロック分割平均輝度、
P3:輝度補正値1=P1−P2、
P4:再現目標修正値=輝度再現目標値(30360)−P3、
P5:輝度補正値2=(指標4/指標6)×17500
パラメータP1(撮影画面全体の平均輝度)は、画像データ全体の輝度の平均値であり、例えば図7のステップS102で作成された第1のヒストグラムから算出できる。
P2:ブロック分割平均輝度、
P3:輝度補正値1=P1−P2、
P4:再現目標修正値=輝度再現目標値(30360)−P3、
P5:輝度補正値2=(指標4/指標6)×17500
パラメータP1(撮影画面全体の平均輝度)は、画像データ全体の輝度の平均値であり、例えば図7のステップS102で作成された第1のヒストグラムから算出できる。
パラメータP2(ブロック分割平均輝度)は、例えば下記の手順で算出される。
まず、画像データを正規化するために、CDF(累積密度関数)を作成する。次いで、得られたCDFから最大値と最小値を決定する。この最大値と最小値は、RGB毎に求める。ここで、求められたRGB毎の最大値と最小値を、それぞれ、Rmax、Rmin、Gmax、Gmin、Bmax、Bminとする。
次いで、画像データの任意の画素(Rx,Gx,Bx)に対する正規化画像データを算出する。RプレーンにおけるRxの正規化データをRpoint、GプレーンにおけるGxの正規化データをGpoint、BプレーンにおけるBxの正規化データをBpointとすると、正規化データRpoint、Gpoint、Bpointは、それぞれ、式(14)〜(16)のように表される。
Rpoint={(Rx−Rmin)/(Rmax−Rmin)}×65535 (14)
Gpoint={(Gx−Gmin)/(Gmax−Gmin)}×65535 (15)
Bpoint={(Bx−Bmin)/(Bmax−Bmin)}×65535 (16)
次いで、式(17)により画素(Rx,Gx,Bx)の輝度Npointを算出する。
Rpoint={(Rx−Rmin)/(Rmax−Rmin)}×65535 (14)
Gpoint={(Gx−Gmin)/(Gmax−Gmin)}×65535 (15)
Bpoint={(Bx−Bmin)/(Bmax−Bmin)}×65535 (16)
次いで、式(17)により画素(Rx,Gx,Bx)の輝度Npointを算出する。
Npoint=(Bpoint+Gpoint+Rpoint)/3 (17)
図14(a)は、正規化する前のRGB画素の輝度の度数分布(ヒストグラム)である。図14(a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、RGB毎に作成する。輝度のヒストグラムが作成されると、式(14)〜(16)により、画像データに対し、プレーン毎に正規化を行う。図14(b)は、式(17)により算出された輝度のヒストグラムを示す。画像データが65535で正規化されているため、各画素は、最大値が65535で最小値が0の間で任意の値をとる。
図14(a)は、正規化する前のRGB画素の輝度の度数分布(ヒストグラム)である。図14(a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、RGB毎に作成する。輝度のヒストグラムが作成されると、式(14)〜(16)により、画像データに対し、プレーン毎に正規化を行う。図14(b)は、式(17)により算出された輝度のヒストグラムを示す。画像データが65535で正規化されているため、各画素は、最大値が65535で最小値が0の間で任意の値をとる。
図14(b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図14(c)に示すような度数分布が得られる。図14(c)において、横軸はブロック番号(輝度)、縦軸は頻度である。
次いで、図14(c)に示された輝度ヒストグラムから、ハイライト、シャドー領域を削除する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇のシーンでは平均輝度は非常に低くなっているため、ハイライト、シャドー領域は、平均輝度制御に悪影響を与えてしまうことによる。そこで、図14(c)に示した輝度ヒストグラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少させる。図14(c)に示す輝度ヒストグラムにおいて、高輝度領域(ハイライト領域)及び低輝度領域(シャドー領域)を削除すると、図14(d)のようになる。
次いで、図14(e)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分のデータが、画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやすいことによる。そこで、図14(e)に示すように、輝度ヒストグラムにおいて、閾値以上の画素数を制限する。図14(f)は、画素数の制限処理を行った後の輝度ヒストグラムである。
正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、さらに、累積画素数を制限することによって得られた輝度ヒストグラム(図14(f))の各ブロック番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータP2である。
パラメータP3(輝度補正値1)は、便宜的に算出されるパラメータであり、画像全体でパラメータP1からパラメータP2を減算した値である。例えば輝度に偏りがあるシーンなどにおいて平均輝度値を修正する値として用いられる。
パラメータP4(再現目標修正値)は、オフセット補正する場合に用いられるパラメータであり、予め定めた輝度再現目標値(16ビット画像データでは30360)からパラメータP3を減算した値である。
パラメータP5(輝度補正値2)は、便宜的に算出されるパラメータであり、指標4を指標4の最大値6で正規化した値に定数(例えば16ビット画像データでは17500)を乗算した値である。撮影シーンがストロボである場合、指標4によってストロボらしさ(ストロボ度)が決められるため、指標4の値に応じて再現目標修正値をさらに修正することが可能となり、より精度の高い補正を行うことができるようになる。
ステップS203では、補正処理量調整部1052により、ステップS201で選択された補正処理方法毎に補正処理量が決定される。
ステップS201でオフセット補正が選択された場合(ステップS203a)、下記の如く補正処理量が決定される。
撮影シーンが「順光」の場合、オフセット値=P1−P2(ステップS203b)。
撮影シーンが「ストロボ近接」又は「オーバー」の場合、オフセット値=P4−P5−P1(ステップS203c)。
ステップS201でガンマ補正が選択された場合(ステップS203d)、下記の手順で補正処理量が決定される。
まず、図6のステップS27で判別された撮影シーンに基づいて、本実施形態に係る補正処理で目標とするパラメータ(肌色平均輝度など)の再現目標値の修正値Δの最小値Δminと最大値Δmaxが決定される(ステップS203e)。図15に示すように、この修正値Δの最小値Δminは、該当する指標の最小値Iminに対応する修正値であり、修正値Δの最大値Δmaxは、該当する指標の最大値Imaxに対応する修正値である。この最大値Δmaxと最小値Δminとの差分(Δmax−Δmin)は、少なくとも、8bit値で35であることが好ましい。
次いで、図7のステップS109又はステップS110で算出された指標5又は指標6の値が0乃至1の範囲で正規化される(ステップS203f)。図6のステップS27で判別された撮影シーンが「逆光」の場合は指標5、「アンダー」の場合は指標6が正規化される。指標をIとすると、正規化指標は下記の式(18)のように表される。なお、指標の最小値Iminと最大値Imaxは、図4のステップS11で設定されたモード及び図6のステップS27で判別された撮影シーンに応じて、例えば下記表9に示したように予め設定されているものとする。
正規化指標=(I−Imin)/(Imax−Imin) (18)
正規化指標と、再現目標値の修正値Δの最小値Δminと最大値Δmaxから、当該指標5又は指標6の値(I)に対応する再現目標値の修正値Δmodが算出される(ステップS203g)。再現目標値の修正値Δmodは、下記の式(19)のように表される。
修正値Δmod=(Δmax−Δmin)×(正規化指標)+Δmin (19)
次いで、再現目標値とその修正値Δmodから、式(20)に示すように修正再現目標値が算出される(ステップS203h)。
次いで、再現目標値とその修正値Δmodから、式(20)に示すように修正再現目標値が算出される(ステップS203h)。
修正再現目標値=再現目標値+Δmod (20)
次いで、式(21)に示すように、画像データの肌色領域(H1)の輝度平均値(肌色平均輝度値)と修正再現目標値との差分から、階調調整量P6が算出される(ステップS203i)。
次いで、式(21)に示すように、画像データの肌色領域(H1)の輝度平均値(肌色平均輝度値)と修正再現目標値との差分から、階調調整量P6が算出される(ステップS203i)。
階調調整量(P6)=肌色平均輝度値−修正再現目標値 (21)
式(18)乃至式(21)において、例えば、肌色平均輝度の再現目標値を30360(16bit)とし、肌色平均輝度値を21500(16bit)とする。また、判別された撮影条件を逆光とし、指標算出処理で算出された指標5の値を2.7とする。このとき、正規化指標、修正値Δmod、修正再現目標値、階調調整量P6は、下記のようになる。
式(18)乃至式(21)において、例えば、肌色平均輝度の再現目標値を30360(16bit)とし、肌色平均輝度値を21500(16bit)とする。また、判別された撮影条件を逆光とし、指標算出処理で算出された指標5の値を2.7とする。このとき、正規化指標、修正値Δmod、修正再現目標値、階調調整量P6は、下記のようになる。
正規化指標=(2.7−1.6)/(6.0−1.6)=0.25、
Δmod=(9640+2860)×0.25−2860=265、
修正再現目標値=30360+265=30625、
階調調整量P6=21500−30625=−9125
次いで、階調調整量P6から、下記の式(22)のようにキー補正値Qが算出され、キー補正値Qに対応するガンマ値が補正処理量として決定される(ステップS203j)。
Δmod=(9640+2860)×0.25−2860=265、
修正再現目標値=30360+265=30625、
階調調整量P6=21500−30625=−9125
次いで、階調調整量P6から、下記の式(22)のようにキー補正値Qが算出され、キー補正値Qに対応するガンマ値が補正処理量として決定される(ステップS203j)。
キー補正値Q=P6/キー補正係数 (22)
ここで、式(22)のキー補正係数の値は24.78である。図13(b)の階調変換曲線の具体例を図16に示す。キー補正値Qの値と、図16で選択される階調変換曲線及びガンマ値の対応関係を下記表10に示す。
ここで、式(22)のキー補正係数の値は24.78である。図13(b)の階調変換曲線の具体例を図16に示す。キー補正値Qの値と、図16で選択される階調変換曲線及びガンマ値の対応関係を下記表10に示す。
例えば、階調調整量4=−9125である場合、キー補正値Q=−9125/24.78=−368ゆえ、図16で選択される階調変換曲線はL1(ガンマ値=1.4)となる。
なお、撮影シーンが「逆光」の場合、この階調変換処理とともに、覆い焼き処理を併せて行うことが好ましい。この場合、逆光度を示す指標5に応じて覆い焼き処理の程度も調整されることが望ましい。
ステップS201でオフセット補正及びガンマ補正が選択された場合(ステップS203k)、下記の手順で補正処理量が決定される。
まず、図7のステップS109又はステップS110で算出された指標5又は指標6の値が0乃至1の範囲で正規化される(ステップS203l)。例えば図6のステップS27で判別された撮影シーンが「順光・逆光間」であれば指標5が、「ストロボ近接・アンダー間」であれば指標6が0乃至1の範囲で正規化された正規化指標へ変換される。正規化指標は、式(23)のように定義される。
正規化指標=(基準指標−指標最小値)/(指標最大値−指標最小値) (23)
式(23)において、指標最大値、指標最小値は、それぞれ正規化される指標のとりうる最大値、最小値であり、本実施の形態では指標5、指標6とも、指標最大値は1.5であり、指標最小値は−0.5である。
式(23)において、指標最大値、指標最小値は、それぞれ正規化される指標のとりうる最大値、最小値であり、本実施の形態では指標5、指標6とも、指標最大値は1.5であり、指標最小値は−0.5である。
次いで、オフセット値が算出される(ステップS203m)。オフセット値は、式(23)の正規化指標と、本実施形態に係る補正処理で目標とするパラメータ(肌色平均輝度など)の再現目標値を用いて予め算出された補正量α、βを用いて式(24)のように表される。
オフセット値=(β−α)×正規化指標+α (24)
なお、本実施形態では、正規化指標と補正量との相関を1次の線形関係としたが、補正量をさらに緩やかに移行させるべく、曲線関係としてもよい。
なお、本実施形態では、正規化指標と補正量との相関を1次の線形関係としたが、補正量をさらに緩やかに移行させるべく、曲線関係としてもよい。
次いで、ステップS203e乃至ステップS203jで実行された処理と同様にしてキー補正値Qが算出され、ガンマ値が補正処理量として決定される(ステップS203n)。
ステップS204では、補正処理量調整部1042により、ステップS203で決定された補正処理量が調整される。補正処理量の調整は、例えば図4の補正レベル設定処理で設定された補正処理量が記憶部105から読み出され、読み出された補正処理量がステップS203で決定されたオフセット値及びガンマ値に乗算されることで行われる。
ステップS205では、補正処理実行部1043により、ステップS201で選択され、ステップS203又はステップS204で決定された補正処理量が適用された補正方法で画像データが補正され、補正された画像データが閾値LA1乃至LA5とともに出力された後(ステップS206)、処理が終了する。
以上、本実施の形態によれば、画像データに基づいて指標4、5及び6を算出し、算出された指標は補正レベル設定処理で設定された閾値との比較で「順光」、「逆光」、「順光・逆光間」、「ストロボ近接」、「アンダー」「ストロボ近接・アンダー間」及び「オーバー」の撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して補正処理を施すので、入力された画像データの撮影条件を表す指標に応じて、入力された画像データの肌色領域の明るさを補正(修正)することにより、肌色領域としての確度検証結果に基づく採用可否判断や、肌色領域の明るさの算出値に依存しすぎることなく、被写体の明るさを適切且つ連続的に補正することが可能となる。しかも、撮影条件の判別に係る閾値が設定できるので、補正の有無やその程度を撮影者の意図どおりとすることが可能となる。
また、撮影条件を定量的に表す指標に基づいて入力された画像データの撮影条件を判別し、判別結果に基づいて肌色領域の明るさを補正することにより、判別結果に応じた適切な階調変換処理を行うことが可能となる。
本発明に係る画像処理装置が適用された撮像装置の撮影時の他の実施の形態に係る動作について図17を用いて説明する。図17は、図1及び図2に示したデジタルカメラ1で実行される他の実施の形態に係る撮影処理の流れを示すフローチャートである。なお、図17に示したフローチャートにおいては、デジタルカメラ1のメインスイッチはオンされた状態であり、撮影モードに設定されているものとする。また、図6に示したフローチャートと同じ処理には同符号を付して説明を省略する。
第2の実施の形態に係る撮影処理においては、撮影を1コマ行う毎にプレ撮影を行い、プレ撮影した画像データに基づいて指標を算出し、算出された指標に基づいて撮影条件を判別し、算出された指標及び判別された撮影条件をモニタ131に表示し、補正レベルの設定変更を1コマ毎に行うことができるようにしたものである。
レリーズスイッチ121が半押しされると(ステップS22;YES)、図7に示した撮影処理と同様に、オートフォーカス制御(AF)と露光量制御(AE)が行われる(ステップS23)。
ステップS23に次いで、ステップS41では、撮像素子4によりプレ撮影が行われ、画像データが一時記憶メモリ7に一旦蓄えられる(入力工程)。
ステップS42では、ステップS41で一時記憶メモリ7に蓄えられた画像データの撮影条件判別が行われる(撮影条件判別工程)。撮影条件の判別は、図12に示したものと同様である。
ステップS43では、ステップS42の撮影条件判別処理において算出された指標4、5及び6の値及び判別された撮影条件がモニタ131に表示される(指標表示工程、撮影条件表示工程)。モニタ131に表示される指標の値及び撮影条件は、例えば図18に示すように、指標表示画面40に表示される。指標表示画面40は、図5に示した閾値設定画面30に、算出された指標をその値に対応する位置に指標41を座標表示させたものであり、図5で説明したものと同じ構成要素には同符号を付してある。指標表示画面40においては、表示されている各撮影条件の領域枠と、表示される指標41との位置関係で、撮影条件も併せて判別できるように表示されている。
ステップS44では、ステップS43で表示された指標の値及び撮影条件に基づいて補正レベルの設定が行われる。補正レベルの設定は、図4を用いて説明した処理と同じものである。
ステップS44の処理が実行された後は、図7で説明したステップS24以降の処理が行われる。
なお、図18に示した撮影処理においては、撮影を1コマ行う毎に指標表示画面40がモニタ131に表示され、補正レベルの設定を行う形態としたが、ステップS42で判別された撮影条件のうち、所定の撮影条件(例えば、「アンダー」、「オーバー」、「ストロボ近接」又は「逆光」)の場合に、警告表示とともに指標表示画面40が表示されるようにし、他の撮影条件では指標表示画面40を表示しないようにすることも可能である。この場合、撮影者はどのような撮影条件においても指標表示画面40が表示されるという煩わしさを伴うことなく、撮影することが可能となる。
本実施の形態によれば、プレ撮影した画像データに基づいて指標を算出し、算出された指標に基づいて撮影条件を判別し、算出された指標及び判別された撮影条件をモニタ131に表示し、補正レベルの設定変更を行うことができるので、撮影者は意図どおりの撮影を行うことができる。
なお、本実施の形態において、画像処理装置が適用された例としてデジタルカメラを例にとり説明したが、液晶ディスプレイ装置やプラズマディスプレイ装置等の画像表示装置、プリンタ、複合機や証明写真用人物撮影装置等の画像形成装置、画像データを保存する画像ストレージ装置等の情報記録装置に対しても適用可能である。
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPU若しくはMPU)が記録媒体に格納されたプログラムを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム及び該プログラムを記憶した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えばフロッピー(登録商標)ディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
その他、本発明に係る画像処理装置を構成する各構成の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1 撮像装置
2 レンズ
3 絞り
4 撮像素子
5 制御部
6 アナログ処理回路
7 一時記憶メモリ
8 記憶デバイス
9 撮像素子駆動回路
10 画像処理部
100 画像処理制御部
101 入力部
102 入出力処理部
103 撮影条件判別部
104 補正処理部
105 記憶部
106 出力部
11 A/D変換器
12 操作部
13 表示部
14 ストロボ駆動回路
15 ストロボ
2 レンズ
3 絞り
4 撮像素子
5 制御部
6 アナログ処理回路
7 一時記憶メモリ
8 記憶デバイス
9 撮像素子駆動回路
10 画像処理部
100 画像処理制御部
101 入力部
102 入出力処理部
103 撮影条件判別部
104 補正処理部
105 記憶部
106 出力部
11 A/D変換器
12 操作部
13 表示部
14 ストロボ駆動回路
15 ストロボ
Claims (29)
- 被写体を撮像することにより生成された画像データを入力する入力工程と、
撮影条件の判別に係る閾値を設定する閾値設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標及び設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法。 - 前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記閾値設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項1に記載の画像処理方法。 - 設定された閾値を、補正処理が施された画像データと対応付けて記録する記録工程を含むことを特徴とする請求項1又は2に記載の画像処理方法。
- 撮影条件毎に補正量を設定する補正量設定工程を含み、
前記補正処理工程は、判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対して補正処理を施すことを特徴とする請求項1乃至3の何れか1項に記載の画像処理方法。 - 被写体を撮像することにより生成された画像データを入力する入力工程と、
撮影条件毎に補正量を設定する補正量設定工程と、
入力された画像データの撮影条件を表す指標を算出する指標算出工程と、
算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別工程と、
判別された撮影条件及び設定された補正量に基づいて、入力された画像データに対し補正処理を施す補正処理工程とを含むことを特徴とする画像処理方法。 - 前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記補正量設定工程は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項5に記載の画像処理方法。 - 設定された補正量を、補正処理が施された画像データと対応付けて記録する記録工程を含むことを特徴とする請求項5又は6に記載の画像処理方法。
- 前記指標算出工程で算出された指標を表示する指標表示工程を含むことを特徴とする請求項1乃至7の何れか1項に記載の画像処理方法。
- 前記撮影条件判別工程で判別された撮影条件を表示する撮影条件表示工程を含むことを特徴とする請求項1乃至8の何れか1項に記載の画像処理方法。
- 前記指標算出工程は、入力された画像データを所定領域毎に、所定の明度と色相とで分割された複数の階級に分類したときの、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第1の占有率を算出し、算出された第1の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項1乃至9の何れか1項に記載の画像処理方法。
- 前記指標算出工程は、入力された画像データを所定領域毎に、当該画像データで表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第2の占有率を算出し、算出された第2の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項1乃至10の何れか1項に記載の画像処理方法。
- 前記指標算出工程は、入力された画像データの階調分布の偏りを示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特徴とする請求項1乃至11の何れか1項に記載の画像処理方法。
- 前記指標算出工程は、偏倚量として、入力された画像データの明るさの偏差量、入力された画像データの画面中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも1つを含むことを特徴とする請求項12に記載の画像処理方法。
- 被写体を撮像することにより生成された画像データを入力する入力手段と、
撮影条件の判別に係る閾値を設定する閾値設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標及び前記閾値設定手段で設定された閾値に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置。 - 前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記閾値設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つを判別するための閾値を設定することを特徴とする請求項14に記載の画像処理装置。 - 前記閾値設定手段で設定された閾値を、前記補正処理手段で補正処理が施された画像データと対応付けて記録する記録手段を有することを特徴とする請求項14又は15に記載の画像処理装置。
- 撮影条件毎に補正量を設定する補正量設定手段を有し、
前記補正処理手段は、前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施すことを特徴とする請求項14乃至16の何れか1項に記載の画像処理装置。 - 被写体を撮像することにより生成された画像データを入力する入力手段と、
撮影条件毎に補正量を設定する補正量設定手段と、
前記入力手段で入力された画像データの撮影条件を表す指標を算出する指標算出手段と、
前記指標算出手段で算出された指標に基づいて画像データの撮影条件を判別する撮影条件判別手段と、
前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補正処理手段とを有することを特徴とする画像処理装置。 - 前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つであり、
前記補正量設定手段は、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも1つの撮影条件における補正量を設定することを特徴とする請求項18に記載の画像処理装置。 - 前記補正量設定手段で設定された補正量を、前記補正処理手段で補正処理が施された画像データと対応付けて記録する記録手段を有することを特徴とする請求項18又は19に記載の画像処理装置。
- 表示手段を有し、
前記指標算出手段で算出された指標を表示する表示手段を有することを特徴とする請求項14乃至20の何れか1項に記載の画像処理装置。 - 前記撮影条件判別手段で判別された撮影条件を表示する表示手段を有することを特徴とする請求項14乃至21の何れか1項に記載の画像処理装置。
- 前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、所定の明度と色相とで分割された複数の階級に分類したときの、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第1の占有率を算出し、算出された第1の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項14乃至22の何れか1項に記載の画像処理装置。
- 前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、当該画像データで表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、当該分類された階級に属する画像データが画像データ全体に占める割合を示す第2の占有率を算出し、算出された第2の占有率に基づいて光源条件を表す指標を算出することを特徴とする請求項14乃至23の何れか1項に記載の画像処理装置。
- 前記指標算出手段は、前記入力手段で入力された画像データの階調分布の偏りを示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特徴とする請求項14乃至24の何れか1項に記載の画像処理装置。
- 前記指標算出手段は、偏倚量として、前記入力手段で入力された画像データの明るさの偏差量、前記入力手段で入力された画像データの画面中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも1つを含むことを特徴とする請求項25に記載の画像処理装置。
- 請求項1乃至13の何れか1項に記載の方法をコンピュータに実行させるための画像処理プログラム。
- 請求項14乃至26の何れか1項に記載の各手段としてコンピュータを機能させるための画像処理プログラム。
- 請求項14乃至26の何れか1項に記載の画像処理装置を備えたことを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005008864A JP2006197460A (ja) | 2005-01-17 | 2005-01-17 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
PCT/JP2005/022915 WO2006075472A1 (ja) | 2005-01-17 | 2005-12-14 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005008864A JP2006197460A (ja) | 2005-01-17 | 2005-01-17 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006197460A true JP2006197460A (ja) | 2006-07-27 |
Family
ID=36677504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005008864A Pending JP2006197460A (ja) | 2005-01-17 | 2005-01-17 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2006197460A (ja) |
WO (1) | WO2006075472A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059374A (ja) * | 2006-08-31 | 2008-03-13 | Canon Inc | 画像処理装置およびその方法 |
JP2008109176A (ja) * | 2006-10-23 | 2008-05-08 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
KR101518722B1 (ko) * | 2008-08-18 | 2015-05-15 | 삼성테크윈 주식회사 | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4006347B2 (ja) * | 2002-03-15 | 2007-11-14 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
-
2005
- 2005-01-17 JP JP2005008864A patent/JP2006197460A/ja active Pending
- 2005-12-14 WO PCT/JP2005/022915 patent/WO2006075472A1/ja not_active Application Discontinuation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059374A (ja) * | 2006-08-31 | 2008-03-13 | Canon Inc | 画像処理装置およびその方法 |
US9019433B2 (en) | 2006-08-31 | 2015-04-28 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP2008109176A (ja) * | 2006-10-23 | 2008-05-08 | Sanyo Electric Co Ltd | 撮像装置及び撮像方法 |
KR101518722B1 (ko) * | 2008-08-18 | 2015-05-15 | 삼성테크윈 주식회사 | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
WO2006075472A1 (ja) | 2006-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2016200002B2 (en) | High dynamic range transition | |
KR100861386B1 (ko) | 촬상장치 및 화상 처리 방법 | |
US20050074232A1 (en) | Camera with an exposure control function | |
JP5553230B2 (ja) | 撮像装置および撮像処理方法 | |
US20100265356A1 (en) | Image processing method, image processing apparatus, image capturing appartus and image processing program | |
JP2007184888A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2006333205A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2002209135A (ja) | デジタル撮像装置および記録媒体 | |
JP2007228221A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2006197460A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 | |
JP2007311895A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP3555583B2 (ja) | 光学系制御装置、光学系制御方法、記録媒体および撮像装置 | |
JP2007243542A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2006033235A1 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP2007221678A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2006190154A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 | |
JP2007184887A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2007312294A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007288245A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2007235369A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007201679A (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP2006295774A (ja) | 撮像装置、撮像装置の制御方法および、デジタルカメラ用画像処理プログラム | |
JP2007243556A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2007300348A (ja) | 撮像装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100223 |