JP2002369075A - 撮像装置および画像処理装置並びに撮像プログラムおよび画像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】 閃光発光された撮影シーンにおいても画像の
階調を適切に再現することができる撮像装置等を提供す
る。 【解決手段】 必要に応じてストロボを発光させ、レン
ズにより結像された被写体像を撮像素子で光電変換する
ことにより画像情報ａａを取得する撮像装置であって、
上記ストロボに関するストロボ関連情報ｊｊ（閃光の有
無、閃光光量、被写体距離等）を取得する閃光情報取得
回路２７と、上記画像情報ａａに基づく処理対象画像情
報ｈｈから画面の中央部と周辺部における輝度の分布を
分析し、該分析情報と上記ストロボ関連情報ｊｊとに基
づいて撮影シーンを推定する撮影状況推定回路２８と、
この撮影状況推定回路２８による推定結果に応じて階調
変換曲線を生成する際の重み付けを変化させ画像の階調
を制御する階調制御回路２９と、を備えた撮像装置等。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影シーンに応じ
て画像の階調を制御する撮像装置および画像処理装置並
びに撮像プログラムおよび画像処理プログラムに関す
る。

【０００２】

【従来の技術】近年、撮像素子を用いて画像を電子的に
取り込むデジタルカメラが広く一般に普及するようにな
ってきており、こうしたデジタルカメラで撮影された画
像は、例えばパーソナルコンピュータのモニタ画面に表
示したり、あるいはプリンタで印刷することにより、楽
しむようになっている。

【０００３】こうしたデジタルカメラから得られる画像
情報を、上記モニタやプリンタ等の出力機器に画像とし
て再現する場合には、「階調再現性」が非常に重要な要
素となっており、画像の高画質化を図るためには、この
階調再現性が高いことが必要である。

【０００４】撮像装置としてのデジタルカメラは、画像
情報を取得するためにＣＣＤやＣＭＯＳ等の固体撮像素
子を用いているが、こうした固体撮像素子の性能は、次
第に向上してきているために、画像のダイナミックレン
ジが少しずつ広くなりつつある。さらに、デジタルカメ
ラによっては、同一シーンに対する異なる露光量の複数
画像を撮像して、これらの画像を合成することにより、
ダイナミックレンジのより広い画像を得ることができる
ようになっているものもある。

【０００５】このようなデジタルカメラのダイナミック
レンジに比べて、出力機器のダイナミックレンジは狭い
のが実状であるために、デジタルカメラで撮影したダイ
ナミックレンジの広い画像の階調を適切に再現するに
は、出力機器のダイナミックレンジを有効に利用するこ
とが重要である。

【０００６】ところで、市販されているデジタルカメラ
は、被写体を照明するための閃光装置（ストロボ）が、
内蔵されているか、または外付けすることができるよう
に構成されているのが一般的である。

【０００７】このようなストロボの用途としては、主
に、日中時の逆光撮影で使われる場合と、夜間撮影で使
われる場合とがあるが、撮影された画像におけるのスト
ロボの効果は、夫々の状況で異なっている。

【０００８】すなわち、日中時の逆光撮影、例えば比較
的明るい背景の下に暗い主要被写体がいるというシーン
を撮影する場合には、主要被写体を明るく照明するため
に、ストロボが使用される。しかし、このような撮影シ
ーンでは、ストロボを使用しても背景の周辺光の方が依
然として明るいことが多いために、主要被写体は、画面
全体において相対的に暗いのが一般的である。

【０００９】一方、夜間撮影の場合には、シーン全体が
暗い中で主要被写体を明るく照明するためにストロボが
使用される。このような撮影シーンでは、画面の周辺に
位置することが多い背景等はストロボ光の影響が小さい
ために、主要被写体は、画面全体において相対的に明る
いのが一般的である。

【００１０】このようにストロボを使用した画像の階調
再現を制御する際には、ストロボの発光の有無や発光量
といった情報のみに基づくのではなく、撮影シーンによ
って発光の効果が異なる主要被写体の状況も考慮して制
御することが望ましい。このストロボ発光時のシーンの
状況判断に用いる情報としては、自動露光（ＡＥ）情報
が代表的な例として挙げられる。

【００１１】上述したようなストロボに関する情報を用
いて、階調をより良く再現するように画像処理を行う技
術は、従来より、幾つかのものが提案されている。

【００１２】例えば特開平１０−７９８８７号公報に
は、ストロボの照明状態（照明の有無、発光量等）を判
断して、その判断結果に応じて、予め設定された複数の
画像処理特性（γ特性等）を選択して画像処理を行う技
術が記載されている。

【００１３】また、特開平１１−３１７８７５号公報に
は、フィルムによる入力画像のヒストグラムから最大値
や平均値等の統計量を算出して、その画像がストロボ撮
影されたものであるか否かを判別し、該判別結果に基づ
いて、γ変換を行う技術が記載されている。

【００１４】さらに、特開２０００−１３４４６７号公
報には、画像のヒストグラムから、該画像が逆光におい
て撮影されたものであるか、または夜間にストロボを発
光して撮影されたものであるかを判定して、その判定結
果に応じて、画像処理を行う際の条件を設定する技術が
記載されている。

【００１５】

【発明が解決しようとする課題】しかしながら、上記特
開平１０−７９８８７号公報に記載のものでは、予め設
定される複数の画像処理特性は、ストロボ照明の対象と
なる被写体の明るさのみに依存するが、被写体以外の特
徴は考慮されないために、被写体と異なる明るさの部分
（例えば日中の逆光撮影における明るい背景部分、ある
いは夜間撮影における被写体以外の暗い周辺部分など）
の階調は、十分に再現することができない場合がある。
また、被写体がストロボから数メートル程度離れている
場合には、ストロボ照明の効果が弱くなるために、被写
体の階調を十分に再現することができなくなる場合もあ
る。

【００１６】また、上記特開平１１−３１７８７５号公
報に記載のものでは、ヒストグラムの統計量に関する条
件からストロボ使用の有無を判別するようになっている
が、こうした判別手段を用いると、日中の逆光撮影にお
いてストロボが使用されたような場合には、判断を誤っ
てしまう可能性がある。そして、γ変換は、撮影シーン
に依存しない特性であるために、ストロボ使用の有無に
関らず、画像の階調を十分に再現することができない場
合がある。

【００１７】さらに、上記特開２０００−１３４４６７
号公報に記載のものでは、ヒストグラムの平均やピーク
に関する情報から逆光シーンまたは夜間ストロボ撮影の
判定を行い、その結果に依存した露出補正を行うように
なっているが、画像内の被写体の特徴については考慮さ
れないために、逆光シーンや夜間ストロボ撮影であると
判定された場合でも、被写体の特徴を生かすように画像
の階調を再現することができない場合がある。特に、画
像のヒストグラムを用いた露光補正では、ヒストグラム
の度数が多い（つまり、画像内における面積の大きい）
部分に階調が割り当てられるために、逆光シーンでのハ
イライト部分や夜間ストロボ撮影でのシャドウ部分等が
強調されてしまい、違和感を感じることになる場合があ
る。

【００１８】こうして、上述したような従来の技術で
は、ストロボにより照明される被写体を含めた画像全体
の階調が、適切に再現されているとはいえなかった。

【００１９】本発明は上記事情に鑑みてなされたもので
あり、撮影シーンに応じて、特に閃光発光された撮影シ
ーンにおいても、画像の階調を適切に再現することがで
きる撮像装置および画像処理装置並びに撮像プログラム
および画像処理プログラムを提供することを目的として
いる。

【００２０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による撮像装置は、画像情報を取得す
る画像取得部と、閃光を発光する閃光発光部と、上記閃
光発光部に関する閃光情報を取得する閃光情報取得部
と、上記画像情報および上記閃光情報に基づいて撮影シ
ーンを推定するシーン推定部と、上記シーン推定部によ
る推定結果に応じて画像の階調を制御する階調制御部
と、を備えたものである。

【００２１】また、第２の発明による撮像装置は、上記
第１の発明による撮像装置において、上記画像取得部
が、異なる露光により撮影した複数の画像を合成してダ
イナミックレンジの広い画像を生成し、該ダイナミック
レンジの広い画像に係る画像情報を取得するものであ
る。

【００２２】さらに、第３の発明による撮像装置は、上
記第２の発明による撮像装置において、上記閃光発光部
が、異なる露光により撮影する際の露光量の比に応じて
閃光の光量を制御するものである。

【００２３】第４の発明による撮像装置は、上記第１の
発明による撮像装置において、上記閃光情報が、閃光の
有無を示す情報と、閃光の光量を示す情報と、撮影対象
である被写体の測距情報と、の内の一以上を含むもので
ある。

【００２４】第５の発明による撮像装置は、上記第１の
発明による撮像装置において、上記閃光発光部による発
光が行われて上記画像情報が取得された場合には、上記
シーン推定部は、該画像情報に係る撮影シーンが、逆光
撮影による撮影シーンと夜間撮影による撮影シーンとの
何れか一方に該当するかを判定し、該当すると判定され
た場合にはその判定結果を推定結果とし、何れにも該当
しないと判定された場合にはその他の撮影シーンを推定
結果とするものである。

【００２５】第６の発明による撮像装置は、上記第１の
発明による撮像装置において、上記シーン推定部が、上
記画像情報に基づいて、画像を構成する画素の輝度に対
する出現頻度を示すヒストグラムを算出し、算出したヒ
ストグラムを用いて撮影シーンを推定するものである。

【００２６】第７の発明による撮像装置は、上記第１の
発明による撮像装置において、上記階調制御部が、上記
画像情報の内のエッジに該当する部分を構成する画素の
輝度に対する出現頻度を示すヒストグラムを算出して、
算出したヒストグラムを用いて階調変換特性を生成する
階調変換特性生成部を含むものである。

【００２７】第８の発明による撮像装置は、上記第７の
発明による撮像装置において、上記階調変換特性生成部
が、画面の位置に応じて、上記出現頻度の度数の増分値
を変更するように制御してヒストグラムを算出するもの
である。

【００２８】第９の発明による撮像装置は、上記第５の
発明による撮像装置において、上記シーン推定部により
撮影シーンが逆光撮影の撮影シーンであると推定された
場合に、上記階調制御部は、暗部に相当する部分の階調
の割り当てを多くするように階調を制御するものであ
る。

【００２９】第１０の発明による撮像装置は、上記第５
の発明による撮像装置において、上記シーン推定部によ
り撮影シーンが夜間撮影の撮影シーンであると推定され
た場合に、上記階調制御部は、明部に相当する部分の階
調の割り当てを多くするように階調を制御するものであ
る。

【００３０】第１１の発明による撮像装置は、上記第１
の発明による撮像装置において、上記階調制御部が、上
記画像情報から肌色部分を検出する肌色検出部を含み、
この肌色検出部によって検出された肌色部分の階調を制
御するものである。

【００３１】第１２の発明による撮像装置は、上記第１
１の発明による撮像装置において、上記階調制御部が、
上記肌色検出部によって検出された肌色部分の階調に制
限を設けて階調を制御するものである。

【００３２】第１３の発明による画像処理装置は、撮影
により生成された画像情報を取得する画像取得部と、撮
影により上記画像情報と同時に生成された閃光に関する
閃光情報を取得する閃光情報取得部と、上記画像情報お
よび上記閃光情報に基づいて撮影シーンを推定するシー
ン推定部と、上記シーン推定部による推定結果に応じて
画像の階調を制御する階調制御部と、を備えたものであ
る。

【００３３】第１４の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記画像取
得部が、異なる露光により撮影した複数の画像を合成し
てダイナミックレンジの広い画像を生成し、該ダイナミ
ックレンジの広い画像に係る画像情報を取得するもので
ある。

【００３４】第１５の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記閃光情
報が、閃光の有無を示す情報と、閃光の光量を示す情報
と、撮影対象である被写体の測距情報と、の内の一以上
を含むものである。

【００３５】第１６の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記閃光情
報が閃光の有を示す情報を含むものである場合には、上
記シーン推定部は、上記画像情報に係る撮影シーンが、
逆光撮影による撮影シーンと夜間撮影による撮影シーン
との何れか一方に該当するかを判定し、該当すると判定
された場合にはその判定結果を推定結果とし、何れにも
該当しないと判定された場合にはその他の撮影シーンを
推定結果とするものである。

【００３６】第１７の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記シーン
推定部が、上記画像情報に基づいて、画像を構成する画
素の輝度に対する出現頻度を示すヒストグラムを算出
し、算出したヒストグラムを用いて撮影シーンを推定す
るものである。

【００３７】第１８の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記階調制
御部が、上記画像情報の内のエッジに該当する部分を構
成する画素の輝度に対する出現頻度を示すヒストグラム
を算出して算出したヒストグラムを用いて階調変換特性
を生成する階調変換特性生成部を含むものである。

【００３８】第１９の発明による画像処理装置は、上記
第１８の発明による画像処理装置において、上記階調変
換特性生成部が、画面の位置に応じて、上記出現頻度の
度数の増分値を変更するように制御してヒストグラムを
算出するものである。

【００３９】第２０の発明による画像処理装置は、上記
第１６の発明による画像処理装置において、上記シーン
推定部により撮影シーンが逆光撮影の撮影シーンである
と推定された場合に、上記階調制御部は、暗部に相当す
る部分の階調の割り当てを多くするように階調を制御す
るものである。

【００４０】第２１の発明による画像処理装置は、上記
第１６の発明による画像処理装置において、上記シーン
推定部により撮影シーンが夜間撮影の撮影シーンである
と推定された場合に、上記階調制御部は、明部に相当す
る部分の階調の割り当てを多くするように階調を制御す
るものである。

【００４１】第２２の発明による画像処理装置は、上記
第１３の発明による画像処理装置において、上記階調制
御部が、上記画像情報から肌色部分を検出する肌色検出
部を含み、この肌色検出部によって検出された肌色部分
の階調を制御するものである。

【００４２】第２３の発明による画像処理装置は、上記
第２２の発明による画像処理装置において、上記階調制
御部が、上記肌色検出部によって検出された肌色部分の
階調に制限を設けて、階調を制御するものである。

【００４３】第２４の発明による撮像プログラムは、コ
ンピュータに、画像情報を取得する手順と、閃光を発光
させる指示を行う手順と、上記発光させた閃光に関する
閃光情報を取得する手順と、上記画像情報および上記閃
光情報に基づいて撮影シーンを推定する手順と、上記推
定結果に応じて画像の階調を制御する手順と、を実行さ
せるためのものである。

【００４４】第２５の発明による画像処理プログラム
は、コンピュータに、撮影により生成された画像情報を
取得する手順と、撮影により上記画像情報と同時に生成
された閃光に関する閃光情報を取得する手順と、上記画
像情報および上記閃光情報に基づいて撮影シーンを推定
する手順と、上記推定結果に応じて画像の階調を制御す
る手順と、を実行させるためのものである。

【００４５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図１３は本発明の第１の
実施形態を示したものであり、図１はデジタルカメラの
基本的な構成を示すブロック図、図２はカメラ情報処理
回路の構成を示すブロック図、図３は異なる露光の画像
を合成するときの入射光量に対する出力レベルの様子を
示す線図、図４は撮影状況推定回路の構成を示すブロッ
ク図、図５はブロック領域ヒストグラム演算回路におけ
る処理のイメージ例を示す図、図６はブロック領域分布
解析回路内における処理のイメージ例を示す図、図７は
撮影状況推定情報演算回路内における処理の流れを示す
フローチャート、図８は中央部と周辺部における代表レ
ベル統合値の算出例および重みをつけた代表レベル統合
値の算出例を示す図、図９は閃光情報に基づきストロボ
発光効果の有無を判断する分類例を示す図表、図１０は
階調制御回路の構成を示すブロック図、図１１は階調変
換特性を生成するための重み付けパターンの例を示す
図、図１２は撮影状況推定情報により制御される階調変
換特性の例を示す線図、図１３は輝度色差空間における
階調変換の様子を示す図である。

【００４６】このデジタルカメラは、電子シャッタ機能
を有する単板式のカラーＣＣＤ等で構成され被写体像を
光電変換して画像情報として出力するための撮像素子１
と、この撮像素子１上に被写体像を結像するためのレン
ズ２と、このレンズ２を通過した光束の通過範囲や通過
時間を制御するための絞り・シャッタ機構３と、上記撮
像素子１から出力された後に図示しない相関二重サンプ
リング回路等でノイズ成分の除去が行われた画像情報を
増幅するアンプ４と、このアンプ４により増幅されたア
ナログ情報をデジタル情報に変換するためのＡ／Ｄ変換
器５と、このＡ／Ｄ変換器５によりデジタル化された情
報に後述するような各種の処理を施すカメラ情報処理回
路（画像取得部、閃光情報取得部、シーン推定部、階調
制御部、階調変換特性生成部を含む）６と、上記Ａ／Ｄ
変換器５からのデジタル出力を受けて、ＡＦ（自動フォ
ーカス）情報、ＡＥ（自動露出）情報、ＡＷＢ（自動ホ
ワイトバランス）情報を検出するためのＡＦ，ＡＥ，Ａ
ＷＢ検波回路７と、上記カメラ情報処理回路６からの画
像データを例えばＪＰＥＧ方式で圧縮処理する圧縮回路
９と、この圧縮回路９により圧縮された画像データを後
述するメモリカード１５に記録するための制御を行うメ
モリカードＩ／Ｆ１４と、このメモリカードＩ／Ｆ１４
の制御により画像データを記録するメモリカード１５
と、画像データの色処理等を行う際に作業用メモリとし
て用いられるＤＲＡＭ１１と、このＤＲＡＭ１１の制御
を行うメモリコントローラ１０と、上記メモリカード１
５に記録されている画像データをパーソナルコンピュー
タ（ＰＣ）１７等へ転送するためのインタフェースであ
るＰＣＩ／Ｆ１６と、後述するＬＣＤ１３の制御を行う
表示回路１２と、この表示回路１２の制御により上記メ
モリカード１５に記録された画像データを再生して表示
したり、このデジタルカメラに係る各種の撮影状態等を
表示したりするＬＣＤ１３と、被写体を照明するための
照明光（閃光）を発光する閃光発光部たるストロボ１９
と、上記撮像素子１を駆動するためのタイミングパルス
を発生するタイミングジェネレータ（ＴＧ）１８と、各
種の撮影モードを設定するためのスイッチや撮影動作を
指示入力するためのトリガスイッチ等を有してなる入力
キー２０と、上記カメラ情報処理回路６、圧縮回路９、
メモリコントローラ１０、表示回路１２、メモリカード
Ｉ／Ｆ１４、ＰＣＩ／Ｆ１６、とバスラインを介して接
続されていて、上記ＡＦ，ＡＥ，ＡＷＢ検波回路７の検
出結果や上記入力キー２０による入力、あるいは上記ス
トロボ１９による閃光情報等を受け取るとともに、上記
レンズ２，絞り・シャッタ機構３，タイミングジェネレ
ータ１８，カメラ情報処理回路６，ストロボ１９，入力
キー２０や上記バスラインに接続された各回路を含むこ
のデジタルカメラ全体の制御を行うコンピュータたるＣ
ＰＵ８と、を有して構成されている。

【００４７】このデジタルカメラでは、一画像を撮影し
てそれを画像データとする通常撮影モードと、露光の異
なる複数画像の撮影を時間的に近接して行い、これらの
画像を合成して一の広ダイナミックレンジ（以下、適宜
ＤＲと省略する。）画像を得る広ＤＲ撮影モードと、を
取り得るようになっている。これらの撮影モードは、上
記入力キー２０の操作により手動的に選択するようにし
ても良いし、あるいは上記撮像素子１からの画像情報の
白飛びを検出するなどしてＣＰＵ８が判断を行い自動的
に選択するようにしても構わない。そして、ＣＰＵ８
は、選択された撮影モードに応じて、撮影動作の制御を
行うようになっている。

【００４８】すなわち、通常撮影モードが選択された場
合には、撮影動作によって一回の撮影で上記撮像素子１
から１画面分の画像情報を取得し、一方、広ＤＲ撮影モ
ードが選択された場合には、撮像素子１の電子シャッタ
機能、あるいはこの電子シャッタ機能と上記絞り・シャ
ッタ機構３との組み合わせによる公知の手段によって、
一被写体に対する撮影で撮像素子１から露光量の異なる
複数画面分の画像情報を得て、上記カメラ情報処理回路
６において撮影モードに応じた画像データの処理を行う
ようになっている。

【００４９】なお、本実施形態では、広ＤＲ撮影モード
において合成する画像情報を、２画面分の画像情報とす
る例について説明する。

【００５０】次に図２を参照して、上記カメラ情報処理
回路６の構成について説明する。

【００５１】このカメラ情報処理回路６は、上記Ａ／Ｄ
変換器５から入力されるデジタル化された画像情報ａａ
の出力先を上記ＣＰＵ８からのモード情報ｏｏに基づい
て切り替える第１スイッチ２１と、この第１スイッチ２
１からの単一画像情報ｂｂが入力されて補間処理等が行
われる単一画像処理回路２２と、上記第１スイッチ２１
からの広ＤＲ画像情報ｄｄが長時間露光画像情報である
場合に入力されるＬＥ画像情報バッファ２４と、同第１
スイッチ２１からの広ＤＲ画像情報ｄｄが短時間露光画
像情報である場合に入力されるＳＥ画像情報バッファ２
５と、上記ＬＥ画像情報バッファ２４からのＬＥ画像情
報ｅｅと上記ＳＥ画像情報バッファ２５からのＳＥ画像
情報ｆｆとが入力される画像情報合成回路２６と、入力
する画像情報を上記ＣＰＵ８からのモード情報ｏｏに基
づいて上記単一画像処理回路２２からの補間後の画像情
報ｃｃと上記画像情報合成回路２６からの合成画像情報
ｇｇとの何れかに切り替える第２スイッチ２３と、上記
ストロボ１９からの閃光情報を含むストロボに関する情
報を上記ＣＰＵ８を介してストロボ関連情報ｊｊとして
取得する閃光情報取得部たる閃光情報取得回路２７と、
上記第２スイッチ２３からの処理対象画像情報ｈｈと上
記閃光情報取得回路２７からの閃光情報ｋｋとに基づい
て撮影シーンを推定するシーン推定部たる撮影状況推定
回路２８と、この撮影状況推定回路２８により推定され
た撮影状況推定情報ｍｍに基づき上記第２スイッチ２３
からの処理対象画像情報ｈｈを階調変換し処理画像情報
ｎｎをバスラインに出力する階調制御部たる階調制御回
路２９と、を有して構成されている。

【００５２】このように構成されたカメラ情報処理回路
６による処理の流れは次のようになる。

【００５３】上記Ａ／Ｄ変換器５からデジタル化された
画像情報ａａが入力されると、第１スイッチ２１は、Ｃ
ＰＵ８からの撮影モードを表すモード情報ｏｏを受け
て、その出力先が、単一画像処理回路２２、若しくは、
ＬＥ画像情報バッファ２４またはＳＥ画像情報バッファ
２５、の何れかになるように変更する。

【００５４】すなわち、撮影モードが「通常撮影モー
ド」に設定されている場合には、モード情報ｏｏは、通
常撮影モードを表す情報となり、第１スイッチ２１は、
出力先が単一画像処理回路２２側となるように切り替え
られる。これにより、画像情報ａａは、単一画像情報ｂ
ｂとして第１スイッチ２１から単一画像処理回路２２に
入力される。単一画像処理回路２２は、受け取った単一
画像情報ｂｂ中における欠落情報の補間等の画像処理を
行い、補間後の画像情報ｃｃを上記第２スイッチ２３に
出力する。

【００５５】また、撮影モードが「広ＤＲ撮影モード」
に設定されている場合には、モード情報ｏｏは、広ＤＲ
撮影モードを表す情報となり、第１スイッチ２１は、出
力先がＬＥ画像情報バッファ２４またはＳＥ画像情報バ
ッファ２５の何れかとなるように切り替えられる。これ
により、画像情報ａａは、広ＤＲ画像情報ｄｄとして第
１スイッチ２１からＬＥ画像情報バッファ２４またはＳ
Ｅ画像情報バッファ２５の何れかに出力される。

【００５６】出力先のバッファがＬＥ画像情報バッファ
２４とＳＥ画像情報バッファ２５の何れになるかは、広
ＤＲ撮影モードでの複数画面撮影における、露光時間の
長短に応じて変更される。

【００５７】例えば、本実施形態のように広ＤＲ撮影モ
ードが２画面分の撮影で行われる場合には、広ＤＲ画像
情報ｄｄが露光時間が長い画像情報であると判断された
ときには、長時間露光（ＬＥ：Long Exposure）画像情
報としてＬＥ画像情報バッファ２４に出力される。

【００５８】一方、広ＤＲ画像情報ｄｄが露光時間が短
い画像情報であると判断されたときには、短時間露光
（ＳＥ：Short Exposure）画像情報としてＳＥ画像情報
バッファ２５に出力される。

【００５９】なお、広ＤＲ撮影モードによる撮影で上記
ストロボ１９が使用される場合には、長時間露光画像情
報を生成する際のストロボの発光量と、短時間露光画像
情報を生成する際のストロボの発光量と、を各画像の露
光時間の比に応じて制御するようになっている。すなわ
ち、各画像の露光時間の比と、各画像のストロボ発光量
の比と、が等しくなるように制御することで、ストロボ
１９の発光を行っても画像情報の露光比（画像の明るさ
の比）を保持することができるようにしている。

【００６０】広ＤＲ撮影によりＬＥ画像情報バッファ２
４とＳＥ画像情報バッファ２５とに入力された各画像情
報は、それぞれ、ＬＥ画像情報ｅｅとＳＥ画像情報ｆｆ
として出力される。

【００６１】出力された２つの画像情報は、画像情報合
成回路２６に入力されて、上記単一画像処理回路２２で
行われる欠落情報の補間等の画像処理と同様の画像処理
が行われた後に、さらに、一枚の広ＤＲ画像情報を生成
するための画像合成処理が行われる。

【００６２】この画像合成処理について、図３を参照し
て説明する。なお、この図３は、長時間露光画像と短時
間露光画像との露光比が、８：１となる場合の様子を模
式的に示している。

【００６３】該画像合成処理は、入射光量に対する出力
レベルが、図３（Ａ）に示すようになるＬＥ画像情報ｅ
ｅと、図３（Ｂ）に示すようになるＳＥ画像情報ｆｆと
を、図３（Ｃ）の実線に示すように合成して一画像とす
ることにより行われる。

【００６４】より詳しくは、ＬＥ画像情報ｅｅの出力が
飽和している部分（出力レベルが１００％となっている
部分であり、入射光量が図示のａ以上となっている部
分）を、ＳＥ画像情報ｆｆを露光比分だけゲイン調整し
た画像情報により置き換えることで、図３（Ｃ）の実線
に示すような、露光比に対応する分だけダイナミックレ
ンジが拡大された（すなわち、この例ではダイナミック
レンジが８倍に拡大された）合成画像が生成される。

【００６５】こうして生成された画像は、この画像情報
合成回路２６から、合成画像情報ｇｇとして第２スイッ
チ２３に出力される。

【００６６】第２スイッチ２３は、上記第１スイッチ２
１と同様に、ＣＰＵ８からのモード情報ｏｏに応じて制
御されるようになっていて、該モード情報ｏｏが通常撮
影モードを表す情報である場合には、入力先を単一画像
処理回路２２に切り替え、一方、モード情報ｏｏが広Ｄ
Ｒ撮影モードを表す情報である場合には、入力先を画像
情報合成回路２６に切り替えるようになっている。

【００６７】この第２スイッチ２３を経由して出力され
る補間後の画像情報ｃｃまたは合成画像情報ｇｇは、処
理対象画像情報ｈｈとして、撮影状況推定回路２８に入
力される。

【００６８】一方、ＣＰＵ８から出力されたストロボ関
連情報ｊｊに基づいて、閃光情報取得回路２７が閃光情
報ｋｋを取得し、この閃光情報ｋｋも撮影状況推定回路
２８に入力される。なお、この閃光情報ｋｋとしては、
閃光発光の有無、閃光の光量、撮影対象である被写体の
測距値、等の情報が含まれている。

【００６９】撮影状況推定回路２８は、後述するような
手段により、この閃光情報ｋｋと上記処理対象画像情報
ｈｈとを用いて撮影状況に関する推定を行い、その推定
結果を撮影状況推定情報ｍｍとして出力する。

【００７０】階調制御回路２９は、この撮影状況推定情
報ｍｍと上記処理対象画像情報ｈｈとを受けて、後述す
るような手段により、撮影状況推定情報ｍｍの結果を考
慮した階調制御を処理対象画像情報ｈｈに対して行う。

【００７１】この階調制御回路２９から階調制御が行わ
れた処理画像情報ｎｎが出力されると、該処理画像情報
ｎｎは、バスラインを介して各回路に伝送されるように
なっている。

【００７２】なお、本実施形態では、通常撮影モードに
よる単一画像と、広ＤＲ撮影モードによる広ＤＲ画像
と、の両方に対して、上記撮影状況推定回路２８による
処理および階調制御回路２９による処理が行われるよう
になっている。

【００７３】次に図４を参照して、上記撮影状況推定回
路２８の詳細について説明する。

【００７４】この撮影状況推定回路２８は、上記第２ス
イッチ２３から入力される処理対象画像情報ｈｈに基づ
き輝度画像情報ｐｐを算出する輝度情報算出回路３１
と、１画面をブロックに分割してブロック毎に上記輝度
画像情報ｐｐのヒストグラムを算出するブロック領域ヒ
ストグラム演算回路３２と、このブロック領域ヒストグ
ラム演算回路３２から出力されるブロック単位のヒスト
グラム情報ｑｑを解析して各ブロックの輝度特性を表す
代表レベル情報ｒｒを算出し出力するブロック領域分布
解析回路３３と、上記代表レベル情報ｒｒと上記閃光情
報取得回路２７から出力される閃光情報ｋｋとに基づい
て撮影状況を推定し撮影状況推定情報ｍｍを上記階調制
御回路２９へ出力する撮影状況推定情報演算回路３４
と、を有して構成されている。

【００７５】このように構成された撮影状況推定回路２
８における処理の流れは、次のようになる。

【００７６】上記第２スイッチ２３を経由して伝送され
た処理対象画像情報ｈｈ（つまり、補間後の単一画像情
報ｃｃまたは広ＤＲの合成画像情報ｇｇ）は、まず、輝
度情報算出回路３１に入力されて、画像の輝度情報が算
出される。

【００７７】ここで、上記処理対象画像情報ｈｈが、例
えば「Ｒ」（赤）、「Ｇ」（緑）、「Ｂ」（青）の情報
を表すものである場合には、この輝度情報算出回路３１
により、次の数式１を用いて輝度情報「Ｙ」が算出され
ることになる。

【００７８】

【数１】 Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ

【００７９】輝度情報算出回路３１は、各画素について
このような輝度情報「Ｙ」を演算することにより、輝度
画像情報ｐｐを生成する。

【００８０】なお、本実施形態では、数式１により算出
される輝度情報Ｙを輝度画像情報ｐｐとしているが、輝
度画像情報ｐｐはこれに限らず、ＲＧＢの色情報、例え
ば「Ｇ」（緑）の情報を輝度画像情報ｐｐとして用いる
ようにしても良い。

【００８１】こうして生成された輝度画像情報ｐｐは、
ブロック領域ヒストグラム演算回路３２に入力される。
このブロック領域ヒストグラム演算回路３２における処
理の様子を、図５を参照しながら説明する。

【００８２】ブロック領域ヒストグラム演算回路３２
は、例えば図５（Ａ）に示すような１画面を構成する輝
度画像情報ｐｐを、図５（Ｂ）に示すような例えば５×
５のブロック領域分割パターンを用いて、図５（Ｃ）に
示すように複数のブロックに領域分割し、各ブロック単
位で輝度に対する出現頻度を示すヒストグラムを算出す
る（図５（Ｄ）における幾つかのブロックの、輝度に対
する出現頻度を示すヒストグラムを、図５（Ｅ）、図５
（Ｆ）、図５（Ｇ）、図５（Ｈ）に例示している。）よ
うになっている。こうして、ブロック単位のヒストグラ
ム情報ｑｑが生成されて出力される。

【００８３】なお、上記図５（Ａ）は、昼間の風景を背
景として逆光となっている主要被写体である人物をスト
ロボを用いて撮影した撮影シーンの例における、処理対
象画像の輝度情報を示したものである。この例に示す処
理対象画像においては、画面中央に存在する人物の輝度
はストロボが照射されているにもかかわらず相対的に低
く（暗く）、一方、背景である山や空の輝度は直射日光
の影響などで相対的に高い（明るい）。従って、１つの
ブロック内に、複数の被写体（あるいは被写体の一部）
が存在する場合には、ヒストグラム演算を行うことによ
り、各々の被写体に対応した頻度が算出されることにな
る。こうした様子は、上記図５（Ｅ）、図５（Ｆ）、図
５（Ｇ）、図５（Ｈ）等における例のように、ヒストグ
ラム中に複数のピーク（ローカルピーク）があるなどに
より示されている。

【００８４】こうして生成されたブロック単位のヒスト
グラム情報ｑｑは、ブロック領域分布解析回路３３に入
力される。このブロック領域分布解析回路３３では、ブ
ロック単位のヒストグラム情報ｑｑを解析して、各ブロ
ックの輝度特性を表す「代表レベル」を算出して、ブロ
ック単位の代表レベル情報ｒｒとして出力する。ここ
に、上記代表レベルとしては、各ブロックにおけるヒス
トグラムの、例えば平均値、分散、中央値、最頻値、等
の何れか１つの値、あるいはこれらの内の２つ以上を組
み合わせた値を用いる。

【００８５】このようなブロック領域分布解析回路３３
における処理の様子について、図６を参照して説明す
る。

【００８６】図６（Ａ）は、上記図５（Ａ）や図５
（Ｃ）に示したものと同様の、ストロボを使用した逆光
撮影による処理対象画像の例を示しており、一方、図６
（Ｃ）は、ストロボを使用した夜間撮影による処理対象
画像の例を示している。

【００８７】そして、上記図６（Ａ）に示すような処理
対象画像について、ヒストグラムの最頻値により各ブロ
ックの代表レベルを算出すると、例えば図６（Ｂ）に示
すようになる。すなわち、図示のように、相対的に輝度
が低い画面中央の人物が占めるブロックの代表レベルは
小さくなる一方で、相対的に輝度が高い画面上部の空が
占めるブロックの代表レベルは大きくなっている。

【００８８】一方、図６（Ｃ）に示すような処理対象画
像について、同様に、ヒストグラムの最頻値により各ブ
ロックの代表レベルを算出すると、例えば図６（Ｄ）に
示すようになる。すなわち、図示のように、相対的に輝
度が低い画面周囲の夜景等が占めるブロックの代表レベ
ルは小さくなる一方で、相対的に輝度が高い画面中央の
人物や建物の窓の明かり等が占めるブロックの代表レベ
ルは大きくなっている。

【００８９】こうして生成されたブロック単位の代表レ
ベル情報ｒｒは、上記閃光情報取得回路２７から出力さ
れた閃光情報ｋｋと共に、撮影状況推定情報演算回路３
４に入力される。

【００９０】この撮影状況推定情報演算回路３４は、入
力された代表レベル情報ｒｒと閃光情報ｋｋとに基づい
て、撮影状況を推定し、その推定結果を表す撮影状況推
定情報ｍｍを出力する。

【００９１】このような撮影状況推定情報演算回路３４
における処理について、図７を参照して説明する。

【００９２】処理が開始されると、まず最初に、ブロッ
ク単位の代表レベル情報ｒｒを用いて、画面の中央部に
位置するブロックの代表レベルから、中央部代表レベル
統合値を算出する（ステップＳ１）。この中央部代表レ
ベル統合値の算出を行う際には、例えば、図８（Ａ）の
斜線部に示すようなブロックを用いて、これらブロック
の代表レベル同士の、平均値、中央値、最頻値、分散、
等を算出し、これを中央部代表レベル統合値とする。

【００９３】次に、画面の周辺部に位置するブロックの
代表レベルから、周辺部代表レベル統合値を算出する
（ステップＳ２）。この周辺部代表レベル統合値の算出
を行う際には、例えば、図８（Ｂ）の斜線部に示すよう
なブロックを用いて、上記ステップＳ１と同様の手段に
より、周辺部代表レベル統合値を算出する。

【００９４】なお、上記ステップＳ１やステップＳ２に
おいては、上記図８（Ａ）および図８（Ｂ）に示したよ
うなブロックを用いて中央部と周辺部の代表レベル統合
値を算出したが、これに限るものではなく、例えば図８
（Ｃ）および図８（Ｄ）に示すようなブロックの位置に
応じた重み付けパターンを用いて、中央部と周辺部の代
表レベル統合値を算出するようにしても構わない。図８
（Ｃ）は、中央部代表レベル統合値を算出する際に用い
る重み付けパターンの例を示したものであり、上記図８
（Ａ）に代わって、ステップＳ１で用いることができ
る。また、図８（Ｄ）は、周辺部代表レベル統合値を算
出する際に用いる重み付けパターンの例を示したもので
あり、上記図８（Ｂ）に代わって、ステップＳ２で用い
ることができる。

【００９５】次に、上述したような閃光発光の有無、閃
光の光量、撮影対象である被写体の測距値、等の情報を
含む閃光情報ｋｋに基づいて、撮影された画像には、ス
トロボを発光させたことによる効果があるか否かを判断
する（ステップＳ３）。

【００９６】この判断は、例えば図９に示すようなテー
ブルによって決定される。

【００９７】この図９に示す例においては、上記閃光発
光の有無、閃光の光量、撮影対象である被写体の測距値
に基づいて、Ｐａｔ１〜５までの５つのパターンに分類
されている。

【００９８】まず、第１のパターンＰａｔ１は、ストロ
ボ１９による閃光発光が行われていない場合である。こ
のときには、閃光発光が行われていないために、当然に
して、ストロボ発光効果はないと判断される。

【００９９】次に、第２のパターンＰａｔ２は、ストロ
ボ１９による閃光発光は行われたが、被写体までの距離
値が第１の閾値ＴＤ１よりも大きく、被写体が無限遠に
あったり、あるいはかなり遠くにあったりする場合であ
る。このときには、閃光発光は行われたものの、被写体
までの距離が遠いために、ストロボ発光効果はないと判
断される。

【０１００】第３のパターンＰａｔ３は、ストロボ１９
による閃光発光が行われ、かつ被写体までの距離値が第
１の閾値ＴＤ１以下であるが、第２の閾値ＴＤ２よりは
大きいような、例えば中程度の距離にある場合であり、
さらに、発光された閃光の光量が所定値ＴＬ１よりも小
さい場合である。このときには、閃光発光が行われ、被
写体までの距離も中程度であるが、閃光光量が小さいた
めに、ストロボ発光効果はないと判断される。

【０１０１】第４のパターンＰａｔ４は、ストロボ１９
による閃光発光が行われた点と、被写体までの距離値と
は上記第３のパターンＰａｔ３と同様であるが、発光さ
れた閃光の光量が所定値ＴＬ１以上となる場合である。
このときには、ある程度以上の閃光光量で閃光発光が行
われ、被写体までの距離も中程度であるために、ストロ
ボ発光効果はあると判断される。

【０１０２】そして、第５のパターンＰａｔ５は、スト
ロボ１９による閃光発光が行われ、かつ被写体までの距
離値が第２の閾値ＴＤ２以下であるような、例えば近距
離にある場合である。このときには、閃光発光が行わ
れ、被写体までの距離が近いために、閃光光量に関わら
ず、ストロボ発光効果はあると判断される。

【０１０３】なお、撮影モードが「広ＤＲ撮影モード」
である場合は、長時間露光画像情報におけるストロボ発
光時の閃光情報を用いるようにする。

【０１０４】このような判断を行うステップＳ３におい
て、ストロボ発光効果が「無」と判断された場合には、
撮影状況が「非ストロボ撮影」であると推定して、これ
を撮影状況推定情報ｍｍとする（ステップＳ４）。この
「非ストロボ撮影」は、ストロボ１９を使用していない
か、あるいは、ストロボ１９が使用されていてもその効
果が見られない撮影であることを意味している。

【０１０５】また、上記ステップＳ３において、ストロ
ボ発光効果が「有」と判断された場合には、上記ステッ
プＳ１において算出された中央部代表レベル統合値と、
上記ステップＳ２において算出された周辺部代表レベル
統合値と、を比較する（ステップＳ５）。

【０１０６】このステップＳ５において、中央部代表レ
ベル統合値が周辺部代表レベル統合値以上であると判断
された場合には、周辺部代表レベル統合値を暗部判定閾
値ＴｈＤと比較する（ステップＳ６）。この暗部判定閾
値ＴｈＤは、周辺部が暗部であるか否かを判断するため
の閾値である。

【０１０７】このステップＳ６において、周辺部代表レ
ベル統合値が暗部判定閾値ＴｈＤ未満であると判断され
た場合には、被写体に対してストロボ効果があってかつ
画面の周辺部が暗い（輝度が低い）ということになるた
めに、撮影状況が「夜間ストロボ撮影」であると推定し
て、これを撮影状況推定情報ｍｍとする（ステップＳ
７）。

【０１０８】また、上記ステップＳ６において、周辺部
代表レベル統合値が暗部判定閾値ＴｈＤ以上であると判
断された場合には、被写体に対してストロボ効果はある
が、画面の周辺部は夜間ほど暗くはないということにな
る。こうして、夜間であると言える撮影状況ではなくま
た昼間の逆光であると言える撮影状況でもないために、
撮影状況が、夜間撮影や逆光撮影以外であるという位置
付けの「一般ストロボ撮影」であると推定し、これを撮
影状況推定情報ｍｍとする（ステップＳ８）。

【０１０９】一方、上記ステップＳ５において、中央部
代表レベル統合値が周辺部代表レベル統合値未満である
と判断された場合には、周辺部代表レベル統合値を明部
判定閾値ＴｈＢと比較する（ステップＳ９）。この明部
判定閾値ＴｈＢは、周辺部が明部であるか否かを判断す
るための閾値である。

【０１１０】このステップＳ９において、周辺部代表レ
ベル統合値が明部判定閾値ＴｈＢ以上であると判断され
た場合には、被写体に対してストロボ効果があってかつ
画面の周辺が明るい（輝度が高い）ということになるた
めに、撮影状況が「逆光ストロボ撮影」であると推定し
て、これを撮影状況推定情報ｍｍとする（ステップＳ１
０）。

【０１１１】また、上記ステップＳ９において、周辺部
代表レベル統合値が明部判定閾値ＴｈＢ未満であると判
断された場合には、被写体に対してストロボ効果はある
が、画面の周辺部は昼間ほど明るくはないということに
なる。こうして、昼間の逆光であると言える撮影状況で
はなくまた夜間であると言える撮影状況でもないため
に、上記ステップＳ８と同様に、撮影状況が「一般スト
ロボ撮影」であると推定し、これを撮影状況推定情報ｍ
ｍとする（ステップＳ１１）。

【０１１２】こうして、上記ステップＳ４、ステップＳ
７、ステップＳ８、ステップＳ１０、ステップＳ１１の
何れかにより推定された撮影状況推定情報ｍｍが、撮影
状況推定回路２８から出力されて、階調制御回路２９に
伝送される。

【０１１３】次に、図１０を参照して、上記階調制御回
路２９の詳細について説明する。

【０１１４】この階調制御回路２９は、上記第２スイッ
チ２３から処理対象画像情報ｈｈを入力するとともに上
記撮影状況推定回路２８から撮影状況推定情報ｍｍを入
力して処理画像情報ｎｎをバスラインに出力するもので
あり、上記処理対象画像情報ｈｈから輝度画像情報ｓｓ
を算出する輝度情報算出回路４１と、この輝度画像情報
ｓｓから輝度エッジ情報ｔｔを算出する輝度エッジ情報
算出回路４２と、上記処理対象画像情報ｈｈに基づき肌
色部情報ｕｕを生成する肌色検出部たる肌色検出回路４
３と、上記撮影状況推定情報ｍｍに基づき重み付けパタ
ーン情報ｗｗを生成する重み付けパターン設定回路４４
と、上記輝度画像情報ｓｓと上記輝度エッジ情報ｔｔと
に基づき上記重み付けパターン情報ｗｗを考慮しながら
エッジヒストグラム情報ｘｘを生成するエッジヒストグ
ラム算出回路４５と、上記エッジヒストグラム情報ｘｘ
に基づき上記重み付けパターン情報ｗｗと上記肌色部情
報ｕｕと上記撮影状況推定情報ｍｍとを考慮しながら階
調変換特性情報ｙｙを生成する階調変換特性生成部たる
階調変換特性設定回路４６と、上記階調変換特性情報ｙ
ｙに基づき上記処理対象画像情報ｈｈと上記輝度画像情
報ｓｓとを階調変換して処理画像情報ｎｎを生成する画
像情報階調変換回路４７と、を有して構成されている。

【０１１５】このように構成された階調制御回路２９に
おける処理の流れは、次のようになる。

【０１１６】上記第２スイッチ２３を経由して伝送され
た処理対象画像情報ｈｈ（つまり、補間後の単一画像情
報ｃｃまたは広ＤＲの合成画像情報ｇｇ）は、まず、輝
度情報算出回路４１に入力されて、上記図４に示した輝
度情報算出回路３１と同様に、画像の輝度情報が算出さ
れ、輝度画像情報ｓｓとして出力される。

【０１１７】なお、本実施形態では、上記数式１により
算出される輝度情報Ｙを輝度画像情報ｓｓとしている
が、輝度画像情報ｓｓはこれに限らず、ＲＧＢの色情
報、例えば「Ｇ」（緑）の情報を輝度画像情報ｓｓとし
て用いるようにしても良い。

【０１１８】こうして生成された輝度画像情報ｓｓは、
輝度エッジ情報算出回路４２に入力される。この輝度エ
ッジ情報算出回路４２は、ラプラシアンやソーベル等の
公知のエッジ検出アルゴリズムを用いて、輝度エッジ情
報ｔｔを生成するものである。なお、本実施形態では、
上記輝度エッジ情報ｔｔは、各画素におけるエッジの有
無を表すバイナリ情報（２値情報）として生成されるよ
うになっているが、もちろん、エッジの強度を多値で表
す情報として生成されるようにしても構わない。

【０１１９】一方、上記処理対象画像情報ｈｈは、肌色
検出回路４３にも入力されて、画面における肌色部分を
検出して、肌色部情報ｕｕが生成される。このような肌
色部分の検出を行うことにより、画面において人物の肌
が露呈している部分、例えば顔面部等を特定することが
できる。

【０１２０】この肌色部分の検出は、上記処理対象画像
情報ｈｈがＲＧＢ情報として表されるものである場合に
は、該ＲＧＢ情報からまず色差情報を算出して、算出し
た色差情報を肌色の範囲に相当する色差情報と比較し、
肌色の範囲内であると認識される色差情報の部分を検出
する、等の手段により実現するようになっている。

【０１２１】上記肌色部情報ｕｕは、本実施形態では、
肌色であると判断される部分の各画素の輝度情報として
生成されるが、これに限らず、肌色の範囲に相当する色
差情報と各画素の色差情報との差を基にした「適合度」
を表す情報として生成されても良いし、あるいは、肌色
であるか否かを表すバイナリ情報として生成されても構
わない。

【０１２２】一方、上記撮影状況推定回路２８から出力
された撮影状況推定情報ｍｍは、重み付けパターン設定
回路４４に入力される。この重み付けパターン設定回路
４４では、以降の処理で処理対象画像の階調変換特性を
生成するための重み付けパターンを設定する。

【０１２３】ここでいう重み付けパターンは、推定され
た撮影状況に応じて画面の位置に依存した重みを設定す
るものであり、その一例を図１１に示す。

【０１２４】撮影状況が、例えば、「夜間ストロボ撮
影」や「逆光ストロボ撮影」であると推定された場合に
は、図１１（Ａ）に示すように、ストロボの発光効果が
見られる画面の中央部分を、画面の周辺部分よりも大き
な重みとなるように（重みの差を大きくするように）設
定する。

【０１２５】また、撮影状況が、「非ストロボ撮影」で
あると推定された場合には、ストロボの発光効果は見ら
れないことから、図１１（Ｂ）に示すように、画面全体
の重みが均一となるように設定する。

【０１２６】さらに、撮影状況が、「一般ストロボ撮
影」であると推定された場合には、図１１（Ｃ）に示す
ような重みとなるように、つまり、上記図１１（Ａ）に
示した重みと上記図１１（Ｂ）に示したような重みとの
中間的な重みとなるように設定する。

【０１２７】ただし、撮影状況が「非ストロボ撮影」で
あると推定された場合でも、昼間の順光状態で人物を撮
影する場合などの、ストロボを発光しなくても適切な撮
影が行われる場合もあるために、撮影状況を推定したと
きの閃光情報（閃光発光の有無、閃光の光量、撮影対象
である被写体の測距値、等）を撮影状況推定情報ｍｍに
含めて出力するようにして、これらの情報も併せて総合
的に判断して重み付けパターンを決定するようにしても
良い。

【０１２８】具体的には、例えば、撮影状況が「非スト
ロボ撮影」であると推定された場合でも、被写体の測距
値が小さい（被写体との距離が近い）場合は、いわゆる
マクロ撮影などの近接撮影となって、この場合には画面
の中央部に位置する被写体が重要である場合が多いため
に、上記図１１（Ａ）や図１１（Ｃ）に示したような重
み付けパターンを設定する、等が考えられる。

【０１２９】このようにして重み付けパターン設定回路
４４により設定された重み付けパターンは、重み付けパ
ターン情報ｗｗとして出力される。

【０１３０】次に、上記輝度情報算出回路４１から出力
された輝度画像情報ｓｓと、上記輝度エッジ情報算出回
路４２から出力された輝度エッジ情報ｔｔと、上記重み
付けパターン設定回路４４から出力された重み付けパタ
ーン情報ｗｗとは、エッジヒストグラム算出回路４５に
入力される。

【０１３１】このエッジヒストグラム算出回路４５は、
上記輝度エッジ情報ｔｔにおけるエッジ部分の輝度情報
に関するヒストグラムを算出するが、このときに、上記
重み付けパターン情報ｗｗを考慮して、画面の位置に依
存した重み付けを行い、輝度に対するエッジの出現頻度
の度数の増分値を制御するようになっている。これによ
り、エッジヒストグラム情報ｘｘが生成される。

【０１３２】続いて、上記エッジヒストグラム算出回路
４５から出力されたエッジヒストグラム情報ｘｘと、上
記撮影状況推定回路２８から出力された撮影状況推定情
報ｍｍと、上記肌色検出回路４３から出力された肌色部
情報ｕｕと、上記重み付けパターン設定回路４４から出
力された重み付けパターン情報ｗｗとは、階調変換特性
設定回路４６に入力される。

【０１３３】この階調変換特性設定回路４６は、エッジ
ヒストグラムを累積することにより累積ヒストグラムを
算出し、この累積ヒストグラムを入力輝度情報と出力輝
度情報の関係に合わせて正規化することにより、階調変
換特性を生成する。このとき、該階調変換特性設定回路
４６は、撮影状況推定情報ｍｍ、肌色部情報ｕｕ、重み
付けパターン情報ｗｗを用いることにより、生成する階
調変換特性を制御するようになっている。

【０１３４】ここで一例として、撮影状況推定情報ｍｍ
を用いて階調変換特性を制御する様子について、図１２
を参照して説明する。

【０１３５】まず、図１２（Ａ）は、エッジヒストグラ
ム情報ｘｘから生成される累積ヒストグラムの例を示し
ており、撮影状況推定情報ｍｍ等により制御して生成さ
れる階調変換特性の元となるものである。この累積ヒス
トグラムは、他の図１２（Ｂ）〜図１２（Ｇ）において
は、比較のために２点差線で表してある。

【０１３６】まず、撮影状況推定情報ｍｍが「逆光スト
ロボ撮影」である場合には、図１２（Ｂ）に示すよう
に、元の累積ヒストグラムにおいて、入力輝度情報が低
い部分、すなわち、相対的に暗い部分の階調の割り当て
を多くする（このときには、階調変換特性を示す曲線の
傾きが大きくなる）よう制御して、階調変換特性を生成
する。これは、逆光撮影という状況では、ストロボ発光
の効果を有する被写体（主要被写体）が、相対的に輝度
が低い部分に存在するために、その被写体の階調再現性
を高めるような階調変換特性を生成する制御となってい
る。

【０１３７】また、撮影状況推定情報ｍｍが「夜間スト
ロボ撮影」である場合には、図１２（Ｃ）に示すよう
に、元の累積ヒストグラムにおいて、入力輝度情報が高
い部分、すなわち、相対的に明るい部分の階調の割り当
てを多くするよう制御して、階調変換特性を生成する。
これは、夜間撮影という状況では、ストロボ発光の効果
を有する被写体（主要被写体）が、相対的に輝度が高い
部分に存在するために、その被写体の階調再現性を高め
るような階調変換特性を生成する制御となっている。

【０１３８】また、撮影状況推定情報ｍｍが「一般スト
ロボ撮影」である場合には、図１２（Ｄ）に示すよう
に、元の累積ヒストグラムにおいて、入力輝度情報が中
間をなす部分の階調の割り当てを多くするよう制御し
て、階調変換特性を生成する。これは、ストロボ発光の
効果を有する被写体（主要被写体）が、相対的に輝度が
低い部分に存在するわけではなくかつ相対的に輝度が高
い部分に存在するわけでもないために、その被写体が存
在する中間の輝度の階調再現性を高めるような階調変換
特性を生成する制御となっている。

【０１３９】さらに、撮影状況推定情報ｍｍが「非スト
ロボ撮影」である場合には、図１２（Ｅ）に示すよう
に、元の累積ヒストグラムをそのまま用いて、階調変換
特性を生成する。

【０１４０】一方、撮影状況推定情報ｍｍが「逆光スト
ロボ撮影」である場合には、上記図１２（Ｂ）に示した
階調変換特性の代わりに、図１２（Ｆ）に示すような階
調変換特性を生成するようにしても良い。この図１２
（Ｆ）に示す階調変換特性は、輝度が低い部分に存在す
る主要被写体の階調を多くとりながら、輝度が高い部分
の非主要被写体の階調を上記図１２（Ａ）の状態よりも
抑制するように制御して生成される階調変換特性であ
る。

【０１４１】また、撮影状況推定情報ｍｍが「夜間スト
ロボ撮影」である場合には、上記図１２（Ｃ）に示した
階調変換特性の代わりに、図１２（Ｇ）に示すような階
調変換特性を生成するようにしてもよい。この図１２
（Ｇ）に示す階調変換特性は、輝度が高い部分に存在す
る主要被写体の階調を多くとりながら、輝度が低い部分
の非主要被写体の階調を上記図１２（Ｃ）の状態よりも
抑制するように制御して生成される階調変換特性であ
る。

【０１４２】ただし、上記重み付けパターン設定回路４
４において説明したように、撮影状況推定情報ｍｍが
「非ストロボ撮影」であっても、昼間の順光状態におけ
る人物撮影のような、ストロボを発光させなくても適切
な撮影が行われる場合もある。このような場合には、上
記肌色部情報ｕｕや重み付けパターン情報ｗｗを用い
て、階調変換特性の制御を行うようにすると良い。

【０１４３】例えば、肌色部情報ｕｕを用いる場合に
は、該肌色部情報ｕｕから肌色部とされる部分の輝度情
報を取り出して、その輝度情報の階調を制御する手段が
用いられる。その具体的な一例としては、肌色部の輝度
情報の階調が、他の輝度情報の階調よりも多く割り当て
られるように制御しつつ、逆に階調が多く割り当てられ
過ぎてコントラストが必要以上に強くなることのないよ
うに、階調の変化（階調変換特性の傾き）に制限を設け
るようにすると良い。これにより、肌色を呈する被写体
（人物）の階調再現性を、より自然なものにする階調変
換特性を生成することができる。

【０１４４】また、上記重み付けパターン情報ｗｗを用
いる場合には、例えば上記図１１（Ａ）〜図１１（Ｃ）
に示したような重み付けパターンの種類に応じて、階調
変換特性を制御すると良い。

【０１４５】すなわち、図１１（Ａ）に示したように、
画面の中央部の重みが大きい場合には、該中央部の輝度
に階調を多く割り当てるように階調変換特性を制御し、
一方、図１１（Ｂ）に示したように、重み付けが画面内
において均一である場合には、累積ヒストグラムをその
まま用いるように階調変換特性を制御することにより、
重み付けパターン情報ｗｗの生成時の状況を反映した階
調変換特性を生成することができる。

【０１４６】なお、階調変換特性の制御に用いる上述し
たような各情報は、それぞれを単独で用いるようにして
も構わないが、複数を組み合わせて用いるようにすれ
ば、さらに精度の高い制御を行うことが可能となる。

【０１４７】次に、上記階調変換特性設定回路４６から
出力された階調変換特性情報ｙｙと、上記輝度情報算出
回路４１から出力された輝度画像情報ｓｓと、上記処理
対象画像情報ｈｈとは、画像情報階調変換回路４７に入
力される。

【０１４８】この画像情報階調変換回路４７は、上記階
調変換特性情報ｙｙに基づいて輝度画像情報ｓｓを変換
し、また、上記処理対象画像情報ｈｈから色差情報を生
成して、生成した色差情報を変換前後の輝度画像情報に
基づいて変換し、変換後の色差情報および変換後の輝度
画像情報を元のＲＧＢ情報に戻す処理を行うようになっ
ている。

【０１４９】なお、輝度画像情報ｓｓが上記数式１に示
す輝度情報Ｙと異なる場合（例えば「Ｇ」（緑）の情報
を輝度画像情報ｓｓとしている場合）は、上記処理対象
画像情報ｈｈから数式１に示す輝度情報と色差情報を同
時に生成し、生成された輝度情報に対して上記階調変換
特性情報ｙｙに基づいて変換すればよい。

【０１５０】このような画像情報階調変換回路４７の処
理について、図１３を参照して説明する。

【０１５１】画像情報階調変換回路４７は、上記階調変
換特性情報ｙｙに基づき、まず最初に、輝度画像情報ｓ
ｓを変換する。ここで、変換前の輝度情報をＹ、変換後
の輝度情報をＹ’、階調変換特性をＴrs（ｘ）とする
と、ＹとＹ’の関係は、次の数式２により表される。

【０１５２】

【数２】Ｙ’＝Ｔrs（Ｙ）

【０１５３】次に、色差情報を算出して、算出した色差
情報について変換を行う。この色差情報の変換を行う際
には、変換前後の輝度情報を用いることになるが、単に
変換前後の輝度情報の比率を乗じるだけでは、通常再現
することができる色差情報の範囲を超えてしまう可能性
がある。

【０１５４】すなわち、色空間（例えばＹ，Ｃｂ，Ｃｒ
空間）内における色再現には図１３に示すような理論限
界特性があり、この色再現の理論限界特性は、大筋にお
いて、輝度Ｙを増加させて行くに従い色再現可能な色差
範囲が広がり、ある輝度Ｙを越えたところで今度は色再
現可能な色差範囲が狭まるという特性となっている。つ
まり、輝度が低ければ全体が黒っぽくなるために色再現
範囲が狭く、適宜の輝度では広い範囲の色を再現するこ
とができ、さらに輝度が高くなると全体に白っぽくなる
ために色再現範囲が再び狭くなるという特性である。

【０１５５】こうした色再現範囲を考慮することなく輝
度と同様に階調変換をしてしまうと、色再現範囲の限界
に近づいたりあるいは越えてしまったりして、階調変換
後の色が本来の色とは異なってしまう可能性がある。

【０１５６】そこで、色差情報が再現することができる
範囲、つまり、図１３に示すような色差情報の再現範囲
を示す限界特性を用いて、色差情報の変換を行うように
なっている。

【０１５７】まず、変換前の処理対象画像情報ｈｈであ
るＲＧＢ情報に基づき、変換前の色差情報Ｃｒを次の数
式３を用いて算出し、同様に、変換前の色差情報Ｃｂを
次の数式４を用いて算出する。

【０１５８】

【数３】Ｃｒ＝０．５００００×Ｒ−０．４１８６９×
Ｇ−０．０８１３１×Ｂ

【数４】Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６
×Ｇ＋０．５００００×Ｂ

【０１５９】そして、図１３に示すように、変換前の輝
度情報から生成される限界特性をＬｍｔ（Ｙ）とし、変
換後の輝度情報から生成される限界特性をＬｍｔ
（Ｙ’）として、これらの比ＧＣを次の数式５に示すよ
うに算出する。

【０１６０】

【数５】ＧＣ＝Ｌｍｔ（Ｙ’）／Ｌｍｔ（Ｙ）

【０１６１】こうして算出される比ＧＣを、色差情報の
変換係数とするようになっている。つまり、変換前の色
差情報Ｃｒ，Ｃｂのそれぞれに、この比ＧＣを乗じるこ
とにより、変換後の輝度情報Ｙ’に各対応する色差情報
Ｃｒ’，Ｃｂ’が生成される。

【０１６２】このように、輝度情報に関する階調変換特
性と、色差情報の再現範囲を示す限界特性との両方に基
づいて、変換後の色差情報Ｃｒ’，Ｃｂ’を算出するこ
とにより、再現範囲の中で適切に階調変換を行うことが
できる。

【０１６３】このようにして変換された輝度情報Ｙ’お
よび色差情報Ｃｒ’，Ｃｂ’を用いて、次の数式６、数
式７、数式８に示すような演算を行うことにより、変換
後のＲＧＢ情報（Ｒ’，Ｇ’，Ｂ’）が生成される。

【０１６４】

【数６】Ｒ’＝Ｙ’＋１．４０２×Ｃｒ’

【数７】Ｇ’＝Ｙ’−０．７１４１４×Ｃｒ’−０．３
４４１４×Ｃｂ’

【数８】Ｂ’＝Ｙ’＋１．７７２×Ｃｂ’

【０１６５】これら数式６、数式７、数式８を用いて生
成された情報は、処理画像情報ｎｎとして出力され、上
述したように、バスラインを介して各回路に伝送される
ようになっている。

【０１６６】なお、本実施形態の撮像装置の動作は、コ
ンピュータであるＣＰＵ８が、撮像プログラムを実行す
ることによって制御するようになっており、この撮像プ
ログラムは、撮像装置内に設けられている不揮発性の記
録媒体に記録されている。この不揮発性の記録媒体とし
ては、例えばＲＯＭやＥＥＰＲＯＭなどが挙げられる。

【０１６７】このような第１の実施形態によれば、スト
ロボを使用する撮影における撮影状況と、撮影された画
像の特徴とを考慮して、画像情報の階調変換を行うよう
にしたために、ストロボ撮影に適した画像を生成するこ
とができる。

【０１６８】図１４は本発明の第２の実施形態を示した
ものであり、画像処理装置が備える画像処理回路の構成
を示すブロック図である。この第２の実施形態におい
て、上述の第１の実施形態と同様である部分については
同一の符号を付して説明を省略し、主として異なる点に
ついてのみ説明する。

【０１６９】上述した第１の実施形態は、デジタルカメ
ラ等の撮像装置を対象とする実施形態であったが、この
第２の実施形態は、こうした撮像装置から外部に出力さ
れる、画像情報やその関連情報を記録したファイルを入
力して処理を行い、画像として出力するような例えばプ
リンタ等の画像処理装置を対象とする実施形態である。

【０１７０】この第２の実施形態の画像処理装置は、入
力されるファイルの情報を後述する画像処理回路５１に
伝送する制御を行う入力Ｉ／Ｆと、該画像処理回路５１
により処理された画像情報を出力媒体に出力する制御を
行う出力Ｉ／Ｆと、の間に画像に係る各種の処理を行う
画像処理回路５１が設けられた構成となっていて、その
他にも、これらの入力Ｉ／Ｆ、出力Ｉ／Ｆ、画像処理回
路５１などを制御するためのＣＰＵ等でなる図示しない
制御手段が設けられているものとする。

【０１７１】上記画像処理回路５１は、画像ファイル情
報ａａａを入力して画像情報ｂｂｂとモード情報ｏｏと
ストロボ関連情報ｊｊとに分離する画像ファイル情報解
析回路６１と、上記画像情報ｂｂｂをＲＧＢのカラー画
像情報ｃｃｃに変換する画像情報解析回路６２と、上記
モード情報ｏｏに基づきこのカラー画像情報ｃｃｃの出
力先を切り替える上記第１スイッチ２１と、上記カラー
画像情報ｃｃｃが長時間露光画像情報である場合に記憶
するＬＥ画像情報バッファ６３と、上記カラー画像情報
ｃｃｃが短時間露光画像情報である場合に記憶するＳＥ
画像情報バッファ６４と、上記ＬＥ画像情報バッファ６
３から出力されるカラーＬＥ画像情報ｄｄｄと上記ＳＥ
画像情報バッファ６４から出力されるカラーＳＥ画像情
報ｅｅｅとを合成して広ＤＲの合成画像情報ｇｇを生成
する画像情報合成回路６５と、上記モード情報ｏｏに基
づき上記第１スイッチ２１に連動して動作する上記第２
スイッチ２３と、上記ストロボ関連情報ｊｊから閃光発
光の有無、閃光の光量、撮影対象である被写体の測距値
等の内容を含む閃光情報ｋｋを出力する上記閃光情報取
得回路２７と、上記第２スイッチ２３から出力される処
理対象画像情報ｈｈおよび上記閃光情報ｋｋに基づき撮
影状況を推定する上記撮影状況推定回路２８と、この撮
影状況推定回路２８から出力される撮影状況推定情報ｍ
ｍに基づき上記処理対象画像情報ｈｈを階調変換して処
理画像情報ｎｎとして出力する上記階調制御回路２９
と、を有して構成されている。

【０１７２】このように構成された画像処理回路５１に
おける処理の流れは、次のようになる。

【０１７３】入力Ｉ／Ｆを介して入力される画像ファイ
ル情報ａａａは、撮影された画像情報を含むとともに、
それ以外にも、撮影状態に関する情報として、撮影モー
ドに関するモード情報と、ストロボの状態に関する閃光
情報と、を含んでいる。

【０１７４】このような画像ファイル情報ａａａが、画
像ファイル情報解析回路６１に入力されると、該画像フ
ァイル情報解析回路６１は、入力した画像ファイル情報
ａａａを、画像情報ｂｂｂとモード情報ｏｏとストロボ
関連情報ｊｊとに分離して、それぞれを出力する。

【０１７５】なお、これらの内のモード情報ｏｏとスト
ロボ関連情報ｊｊは、それぞれ、上述した第１の実施形
態においてＣＰＵ８から出力されるモード情報ｏｏとス
トロボ関連情報ｊｊと同様の形態のものである。

【０１７６】上記画像ファイル情報解析回路６１から出
力された画像情報ｂｂｂは、画像情報解析回路６２に入
力されて、ＲＧＢのカラー画像情報ｃｃｃに変換され
る。

【０１７７】すなわち、上記画像情報ｂｂｂは、例えば
「ＪＰＥＧ圧縮」、「ＴＩＦＦ非圧縮」、「Ｒａｗデー
タ」等の形式で記録されていた画像情報であるために、
これらから、ＲＧＢ情報への変換が行われる。

【０１７８】なお、上述したような各形式で記録されて
いた画像情報ｂｂｂが、例えば３板式のＲＧＢカラー情
報ではなく、単板式のカラー情報である場合は、この画
像情報解析回路６２において、欠落画素の補間処理等も
併せて行うようになっている。

【０１７９】上記画像情報解析回路６２により生成され
たカラー画像情報ｃｃｃは、上記モード情報ｏｏに応じ
て制御される第１スイッチ２１を経由して、その設定に
応じて、上記第２スイッチ２３と、ＬＥ画像情報バッフ
ァ６３と、ＳＥ画像情報バッファ６４と、の何れかに伝
送されるようになっている。

【０１８０】この第１スイッチ２１は、上記モード情報
ｏｏが「通常撮影モード」を示すものである場合、また
は「広ＤＲ撮影モード：合成後画像出力」を示すもので
ある場合に、出力先を第２スイッチ２３とするように切
り替えられる。

【０１８１】一方、上記モード情報ｏｏが「広ＤＲ撮影
モード：合成前画像出力」を示すものである場合には、
出力先を、ＬＥ画像情報バッファ６３またはＳＥ画像情
報バッファ６４の何れかとするように切り替えられる。

【０１８２】なお、この第２の実施形態においては、撮
像装置で撮像後にファイルに記録された情報を用いてい
るために、モード情報ｏｏとして、「広ＤＲ撮影モー
ド：合成後画像出力」も含まれ得るようになっている。
このモード情報ｏｏは、上述した第１の実施形態に示し
たように、撮像装置において広ＤＲに合成された画像が
ファイルとして記録されている場合を表している。

【０１８３】さらに、この第２の実施形態においては、
ＬＥ画像情報バッファ６３およびＳＥ画像情報バッファ
６４に記憶される画像情報は、上述した第１の実施形態
とは異なり、既にカラー化されている画像情報である。

【０１８４】露光の異なるカラー画像情報、すなわち、
上記ＬＥ画像情報バッファ６３から出力されるカラーＬ
Ｅ画像情報ｄｄｄと、上記ＳＥ画像情報バッファ６４か
ら出力されるカラーＳＥ画像情報ｅｅｅとは、画像情報
合成回路６５に入力されて、上述した第１の実施形態と
同様の手段により合成されることで広ＤＲの合成画像情
報ｇｇが生成され、出力される。

【０１８５】その他の処理については、上述した第１の
実施形態と同様である。

【０１８６】すなわち、例えば上記閃光情報取得回路２
７は、上記画像ファイル情報解析回路６１から出力され
たストロボ関連情報ｊｊに基づいて、閃光発光の有無、
閃光の光量、撮影対象である被写体の測距値等の内容を
含む閃光情報ｋｋを出力する。

【０１８７】また、上記撮影状況推定回路２８は、上記
第２スイッチ２３を経由して出力された処理対象画像情
報ｈｈ（つまり、通常撮影による単一画像情報または広
ＤＲ画像情報）と、上記閃光情報ｋｋと、を用いて、画
像情報のヒストグラム等により、夜間ストロボ撮影や逆
光ストロボ撮影、非ストロボ撮影等の撮影状況に関する
情報を表す撮影状況推定情報ｍｍを生成して出力する。

【０１８８】さらに、上記階調制御回路２９は、処理対
象画像情報ｈｈと撮影状況推定情報ｍｍと閃光情報ｋｋ
とに基づいて、画面位置を考慮した画像情報のエッジの
ヒストグラムを生成するとともに、画面内の肌色に関す
る情報等を生成して、これらを用いて、画像情報の階調
を変換するための変換特性を撮影状況に応じて生成す
る。そして、生成した変換特性を用いて画像情報を変換
する処理を行い、処理対象画像ｎｎとして出力する。

【０１８９】こうして階調制御回路２９から出力された
処理対象画像ｎｎは、出力Ｉ／Ｆから出力されるように
なっている。

【０１９０】なお、本実施形態の画像処理装置の動作
は、コンピュータであるＣＰＵ等の制御手段が、画像処
理プログラムを実行することによって制御するようにな
っており、この画像処理プログラムは、画像処理装置内
に設けられている不揮発性の記録媒体に記録されてい
る。この不揮発性の記録媒体としては、例えばＲＯＭや
ハードディスクやＣＤ−ＲＯＭなどが挙げられる。

【０１９１】また、本実施形態の画像処理装置は、画像
処理プログラムをパーソナルコンピュータ等において実
行させることにより、画像処理装置として機能させるよ
うな構成であっても構わない。

【０１９２】このような第２の実施形態によれば、上述
した第１の実施形態とほぼ同様の効果を奏することがで
き、すなわち、ストロボを使用する撮影における撮影状
況と、撮影された画像の特徴とを考慮して、画像情報の
階調変換を行うようにしたために、画像処理装置におい
て、ストロボ撮影に適した画像を生成して出力すること
ができる。

【０１９３】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１９４】

【発明の効果】以上説明したように請求項１による本発
明の撮像装置によれば、画像情報および閃光情報に基づ
いて撮影シーンの推定を行っているために、閃光発光部
により発光した状態で得られた画像がどのような状況で
撮影されたものであるかを正確に推定することができ
る。また、階調制御部が推定結果に応じて画像の階調を
制御するために、閃光発光部により発光されて撮影され
た画像に適した階調を再現することが可能となる。こう
して、ダイナミックレンジを有効に利用し、かつ全体と
して違和感のない画像を再現することができる。

【０１９５】また、請求項２による本発明の撮像装置に
よれば、請求項１に記載の発明と同様の効果を奏すると
ともに、異なる露光により撮影した複数の画像を合成し
てダイナミックレンジの広い画像を生成し、該ダイナミ
ックレンジの広い画像に係る画像情報を取得しているた
めに、ダイナミックレンジの広い画像を再現することが
可能となる。

【０１９６】さらに、請求項３による本発明の撮像装置
によれば、請求項２に記載の発明と同様の効果を奏する
とともに、閃光発光部が、異なる露光により撮影する際
の露光量の比に応じて閃光の光量を制御するために、閃
光発光部を発光させた場合にも、露光量に対する明るさ
のバランスが保持され、閃光発光部を発光させない場合
と同様に画像の合成を行って、ダイナミックレンジの広
い画像を再現することが可能になる。

【０１９７】請求項４による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、閃光情報が、閃光の有無を示す情報と、閃光の光量
を示す情報と、撮影対象である被写体の測距情報と、の
内の一以上を含むものであるために、閃光の状態を適切
に反映させて画像を再現することができる。

【０１９８】請求項５による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、閃光発光部による発光が行われて画像情報が取得さ
れた場合には、該画像情報に係る撮影シーンが、逆光撮
影による撮影シーンと夜間撮影による撮影シーンとの何
れか一方に該当するかを判定し、該当すると判定された
場合にはその判定結果を推定結果とし、何れにも該当し
ないと判定された場合にはその他の撮影シーンを推定結
果とするようにしたために、閃光発光部が発光したとき
の撮影シーンを正確に推定することができる。

【０１９９】請求項６による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、画像情報に基づいて画像を構成する画素の輝度に対
する出現頻度を示すヒストグラムを算出し、算出したヒ
ストグラムを用いて撮影シーンを推定するようにしてい
るために、撮影された画像の状態を反映させて撮影シー
ンを正確に推定することができる。

【０２００】請求項７による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、画像情報の内のエッジに該当する部分の階調変換特
性が生成されるために、該エッジ部分の階調を生かす階
調変換が実現され、ダイナミックレンジを有効に利用し
て画像を再現することができる。

【０２０１】請求項８による本発明の撮像装置によれ
ば、請求項７に記載の発明と同様の効果を奏するととも
に、画面の位置に応じて出現頻度の度数の増分値を変更
するように制御してヒストグラムを算出しているため
に、撮影シーンの種類に適した階調変換を行うことがで
きる。

【０２０２】請求項９による本発明の撮像装置によれ
ば、請求項５に記載の発明と同様の効果を奏するととも
に、撮影シーンが逆光撮影の撮影シーンであると推定さ
れた場合に暗部に相当する部分の階調の割り当てを多く
するように階調を制御しているために、逆光撮影におい
て閃光が照射される暗い被写体の階調再現性を高めるこ
とができる。

【０２０３】請求項１０による本発明の撮像装置によれ
ば、請求項５に記載の発明と同様の効果を奏するととも
に、撮影シーンが夜間撮影の撮影シーンであると推定さ
れた場合に明部に相当する部分の階調の割り当てを多く
するように階調を制御しているために、夜間撮影におい
て閃光が照射される明るい被写体の階調再現性を高める
ことができる。

【０２０４】請求項１１による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、画像情報から肌色部分を検出して該肌色部分の階調
を制御するようにしているために、人物が被写体である
場合には、その人物の階調を適切に再現することが可能
となる。

【０２０５】請求項１２による本発明の撮像装置によれ
ば、請求項１１に記載の発明と同様の効果を奏するとと
もに、肌色部分の階調に制限を設けて階調を制御してい
るために、人物が被写体である場合に、その人物のコン
トラストが必要以上に高くなるのを防止することができ
る。

【０２０６】請求項１３による本発明の画像処理装置に
よれば、画像情報および閃光情報に基づいて撮影シーン
の推定を行っているために、閃光発光部により発光した
状態で得られた画像がどのような状況で撮影されたもの
であるかを正確に推定することができる。また、階調制
御部が推定結果に応じて画像の階調を制御するために、
閃光発光部により発光されて撮影された画像に適した階
調を再現することが可能となる。こうして、ダイナミッ
クレンジを有効に利用し、かつ全体として違和感のない
画像を再現することができる。

【０２０７】請求項１４による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、異なる露光により撮影した複数の画像を合成
してダイナミックレンジの広い画像を生成し、該ダイナ
ミックレンジの広い画像に係る画像情報を取得している
ために、ダイナミックレンジの広い画像を再現すること
が可能となる。

【０２０８】請求項１５による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、閃光情報が、閃光の有無を示す情報と、閃光
の光量を示す情報と、撮影対象である被写体の測距情報
と、の内の一以上を含むものであるために、閃光の状態
を適切に反映させて画像を再現することができる。

【０２０９】請求項１６による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、閃光の有を示す情報を含む閃光情報に係る画
像情報が取得された場合には、該画像情報に係る撮影シ
ーンが、逆光撮影による撮影シーンと夜間撮影による撮
影シーンとの何れか一方に該当するかを判定し、該当す
ると判定された場合にはその判定結果を推定結果とし、
何れにも該当しないと判定された場合にはその他の撮影
シーンを推定結果とするようにしたために、閃光発光部
が発光したときの撮影シーンを正確に推定することがで
きる。

【０２１０】請求項１７による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、画像情報に基づいて画像を構成する画素の輝
度に対する出現頻度を示すヒストグラムを算出し、算出
したヒストグラムを用いて撮影シーンを推定するように
しているために、撮影された画像の状態を反映させて撮
影シーンを正確に推定することができる。

【０２１１】請求項１８による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、画像情報の内のエッジに該当する部分の階調
変換特性が生成されるために、該エッジ部分の階調を生
かす階調変換が実現され、ダイナミックレンジを有効に
利用して画像を再現することができる。

【０２１２】請求項１９による本発明の画像処理装置に
よれば、請求項１８に記載の発明と同様の効果を奏する
とともに、画面の位置に応じて出現頻度の度数の増分値
を変更するように制御してヒストグラムを算出している
ために、撮影シーンの種類に適した階調変換を行うこと
ができる。

【０２１３】請求項２０による本発明の画像処理装置に
よれば、請求項１６に記載の発明と同様の効果を奏する
とともに、撮影シーンが逆光撮影の撮影シーンであると
推定された場合に暗部に相当する部分の階調の割り当て
を多くするように階調を制御しているために、逆光撮影
において閃光が照射される暗い被写体の階調再現性を高
めることができる。

【０２１４】請求項２１による本発明の画像処理装置に
よれば、請求項１６に記載の発明と同様の効果を奏する
とともに、撮影シーンが夜間撮影の撮影シーンであると
推定された場合に明部に相当する部分の階調の割り当て
を多くするように階調を制御しているために、夜間撮影
において閃光が照射される明るい被写体の階調再現性を
高めることができる。

【０２１５】請求項２２による本発明の画像処理装置に
よれば、請求項１３に記載の発明と同様の効果を奏する
とともに、画像情報から肌色部分を検出して該肌色部分
の階調を制御するようにしているために、人物が被写体
である場合には、その人物の階調を適切に再現すること
が可能となる。

【０２１６】請求項２３による本発明の画像処理装置に
よれば、請求項２２に記載の発明と同様の効果を奏する
とともに、肌色部分の階調に制限を設けて階調を制御し
ているために、人物が被写体である場合に、その人物の
コントラストが必要以上に高くなるのを防止することが
できる。

【０２１７】請求項２４による本発明の撮像プログラム
によれば、該撮像プログラムをコンピュータに実行させ
ることにより、画像情報および閃光情報に基づいて撮影
シーンの推定が行われるために、閃光発光した状態で得
られた画像がどのような状況で撮影されたものであるか
を正確に推定することができる。また、推定結果に応じ
て画像の階調が制御されるために、閃光発光されて撮影
された画像に適した階調を再現することが可能になる。
こうして、ダイナミックレンジを有効に利用し、かつ全
体として違和感のない画像を再現することができる。

【０２１８】請求項２５による本発明の画像処理プログ
ラムによれば、該画像処理プログラムをコンピュータに
実行させることにより、画像情報および閃光情報に基づ
いて撮影シーンの推定が行われるために、閃光発光した
状態で得られた画像がどのような状況で撮影されたもの
であるかを正確に推定することができる。また、推定結
果に応じて画像の階調が制御されるために、閃光発光さ
れて撮影された画像に適した階調を再現することが可能
になる。こうして、ダイナミックレンジを有効に利用
し、かつ全体として違和感のない画像を再現することが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態におけるデジタルカメ
ラの基本的な構成を示すブロック図。

【図２】上記第１の実施形態におけるカメラ情報処理回
路の構成を示すブロック図。

【図３】上記第１の実施形態において、異なる露光の画
像を合成するときの入射光量に対する出力レベルの様子
を示す線図。

【図４】上記第１の実施形態における撮影状況推定回路
の構成を示すブロック図。

【図５】上記第１の実施形態のブロック領域ヒストグラ
ム演算回路における処理のイメージ例を示す図。

【図６】上記第１の実施形態のブロック領域分布解析回
路内における処理のイメージ例を示す図。

【図７】上記第１の実施形態の撮影状況推定情報演算回
路内における処理の流れを示すフローチャート。

【図８】上記第１の実施形態において、中央部と周辺部
における代表レベル統合値の算出例および重みをつけた
代表レベル統合値の算出例を示す図。

【図９】上記第１の実施形態において、閃光情報に基づ
きストロボ発光効果の有無を判断する分類例を示す図
表。

【図１０】上記第１の実施形態における階調制御回路の
構成を示すブロック図。

【図１１】上記第１の実施形態における階調変換特性を
生成するための重み付けパターンの例を示す図。

【図１２】上記第１の実施形態において、撮影状況推定
情報により制御される階調変換特性の例を示す線図。

【図１３】上記第１の実施形態において、輝度色差空間
における階調変換の様子を示す図。

【図１４】本発明の第２の実施形態において、画像処理
装置が備える画像処理回路の構成を示すブロック図。

【符号の説明】

１…撮像素子 ６…カメラ情報処理回路（画像取得部、閃光情報取得
部、シーン推定部、階調制御部、階調変換特性生成部を
含む） ８…ＣＰＵ（コンピュータ） １５…メモリカード １９…ストロボ（閃光発光部） ２４…ＬＥ画像情報バッファ ２５…ＳＥ画像情報バッファ ２６…画像情報合成回路 ２７…閃光情報取得回路（閃光情報取得部） ２８…撮影状況推定回路（シーン推定部） ２９…階調制御回路（階調制御部） ３１…輝度情報算出回路 ３２…ブロック領域ヒストグラム演算回路 ３３…ブロック領域分布解析回路 ３４…撮影状況推定情報演算回路 ４１…輝度情報算出回路 ４２…輝度エッジ情報算出回路 ４３…肌色検出回路（肌色検出部） ４４…重み付けパターン設定回路 ４５…エッジヒストグラム算出回路 ４６…階調変換特性設定回路（階調変換特性生成部） ４７…画像情報階調変換回路 ５１…画像処理回路（画像処理装置に含まれる） ６１…画像ファイル情報解析回路 ６２…画像情報解析回路 ６３…ＬＥ画像情報バッファ ６４…ＳＥ画像情報バッファ ６５…画像情報合成回路

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 １００ Ｇ０６Ｔ 7/00 １００Ｃ ５Ｃ０２２ Ｈ０４Ｎ 1/407 Ｈ０４Ｎ 5/20 ５Ｃ０６６ 5/20 9/68 Ａ ５Ｃ０７７ 9/68 101:00 ５Ｌ０９６ // Ｈ０４Ｎ 101:00 1/40 １０１Ｅ Ｆターム(参考） 2H002 CD11 DB25 2H053 AD11 AD21 CA41 5B047 AA07 AB04 BA03 BB04 BC11 CA19 CB04 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE09 CE11 CE16 DA08 DB02 DB06 DB09 DC16 DC23 DC25 5C021 RA00 XA03 XA14 XA35 5C022 AB15 AB19 AB68 AC69 5C066 AA01 BA20 CA05 CA07 EC01 KD06 KE01 KE02 KM10 5C077 LL04 MM03 MP01 MP08 PP15 PP28 PP32 PQ12 PQ18 PQ19 PQ23 SS01 TT09 5L096 AA02 AA06 CA02 EA35 EA39 FA06 FA15 FA37

Claims (25)

【特許請求の範囲】
1. 【請求項１】 画像情報を取得する画像取得部と、 閃光を発光する閃光発光部と、 上記閃光発光部に関する閃光情報を取得する閃光情報取
   得部と、 上記画像情報および上記閃光情報に基づいて撮影シーン
   を推定するシーン推定部と、 上記シーン推定部による推定結果に応じて、画像の階調
   を制御する階調制御部と、 を具備したことを特徴とする撮像装置。
2. 【請求項２】 上記画像取得部は、異なる露光により撮
   影した複数の画像を合成してダイナミックレンジの広い
   画像を生成し、該ダイナミックレンジの広い画像に係る
   画像情報を取得するものであることを特徴とする請求項
   １に記載の撮像装置。
3. 【請求項３】 上記閃光発光部は、異なる露光により撮
   影する際の露光量の比に応じて、閃光の光量を制御する
   ものであることを特徴とする請求項２に記載の撮像装
   置。
4. 【請求項４】 上記閃光情報は、閃光の有無を示す情報
   と、閃光の光量を示す情報と、撮影対象である被写体の
   測距情報と、の内の一以上を含むものであることを特徴
   とする請求項１に記載の撮像装置。
5. 【請求項５】 上記シーン推定部は、上記閃光発光部に
   よる発光が行われて上記画像情報が取得された場合に
   は、該画像情報に係る撮影シーンが、逆光撮影による撮
   影シーンと夜間撮影による撮影シーンとの何れか一方に
   該当するかを判定し、該当すると判定された場合にはそ
   の判定結果を推定結果とし、何れにも該当しないと判定
   された場合にはその他の撮影シーンを推定結果とするも
   のであることを特徴とする請求項１に記載の撮像装置。
6. 【請求項６】 上記シーン推定部は、上記画像情報に基
   づいて、画像を構成する画素の輝度に対する出現頻度を
   示すヒストグラムを算出し、算出したヒストグラムを用
   いて撮影シーンを推定するものであることを特徴とする
   請求項１に記載の撮像装置。
7. 【請求項７】 上記階調制御部は、上記画像情報の内の
   エッジに該当する部分を構成する画素の輝度に対する出
   現頻度を示すヒストグラムを算出して、算出したヒスト
   グラムを用いて階調変換特性を生成する階調変換特性生
   成部を含むものであることを特徴とする請求項１に記載
   の撮像装置。
8. 【請求項８】 上記階調変換特性生成部は、画面の位置
   に応じて、上記出現頻度の度数の増分値を変更するよう
   に制御してヒストグラムを算出するものであることを特
   徴とする請求項７に記載の撮像装置。
9. 【請求項９】 上記階調制御部は、上記シーン推定部に
   より撮影シーンが逆光撮影の撮影シーンであると推定さ
   れた場合に、暗部に相当する部分の階調の割り当てを多
   くするように階調を制御するものであることを特徴とす
   る請求項５に記載の撮像装置。
10. 【請求項１０】 上記階調制御部は、上記シーン推定部
    により撮影シーンが夜間撮影の撮影シーンであると推定
    された場合に、明部に相当する部分の階調の割り当てを
    多くするように階調を制御するものであることを特徴と
    する請求項５に記載の撮像装置。
11. 【請求項１１】 上記階調制御部は、上記画像情報から
    肌色部分を検出する肌色検出部を含み、この肌色検出部
    によって検出された肌色部分の階調を制御するものであ
    ることを特徴とする請求項１に記載の撮像装置。
12. 【請求項１２】 上記階調制御部は、上記肌色検出部に
    よって検出された肌色部分の階調に制限を設けて、階調
    を制御するものであることを特徴とする請求項１１に記
    載の撮像装置。
13. 【請求項１３】 撮影により生成された画像情報を取得
    する画像取得部と、 撮影により上記画像情報と同時に生成された閃光に関す
    る閃光情報を取得する閃光情報取得部と、 上記画像情報および上記閃光情報に基づいて撮影シーン
    を推定するシーン推定部と、 上記シーン推定部による推定結果に応じて、画像の階調
    を制御する階調制御部と、 を具備したことを特徴とする画像処理装置。
14. 【請求項１４】 上記画像取得部は、異なる露光により
    撮影した複数の画像を合成してダイナミックレンジの広
    い画像を生成し、該ダイナミックレンジの広い画像に係
    る画像情報を取得するものであることを特徴とする請求
    項１３に記載の画像処理装置。
15. 【請求項１５】 上記閃光情報は、閃光の有無を示す情
    報と、閃光の光量を示す情報と、撮影対象である被写体
    の測距情報と、の内の一以上を含むものであることを特
    徴とする請求項１３に記載の画像処理装置。
16. 【請求項１６】 上記シーン推定部は、上記閃光情報が
    閃光の有を示す情報を含むものである場合には、該画像
    情報に係る撮影シーンが、逆光撮影による撮影シーンと
    夜間撮影による撮影シーンとの何れか一方に該当するか
    を判定し、該当すると判定された場合にはその判定結果
    を推定結果とし、何れにも該当しないと判定された場合
    にはその他の撮影シーンを推定結果とするものであるこ
    とを特徴とする請求項１３に記載の撮像装置。
17. 【請求項１７】 上記シーン推定部は、上記画像情報に
    基づいて、画像を構成する画素の輝度に対する出現頻度
    を示すヒストグラムを算出し、算出したヒストグラムを
    用いて撮影シーンを推定するものであることを特徴とす
    る請求項１３に記載の画像処理装置。
18. 【請求項１８】 上記階調制御部は、上記画像情報の内
    のエッジに該当する部分を構成する画素の輝度に対する
    出現頻度を示すヒストグラムを算出して、算出したヒス
    トグラムを用いて階調変換特性を生成する階調変換特性
    生成部を含むものであることを特徴とする請求項１３に
    記載の画像処理装置。
19. 【請求項１９】 上記階調変換特性生成部は、画面の位
    置に応じて、上記出現頻度の度数の増分値を変更するよ
    うに制御してヒストグラムを算出するものであることを
    特徴とする請求項１８に記載の画像処理装置。
20. 【請求項２０】 上記階調制御部は、上記シーン推定部
    により撮影シーンが逆光撮影の撮影シーンであると推定
    された場合に、暗部に相当する部分の階調の割り当てを
    多くするように階調を制御するものであることを特徴と
    する請求項１６に記載の画像処理装置。
21. 【請求項２１】 上記階調制御部は、上記シーン推定部
    により撮影シーンが夜間撮影の撮影シーンであると推定
    された場合に、明部に相当する部分の階調の割り当てを
    多くするように階調を制御するものであることを特徴と
    する請求項１６に記載の画像処理装置。
22. 【請求項２２】 上記階調制御部は、上記画像情報から
    肌色部分を検出する肌色検出部を含み、この肌色検出部
    によって検出された肌色部分の階調を制御するものであ
    ることを特徴とする請求項１３に記載の画像処理装置。
23. 【請求項２３】 上記階調制御部は、上記肌色検出部に
    よって検出された肌色部分の階調に制限を設けて、階調
    を制御するものであることを特徴とする請求項２２に記
    載の画像処理装置。
24. 【請求項２４】 コンピュータに、 画像情報を取得する手順と、 閃光を発光させる指示を行う手順と、 上記発光させた閃光に関する閃光情報を取得する手順
    と、 上記画像情報および上記閃光情報に基づいて撮影シーン
    を推定する手順と、 上記推定結果に応じて、画像の階調を制御する手順と、 を実行させるための撮像プログラム。
25. 【請求項２５】 コンピュータに、 撮影により生成された画像情報を取得する手順と、 撮影により上記画像情報と同時に生成された閃光に関す
    る閃光情報を取得する手順と、 上記画像情報および上記閃光情報に基づいて撮影シーン
    を推定する手順と、 上記推定結果に応じて、画像の階調を制御する手順と、 を実行させるための画像処理プログラム。