JP2006238163A - 画像再生装置 - Google Patents

Abstract

【課題】高ダイナミックレンジ画像の表示に対応した高価な表示装置を用いることなく、操作者が画像の表示モードを指定でき、表示モード毎にダイナミックレンジの制御方法を切り換えることで、操作者が容易に高ダイナミックレンジ撮影を行う。
【解決手段】操作者が操作ボタン１７を用いて、高ダイナミックレンジ画像を全体表示するモードを指定した場合、ダイナミックレンジ制御部２７は、半導体メモリ２５から表示する高ダイナミックレンジ画像データを読み出し、液晶モニタ１６の表示画素数に応じた画素数に間引いてからダイナミックレンジの制御を行う。
【選択図】図２

Description

本発明は、高ダイナミックレンジの画像信号を入力して、出力用の画像信号に変換し、表示する画像再生装置に関し、例えばデジタルカメラ、ビデオカメラ等に付随する液晶ディスプレイや、テレビモニタ等の画像再生装置に好適な技術に関する。

デジタルカメラやビデオカメラのような画像撮像装置に付随する液晶モニタのような画像再生装置については、従来様々な提案がなされている。例えば、同一被写体を異なる露光条件で撮影した画像を合成して高ダイナミックレンジ画像を生成し、ユーザが指定する階調幅で記録する撮像システムにおいて、記録した高ダイナミックレンジ画像を液晶に表示する場合やプリンタに出力する場合には、記録されているより低い階調幅を指定することにより、出力先デバイスに適合した画像データを生成するように、高ダイナミックレンジ撮影を行い、それを再生することの可能な電子カメラが提案されている（例えば、特許文献１を参照）。

また、複数のサムネイル画像を表示装置一画面に表示する場合に、操作者が１ページに表示するサムネイル画像の数を設定でき、さらにページデータ等の表示を制御する手段を設けることで、操作者が何ページ目のサムネイル画像を閲覧しているのかが容易に分かるデジタルカメラもある（例えば、特許文献２を参照）。

このように、デジタルカメラ等に付随した画像再生装置に操作者が見やすいように画像を表示する方法等の提案が多数なされている。

特開２００２−３０５６８４号公報 特開平１１−３１７９３０号公報

しかし、上記した特許文献１では、直接モニターに表示したり、プリンタ出力する際に、これら出力装置の表示能力に合わせ、例えば８ビットや６ビットの合成画像を生成するため、十分なダイナミックレンジを持った出力装置を持たない場合には、微妙な階調の変化が失われて表示されるという問題がある。十分なダイナミックレンジをもつ出力装置を備えれば階調性が失われるのを抑えることができるが、そのためには高価な出力装置を備えねばならない。

また、高ダイナミックレンジ画像の一部を拡大、スクロール表示させた場合に、表示範囲内の高ダイナミックレンジ画像データのみでダイナミックレンジ補正を行うと、表示範囲内に非常に高輝度な被写体が入ってくると、それまでほぼ白で表示されていた部分の相対的な輝度が低下し、白部分が沈んだような補正画像になってしまうという問題がある。

例えば、図３の（ｅ）のような範囲で撮影（もしくは表示）するとして、高ダイナミックレンジ撮影を行う場合、シャドウ側をメインで撮影する側とハイライト側をメインで撮影する側（入射光を２つに分岐させて、２つのＣＣＤ等のセンサーで受光する撮像装置や静止している被写体限定で、露光量を変えて２回撮影する撮影法などが提案されている）とで状況に応じて露光量を変えており、ハイライト側に関しては、白飛びしないように、通常、露出を設定する。そうすると、図３の（ｅ）のようなシーンの場合、撮像装置のダイナミックレンジをなるべく活かすような露出の設定であれば、図１３（ａ）のような輝度分布になり、山頂の雪の部分が一番白いエリアとなる（ＣＣＤカメラ等では物理量である「絶対輝度」のようなものを測定できるわけではないため、あくまで撮像素子の飽和レベルが白になる）。

次に、図３の（ａ）のようなケース（シーン内に太陽のような非常に高輝度な発光体のようなものが写っている場合）を考える。このようなシーンを撮影（もしくは表示）する場合、最も高輝度な部分（ここでは太陽の部分）で飽和しないように露出を設定するため、輝度分布としては図１３（ｂ）のようになる。（ａ）の分布と比較すると、（ａ）では最も高輝度であった山頂の雪の部分は太陽等の発光体に比べ、相対的に輝度が低いため、（ｂ）の分布のように、少しグレー寄りに動く。そうすると、図３（ｅ）では真っ白であった雪が、図３（ａ）では真っ白でなくなり、グレーがかってしまい、沈んだような画像になる。

さらに、画像全体のデータでダイナミックレンジ補正を行い、例えば８ビットや６ビットに階調圧縮すると、画像の微妙な階調がつぶれ、ユーザが高ダイナミックレンジ撮影画像の微妙な階調を容易に確認できないという問題がある。

図１４に示すように、主となる被写体の縁の部分と背景との輝度差が非常に小さかった場合（極端な例で言えば、１６ｂｉｔｓのディジタル値で１〜２しか違わないような場合）であれば、被写体と背景部分の境界がはっきりしなくなる。また、グラデーションのように滑らかに階調が変化していくような部分であれば、擬似輪郭（元々輪郭の無い部分に、量子化精度の問題によって輪郭線が見えてしまう）が発生しやすくなる。

本発明は、上記した課題に鑑みてなされたものであり、
本発明の目的は、高ダイナミックレンジ画像の表示に対応した高価な表示装置を用いることなく、操作者が画像の表示モードを指定でき、表示モード毎にダイナミックレンジの制御方法を切り換えることで、操作者が容易に高ダイナミックレンジ撮影を行った撮影画像を確認できる画像再生装置を提供することにある。

即ち、
請求項１の目的は、機器の操作者が、高ダイナミックレンジ画像データの表示モードを指定し、その表示モードに応じて、操作者が容易に撮影画像を確認できるような画像再生装置を提供することにある。

請求項２の目的は、高ダイナミックレンジ画像全体を確認することができる全体表示モードと画像の一部を拡大し、細部を確認することのできる拡大及びスクロールモードを備える画像再生装置を提供することにある。

請求項３の目的は、画像再生手段に表示可能な範囲の高ダイナミックレンジ画像データを取得し、それを元にダイナミックレンジ補正を行う画像再生装置を提供することにある。

請求項４の目的は、画像再生手段に表示可能な範囲の高ダイナミックレンジ画像データと、その周辺の高ダイナミックレンジ画像データを取得し、それを元にダイナミックレンジ補正を行う画像再生装置を提供することにある。

請求項５の目的は、全体表示モードの時に、画像再生手段にそのまま表示できる画像サイズにまでオリジナルの高ダイナミックレンジ画像データを間引いてからダイナミックレンジ補正を行うような画像再生装置を提供することにある。

請求項６の目的は、拡大及びスクロール表示モードの時に、拡大表示範囲の画像サイズが画像再生手段にそのまま表示できる画像サイズよりも大きい場合には、そのまま表示できる画像サイズにまでオリジナルの高ダイナミックレンジ画像データを間引いてからダイナミックレンジ補正を行い、そのまま表示できる画像サイズよりも拡大表示範囲の画像サイズが小さい場合には、補間等を行わず、そのままの画像データに対してダイナミックレンジ補正を行うような画像再生装置を提供することにある。

請求項７の目的は、拡大及びスクロール表示モードで、スクロール表示しているときに、画像再生手段の表示範囲内に急激な輝度の変化をもたらす被写体が出入りする場合にも、滑らかに輝度が変化するようにダイナミックレンジ補正を行うことが可能な画像再生装置を提供することにある。

請求項１記載の発明では、高ダイナミックレンジ画像データに基づいて画像を再生する画像再生手段と、前記高ダイナミックレンジ画像データをどのように表示するかを指定する画像再生方法指定手段とを具備する画像再生装置において、前記画像再生方法指定手段によって指定された前記画像データの表示モードに応じてダイナミックレンジ補正の方法を制御するダイナミックレンジ圧縮伸張方法制御手段を備えることを特徴とする。

請求項２記載の発明では、請求項１記載の画像再生装置において、前記表示モードは、少なくとも全体表示モード、拡大及びスクロール表示モードを備えることを特徴とする。

請求項３記載の発明では、請求項１記載の画像再生装置において、前記ダイナミックレンジ圧縮伸張方法制御手段は、前記画像再生手段に表示する範囲の画像データを取得する手段を備え、前記画像データを用いて、ダイナミックレンジ補正を行うことを特徴とする。

請求項４記載の発明では、請求項１記載の画像再生装置において、前記ダイナミックレンジ圧縮伸張方法制御手段は、前記画像再生手段に表示する範囲の外側を含む画像データを取得する手段を備え、前記画像データを用いて、ダイナミックレンジ補正を行うことを特徴とする。

請求項５記載の発明では、請求項１〜３記載の画像再生装置において、前記ダイナミックレンジ圧縮伸張方法制御手段は、前記表示モードが全体表示モードなら、前記画像再生手段でそのまま再生可能な程度にまで間引いた前記高ダイナミックレンジ画像データを用いて、ダイナミックレンジ補正を行うことを特徴とする。

請求項６記載の発明では、請求項１及び２記載の画像再生装置において、前記ダイナミックレンジ圧縮伸張方法制御手段は、前記表示モードが拡大及びスクロール表示モードであれば、前記画像再生手段で表示可能なサイズよりも大きい場合には、そのまま表示可能な画像サイズにまで間引いた前記高ダイナミックレンジ画像データを用い、前記画像再生手段で表示可能なサイズよりも小さい場合には、そのままの前記高ダイナミックレンジ画像データを用いてダイナミックレンジ補正を行うことを特徴とする。

請求項１に記載の発明では、高ダイナミックレンジ画像データの表示モードに応じてダイナミックレンジ補正の方法を制御するため、表示モード毎に適した画像再生が行える。

請求項２に記載の発明では、全体表示モードでは撮影した高ダイナミックレンジ画像の全体像が、拡大及びスクロール表示モードでは撮影した高ダイナミックレンジ画像の細部を操作者が容易に確認できるような画像再生を行うことができる。

請求項３に記載の発明では、請求項１に記載の画像再生装置において、表示に必要な範囲の画像データのみでダイナミックレンジ補正を行うことで、装置規模の拡大を抑制することができる。

請求項４に記載の発明では、請求項１に記載の画像再生装置において、表示に必要な範囲と、その周辺の画像データを元にダイナミックレンジ補正を行うことで、スクロール表示時の急激な輝度変化による不自然さを抑制することができる。

請求項５に記載の発明では、全体表示モードの時に、オリジナルの高ダイナミックレンジ画像データを間引いてからダイナミックレンジ補正を行うことで、計算時間を短縮することができる。

請求項６に記載の発明では、拡大及びスクロール表示モードの時に、オリジナルの高ダイナミックレンジ画像データを間引いてから、もしくは補間を行わずにダイナミックレンジ補正を行うことで、計算時間を短縮することができる。

請求項７に記載の発明では、スクロール表示時に、表示範囲内に発光体のような急激な輝度変化を引き起こすような被写体が出入りする場合にも、表示範囲の周辺の画像データを同時に用いることで、滑らかに輝度を変化させることができる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
図１は、本発明のデジタルカメラ装置の概観図であり、図１（ａ）は前面側の概観図、（ｂ）は背面側の概観図である。

本実施形態のデジタルカメラ装置は、例えば直方体状の筐体１０の前面側に、撮影レンズ１１と、フラッシュ１２と、ファインダ１３とを備え、筐体１０の上面にはシャッタボタン１４を備える。また、筐体１０の背面側には、ファインダ１３と、デジタルカメラ装置の電源のオン・オフを入力する電源スイッチ１５と、撮影時に被写体を表示すると共に、再生時に映像を表示する液晶モニタ１６と、ズーム、連続写真、動画、スチル画像等の選択、一部拡大表示指定等を行う操作ボタン１７と、撮影した画像を記録する記録媒体（フラッシュメモリ、図示せず）の脱着を行うメモリスロット１８とを備える。ただし、液晶モニタ１６は、これのみに限らず、有機ＥＬディスプレイ、プラズマディスプレイパネル等の表示装置でも良い。

図２は、本発明のデジタルカメラ装置の制御システムを示す。図２（ａ）において、撮影レンズ１１に近接してＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等からなる受光素子（撮像素子）１９を有しており、撮影レンズ１１によって形成される撮影対象物の像を、受光素子１９によって受光する。そして、受光素子１９で受光した高ダイナミックレンジ画像を信号処理部２１と画像処理部２２で順次信号処理、画像処理を行い、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる中央演算部２３に入力する。中央演算部２３は処理済の画像を、半導体メモリ２５に格納したり、操作部２６から入力される操作者の指示に従い、液晶モニタ１６に表示したりする制御を行う。また、操作ボタン１７から操作者が入力した指示を操作部２６から受け取り、ダイナミックレンジ制御部２７へと送る。ダイナミックレンジ制御部２７は、中央演算部２３からの指示に従い、半導体メモリ２５から高ダイナミックレンジ画像データを読み出し、画像の表示モードに応じたダイナミックレンジの制御を行い、液晶モニタ１６に表示する。ダイナミックレンジ制御部２７は、図２（ｂ）に示すように、半導体メモリ２５から送られてきた高ダイナミックレンジ画像データに対して、ヒストグラムを検出するヒストグラム検出・評価部２７２と、ヒストグラムデータ及び画像の輝度分布等に応じたダイナミックレンジの処理を行うダイナミックレンジ処理部２７１、画素の補間及び間引きを行う画像処理部２７３から構成されている。

図３は、高ダイナミックレンジ（ＤＲ）撮影シーンの例を示し、図４、図５は、高ダイナミックレンジ画像のヒストグラムの例を示す。また、図６、７は、本発明の処理フローチャートである。

次に、図３、４を参照しながら、高ダイナミックレンジ画像の表示のモードに応じたダイナミックレンジの圧縮もしくは伸張の方法について説明する。

まず、本発明の表示モードについて説明する。
（１）全体表示モード
この表示モードは、ＬＣＤ等の表示装置全体に１枚の画像を表示するモードである。本モードでは、撮影者が「何を撮影した画像なのか」が分かれば良い。そのため、階調性や擬似輪郭を特に意識せず、例えば後述する（１）式で表されるような、出力側（例えばＬＣＤ）のダイナミックレンジをフルに活用するような圧縮を行い表示する（例えば、入力データが１６ｂｉｔｓで１００００〜５００００の間のディジタル値を取っていたとして、それを８ｂｉｔｓのモニタ（０〜２５５）にダイナミックレンジ圧縮して表示する場合、０〜６５５３５を０〜２５５に圧縮するのではなく、１００００〜５００００が０〜２５５に収まるように圧縮する）。
（２）拡大及びスクロール表示モード
この表示モードは、ＬＣＤ等の表示装置全体に１枚の画像の一部を表示するモード（拡大表示モード）と、拡大表示した画像をスクロールさせながら表示させるモード（スクロール表示モード）である。本モードは実質２つのモードに分かれるが、まず、拡大表示モードは、撮影者が撮影画像の細部を確認したい場合に用いるモードで、画像の細部とは、「手ぶれ等によるボケ」「階調性」「ざらつき（ノイズ感）」等のことである。

そして、スクロール表示モードは、前記の拡大表示モードで拡大表示した状態で、カーソルボタンでスクロールしながら表示するモードである（１枚の画像の中に写っている各種被写体が、画面から出たり入ったりするような表示モード）。

なお、本発明では使用しないが、サムネイル表示モードもある。このモードは一般的なデジタルスチルカメラに備えられ、複数の撮影画像をＬＣＤのような表示装置に同時に表示するモードである（撮影者が、これまでにどんな被写体を撮影したのかをおおまかに確認するためのモードである）。

図３は、高ダイナミックレンジ撮影シーンの例であり、太陽や電球のような発光体等の超高輝度部から、空などのような高輝度部、通常の人物のような中輝度部、日陰に立っている人物のような低輝度部までを含んでいる。図４は、高ダイナミックレンジ画像データ（例えば１画素毎に１６ビット、すなわち０〜６５５３５のいずれかのディジタル値で保存された画像データ）中に、どの輝度レベルにどのくらいの画素数が分布しているのかを表すヒストグラムの例である。

高ダイナミックレンジ（ＤＲ）画像を撮影し、蓄積した後（ステップ１０１）、例えば、操作ボタン１７を用いて操作者が図３（ｄ）に示したように、高ダイナミックレンジ画像を全体表示するように全体表示モードを指定した場合（ステップ１０２）、ダイナミックレンジ制御部２７は、半導体メモリ２５から表示する高ダイナミックレンジ画像データを読み出す（ステップ１０３）。そして、その高ダイナミックレンジ画像データを圧縮もしくは伸張するが、その前に、液晶モニタ１６の表示画素数に応じた画素の間引きを行う（ステップ１０５）。例えば、液晶モニタ１６の表示可能画素数が６４０×４８０画素（約３０万画素）であったとする。このモニタに１２８０×９６０画素（約１２０万画素）の高ダイナミックレンジ画像を表示しようとすると、約４分の１の画素数になるように間引かなければならない。そこで、例えば縦横２画素ずつの４画素の平均を取ることで、モニタに表示可能な画素数に間引くことができる。このような画像サイズのリサイズは、ダイナミックレンジの圧縮もしくは伸張の後でも可能であるが、非線形なダイナミックレンジの制御を行う場合には、計算時間の増大を招く。そのため、モニタの表示可能画素数にまで、あらかじめ間引いてからダイナミックレンジの制御を行うことで、ユーザの指示から画像表示までのタイムラグの短縮が可能である。

なお、最近では、ハイエンドのデジタルスチルカメラでは、ＣＣＤやＣＭＯＳといった撮像素子の出力信号をそのまま蓄積するＲＡＷと呼ばれる形式で保存できるようになっており、この場合、撮影者が現像ソフト等と呼ばれるアプリケーションソフトを用いて好みの色合いに調整しやすい。一方、ＲＡＷ以外の一般的にＪＰＥＧ等で保存された画像は、カメラの画像処理部で現像処理が行われて劣化してしまっており、これを好みの色合いに調整するのは容易ではないことも多い。また、デジタルスチルカメラに搭載される表示装置よりもＰＣのモニタやプリンタの方が表現能力に優れているであろうことも容易に想像できる。

そのため、本発明では、撮影データはなるべくロスレスに近い形で保存しておき、表示する際にダイナミックレンジの調整を行って表示するような構成としている（当然、ユーザは、ＰＣのモニタやプリンタに出力する際には、フラッシュメモリから読み出した画像データを、好みの色合いに容易に調整できる）。

次に、この間引いた画像のダイナミックレンジ制御について説明する。全体表示モードの場合、画像内のどこに何の被写体が写りこんでいるか等を確認するのが主な目的と考えられ、細かい部分の階調性を確認したりすることはない。そのため、画像毎に、被写体像の大まかな形が把握しやすいように画像データのダイナミックレンジを制御する必要がある。図４（ｃ）、（ｅ）以外のように、輝度レベルに大きな偏りが無い場合には、以下の式（１）のような線形的なダイナミックレンジの制御を行っても良いし、文献（The 11th Color Imaging Conference「Rendering HDR Images」(Garrett M．Johnson and Mark D．Fairchild)）に記載されている公知の技術を用いても良い。逆に図４（ｃ）、（ｅ）のように分布が大きく偏っている場合には、前記公知技術のような非線形なダイナミックレンジの制御を行うか全体の画素数の例えば０．１％以下の画素数しかない輝度レベルの画素は、隣接する輝度レベルへとシフトさせ、ダイナミックレンジをあらかじめ圧縮した上で前記線形変換を行うことで、白とびや黒つぶれを抑制しつつ、高ダイナミックレンジ画像データよりもダイナミックレンジの狭い液晶モニタ１６にも、被写体像の判別が容易な画像を表示できる（ステップ１０６、１０７）。ただし、ダイナミックレンジの制御方法に関しては、これら以外の方法、例えば特開２００１−１１８０６２号公報等で提案されている方法を用いることも当然可能である。

Ｄ_ｏｕｔ＝Ｄ_ｉｎ×（Ｄ_{ｏｕｔ＿Ｍａｘ}−Ｄ_{ｏｕｔ＿Ｍｉｎ}／Ｄ_{ｉｎ＿Ｍａｘ}−Ｄ_{ｉｎ＿Ｍｉｎ}）・・・（１）
このようにダイナミックレンジの制御を行った画像データを液晶モニタ１６に表示する（ステップ１０８）。

なお、分布の偏りの有無は例えば以下のように行う。まず、図８のように輝度レベル（１６ｂｉｔｓであれば０〜６５５３５、８ｂｉｔｓであれば０〜２５５）を０〜５０００、５００１〜１００００・・・のように、グループ分けする。そして、平均の頻度を算出し、さらに各輝度レベルのグループ毎に、その平均の頻度との差を算出する。図８（ａ）のように、平均の頻度と各グループの頻度の差がある閾値よりも小さい場合には、輝度レベルの偏りは小さいと判断し、逆に図８（ｂ）のように、平均の頻度との差がある閾値よりも大きなグループがある場合には輝度レベルの偏りが大きいと判断する。

また、上記公知技術である、非線形なダイナミックレンジの制御は以下のようにして行う。
（１）ＲＧＢディジタル値画像をフラッシュメモリから読み出し
（２）ヒストグラム検出・評価（⇒以下は文献の非線形変換を行うと判断した場合）
（３）ＲＧＢディジタル値画像をＸＹＺ三刺激値画像に変換（変換マトリクスはデバイスのＲ，Ｇ，Ｂ各色の原色の色度座標と白色の色度座標から求まる。よってデバイス及び色空間依存の変換マトリクスを用いる。）
（４）ＸＹＺ三刺激値画像をＲＧＢ三刺激値画像（前記ＲＧＢディジタル値画像とは異なる）に変換（所定の変換マトリクスを用いる。）
（５）所定のローパスフィルタを生成
（６）前記ローパスフィルタを（３）のＸＹＺ三刺激値画像に周波数空間で掛け合わせる。
（７）（６）で作成した（ローパス×ＸＹＺ三刺激値画像）を（４同様の方法でＲＧＢ三刺激値画像に変換
（８）（４）の画像に対して（６）の画像を用いて色順応変換を行い、色順応変換後のＲＧＢ三刺激値画像を（４）の逆変換を行いＸＹＺ三刺激値画像に変換
（９）（８）で変換したＸＹＺ三刺激値画像を所定のマトリクスを用いてＬＭＳ錐体応答画像に変換
（１０）（３）で変換したＸＹＺ三刺激値画像のうち、Ｙ（輝度情報）画像に対して所定のローパスフィルタをかけ、さらに非線形ダイナミックレンジ圧縮用係数（入力画像データの各画素毎に値を持つ）を、ある所定の関数を用いて生成
（１１）（９）で変換したＬＭＳ錐体応答画像と（１０）で生成した非線形ダイナミックレンジ圧縮用係数を、所定の関数で結びつけて非線形なダイナミックレンジ圧縮後のＬ’Ｍ’Ｓ’画像を生成
（１２）（９）の逆変換を行い、ＸＹＺ三刺激値画像に変換
（１３）表示デバイス（ここではＬＣＤ等）の特性を考慮した変換マトリクスやプロファイルを用いて（１２）のＸＹＺ三刺激値画像をＲＧＢディジタル値画像に変換し、表示する。

また、上記したように、「全体の画素数の例えば０．１％以下の画素数しかない輝度レベルの画素は、隣接する輝度レベルへとシフトさせ、ダイナミックレンジをあらかじめ圧縮した上で前記線形変換を行う」処理方法は、以下の通りである。
（１）ＲＧＢディジタル値画像をフラッシュメモリから読み出し
（２）ヒストグラム検出・評価（全体の画素数の０．１％（この数字は一例である）ということから、一部の輝度レベルのグループの頻度が平均の頻度を大きく下回る、すなわちヒストグラム分布が偏っている状態である）
（３）例えば図９（ａ）のような分布をした画像データを考える。この場合、左から２番目の輝度のグループの頻度は低い。このような場合はこの輝度のグループに含まれる画素の輝度レベルを隣接レベルにシフトさせる。

例えば輝度のグループの範囲が５０刻みであったとすると、ディジタル値で５１〜１００がこのグループに属する。その場合５１〜７５は一律グループの範囲の刻みの半分の２５ずつ減算し２６〜５０にシフトさせ、７６〜１００は２５ずつ加算し１０１〜１２５にシフトさせる（図９（ｂ））。
（４）図９（ｂ）で隣接輝度レベル（輝度レベルのグループ）へのシフトを行った後、図９（ｃ）のように、ヒストグラムの隙間が埋まるように、輝度レベルの平均方向へ、圧縮する（図９では一番左の輝度のグループを輝度レベルの高い方へ動かしているため、０（１）〜５０に含まれる画素に一律５０を加算し、５１〜１００にシフトさせる）。
（５）（４）のようにしてほとんど画素の含まれない（もしくは全く含まれない）輝度レベルのグループの圧縮を行った後、例えば、図１０に示すような非線形な入出力特性を持つ関数で非線形圧縮を行い、表示する（図１０は、ニー特性を持った曲線で、ハイライト側を圧縮する効果を持つ。例えば、発光体近辺などは高輝度なため、輝度の変化が分かり難いので、圧縮してしまい、シャドウ側〜中輝度部分の階調数をかせぐ）。

以上説明したように、画像再生装置において高ダイナミックレンジ画像を全体表示モードで再生する場合に、モニタの表示可能画素数に応じた間引きを行ってからダイナミックレンジの制御を行い、表示することで、元の画像データよりもダイナミックレンジの狭い液晶モニタ等にも、操作者が被写体像の全体像の判別が容易に出来るように表示することが可能となる。

実施例２：
本発明の実施例２の処理の流れを図１〜５を用いて説明する。実施例１との違いは操作者が高ダイナミックレンジ画像を全体表示モードではなく、拡大及びスクロール表示モードで画像の拡大表示をするよう操作ボタン１７を用いて指示した場合を想定している点である。

図１及び２に示した構成は実施例１と共通であり、高ダイナミックレンジ画像データの取得までの流れは同一であるため省略する。

高ダイナミックレンジ画像の撮影後、機器の操作者が図３（ｄ）に示すような高ダイナミックレンジ画像の一部を拡大して表示するように指示するとき（ステップ１０９）、実施例１と同様に、まず、液晶モニタ１６の画素数を考慮した、拡大表示対象となる範囲の画像データのリサイズを行う。この際、対象とする範囲の画像データの方が画素数が多い場合には、液晶モニタ同等の画素数になるように、画素の間引きを行う（ステップ１１１）。また、対象範囲の画像データの画素数と液晶モニタの画素数がほぼ同じであれば、間引きは行わない（ステップ１１０でＮＯ）。逆に、対象範囲の画像データの画素数よりも、液晶モニタの画素数の方が多い場合には、補間を行わずにダイナミックレンジの制御を行うことで、計算時間を短縮することができる。次に、このようなリサイズを行った高ダイナミックレンジ画像データに対して行うダイナミックレンジ制御について説明する。

図３の（ａ）に示すような発光体等の非常に輝度の高い部分から、通常の人物の顔等の中程度の輝度を持つ部分までを含むような場合であるが、この場合の表示範囲のヒストグラム分布は、おおまかには図４の（ａ）に示すような分布をしている。ところで、本実施例のように、高ダイナミックレンジ画像の一部を拡大して表示する場合というのは、撮影直後に撮影画像の細部がつぶれていないか、シャドウやハイライト部の階調が喪失していないか、手ぶれが発生していないか等を確認する目的の場合が多いと考えられる。このような場合には、実施例１で述べたような、あらかじめ頻度の低い輝度レベル部分をシフトさせることでダイナミックレンジを圧縮する方法だと、階調つぶれが多数発生し、画像の細部が確認できなくなる可能性が高い。そのため、操作者によって、高ダイナミックレンジ画像の一部を拡大表示するよう指示された場合には、前掲したGarrett M．Johnsonらの公知技術のような画像の領域毎の性質や人間の視覚特性に応じたダイナミックレンジ圧縮や、非線形のダイナミックレンジ圧縮を行い、画像のディテールがなるべく損なわれないようにする。

同様にして、図３（ｂ）すなわち、中輝度部から低輝度部を含む、図４（ｂ）のようなヒストグラム分布の範囲や図３（ｃ）、低輝度部のみの図４（ｃ）のようなヒストグラム分布の範囲が操作者によって指定された場合も、ディテールがなるべく損なわれないような圧縮を行う。

ただし、以上のような圧縮・伸張を行う際には、次のことも同時に考慮している。例えば入力側の高ダイナミックレンジ画像が１６ビット（６５５３６階調）で、出力側の液晶モニタの表示可能なレンジが８ビット（２５６階調）であったとする。画像データの全画素が３２０００〜６５５３５の間の値を取っている場合、すなわち低輝度部が存在しない場合、出力側の０〜２５５の範囲に単純にダイナミックレンジ圧縮を行うと、入力側の中輝度部分が出力側の低輝度部になってしまい、黒くつぶれてしまう。そのため、入力される高ダイナミックレンジ画像データのヒストグラムの分布に応じて、出力側で使用するレンジを制御する（ステップ１１２、１１３）。

例えば、出力側の２５６階調を０〜８５、８６〜１７０、１７１〜２５５という範囲に区切ると、図５（ａ）のように、入力画像がほぼ低輝度部のみヒストグラム分布をしていた場合、０〜２１０程度の範囲、すなわちシャドウから高輝度側の１７１〜２５５の半分程度までを利用する範囲に圧縮することで、出力側のハイライト部を使わずにダイナミックレンジの圧縮もしくは伸張ができる。同様にして、図５（ｂ）のような中輝度のみであればシャドウ部及びハイライト部を使わないように４０〜２１０、図５（ｃ）のような高輝度部のみならシャドウ部を使わないように４０〜２５５、図５（ｄ）のように低輝度部から中輝度で、高輝度部がなければ、０〜２１０、図５（ｅ）のように全範囲に分布していれば０〜２５５、図５（ｆ）のように低輝度部のみが無いような分布であれば４０〜２５５、図５（ｇ）のように中輝度部が無いが低輝度部と高輝度部が存在するのであればシャドウ部とハイライト部を用いるように０〜２５５、以上のような範囲に圧縮するようにすることで、元々の低輝度部がハイライトになってしまうような、不自然なダイナミックレンジの制御を防ぐことが可能である。

また、ヒストグラム分布の形状の判定は、例えば入力側の輝度レベルを０〜２１８００、２１８０１〜４３６００、４３６０１〜６５５３５の３つの範囲に分け、それぞれの範囲内の累積の画素数が全画素数の例えば３％以内であれば、その輝度レンジの情報はほぼないものとみなしても良いし、区分けする範囲をさらに多くしてもよいし、それ以外の方法でも良い。

このようにダイナミックレンジの制御を行った画像データを液晶モニタ１６に表示する。その際、表示対象範囲の画素数が液晶モニタ１６の画素数よりも少ない場合には、液晶モニタの画素数と同程度まで、補間を行ってから表示する（ステップ１１５、１１６）。

以上説明したように、画像再生装置において高ダイナミックレンジ画像の一部を拡大再生する場合に、モニタの表示可能画素数に応じた画像サイズのリサイズを行ってから表示対象範囲の高ダイナミックレンジ画像データのダイナミックレンジを制御し、表示することで、操作者が高ダイナミックレンジ撮影画像の細部まで容易に確認できる。

実施例３：
本発明の実施例３の処理の流れを図１〜３、１１、１２を用いて説明する。実施例２との違いは操作者が高ダイナミックレンジ画像を拡大及びスクロール表示モードで画像の拡大表示をし、さらにスクロール表示するよう操作ボタン１７を用いて指示した場合を想定している点であり、ダイナミックレンジの制御に用いる高ダイナミックレンジ画像データの範囲が実施例２とは異なる。

図１及び２に示した構成は実施例２と共通であり、高ダイナミックレンジ画像データの取得、高ダイナミックレンジ画像データの拡大表示対象範囲のデータのリサイズまでの流れは同一であるため省略する。

次に、このようなリサイズを行った（ステップ１１７、１１８）高ダイナミックレンジ画像データに対して行うダイナミックレンジ制御について説明する。

基本的なダイナミックレンジの制御方法は実施例２とほぼ同じであるが、スクロール表示を行う場合、図３（ｅ）に示したような拡大表示範囲から、図３（ａ）に示したような拡大表示範囲へとスクロールする場合、超高輝度部が表示範囲内に入ってくるため、ヒストグラム分布が急激に変化し、（ｅ）のハイライト部分の輝度が相対的に低下するために、それまでほぼ白に近く表示されていた領域が沈んでしまい、不自然な表示になってしまう。そのため、スクロール時には、ダイナミックレンジ制御を行う場合、図１１に示した表示範囲３５の画像データだけでなく、その周囲まで含んだデータ取得範囲３６の画像データも同時に用いてダイナミックレンジの制御を行う（ステップ１１９、１２０）。

具体的には、表示範囲３５内のデータに対してダイナミックレンジ制御を行った画像データと、データ取得範囲３６内のデータに対してダイナミックレンジ制御を行った画像データを用意する。この際、当然表示範囲３５内の共通範囲に関しては、両者で画素値は異なる。これらの同一位置の画素値を図１２（この図は、５１２×７６８画素の画像の例である）に示したような重みを付加して足し合わせる。すなわち、表示範囲３５内の画素値に対しては図１２（ａ）の重みを付加し、データ取得範囲３６内の画素値に対しては図１２（ｂ）に示したような重みを付加することで、表示範囲の中央から周辺に向かうにつれて、表示範囲３５よりも、より広いデータ取得範囲３６の影響の大きい画素値へと滑らかに変化していく。

もちろん、各々の範囲の画素値に対して付加する重みは図１２に示したようなものに限定する必要はなく、式（２）（３）のように、画像中心からの距離に応じた関数により、重みを与えても良い。

Ｋ_３６（ｒ）＝１／（ｒ_ｍａｘ×ｒ_ｍａｘ）×ｒ^２・・・（２）（データ取得範囲３６に対する重み）
Ｋ_３５（ｒ）＝１−Ｋ_３６（ｒ） ・・・（３）（表示範囲３５に対する重み）
但し、ｒは表示範囲の中央からの距離
このようにダイナミックレンジ制御を行った画像に対して、実施例２と同様に、必要な画像サイズのリサイズを行い（ステップ１２２）、液晶モニタ１６に表示する（ステップ１２３）。

以上説明したように、画像再生装置において高ダイナミックレンジ画像の一部を拡大及びスクロール表示する場合に、モニタの表示可能画素数に応じた画像サイズのリサイズを行ってから表示対象範囲の外側のデータを考慮した高ダイナミックレンジ画像データのダイナミックレンジを制御し、表示することで、スクロール時に発光体などの高輝度の被写体や、逆に非常に低輝度の被写体が表示範囲から出入りする場合にも、急激な輝度変化を抑制した、自然なスクロール表示が可能である。

本発明のデジタルカメラ装置の概観図である。 本発明のデジタルカメラ装置の制御システムを示す。 高ダイナミックレンジ撮影シーンの例を示す。 高ダイナミックレンジ画像のヒストグラムの例を示す。 高ダイナミックレンジ画像のヒストグラムの例を示す。 本発明の処理フローチャートである。 図６の続きのフローチャートである。 輝度レベルに偏りが有る場合とない場合の例を示す。 輝度レベルの圧縮を説明する図である。 非線形な入出力特性例を示す。 実施例３で用いる画像データを示す。 画素値に付加する重みの例を示す。 課題を説明するための輝度分布の例を示す。 課題を説明するための輝度レベルの例を示す。

符号の説明

１１ 撮像レンズ
１２ フラッシュ
１３ ファインダ
１４ シャッタボタン
１５ 電源スイッチ
１６ 液晶モニタ
１７ 操作ボタン
１８ メモリスロット
１９ 受光素子
２１ 信号処理部
２２ 画像処理部
２３ 中央演算部
２５ 半導体メモリ
２６ 操作部
２７ ダイナミックレンジ制御部

Claims (7)

1. 高ダイナミックレンジ画像データ（以下、原画像データ）に基づいて画像を再生する画像再生手段と、前記原画像データの表示モードを指定する指定手段とを具備する画像再生装置において、前記指定された表示モードに応じてダイナミックレンジを制御する制御手段を備えることを特徴とする画像再生装置。
2. 前記表示モードは、少なくとも全体表示モード、拡大及びスクロール表示モードを含むことを特徴とする請求項１記載の画像再生装置。
3. 前記制御手段は、前記画像再生手段に表示する範囲の原画像データを取得する手段を備え、前記取得した原画像データを用いてダイナミックレンジを制御することを特徴とする請求項１記載の画像再生装置。
4. 前記制御手段は、前記画像再生手段に表示する範囲の外側を含む原画像データを取得する手段を備え、前記取得した原画像データを用いてダイナミックレンジを制御することを特徴とする請求項１記載の画像再生装置。
5. 前記制御手段は、前記表示モードが全体表示モードの場合、前記原画像データから画素数を間引いた画像データを用いてダイナミックレンジを制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
6. 前記制御手段は、前記表示モードが拡大及びスクロール表示モードであって、拡大表示範囲の画像データサイズが前記画像再生手段で表示可能なサイズより大きい場合には、前記原画像データから画素数を間引いた画像データを用いてダイナミックレンジを制御し、前記画像データサイズが前記画像再生手段で表示可能なサイズより小さい場合には、前記原画像データを用いてダイナミックレンジを制御することを特徴とする請求項１または２記載の画像再生装置。
7. 前記表示モードが、拡大及びスクロール表示モードの場合、スクロール時に前記画像再生手段の表示範囲内に急激な輝度の変化をもたらすような被写体が出入りする場合にも、滑らかに輝度が変化するようにダイナミックレンジを制御することを特徴とする請求項１、２または６記載の画像再生装置。

Images