JP2008033930A

JP2008033930A - 画像再生装置

Info

Publication number: JP2008033930A
Application number: JP2007190861A
Authority: JP
Inventors: Tetsuo Ashida; 哲郎芦田; Masaaki Nakada; 公明仲田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-07-23
Filing date: 2007-07-23
Publication date: 2008-02-14
Anticipated expiration: 2019-11-09
Also published as: JP5142614B2

Abstract

【課題】広ダイナミックレンジ撮像記録された画像を、観察者が望む露出に可変できる画像再生装置を提供する。
【解決手段】内蔵メモリやメモリカードなどの画像格納部に格納されている画像データをモニタ装置やプリンタなどに出力して画像再生する装置において、画像を観察する者の視線方向を検知する視線検出装置やタッチパネルを備え、観察者が注目した部分が自動検出され、或いは観察者自身がタッチパネルから画面中の任意の部分を指定できるように構成される。初めに、従来のダイナミックレンジ再生を行い、画面中から視線検出された部分或いはタッチパネルで指定された部分について、階調変換曲線を変更するなどによってダイナミックレンジを変更し、白飛び部分や黒潰れ部分を適切に再生する。
【選択図】図５

Description

本発明は画像再生装置に係り、特に広ダイナミックレンジ撮像記録された画像を表示装置やプリンタなどに出力して再現する画像再生装置に関する。

デジタルカメラ等に用いられる固体撮像素子によって適正露光で撮影された画像も銀塩写真と比較すると画質上物足り無さが残る場合がある。これは、固体撮像素子のダイナミックレンジが、一般の銀塩写真カメラのそれと比べて非常に狭いため、デジタルカメラの撮影条件によっては黒潰れや白飛びを生じ、画質が著しく低下するからである。しかし、近時、広ダイナミックレンジ撮像ができる素子の開発が可能になってきており、これに対応して、将来、広ダイナミックレンジ撮像された記録物を再生するための装置が必要になると考えられる。

この種の技術に関連する文献として特許文献１には、広ダイナミックレンジで撮像された情報を、あるアルゴリズムを用いて最適な露出として記録する装置が開示されている。また、特許文献１には、画像信号にその露出レベルを制御する信号を付加することによって、常に撮影者の意図する露出レベルを再生できる再生装置が提案されている。
特開平１１−６９１７９号公報特開平６−８３４３０号公報

しかしながら、特許文献１の装置では、上記アルゴリズムによって得られた適正な露出条件が撮影者にとっては最適ではない場合もあり得るため、幾つかの露出条件をふった画像を記録しておき、その中からベストな露出を撮影者に選んでもらうという記録再生システムである。

また、特許文献２も撮影者が意図した露出レベルを再現するための装置であって、再生画像を観察する観察者の意図を反映させることはできない。このように、従来の提案に係る装置・システムは撮影者の意図のみが反映され、観察者が望む画像の再現を実現するという観点が欠落している。

本発明はこのような事情に鑑みてなされたもので、広ダイナミックレンジ撮像記録された画像を、観察者が望む露出に可変できる画像再生装置を提供することを目的とする。

本発明は前記目的を達成するために、請求項１に係る画像再生装置は、反射率の範囲が広い広ダイナミックレンジの画像データが入力される画像データ入力部と、前記画像データ入力部から受入した画像データに基づいて画像を視認可能に再現する第１の画像出力手段と、前記画像出力手段で再現される画像中から観察者の意図に応じた所望の領域を指定する領域指定手段と、前記領域指定手段で指定された領域における前記画像データの反射率のヒストグラムを作成する手段と、前記作成したヒストグラムに基づいて所定の割合の画像データが存在する反射率領域を変換領域として選択する手段と、前記選択された変換領域のみに階調を与える階調変換曲線、又は前記選択された変換領域に階調を多く振り分ける階調変換曲線を用いて前記広ダイナミックレンジの画像データの階調変換を行う階調変換手段と、前記階調変手段によって階調変換された画像データに基づいて画像を視認可能に再現する第２の画像出力手段と、を備えたことを特徴としている。

本発明によれば、画像を再生して見る人（観察者）の意思を反映して、観察者が望む画像の一部分、又は画面全体の表示画質を変更することができる。これにより、画像の白飛び部分や黒潰れ部分を適切に再生することが可能になる。なお、「再生」とは、既に記録されている画像データを再現する場合に限らず、撮像手段によって撮像中の画像データを再現する場合も含むものとする。

請求項２に示すように請求項１に記載の画像再生装置において、前記第１の画像出力手段は、前記画像データ入力部から受入した画像データの全ての反射率の範囲に階調を割り当てるように設定された階調変換曲線を用いて前記広ダイナミックレンジの画像データを階調変換し、該階調変換された画像データに基づいて画像を視認可能に再現することを特徴としている。

請求項３に示すように請求項１又は２に記載の画像再生装置において、前記第１の画像出力手段及び第２の画像出力手段として表示装置及びプリンタの少なくとも一つを具備したことを特徴としている。

請求項４に示すように請求項１から３のいずれかに記載の画像再生装置において、前記第１の画像出力手段として表示装置が用いられ、前記領域指定手段は、前記表示装置の画面を見る観察者の視線方向を検出する視線検出装置を有し、前記視線検出装置によって視線検出された部分を含む一定の領域を、観察者の意図に応じた所望の領域として指定することを特徴としている。

請求項５に示すように請求項１から３のいずれかに記載の画像再生装置において、前記１の画像出力手段として表示装置が用いられ、前記領域指定手段は、前記表示装置に設けられたタッチパネルを有し、該タッチパネルによって指定された領域を、観察者の意図に応じた所望の領域として設定することを特徴としている。

本発明によれば、画像を見る人（観察者）の意図に応じて再生画像の一部又は全体の階調を変更できるようにしたので、観察者の意思を反映して画像の白飛び部分や黒潰れ部分を適切に再生することが可能になる。本発明により、広ダイナミックレンジ撮像記録された画像に対して、観察者の望む画像を得ることができる。

以下添付図面に従って本発明に係る画像再生装置の好ましい実施の形態について詳説する。

図１は本発明の実施の形態に係る画像再生装置の正面図、図２はその内部構造を示す側面図である。これらの図に示したように、画像再生装置１０は、ケーシング（外装枠）１２の正面部に画面観察用のフロントパネル１４が取り付けられており、ケーシング１２の内側には、ハーフミラー１６、モニタ装置１８、視線検出装置２０、及び信号処理装置２２が配置されている。

モニタ装置１８はＣＲＴ、液晶ディスプレイ、プラズマディスプレイその他の表示装置を適用することができる。視線検出装置２０はフロントパネル１４の前に立つ観察者がモニタ装置１８の画面のどこを注視しているかを検出する装置であり、検出した情報は信号処理装置２２に入力される。被検眼の視線方向を検出するには、被検眼の前眼部に光線を投射し、角膜或いは水晶体による反射像を光電変換素子によって検出することで実現される。被検眼の視線方向を検出する装置は周知であり、例えば、特許第２８７２２９２号に開示された技術を適用できる。

信号処理装置２２は、システム全体を制御する中央演算処理装置（ＣＰＵ）と、画像データ等を処理する信号処理部とを含む。画像データは、メモリカードなどの外部記録媒体や通信機能等によって画像再生装置１０に提供される。すなわち、画像データが記録されている媒体がこの画像再生装置１０に投入され、或いは通信機能によって画像データが本画像再生装置１０に供給されることにより、信号処理装置２２に画像データが入力される。また、画像再生装置１０がフイルムスキャナー機能を備え、現像済み写真フイルムが本装置１０に投入されることにより、装置内蔵のラインサンサ（撮像素子）によって写真フイルムの画像を撮像して画像データを取得する態様も可能である。

図３は画像再生装置の要部構成を示すブロック図である。図２中符合２４は画像データが格納される内蔵メモリ又はメモリカードその他の外部記録媒体を示す画像格納部、２６は画像データを処理するデジタル信号処理部、２８は図１のモニタ装置１８に相当するディスプレイ部、３０はＣＰＵである。

画像格納部２４には、図示せぬデジタルカメラ等の撮像装置によって広ダイナミックレンジで撮像記録された画像データが格納されているものとする。画像再生時には、ＣＰＵ３０のコマンドに従って画像格納部２４から画像データが読み出され、デジタル信号処理部２６に加えられる。デジタル信号処理部２６はＣＰＵ３０のコマンドに従って画像データを処理し、所要の信号形態に変換してディスプレイ部２８に出力する。

ＣＰＵ３０は視線検出装置２０や図示せぬ操作部等から入力する情報に基づいてデジタル信号処理部２６、ディスプレイ部２８その他の各ブロックを制御し、観察者の意思を反映した画像再現を行う制御部である。

図４には上記構成の画像再生装置１０の動作手順が示されている。同図を用いて本装置の動作を説明する。まず、観察者（装置の利用者）が画像再生装置１０の電源スイッチを押す（ステップＳ４１０）。これにより、画像再生装置１０の電源がオンし（ステップＳ４１２）、画像の再生処理が行われる。この時の再生処理では従来のダイナミックレンジによる再生処理が実行される（ステップＳ４１４）。

図５には本装置における階調変換曲線が示されている。同図において横軸は被写体の反射率を示し、縦軸は８ビットにデジタル化された量子化レベルの値（ＱＬ値）を示すものとする。画像格納部２４に格納されている画像データは広ダイナミックレンジで撮像記録されており、反射率０％〜Ｒ1 ％までの画像情報を有している。符合(1)は画像情報の分布を示すものである。

ステップＳ４１４でいう「従来のダイナミックレンジによる再生」とは、画像情報のうちの一部分、すなわち、図５中符合(2)で示す反射率０％〜Ｒ2 ％までの情報を階調変換曲線ｆc に従って変換して出力するものである。こうして、モニタ装置１８の画面に再生画像が表示される。観察者はフロントパネル１４を通してその再生画像を見ることができる。なお、この再生方法の場合、反射率がＲ2 ％よりも高い領域の情報は使われないため、いわゆる白飛びの画像となる。

観察者がモニタ画面中のある部分を注視すると（ステップＳ４２０）、視線検出装置２０が観察者の視線を検出する（ステップＳ４２２）。例えば、観察者が画面中の白飛び部分に目を止めると、その視線の向けられた位置が検出される。

観察者の視線の検出情報は信号処理装置２２に入力され、ＣＰＵ３０は視線を検出した部分を含む一定の領域（例えば、視線検出ポイントを中心とする周辺の所定画素数分の領域、或いは、視線検出ポイントの階調を基準としてその階調に近似する視線検出ポイント周辺の階調エリア）のダイナミックレンジを変更し、白飛び部分或いは黒潰れ部分を適切に再生する（ステップＳ４２４）。

ダイナミックレンジの変更方法としては、例えば、再生に使用する画像情報の範囲を図５中符合(3)で示す反射率０％〜Ｒ3 の範囲まで拡張し、この範囲内の情報を階調変換曲線ｆv にしたがって変換して出力する。

こうして、より反射率の高い部分の画像情報が活用された再生画像が得られる。これにより、観察者は自分が見たい部分をより詳細に観察することができる（ステップＳ４３０）。このような画面の階調変更は、視線検出されたポイント周辺など画面の一部分のみで行ってもよいし、画面全体の階調を変化させてもよい。

上記の実施の形態では、視線検出装置２０によって観察者の注目している位置を自動的に検出したが、かかる態様に代えて、フロントパネル１４にタッチパネルを採用し、観察者自身が画面中の所望の部分を触れることによって、注目位置或いは注目領域を指定するようにしてもよい。この場合、ハーフミラー１６や視線検出装置２０は省略され、タッチパネルの情報が信号処理装置２２に直接入力される。

図６にはタッチパネルを具備した画像再生装置の動作手順が示されている。この場合、まず、観察者が画像再生装置の電源スイッチを押す（ステップＳ６１０）。これにより、画像再生装置の電源がオンし（ステップＳ６１２）、画像の再生処理が行われる。この時の再生処理では従来のダイナミックレンジによる再生処理が実行される（ステップＳ６１４）。

次いで、観察者が画面中の見たい部分をタッチパネルから指定する（ステップＳ６１０）。例えば、観察者が画面中の白飛び部分に相当するタッチパネル部分に触れると、そのタッチ位置が検出される。観察者が指定した情報は信号処理装置２２に入力され、ＣＰＵ３０は指定に係る部分のダイナミックレンジを変更し、白飛び部分或いは黒潰れ部分を適切に再生する（ステップＳ６２２）。

こうして、観察者は、自分が見たい部分をより詳細に観察することができる（ステップＳ６３０）。

図７は本発明の更に他の実施の形態を示すフローチャートである。広ダイナミックレンジ撮像記録された画像を、観察者が望むダイナミックレンジに可変するためのフローチャートである。

まず、入力画像データに基づいて画像をデフォルト表示する（ステップＳ７１０）。この時は、広ダイナミックレンジで撮像記録された全ての画像情報を全て表示するように、図８の符合ｇd に示すような階調変換曲線を設定してモニタ装置１８に表示する。なお、図８には比較のために、従来のダイナミックレンジ撮像の範囲とその範囲内の画像情報のみを利用する階調変換曲線ｇc も示されている。

次いで、観察者の意図に基づいて画面中の見たい範囲を指定する（ステップＳ７１２）。指定方法は、視線検出でもよいし、タッチパネルを利用して所望の領域を指定してもよい。また、マウスその他のポインティングデバイスから画面上の領域を指定してもよい。

観察者が画面中のある部分を指定したとする。その指定された範囲の反射率のヒストグラムを作成し、そのうちの例えば８割が存在する反射率領域を変換領域として選択する（ステップＳ７１４）。図８の点線で挟まれた領域Ａが、この変換領域であるものとする。このような変換領域Ａが選択されると、その選択に係る領域をより鮮明に画像再現するため、図９の符合ｇv に示すように階調変換曲線に変更し、選択に係る変換領域のガンマ（γ）を立てた画像を作成する（ステップＳ７１６）。

すなわち、変換領域ＡにＱＬ値を多く振り分けるような階調変換曲線ｇv を用いて画像データを変換し、その変換された画像データに基づいてモニタ装置１８に画像を表示する（ステップＳ７１８）。こうして、選択した領域がより鮮明に再現される。なお、階調変換曲線は図９中符合ｇw で示したように、選択した変換領域Ａのみに階調を与える極端な態様も可能である。

また、階調変更を行うレベルを多段階に設定して、観察者のタッチ操作に応じて段階的に階調変換曲線を変更し、１回の操作毎に次第により詳細な画像再現が行われるようにしてもよい。かかる段階的な変更のステップ数を観察者が操作部から自由に設定できるように構成してもよい。

本発明によれば、広ダイナミックレンジで撮像記録された画像の再生時に、観察者の要求に応じて画像の一部又は全体の階調を変更できるようにしたので、見たい部分をより詳細に観察することができる。

図１及び図２では箱型のケーシング１２に収納されてなる画像再生装置１０を述べたが、装置の形態はこれに限らない。例えば、システム全体を眼鏡型のディスプレイ式に構成したり、望遠鏡型に構成することも可能である。また、上記の説明では、モニタ装置１８（ディスプレイ部２８）に画像を再生する例を述べたが、画像を出力する手段としてプリンタを用い、記録用紙等の媒体に画像を再現する態様もある。

また、上記実施の形態の変形例として、画像再生装置に撮像手段を付加し、撮像手段で得られる画像を表示装置に表示させる態様もある。図１０は撮像手段を具備した画像記録再生装置のブロック図である。同図に示すように、この装置４０は、レンズ４２、絞り４４、撮像素子としてのＣＣＤイメージセンサ（以下、ＣＣＤという）４６、アナログ処理部４８、Ａ／Ｄ変換器５０、信号処理部５２、ディスプレイ部５４、ＣＣＤ駆動回路５６、タイミング信号発生回路５８、操作部６０、制御用ＣＰＵ６２、メモリ６４、及びメモリカード６６のカードインターフェース６８から構成される。

ＣＣＤ４６は広ダイナミックレンジ撮像が可能なデバイスが用いられ、従来のダイナミックレンジ撮像よりも広い範囲の画像情報を取得することができる。レンズ４２を介して入射した光は、絞り４４によって光量が制限され、ＣＣＤ４６の受光面に入射する。ＣＣＤ４６の受光面には受光素子が平面的に配列されており、ＣＣＤ４６の各受光素子において入射光量に応じた量の信号電荷に変換される。

このようにして変換された信号電荷は、ＣＣＤ駆動回路５６から加えられるＣＣＤ駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部４８に加えられる。

アナログ処理部４８は、相関二重サンプリング（ＣＤＳ）回路、ゲインコントロールアンプ等を含む。ＣＣＤ４６から読み出された画像信号は、ＣＤＳ回路で各画素毎にサンプリングホールドされ、ゲインコントロールアンプで増幅された後、Ａ／Ｄ変換器５０でＲ，Ｇ，Ｂのデジタル信号に変換されて信号処理部５２に加えられる。

タイミング信号発生回路５８は、ＣＰＵ６２からのコマンドに応じてＣＣＤ駆動回路５６、アナログ処理部４８、Ａ／Ｄ変換器５０及び信号処理部５２に適宜のタイミング信号を出力し、各回路の同期をとっている。

信号処理部５２は、ＹＣ信号作成回路、圧縮／伸長回路等を含み、前記Ｒ，Ｇ，Ｂのデジタル信号をＣＰＵ６２からのコマンドによってＹＣ信号（輝度信号Ｙとクロマ信号Ｃ）に変換し、このＹＣ信号をメモリ６４に格納する。また、信号処理部５２は、ＣＰＵ６２からのコマンドによってメモリ６４からＹＣ信号を読み出し、これを適宜処理してディスプレイ部５４やカードインターフェース６８に出力する。

また、信号処理部５２は、Ｄ／Ａ変換器、エンコーダ等を含み、ＹＣ信号をＤ／Ａコンバータでアナログ信号に変換した後、エンコーダで例えばＮＴＳＣ方式のビデオ信号を生成し、これをディスプレイ部５４に出力する。ビデオ信号がディスプレイ部５４に供給されることにより、撮影モード時にはＣＣＤ４６が捉える画像がリアルタイムに動画像として、又はリアルタイムではないが、ほぼ連続した画像としてディスプレイ部５４に表示される。

撮影者はディスプレイ部５４の表示画面を見ながら画角を確認することができる。記録用の画像データの取り込みは操作部６０のレリーズボタン若しくは録画ボタンの押下操作に呼応して開始される。

画像データをメモリカード６６に記録するモードが選択されている場合、ＣＰＵ６２は、信号処理部５２の圧縮伸張回路にコマンドを送り、これにより圧縮伸張回路はメモリ６４上のＹＣ信号をＪＰＥＧその他の所定の形式に従って圧縮する。圧縮された画像データはカードインターフェース６８を介してメモリカード６６に記録される。なお、記録媒体はメモリカード６６に限らず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティック、ビデオテープ、など種々の形態が可能であり、使用される媒体に応じた信号の処理手段とインターフェースが適用される。

操作部６０は、画像記録開始の指示を与えるレリーズボタン等のほか、カメラのモード設定、その他の設定入力手段、観察者自身がディスプレイ部５４の表示画面中から所望の位置或いは領域を指定する指定手段（視線検出装置であってもよい。）を含むブロックである。

ＣＰＵ６２は、本システムの各回路を統括制御する制御部（制御手段）である。ＣＰＵ６２は操作部６０から受入する入力信号に応じて、対応する動作の制御を行い、レンズ４２のズーミング動作や自動焦点調節（ＡＦ）動作の制御、並びに自動露出調節（ＡＥ）制御等を行う。また、ＣＰＵ６２は、ディスプレイ部５４に表示する表示用のデータを生成する処理制御部として機能する。

ディスプレイ部５４は、ＣＣＤ４６で捉えた画像を表示するのみならず、再生モード時にはメモリカード６６に記録されている画像データが読み出され、ディスプレイ部５４にその再生画像が表示される。

もちろん、当該画像記録再生装置４０において、通信インターフェースなど外部から信号の入力が可能なデータ入力部を付加し、外部から入力された画像データをディスプレイ部５４に再現できるように構成してもよい。

上記の如く構成された画像記録再生装置によれば、ＣＣＤ４６によって撮像された画像がディスプレイ部５４に表示される。この時の表示処理では従来のダイナミックレンジによる表示処理が実行される。観察者がモニタ画面中のある部分を注視し、あるいは、タッチパネルなどによって所望の位置又は領域を指定すると、ＣＰＵ６２は指定に係る部分のダイナミックレンジを変更し、白飛び部分或いは黒潰れ部分を適切に表示させる。観察者の意図に応じて表示画像を最適化する手法は、図１乃至図９で述べた再生画像の最適化と同様の手法が適用される。これにより、観察者は撮像中の画像の表示画面の中から自分が見たい部分をより詳細に観察することができる。

なお、図１０では画像の記録機能と再生機能を兼備した装置を説明したが、撮像した画像データを記録保存する手段を省略し、撮像中の画像を視認可能に再現する機能に特化した装置も可能である。

また、図１０に示した実施の形態では、絞り４４によって光量制御が行われているが、ＣＣＤ４６の電荷蓄積時間を制御する電子シャッターによっても光量制御が可能である。

本発明の実施の形態に係る画像再生装置の正面図図１に示した画像再生装置の内部構造を示す側面図本例の画像再生装置の要部構成を示すブロック図図１に示した画像再生装置の動作手順を示す説明図本例の画像再生装置における階調変換曲線の変更例を示す図本発明の他の実施の形態に係るタッチパネルを備えた画像再生装置の動作手順を示す説明図本発明の更に他の実施の形態に係る画像再生装置の動作手順を示すフローチャート図７のフローチャートに従って動作する画像再生装置における階調変換曲線の例を示す図図７のフローチャートに従って動作する画像再生装置における階調変換曲線の変更例を示す図本発明の他の実施の形態を示すブロック図

符号の説明

１０…画像再生装置、１４…フロントパネル（タッチパネル）、１６…ハーフミラー、１８…モニタ装置（画像出力手段、表示装置）、２０…視線検出装置（領域指定手段）、２２…信号処理装置（階調変換特性可変手段、画像処理手段）、２４…画像格納部（画像データ入力部）、３０，６２…ＣＰＵ（階調変換特性可変手段、画像処理手段）、４０…画像記録再生装置、４６…ＣＣＤ（画像データ入力部）、５２…信号処理部（画像処理手段）、５４…ディスプレイ部（画像出力手段、表示装置）

Claims

反射率の範囲が広い広ダイナミックレンジの画像データが入力される画像データ入力部と、
前記画像データ入力部から受入した画像データに基づいて画像を視認可能に再現する第１の画像出力手段と、
前記画像出力手段で再現される画像中から観察者の意図に応じた所望の領域を指定する領域指定手段と、
前記領域指定手段で指定された領域における前記画像データの反射率のヒストグラムを作成する手段と、
前記作成したヒストグラムに基づいて所定の割合の画像データが存在する反射率領域を変換領域として選択する手段と、
前記選択された変換領域のみに階調を与える階調変換曲線、又は前記選択された変換領域に階調を多く振り分ける階調変換曲線を用いて前記広ダイナミックレンジの画像データの階調変換を行う階調変換手段と、
前記階調変手段によって階調変換された画像データに基づいて画像を視認可能に再現する第２の画像出力手段と、
を備えたことを特徴とする画像再生装置。
前記第１の画像出力手段は、前記画像データ入力部から受入した画像データの全ての反射率の範囲に階調を割り当てるように設定された階調変換曲線を用いて前記広ダイナミックレンジの画像データを階調変換し、該階調変換された画像データに基づいて画像を視認可能に再現することを特徴とする請求項１に記載の画像再生装置。
前記第１の画像出力手段及び第２の画像出力手段として表示装置及びプリンタの少なくとも一つを具備したことを特徴とする請求項１又は２に記載の画像再生装置。
前記第１の画像出力手段として表示装置が用いられ、
前記領域指定手段は、前記表示装置の画面を見る観察者の視線方向を検出する視線検出装置を有し、前記視線検出装置によって視線検出された部分を含む一定の領域を、観察者の意図に応じた所望の領域として指定することを特徴とする請求項１から３のいずれかに記載の画像再生装置。
前記１の画像出力手段として表示装置が用いられ、
前記領域指定手段は、前記表示装置に設けられたタッチパネルを有し、該タッチパネルによって指定された領域を、観察者の意図に応じた所望の領域として設定することを特徴とする請求項１から３のいずれかに記載の画像再生装置。