JP2016109828A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 より臨場感の高い映像を観察者に提示する。【解決手段】 画像データを表示デバイスで表示するための画像処理装置であって、時間軸に沿って表示対象シーンの明るさを取得する明るさ取得手段と、前記表示対象シーンの明るさの時系列データに基づいて、該表示対象シーンに対する取得データサイズを決定する取得データサイズ決定手段と、前記取得データサイズに従い前記表示対象シーンに対応する入力画像データを取得する入力画像データ取得手段と、記入力画像データに基づき、前記表示デバイスに出力するための出力画像データを生成する出力画像データ生成手段と有することを特徴とする。【選択図】 図２

Description

本発明は、映像を効率良く再生・表示するための画像処理に関する。

観察者の頭部に固定するヘッドマウントディスプレイ（以降、ＨＭＤ）を用いて、観察者が画像を視聴する技術が知られている。また近年は、眼鏡型ディスプレイなども知られている。ＨＭＤ等に表示される画像データは、３次元空間中のある点を中心とする全方位の映像を記録したデータ（以後、全周囲映像データと呼ぶ）をその都度切り出した映像である。特許文献１には、ＨＭＤに内蔵されたセンサを用いて観察者の動作を検出し、観察者の頭の動きに対応する操作に応じて表示された画像をスクロールし、表示する方法について開示している。

特開２０１３−２５４２５１号公報

一般に映像の臨場感は、その映像の解像度やダイナミックレンジが高いほど向上する。しかしながら、全周囲映像データの解像度やダイナミックレンジを高めると、ハンドリングするデータ量が爆発的に増加する。そのため、全周囲映像データから部分データのみを抽出する場合であっても部分データの表示にかかる処理時間が増大する。その結果観察者の視線方向の動きに応じた映像表示のレスポンスが低下し、臨場感が損なわれるという課題があった。

そこで本発明では、表示する映像の明るさの変化に応じて映像の取得データ量を制御することにより、全周囲映像データの一部を効率良く切り出し、再生することを目的とする。

上記課題を解決するため本発明は、画像データを表示デバイスで表示するための画像処理装置であって、時間軸に沿って表示対象シーンの明るさを取得する明るさ取得手段と、前記表示対象シーンの明るさの時系列データに基づいて、該表示対象シーンに対する取得データサイズを決定する取得データサイズ決定手段と、前記取得データサイズに従い前記表示対象シーンに対応する入力画像データを取得する入力画像データ取得手段と、記入力画像データに基づき、前記表示デバイスに出力するための出力画像データを生成する出力画像データ生成手段と有することを特徴とする。

本発明により、より臨場感の高い映像を観察者に提示することができる。

画像処理装置のハードウェア構成を示す図。 実施例１に係る画像処理装置の機能ブロック図。 実施例１に係る画像処理装置における一連の処理の流れを示すフローチャート。 全周囲映像の一例を示す図。 視野領域の一例を示す図。 順応輝度の遷移の一例を示す図。 実施例１に係る視野領域の明るさと順応輝度の一例を示す図。 実施例２に係る画像処理装置の機能ブロック図。 実施例２に係る画像処理装置における一連の処理の流れを示すフローチャート。 実施例２に係る視野領域の明るさと順応輝度の一例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜第１実施形態＞
本実施形態では、観察者の視線方向に対応する表示対象シーンの明るさと、観察者の視覚の順応状態とに応じて表示映像の取得データサイズを決定する。一般に、人間の視覚には明暗順応と呼ばれる機能が備わっており、視界中の光量に応じて無意識のうちに瞳孔の絞りと網膜の感度が最適な状態に調整される。ただし、順応が完了するまでにはある程度の時間を要するため、視界の明るさが急激に変化した場合には一時的に視力が減退する。例えば、薄暗い屋内から日光が照りつける屋外へ出ると、しばらくの間は視覚が露出オーバーの状態となり、視界が白とびして景色の詳細を知覚できない。また、明るい所から暗い所へ移動した場合には露出アンダーの状態となり、視界が黒つぶれしてやはり知覚が困難となる。この特性を利用して、観察者の視覚が表示対象シーンの明るさに充分に順応していない場合には、表示対象シーンに対応する映像の取得データサイズを小さく設定する。これにより、観察者が映像の細部を知覚しにくい順応の過渡期において、臨場感を損なうことなくハンドリングする映像の情報量を削減する。

以下、全周囲映像データを入力画像データとし、入力画像データからヘッドマウントディスプレイ（以後、ＨＭＤと呼ぶ）を装着した観察者の視線方向に応じた部分画像を抽出して表示する場合を例に説明を行う。

図１は、本実施形態における画像処理装置のハードウェア構成例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、ＨＤＤ Ｉ／Ｆ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８で構成される。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０４に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を制御する。ＨＤＤインタフェイス（Ｉ／Ｆ）１０５は、ＨＤＤ１０４や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０５を介して、ＨＤＤ１０４からのデータ読み出し、およびＨＤＤ１０４へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０４に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０４に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力インタフェイス（Ｉ／Ｆ）１０６は、ＨＭＤ１０９に備えられた加速度センサ、地磁気センサ、ＧＰＳセンサ等の各種センサ１１０や、図示しないキーボード、マウス等の入力デバイスを接続する、例えばＵＳＢ等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介してセンサ１１０から各種データを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０７は、ＨＭＤ１０９に備えられたディスプレイ１１１やプロジェクタ等の表示デバイスを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ１０１は、出力インタフェイス１０７を介してディスプレイ１１１にデータを送り、表示を実行させることができる。なお、ＵＳＢやＩＥＥＥ１３９４等の双方向通信インタフェイスを利用すれば、入力Ｉ／Ｆ１０６と出力Ｉ／Ｆ１０７を一つにまとめることができる。

本実施形態で用いる全周囲映像中の１フレームの例を図４に示す。全周囲映像４０２の各画素の座標は、３次元空間中の基準位置４０１からの方向を表わす極座標（θ，φ）と対応付けられており、３次元空間中の球面状の画像データが２次元平面上に射影された形で保持されている。したがって、観察者の視線方向が（θ，φ）の向きを向いている場合、入力画像データである全周囲映像４０２から視線方向（θ，φ）に応じた部分画像を切り出し、表示する。具体的には、ディスプレイ１１１のサイズに相当する領域４０３として、視線方向（θ，φ）を基準として２次元平面上へ射影した領域（以後、表示領域と呼ぶ）４０４の部分画像を入力画像データから抽出して表示すればよい。ただし、入力画像データのデータ量が膨大である場合、ＲＡＭ１０２上に全データを保持することが困難となるため、スワッピングと呼ばれる現象が発生してデータの抽出および表示の処理速度が著しく低下する。

図２は、画像処理装置１００のソフトウェア構成を示す機能ブロック図である。

視野領域取得部２０１は、時刻ｔ’から時刻ｔ（ｔ’＜ｔ）までの間に観察者の視界に入る入力画像上の領域（以後、視野領域Ｒ（ｔ）と呼ぶ）を、センサ情報に基づいて取得する。本実施形態における視野領域Ｒ（ｔ）について、図５を用いて説明する。時刻ｔ’および時刻ｔにおける観察者の視線方向を、それぞれｖ（ｔ’）＝（θｔ’，φｔ’）、ｖ（ｔ）＝（θｔ，φｔ）とする。このとき、先に述べた表示領域が入力画像上を（θｔ’，φｔ’）から（θｔ，φｔ）まで移動する際に通過する領域（図５中の網掛けの領域）を視野領域Ｒ（ｔ）とする。なお、視野領域は所定時間内に観察者の視界に入る領域を含む領域であればよく、上述した領域Ｒ（ｔ）を内包する矩形領域を視野領域としてもよい。取得された視野領域Ｒ（ｔ）は、明るさ取得部２０２へ送られる。

明るさ取得部２０２は、視野領域Ｒ（ｔ）に基づいて、時刻ｔにおける表示対象シーンの明るさを取得する。本実施形態では、表示対象シーンの明るさＩｒ（ｔ）として、入力画像データから視野領域Ｒ（ｔ）内の平均輝度値を求める。なお、明るさＩｒ（ｔ）は領域内の明るさを代表する値であればよく、平均値以外にも中央値や最頻値などを代表値として用いてもよい。また、輝度値以外にもＲＧＢやＸＹＺ、Ｌａｂ、ＹＵＶ、ＹＣｂＣｒなど各種の表色系で表された色成分のうち、明るさに相当する値を用いてもよい。さらには、中心視野を考慮して視野領域内の一部の領域（例えば、時刻ｔにおける表示領域）のみから明るさＩｒ（ｔ）を算出してもよい。取得された明るさＩｒ（ｔ）は、順応状態推定部２０３および取得データサイズ決定部２０４へ送られる。

順応状態推定部２０３は、表示対象シーンの明るさの時系列データに基づき、時刻ｔにおける観察者の順応状態を推定する。本実施形態では、順応状態を表わす指標として観察者の視覚が適応している最も見やすい輝度（以後、順応輝度と呼ぶ）を用いる。時刻ｔ’において順応輝度Ｉｓ（ｔ’）が表示対象シーンの明るさＩｒ（ｔ’）と異なる場合について考える。この場合時刻ｔ（ｔ’＜ｔ）における順応輝度Ｉｓ（ｔ）は、Ｉｓ（ｔ’）を起点とし、順応が完了するまでに要する遷移時間Ｔｃが経過した時刻ｔ’＋Ｔｃに明るさＩｒ（ｔ’）へ到達する順応曲線Ｃｔに基づき推定する。本実施形態では、順応完了までの時間の経過率ｄＴに対する順応輝度の変化率ｄＳを表わす曲線を予め記憶しておき、この曲線を順応輝度Ｉｓ（ｔ’）と表示対象シーンの明るさＩｒ（ｔ’）とに応じてスケーリングすることにより順応曲線Ｃｔを予測する。このとき、順応曲線Ｃｔ上の時刻ｔにおける順応輝度Ｉｓ（ｔ）を次式に従い推定する。

Ｉｓ（ｔ）＝Ｉｓ（ｔ’）＋（Ｉｒ（ｔ’）−Ｉｓ（ｔ’））＊ｄＳ（ｄＴ） 式（１）
ｄＴ ＝（ｔ−ｔ’）／Ｔｃ 式（２）
ここで、ｄＳ（ｄＴ）は時間の経過率ｄＴに対する順応輝度の変化率であり、ｔ＝ｔ’のときｄＳ（０）＝０、ｔ＝ｔ’＋ＴｃのときｄＳ（１）＝１である。また、順応が完了するまでに要する遷移時間Ｔｃは、一般的な人間の視覚特性に基づき、暗順応（Ｉｓ（ｔ’）＞Ｉｒ（ｔ’））の場合は５分〜３０分程度、明順応（Ｉｓ（ｔ’）＜Ｉｒ（ｔ’））の場合は０．１秒〜４０秒程度の値を予め定めておく。順応輝度の遷移の例を図６に示す。同図（ａ）は、時間の経過率ｄＴに対する順応輝度の変化率ｄＳを表わす曲線である。この曲線を予め記憶する際は、曲線を表わす式の形で記憶しておいてもよいし、適当な間隔でサンプリングした曲線上の値をＬＵＴの形で記憶しておいてもよい。また、図６（ｂ）は、同図（ａ）の曲線をスケーリングして予測した順応曲線Ｃｔである。なお、推定する順応状態は映像中のシーンを実際に見た際に引き起こされる状態であることが望ましく、ディスプレイに表示した映像を見た際の順応状態と一致している必要はない。推定した順応輝度Ｉｓ（ｔ）は、取得データサイズ決定部２０４へ送られる。

取得データサイズ決定部２０４は、表示対象シーンの明るさＩｒ（ｔ）および観察者の順応輝度Ｉｓ（ｔ）に基づいて、当該表示対象シーンに対する映像の取得データサイズを決定する。本実施形態では、観察者の順応輝度Ｉｓ（ｔ）が表示対象シーンの明るさＩｒ（ｔ）と異なる場合に観察者の視覚が順応の途中であるとみなし、順応が完了している（Ｉｓ（ｔ）とＩｒ（ｔ）が等しい）場合に比べて取得データサイズを小さく設定する。決定した取得データサイズは、入力画像データ取得部２０５へ送られる。

入力画像データ取得部２０５は、視野領域Ｒ（ｔ）とこの領域に対する取得データサイズに従い、ＨＤＤ１０４等の記憶装置や図示しないデータベースから、表示対象シーンに対応する入力画像データを取得する。取得された入力画像データは、出力画像データ生成部２０６へ送られる。

出力画像データ生成部２０６は、入力画像データに対し、ディスプレイ１１１に出力するための射影変換や色変換、フォーマット変換などの各種変換を施して出力画像データを生成する。生成された出力画像データは、ディスプレイ１１１へ送られて表示される。

図３は、画像処理装置１００における一連の処理の動作手順を示すフローチャートである。この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ１０３あるいはＨＤＤ１０４からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって実現される。なお、本実施形態では入力画像データの全てをＲＡＭ１０２上に保持できないことによるスワッピングを回避するため、予め全周囲映像を複数の異なる解像度（ここでは、低、中、高解像度）の入力画像データとしてＨＤＤ１０４等の記憶装置に保持しておく。このとき、各解像度の入力画像データは、１ファイルのデータサイズがＲＡＭ１０２の容量に応じて定めたデータサイズ以下となるように分割して保持されている。これにより、必要な領域を含む必要な解像度の画像データのみを読み出すことができるようにしておくものとする。

ステップ３０１において、入力画像データ取得部２０５は、ＨＤＤ１０４等の記憶装置から低解像度の入力画像データを全て取得し、ＲＡＭ１０２に展開する。

ステップ３０２において、視野領域取得部２０１は、入力Ｉ／Ｆ１０６を介してセンサ１１０からセンサ情報を取得する。視野領域取得部２０１は、一定時間Ｔｓ（例えばセンサ情報のサンプリング周期）が経過するまでのΔｔ刻みの時刻ｔｉ（＝ｔ０＋Δｔ×ｉ、ｉ＝０，１，…，Ｎ、Δｔ×Ｎ＝Ｔｓ、ｔ０はセンサ情報取得時の時刻）について、それぞれ視野領域を算出する。本実施形態では、センサ情報としてＨＭＤ１０９に備えられたセンサ１１０から得られる角加速度（観察者の頭部の角加速度に相当）を用い、この角加速度を時間積分することにより、各時刻ｔｉにおける観察者の視線方向ｖ（ｔｉ）を推定する。そして、時刻ｔ’＝ｔｉ−Δｔから時刻ｔ＝ｔｉまでの間に観察者の視界に入る視野領域Ｒ（ｔｉ）を、視線方向ｖ（ｔｉ−Δｔ）、ｖ（ｔｉ）に基づき算出する。なお、処理開始直後については、時刻ｔ＝０における表示領域を視野領域Ｒ（０）とする。

ステップ３０３において、明るさ取得部２０２は、各時刻ｔｉにおける表示対象シーンの明るさＩｒ（ｔｉ）を求める。具体的には明るさ取得部２０２は、ステップ３０２で算出した視野領域Ｒ（ｔｉ）（ｉ＝０，１，…，Ｎ）に基づいて、ステップ３０１でＲＡＭ１０２に展開した低解像度の入力画像データから各時刻ｔｉにおける表示対象シーンの明るさＩｒ（ｔｉ）を求める。

ステップ３０４において、順応状態推定部２０３は、ステップ３０３で求めた表示対象シーンの明るさＩｒ（ｔｉ）に基づき、時刻ｔｉに沿って順応曲線Ｃｔｉを予測しながら順応輝度Ｉｓ（ｔｉ）を推定する。図７に視野領域とこれに対応する表示対象シーンの明るさ、および、順応輝度の例を示す。図７（ａ）中の網掛け部は暗い領域を、白い領域は明るい領域を表わしており、これらの領域を観察者の視線方向ｖが時刻ｔ０からｔ６にかけて横断する様子を示している。このときに得られる視野領域Ｒ（ｔ０）〜Ｒ（ｔ６）に対応する表示対象シーンの明るさＩｒ（ｔ０）〜Ｉｒ（ｔ６）を図７（ｂ）中に黒点で示す。また、時刻ｔ０において順応輝度Ｉｓ（ｔ０）が表示対象シーンの明るさＩｒ（ｔ０）と等しい場合に、明るさＩｒ（ｔ０）〜Ｉｒ（ｔ６）から推定される順応輝度Ｉｓ（ｔ１）〜Ｉｓ（ｔ６）を同図中に白点で示す。図７の例ではＩｓ（ｔ０）＝Ｉｒ（ｔ０）であることから、時刻ｔ０以降において順応曲線Ｃｔ１は式（１）に従いＩ＝Ｉｒ（ｔ０）（すなわち一定）となると予測される。この順応曲線Ｃｔ１に基づいて、次の時刻ｔ１に関する順応輝度はＩｓ（ｔ１）＝Ｉｒ（ｔ０）と推定される。さらに、時刻ｔ１以降における順応曲線Ｃｔ２はＩｒ（ｔ０）を起点として時刻ｔ１＋ＴｃにＩｒ（ｔ１）へ到達する曲線となると予測される。この時推定される曲線は、式（１）’によって表される。

Ｉ＝Ｉｒ（ｔ０）＋（Ｉｒ（ｔ１）−Ｉｒ（ｔ０））＊ｄＳ（（ｔ-ｔ１）／Ｔｃ））
式（１）’
以降の時刻についても同様にして順応曲線Ｃｔｉに基づいて順応輝度Ｉｓ（ｔｉ）を推定し、推定結果と表示対象シーンの明るさＩｒ（ｔｉ）とを用いて式（１）に従い時刻ｔｉ以降の順応曲線Ｃｔｉ＋１を予測して更新する。ただし、図７（ｂ）の時刻ｔ５，ｔ６のように、表示対象シーンの明るさＩｒ（ｔｉ）が前時刻における明るさＩｒ（ｔｉ−１）から変化しない場合は、順応状態が滑らかに変化することが望ましいため、時刻ｔｉにおける順応曲線の更新は不要である。すなわち、時刻ｔｉ以降も曲線Ｃｔｉに沿って順応が遷移するものと予測し、曲線Ｃｔｉに基づいて順応輝度Ｉｓ（ｔｉ＋１）を推定する。なお、処理開始直後である時刻ｔ＝０においては、観察者の視覚が表示対象シーンの明るさに充分順応していると仮定し、順応輝度Ｉｓ（０）＝Ｉｒ（０）として以後の順応状態を推定する。あるいは、何も表示しない状態でのディスプレイ１１１の輝度Ｉｂに順応している（Ｉｓ（０）＝Ｉｂ）としてもよい。

ステップ３０５において、出力画像データ生成部２０６は、ステップ３０１でＲＡＭ１０２に展開した低解像度の入力画像データから、ステップ３０２で算出した各時刻ｔｉの視野領域Ｒ（ｔｉ）に対応する部分画像を抽出する。そして、部分画像それぞれに対して先に述べたディスプレイ１１１に出力するための各種変換を施し、時刻毎の出力画像データを生成する。生成した低解像度の出力画像データは、出力Ｉ／Ｆ１０７を介してディスプレイ１１１へ出力され、時刻に応じて順次表示される。この処理により、観察者の視線方向に応じた画像を低解像度ではあるが高速に表示し、表示の遅延による臨場感の低下を抑制する。

ステップ３０６において、取得データサイズ決定部２０４は、ステップ３０２で算出した視野領域Ｒ（ｔｉ）の中から処理対象とする領域を１つ選択し、これを注目領域とする。

ステップ３０７において、取得データサイズ決定部２０４は、表示対象シーンの明るさＩｒ（ｔｉ）と順応輝度Ｉｓ（ｔｉ）に基づき、ステップ３０６で選択した注目領域について観察者の視覚が充分に順応しているか否かを判定する。具体的には、注目領域が視野領域Ｒ（ｔｉ）である場合、時刻ｔｉにおける表示対象シーンの明るさＩｒ（ｔｉ）と順応輝度Ｉｓ（ｔｉ）との差分を所定の閾値と比較する。取得データサイズ決定部０２４は、｜Ｉｒ（ｔｉ）−Ｉｓ（ｔｉ）｜＜ΔＩ（ΔＩは明るさに関して予め定めた閾値）を満たす場合に充分に順応していると判断する。充分に順応していると判断した場合は、注目領域に対する取得データサイズを高解像度と決定し、ステップ３０８へ進む。順応が不充分と判断した場合には、取得データサイズを中解像度と決定し、ステップ３０９へ進む。

ステップ３０８において、入力画像データ取得部２０５は、ＨＤＤ１０４等の記憶装置からステップ３０６で選択した注目領域が含まれる高解像度の入力画像データを取得してＲＡＭ１０２に展開し、ステップ３１０へ進む。なお、注目領域が含まれる高解像度の入力画像データのうち、一部または全部をこれまでの処理において既にＲＡＭ１０２に展開済みである場合は、不足分のデータのみを取得すればよい。

ステップ３０９において、入力画像データ取得部２０５は、ＨＤＤ１０４等の記憶装置からステップ３０６で選択した注目領域が含まれる中解像度の入力画像データを取得してＲＡＭ１０２に展開し、ステップ３１０へ進む。なお、注目領域が含まれる中解像度の入力画像データのうち、一部または全部をこれまでの処理において既にＲＡＭ１０２に展開済みである場合は、不足分のデータのみを取得すればよい。

ステップ３１０において、出力画像データ生成部２０６は、ステップ３０８またはステップ３０９でＲＡＭ１０２に展開した高解像度または中解像度の入力画像データから、ステップ３０６で選択した注目領域の部分画像を抽出する。そして、部分画像に対して先に述べたディスプレイ１１１に出力するための各種変換を施し、注目領域の出力画像データを生成する。生成された高解像度または中解像度の出力画像データは、出力Ｉ／Ｆ１０７を介してディスプレイ１１１へ出力され、時刻に応じて低解像度の出力画像と順次差し替えられて表示される。

ステップ３１１において、出力画像データ生成部２０６は、ステップ３０２で算出した全ての視野領域Ｒ（ｔｉ）について中解像度または高解像度の出力画像データを生成したか否かを判定する。全ての領域について生成済みである場合にはステップ３１２へ進み、未生成の領域がある場合にはステップ３０６へ戻る。

ステップ３１２では、一連の処理を続行するか否かを判定する。入力Ｉ／Ｆ１０６を介したユーザ指示により終了を指示された場合には処理を終了し、終了の指示がない場合にはステップ３０２へ戻って処理を続行する。処理を続行した際、これまでの処理において既に取得または生成済みで再利用可能な画像データがＲＡＭ１０２上に残っている場合は、以後の処理における取得処理（ステップ３０８、３０９）や生成処理（ステップ３１０）をスキップする。

なお、本実施形態では視野領域に基づき低解像度の入力画像データを用いて表示対象シーンの明るさを取得する例について説明したが、別途視線方向や時刻に対する明るさの情報をテーブルデータとして保持しておき、このテーブルを参照して取得してもよい。

また、順応状態に対する閾値処理により取得データサイズを高解像度または中解像度の２段階のデータサイズから選択する例について説明したが、より多段階のデータサイズから選択する構成にしてもよい。

また、予め複数の異なる解像度で保持されている入力画像データを用いる例について説明したが、高解像度の画像データから異なるサンプリング間隔でデータを読み込むことにより異なる解像度の入力画像データを取得してもよい。

また、全周囲映像の座標軸と視線方向（θ，φ）との対応付けの方式として、横軸をθ、縦軸をφと対応付ける正距円筒マップ方式を用いて説明したが、球状マップ方式やその他の方式を用いてもよい。

また、センサから得られる角加速度に基づき観察者の視線方向を推定する例について説明したが、磁気式あるいは光学式の位置センサや速度センサなど他のセンサから得られる情報に基づき推定してもよい。

また、ＨＭＤを装着した観察者の視線方向に応じて全周囲映像を表示する例について説明したが、視野領域を画像全体とすれば、映像をディスプレイに表示する一般の場合にも適用可能である。その場合、視野領域取得部２０１は不要となる。

また、観察者の順応輝度と表示対象シーンの明るさとの差に基づいて取得データサイズを設定する例について説明したが、表示対象シーンの明るさのみに基づいて入力画像データの取得データサイズを設定してもよい。例えば、表示対象シーンの明るさが急激に変化した場合には、順応輝度と表示対象シーンの明るさとの乖離が一時的に生じると予想できる。したがって、時間軸方向における表示対象シーンの明るさの変動量が閾値以上である場合に、取得データサイズを小さく設定すればよい。その場合、順応状態推定部２０３は不要となる。

また、本実施形態で用いたＣＰＵ１０１に替えてＧＰＵなどを用いて実現しても、同様の効果を得ることができる。

以上説明した処理制御を行うことで、全周囲映像データを効率良く再生し、より臨場感の高い映像を観察者に提示することが可能となる。

＜第２実施形態＞
第１実施形態では、予め定めた順応が完了するまでの遷移時間を用いて順応曲線を予測する方法について説明した。本実施形態においては、入力画像データの取得にかかる所要時間を考慮して順応が完了するまでの遷移時間を設定し、順応曲線を予測する例について説明する。また、出力画像データを生成する際に順応状態に応じたトーンマッピングを行う例について説明する。

ディスプレイのダイナミックレンジに対して入力画像データのダイナミックレンジが広い場合、入力画像データをディスプレイに出力するための変換の一つとして、ダイナミックレンジを圧縮するトーンマッピング処理を行う必要がある。本実施形態では、順応輝度周辺のレンジについて優先して視認性を高め、順応輝度から遠いほど視認性が低下するようにダイナミックレンジを圧縮する。これにより、ディスプレイのダイナミックレンジに依らず、映像中のシーンを実際に見た場合の見た目を画像上で再現する。さらに、入力画像データの取得に要する時間を考慮して順応の遷移時間を設定することにより、入力画像データの取得状況に合わせて出力画像の視認性を制御する。

第２実施形態における画像処理装置１００のソフトウェア構成を示す機能ブロック図を図８に示す。なお、視野領域取得部２０１、明るさ取得部２０２、取得データサイズ決定部２０４、入力画像データ取得部２０５については第１実施形態と同一であるため説明を省略し、第１実施形態と異なる点を中心に簡潔に説明する。

本実施形態における順応状態推定部２０３はデータ取得時間推定部８０１を備え、出力画像データ生成部２０６はトーンマッピング部８０２を備える。

データ取得時間推定部８０１は、表示対象シーンに対応する入力画像データの取得にかかる所要時間を推定する。まず、表示対象シーンに対応する視野領域と、ＨＤＤ１０４等の記憶装置に記憶されている入力画像データのデータ量に基づき、出力画像データの生成に必要な入力画像データのデータ量（以後、必要取得データ量Ｄと呼ぶ）を求める。そして、システムバス１０８のデータ転送速度Ｖに基づいて、入力画像データが記憶されている記憶装置からＲＡＭ１０２へ必要取得データ量Ｄ分のデータを転送する際にかかる所要時間Ｔｄを次式に従い推定する。

Ｔｄ＝Ｄ／Ｖ 式（３）
なお、システムバス１０８のデータ転送速度Ｖは予め測定して記憶しておく。あるいは、システムバス１０８のデータ転送速度を測定する監視部を別途設け、この監視部からデータ転送速度Ｖを随時取得してもよい。

順応状態推定部２０３は、データ取得時間推定部８０１が推定した所要時間Ｔｄに応じて順応が完了するまでの遷移時間Ｔｃを設定し、観察者の順応状態を推定する。本実施形態では、所要時間Ｔｄが経過した後に順応が完了するように、次式に従い遷移時間Ｔｃを決定する。

Ｔｃ＝Ｔｄ＋α 式（４）
ここで、α（≧０）は順応が完了するどのくらい前に入力画像データの取得を完了するかを表わすパラメータである。なお、視覚特性に基づき予め定めた順応が完了するまでの時間をＴｅとしたときにＴｅ＞Ｔｄ＋αである場合は、視覚特性に基づく視認性の再現を優先してＴｃ＝Ｔｅとしてもよい。以上で決定した遷移時間Ｔｃを用いて、式（１）に従い時刻ｔにおける観察者の順応輝度を推定する。詳細は第１実施形態と同一であるため説明を省略する。推定した順応輝度は、取得データサイズ決定部２０４および出力画像データ生成部２０６へ送られる。

トーンマッピング部８０２は、表示対象シーンに対応する入力画像データに、順応輝度に応じたトーンマッピング処理を施す。トーンマッピング処理の代表的な手法の一つとして、次式に従い輝度変換を行うものが知られている。

Ｌ’＝Ｌｎ／（１＋Ｌｎ） 式（５）
Ｌｎ＝０．１８／Ｌｍ＊Ｌ 式（６）
ここで、Ｌ’は変換後の輝度値、Ｌｍは中間明度に対応する輝度値、Ｌは変換前の輝度値である。本実施形態では、順応輝度を中間明度に対応する輝度値Ｌｍとして用いて変換を行う。このとき、トーンマッピング処理後の画像では、順応輝度よりも明るいレンジほど階調が潰れて視認性が低くなる。なお、変換関数としては順応輝度周辺の視認性が高く、それ以外の部分の視認性が低くなるような特性を持つものであれば、上記以外にも利用可能である。

出力画像データ生成部２０６は、トーンマッピング部８０２によるトーンマッピング処理が施された画像データに対し、ディスプレイ１１１に出力するための射影変換や、色変換、フォーマット変換などの各種変換を施して出力画像データを生成する。生成された出力画像データは、ディスプレイ１１１へ送られて表示される。

以下、図９に示すフローチャートを用いて、本実施形態に係る画像処理装置１００における一連の処理の動作手順を説明する。なお、本実施形態で第１実施形態と同様に、予め全周囲映像を異なる解像度（低、中、高解像度）ごとに複数のファイルに分割した入力画像データとしてＨＤＤ１０４等の記憶装置に保持しておく。

ステップ３０１からステップ３０３は第１実施形態と同一であるため説明を省略する。

ステップ９０１において、データ取得時間推定部８０１は、データの取得に係る時間を推定する。具体的には、視野領域Ｒ（ｔｉ）（ｉ＝０，１，…，Ｎ）に基づいて、視野領域Ｒ（ｔｉ）が含まれる高解像度および中解像度の入力画像データを取得する際にかかる所要時間Ｔｄ（ｔｉ）を、時刻ｔｉ毎に推定する。例えば、視野領域Ｒ（ｔｉ）が含まれる高解像度入力画像データファイルのデータ量がＮ［ｂｉｔ］、同じくＲ（ｔｉ）が含まれる中解像度入力画像データファイルのデータ量がＭ［ｂｉｔ］であるとする。この場合式（３）における必要取得データ量ＤにＭ＋Ｎを代入して所要時間Ｔｄ（ｔｉ）を推定する。

ステップ９０２において、順応状態推定部２０３は、ステップ３０３で求めた表示対象シーンの明るさＩｒ（ｔｉ）に基づき、時刻ｔｉに沿って順応曲線Ｃｔｉを予測しながら順応輝度Ｉｓ（ｔｉ）を推定する。このとき、データ取得時間推定部８０１が推定した所要時間Ｔｄ（ｔｉ）を用いて式（４）に従い遷移時間Ｔｃを算出し、これを用いて式（２）に従い順応曲線Ｃｔｉを予測する。その他の詳細は第１実施形態のステップ３０４と同一であるため説明を省略する。

ステップ９０３において、出力画像データ生成部２０６は、ステップ３０１でＲＡＭ１０２に展開した低解像度の入力画像データから、ステップ３０２で算出した各時刻ｔｉの視野領域Ｒ（ｔｉ）に対応する部分画像を抽出する。そして、トーンマッピング部８０２が、部分画像それぞれに対して式（５）、式（６）に従いトーンマッピング処理を施す。このとき、式（６）における中間明度に対応する輝度値Ｌｍには、ステップ９０２で推定した順応輝度Ｉｓ（ｔｉ）を代入する。続いて出力画像データ生成部２０６は、トーンマッピング処理後の画像データに対してディスプレイ１１１に出力するための各種変換を施し、時刻毎の出力画像データを生成する。生成した低解像度の出力画像データは、出力Ｉ／Ｆ１０７を介してディスプレイ１１１へ出力され、時刻に応じて順次表示される。

ステップ３０６からステップ３０９は第１実施形態と同一であるため説明を省略する。ただし、順応輝度はステップ９０２で推定したものを用いる。

ステップ９０４において、出力画像データ生成部２０６は、ステップ３０８またはステップ３０９でＲＡＭ１０２に展開した高解像度または中解像度の入力画像データから、ステップ３０６で選択した注目領域の部分画像を抽出する。そして、トーンマッピング部８０２が、部分画像に対して式（５）、式（６）に従いトーンマッピング処理を施す。このときステップ９０３と同様に、式（６）における中間明度に対応する輝度値Ｌｍには、ステップ９０２で推定した順応輝度Ｉｓ（ｔｉ）を代入する。続いて出力画像データ生成部２０６は、トーンマッピング処理後の画像データに対してディスプレイ１１１に出力するための各種変換を施し、注目領域の出力画像データを生成する。生成された高解像度または中解像度の出力画像データは、出力Ｉ／Ｆ１０７を介してディスプレイ１１１へ出力され、時刻に応じて低解像度の出力画像と順次差し替えられて表示される。

ステップ３１１からステップ３１２は第１実施形態と同一であるため説明を省略する。

図１０に、本実施形態における順応輝度の例を示す。上述した図７（ａ）と同様、図１０（ａ）中の網掛け部は暗い領域を、白い領域は明るい領域を表わしている。また、観察者の視線方向ｖが時刻ｔ０’からｔ３’にかけて暗い領域から明るい領域へ移動し、その後ｔ６’まで明るい領域に停滞している様子を示している。このときに得られる視野領域Ｒ（ｔ０’）〜Ｒ（ｔ６’）に対応する表示対象シーンの明るさＩｒ（ｔ０’）〜Ｉｒ（ｔ６’）を図１０（ｂ）、（ｃ）中に黒点で示す。また、時刻ｔ０’において順応輝度Ｉｓ（ｔ０’）が表示対象シーンの明るさＩｒ（ｔ０’）と等しい場合に、明るさＩｒ（ｔ０’）〜Ｉｒ（ｔ６’）から推定される順応輝度Ｉｓ（ｔ１’）〜Ｉｓ（ｔ６’）を同図中に白点で示す。ただし、図１０（ｂ）は予め定めた遷移時間Ｔｅを用いて順応曲線を予測した場合の例である。また、図１０（ｃ）は入力画像データの取得にかかる所要時間Ｔｄ（ｔｉ）に応じて式（４）に従い遷移時間Ｔｃを設定し、順応曲線を予測した場合の例である。

人間の視覚特性を考慮すると、図１０（ａ）に示したシーンを観察者に提示する場合、時刻ｔ２’付近においてシーンが急激に明るく変化した際に明るい領域が白飛びして見え、その後徐々に、白飛びした領域の細部が明瞭に見えるようになると理想的である。このとき、視界の大部分を占める明るい領域が白飛びして見える間は、解像度の低い入力画像データから生成した出力画像を表示しても、解像度の低さは視認されずに臨場感を維持できると考えられる。したがって、表示対象シーンに対応する高解像度の入力画像データの取得、および、この入力画像データをもとにした高解像度の出力画像データの生成は、順応が進んで対象シーン全体が明瞭に見えるようになるまでに完了すればよい。

図１０（ｂ）の例では、時刻ｔ３’から始まる順応が順応曲線Ｃｔ４’に沿って時刻ｔ６’までに完了しており、時刻ｔ６’以降においてはほぼ白飛びのない出力画像が表示されることとなる。ここでもしＴｅ＜Ｔｄ（ｔ６’）であった場合には、時刻ｔ６’までに視野領域Ｒ（ｔ６’）に関する高解像度の出力画像の生成が間に合わない可能性がある。その場合、表示の遅延による臨場感の低下を抑制するために、既に生成済みの低解像度の出力画像が表示されることとなるが、この出力画像は表示対象シーンの適正露出で生成された画像である。その結果、解像度の低さが視認されやすく映像の臨場感を損なう恐れがある。

これに対し、図１０（ｃ）の例では、データ取得にかかる所要時間を考慮して順応曲線を予測しているため、出力画像を高解像度で表示する必要がある順応状態となるまでに、余裕を持って高解像度の入力画像データの読み込みを完了できる。

以上説明した処理制御を行うことで、映像中のシーンを観察者が実際に見た場合の見た目の明るさをディスプレイ上に再現し、より臨場感の高い映像を観察者に提示することができる。さらに、入力画像データの取得に要する時間を考慮して出力画像の視認性を制御し、入力画像データの取得に時間を要する場合に生じる臨場感の低下を軽減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２ 明るさ取得部
２０４ 取得データサイズ決定部
２０５ 入力画像データ取得部
２０６ 出力画像データ生成部

Claims (6)

1. 画像データを表示デバイスで表示するための画像処理装置であって、
   時間軸に沿って表示対象シーンの明るさを取得する明るさ取得手段と、
   前記表示対象シーンの明るさの時系列データに基づいて、該表示対象シーンに対する取得データサイズを決定する取得データサイズ決定手段と、
   前記取得データサイズに従い前記表示対象シーンに対応する入力画像データを取得する入力画像データ取得手段と、
   前記入力画像データに基づき、前記表示デバイスに出力するための出力画像データを生成する出力画像データ生成手段と
   を有することを特徴とする画像処理装置。
2. さらに、観察者の視覚の順応状態を推定する順応状態推定手段を備え、
   前記取得データサイズ決定手段は、前記順応状態に基づき、観察者の視覚が前記表示対象シーンに対して充分に順応していない場合には、観察者の視覚が前記表示対象シーンに対して充分に順応している場合に比べて、前記取得データサイズをより小さいデータサイズに決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記順応状態推定手段は、前記入力画像データの取得にかかる所要時間を推定し、該所要時間が経過した後に観察者の視覚の順応が完了すると仮定して前記順応状態を推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記出力画像データ生成手段は、前記入力画像データに対し前記順応状態に基づくトーンマッピングを施して前記出力画像データを生成することを特徴とする請求項２または３に記載の画像処理装置。
5. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至４の何れか一項に記載された画像処理装置として機能させることを特徴とするプログラム。
6. 画像データを表示デバイスで表示するための画像処理方法であって、
   時間軸に沿って表示対象シーンの明るさを取得し、
   前記表示対象シーンの明るさの時系列データに基づいて、該表示対象シーンに対する取得データサイズを決定し、
   前記取得データサイズに従い前記表示対象シーンに対応する入力画像データを取得し、
   前記入力画像データに基づき、前記表示デバイスに出力するための出力画像データを生成することを特徴とする画像処理方法。

Images