JP2014027351A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】観察者に最適な解像度の映像を提供するためには、視力の個人差や左右の眼の視力差を考慮することも重要となる。
【解決手段】画像処理装置であって、観察者の両眼の視力を取得する視力取得手段と、前記視力取得手段によって取得した両眼の視力に応じて左右それぞれの眼に表示する画像の解像度を変換する解像度変換手段とを備えることを特徴とする。
【選択図】図５

Description

本発明は、視差画像データを用いた3次元画像処理技術に関する。

近年、３Ｄ映画の普及や、ディスプレイ、カメラ、プリンタ等のデバイスの進化によって、立体視への要求が高まっている。

両眼の視差を利用した３Ｄ映像のデータサイズは、同じ解像度の２D映像のデータサイズに対して２倍となる。そのため様々なデータ圧縮の方式が提案されている。例えば、日本における３Ｄ放送では、1つのフレームに左眼用の映像と右眼用の映像を左右に並べるサイドバイサイド方式が採用されており、この方式では、横方向の解像度を半分にしてデータサイズを小さくしている。つまり、サイドバイサイド方式でデータ圧縮した場合、データサイズを１／２に圧縮することができるが、横方向の解像度が１／２となるため、視聴者が感じる解像感も半分に落ちてしまう。

一方で、表示デバイス自体の表示性能特性と、表示対象画像の有する視覚的効果の両方を考慮して表示対象画像の視覚的効果を向上させる処理を行い、個々の表示デバイスの持つ特性に応じた最適な表示を可能とする技術も提案されている（特許文献１参照）。

特開２００３−１５０２８９号公報

上記特許文献１に開示された技術は、デバイスとコンテンツの双方の特性を考慮した映像の最適化技術と言い得る。しかし、観察者が映像を観察し知覚するうえでは、これらの特性に加えて観察者自身の視覚特性、特に視力が映像の最適化の重要なファクタとなり得る。そして、視力には個人差があり、左右の眼が同じ視力であるとも限らない。人間は、眼の解像限界を超えるような非常に高解像度の映像を観察しても、その解像感を知覚することはできないところ、眼の解像限界は視力に依存するものである。つまり、同じ解像度の映像を視力の異なる人が見た場合、視力の違いによってそれぞれの人が感じる解像感は異なるということになる。これは、左右の視力差に関しても同様のことが言える。観察者に最適な解像度の映像を提供するためには、視力の個人差や左右の眼の視力差を考慮することも重要となる。

例えば、不用意に眼の解像限界よりも低い解像度に解像度変換してしまった場合には、観察者が知覚する解像感を著しく損なってしまう。一方で、３D映像の解像度変換および表示において、視力のような個人差を含む特性を考慮せず左右それぞれの眼に提示する画像の解像度を決定した場合には、眼の解像限界を超えた部分のデータが無駄になる可能性がある。

本発明に係る画像処理装置は、観察者の両眼の視力を取得する視力取得手段と、前記視力取得手段によって取得した両眼の視力に応じて左右それぞれの眼に表示する画像の解像度を変換する解像度変換手段とを備えることを特徴とする。

本発明によれば、観察者にとって最適な解像感の3D映像を提供することができる。

実施例１に係る、偏光表示方式による３Ｄ映像表示システムの構成を示した図である。 スクリーンに投影された３Ｄ映像を人間が観察する様子を示す図である。 実施例１に係る、システム制御装置の内部構成を示すブロック図である。 偏光板制御装置の制御動作を説明する図である。 実施例１に係る、システム制御装置における処理の流れを示すフローチャートである。 実施例２に係る、時分割方式による３D映像表示システムの構成を示した図である。 実施例２に係る、システム制御装置の内部構成を示すブロック図である。 時分割方式による３D映像の表示方法を説明する図である。 視力と視角、および解像度の関係を説明する図である。 実施例２に係る、解像度最適化処理の流れを示すフローチャートである。 視認限界解像度を導出する処理の流れを示すフローチャートである。 表示デバイスの表示解像度を考慮した、視差画像データの変換解像度設定処理の流れを示すフローチャートである。 視差画像データを無線伝送する際のデータ転送レートを考慮した、視差画像データの変換解像度設定処理の流れを示すフローチャートである。 実施例2における解像度変換処理の流れを示すフローチャートである。

［実施例１］
図１は、本実施例に係る、２台のプロジェクタを用いた偏光表示方式による３Ｄ映像表示システムの構成を示した図である。表示システム１００は、スクリーン１０１、第１のプロジェクタ１０２、第２のプロジェクタ１０３、第１の偏向板１０４、第２の偏光板１０５、システム制御装置１０６及び偏光板制御装置１０７によって構成される。そして、第１及び第２のプロジェクタ１０２／１０３とシステム制御装置１０６とがＨＤＭＩケーブル１０８を介して、第１及び第２の偏光板１０４／１０５と偏光板制御装置１０７とがＵＳＢケーブル１０９を介して接続されている。

スクリーン１０１は、偏向方式の３Ｄ投影に用いられるシルバースクリーンであり、偏光特性を損なわないよう、通常のホワイトスクリーンと比べて反射率が高く、拡散率が低く設計されている。

第１のプロジェクタ１０２のレンズの前には第１の偏光板１０４が設置されており、第２のプロジェクタ１０３のレンズの前には第２の偏光板１０５が設置されている。両偏光板１０４及び１０５は、偏光板制御装置１０７によって制御される。

偏光板制御装置１０７は、回転機構を有し、システム制御装置１０６からの制御信号に応じて、第１の偏光板１０４と第２の偏光板１０５とを物理的に入れ替える。

第１の偏光板１０４と第２の偏光板１０５は、直線偏光あるいは円偏光の特性を持つような、偏光方式の３Ｄ投影で一般的に使用される偏光板のペアである。直線偏光の場合は左右の直線偏光板の吸収軸方向が左右の偏光板でお互いに９０度直交する状態に設置し、円偏光の場合は左右の偏光板の偏光方向が右回りと左回りでお互いに逆回りになるように設置する。

本実施例では、第１のプロジェクタ１０２の表示解像度をResA、第２のプロジェクタ１０３の表示解像度をResBとし、第１のプロジェクタがより高解像度（ResA>ResB）であるものとして説明を行うものとする。例えば、第１のプロジェクタの解像度を４Ｋ（4096×2160ピクセル）、第２のプロジェクタの解像度を２Ｋ（2048×1080ピクセル）のような具合である。

図２は、表示システム１００において、スクリーン１０１に投影された３Ｄ映像を人間が観察する様子を示す図である。

観察者２０１は、スクリーン１０１からの反射光を、偏光メガネ２０２を通して観察する。実線２０３は偏光板１０４を透過した光の反射光を示しており、破線２０４は偏光板１０５を透過した光の反射光を示している。

偏光メガネ２０２の左眼用のレンズには偏光板１０４の偏光特性と同じ特性を示す偏光フィルムが貼られており、右眼用のレンズには偏光板１０５の偏光特性と同じ特性を示す偏光フィルムが貼られている。これら偏光フィルムによって、スクリーン１０１からの反射光２０３及び２０４を分離し、左眼には偏光板１０４を透過した光のみが入り、右眼には偏光板１０５を透過した光のみが入るようになっている。

ここで、偏光板制御装置１０７によって、第１のプロジェクタ１０２の前に第１の偏光板１０４が、第２のプロジェクタ１０３の前に第２の偏光板１０５が、それぞれ配置されるように制御されているとする。このとき、第１のプロジェクタ１０２からは左眼用の画像、第２のプロジェクタ１０３からは右眼用の画像をそれぞれ出力することによって、観察者２０１に対して、表示された映像を３Ｄ映像として知覚させることが可能となる。例えば、映像が動画データの場合、フレーム毎に左眼用の画像と右眼用の画像とを上述の方法で出力することで、観察者２０１には３Ｄ動画として知覚される。

なお、本実施例では、視差画像データを構成する左眼用画像の解像度と右眼用画像の解像度は同じ（例えば４K）で、第１のプロジェクタ１０２と第２のプロジェクタ１０３との映像出力タイミングについては同期がとれているものとする。

図３は、システム制御装置１０６の内部構成を示すブロック図である。

ＣＰＵ３０１は、以下の各部を統括的に制御するプロセッサであり、演算処理や各種プログラムの実行を行う。

メインメモリ３０２は、処理に必要なプログラム、データ、作業領域などをＣＰＵ３０１に提供する主記憶装置であって、ＲＯＭとＲＡＭで構成される。

記憶装置３０３は、各種データ、プログラムを格納・保存する装置で、通常はハードディスク等が用いられる。

ＵＳＢ接続ボード３０４は、ＵＳＢケーブルで偏光板制御装置１０７を接続する基板であり、偏光板制御装置１０７に対し制御信号を送信する。

グラフィックスボード３０５は、映像を出力する基板であり、ＨＤＭＩケーブルやＤＶＩケーブルによって第１及び第２のプロジェクタ１０２／１０３に映像信号を送信する。

入力装置３０６は、ユーザが各種操作指示を行うためのキーボードやマウスである。

図４は、偏光板制御装置１０７の制御動作を説明する図である。

偏光板制御装置１０７は、回転機構を有しており、システム制御装置１０６からの制御信号を受けて第１の偏光板１０４と第２の偏光板１０５とを入れ替える動作を行う。システム制御装置１０６から第１の制御信号Signal1が送信されると、偏光板制御装置１０７は、プロジェクタ１０２の前に第１の偏光板１０４、第２のプロジェクタ１０３の前に第２の偏光板１０５がそれぞれ配置されるように、回転機構を駆動させる。この第１の制御信号Signal1に基づく制御モードをMode1とする。同様に、システム制御装置１０６から第２の制御信号Signal2が送信されると、偏光板制御装置１０７は、第1のプロジェクタ１０２の前に第２の偏光板１０５、第２のプロジェクタ１０３の前に第１の偏光板１０４が配置されるように、回転機構を駆動させる。この第２の制御信号Signal2に基づく制御モードをMode2とする。

図５は、本実施例に係る、システム制御装置１０６における処理の流れを示すフローチャートである。なお、以下で述べる内容は、記憶装置３０３（ハードディスク等）に格納されたプログラムがメインメモリ３０２内のＲＡＭに読み出され、これをＣＰＵ３０１が実行することにより実現される。

ステップ５０１において、システム制御装置１０６は、ユーザが入力装置３０６を介して入力した、観察者２０１の左眼視力ELおよび右眼視力ERを取得する（視力取得ステップ）。ここで、視力は、視角の逆数で表される小数視力を用いるものとする。なお、視力そのものを入力する代わりに、解像度の異なる複数のサンプル画像（例えば、４Ｋ、２Ｋ、１Ｋの各サンプル画像）を表示し、その中から解像可能な画像をそれぞれの眼について選択させることで、視力を得てもよい。

ステップ５０２において、システム制御装置１０６は、取得した左眼視力ELと右眼視力ERとを比較し、両者の大小関係を判定する。左眼の方が右眼よりも視力が高い（ELの値がERの値より大きい）、あるいは両眼の視力が等しい（EＬとＥＲの値が等しい）場合は、ステップ５０３に進む。一方、右眼の方が左眼よりも視力が高い（ELの値がERの値より小さい）場合は、ステップ５０７に進む。

ステップ５０３において、システム制御装置１０６は、偏光板制御装置１０７に対し、前述の第１の制御信号Signal1を送信する。制御信号Signal1を受けた偏光板制御装置１０７では、制御モードをMode1に設定し、第１のプロジェクタ１０２の前に第１の偏光板１０４を、第２のプロジェクタ１０３の前に第２の偏光板１０５が配置された状態を作る。

ステップ５０４において、システム制御装置１０６は、視差画像データを記憶装置３０３からメインメモリ３０２へとロードして、各プロジェクタの解像度と視差画像データの解像度とを比較し、いずれの解像度が高いかを判定する。プロジェクタの解像度の方が高ければステップ５０６に進む。一方、視差画像データの解像度の方が高ければステップ５０５に進む。

ステップ５０５において、システム制御装置１０６は、視差画像データの解像度を、プロジェクタの解像度に合せて変換（ダウンコンバート）する。本実施例では、視差画像データに含まれる左眼用画像と右眼用画像の解像度は共に４Ｋで、第２のプロジェクタの解像度が２Ｋであるため、第２のプロジェクタから投影される右眼用の像の解像度が４Ｋから２Ｋにダウンコンバートされることになる。

ステップ５０６において、システム制御装置１０６は、左眼用画像データを第１のプロジェクタ１０２に、右眼用画像データを第２のプロジェクタ１０３に送信する。これを受けて第１及び第２のプロジェクタは、それぞれの画像データをスクリーン１０１に向けて出力する。本実施例の場合、解像度が４Ｋのままの左眼用画像が高解像度の第１のプロジェクタ１０２から、解像度を２Ｋに落とした右眼用画像が低解像度の第２のプロジェクタ１０３から、スクリーン１０１上にそれぞれ投影されることになる。

ステップ５０７において、システム制御装置１０６は、偏光板制御装置１０７に対し、前述の第２の制御信号Signal2を送信する。制御信号Signal2を受けた偏光板制御装置１０７では、制御モードをMode2に設定し、第１のプロジェクタ１０２の前に第２の偏光板１０５を、第２のプロジェクタ１０３の前に第１の偏光板１０４が配置された状態を作る。

ステップ５０８において、システム制御装置１０６は、視差画像データを記憶装置３０３からメインメモリ３０２へとロードして、各プロジェクタの解像度と視差画像データの解像度とを比較し、いずれの解像度が高いかを判定する。プロジェクタの解像度の方が高ければステップ５１０に進む。一方、視差画像データの解像度の方が高ければステップ５０９に進む。

ステップ５０９において、システム制御装置１０６は、視差画像データの解像度を、プロジェクタの解像度に合せて変換（ダウンコンバート）する。ここでは、ステップ５０５のときとは逆に、左眼用画像データが第２のプロジェクタ１０３から投影されるので、左眼用画像の解像度が４Ｋから２Ｋにダウンコンバートされることになる。

ステップ５１０において、システム制御装置１０６は、右眼用画像データを第１のプロジェクタ１０２に、左眼用画像データを第２のプロジェクタ１０３に送信する。これを受けて第１及び第２のプロジェクタは、それぞれの視差画像データをスクリーン１０１に向けて出力する。本実施例の場合、解像度が４Ｋのままの右眼用画像が高解像度の第１のプロジェクタ１０２から、解像度を２Ｋに落とした左眼用画像が低解像度の第２のプロジェクタ１０３から、スクリーン１０１上にそれぞれ投影されることになる。

以上のような処理により、観察者２０１の視力の高い方の眼には解像度の高いプロジェクタから投影された映像が、視力の低い方の眼には解像度の低いプロジェクタから投影された映像が提示される。

また、利き目（優位眼）の情報を取得するようにして、例えば左右の視力が等しい或いは左右の視力差が極僅か等の場合などに、利き目に対して高解像度な方のプロジェクタが割り当てられるように制御してもよい。

さらに、本実施例では、回転機構により偏光板を物理的に制御しているが、偏光板の制御方法はこれに限るものではない。例えば、３Ｄ映画の上映方式のひとつであるRealD方式におけるZScreenのような偏光制御デバイスを使用して、偏光方向を制御してもよいことは言うまでもない。

以上のとおり、本実施例によれば、観察者の視力に応じて適切な表示デバイスを割り当てることができる。

［実施例２］
実施例１では、左右それぞれの眼に映像を表示するための表示デバイスの解像度が異なる場合に、観察者の左右の視力に応じて表示デバイスの選択を行うことで、観察者に対して最適な解像感で３Ｄ映像を提示するようにした。次に、あらかじめ決められたデータ転送レートで画像データを転送して出力デバイスにおいて表示する場合に、観察者の左右の視力に応じて、視差画像データの表示解像度の最適化を行う態様について、実施例２として説明する。

図６は、本実施例に係る、時分割方式による３D映像表示システムの構成を示した図である。表示システム６００は、液晶ディスプレイ６０１、システム制御装置６０２及び同期信号発生装置６０３によって構成される。

液晶ディスプレイ６０１は、３Ｄ映像の表示を行う表示デバイスであり、図示しない無線通信ユニットを内蔵している。

システム制御装置６０２は、後述する３Ｄ画像データの解像度最適化処理などの画像処理を行う。また、無線通信ユニットを介して、液晶ディスプレイ６０１に対して画像や音声のデータ通信を行ったり、同期信号発生装置６０３に対して制御信号等の通信を行う。

同期信号発生装置６０３は、液晶ディスプレイ６０１に表示される３Ｄ画像のフレーム情報に合わせてフレーム同期信号を発生させ、当該フレーム同期信号を赤外線で液晶シャッターメガネ６０４に送る。

液晶シャッターメガネ６０４は、同期信号発生装置６０３から送信されるフレーム同期信号に同期して、メガネの左右のレンズ面に配置された液晶を制御し、左右の眼に対して交互に光を入射、遮断させるように動作する。

観察者は、液晶シャッターメガネ６０４を装着して、液晶ディスプレイ６０１に表示される画像を観察することで、３Ｄ映像を体感することができる。

図７は、システム制御装置６０２の内部構成を示すブロック図である。

ＣＰＵ７０１は、以下の各部を統括的に制御するプロセッサであり、演算処理や各種プログラムの実行を行う。

メインメモリ７０２は、処理に必要なプログラム、データ、作業領域などをＣＰＵ７０１に提供する主記憶装置であって、ＲＯＭとＲＡＭで構成される。

記憶装置７０３は、各種データ、プログラムを格納・保存する装置で、通常はハードディスク等が用いられる。

無線通信ボード７０４は、無線通信によって、液晶ディスプレイ６０１と画像や音声のデータ通信を行ったり、同期信号発生装置６０３にフレーム同期信号を発生させる制御命令を送るために使用する。

入力装置７０５は、ユーザが各種操作指示を行うためのキーボードやマウスである。

図８は、本実施例における時分割方式による３D映像の表示方法を説明する図である。

時分割方式では、視差のある２つの画像（左眼用画像と右眼用画像）で構成される３Ｄ画像データ（視差画像データ）を、フレーム毎に順次、液晶ディスプレイ６０１に表示する。たとえば、あるフレームtの左眼用画像が表示されると、次にフレームtの右眼用画像が表示され、続いて、フレームt+1の左眼用画像が表示されると、次にフレームt+1の右眼用画像が表示される、といった具合である。このように、時系列に左眼用画像と右眼用画像とが交互に表示される画像を、観察者は液晶シャッターメガネ６０４を通して見ることによって３Ｄ映像として知覚することができる。例えば、左眼用画像が液晶ディスプレイ６０１に表示される場合、液晶シャッターメガネ６０４では、同期信号発生装置６０３から受信したフレーム同期信号に従って、左眼にのみ光が透過するように左右の液晶を制御する。このような動作を繰り返すことによって、３Ｄ映像を観察者に知覚させることとなる。

図９は、視力と視角、および解像度の関係を説明する図である。

まず、視力と視角の関係について説明する。

視力（小数視力）は、大きさの異なるC字型の環の開いている方向を識別することによって、2つの点が離れていることを見分けることのできる最小の視角で表現される。国際眼科学会で定められた単位の視標（直径7.5mm、太さ1.5mm、切れ目の幅1.5mmのランドルト環）を使用し、この切れ目を距離5mから見ると視角はちょうど1分（=1/60度）となる。この1分の視角を弁別できる視力が、視力1.0として定義されている。視力と視角の関係は以下の式（１）のようになる。
Es = 1 /θv ・・・式（１）
ここで、Esは視力、θvは視角[分]である。

次に、視力と解像限界について説明する。

今、観察者６０４は、液晶ディスプレイ６０１から視距離Lv[m]だけ離れた場所に位置しているものとする。液晶ディスプレイ６０１の画面の物理的なサイズを、幅Wm[m]、高さHm[m]とする。観察者６０４の視力をEsとすると、視角はθv[分]となる。このとき、観察者６０４は、液晶ディスプレイ６０１の画面上において、式（２）で表されるSp[m]の間隔で置かれた2点を見分けることができることになる。
Sp = 2 * tan(θv/2) * Lv ・・・式（２）
但し、式（２）においては、θｖの単位は［分］ではなく[度]である。

例えば、視力1.0の人間が視距離5ｍから観察する場合のSpは、上記式（２）から、0.00145ｍ（≒1.4ｍｍ）となる。この間隔Spが、観察者６０４が視距離Lv[m]の位置から液晶ディスプレイ６０１の画面を見た場合の視認限界値である。つまり、液晶ディスプレイ６０１の1画素あたりの画素サイズ（画素ピッチ）がこのSp以下である場合、観察者６０４は、1画素1画素を見分けられないことになる。本実施例では、1画素あたりの画素サイズが間隔Spとなる解像度を視認限界解像度と呼ぶことにする。

次に、本実施例に係る、システム制御装置６０２における、視差画像データの解像度最適化処理について説明する。

図１０は、解像度最適化処理の流れを示すフローチャートである。なお、以下で述べる内容は、記憶装置７０３としてのハードディスク等に格納されたプログラムがメインメモリ７０２内のＲＡＭに読み出され、これをＣＰＵ７０１が実行することにより実現される。

ステップ１００１において、システム制御装置６０２は、上述の視認限界解像度を、観察者の左右の眼それぞれについて導出する。

ステップ１００２において、システム制御装置６０２は、表示デバイスの解像度を考慮した変換解像度の導出処理を行う。

ステップ１００３において、システム制御装置６０２は、データ転送レートを考慮した変換解像度の導出処理を行う。

ステップ１００４において、システム制御装置６０２は、ステップ１００１〜ステップ１００３の処理で決定された変換解像度に変換する処理を行う。

以下、上記各処理の詳細について、別途フローチャートを用いて説明する。

図１１は、ステップ１００１の視認限界解像度を導出する処理の流れを示すフローチャートである。

ステップ１１０１において、システム制御装置６０２は、観察者６０４の左眼視力ELおよび右眼視力ERを、入力装置７０５等を介して取得する。ここでは、左眼視力として1.0、右眼視力として0.5が入力されたものとする。

ステップ１１０２において、システム制御装置６０２は、観察者６０４が液晶ディスプレイ６０１を観察する際の視距離Lv[m]を、入力装置７０５を介して取得する（視距離取得ステップ）。ここでは、視距離として5mが入力されたものとする。

ステップ１１０３において、システム制御装置６０２は、液晶ディスプレイ６０１のサイズ、すなわち、画面の幅Wm[m]と高さHm[m]を、入力装置７０５を介して取得する（サイズ取得ステップ）。ここでは、液晶ディスプレイは、１６：９、１２０インチのフルHD対応（1,920 x 1,080）であると仮定し、画面の幅Wm：2.67ｍ、画面の高さHm：1.5ｍが入力されたものとする。

ステップ１１０４において、システム制御装置６０２は、視距離Lvにおける左眼の視認限界値Splを導出する。まず、式(1)に左眼視力ELを代入して視力ELの際の視角θvlを求める。具体的には、視角θvlを、以下の式（３）によって求める。
θvl = 1 / EL ・・・式（３）
ここで、左眼視力は1.0なので、θvlは１分（=1/60度）である。
次に、視距離Lvと視角θvlを式(2)に代入して視認限界値Splを求める。具体的には、視認限界値Splを、以下の式（４）によって求める。
Spl = 2 * tan(θvl/2) * Lv ・・・式（４）
いま、Lvは5ｍ、θvlは１分（=1/60度）なので、Splは0.00145ｍ（＝1.45ｍｍ）となる。

ステップ１１０５において、システム制御装置６０２は、視距離Lvにおける右眼の視認限界値Sprを、ステップ１１０４と同様に算出する。具体的には、視角θvrを以下の式（５）によって、右眼の視認限界値Sprを以下の式（６）によってそれぞれ求める。
θvr = 1 / ER ・・・式（５）
Spr = 2 * tan(θvr/2) * Lv ・・・式（６）
ここで、θvrは視力ERの際の視角であり、いま右眼視力は0.5なので、θvrは2分（1/30度）であるから、Sprは約2.9ｍｍとなる。

ステップ１１０６において、システム制御装置６０２は、液晶ディスプレイ６０１の画面サイズに対する左眼の視認限界解像度を導出する。左眼の視認限界解像度を横方向Wpl、縦方向Hplとすると、それぞれ式（７）及び式（８）で表される。
Wpl = Wm / Spl ・・・式（７）
Hpl = Hm / Spl ・・・式（８）
上記式（７）及び（８）から、Wplは1,840、Hplは1,034となる。これは、概ねフルHD（1,920 x 1,080）に対応している。

ステップ１１０７において、システム制御装置６０２は、液晶ディスプレイ６０１の画面サイズに対する右眼の視認限界解像度を導出する。右眼の視認限界解像度を横方向Wpr、縦方向Hprとすると、それぞれ式（９）及び式（１０）で表される。
Wpr = Wm / Spr ・・・式（９）
Hpr = Hm / Spr ・・・式（１０）
上記式（９）及び（１０）から、Wplは920、Hplは517となる。

以上の処理により、観察者の左右の視力、視距離、および画面サイズに対応した左右の眼の視認限界解像度が導出される。

図１２は、表示デバイスの表示解像度を考慮した、視差画像データの変換解像度設定処理の流れを示すフローチャートである。

ステップ１２０１において、システム制御装置６０２は、前述した視認限界解像度導出処理によって得られた左眼の視認限界解像度Wpl（1,840）、Hpl（1,034）と、右眼の視認限界解像度Wpr（920）、Hpr（517）を取得する。取得した各視認限界解像度は、メインメモリ７０２に格納される。

ステップ１２０２において、システム制御装置６０２は、表示デバイスである液晶ディスプレイ６０１の表示解像度を、無線通信装置７０４を介して取得する。取得した表示解像度はメインメモリ７０２に格納される。本実施例では、液晶ディスプレイ６０１の横方向の解像度をWpm（1,920）、縦方向の解像度をHpm（1,080）とする。

ステップ１２０３において、システム制御装置６０２は、ステップ１２０１及び１２０２で取得したWplとWpmとを比較する。WplがWpmよりも小さいと判定された場合には、ステップ１２０４へと進む。一方、WplがWpmよりも大きい、或いは両者が等しいと判定された場合にはステップ１２０５へと進む。ここでは、Wplが1,840であり、Wpm1,920よりも小さいので、ステップ１２０４へと進むことになる。

ステップ１２０４において、システム制御装置６０２は、左眼用画像の変換解像度（横方向Wpl'、縦方向Hpl'）を、横方向Wpl、縦方向Hplに設定する。本実施例では、本ステップにおいて、Wpl'がWpl：1,840に、Hpl'がHpl：1,034に設定されることになる。

ステップ１２０５において、システム制御装置６０２は、左眼用画像の変換解像度（横方向Wpl'、縦方向Hpl'）を、横方向Wpm、縦方向Hpmに設定する。

ステップ１２０６において、システム制御装置６０２は、ステップ１２０１及び１２０２で取得したWprとWpmとを比較する。WprがWpmよりも小さいと判定された場合には、ステップ１２０７へと進む。一方、WprがWpmよりも大きい、或いは両者が等しいと判定された場合にはステップ１２０８へと進む。ここでは、Wprが920であり、Wpm1,920よりも小さいので、ステップ１２０７へと進むことになる。

ステップ１２０７において、システム制御装置６０２は、右眼用画像の変換解像度（横方向Wpr'、縦方向Hpr'）を、横方向Wpr、縦方向Hprに設定する。本実施例では、本ステップにおいて、Wpr'がWpr：920に、Hpr'がHpr：517に設定されることになる。

ステップ１２０８において、システム制御装置６０２は、右眼用画像の変換解像度（横方向Wpr'、縦方向Hpr'）を、横方向Wpm、縦方向Hpmに設定する。

以上の処理により、表示デバイスの表示解像度を考慮した、視差画像データの変換解像度が導出される。

図１３は、システム制御装置６０２から表示デバイスへと、視差画像データを無線伝送する際のデータ転送レートを考慮した、視差画像データの変換解像度設定処理の流れを示すフローチャートである。

ステップ１３０１において、システム制御装置６０２は、前述の表示デバイスの表示解像度を考慮した変換解像度導出処理によって得られた視差画像データの変換解像度Wpl'、Hpl'、Wpr'、Hpr'を取得する。取得された変換解像度はメインメモリ７０２へと格納される。本実施例では、Wpl'：1,840、Hpl'：1,034、Wpr'：920、Hpr'：517が取得されることになる。

ステップ１３０２において、システム制御装置６０２は、表示対象となる視差画像データのフレームレートFR[fps]を取得する。ここでは、フレームレートFRは、60[fps]であるとする。

ステップ１３０３において、システム制御装置６０２は、システム制御装置６０２から液晶ディスプレイ６０１へとデータを無線伝送する際の転送レートTR[bps]を取得する（データ転送レート取得ステップ）。ここでは、転送レートTRは、１G＝1024M［bps］であるとする。

ステップ１３０４において、システム制御装置６０２は、ステップ１３０２でメインメモリ７０２へとロードされた視差画像データから、1フレームあたりの左眼用画像のデータサイズDl[bit]と右眼用画像データのデータサイズDr[bit]を取得する。ここでは、Dl=Wpl'*Hpl'*8(bit)*3(RGB)から44M[bit]となり、同様に、Dr＝11M[bit]が得られることになる。

ステップ１３０５において、システム制御装置６０２は、1秒あたりの視差画像データのデータサイズDt[bit]を、以下の式（１１）により算出する。
Dt = (Dl + Dr) * FR ・・・式（１１）
ここでは、Dl= 44M[bit]、Dr＝11M[bit]なので、上記式（１１）から、Dt=3.2G=3300M[bps]となる。

ステップ１３０６において、システム制御装置６０２は、1秒あたりの視差画像データのデータサイズDtとデータ転送レートTRを比較する。DtがTRよりも小さい或いは等しい場合には、ステップ１３０７へと進む。一方、DtがTRよりも大きい場合は、ステップ１３０８へと進む。ここでは、Dtが3.2G[bps]で、TRの1G[bps]よりも大きいので、ステップ１３０８へと進むことになる。

ステップ１３０７において、システム制御装置６０２は、データ転送レートTRを考慮した左眼用画像の変換解像度（横方向Wpl"、縦方向Hpl"）と右眼用画像の変換解像度（横方向Wpr"、縦方向Hpr"）を次のように設定する。
Wpl" = Wpl'
Hpl" = Hpl'
Wpr" = Wpr'
Hpr" = Hpr'

ステップ１３０８において、システム制御装置６０２は、データ転送レートを考慮した左眼用画像の変換解像度（横方向Wpl"、縦方向Hpl"）と右眼用画像の変換解像度（横方向Wpr"、縦方向Hpr"）を次のように設定する。
Wpl" =Wpl' * sqrt(TR / Dt)
Hpl" = Hpl' * sqrt(TR / Dt)
Wpr" = Wpr' * sqrt(TR / Dt)
Hpr" = Hpr' * sqrt(TR / Dt)
ここでは、Wpl"＝1840*√(１/3.2) ≒ 1029、Hpl" = 1034*√(1/3.2) ≒ 578がそれぞれ設定されることになる。

以上の処理により、システム制御装置６０２から表示デバイスへと、データを無線伝送する際のデータ転送レートを考慮した、視差画像データの変換解像度が導出される。

図１４は、表示対象であるオリジナルの視差画像データを、ここまでの処理で決定された変換解像度に解像度変換する処理の流れを示すフローチャートである。

ステップ１４０１において、システム制御装置６０２は、前述のデータ転送レートを考慮した変換解像度導出処理によって得られた視差画像データの変換解像度Wpl"、Hpl"、Wpr"、Hpr"を取得する。取得した変換解像度はメインメモリ７０２に格納される。

ステップ１４０２において、システム制御装置６０２は、視差画像データを記憶装置７０３からメインメモリ７０２へとロードする。ここで、表示対象となるオリジナルの視差画像データは、４K(Worg:3840、Horg:2160）の高精細画像データであるとする。

ステップ１４０３において、システム制御装置６０２は、ステップ１４０２で取得した視差画像データのフレーム数Nfを取得する。例えば、取得された視差画像データが、10秒間の視差画像データであったとすれば、フレーム数Nfは、フレームレート60[fps]×10sec＝600となる。

ステップ１４０４において、システム制御装置６０２は、ループカウンタiを0に初期化する。

ステップ１４０５において、システム制御装置６０２は、ループカウンタiとフレーム数Nfとを比較する。iがNfよりも小さければステップS1106へと進み、iがNf以上であれば処理を終了する。

ステップ１４０６において、システム制御装置６０２は、S1106では、視差画像データのi番目のフレームについて解像度変換を行う。すなわち、左眼用画像の解像度は、横方向Wpl"、縦方向Hpl"に変換し、右眼用画像の解像度は、横方向Wpr"、縦方向Hpr"にそれぞれ変換する。解像度変換の具体的な手法については、例えばバイリニア補間やバイキュービック補間などの公知の手法を適用すればよい。本実施例においては、左眼用画像データについては、横方向の解像度がオリジナルの3,840から1029へ、縦方向の解像度がオリジナルの2,160から578へと、それぞれ変換されることになる。

ステップ１４０７において、システム制御装置６０２は、ループカウンタiを1だけインクリメントする。

上記の処理が、ステップ１４０５でiがNf以上と判定されるまで繰り返される。

以上の処理により、表示対象となる視差画像データの解像度を、データ転送レートをも考慮した適切な解像度へと変換することができる。

上述した各種処理を経て生成された解像度変換後の視差画像データが、システム制御装置６０２から液晶ディスプレイ６０１へと無線でデータ伝送され、図８で説明した方法で表示される。これにより、観察者は自己の視力に対して最適化された解像度で3D映像を見ることができる。

なお、本実施例では、表示デバイスとして液晶ディスプレイを用いたが、これに限るものではなく、プラズマディスプレイ、有機ＥＬディスプレイ、プロジェクタなどの他の表示デバイスを用いても実現可能であることは言うまでもない。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (5)

1. 観察者の両眼の視力を取得する視力取得手段と、
   前記視力取得手段によって取得した両眼の視力に応じて左右それぞれの眼に表示する画像の解像度を変換する解像度変換手段と
   を備えることを特徴とする画像処理装置。
2. 前記解像度変換手段は、視力の高い方の眼に高解像度の表示デバイスを割り当て、視力の低い方の眼に低解像度の表示デバイスを割り当てることを特徴とする請求項１に記載の画像処理装置。
3. 表示デバイスのサイズを取得するサイズ取得手段と、
   観察者から前記表示デバイスまでの視距離を取得する視距離取得手段と、
   視差画像データを前記表示デバイスへと転送する際のデータ転送レートを取得するデータ転送レート取得手段と
   をさらに備え、
   前記解像度変換手段は、前記サイズ、前記視距離、前記データ転送レート、前記両眼の視力に応じて、左右の眼に表示す画像の解像度を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 観察者の両眼の視力を取得する視力取得ステップと、
   前記視力取得ステップで取得した両眼の視力に応じて左右それぞれの眼に表示する画像の解像度を変換する解像度変換ステップと
   を含むことを特徴とする画像処理方法。
5. コンピュータを請求項１乃至３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images