JP2021101238A - 表示装置及び表示方法 - Google Patents

Abstract

【課題】正乱視を含む視度を補正することが可能である表示装置及び表示方法を提供する。【解決手段】表示装置は、視度の補正値を取得する値取得部と、補正値に基づいて、複数の取得画像から複数の表示画像を生成する画像処理部と、観察者の瞳孔における位置に応じて複数の表示画像の光の混合比が異なるように表示画像を表示する表示部とを備え、画像処理部は、水平方向の画像シフト量と垂直方向の画像シフト量とが異なる値となるように、複数の取得画像のうちの一つ以上の取得画像を補正値に応じて平行移動し、光の混合比は、視点位置に応じて連続的かつ線形に変化し、観察者の眼における光の混合比が１００％となる視点位置同士の間隔は、観察者の瞳孔の直径よりも長い。【選択図】図１

Description

本発明は、表示装置及び表示方法に関する。

カメラのファインダやヘッドマウントディスプレイ等の表示装置に表示された画像を観察者が眼鏡を使用して観察する際に、観察者の眼鏡が表示装置に当たって干渉してしまう場合がある。そこで、表示装置に表示された画像を観察者が眼鏡を使用せずに観察できるように、表示装置に備えられたレンズの焦点距離を観察者の視度に応じて補正する表示装置がある。また、メカニカルな機構を用いない可変焦点レンズを使用する表示装置が開発されている（特許文献１参照）。

特開２０００−２２４６１４号公報

しかしながら、従来の表示装置は、近視や遠視等の正乱視以外の視度を補正することができるが、焦点距離を調節可能な光学系という高価で壊れやすいメカニカルな光学系を付加する必要があった。また、メカニカルではない可変焦点レンズを使用しても、遠視や近視等の正乱視以外の視度を補正することができても正乱視を含む視度を補正することができないという問題があった。

上記事情に鑑み、本発明は、正乱視を含む視度を補正することが可能である表示装置及び表示方法を提供することを目的としている。

本発明の一態様は、視度の補正値を取得する値取得部と、前記補正値に基づいて複数の画像から表示画像を生成する画像処理部と、観察者の瞳孔における位置に応じて前記複数の画像の混合比が異なるように前記表示画像を表示する表示部とを備える表示装置である。

本発明の一態様は、上記の表示装置であって、前記混合比は、前記瞳孔における位置に応じて線形に変化する。

本発明の一態様は、上記の表示装置であって、前記表示部は、開口部を有するバリアに前記表示画像の光を出力することにより前記混合比を変化させる。

本発明の一態様は、上記の表示装置であって、前記画像処理部は、前記観察者の両眼の瞳孔間を結ぶ直線と前記表示部の画面の水平方向とが成す角度に応じて、混合された前記複数の画像の傾きを補正する。

本発明の一態様は、上記の表示装置であって、前記画像処理部は、前記補正値に応じて一つ以上の前記画像の表示位置をずらし、表示位置がずれた前記画像から生成された前記表示画像を前記表示部に出力する。

本発明の一態様は、上記の表示装置であって、前記画像処理部は、前記補正値に基づいて加重平均された前記複数の画像である複数の加重平均画像を生成し、前記複数の加重平均画像を前記表示画像として前記表示部に出力する。

本発明の一態様は、表示装置が実行する表示方法であって、視度の補正値を取得するステップと、前記補正値に基づいて複数の画像から表示画像を生成するステップと、観察者の瞳孔における位置に応じて前記複数の画像の混合比が異なるように前記表示画像を表示するステップとを有する表示方法である。

本発明により、正乱視を含む視度を補正することが可能である。

表示装置の構成の例を示す図である。 表示部の構成の例を示す図である。 面格子の例を示す図である。 画素ブロックと開口部との位置関係を示す図である。 入射光の混合比の例を示す図である。 水平方向における入射光の混合比の例を示す図である。 垂直方向における入射光の混合比の例を示す図である。 斜め方向における入射光の混合比の例を示す図である。 二つの画像である画像Ａ及び画像Ｂがリニアブレンディングされた場合に知覚される表示画像の輪郭位置と画像の重み係数との関係の例を示す図である。 知覚画像と焦点位置との関係の第１例を示す図である。 知覚画像と焦点位置との関係の第２例を示す図である。 補正値に応じて混合された複数の画像を画素ブロックの各画素に表示する例を示す図である。 焦点調節の応答の例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、表示装置１０の構成の例を示す図である。図１では、２次元の画面を有する表示装置１０に、観察者（不図示）から見て手前にバリアが設けられている。観察者は、バリア越しに、表示装置１０に表示された画像を見る。図１では、観察者は画面を直視しているが、バリアと観察者との間にレンズを入れることにより観察者から表示装置１０までの距離を縮め、小型の表示装置を構成できることは、既存のビューファインダーやヘッドマウントディスプレイと同様である。

表示装置１０は、パーソナルコンピュータ等で構成された画像混合手段を具備する。観察者は、視度の補正値をキーボードで入力し、パーソナルコンピュータ等に補正値を設定する。表示装置１０は、複数の画像データをキャプチャーカードにより取得し、所定の比率で画像データを混合して表示する。

換言すれば、表示装置１０は、画像を表示する装置である。例えば、表示装置１０は、カメラのファインダ、ヘッドマウントディスプレイ装置等である。以下では、表示装置１０にｘｙｚ座標系が便宜的に定められている。図１では、ｘ軸及びｚ軸によって定まる平面は、水平面である。図１では、観察者（不図示）は、表示装置１０に対してｚ軸の正方向に位置している。観察者は、ｚ軸の負方向に視線を向けて、表示装置１０に表示されている画像を観察する。

表示装置１０は、画像取得部１１と、値取得部１２と、画像処理部１３と、表示部１４と、面格子１５とを備える。表示装置１０は、検出部１６を更に備えてもよい。画像取得部１１と値取得部１２と画像処理部１３とのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。画像取得部１１と値取得部１２と画像処理部１３とのうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。記憶部は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。記憶部は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。記憶部は、画像を記憶してもよい。

表示装置１０は、表示装置１０の画面と観察者との間にレンズを更に備えてもよい。表示装置１０の画面と観察者との間に備えられたレンズは、表示装置１０の画面から観察者の眼に入射する光を屈折させる。これによって、表示装置１０の画面と観察者との間に備えられたレンズは、表示装置１０の画面と観察者との間にレンズが備えられていない場合と比較して、表示装置１０の画面と観察者との距離を短くすることができる。

表示装置１０の画面と観察者の距離が所定距離以下である場合、表示装置１０の大きさは、ファインダやヘッドマウントディスプレイ装置として小型である。ヘッドマウントディスプレイ装置としての表示装置１０は、例えば、観察者の頭部に装着される。

画像取得部１１は、動画像又は静止画像のキャプチャーカードである。画像取得部１１は、複数の画像を取得する。例えば、画像取得部１１は、同一時刻及び同一方向から撮像されている被写体画像を含む複数の画像を取得してもよい。画像取得部１１は、コンピュータ・グラフィックス（Computer Graphics）による画像を取得してもよい。画像取得部１１は、複数の画像を画像処理部１３に出力する。

値取得部１２は、キーボード、タッチパネル、マウス等の操作部を備える。操作部は、観察者による操作を受け付ける。値取得部１２は、操作部が受け付けた操作に応じて、正乱視等の視度の補正値δを取得する。値取得部１２は、視度の補正値δを画像処理部１３に出力する。

画像処理部１３は、画像取得部１１によって取得された複数の画像に画像処理を施す。画像処理部１３は、画像処理の一つとして、複数の画像を所定の比率で混合する画像処理を実行することによって、複数の画像ごとに１枚の表示用画像を生成する。画像処理部１３は、画像取得部１１によって取得された複数の画像ごとに、複数の表示用画像を生成してもよい。画像処理部１３は、表示部１４の画面における表示位置が所定距離だけ互いにずれている画像を、表示部１４の画面に表示する。所定距離（ずれ量）は、例えば、視度の補正値δに比例する距離である。画像処理部１３は、生成された表示用画像を表示部１４に出力する。

図２は、表示装置１０の画素の例を示す図である。表示装置１０の画面は、例えば、フィールド・シーケンシャル・カラー表示方式の液晶ディスプレイである。赤色、緑色、青色の各原色が、１画素に時分割で階調をともなって表示される。

図２では、２×２の画素から画素ブロック１４０が構成されているが、画素ブロック１４０は、例えば、（３×３）又は（４×４）などの画素から構成されてもよく、観察者の眼の可動範囲に応じて非対称に配置された画素から構成されてもよい。画素ブロック１４０内の画素数を増やすことにより、補正の範囲を増大させることができる。

また、画素配置は正方的である必要はなく、デルタ配列であっても良い。画面のマスク全体を若干縮小することにより、全ての開口部について開口部を通して画素ブロック１４０の中心が見える条件を満たす観察者から画面までの距離は、無限遠から視距離に近づけられてもよい。

換言すれば、図２は、表示部１４の構成の例を示す図である。表示部１４は、画像処理部１３によって生成された表示用画像を画面に表示する。表示部１４は、複数の画素ブロック１４０を画面として備える。表示部１４は、面格子１５を備えてもよい。すなわち、面格子１５は、表示部１４の一部でもよい。表示部１４の画面は、例えば、発光部（バックライト）、液晶パネルを有する。複数の画素ブロック１４０は、表示部１４において行列状（タイル状）に配列される。以下では、画素ブロック１４０（画素群）は、一例として、２×２個の画素から構成される。画素の形状は、例えば正方形である。

ｘ軸又はｙ軸方向に隣接する画素同士は、異なる画像を構成する画素でもよい。すなわち、表示される画像は、同じ番号が割り当てられている各画素から構成されてもよい。例えば、図２において番号「１１」が割り当てられている各画素は、画像Ａを構成してもよい。例えば、図２において番号「０１」が割り当てられている各画素は、画像Ｂを構成してもよい。

画素の配列は、デルタ配列でもよい。眼の可動範囲を考慮して、画素は左右で非対称に配列されてもよい。画素ブロック１４０は、例えば、３×３個の画素や、４×４個の画素から構成されてもよい。画素ブロック１４０の画素数が増やされることによって、視度の補正の範囲は広がる。

表示部１４は、例えば、フィールド・シーケンシャル・カラー表示方式の液晶ディスプレイである。フィールド・シーケンシャル・カラー表示方式では、画素は、赤色、緑色、青色の各原色の画像を、時分割で表示する。

図３は、表示装置１０のバリアの一例を示す説明図である。図３では、黒色の領域が遮光部を示し、白色の領域が透過部（開口部）を示す。開口部１５０の形状は、画素と同一形状の正方形である。

換言すれば、図３は、面格子１５（画像混合部）の例を示す図である。面格子１５（遮光フィルタ）は、行列状に配列された複数の開口部１５０を有するバリアである。開口部１５０の形状は、画素の形状に応じて定められる。例えば、開口部１５０の形状は、画素と同様の大きさの正方形である。面格子１５において各開口部１５０は、光が透過可能である部分である。面格子１５において各開口部１５０以外の部分は、光が透過可能でない部分（遮光部）である。なお、面格子１５は、ｘ軸及びｙ軸方向の両方に遮光部を配置した形状のみならず、ｘ軸方向及びｙ軸方向のいずれか一方に遮光部を配置した形状でもよい。

図３に示されたバリアでは、開口部１５０は、２×２個の画素から構成された画素ブロック１４０の中央の位置に合わせて配置される。図２に示された番号「００」、番号「１０」、番号「０１」、番号「１１」の４個の画素が一組で、画素ブロック１４０を構成する。観察者は、図４に示されているように２×２個の画素から構成された画素ブロック１４０を、開口部１５０を介して観察する。

換言すれば、図４は、画素ブロック１４０と開口部１５０との位置関係を示す図である。面格子１５は、観察者と表示部１４との間に配置される。これによって、観察者は、開口部１５０を透過した光によって、画素ブロック１４０の部分を観察することができる。図４では、観察者は、一例として画素ブロック１４０の中央を観察することができ、画素ブロック１４０の中央以外を観察することができない。すなわち、図４では、観察者は、画素１４１の部分から出力された光と、画素１４２の部分から出力された光と、画素１４３の部分から出力された光と、画素１４４の部分から出力された光とが混合された光を、観察することができる。面格子１５によって、観察者の瞳孔における位置に応じて混合比が線形に変化するように、複数の画素ブロック１４０から構成される画像は混合される。

表示装置１０は、アイトラッカー等を使用し、観察者の眼の位置の傾きを検出して、それに対応した補正を画像処理部１３で行えば、観察者の姿勢が変化しても正しい視度の補正を行うことができる。

検出部１６（アイ・トラッカー）は、表示装置１０に対する観察者の両眼の位置を検出する。検出部１６は、観察者の両眼を結ぶ線と所定方向との傾きを検出する。例えば、検出部１６は、観察者の両眼を結ぶ線とｘ軸方向（水平方向）との傾きを検出する。例えば、検出部１６は、観察者の両眼を結ぶ線とｙ軸方向（垂直方向）との傾きを検出する。画像処理部１３は、傾きに応じた方向に画像の位置をずらす。これによって、表示装置１０は、表示装置１０に対する観察者の姿勢が変化しても、観察者の両眼の乱視軸の傾きに応じて視度を補正することができる。

図５に示すように、眼の瞳孔１００における視点位置が移動すると、開口部１５０の位置が画面上で見かけ上移動し、開口部１５０を経由して見える画素の面積比が変化する。混合比（ブレンド具合）は、画素の面積比に応じて変化する。

換言すれば、図５は、入射光の混合比の例を示す図である。以下では、ｕｘ軸とｕｙ軸とｕｚ軸とから成る座標系が、観察者の瞳孔１００及び虹彩１０１の表面に便宜的に定められている。ｕｘ軸とｘ軸とは同一方向を向いている。ｕｙ軸とｙ軸とは同一方向を向いている。ｕｚ軸とｚ軸とは同一方向を向いている。

画素ブロック１４０から出力された光は、開口部１５０を透過して、観察者の瞳孔１００及び虹彩１０１に入射する。観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、画素ブロック１４０から瞳孔１００に入射する光が異なる。すなわち、観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、開口部１５０を透過した入射光の混合比は変化する。例えば、観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、開口部１５０を介して観察者によって観察される画素の組み合わせと、開口部１５０を介して観察者によって観察される画素の面積比に応じた混合比とが変化することにより、輝度（入射光量）が変化する。

図５では、入射光１１０と入射光１１２とが成す角度の範囲が、瞳孔１００に入射する光が混合される範囲である。すなわち、入射光１１０と入射光１１２とが成す角度の範囲が、瞳孔１００に表示画像のブレンディングが生じる範囲である。図５では、入射光１１０は、画素１４３−１が出力した光と画素１４４−１が出力した光とを、「１００：０」の混合比で含む。入射光１１１は、画素１４３−１が出力した光と画素１４４−１が出力した光とを、「５０：５０」の混合比で含む。入射光１１１は、画素１４３−１が出力した光と画素１４４−１が出力した光とを、「０：１００」の混合比で含む。

なお、開口部１５０の見かけ上の面積（視角）と画素の見かけ上の面積（視角）とが等しくなる距離は、画面のマスクの全体が若干縮小されることによって、無限遠から視距離に近づけられてもよい。

図６は、開口部１５０の見かけの位置がｘ軸方向に１画素だけ移動した場合について、画素ブロック１４０の各画素が寄与する混合比が示された図である。図６には、瞳孔１００における視点位置に応じて開口部１５０の見かけ上の位置が移動した場合に、混合比が線形に変化していることから、リニアブレンディングが実現されていることが表されている。

換言すれば、図６は、水平方向（ｘ軸方向）における入射光の混合比の例を示す図である。横軸は、図４に示されたｘ軸方向における開口部１５０の見かけ上の位置を示す。開口部１５０の見かけ上の位置は、観察者の瞳孔１００及び虹彩１０１の表面における水平方向（ｕｘ軸方向）の位置に応じて変化する。縦軸は、画素ブロック１４０の各画素の見かけ上の面積の混合比を示す。

直線２００は、画素１４１−１の見かけ上の面積の半分と画素１４３−１の見かけ上の面積の半分との加算結果を表す。直線２０１は、画素１４２−１の見かけ上の面積の半分と画素１４４−１の見かけ上の面積の半分との加算結果を表す。図６では、観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、混合比が線形に変化する。これによって、観察者の瞳孔では、画像の水平方向のリニアブレンディング（線形配合）が実現される。

ｙ軸方向に視点位置が変化する場合について図７に示された混合比は、ｘ軸方向に視点位置が変化する場合について図６に示された混合比と同様である。

図７は、垂直方向（ｙ軸方向）における入射光の混合比の例を示す図である。横軸は、図４に示されたｘ軸方向における開口部１５０の見かけ上の位置を示す。開口部１５０の見かけ上の位置は、観察者の瞳孔１００及び虹彩１０１の表面における垂直方向（ｕｙ軸方向）の位置に応じて変化する。縦軸は、画素ブロック１４０の各画素の見かけ上の面積の混合比を示す。

直線２０２は、画素１４１−１の見かけ上の面積の半分と画素１４２−１の見かけ上の面積の半分との加算結果を表す。直線２０３は、画素１４３−１の見かけ上の面積の半分と画素１４４−１の見かけ上の面積の半分との加算結果を表す。図７では、観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、混合比が線形に変化する。

斜め４５度方向に視点位置が変化する場合、図８に示されているように画素ブロック１４０の全ての画素が混合比に関与するので、混合比は複雑となる。混合比が瞳孔１００における視点位置に応じて滑らかな変化となり、表示装置１０は、リニアブレンディングと同等な効果を得ることができる。

換言すれば、図８は、斜め方向（ｙ＝ｘ軸方向）における入射光の混合比の例を示す図である。横軸は、図４に示されたｘ軸方向における開口部１５０の見かけ上の位置を示す。開口部１５０の見かけ上の位置は、観察者の瞳孔１００及び虹彩１０１の表面における斜め方向（ｕｘ＝ｕｙ軸方向）の位置に応じて変化する。縦軸は、画素ブロック１４０の各画素の見かけ上の面積の混合比を示す。

直線２０４は、画素１４１−１の見かけ上の面積を表す。直線２０５は、画素１４４−１の見かけ上の面積を表す。直線２０６は、画素１４２−１の見かけ上の面積と画素１４３−１の見かけ上の面積とに応じた混合比を表す。図８では、観察者の瞳孔１００及び虹彩１０１の表面における位置に応じて、混合比が非線形に変化する。

図９は、二つの画像の加重平均と輪郭位置との関係を示す図である。以下、着目点に対応する点を「対応点」という。輪郭位置とは、混合された画像Ａ及び画像Ｂの輪郭における、画像Ａの輪郭上での着目点と画像Ｂの輪郭上での対応点とを結ぶ直線上での知覚位置である。隣接する視点位置の間での画像のずれの幅（視差量）が３〜５ａｒｃｍｉｎ程度の小さい値となるように指向性画像が表示された場合、図９に示すように、加重比０から加重比１までの間では輪郭位置が直線的かつ連続的に変化するので、視点位置に応じた適切な輪郭位置の画像が生成される。すなわち、画像のずれが小さい二つの画像が、線形変化する比率で結ばれているので、観察者は忠実に中間視点の画像を知覚することができる。表示装置１０は、正しい画像を視点位置ごとに提示し、視点位置の画像同士をリニアブレンディングで結ぶことにより、リニアブレンディングが実現されている範囲内で運動視差を再現する。

換言すれば、図９は、二つの画像である画像Ａ及び画像Ｂがリニアブレンディングされた場合に知覚される表示画像の輪郭位置と画像の重み係数との関係の例を示す図である。横軸は、画像の加重平均の重み係数を示す。縦軸は、知覚される表示画像の輪郭の画面における位置を示す。図９では、縦軸は、一例としてｘ軸方向の位置を示す。画像Ａ及び画像Ｂの間のずれが、３〜５ａｒｃｍｉｎ程度の小さい値となる場合、観察者によって知覚される画像（知覚画像）の輪郭位置は、重み係数により連続的に変化することになる。なお、画像の輪郭同士のずれ量は、輪郭を表す画素から瞳孔１００に入射される光の角度の差を用いて表される。表示装置１０は、観察者が重み係数を変更することにより、画像Ａ及び画像Ｂの中間として知覚される画像をリニアブレンディングにより生成することができる。

図９では、画素ブロック１４０の位置と重み係数との関係が線形に変化する範囲で、運動視差が再現される。すなわち、画素ブロック同士の加重平均が線形に変化する範囲で、運動視差が再現される。運動視差が再現されるので、観察者は焦点調節を正しく行うことができる。

次に、リニアブレンディングに応じた知覚画像の位置と、観察者の眼の焦点調節との関係を詳細に説明する。

図１０から図１２までの各図は、リニアブレンディングの画像展示条件に応じた調節（ピント）位置のずれを示した説明図である。視点位置は簡単のため一次元の座標とし、水平方向の動きの場合について述べる。一般に、座標ｕの視点位置で観察者が見る画像Ｉｏｂｓ（ｕ，ｘ，ｙ）は、視点Ａでの表示画像の輝度をＩＡ（ｘ,ｙ）とし、視点Ｂでの表示画像の輝度をＩＢ（ｘ,ｙ）とした場合、式（１）で表される。ここで、ｕＡは、視点Ａの座標を表す。ｕＢは、視点Ｂの座標を表す。ｘは、画面上のｘ座標を表す。ｙは、画面上のｙ座標を表す。

換言すれば、図１０は、知覚画像３００と画像４００との関係の第１例を示す図である。観察者の瞳孔１００の表面におけるｕｘ軸の位置ｕに入射する光の輝度（入射光量）Ｉｏｂｓ（ｕ，ｘ，ｙ）は、式（１）で表される。

ここで、ＩＡ（ｘ,ｙ）は、観察者の瞳孔１００の表面における位置ｕＡから見えるべき画像の輝度を表す。ＩＢ（ｘ,ｙ）は、観察者の瞳孔１００の表面における位置ｕＢから見えるべき画像の輝度を表す。ｘは、表示部１４の画面のｘ座標を表す。ｙは、表示部１４の画面のｙ座標を表す。

図１０は、画面上にピントが合った画像の表示の例を示す図である。この場合、視点位置がどのような位置にあったとしても画面の表示画像は同じなので、式（２）が成り立ち、表示される２次元画像の輝度Ｉ０（ｘ,ｙ）は、式（３）のように表される。

換言すれば、図１０に示されているように焦点（ピント）が合った画像４００の位置が表示部１４の画面の位置に一致している場合、観察者の瞳孔１００の表面におけるどの位置でも、観察される画像の輝度は、式（２）で表されるように同じである。

位置ｕで観察される表示画像の輝度Ｉｏｂｓ（ｕ，ｘ，ｙ）は、式（３）で表される。

ここで、Ｉ０（ｘ,ｙ）は、表示部１４に表示されている画像の輝度を表す。すなわち、Ｉ０（ｘ,ｙ）は、表示画像の輝度を表す。観察者は、画像４００の位置にある知覚画像３００を観察することができる。

次に、図１１に示されているように画像Ａと画像Ｂとの間に視差２δがある場合を考える。このとき、式（４）から式（６）までに示されているように、δが正の場合、ピント位置は奥になる。すなわち遠視傾向の人に適した補正となる。一般には画素単位のシフトしかできないので補正量が離散的となるが、表示装置１０は、視点画像のシフトにより視度を補正できる。また、ｘ軸方向の画像シフト量とｙ軸方向の画像シフト量とを異なる値にすることにより、表示装置１０は正乱視の補償も可能となる。

換言すれば、図１１は、知覚画像３００と画像４００との関係の第２例を示す図である。図１１では、位置ｕＡから見た画像と位置ｕＢから見た画像との視差が、２δである。位置ｕＡから見える画像の輝度ＩＡ（ｘ,ｙ）は、式（４）のように表される。また、位置ｕＢから見える画像の輝度ＩＢ（ｘ,ｙ）は、式（５）のように表される。

位置ｕで見える画像Ｉｏｂｓ（ｕ，ｘ，ｙ）は、位置ｕＡから見える画像と位置ｕＢから見える画像とのリニアブレンディングに応じた式（６）で表される。

距離δが正値である場合、画像４００は、表示部１４よりもｚ軸の負方向にある。距離δが正値である場合、画像処理部１３は、観察者の遠視を補正することができる。また、画像処理部１３は、補正値に応じて一つ以上の画像を平行移動する。ｘ軸方向における表示された画像Ａと表示された画像Ｂとの距離δｘと、ｙ軸方向における表示された画像Ａと表示された画像Ｂとの距離δｙとを異なる値にすることによって、画像処理部１３は、観察者の正乱視を補正することができる。

図１２において画面に表示されている画像同士は、図１１において画面に表示されている画像同士と比較して、瞳孔１００において距離ｄだけ外側の視点Ａ’及び視点Ｂ’の間でリニアブレンドされるように、画面において互いに離されて表示されている。図１２では、ピント位置が画面に接近している。視点の移動量をｄとし、視点Ａ’の座標をｕＡ’とし、視点Ｂ’の座標をｕＢ’とすると、Ｉｏｂｓ（ｕ，ｘ，ｙ）は、式（７）にように表される。すなわち、図１２に示された視点Ａ,Ｂの画像を所定の比率でブレンドしたものを視点Ａ,Ｂの画像とすることで、表示装置１０は、見かけ上で視点位置をずらした画像を表示でき、眼の焦点の調節位置をずらすことができる。この方法であれば、調整は離散的とならないので、表示装置１０は連続的な視度補正ができる。表示装置１０は、垂直方向及び水平方向について混合比を変えることによって、正乱視の補正にも対応できる。

換言すれば、図１２は、補正値に応じて混合された複数の画像を画素ブロックの各画素に表示する例を示す図である。図１２では、画像の混合比が１００％となる瞳孔上の位置同士の間隔が図１１と比較して広い場合における、瞳孔上の位置に応じた輝度変化を示すものである。位置ｕＡ’は、位置（ｕＡ＋ｄ）と表される。位置ｕＢ’は、位置（ｕＢ−ｄ）と表される。位置ｕＡ’から位置ｕＢ’までの範囲で、リニアブレンディングが生じる。図１２では、画像４００の位置は、知覚画像３００の位置よりも表示部１４に接近している。

位置ｕに入射する光の輝度Ｉｏｂｓ（ｕ，ｘ，ｙ）は、観察者の瞳孔上のリニアブレンディングを表す式（７）で表される。

画像処理部１３は、図１１に示す位置ｕＡの輝度と位置ｕＢの輝度とが混合された結果のうちの位置ｕＡから位置ｕＢまでの範囲と、図１２に示す位置ｕＡ’の輝度と位置ｕＢ’の輝度とが混合された結果のうちの位置ｕＡから位置ｕＢまでの範囲とが等しくなるように、位置ｕＡの画像と位置ｕＢの画像を生成する。これによって、画像処理部１３は、位置ｕＡの輝度と位置ｕＢの輝度との間のブレンディングによる効果と同等の効果を得ることができる。式（７）から自明であるが、加重平均された複数の画像である複数の加重平均画像は式（８）で示される。画像処理部１３は、複数の加重平均画像を生成する。

図１２では、視度の補正値が離散的ではない。画像処理部１３は、視度を連続的に補正することができる。また、ｘ軸方向における画素ブロックＡと画素ブロックＢとの距離δｘと、ｙ軸方向における画素ブロックＡと画素ブロックＢとの距離δｙとを異なる値にすることによって、画像処理部１３は、観察者の正乱視を補正することができる。

正確な運動視差が再現されるということは、瞳孔上の各位置で光線が等価的に再現されていることを示す。光線が等価的に再現されている場合、表示装置１０は、眼の焦点の調節（ピント）も正しく提示できる。図１３は、異なる奥行の視標を表示装置１０が表示した場合における、調節応答を評価した結果を示す。縦軸は眼の焦点の調節（ピント）を示す。横軸は時刻を示す。図１３に示された破線は視標の理論的な奥行位置を示す。円盤は実測値を示す。図１３によって、実測値がよく追随していることが確認でき、調節も適切に再現されていることが確認できる。

尚、空間周波数の高周波成分が少ない画像の場合、ずれの幅が１０ａｒｃｍｉｎ程度でも観察者は中間視点の画像を知覚するので、表示装置１０は、画像のコンテンツによっては、画像間のずれを大きくすることができる。

ここまでは、簡単のため、乱視の軸が水平又は垂直であることを想定したが、図１１のシフトによる方法の場合、画像のシフトの方向は、乱視の軸と直交方向であればよい。

換言すれば、図１３は、焦点調節の応答の例を示す図である。横軸は時間を示す。縦軸は、眼の焦点調節の適応を示す。すなわち、縦軸は、眼の焦点位置（奥行）を示す。図１３における破線は、知覚画像のｚ軸方向の位置の理論値を表す。図１３における丸印は、知覚画像のｚ軸方向の位置の実測値を表す。知覚画像のｚ軸方向の位置の実測値は、知覚画像のｚ軸方向の位置の理論値によく追随している。観察者の眼の焦点調節は、適切に再現されている。

空間周波数の高周波成分が少ない画像の場合、画面上での画像のずれ幅が１０ａｒｃｍｉｎ程度でも、観察者は中間視点の画像を知覚することができる。実施形態の表示装置１０は、画像コンテンツの空間周波数に応じて、画素ブロック同士のずれを大きくすることができる。

以上のように、実施形態の表示装置１０は、画像取得部１１と、値取得部１２と、画像処理部１３と、表示部１４と、面格子１５とを備える。画像取得部１１は、少なくとも第１画像及び第２画像を取得する。値取得部１２は、水平方向の補正値と垂直方向の補正値とを取得する。画像処理部１３は、水平方向の補正値に応じた距離だけ第１画像の位置を水平方向にずらし、垂直方向の補正値に応じた距離だけ第１画像の位置を垂直方向にずらし、水平方向及び垂直方向に位置がずらされた第１画像と第２画像とに基づいて表示用画像を生成する。表示部１４は、複数の画素を含む画素ブロック単位で表示用画像を表示する。面格子１５の開口部１５０は、観察者の眼における位置に応じて異なる混合比で画像同士が混合されるように、画素ブロックの各画素による表示用画像を観察者の眼に出力する。

実施形態の表示装置１０は、値取得部１２と、画像処理部１３と、表示部１４とを備える。値取得部１２視度の補正値を取得する。画像処理部１３は、補正値に基づいて複数の画像から表示画像を生成する。表示部１４、観察者の瞳孔における位置に応じて複数の画像の混合比が異なるように表示画像を表示する。これによって、実施形態の表示装置１０は、正乱視を含む視度を補正することが可能である。

混合比は、瞳孔における位置に応じて線形に変化する。表示部１４は、開口部１５０を有する面格子１５（バリア）に表示画像の光を出力することにより、混合比を変化させる。画像処理部１３は、観察者の両眼の瞳孔間を結ぶ直線と表示部１４の画面の水平方向とが成す角度に応じて、混合された複数の画像の傾きを補正する。画像処理部１３は、補正値に応じて一つ以上の画像の表示位置をずらし、表示位置がずれた画像から生成された表示画像を表示部１４に出力する。画像処理部１３は、補正値に基づいて加重平均された複数の画像である複数の加重平均画像を生成する。画像処理部１３は、複数の加重平均画像を、表示画像として表示部に出力する。

実施形態の表示装置１０は、複数の画像を瞳孔上の位置によって異なる割合で混合可能である。実施形態の表示装置１０は、複数の画像を補正値から決まる所定値により混合した画像を複数生成する。実施形態の表示装置１０は、所定の規則に従い生成された複数の画像を各画素に割り当てる。

換言すれば、実施形態の表示装置１０は、観察者の瞳上の位置に応じて複数の画像を混合可能である。実施形態の表示装置１０は、補正値に応じてずれ量を定める。実施形態の表示装置１０は、ずれ量に基づいて複数の画像を混合することによって、表示用画像を生成する。実施形態の表示装置１０は、複数の画像を生成してもよい。実施形態の表示装置１０は、所定の規則に従い生成された複数の画像を、２次元の画面に配列された各画素に割り当てる。

上記の実施形態では、正乱視の視度を有する観察者は、眼鏡を使用することなく画像を観察することが可能である。実施形態の表示装置１０は、機械的な機構を用いることなく、正乱視を補正することが可能である。図１１のシフトによる方法の場合、シフトの方向は、乱視の軸と直交する方向でもよい。表示装置１０は、発光部、液晶パネル、遮光部の順に配置された表示部１４のみならず、発光部、遮光部、液晶パネルの順に配置された表示部１４を備えてもよい。表示装置１０は、投射型の表示装置でもよい。

上述した実施形態における表示装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

本実施形態で示した表示装置１０に関し、以下の付記を開示する。
（付記１）
視度の補正値を取得する値取得部と、
前記補正値に基づいて、複数の取得された画像である複数の取得画像から、複数の表示画像を生成する画像処理部と、
観察者の瞳孔における位置に応じて前記複数の表示画像の光の混合比が異なるように前記表示画像を表示する表示部と
を備え、
前記画像処理部は、水平方向の画像シフト量と垂直方向の画像シフト量とが異なる値となるように、前記複数の取得画像のうちの一つ以上の前記取得画像を前記補正値に応じて平行移動し、
前記光の混合比は、視点位置に応じて連続的かつ線形に変化し、
前記観察者の眼における前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の瞳孔の直径よりも長い、
表示装置。
（付記２）
前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の虹彩の直径以下である、付記１に記載の表示装置。
（付記３）
前記表示部は、画素の形状と同一形状の開口部を有し、隣接する前記画素から前記開口部に入射した光の間隔が前記観察者の眼において前記観察者の瞳孔の直径よりも長くなるバリアに前記表示画像の光を出力することにより、前記光の混合比を変化させる、付記１又は付記２に記載の表示装置。
（付記４）
前記画像処理部は、前記観察者の両眼の瞳孔間を結ぶ直線と前記表示部の画面の水平方向とが成す角度に応じて、混合された前記複数の取得画像の傾きを補正する、付記１から付記３のいずれか一項に記載の表示装置。
（付記５）
前記画像処理部は、前記補正値に応じて一つ以上の前記取得画像の表示位置をずらし、表示位置がずれた前記取得画像から生成された前記表示画像を前記表示部に出力する、付記１から付記４のいずれか一項に記載の表示装置。
（付記６）
前記画像処理部は、前記取得画像として、加重平均された前記複数の取得画像である複数の加重平均画像を用いる、付記１から付記５のいずれか一項に記載の表示装置。
（付記７）
表示装置が実行する表示方法であって、
視度の補正値を取得するステップと、
前記補正値に基づいて、複数の取得された画像である複数の取得画像から、表示画像を生成するステップと、
観察者の瞳孔における位置に応じて前記複数の表示画像の光の混合比が異なるように前記表示画像を表示するステップと
を有し、
前記表示画像を生成するステップでは、水平方向の画像シフト量と垂直方向の画像シフト量とが異なる値となるように、前記複数の取得画像のうちの一つ以上の前記取得画像を前記補正値に応じて平行移動し、
前記光の混合比は、視点位置に応じて連続的かつ線形に変化し、
前記観察者の眼における前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の瞳孔の直径よりも長い、
表示方法。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、カメラのファインダ、ヘッドマウントディスプレイ装置、パーソナルコンピュータ装置、タブレット端末、スマートフォン端末等の表示装置に適用可能である。

１０…表示装置、１１…画像取得部、１２…値取得部、１３…画像処理部、１４…表示部、１５…面格子、１６…検出部、１００…瞳孔、１０１…虹彩、１１０…入射光、１１１…入射光、１１２…入射光、１４０…画素ブロック、１４１…画素、１４２…画素、１４３…画素、１４４…画素、１５０…開口部、３００…知覚画像、４００…画像

Claims (7)

1. 視度の補正値を取得する値取得部と、
   前記補正値に基づいて、複数の取得された画像である複数の取得画像から、複数の表示画像を生成する画像処理部と、
   観察者の瞳孔における位置に応じて前記複数の表示画像の光の混合比が異なるように前記表示画像を表示する表示部と
   を備え、
   前記画像処理部は、水平方向の画像シフト量と垂直方向の画像シフト量とが異なる値となるように、前記複数の取得画像のうちの一つ以上の前記取得画像を前記補正値に応じて平行移動し、
   前記光の混合比は、視点位置に応じて連続的かつ線形に変化し、
   前記観察者の眼における前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の瞳孔の直径よりも長い、
   表示装置。
2. 前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の虹彩の直径以下である、請求項１に記載の表示装置。
3. 前記表示部は、画素の形状と同一形状の開口部を有し、隣接する前記画素から前記開口部に入射した光の間隔が前記観察者の眼において前記観察者の瞳孔の直径よりも長くなるバリアに前記表示画像の光を出力することにより、前記光の混合比を変化させる、請求項１又は請求項２に記載の表示装置。
4. 前記画像処理部は、前記観察者の両眼の瞳孔間を結ぶ直線と前記表示部の画面の水平方向とが成す角度に応じて、混合された前記複数の取得画像の傾きを補正する、請求項１から請求項３のいずれか一項に記載の表示装置。
5. 前記画像処理部は、前記補正値に応じて一つ以上の前記取得画像の表示位置をずらし、表示位置がずれた前記取得画像から生成された前記表示画像を前記表示部に出力する、請求項１から請求項４のいずれか一項に記載の表示装置。
6. 前記画像処理部は、前記取得画像として、加重平均された前記複数の取得画像である複数の加重平均画像を用いる、請求項１から請求項５のいずれか一項に記載の表示装置。
7. 表示装置が実行する表示方法であって、
   視度の補正値を取得するステップと、
   前記補正値に基づいて、複数の取得された画像である複数の取得画像から、表示画像を生成するステップと、
   観察者の瞳孔における位置に応じて前記複数の表示画像の光の混合比が異なるように前記表示画像を表示するステップと
   を有し、
   前記表示画像を生成するステップでは、水平方向の画像シフト量と垂直方向の画像シフト量とが異なる値となるように、前記複数の取得画像のうちの一つ以上の前記取得画像を前記補正値に応じて平行移動し、
   前記光の混合比は、視点位置に応じて連続的かつ線形に変化し、
   前記観察者の眼における前記光の混合比が１００％となる視点位置同士の間隔は、前記観察者の瞳孔の直径よりも長い、
   表示方法。

Images