JP2007086716A - 画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物 - Google Patents

Abstract

【課題】片方の眼で外界を見ながら、柔軟に立体視することができるようにする。
【解決手段】左右の視差を考慮した第１視点画像及び第２視点画像の内、第１視点画像を実像として提示する紙４０を用いる。一方、第２視点画像を虚像として提示する単眼ヘッドマウントディスプレイ（ＨＭＤ２０）を用いる。紙４０によりステレオ画像４１（第１視点画像）を左右の一方の眼球に提示し、ＨＭＤ２０により、立体視のための他方の画像（第２視点画像）を他方の眼球に提示する。
【選択図】図２

Description

２次元の画像を用いて立体視をさせるための画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物に関する。

立体物を表示する表示システムには、様々な方式があり、大きくはパララックスバリア方式のような眼鏡を用いないシステムと、液晶シャッター眼鏡や偏光眼鏡等のように両眼に眼鏡を用いるシステム（例えば、特許文献１参照。）に二分される。この特許文献１には、視差画像を表示する画像表示器と、この視差画像と同期してこの視差画像の表示指向性を偏向制御する偏向制御手段とにより横方向の単眼視差画像を表示するとともに、観察者の頭部または顔面に装着可能で縦方向の単眼視差画像を該画像表示器と同期的に動作して表示する技術が開示されている。
特開２０００−３４７１３２号公報（第４−７頁）

しかし、眼鏡あり（両眼）システムの場合、立体視のための眼鏡を両眼に着用することにより外界を見ることができないため、歩行などの動作に支障をきたす。また、立体視のための眼鏡で両眼が塞がれることにより外界と遮断されるため、複数の使用者と閲覧している立体画像を共有することが困難である。例えば、使用者Ａと使用者Ｂが同じ立体画像を閲覧している場合、使用者Ａは使用者Ｂが立体画像のどの部分を見ているかを認知するためには、ＡＲ技術を用いて表示画面内に使用者Ｂを重ねて表示する方法が考えられるが、この方法では実体感が沸きにくい。また、眼鏡を用いないシステムの場合、現在の技術では所定の位置で観察しなければならず、所定の位置を離れると、従来の生理的違和感・不快感が生じる。

本発明は、上記問題点を解決するためになされたものであり、その目的は、片方の眼で外界を見ながら、柔軟に立体視することを可能にするための画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を実像として提示する実像提示手段を用いて立体視をさせるための画像表示システムであって、前記第２視点画像を虚像として提示する虚像提示手段を備え、前記実像提示手段により前記第１視点画像を左右の一方の眼球にて閲覧させた状態で、前記虚像提示手段により前記第２視点画像を他方の眼球にて閲覧させることにより立体視させることを要旨とする。

請求項２に記載の発明は、請求項１に記載の画像表示システムにおいて、前記実像提示手段は印刷物であることを要旨とする。
請求項３に記載の発明は、請求項１に記載の画像表示システムにおいて、前記実像提示手段はディスプレイ装置であることを要旨とする。

請求項４に記載の発明は、請求項１〜３のいずれか１つに記載の画像表示システムにおいて、撮像手段により、前記第２視点画像の識別情報に関するコード画像を撮像し、前記虚像提示手段は、前記撮像手段により撮像された前記コード画像により指し示された識別情報に基づいて、前記第２視点画像を記録した記憶手段から前記第２視点画像を抽出し、
抽出された第２視点画像を虚像として提示することを要旨とする。

請求項５に記載の発明は、請求項１〜３のいずれか１つに記載の画像表示システムにおいて、撮像手段により、前記第１視点画像と、前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを撮像し、前記虚像提示手段は、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示することを要旨とする。

請求項６に記載の発明は、請求項１〜３のいずれか１つに記載の画像表示システムにおいて、撮像手段により、前記第１視点画像と、前記第１視点画像において視差を利用して異なる奥行き位置に見えるようにする部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像とを撮像し、前記虚像提示手段は、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示することを要旨とする。

請求項７に記載の発明は、請求項１〜６のいずれか１つに記載の画像表示システムにおいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す表示データ変形手段をさらに備えたことを要旨とする。

請求項８に記載の発明は、請求項７に記載の画像表示システムにおいて、前記虚像提示手段と前記実像提示手段との相対位置を特定する相対位置特定手段をさらに備え、前記相対位置特定手段により特定された相対位置に基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことを要旨とする。

請求項９に記載の発明は、請求項８に記載の画像表示システムにおいて、前記相対位置特定手段が、撮像手段を有することを要旨とする。
請求項１０に記載の発明は、請求項９に記載の画像表示システムにおいて、前記撮像手段により、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すためのマーカを撮像し、前記虚像提示手段は、前記撮像手段により撮像された前記マーカに基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことを要旨とする。

請求項１１に記載の発明は、請求項１０に記載の画像表示システムにおいて、前記実像提示手段により提示する前記第１視点画像の表示データ又は前記虚像提示手段により提示する前記第２視点画像の表示データに射影変換を施すために用いる平面射影行列は、撮影画像上の４点の座標Ｐ_ｉ（ｉ＝１，２，３，４）を取得するとともに、前記撮影画像上の４点の座標Ｐ_ｉ（ｉ＝１，２，３，４）に対応する前記実像提示手段に提示された４点の本来の座標Ｑ_ｉ（ｉ＝１，２，３，４）を取得し、

のようにおくことにより成り立つ式

を用いて、Ｐ₁とＱ₁、Ｐ₂とＱ₂、Ｐ₃とＱ₃、Ｐ₄とＱ₄をそれぞれ代入してh₁₁〜h₃₃を求めることにより算出することを要旨とする。
請求項１２に記載の発明は、請求項１０又は１１に記載の画像表示システムにおいて、前記コード画像が、前記マーカとして機能することを要旨とする。

請求項１３に記載の発明は、請求項１２に記載の画像表示システムにおいて、前記コード画像は、前記実像として提示される前記第１視点画像に対する前記コード画像の相対位置及び相対サイズに関するデータを含むデータをコード化したことを要旨とする。

請求項１４に記載の発明は、請求項１〜１３のいずれか１つに記載の画像表示システムにおいて、前記実像提示手段に提示された前記第１視点画像の表示データ及び前記虚像提示手段に提示された前記第２視点画像の表示データの少なくともいずれか一方に使用者の操作に従って射影変換を施し、この表示データの状態を使用者に選択させる表示データ状態選択手段をさらに備えたことを要旨とする。

請求項１５に記載の発明は、請求項１４に記載の画像表示システムにおいて、前記表示データ状態選択手段による使用者の選択に基づく情報と、前記相対位置とに基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す表示データ自動変形手段をさらに備えたことを要旨とする。

請求項１６に記載の発明は、請求項１〜１５のいずれか１つに記載の画像表示システムにおいて、前記実像提示手段は、位置に応じた複数の前記第１視点画像を実像として提示し、前記虚像提示手段は、前記実像提示手段により提示された前記第１視点画像に対応する前記第２視点画像を虚像として提示することを要旨とする。

請求項１７に記載の発明は、請求項１〜１５のいずれか１つに記載の画像表示システムにおいて、前記実像提示手段は、前記虚像提示手段と前記実像提示手段との位置関係に応じて前記第１視点画像を実像として提示し、前記虚像提示手段は、前記虚像提示手段と前記実像提示手段との位置関係に応じた、前記第１視点画像に対応する前記第２視点画像を虚像として提示することを要旨とする。

請求項１８に記載の発明は、請求項１〜１７のいずれか１つに記載の画像表示システムにおいて、前記虚像提示手段は、頭部装着型の単眼表示手段であることを要旨とする。
請求項１９に記載の発明は、左右の視差を考慮した第１視点画像及び第２視点画像を用いて立体視をさせるための画像表示方法であって、前記第１視点画像を実像として提示する実像提示手段と、前記第２視点画像を虚像として提示する虚像提示手段とを用いて、前記実像提示手段により前記第１視点画像を左右の一方の眼球に提示し、前記虚像提示手段により前記第２視点画像を他方の眼球に提示することを要旨とする。

請求項２０に記載の発明は、画像に添付したコード画像に前記画像と前記コード画像との相対位置及び相対サイズに関する情報を含ませるように、前記情報を符号化して前記コード画像を生成することを要旨とする。

請求項２１に記載の発明は、左右の視差を考慮した第１視点画像及び第２視点画像の内
、前記第１視点画像を印刷した立体表示用印刷物であって、前記第２視点画像の所在場所を指し示すコード画像を印刷したことを要旨とする。

請求項２２に記載の発明は、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を印刷した立体表示用印刷物であって、前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを印刷したことを要旨とする。

請求項２３に記載の発明は、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を印刷した立体表示用印刷物であって、前記第１視点画像の一部について視差を利用して異なる奥行き位置に見えるようにするため虚像において位置を移動させて表示する部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像を印刷したことを要旨とする。

（作用）
請求項１に記載の発明によれば、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を実像として提示する実像提示手段と、前記第２視点画像を虚像として提示する虚像提示手段とを用いて、前記実像提示手段により前記第１視点画像を左右の一方の眼球に入射させた状態で、前記虚像提示手段により前記第２視点画像を他方の眼球にて入射させることにより立体視させる。これにより、片方の眼で外界を見ながら、柔軟に立体視することが可能となる。

請求項２に記載の発明によれば、前記実像提示手段は印刷物とすることができる。これにより、２次元の印刷物を用いて、立体視をすることができる。
請求項３に記載の発明によれば、前記実像提示手段はディスプレイ装置とすることができる。これにより、ディスプレイ装置に表示された２次元の画像を用いて、立体視することができる。

請求項４に記載の発明によれば、撮像手段により第２視点画像の識別情報に関するコード画像を撮像する。そして、虚像提示手段は、撮像手段により撮像されたコード画像により指し示された識別情報に基づいて、第２視点画像を記録した記憶手段から第２視点画像を抽出し、抽出された第２視点画像を虚像として提示する。これにより、予め用意した虚像提示用のデータを用いて、虚像を提示することができる。

請求項５に記載の発明によれば、撮像手段により前記第１視点画像と、前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを撮像し、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示する。これにより、前記第２視点画像を表示するためのデータを予め用意しなくても、撮像された画像を用いて、立体視させるために第２視点画像を生成して虚像として提示することができる。

請求項６に記載の発明によれば、撮像手段により、前記第１視点画像と、前記第１視点画像において視差を利用して異なる奥行き位置に見えるようにする部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像とを撮像し、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示する。これにより、前記第２視点画像を表示するためのデータやデータを記録する場所を予め用意しなくても、撮像された画像を用いて、前記第１視点画像の一部を、視差を利用して異なる奥行き位置に見えるようにするために第２視点画像を生成して虚像として提示することができる。

請求項７に記載の発明によれば、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す。これにより、第１視点画像の表示データ及び第２視点画像の表示データの少なくともいずれか一方について、射影変換を施すことにより調整した画像を表示できる。このため、例えば、実像提示手段により提示される実像との相対位置に応じて、第２視点画像の表示データに射影変換を施すことにより調整した画像を表示できる。また、例えば、実像提示手段により提示される実像との相対位置に応じて、第１視点画像の表示データに射影変換を施すことにより調整した画像を表示できる。

請求項８に記載の発明によれば、相対位置特定手段により特定された虚像提示手段と実像提示手段との相対位置に基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことができる。これにより、虚像提示手段と実像提示手段との相対位置を特定して、この相対位置に基づいて前記第１視点画像の表示データ及び前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことにより調整した画像を表示できる。

請求項９に記載の発明によれば、撮像手段を用いて虚像提示手段と実像提示手段との相対位置を特定できる。
請求項１０に記載の発明によれば、撮像手段により、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すためのマーカを撮像する。そして、虚像提示手段は、撮像手段により撮像された前記マーカに基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す。これにより、撮像手段により撮像されたマーカを用いて前記第１視点画像の表示データ及び前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことにより調整した画像を表示できる。

請求項１１に記載の発明によれば、前記実像提示手段により提示する前記第１視点画像の表示データ又は前記虚像提示手段により提示する前記第２視点画像の表示データに射影変換を施すために用いる平面射影行列を、撮影画像上の４点の座標Ｐ_ｉ（ｉ＝１，２，３，４）と、この４点の座標に対応する前記実像提示手段に提示された４点の本来の座標Ｑ_ｉ（ｉ＝１，２，３，４）とから求めることができる。そして、求められた平面射影行列を用いて第２視点画像の変換を行うことができる。なお、利用する４点の組み合わせは、３点が同一直線上に存在しないような４点の組合せであれば、どのような４点を選んでもよい。

請求項１２に記載の発明によれば、前記コード画像が、前記マーカとして機能する。これにより、撮像手段により撮像されたコード画像を用いて虚像提示手段に提示する第２視点画像を変換できる。

請求項１３に記載の発明によれば、前記コード画像は、前記実像として提示される第１視点画像に対する前記コード画像の相対位置及び相対サイズに関するデータを含むデータをコード化したものである。これにより、実像として提示される第１視点画像に対するコード画像の相対位置及び相対サイズに関する情報を用いて調整することにより、第２視点画像を生成して、虚像提示手段により提示することができる。

請求項１４に記載の発明によれば、前記実像提示手段に提示された前記第１視点画像の表示データ及び前記虚像提示手段に提示された前記第２視点画像の表示データの少なくと
もいずれか一方に使用者の操作に従って射影変換を施し、この表示データの状態を使用者に選択させる。これにより、輻輳角などの個人差を調整できる。

請求項１５に記載の発明によれば、使用者の選択に基づく情報と、前記相対位置とに基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す。これにより、輻輳角などの個人差を調整するための情報と、前記虚像提示手段と実像提示手段との相対位置とに関する情報とを用いて、立体視可能なように自動的に第２視点画像を調整して表示できる。

請求項１６に記載の発明によれば、前記実像提示手段は位置に応じた複数の第１視点画像を実像として提示し、前記虚像提示手段は、前記実像提示手段により提示された第１視点画像に対応する第２視点画像を虚像として提示する。これにより、同時に、位置に応じて異なる第１視点画像による実像及び第２視点画像による虚像を用いて立体視をすることが可能となる。

請求項１７に記載の発明によれば、前記実像提示手段は、前記虚像提示手段と前記実像提示手段との位置関係に応じて前記第１視点画像を実像として提示し、前記虚像提示手段は、前記虚像提示手段と前記実像提示手段との位置関係に応じた、前記第１視点画像に対応する前記第２視点画像を虚像として提示する。これにより、前記虚像提示手段と前記実像提示手段との位置関係に応じて実像と虚像とを提示できる。

請求項１８に記載の発明によれば、前記虚像提示手段を、頭部装着型の単眼表示手段とすることができる。これにより、使用者の両手が拘束されないようにすることができる。
請求項１９に記載の発明によれば、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を実像として提示する実像提示手段と、前記第２視点画像を虚像として提示する虚像提示手段とを用いて、前記実像提示手段により前記第１視点画像を左右の一方の眼球に提示し、前記虚像提示手段により前記第２視点画像を他方の眼球に提示する。これにより、片方の眼で外界を見ながら、柔軟に立体視することが可能となる。

請求項２０に記載の発明によれば、画像に添付したコード画像に前記画像と前記コード画像との相対位置及び相対サイズに関する情報を含ませるように、前記情報を符号化して前記コード画像を生成する。これにより、画像に添付したコード画像を読み取って、このコード画像に基づいて、画像の位置及びサイズを特定できる。

請求項２１に記載の発明によれば、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像と、前記第２視点画像の所在場所を指し示すコード画像を印刷した立体表示用印刷物を提供できる。これにより、立体表示用印刷物に印刷された第１視点画像と、コード画像に基づいて取得された第２視点画像とを用いて立体視することが可能となる。

請求項２２に記載の発明によれば、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像と、前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを印刷した立体表示用印刷物を提供できる。これにより、立体表示用印刷物に印刷された第１視点画像と、この第１視点画像と差分符号化データとに基づいて生成された第２視点画像とを用いて立体視することが可能となる。

請求項２３に記載の発明によれば、左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像と、前記第１視点画像の一部について視差を利用して異なる奥
行き位置に見えるようにするため虚像において位置を移動させて表示する部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像とを印刷した立体表示用印刷物を提供できる。これにより、立体表示用印刷物に印刷された第１視点画像と、この画像と位置符号化データとに基づいて生成された第２視点画像とを用いて、第１視点画像の一部について異なる奥行き位置に見えるようにすることができる。

本発明によれば、片方の眼で外界を見ながら、柔軟に立体視することができる。

（第１の実施形態）
以下、本発明を具体化した第１の実施形態を、図１〜図４を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視するための画像表示システム、画像表示方法及び立体表示用印刷物として説明する。本実施形態では、左右の視差を考慮した第１視点画像及び第２視点画像の内、紙（立体表示用印刷物）に印刷された第１視点画像を左右の一方の眼球にて閲覧させた状態で、単眼ヘッドマウントディスプレイに表示した第２視点画像を他方の眼球にて閲覧させる。より詳しくは、本実施形態では、実像として提示される画像（第１視点画像）とこの画像に対応する画像データの識別情報をコード化した２次元コードとを印刷した紙（立体表示用印刷物）を用いる。そして、この立体表示用印刷物の画像（第１視点画像）を左右の一方の眼で見る。同時に、この立体表示用印刷物を撮像し、撮像された２次元コードにより特定される識別情報に基づいてサーバから抽出された画像（第２視点画像）を単眼ヘッドマウントディスプレイの表示部に表示させて、この画像（第２視点画像）をもう一方の眼で見ることにより、立体視を可能にする。すなわち、本実施形態では、立体表示用印刷物が、実像提示手段を構成する。また、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。このように、本明細書において、虚像提示手段を用いずに見ることができる画像を実像とよび、虚像提示手段により提示される画像を虚像とよぶ。

図１に示すように、単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ２０」という）は、制御部２１と、これに接続された表示部２２とを備えている。制御部２１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部２１は、表示内容変更部２３、２次元コード認識部２４、画像ダウンロード部２５等として機能する。

表示内容変更部２３は、使用者による入力インターフェース２８の操作に応じて表示対象の画像に射影変換（回転変換、並進変換）を施すことにより、表示部２２に表示する画像を調整する。すなわち、この表示内容変更部２３は、特許請求の範囲に記載の表示データ変形手段及び表示データ状態選択手段として機能する。

２次元コード認識部２４は、カメラ２９で撮影した画像から識別情報が存在するか否かを判定し、存在する場合は画像ダウンロード部２５に処理を指示する。
画像ダウンロード部２５は、識別情報に基づいて、サーバ３０から識別情報に関連付けされたステレオ画像をダウンロードし、表示部２２に表示する。

表示部２２は、ディスプレイ装置であり、制御部２１で処理された出力情報を表示する。
また、制御部２１は、撮像手段としてのカメラ２９に接続されている。カメラ２９は、レンズを通じて紙４０（図２参照）を撮像する。このカメラ２９は撮像面が表示部２２と平行、光軸中心が表示部２２の中心を通る位置に配置されている。カメラ２９で撮影した画像は制御部２１に転送される。

また、制御部２１は、入力インターフェース２８に接続されている。入力インターフェース２８は、マウス等のポインティングデバイスにより構成され、表示部２２に表示されている画像を調整する場合等に用いられる。

さらに、ＨＭＤ２０は、有線又は無線により、サーバ３０に接続可能である。サーバ３０は、図示しない制御手段（ＣＰＵ、ＲＡＭ，ＲＯＭ等を備える）、記憶手段、通信手段等を備える。このサーバ３０は、ステレオ画像データ記憶部３１を備えている。

ステレオ画像データ記憶部３１には、ステレオ画像データ３１０が記録されている。このステレオ画像データ３１０は、立体視する画像を特定した場合に、紙４０（図２参照）とともに生成され記録される。ステレオ画像データ３１０は、識別情報、ステレオ画像（右）、ステレオ画像（左）に関するデータを含んで構成されている。

識別情報データ領域には、ステレオ画像を特定するための識別子に関するデータが記録されている。この識別情報は、紙４０に印刷された２次元コード４２（図２参照）に対応する。

ステレオ画像（右）データ領域には、ＨＭＤ２０を右眼側に装着した場合に表示させるステレオ画像データが記録されている。すなわち、印刷されたステレオ画像４１を左眼で見た場合に、右眼で見ることにより立体視が可能となる画像データが記録されている。ＨＭＤ２０を右眼側に装着した場合、使用者は、紙４０のステレオ画像４１（図２参照）を左眼で見るとともに、ステレオ画像（右）データに基づいてＨＭＤ２０の表示部２２に表示されたステレオ画像を右眼で見ることにより、立体視することができる。

一方、ステレオ画像（左）データ領域には、ＨＭＤ２０を左眼側に装着した場合に表示させるステレオ画像に関するデータが記録されている。すなわち、印刷されたステレオ画像４１を右眼で見た場合に、左眼で見ることにより立体視が可能となる画像データが記録されている。ＨＭＤ２０を左眼側に装着した場合、使用者は、紙４０のステレオ画像４１（図２参照）を右眼で見るとともに、ステレオ画像（左）データに基づいてＨＭＤ２０の表示部２２に表示されたステレオ画像を左眼で見ることにより、立体視することができる。

図２に示すように、使用者は、このＨＭＤ２０を頭部に装着し、一方の眼の前に表示部２２が位置するようにする。そして、この状態で、立体視のために印刷された紙４０を見る。この場合、ＨＭＤ２０の表示部２２により隠されていないもう一方の眼でこの紙４０を見ることとなる。紙４０には、ステレオ画像４１及び２次元コード４２が印刷されている。

次に、本実施形態における立体視の方法について、左眼で見る画像と、右眼で見る画像とについて、図３を用いて説明する。図３に示すように、実際の位置関係４５は、テーブルの上にリンゴとミカンとが置かれた状態であり、これをテーブルの正面の右寄りで人間が見ていることを想定する。この場合、左右の眼には、それぞれ左眼画像４６、右眼画像４７のように見えている。なお、左右の眼に見える画像の視差は、対象の距離によって異なる。

本実施形態では、立体視をするために紙４０上のステレオ画像４１を一方の眼で見るとともに、ＨＭＤ２０の表示部２２に表示された画像をもう一方の眼で見る。例えば、左眼側にＨＭＤ２０を装着した場合、右眼で紙４０上のステレオ画像４１である右眼画像４７を見るとともに、左眼でＨＭＤ２０の表示部２２に表示された左眼画像４６を見ることに
より、立体視することができる。

以下、このように構成されたシステムを用いて立体視を行う場合の処理手順について図４を用いて説明する。
まず、紙４０にステレオ画像４１と、識別情報を２次元コード化した２次元コード４２とを印刷する。そして使用者はＨＭＤ２０を装着する。なお、使用者は、ＨＭＤ２０を左眼に装着してもよいし、右眼に装着してもよい。左右の眼のいずれの側にＨＭＤ２０を装着したかは、入力インターフェース２８より入力する。ＨＭＤ２０は、入力された左右の別を制御部２１の図示しない記憶手段に記録する。例えば、左側に装着した場合、「左」を入力し、制御部２１は装着位置として「左」を示すデータを記録する。

そして、使用者は、図２に示すように紙４０を正面に見ながら、カメラ２９により紙４０を撮影する（ステップＳ１−１）。制御部２１は、撮影した画像から、２次元コード認識部２４により、２次元コード４２を読み取る（ステップＳ１−２）。ここで、２次元コード４２の読取ができなかった場合は、ステップＳ１−１に戻る。

そして、２次元コード認識部２４は２次元コード４２から読み出した識別情報を、画像ダウンロード部２５に転送し、画像ダウンロード部２５は、サーバ３０からこの識別情報に対応したステレオ画像をダウンロードする（ステップＳ１−３）。具体的には、画像ダウンロード部２５は、２次元コード４２から読み出した識別情報と、必要なステレオ画像の左右の別に関する情報とをサーバ３０に送信する。例えば、装着位置「左」が記録されている場合、必要なステレオ画像の左右の別として「左」を示す情報を、識別情報とともに送信する。サーバ３０は、受信した識別情報により、ステレオ画像データ３１０を特定し、必要なステレオ画像の左右の別に応じて、ステレオ画像（右）又はステレオ画像（左）をＨＭＤ２０に送信する。上記の例の場合、ステレオ画像（左）を送信する。このステレオ画像（左）に基づいて、ＨＭＤ２０は、表示部２２に画像を表示する。

そして、使用者は、ＨＭＤ２０に表示されている画像の表示位置調整を行う（ステップＳ１−４）。具体的には、入力インターフェース２８を用いて表示部２２に表示されている画像に射影変換を施すことにより、使用者が一方の眼で見ている紙４０に表示されているステレオ画像４１と位置あわせを行うことで立体視できるようにする。

以上、本実施形態によれば、以下に示す効果を得ることができる。
（１）上記第１の実施形態では、左右の視差を考慮した第１視点画像及び第２視点画像を用いる。具体的には、第１視点画像を実像として提示する紙４０と、第２視点画像を虚像として提示するＨＭＤ２０とを用いて、紙４０によりステレオ画像４１（第１視点画像）を左右の一方の眼球に提示し、ＨＭＤ２０により、立体視のための他方の画像（第２視点画像）を他方の眼球に提示する。これにより、使用者は、片方の眼で外界を見ることができるため、対象物を立体視しながら他の動作を行うことができるとともに、近くに人が現れた場合にこれを認識できる等、外界の安全性を確認することができる。また、紙４０上のステレオ画像４１により左右の一方の眼に投影される画像が立体視できる位置に、ＨＭＤ２０の表示部２２に表示される画像の位置を調整できるため、紙４０との距離や位置に柔軟に対応できる。このように、片方の眼で外界を見ながら、柔軟に立体視することが可能となる。

（２）上記第１の実施形態では、ＨＭＤ２０は、カメラ２９により撮像された画像に基づいて虚像である画像を表示部２２により表示する。これにより、カメラ２９により撮像されたステレオ画像４１に基づいて表示された虚像である２次元の画像を用いて、立体視することができる。

（３）上記第１の実施形態では、ＨＭＤ２０は、紙４０上の他方の画像の所在場所を指し示す２次元コード４２の画像を読み取り、この２次元コード４２により指し示される場所に記録された他方の画像により虚像を提示する。これにより、予め用意した虚像提示用のデータを用いて、虚像を提示することができ、処理を軽減できる。

（４）上記第１の実施形態では、虚像提示手段を構成するＨＭＤ２０は、頭部装着型の単眼表示手段である。これにより、使用者の両手が拘束されないようにすることができる。

（５）上記第１の実施形態では、ＨＭＤ２０に表示する画像（虚像）に射影変換を施すことで、画像を調整できる。これにより、紙４０上のステレオ画像４１により一方の眼に見える画像にあわせて、立体視可能なようにＨＭＤ２０に画像（虚像）を表示できる。

（第２の実施形態）
以下、本発明を具体化した第２の実施形態を、図５〜図１１を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視することを可能にするための画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物として説明する。本実施形態では、実像として提示される画像（第１視点画像）とこの画像に基づいて立体視をするためにＨＭＤ５０に表示する画像（第２視点画像）を生成するための２次元コードとを印刷した紙（立体表示用印刷物）を用いる。そして、この立体表示用印刷物の画像（第１視点画像）を左右の一方の眼で見るとともに、これを撮像し、撮像された画像及び２次元コードを用いて生成し、ＨＭＤ５０の表示部５２に表示した画像（第２視点画像）をもう一方の眼で見ることにより、立体視を可能にする。すなわち、本実施形態では、立体表示用印刷物が、実像提示手段を構成する。また、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。また、本実施形態では、上記第１の実施形態、及び後述する第６，第７の実施形態で用いるサーバ（対応するステレオ画像を格納する場所）を用いない。

まず、本実施形態にかかる印刷された紙６５（図７参照）の作成を行う場合について説明する。この場合、コンピュータは、立体用紙作成プログラムにより、選択されたステレオ画像ペアのうちの一方を印刷する位置と２次元コードの位置とを決定するとともに、２次元コードの内容を決定する。

以下、この立体用紙作成プログラムを使用して立体用紙（紙６５）を作成する場合の処理手順を説明する。まず、パーソナルコンピュータ（ＰＣ）上で立体用紙作成プログラムを起動する。そして、印刷する画像の指定を行う。具体的には、使用者が、ＰＣに表示される指示に従って、ステレオ画像ペアを選択する（ステップＳ２−１）。具体的には、予め登録されている右眼用のステレオ画像と左眼用のステレオ画像とにより構成されるステレオ画像ペアから、使用するステレオ画像ペアを選択する。

次に、選択されたステレオ画像ペアのうち、印刷するステレオ画像（左右の別）と印刷位置とを指定する（ステップＳ２−２）。具体的には、使用者は、まず、左右のどちらを紙に印刷するかを指定する。例えば、右眼側にＨＭＤ５０を装着する場合、左眼用のステレオ画像を紙に印刷する。さらに、使用者は、ＰＣ上に表示された印刷領域６０内（図７参照）において、画像の印刷領域（画像領域）を指定する。例えば、図７に示すように、印刷領域６０内に画像領域６１を指定する。

そして、２次元コードの添付位置を指定する（ステップＳ２−３）。具体的には、使用者が、ＰＣに表示される指示に従って、２次元コードの印刷領域（２次元コード領域）を指定する。なお、本実施形態では、２次元コードの印刷領域は正方形である。また、２次元コードの位置の指定は、画像領域６１に対応する画像の指定領域内では、指定できない
。例えば、図７に示すように２次元コード領域６２を指定する。

コードの印刷領域が指定されると、ＰＣは、２次元コードを作成する（ステップＳ２−４）。このコード化内容を以下に説明する。
まず、２次元コード領域６２と画像領域６１との縦・横の長さの比を算出する。上記の例では、画像領域６１の縦・横それぞれの長さは、２次元コード領域６２の縦・横の長さのそれぞれの４倍になっている。

次に、画像領域６１と２次元コード領域６２の位置関係を測定する。本実施形態では、図７において矢印で記されている２次元コード領域６２の左下頂点から見た画像領域６１の右下頂点との相対座標を測定する。ここでは、２次元コード領域の一辺の長さを単位長として(1,1)と表現できる。そして、図８に示すように、画像領域６１に印刷される画像
（ここでは左眼用のステレオ画像７０）と画像領域６１に印刷されない画像（ここでは右眼用のステレオ画像７１）の差分情報（差分画像７２）を算出する。なお、ここでは、非常に画素数の少ない画像を想定しており、ステレオ画像７０は、画像領域６１に印刷される画像の全体を示しており、ステレオ画像７０，７１は、それぞれ４行４列の１６個の画素により構成される。

図８では、ステレオ画像７０及びステレオ画像７１に関して、それぞれ各画素の階調を１６として表現している。そして、ステレオ画像７１の各画素の画素値からステレオ画像７０の対応画素の画素値を引き算したものが差分画像７２となる。次に、差分画像の画素値を数列化する。この例の差分画像７２については、左上の画素から縦方向に走査することにより（0,-1,1,0,-1,0,-1,-2,2,4,5,4,0,-1,0,-1）のように数列化される。

以上の情報（２次元コードとの縦・横の長さの比、相対位置、差分情報（差分符号化データ））を２次元コード化し、２次元コード画像を作成する。上記の例では、（２次元コードとの縦・横の長さの比、相対位置、差分情報）として、（4,4,1,1,0,-1,1,0,-1,0,-1,-2,2,4,5,4,0,-1,0,-1）を２次元コード化する。そして、この２次元コードを２次元コ
ード領域６２に設定する。２次元コードの種類は問わないが、コード情報をハフマン符号などにより圧縮した後に、デンソーウェーブ社のＱＲコード（登録商標）や、ロングソルトシステムズ社のボックス図形コードなどや、ソニー社のCyberCode（商標）などを用い
てコード化してもよい。

以上の処理が終了した後、使用者がＰＣにおいて印刷指示を入力すると、印刷機により、印刷領域６０と相似な画像を印刷した紙６５が出力される。
次に、紙６５を用いて立体視を行う場合の処理手段を説明する。まず、本実施形態におけるシステム構成について図５を用いて説明する。

単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ５０」という）は、制御部５１と、これに接続された表示部５２とを備えている。制御部５１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部５１は、表示内容変更部５３、２次元コード認識部５４、画像復元部５５、相対位置測定部５６等として機能する。

表示内容変更部５３は、画像の表示データに射影変換を施すことにより、表示部５２に表示する画像を調整する。すなわち、この表示内容変更部５３は、ＨＭＤ５０と紙６５との相対位置とに基づいて画像の表示データに射影変換を施すことにより、特許請求の範囲に記載の表示データ変形手段として機能する。また、この表示内容変更部５３は、使用者の入力インターフェース５８の操作により、表示部５２に表示された画像の表示データに射影変換を施し、この表示データの状態を使用者に選択させることにより、特許請求の範
囲に記載の表示データ状態選択手段として機能する。また、この表示内容変更部５３は、使用者の選択による調整量と、ＨＭＤ５０と紙６５の相対位置とに基づいて自動的に表示データに射影変換を施すことにより、特許請求の範囲に記載の表示データ自動変形手段として機能する。

２次元コード認識部５４は、ビデオカメラ５９で撮影した画像に２次元コードが存在するか否かを判定し、存在する場合は２次元コードをデコードする。
画像復元部５５は、デコードされた差分画像情報と、ビデオカメラに撮影されたステレオ画像から、別のステレオ画像を復元する。

相対位置測定部５６は、ビデオカメラ５９により撮像された２次元コード６７に基づいて、ＨＭＤ５０と紙６５との相対位置（距離、方向、傾きについての相対関係）を特定する。すなわち、２次元コード６７とビデオカメラ５９と相対位置測定部５６とが、特許請求の範囲に記載の相対位置特定手段として機能する。

表示部５２は、ディスプレイ装置であり、制御部５１で処理された出力情報を表示する。
また、制御部５１は、撮像手段としてのビデオカメラ５９に接続されている。ビデオカメラ５９は、レンズを通じて紙６５（図７参照）を撮像する。このビデオカメラ５９は撮像面が表示部５２と平行、光軸中心が表示部５２の中心を通る位置に配置されており、表示部５２とビデオカメラ５９の撮像部で視差がないように設計されている。このようなＨＭＤ５０とビデオカメラ５９の位置関係は、ビデオシースルー型のＨＭＤやオプティカルシースルー型のＨＭＤで達成されている。このような設計がなされているビデオシースルー型のＨＭＤには、例えばキヤノン社製のＶＨ−２００２がある。ビデオカメラ５９で撮影した画像は制御部５１に転送される。なお、転送される画像は、ビデオカメラ５９で撮影された画像に含まれる歪曲歪みなどが取り除かれているとなお良い。

また、制御部５１は、入力インターフェース５８に接続されている。入力インターフェース５８は、マウス等のポインティングデバイスにより構成され、表示部５２に表示されている画像を調整する場合等に用いられる。

以下、このように構成されたシステムを用いて立体視を行う場合の処理手順について図９〜図１１を用いて説明する。
使用者はＨＭＤ５０を上記第１の実施形態の場合と同様に装着し、紙６５の方を向く。そして、ビデオカメラ５９が、紙６５上のステレオ画像６６と２次元コード６７とを撮影する（ステップＳ３−１）。ビデオカメラ５９は、撮影したビデオ画像を制御部５１に転送する。制御部５１は、２次元コード認識部５４で、このビデオ画像を認識する（ステップＳ３−２）。

ここで、２次元コード認識部５４における処理について説明する。
２次元コード認識部５４では、２次元コードの復号とステレオ画像６６の認識とを行う。具体的には、まず、ビデオカメラ５９で撮影された１フレームごとの画像から２次元コード６７の外周を認識し、射影変換行列Ｈ２の算出を行う。この射影変換行列Ｈ２の算出には、後述する第６の実施形態で説明する数２の式を使用する。本実施形態では２次元コード６７として正方形の２次元コードを用いており、このため、２次元コードの４角を認識することで、容易に射影変換行列Ｈ２の算出を行うことができる。射影変換行列Ｈ２の算出は、撮影画像上の２次元コードの４角（４頂点）を図１１に記載の２次元コード７８と一致させる射影変換行列を求めることにより達成できる。ここで、２次元コード６７の４頂点が認識できなかった場合（ステップＳ３−２において「ＮＯ」の場合）、ステップＳ３−１に戻る。

次に、撮影画像に射影変換行列Ｈ２による射影変換を施し、射影変換された画像により、あおり補正重畳画像７６（図１１参照）を更新する（ステップＳ３−３）。
図１０に、あおり補正重畳画像７６を説明するために、第１フレームの一部７３、第２フレームの一部７４、重畳画像の一部７５の例を示す。図１０の左側の第１フレームの一部７３は、ビデオカメラ５９で撮影された第１フレームの画像を、あおり補正で補正した画像のある部分を切り出した画像の一部である。中央の第２フレームの一部７４は、ビデオカメラ５９で撮影された第２フレームの画像を、あおり補正で補正した画像を切り出した画像の一部である。右側の重畳画像の一部７５は第１、第２フレームの画像から生成されたあおり補正重畳画像の一部である。すなわち、あおり補正重畳画像は、第ｋフレームまでの画像の各画素を和算したものである。またあおり補正重畳画像の各画素は、ｋ個のフレームのうちの何個のフレームの画素値を和算したものであるかを表す、合計フレーム数を持つ。

次にあおり補正重畳画像７６を用いて２次元コード認識を行う。まず、あおり補正重畳画像の各画素の画素値を、各画素の合計フレーム数で割り算することにより、正規あおり補正重畳画像７９を生成する。なお、正規あおり補正重畳画像は、更新前（各画素の画素値）と更新後のものを比較し、全ての画素の合計フレーム数が一定値以上で、更新前と更新後の正規あおり補正重畳画像の各画素値にほとんど変化がみられない場合は、それ以後あおり重畳画像の更新を行わない。

次に正規あおり補正重畳画像７９内の、２次元コード７８が撮像されている部分について２値化を行い、２次元コードを取り出す。そして２次元コードのデコード化を行い、２次元コード情報を得る。上記の例では、２次元コード情報（4,4,1,1,0,-1,1,0,-1,0,-1,-2,2,4,5,4,0,-1,0,-1）を得る。

そして、ステレオ画像を復元する（ステップＳ３−４）。具体的には、まず、推定ステレオ画像領域７７を復号された２次元コード情報により求める。ここで、２次元コード情報の第１、第２、第３、第４番目の数字（以後ｋ番目の数字のことを第ｋ情報と呼ぶ）が、（２次元コードとの縦・横の長さの比、相対位置）に設定してあるので、図１１に示すように２次元コードの位置（２次元コード領域７８）から推定ステレオ画像領域７７を求めることができる。

また、上記の例では、２次元コードに、第２０情報まで設定されており、差分情報は、第５情報から第２０情報までである。そして、上記の例では、２次元コード情報の第１情報、第２情報が(4,4)であることから、２次元コード情報の第５情報から第２０情報の１
６個の情報が、行数と列数とが同じ数の行列を１次元化したものであることがわかり、１６個であることから、４行４列の行列を１次元化したものであることがわかる。

これについて、別の例を挙げて説明すると、例えば、２次元コード情報の第１情報、第２情報が(4,3)の場合、２次元コード情報に第１６情報まで設定されているとすると、第
５情報から第１６情報までの１２個の情報が、差分情報である。この場合において、４行３列の行列を１次元化したものであることがわかる。これに対し、同様に２次元コード情報の第１情報、第２情報が(4,3)の場合において、２次元コード情報に第５２情報まで設
定されているとすると、第５情報から第５２情報までの４８個の情報が、差分情報である。この場合、８行６列の行列を１次元化したものであることがわかる。

上述の例の場合、４行４列の行列を１次元化したものであるため、４行４列に２次元化する。これにより差分画像７２が復元される。そして正規あおり補正重畳画像７９内の推定ステレオ画像領域７７を４行4列に分解し、差分画像７２を足し合わせることによりス
テレオ画像７１を得る。

そして、ステレオ画像７１に対して、射影変換行列Ｈ２の逆行列を施す（ステップＳ３−５）。ここで、ＨＭＤ５０の表示内容変更部５３内の記憶手段（図示せず）に後述する調整完了時の調整量が記録されている場合には、表示内容変更部５３は、さらに、この調整完了時の調整量を用いてステレオ画像７１に射影変換を施すことにより画像を調整し、調整後の画像を表示部５２に表示する（ステップＳ３−６）。調整量が記録されていない場合には、ステップ３−５で生成された画像をそのまま表示部５２に表示する。

そして、必要な場合には、使用者による表示位置調整を行う（ステップＳ３−７）。具体的には、使用者が、入力インターフェース５８を用いて表示部５２に表示されている画像の射影変換の指示を入力する。これに応じて、表示内容変更部５３が、表示部５２に表示されている画像に射影変換を施す。そして、使用者は、立体視できる位置に、表示部５２に表示されている画像を調整できたら、調整完了の指示を入力インターフェース５８により入力する。ＨＭＤ５０の制御部５１は、調整完了時の調整量を表示内容変更部５３内の記憶手段（図示せず）に記録する。

以後は、ステップ３−１、ステップ３−２、ステップ３−３、ステップ３−４、ステップ３−５、ステップ３−６を繰り返し行い、使用者の必要に応じステップ３−７を行う。これにより、使用者は以後、表示位置等の調整を行わなくとも常に立体画像を見ることができる。

以上、本実施形態によれば、上記第１の実施形態の（１），（２），（４），（５）の効果に加えて、以下に示す効果を得ることができる。
（６）上記第２の実施形態では、ＨＭＤ５０の表示部は、ビデオカメラ５９により撮像された紙６５上のステレオ画像６６と、左右それぞれの画像の差分をコード化した差分符号化データを含む２次元コード６７とから他方の画像を生成して虚像として提示する。これにより、虚像を提示するためのデータを予め用意しなくても、撮像された画像を用いて、虚像を提示することができる。

（７）上記第２の実施形態では、２次元コード６７は、左右の眼でそれぞれ見る画像の差分を符号化した差分符号化データと、実像として提示されるステレオ画像６６に対する２次元コード６７の相対位置及び相対サイズに関するデータとを含むデータをコード化したものである。これにより、差分符号化データと実像として提示されるステレオ画像６６に対する２次元コード６７の相対位置及び相対サイズに関する情報とを２次元コード６７により得ることができる。このため、実像として提示されるステレオ画像６６を撮影した画像を、差分符号化データと実像として提示されるステレオ画像６６に対する２次元コード６７の相対位置及び相対サイズに関する情報とを用いて調整することにより、ＨＭＤ５０に表示する画像を生成できる。

（８）上記第２の実施形態では、ＨＭＤ５０と紙６５との相対位置を、２次元コード６７、ビデオカメラ５９及び相対位置測定部５６により特定する。これにより、特定された相対位置を用いて虚像を提示できる。

（９）上記第２の実施形態では、ＨＭＤ５０に備えられたビデオカメラ５９により撮像された画像を用いて位置を特定できる。
（１０）上記第２の実施形態では、特定された相対位置に基づいて、ＨＭＤ５０により提示する画像の表示データに射影変換を施す。これにより、紙６５とＨＭＤ５０との相対位置に応じて、画像（虚像）を調整してＨＭＤ５０に表示できる。

（１１）上記第２の実施形態では、特定された相対位置に基づいて射影変換を施してＨＭＤ５０に提示した画像（第２視点画像）の表示データに、使用者の操作に従って射影変換を施し、この表示データの状態を使用者に選択させる。これにより、使用者の操作により、人間の身体的特徴による輻輳角などの個人差に対応して、ＨＭＤ５０に表示する画像（虚像）を調整できる。

（１２）上記第２の実施形態では、使用者の選択に基づく情報（調整量）と、特定された相対位置とに基づいて、ＨＭＤ５０に表示する画像（第２視点画像）の表示データに射影変換を施す。これにより、輻輳角などの個人差を調整するための情報と、ＨＭＤ５０と紙６５との相対位置とに関する情報とを用いて、人間の身体的特徴による輻輳角などの個人差に対応する。同時に、相対位置に応じて、一方の眼で見える紙６５上のステレオ画像６６（実像）にあわせて、立体視可能なようにＨＭＤ５０に表示する画像（第２視点画像）を自動的に調整できる。

（１３）上記第２の実施形態では、紙６５のステレオ画像６６に添付した２次元コード６７にステレオ画像６６と２次元コード６７との相対位置及び相対サイズに関する情報を含ませるように、これらの情報を符号化して２次元コード６７を生成する。これにより、紙６５のステレオ画像６６に添付した２次元コード６７を読み取って、この２次元コード６７の情報に基づいて、ステレオ画像６６の位置及びサイズを特定できる。

（第３の実施形態）
以下、本発明を具体化した第３の実施形態を、図１２〜図１４を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視することを可能にするための画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物として説明する。本実施形態では、画像（第１視点画像）と、この画像の一部について視差を利用して異なる奥行き位置に見えるようにするためにＨＭＤ５０に表示する画像（第２視点画像）を生成するための２次元コードとを印刷した紙（立体表示用印刷物）を用いる。そして、立体表示用印刷物の画像（第１視点画像）と、これを撮像した画像（第１視点画像）及び２次元コードを用いて生成してＨＭＤ５０の表示部５２に表示した画像（第２視点画像）とにより、立体表示用印刷物の画像の一部について視差を利用して異なる奥行き位置に見えるようにする。つまり、この立体表示用印刷物の画像（第１視点画像）を左右の一方の眼で見るとともに、ＨＭＤ５０の表示部５２に表示された画像（第２視点画像）をもう一方の眼で見ることにより、立体表示用印刷物の画像の一部について奥行き位置が異なるように見える。具体的には、この部分に凹凸がついて表示される。すなわち、本実施形態では、立体表示用印刷物が、実像提示手段を構成する。また、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。なお、本実施形態では、一部について異なる奥行き位置に見えるようにする（凹凸を付けて表示する）画像として地図を用いたが、これに限定されるものではない。

まず、本実施形態にかかる印刷された紙８５（図１３参照）の作成を行う場合について説明する。この場合、コンピュータは、第２の立体用紙作成プログラムにより、選択された画像の位置と、この画像のうち立体視させる部分の位置と２次元コードの位置とを決定するとともに、２次元コードの内容を決定する。

次に、この第２の立体用紙作成プログラムを使用して立体用紙（紙８５）を作成する場合の処理手順について図１２を用いて説明する。
図１２に示すように、まず、ＰＣ上で第２の立体用紙作成プログラムを起動する。次に使用者は、凹凸を付けて表示する画像を指定する（ステップＳ４−１）。なお、本実施形態では、図１３に示す立体画像領域８１に示す地図画像を指定するものとする。次に、指定した画像の位置を印刷領域内で指定する（ステップＳ４−２）。具体的には、立体画像
領域８１を指定する。次に、使用者は、２次元コードの添付位置を指定する（ステップＳ４−３）。具体的には、使用者は、２次元コード領域８２を指定する。

次に２次元コードの作成を行う（ステップＳ４−４）。この処理を以下に説明する。
まず、使用者が、立体画像領域８１内において、視差を利用して凹凸を付けて表示する部分の位置・大きさを指定する。具体的には、立体画像領域８１の左上の頂点を（１，１）とし、立体画像領域８１の「マス目」を単位長とした、図１３のようなＸ方向、Ｙ方向を取った座標系を考え、座標(8,1)及び大きさ２と、座標(8,11)及び大きさ２を入力し、
２次元コードのキャプションとなる文字列”コンビニ”と入力する。なお、立体画像領域８１に見られる「マス目」は画素領域を表しているように見えるが、画像にマス目が描かれているだけで、画素領域とは関係がない。

ＰＣは、まず、２次元コード領域８２と立体画像領域８１の縦と横の長さ比を算出する。本実施形態では、立体画像領域８１の縦の長さ、横の長さが、２次元コード領域８２の縦の長さ、横の長さのそれぞれ１２倍、１２倍とする。次に立体画像領域８１と２次元コード領域８２の位置関係を測定する。図１３の上図において点線の矢印で示されている立体画像領域８１の右下頂点から見た２次元コード領域８２の左下頂点との相対位置を測定する。この例では、２次元コード領域の一辺の長さを単位長として(2,-10)と表現できる
。

以上の情報（２次元コードとの縦・横の長さの比、相対位置）と、位置符号化データ及び２次元コードのキャプションにより構成される使用者が入力した情報(8,1,2,8,11,2,コンビニ)をあわせてそれぞれを”,”で区切った情報(12,12,2,-10,8,1,2,8,11,2,コンビニ)を符号化し、２次元コード画像を作成する。そして、この２次元コード画像を２次元コ
ード領域８２に置き換える。２次元コードの種類は問わないが、コード情報をハフマン符号などにより圧縮した後に、デンソーウェーブ社のＱＲコード（登録商標）や、ロングソルトシステムズ社のボックス図形コードなどや、ソニー社のCyberCode（商標）などを用
いてコード化してもよい。そして２次元コードの隣接領域に、２次元コードのキャプション“コンビニ”を配置する。

そして、印刷領域について編集が必要な場合は編集を行う（ステップＳ４−５）。例えば、２次元コードの配置や２次元コードのキャプションの位置などが編集できる。そして、印刷指示を行うと、印刷領域８０と相似な画像が印刷機により印刷され、紙８５が出力される。ここでは、図１３のような紙８５が印刷される。

次に、紙８５を用いて立体視を行う方法を説明する。本実施形態に係るシステムの構成は、上記第２の実施形態の場合と同様であるため、説明を省略する。
以下、立体視を行う場合の処理手順について、図１４を用いて説明する。

まず、使用者はＨＭＤ５０を、上記第１，第２の実施形態と同様に図２のように装着する。なお、ここでは、ＨＭＤ５０を右眼側に装着し、右眼側に装着したことを入力インターフェース５８により入力する。ＨＭＤ５０の制御部５１は、装着位置として「右」を示すデータを制御部５１の図示しない記憶部に記録する。そして、使用者が紙８５の方を向くと、ビデオカメラ５９に紙８５上の地図の画像８６と２次元コード８７が撮影される（ステップＳ５−１）。そして、ＨＭＤ５０は、２次元コード認識部５４により、撮影されたビデオ画像から、２次元コード６７の外周を認識し、射影変換行列Ｈ３の算出を行う（ステップＳ５−２）。具体的には、第２の実施形態における２次元コード認識部５４による射影変換行列Ｈ２の算出と同様に行う。ステップＳ５−２では、２次元コードの外枠が正しく認識されない場合（２次元コードの４頂点が認識されない場合）は、ステップＳ５−１に戻る。

そして、撮影画像に射影変換行列Ｈ３による射影変換を施し、射影変換された画像からステレオ画像の復元を行う。具体的には、まず、第２の実施形態におけるステレオ画像領域の特定と同様の方法により、あおり補正重畳画像を作成する（ステップＳ５−３）。そして、復号された２次元コード情報（12,12,2,-10,8,1,2,8,11,2,コンビニ）から地図画
像領域を特定する。そして特定された地図画像領域の(8,1)、(8,11)に画素情報を所定量
（例えば、大きさ２）だけＸ座標負の方向に所定量だけ動かした画像（特定部分移動画像）を生成する（ステップＳ５−４）。なお、Ｘ座標府の方向に所定量だけ動かすとは、図３３の画像２４０にみられるように、(8,1),(8,2),(9,1),(9,2)に囲まれた領域の画素値
を０にして、(6,1),(6,2),(7,1),(7,2)に囲まれた領域に上書きすることである。(8,11),(8,12),(9,11),(9,12)に関しても同様である。

なお、視差を利用して凹凸を付けて表示する部分の移動方向は、装着位置として記録されたデータに基づいて特定する。ここでは、装着位置として「右」が記録されているため、画像をＸ座標負の方向に動かす。「左」が記録されている場合は画像をＸ座標正の方向に動かす。

そして特定部分移動画像に対して射影変換行列Ｈ３の逆行列を施した画像をＨＭＤ５０の表示部５２に表示する(ステップＳ５−５)。ここで、ＨＭＤ５０の表示内容変更部５３内の記憶手段（図示せず）に後述する調整完了時の調整量が記録されている場合には、表示内容変更部５３は、さらに、この調整完了時の調整量を用いて特定部分移動画像に射影変換を施すことにより画像を調整し、調整後の画像を表示部５２に表示する（ステップ５−６）。

そして、必要な場合には、使用者による表示位置調整を行う（ステップＳ５−７）。具体的には、使用者が、入力インターフェース５８を用いて表示部５２に表示されている画像の射影変換の指示を入力する。これに応じて、表示内容変更部５３が、表示部５２に表示されている画像に射影変換を施す。そして、使用者は、立体視できる位置に、表示部５２に表示されている画像を調整できたら、調整完了の指示を入力インターフェース５８により入力する。ＨＭＤ５０の制御部５１は、調整完了時の調整量を表示内容変更部５３内の記憶手段（図示せず）に記録する。

以後は、ステップ５−１、ステップ５−２、ステップ５−３、ステップ５−４、ステップ５−５、ステップ５−６を繰り返し行い、使用者の必要に応じステップ５−７を行う。これにより、使用者は以後、表示位置等の調整を行わなくとも常に立体画像を見ることができる。

以上、本実施形態によれば、上記第１，第２の実施形態の（１），（２），（４），（５），（８）〜（１３）の効果に加えて、以下に示す効果を得ることができる。
（１４）上記第３の実施形態では、２次元コード８７は、画像８６において視差を利用して凹凸を付けて表示する部分の位置情報を符号化した位置符号化データを含むデータをコード化したものである。これにより、画像８６と２次元コード８７とを撮像し、画像８６における視差を利用して凹凸を付けて表示する部分の位置情報を２次元コード８７により得ることができる。これにより、ＨＭＤ５０に表示するための画像のデータを予め用意しなくても、撮像された画像を用いて、画像８６の一部について、視差を利用して異なる奥行き位置に見えるようにする（凹凸を付けて表示する）ためにＨＭＤ５０に表示する画像を生成して表示できる。

（第４の実施形態）
以下、本発明を具体化した第４の実施形態を、図１５〜図１７を用いて説明する。本実
施形態では、片方の眼で外界を見ながら、柔軟に立体視することを可能にするための画像表示システム及び画像表示方法として説明する。本実施形態では、位置に応じて異なった画像を見ることができる多視点ディスプレイによる画像（第１視点画像）と、単眼ヘッドマウントディスプレイの表示部に表示される画像（第２視点画像）とにより、他視点から同時に立体視を行えるようにする。すなわち、本実施形態では、多視点ディスプレイが、実像提示手段を構成する。また、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。

図１５に示すように、単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ９０」という）は、制御部９１と、これに接続された表示部９２とを備えている。制御部９１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部９１は、位置調整量記憶部９３、相対位置測定部９４、映像ダウンロード部９５等として機能する。

位置調整量記憶部９３は、使用者が入力インターフェース９６により入力した回転移動量、並進移動量に従って表示部９２の表示内容を変化させるとともに、使用者が入力インターフェース９６により入力した回転移動量、並進移動量を記憶する。

すなわち、この位置調整量記憶部９３は、使用者が入力インターフェース９６により入力した回転移動量、並進移動量に従って、後述するように表示部９２の表示内容を変化させることにより特許請求の範囲に記載の表示データ状態選択手段として機能する。また、相対位置に基づいて算出した射影変換行列を画像に施すとともに、記憶された回転移動量、並進移動量に基づいて表示部９２の表示内容を自動的に調整することにより、相対位置測定部９４と位置調整量記憶部９３とが特許請求の範囲に記載の表示データ自動変形手段として機能する。

相対位置測定部９４は、多視点ディスプレイ１００の超音波スピーカ１０２，１０３，１０４から発せられる超音波を超音波マイク９７，９８により受信することにより、多視点ディスプレイ１００に対するＨＭＤ９０の相対位置（位置、姿勢）を特定する。そして、特定した相対位置に基づいて後述する射影変換行列を算出し、受信した画像に射影変換を施す。すなわち、超音波スピーカ１０２，１０３，１０４、超音波マイク９７，９８及び相対位置測定部９４が、特許請求の範囲に記載の相対位置特定手段として機能する。また、相対位置測定部９４が、特許請求の範囲に記載の表示データ変形手段として機能する。

映像ダウンロード部９５は、多視点ディスプレイ１００からＨＭＤ９０に表示する映像をダウンロードする。
表示部９２は、制御部９１で処理された出力情報を表示する。

また、制御部９１は、ＨＭＤ９０上に配置された超音波マイク９７，９８に接続されている。超音波マイク９７，９８は、超音波を受信し、本実施形態では、多視点ディスプレイ１００の超音波スピーカ１０２，１０３，１０４から発せられる超音波を受信する。超音波スピーカ１０２，１０３，１０４はそれぞれ異なる周波数を発し、超音波マイク９７，９８は超音波スピーカ１０２，１０３，１０４から発せられるそれぞれの周波数を区別して受信することが可能である。なお、超音波スピーカ１０２，１０３，１０４、超音波マイク９７，９８は、ポヒマスセンサ（トランスミッタ、レシーバ）により代用可能である。

また、制御部９１は、入力インターフェース９６に接続されている。入力インターフェース９６は、マウス等のポインティングデバイスにより構成され、表示部９２に表示され
ている画像を調整する場合等に用いられる。

さらに、ＨＭＤ９０は、有線又は無線により、多視点ディスプレイ１００に接続可能である。多視点ディスプレイ１００は、制御部１０１を備え、この制御部１０１は、超音波スピーカ１０２，１０３，１０４、表示部１０５及び映像フォルダ１０６に接続されている。

制御部１０１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ、ハードディスク等を備え、後述する処理を行う。
超音波スピーカ１０２，１０３，１０４は、それぞれ異なる波長の超音波を発生する。超音波スピーカ１０２は、図１６に示すように、多視点ディスプレイ１００の正面部の左下側に位置している。超音波スピーカ１０３は、多視点ディスプレイ１００の正面部の左上側に位置しており、超音波スピーカ１０２の垂直線上に位置している。超音波スピーカ１０４は、多視点ディスプレイ１００の正面部の右下側に位置しており、超音波スピーカ１０２の水平線上に位置している。

表示部１０５は、映像フォルダ１０６に格納された画像（映像）を表示する。多視点ディスプレイ１００は、使用者の位置によって、表示部１０５により、異なる画像が見えるようになっている。例えば、図１６に示すように、使用者が位置Ａ，Ｂ，Ｃの範囲にそれぞれいる場合に、使用者は、位置Ａにいる場合には映像ａ１を、位置Ｂにいる場合は映像ｂ１を、位置Ｃにいる場合は映像ｃ１を、それぞれ見ることができる。そして、映像ａ１は映像ａ２と、映像ｂ１は映像ｂ２と、映像ｃ１は映像ｃ２と、それぞれステレオ映像ペアになっている。すなわち、片方の眼に表示部１０５に表示された映像ａ１が、もう一方の眼にＨＭＤ９０の表示部９２に表示された映像ａ２が見えるように設定することにより、使用者は立体的な動画を鑑賞することができる。なお、これらの映像は同期をとりながら、多視点ディスプレイ１００内にある映像フォルダ１０６に記録されている。

上記第１〜第３の実施形態の場合と同様に、使用者は、ＨＭＤ９０を頭部に装着し、一方の眼（ここでは右眼）の前に表示部９２が位置するようにする。そして、この状態で、多視点ディスプレイ１００を見る。

上記のように構成されたシステムを用いて、立体的な動画を鑑賞する場合の処理手順について図１７を用いて説明する。
まず、使用者はＨＭＤ９０を装着する。ＨＭＤ９０に備えられた超音波マイク９７，９８が多視点ディスプレイ１００に備えられた超音波スピーカ１０２，１０３，１０４から発せられた異なる周波数の超音波を受信する。これに基づいて、相対位置測定部９４が、超音波スピーカ１０２，１０３，１０４のそれぞれからのＨＭＤ９０の相対位置を算出する（ステップＳ６−１）。

そして、ＨＭＤ９０は、映像をダウンロードする（ステップＳ６−２）。具体的には、まず、ＨＭＤ９０は、算出した相対位置に関するデータを多視点ディスプレイ１００に送信する。多視点ディスプレイ１００は、超音波スピーカ１０２，１０３，１０４のそれぞれから検出されるＨＭＤ９０の相対位置に基づいて、ＨＭＤ９０の位置が位置Ａ、位置Ｂ、位置Ｃのいずれの領域に存在するかを判別する。そして、判別された位置で鑑賞できる表示部１０５に表示された映像と同期のとれているステレオ映像（画像）を１フレーム毎、ＨＭＤ９０に連続して送信する。例えば、使用者が位置Ａにいるとすると、位置Ａにおいて多視点ディスプレイ１００により鑑賞できる映像は映像ａ１であるので、多視点ディスプレイ１００は、映像ａ１とステレオ映像ペアである映像ａ２の同期のとれたフレームをＨＭＤ９０に連続して送信し、これによる映像が表示部９２に表示される。なお、相対位置は常に特定されており、使用者が位置Ａから位置Ｂに移動した場合は、多視点ディス
プレイ１００は、送信する映像を映像ａ２から映像ｂ２に変更する。

ＨＭＤ９０は、超音波スピーカ１０２，１０３，１０４から受信した超音波に基づいて、多視点ディスプレイ１００とＨＭＤ９０との相対位置（位置、姿勢）を特定し、これに基づいて、受信した画像（映像）に射影変換を施して表示部９２に表示する（ステップＳ６−３）。

この受信した画像（映像）に施す射影変換行列としては、仮想的な撮影画像上の４点の座標を本来の座標に変換する射影変換行列Ｈ４の逆行列を用いる。ここでは、後述する第６の実施形態の場合と同様にして、仮想的な撮影画像上の４点の座標Ｐ_i（ｉ＝１，２，
３，４）を本来の座標Ｑ_i（ｉ＝１，２，３，４）に射影変換する射影変換行列Ｈ４を算
出する。そして、この射影変換行列Ｈ４の逆行列を、受信した画像（映像）に施して表示部９２に表示する。すなわち、撮影画像上の４点の座標Ｐ_i（ｉ＝１，２，３，４）につ
いては、後述する第６の実施形態のような実際に撮影された撮像画像上の座標の他、本実施形態の場合のように、撮影した場合を想定した、仮想的な撮像画像上の座標を用いることが可能である。

以下、射影変換行列Ｈ４の算出について説明する。
射影変換行列Ｈ４は、ＨＭＤ９０を、視差のないビデオシースルー型ＨＭＤとして算出することができる。すなわち、使用者の眼の焦点位置をビデオカメラの焦点位置と考えることができる。

射影変換行列Ｈ４の算出は、以下のように行う。
まず、多視点ディスプレイ１００とＨＭＤ９０との相対位置を求める。この相対位置により、ビデオシースルー型ＨＭＤのビデオカメラの焦点位置と多視点ディスプレイ１００との位置関係を算出することができる。そして、表示部１０５の４角を構成する４頂点の、ビデオカメラの焦点を原点とした、ビデオカメラ座標系での三次元座標Ｋ_i（ｉ＝１，
２，３，４）を算出することができる。すなわち、超音波スピーカ１０２，１０３，１０４と超音波マイク９７，９８との相対位置によって特定される多視点ディスプレイ１００とＨＭＤ９０との相対位置に基づいて、表示部１０５の４角を構成する４頂点の、ビデオカメラ座標系での三次元座標Ｋ_i（ｉ＝１，２，３，４）を算出することができる。

次に、表示部１０５を構成する４頂点のビデオカメラ座標系における三次元座標Ｋ_i（
ｉ＝１，２，３，４）について、仮想ビデオカメラ座標系での座標（３次元座標Ｋ'_i（ｉ＝１，２，３，４））を算出する。仮想ビデオカメラ座標系とは、仮想ビデオカメラの焦点を原点とした座標系である。また仮想ビデオカメラとは、ビデオカメラに対して回転移動、並進移動を行うことによって仮想的に存在するビデオカメラのことであり、仮想ビデオカメラの位置は、後述する回転移動量、並進移動量により定義される。回転移動量、並進移動量の初期値はともに０なので、初期状態ではビデオカメラ座標系と仮想ビデオカメラ座標系は一致する。このようにして、上記４頂点Ｋ_iを仮想ビデオカメラ座標系での三
次元座標Ｋ'_iに変換する。これにより、ビデオカメラ座標系において表示部１０５の４角を構成する４頂点についての仮想ビデオカメラ座標系における座標が得られる。

そして、４頂点Ｋ'_iを仮想ビデオカメラの撮像面上のどの座標に撮像するかを算出する。この座標は、公知の方法により算出することができる（例えば、徐剛、辻三郎著、「３次元ビジョン」、初版３刷、共立出版、２００１年３月１０日発行、８−９頁参照）。これにより、表示部１０５に表示されている画像に関して、表示部１０５に表示されている４角の頂点が対応する、仮想ビデオカメラの撮像面上の座標Ｐ_i（ｉ＝１，２，３，４）
が得られる。また、表示部１０５に表示されている画像において、表示部１０５の４角に表示される、画素上の座標をＱ_i（ｉ＝１，２，３，４）とする。すると、後述する第６
の実施形態と同様に、Ｐ_iとＱ_iとを対応させる射影変換行列Ｈ４を算出することができる。

この射影変換行列Ｈ４の逆行列を、受信した画像（映像）に施して表示部９２に表示する。
次に、使用者の右眼の位置、すなわち仮想的ビデオカメラの位置を必要に応じて調整する（ステップＳ６−４）。使用者は、入力インターフェース９６を用いて、仮想ビデオカメラの焦点位置に対して並進移動、回転移動を施す。このとき表示部９２は、ステップＳ６−３に関する説明で述べた方法と同様にして、仮想ビデオカメラの焦点位置に応じて表示内容を変化させる。

使用者は、表示部９２に表示されている画像（映像）が立体視しやすい位置に表示されていることを確認できたら、調整完了の指示を入力インターフェース９６により入力する。ＨＭＤ９０の制御部９１は、調整完了時の移動量（回転、並進）を位置調整量記憶部９３内の記憶手段（図示せず）に記録する。

以後は、ステップＳ６−１、ステップＳ６−２、ステップＳ６−３を繰り返し行い、使用者の必要に応じてステップＳ６−４を行う。
以上、本実施形態によれば、上記第１，第２，第３の実施形態の（１），（２），（４），（５），（１０）〜（１２）の効果に加えて、以下に示す効果を得ることができる。

（１５）上記第４の実施形態では、ＨＭＤ９０と多視点ディスプレイ１００との相対位置を、超音波スピーカ１０２，１０３，１０４、超音波マイク９７，９８及び相対位置測定部９４により特定する。これにより、特定された相対位置を用いて虚像を提示できる。

（１６）上記第４の実施形態では、多視点ディスプレイ１００は、位置に応じた複数の画像（映像ａ１，ｂ１，ｃ１）を実像として提示し、ＨＭＤ９０は、多視点ディスプレイ１００により提示される実像に対応する虚像（映像ａ２，ｂ２，ｃ２）を提示する。これにより、同時に、位置に応じて異なる実像及び虚像を用いて立体視をすることが可能となる。例えば、多視点ディスプレイ１００が提示する複数の画像（映像ａ１，ｂ１，ｃ１）として、同じ対象を異なる方向から見たものを用いる場合、複数の使用者が、同じ対象について、それぞれの位置に応じた方向から立体視を行うことができる。また、このような同じ対象を異なる方向から見た複数の画像（映像ａ１，ｂ１，ｃ１）を用いる場合、使用者は、例えば、位置Ａから位置Ｂに移動することより、対象について異なる方向から立体視を行うことができる。

（第５の実施形態）
以下、本発明を具体化した第５の実施形態を、図１８〜図２１を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視することを可能にするための画像表示システム及び画像表示方法として説明する。本実施形態では、位置に応じて異なった画像を表示するディスプレイによる画像（第１視点画像）と、単眼ヘッドマウントディスプレイの表示部に表示される画像（第２視点画像）とにより、立体視を行えるようにする。すなわち、本実施形態では、ディスプレイが実像提示手段を構成し、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。なお、本実施形態では、単眼ヘッドマウントディスプレイを左眼側に装着する場合について説明する。

図１８に示すように、単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ１１０」という）は、制御部１１１と、これに接続された表示部１１２とを備えている。制御部１１１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部１１１は、仮想右眼位置移動部１１３、画像ダウン
ロード部１１４等として機能する。

仮想右眼位置移動部１１３は、仮想右眼１３２（図２１参照）の位置を並進、回転移動する。
画像ダウンロード部１１４は、ディスプレイ１２０からＨＭＤ１１０に表示する仮想ＨＭＤ画像をダウンロードする。

表示部１１２は、制御部１１１で処理された出力情報を表示する。
また、制御部１１１は、ＨＭＤ１１０上に配置された超音波スピーカ１１７，１１８に接続されている。超音波スピーカ１１７，１１８は、それぞれ異なる波長の超音波を発生する。使用者は、ＨＭＤ１１０を装着する場合、ＨＭＤ１１０を装着した左眼の視線方向と、超音波スピーカ１１７と超音波スピーカ１１８を結ぶ線分とが直角を成し、かつ使用者の左眼と右眼の位置を結ぶ線分と超音波スピーカ１１７と超音波スピーカ１１８の位置を結ぶ線分とが平行となるように装着する。

また、制御部１１１は、入力インターフェース１１６に接続されている。入力インターフェース１１６は、マウス等のポインティングデバイスにより構成され、表示部１１２に表示されている画像を調整する場合等に用いられる。

さらに、ＨＭＤ１１０は、有線又は無線により、ディスプレイ１２０に接続可能である。ディスプレイ１２０は、制御部１２１を備え、この制御部１２１は、超音波マイク１２２，１２３，１２４、表示部１２５及び３次元データ格納部１２６に接続されている。

制御部１２１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ、ハードディスク等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部１２１は、相対位置測定部１２７、表示画像生成部１２８等として機能する。

相対位置測定部１２７は、超音波スピーカ１１７，１１８から発せられる超音波を、超音波マイク１２２，１２３，１２４により受信することにより、ディスプレイ１２０に対するＨＭＤ１１０の相対位置（距離、方向、傾きについての相対関係）を特定する。すなわち、超音波スピーカ１１７，１１８、超音波マイク１２２，１２３，１２４及び相対位置測定部１２７が、特許請求の範囲に記載の相対位置特定手段として機能する。第４の実施形態と同様、ポヒマスセンサを相対位置特定手段として使用してもよい。

表示画像生成部１２８は、３次元データ格納部１２６に格納されている３次元データと、
相対位置測定部１２７により測定された相対位置情報とから、表示部１１２及び表示部１２５にそれぞれ表示する画像（仮想ＨＭＤ画像、仮想ディスプレイ画像）を生成する。

超音波マイク１２２，１２３，１２４は、超音波を受信し、本実施形態では、ＨＭＤ１１０の超音波スピーカ１１７，１１８から発せられる超音波を受信する。超音波マイク１２２は、図１９に示すように、ディスプレイ１２０の正面部の左下側に位置している。超音波マイク１２３は、ディスプレイ１２０の正面部の左上側に位置しており、超音波マイク１２２の垂直線上に位置している。超音波マイク１２４は、ディスプレイ１２０の正面部の右下側に位置しており、超音波マイク１２２の水平線上に位置している。

表示部１２５は、表示画像生成部１２８により生成された表示部１２５用画像（仮想ディスプレイ画像）を表示する。
３次元データ格納部１２６は、表示部１１２及び表示部１２５にそれぞれ表示する画像の元となる３次元データを格納する。なお、本実施形態では、使用者が閲覧する画像の元
となる３次元データは、予め３次元データ格納部１２６に格納されているものとするが、３次元データ格納部１２６に格納される３次元データの交換などは、図示しないインターフェースを用いることにより行えるものとする。なお、３次元データとしては、ＶＲＭＬなど、一般的な３次元記述言語で作成されたデータを用いる。

上記第１〜第４の実施形態の場合と同様に、使用者は、ＨＭＤ１１０を頭部に装着し、一方の眼の前に表示部１１２が位置するようにする。この状態で、ディスプレイ１２０を見る。

上記のように構成されたシステムを用いて、立体的な画像を鑑賞する場合の処理手順について図２０を用いて説明する。
まず、使用者はＨＭＤ１１０を装着する。ディスプレイ１２０に備えられた超音波マイク１２２，１２３，１２４が、ＨＭＤ１１０に備えられた超音波スピーカ１１７，１１８から発せられた異なる周波数の超音波を受信する。これに基づいて、相対位置測定部１２７が基準点からのＨＭＤ１１０の相対位置を算出する（ステップＳ７−１）。なお、本実施形態では、基準点はディスプレイ１２０の表示部１２５の表示面上の中心位置とする。

そして、ＨＭＤ１１０は、ディスプレイ１２０の表示画像生成部１２８により生成された仮想ＨＭＤ画像をダウンロードし、表示部１１２に表示する（ステップＳ７−２）。一方、ディスプレイ１２０は、表示画像生成部１２８により生成された仮想ディスプレイ画像を同期して表示部１２５に表示する。

以下に、表示画像生成部１２８による仮想ディスプレイ画像及び仮想ＨＭＤ画像の作成処理について、図２１を用いて説明する。表示画像生成部１２８は、仮想空間に、３次元データによる仮想立体物、仮想左眼、仮想右眼を配置し、これらの位置関係から仮想ディスプレイ画像と仮想ＨＭＤ画像を作成する。この処理では、現実空間のディスプレイの裏側に当たる部分に実際に立体物が存在するものと想定して、右眼の位置、左眼の位置から見える、ディスプレイの裏側にある立体物が見える様子を表示部１２５、ＨＭＤ１１０の表示部１１２に表示する。この計算を行うために、現実空間に対応する仮想空間を以下のようにして作成する。

＜仮想空間の作成＞
図２１（ａ）に示す現実空間における配置に対応する位置に、図２１（ｂ）に示すように、各々の物体（仮想表示部１３０、仮想左眼１３１、仮想右眼１３２、仮想ＨＭＤ表示部１３３）を仮想空間内に配置し、さらに仮想表示部１３０の内側（仮想左眼１３１と反対側）に３次元データによる仮想立体物を配置することにより、仮想空間を生成する。具体的には、以下のように行う。なお、ここでは、左眼側にＨＭＤ１１０を装着した場合について説明する。

まず、現実空間の座標系を直交座標系とし、原点を図２１（ａ）の点線で囲われた枠の右上の○で記された位置とする。次に仮想空間の座標系も同じく直交座標系とし、原点を図２１（ｂ）の点線で囲われた枠の右上の○で記された位置とする。そして現実空間での表示部１２５が位置する絶対座標Ｘ１を算出し、仮想空間での同じ絶対座標Ｘ１に仮想表示部１３０を配置する。

次に、相対位置測定部１２７により算出された相対位置を用いて、ＨＭＤ１１０の絶対座標Ｘ２を算出する。そして仮想空間でのこの絶対座標Ｘ２に仮想左眼１３１を配置する。なお、現実空間において、ＨＭＤ１１０の絶対座標と左眼の絶対座標は厳密には異なる。このため厳密に仮想左眼を配置したい場合には、ＨＭＤ１１０装着時の左眼の座標とＨＭＤ１１０との座標差を、あらかじめ測定しておくか、標準的な人間が装着したときの座
標差で代替し、この座標差を用いて仮想左眼を配置する。

次に、仮想右眼１３２の絶対座標を算出し、仮想右眼１３２を配置する。この仮想右眼１３２の絶対座標の算出には、人間の右眼と左眼の位置関係が不変であることを利用する。この仮想右眼１３２の絶対座標は、仮想左眼１３１の絶対座標と、相対位置測定部１２７により算出される仮想左眼１３１の三軸方向（パン、チルト、ロール）の回転量と、相対右眼位置ベクトル・右眼視線方向ベクトル（相対右眼位置ベクトルの初期値としては、長さは６０ｍｍ（人間の標準的な基線間隔）で、方向は視線方向と垂直かつ超音波スピーカ１１７と超音波スピーカ１１８を結ぶ直線と平行、右眼視線方向ベクトルの初期値は左眼の視線方向（ＨＭＤ１１０の向き））により算出される。なお、相対右眼位置ベクトル・右眼視線方向ベクトルは、ステップＳ７−３における表示位置調整により、この大きさ、方向は変更され、個人差に応じて変更することも可能である。

続いて、表示部１１２が提示する虚像位置の絶対座標Ｘ３を算出し、仮想空間内の絶対座標Ｘ３に仮想ＨＭＤ表示部１３３を配置する。
最後に、３次元データの配置を、以下のようにして行う。

まず、一辺が表示部１２５の縦方向の長さである立方体を用意する。そして３次元データによる仮想立体物の重心がこの立方体の中心となるように配置する。そして、３次元データによる仮想立体物の重心がこの立方体の中心と一致するように維持したまま、３次元データによる仮想立体物を拡大又は縮小して３次元データによる仮想立体物が立方体に内接するように正規化する。そして立方体の一面が仮想表示部１３０と一致するように、３次元データによる仮想立体物を仮想空間に配置する。なお、立方体は、３次元データによる仮想立体物の正規化に用いただけで、仮想空間には存在していないことに注意する。

＜仮想ＨＭＤ画像、仮想ディスプレイ画像の作成＞
仮想左眼１３１を焦点位置、仮想ＨＭＤ表示部１３３を撮像面とした仮想カメラを仮想空間内に配置し、３次元データによる仮想立体物を仮想的に撮影する。この仮想カメラにより撮影された画像を仮想ＨＭＤ画像とする。なお、仮想カメラは、標準レンズを持つカメラのように、人間の目としての画角・焦点に限りなく近いカメラであるとする。

同様に、仮想右眼を焦点位置、仮想表示部１３０を撮像面、レンズを標準レンズとした仮想カメラを仮想空間内に配置し、３次元データによる仮想立体物を仮想的に撮影する。この仮想カメラにより撮影された画像を仮想ディスプレイ画像とする。

このようにして、仮想ＨＭＤ画像及び仮想ディスプレイ画像が作成される。
そして、必要な場合には、使用者による表示位置調整を行う（ステップＳ７−３）。具体的には、使用者が、入力インターフェース１１６を用いて表示部１１２における表示位置調整の指示を入力する。これに応じて、仮想右眼位置移動部１１３が、相対右眼位置ベクトル・右眼視線方向ベクトルを変更する。そして、使用者は、立体視しやすい位置に表示部１１２に表示されている画像を調整終了後、調整完了の指示を入力インターフェース１１６により入力する。ＨＭＤ１１０の制御部１１１は、調整完了時の相対右眼位置ベクトル・右眼視線方向ベクトルを仮想右眼位置移動部１１３内の記憶手段（図示せず）に記録するとともに、この相対右眼位置ベクトル・右眼視線方向ベクトルをディスプレイ１２０に通知する。ディスプレイ１２０は、この相対右眼位置ベクトル・右眼視線方向ベクトルを表示画像生成部１２８内の記憶手段（図示せず）に記録する。以後、この更新された相対右眼位置ベクトル・右眼視線方向ベクトルを、仮想右眼１３２の絶対座標の算出に用いる。

そして以後はＳ７−１、Ｓ７−２を繰り返し、使用者が立体視しにくいと感じたときの
みＳ７−３を実行する。
また、使用者は、３次元データによる仮想立体物の裏側を閲覧する場合には、入力インターフェース１１６により、３次元データによる仮想立体物について、この仮想立体物の重心を基準とした回転移動を指示する。この場合、ディスプレイ１２０の表示画像生成部１２８は、ＨＭＤ１１０から受信した回転移動の指示に基づいて、３次元データによる仮想立体物の重心を基準として仮想空間内の仮想立体物を回転移動させる。そして、相対位置と調整完了時の相対右眼位置ベクトル・右眼視線方向ベクトルを利用して、上述のように仮想ＨＭＤ画像及び仮想ディスプレイ画像を作成し、表示部１１２、表示部１２５にそれぞれ表示することを繰り返す（ステップＳ７−４）。

なお、本実施形態では、ディスプレイ１２０の表示部１２５は平面としたが、平面以外の形状、例えば、球面を代表とする曲面でも構成可能である。
以上、本実施形態によれば、上記第１，第２，第３，第４の実施形態の（１），（２），（４），（５）の効果に加えて、以下に示す効果を得ることができる。

（１７）上記第５の実施形態では、ＨＭＤ１１０とディスプレイ１２０との相対位置を、超音波スピーカ１１７，１１８、超音波マイク１２２，１２３，１２４及び相対位置測定部１２７により特定し、この相対位置を用いて仮想ＨＭＤ画像及び仮想ディスプレイ画像を生成する。これにより、相対位置に応じて仮想ＨＭＤ画像（虚像）と仮想ディスプレイ画像（実像）とを提示できる。従って、使用者が移動してＨＭＤ１１０とディスプレイ１２０との相対位置関係を徐々に変化させた場合に、ディスプレイ１２０に表示する仮想ディスプレイ画像（実像）と、ＨＭＤ１１０に表示する仮想ＨＭＤ画像（虚像）とを徐々に変化させることにより、視点を徐々に移動させながら立体視をすることが可能となる。このため、使用者は、よりリアルな３次元画像を閲覧できる。また、ディスプレイ１２０の表示画像生成部１２８が、表示画像（仮想ＨＭＤ画像、仮想ディスプレイ画像）の生成を行うため、ＨＭＤ１１０側の処理を軽減できる。

（１８）上記第５の実施形態では、３次元データを用いて表示画像（仮想ＨＭＤ画像、仮想ディスプレイ画像）を生成する。このため、使用者は、任意の方向から立体画像を見ることができ、例えば、立体画像の裏側を見る場合には、立体画像の回転を指示することにより、裏側を見ることができる。

（第６の実施形態）
以下、本発明を具体化した第６の実施形態を、図２２〜２７を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視するための画像表示システム、画像表示方法及び立体表示用印刷物として説明する。本実施形態では、左右の視差を考慮した第１視点画像及び第２視点画像の内、紙（立体表示用印刷物）に印刷された第１視点画像を左右の一方の眼球にて閲覧させた状態で、単眼ヘッドマウントディスプレイに表示した第２視点画像を他方の眼球にて閲覧させる。より詳しくは、本実施形態では、実像として提示される画像（第１視点画像）とこの画像に対応する画像データの識別情報をコード化した２次元コードとを印刷した紙（立体表示用印刷物）を用いる。そして、この立体表示用印刷物の画像（第１視点画像）を左右の一方の眼で見るとともに、この立体表示用印刷物を撮像し、撮像された２次元コードにより特定される識別情報に基づいてサーバから抽出された画像（第２視点画像）を単眼ヘッドマウントディスプレイの表示部に表示させて、この画像（第２視点画像）をもう一方の眼で見ることにより、立体視を可能にする。すなわち、本実施形態では、立体表示用印刷物が、実像提示手段を構成する。また、単眼ヘッドマウントディスプレイが、虚像提示手段を構成する。

図２２に示すように、単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）１４０は、制御部１４１と、これに接続された表示部１４２とを備えている。制御部１４１
は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部１４１は、位置調整量記憶部１４３、画像処理部１４４、画像ダウンロード部１４５等として機能する。

位置調整量記憶部１４３は、使用者が入力インターフェース１４８により入力した回転移動量、並進移動量に従って表示部１４２の表示内容を変化させるとともに、使用者が入力インターフェース１４８により入力した回転移動量、並進移動量を記憶する。

すなわち、この位置調整量記憶部１４３は、使用者が入力インターフェース１４８により入力した回転移動量、並進移動量に従って、後述するように表示部１４２の表示内容を変化させることにより特許請求の範囲に記載の表示データ状態選択手段として機能する。また、相対位置に基づいて算出した射影変換行列を画像に施すとともに、記憶された回転移動量、並進移動量に基づいて表示部１４２の表示内容を自動的に調整することにより、画像処理部１４４と位置調整量記憶部１４３とが特許請求の範囲に記載の表示データ自動変形手段として機能する。

画像処理部１４４は、カメラ１４９で撮影した画像から識別情報が存在するか否かを判定し、存在する場合は後述するようにして射影変換行列Ｈ６を算出すると共に、画像ダウンロード部１４５に処理を指示し、算出した射影変換行列Ｈ６の逆行列をダウンロードした画像に施す。画像処理部１４４は、射影変換行列Ｈ６の逆行列をダウンロードした画像に施すことにより、特許請求の範囲に記載の表示データ変形手段として機能する。また、２次元コード１６２とカメラ１４９と画像処理部１４４とが、特許請求の範囲に記載の相対位置特定手段として機能する。

画像ダウンロード部１４５は、識別情報に基づいて、サーバ１５０から識別情報に関連付けされた画像をダウンロードし、ダウンロードした画像に射影変換行列Ｈ６の逆行列を施し、表示部１４２に表示する。

表示部１４２は、ディスプレイ装置であり、制御部１４１で処理された出力情報を表示する。また、制御部１４１は、撮像手段としてのカメラ１４９に接続されている。カメラ１４９は、レンズを通じて紙１６０（図２３参照）を撮像する。このカメラ１４９は撮像面が表示部１４２と平行、光軸中心が表示部１４２の中心を通る位置に配置されており、表示部１４２とカメラ１４９の撮像部で視差がないように設計されている。このようなＨＭＤ１４０とカメラ１４９の位置関係は、ビデオシースルー型のＨＭＤやオプティカルシースルー型のＨＭＤで達成されている。このような設計がなされているビデオシースルー型のＨＭＤには、例えばキヤノン社製のＶＨ−２００２がある。カメラ１４９は制御部１４１に画像を転送する。なお、転送される画像は、カメラ１４９で撮影された画像に含まれる歪曲歪みなどが取り除かれているとなお良い。

また、制御部１４１は、入力インターフェース１４８に接続されている。入力インターフェース１４８は、マウス等のポインティングデバイスにより構成され、表示部１４２に表示されている画像を調整する場合等に用いられる。

さらに、ＨＭＤ１４０は、有線又は無線により、サーバ１５０に接続可能である。サーバ１５０は、図示しない制御手段（ＣＰＵ、ＲＡＭ，ＲＯＭ等を備える）、記憶手段、通信手段等を備える。このサーバ１５０は、右眼装着時用画像データ記憶部１５１と左眼装着時用画像データ記憶部１５２を備えている。右眼装着時用画像データ記憶部１５１には、ＨＭＤ１４０を右眼に装着したときに関連する画像データが、左眼装着時用画像データ記憶部１５２には、ＨＭＤ１４０を左眼に装着したときに関連する画像データが格納されている。これらの画像データは、立体視する画像を特定した場合に紙１６０（図２３参照
）とともに生成され記録される。なお、本実施形態ではＨＭＤを右眼に装着するものとして記述するため、左眼装着時用画像データ記憶部１５２及び左眼装着時用画像データ記憶部１５２に格納する画像データは使用しない。これはＨＭＤを右眼に装着することを限定しているのではなく、第１の実施形態のように、ＨＭＤ装着時にどちらかの眼を装着したかの情報を付加することとでＨＭＤをどちらに装着することも可能になる。どちらの眼に装着したかに関する情報を付加する方法は、使用者による入力以外の方法を用いることも可能である。例えば、島津製作所社製のData Glass 2/A（商標）のように、左右どちらの眼でも使用できるような形態としておき、左眼（あるいは右眼）用の位置に取り付けた際、左眼（あるいは右眼）の位置に取り付けたことをセンサにより検知する方法が挙げられる。

右眼装着時用画像データ記憶部１５１には、ＨＭＤ１４０を右眼側に装着した場合に表示させるステレオ画像データが記録されている。すなわち、使用者は、紙１６０のステレオ画像１６１（図２３参照）を左眼で見るとともに、ステレオ画像１６１に対応する、右眼装着時用画像データ記憶部１５１に記録された右サーバ用画像１７４をＨＭＤ１４０の表示部１４２で、右眼を使って見ることにより立体視することができる。

図２３に示すように、使用者は、このＨＭＤ１４０を頭部に装着し、右眼の前に表示部１４２が位置するようにする。そして、この状態で、立体視のために印刷された紙１６０を見る。この場合、左眼でこの紙１６０を見ることとなる。紙１６０には、ステレオ画像１６１及び２次元コード１６２が印刷されている。

なお、右眼装着時用画像データ記憶部１５１に格納されている右サーバ用画像１７４と、紙１６０のステレオ画像１６１には、図２４に示すような関係が成り立つように以下の方法で作られている。

まず大きさの等しい２枚のステレオ画像（左視差画像１７１、右視差画像１７２）を用意する。そして、それぞれの画像を背景の白い画像の同一座標に貼り付け、左サーバ用画像１７３、右サーバ用画像１７４を作成する。なお、本実施形態では白い背景を用いたが、黒でもよいし、画像に比べて目立たないものであれば何でもよい。そして、右サーバ用画像１７４は右眼装着時用画像データ記憶部１５１に格納する。

次に、左サーバ用画像１７３の左視差画像１７１の存在しない領域に、正方形状の２次元コード１６２を設置する。２次元コード１６２には、左サーバ用画像１７３上での２次元コード１６２の４頂点の座標と、右サーバ用画像１７４が格納されたサーバ１５０内にある右眼装着時用画像データ記憶部１５１のアドレスと、対応する右サーバ用画像１７４のファイル名が符号化されている。この左サーバ用画像１７３に２次元コード１６２を付加して印刷したものが、紙１６０に対応する。すなわち、ステレオ画像１６１は左視差画像１７１と同一のものとなる。

続いて、このように構成されたシステムを用いて立体視を行う場合の処理手順について図２５を用いて説明する。
まず、紙１６０にステレオ画像１６１と、識別情報を２次元コード化した２次元コード１６２とを印刷する。そして使用者はＨＭＤ１４０を装着する。使用者はＨＭＤ１４０を右眼に装着する。

そして、使用者は、図２３に示すように紙１６０を正面に見ながら、カメラ１４９により紙１６０を撮影する（ステップＳ８−１）。制御部１４１は、撮影した画像から、画像処理部１４４により、２次元コード１６２を読み取る（ステップＳ８−２）。ここで、２次元コード１６２の読取ができなかった場合（ステップＳ８−２において「ＮＯ」の場合
）は、ステップＳ８−１に戻る。

画像ダウンロード部１４５は、２次元コード１６２から読み取られた右眼装着時用画像データ記憶部１５１のアドレスと右サーバ用画像１７４のファイル名に基づいて右サーバ用画像１７４をダウンロードし、画像処理部１４４に渡す（ステップＳ８−３）。次に画像処理部１４４は、カメラ１４９に撮影された２次元コード１６２の４頂点（２次元コードの枠の４頂点）それぞれを、２次元コード１６２に符号化されていた４頂点へ射影するような平面射影行列Ｈ６を求める（ステップＳ８−４）。このような平面射影行列は一意に求めることができる。

このときの平面射影行列Ｈ６は、図２６に示されているように撮影画像上での紙１６０に印刷された２次元コード１６２の位置を、左サーバ用画像１７３での２次元コードの位置と一致させるだけでなく、ステレオ画像１６１と、左サーバ用画像１７３上での左視差画像１７１との位置をも一致させる平面射影行列である。

次に、平面射影行列Ｈ６の算出方法を説明する。ここでは、算出方法として、特開２００４−２４６６６７号公報に開示されているものを用いている。
撮影画像上の２次元コードの４角の座標Ｐ_ｉ（ｉ＝１，２，３，４）を求める（Ｐ₁，
Ｐ₂，Ｐ₃，Ｐ₄は２次元コードの左上の頂点、右上の頂点、右下の頂点、左下の頂点に対
応する。）。また、紙１６０上の２次元コード１６２の４角の本来の座標Ｑ_ｉ（ｉ＝１，２，３，４）を読み取った２次元コード１６２から取得する（Ｑ₁，Ｑ₂，Ｑ₃，Ｑ₄は２次元コードの左上の頂点、右上の頂点、右下の頂点、左下の頂点に対応する。）。

ここで数１のようにおくと、数２の式が成り立つ。

よって、上式に、Ｐ₁とＱ₁、Ｐ₂とＱ₂、Ｐ₃とＱ₃、Ｐ₄とＱ₄をそれぞれ代入することにより、h₁₁〜h₃₃を求めることができる。すなわち平面射影行列Ｈ６を算出することができる。

なお、本実施形態では、画像から認識することが比較的容易な２次元コードの４点を、平面射影行列Ｈ６を算出するために利用したが、これに限られるものではなく、３点が同一直線上に存在しないような４点の組み合わせならば、どのような４点を選んでもよい。また４点以上の対応点を抽出しておいて、それぞれの誤差を最小にするような平面射影変換行列を算出してもよい。

また、本実施形態では、２次元コード１６２にこの２次元コード１６２の４頂点の座標を符号化したが、これに限られるものではなく、４点の本来の座標を取得できればよい。例えば、２次元コードの４頂点の本来の座標をサーバに記録し、２次元コードに符号化された情報に基づいてサーバからこの座標を取得してもよい。

そして、画像処理部１４４は、平面射影行列Ｈ６の逆行列を右サーバ用画像１７４に施し（ステップＳ８−５）、得られた画像を画像ダウンロード部１４５に渡す。画像ダウン
ロード部１４５は、この画像を表示部１４２に表示するよう指示する。ここで、ＨＭＤ１４０の位置調整量記憶部１４３に後述する調整完了時の移動量（回転、並進）が記録されている場合には、位置調整量記憶部１４３は、さらに、この調整完了時の移動量（回転、並進）を用いて画像を調整し、調整後の画像を表示部１４２に表示する。調整完了時の移動量（回転、並進）が記録されていない場合には、平面射影行列Ｈ６の逆行列を右サーバ用画像１７４に施して得られた画像をそのまま表示部１４２に表示する。

次に、使用者は、ＨＭＤ１４０の表示部１４２に表示されている画像を調整する。このときの使用者による調整は、ステップＳ６−４で行った右眼位置の調整と同様に行うことも可能である（ステップＳ８−６）。すなわち、２次元コード１６２の一辺の長さを基準長とし、撮影画像からカメラ１４９の焦点位置を測定する。そして入力インターフェース１４８を用いてＨＭＤ１４０に対するカメラ１４９の位置を仮想的に移動し、仮想的に移動したカメラ１４９での４点Ｐ_iの座標を求めることで、上記第４の実施形態と同様の方
法により実現できる。

使用者は、表示部１４２に表示されている画像（映像）が立体視しやすい位置に表示されていることを確認できたら、調整完了の指示を入力インターフェース１４８により入力する。ＨＭＤ１４０は、この調整完了時の移動量（回転、並進）を位置調整量記憶部１４３内の記憶手段（図示せず）に記録する。

以後は、ステップＳ８−１、ステップＳ８−２、ステップＳ８−３、ステップＳ８−４、ステップＳ８−５を繰り返し行い、使用者の必要に応じてステップＳ８−６を行う。
なお、より簡略なシステムを開示するために、本実施形態での２次元コードに２つの意味を持たせている。１つは相対位置特定手段としてのマークとしての意味であり、もう１つは紙１６０に表示されている画像（もしくは表示されている画像に対応している画像）を特定するための２次元コードとしての意味である。このため、この２次元コードの持つ２つの意味を分離して表示させる実施方法も考えられる。

相対位置特定手段としてのマークとしては、例えば、画像が既知の長方形だと仮定して画像の輪郭を利用し相対位置を測定する方法、図２７（ａ）に示すように画像に対して既知の長方形１９１で枠組みを行う方法、図２７（ｂ）に示すように４隅にかぎ括弧マーク１９２をつけそれを利用して相対位置を測定する方法、図２７（ｃ）や図２７（ｄ）に示すようにカラー印刷のときに用いるトンボなど１９３，１９４を用いる方法などが挙げられる。上記には、長方形型の相対位置特定手段しか提示していないが、形が既知であれば他のどのようなマークを画像周囲に添付してもあおり補正を行うことができる。更に、これらのマークを人間の目には見えないインクを用いて画像領域内に添付することもできる。例えば、グリッドマーク株式会社製のＧＲＩＤ ＯＮＰＵＴ（登録商標）のような技術で視覚的に認識されないコードを利用することもできる。このような場合、本実施形態で用いた撮影手段の代わり、もしくは本実施形態で用いた撮影手段に加えて、ＧＲＩＤ ＯＮＰＵＴで用いられるような特殊なカメラを用いる必要がある。

また、表示画像を特定する手段には、上述の方法の他、上記第５の実施形態などで用いられているように、紙に表示されている画像をディスプレイに表示させ、ディスプレイとＨＭＤを同一の処理装置に接続することで、ディスプレイに表示されている画像をＨＭＤに認識させる方法、ＲＦＩＤなどのタグを表示画像の近隣に添付し、ＨＭＤにタグリーダを付随させることにより表示画像を特定する方法、あらかじめ表示画像を記録しておき、他の実施形態と同様に撮影手段で撮影した画像に対して、テンプレートマッチングを施して表示画像を特定する方法などがある。

以上、本実施形態によれば、上記第１〜第５の実施形態の（１）〜（５），（８）〜（
１２）の効果に加えて、以下に示す効果を得ることができる。
（１９）上記第６の実施形態では、射影変換に用いる平面射影行列を、撮影画像上の２次元コードの４頂点の座標Ｐ_ｉ（ｉ＝１，２，３，４）と、実像提示手段に提示された２次元コードの４頂点の本来の座標Ｑ_ｉ（ｉ＝１，２，３，４）とから求めることができる。これにより、求められた平面射影行列Ｈ６を用いて、射影変換を行うことができる。

（２０）上記第６の実施形態では、２次元コードに、相対位置特定手段としてのマークとしての意味と、紙１６０に表示されている画像（もしくはこれに対応している画像）を特定するための２次元コードとしての意味と２つの意味を持たせるともに、この２つの意味を分離した実施方法も示している。このように、２次元コードに限らず、相対位置特定手段としてのマークとして機能する手段と、紙１６０に表示されている画像（もしくはこれに対応している画像）を特定する手段とを用いることにより、２次元コード以外を用いても、同様の効果を得ることができる。

（第７の実施形態）
以下、本発明を具体化した第７の実施形態を、図２８〜３２を用いて説明する。本実施形態では、片方の眼で外界を見ながら、柔軟に立体視するための画像表示システム及び画像表示方法として説明する。本実施形態では、左右の視差を考慮した第１視点画像及び第２視点画像の内、ディスプレイに表示された第１視点画像を左右の一方の眼球にて閲覧させた状態で、単眼ヘッドマウントディスプレイに表示した第２視点画像を他方の眼球にて閲覧させる。より詳しくは、本実施形態では、実像として提示される画像（第１視点画像）とこの画像に対応する画像データの識別情報をコード化した２次元コードとを表示するディスプレイを用いる。そして、このディスプレイの画像（第１視点画像）を左右の一方の眼で見るとともに、このディスプレイを撮像し、撮像された２次元コードにより、使用者とディスプレイとの相対位置を特定してディスプレイの画像（第１視点画像）を変形する。また、画像（第２視点画像）を単眼ヘッドマウントディスプレイの表示部に表示させて、この画像（第２視点画像）をもう一方の眼で見ることにより、立体視を可能にする。このとき、第２視点画像には変形処理を行わず、第1視点画像のみ変形処理を行っている
点が第1、第６の実施形態とは異なる。

図２８に示すように、単眼ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）２００は、制御部２０１、これに接続された表示部２０２とを備えている。制御部２０１は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部２０１は、位置調整量記憶部２０３、画像処理部２０４、画像ダウンロード部２０５、ステレオ画像格納部２０６等として機能する。

位置調整量記憶部２０３は、使用者が入力インターフェース２０８により入力した回転移動量、並進移動量に従ってディスプレイ２１２の表示内容を変化させるとともに、使用者が入力インターフェース２０８により入力した回転移動量、並進移動量を記憶する。

すなわち、この位置調整量記憶部２０３は、使用者が入力インターフェース２０８により入力した回転移動量、並進移動量に従って、後述するようにディスプレイ２１２の表示内容を変化させることにより特許請求の範囲に記載の表示データ状態選択手段として機能する。また、相対位置に基づいて算出した射影変換行列を画像に施すとともに、記憶された回転移動量、並進移動量に基づいてディスプレイ２１２の表示内容を自動的に調整することにより、画像処理部２０４と位置調整量記憶部２０３とが特許請求の範囲に記載の表示データ自動変形手段として機能する。

画像処理部２０４は、カメラ２０９で撮影した画像から識別情報が存在するか否かを判定し、存在する場合は、識別情報とステレオ画像格納部２０６に格納されている画像が一
致しているかを確認したのちに射影変換行列Ｈ７を算出し、ディスプレイ２１２に表示するステレオ画像に対してこの射影変換行列Ｈ７を施す。画像処理部２０４は、射影変換行列Ｈ７をディスプレイ２１２に表示するステレオ画像に施すことにより、特許請求の範囲に記載の表示データ変形手段として機能する。また、相対位置測定用四辺形２４３（図２９参照）とカメラ２０９と画像処理部２０４とが、特許請求の範囲に記載の相対位置特定手段として機能する。

画像ダウンロード部２０５は、使用者が図示しないインターフェースにより指示したステレオ画像をサーバ２２０内にある加工画像データ記憶部２２１から加工画像データ（加工左視差画像２３３及び加工右視差画像２３４）をダウンロードし、ステレオ画像格納部２０６に格納する。そのとき加工画像データをダウンロードしたサーバ２２０のアドレスと加工画像データのファイル名は保持される。

表示部２０２は、ディスプレイ装置であり、制御部２０１で処理された出力情報を表示する。ディスプレイ２１２は、現実空間に存在するディスプレイ装置であり、制御部２０１に処理された出力情報を表示する。表示部２０２とディスプレイ２１２の解像度は等しい。

また、制御部２０１は、撮像手段としてのカメラ２０９に接続されている。カメラ２０９は、レンズを通じてディスプレイ２１２（図２９参照）を撮像する。このカメラ２０９は撮像面が表示部２０２と平行、光軸中心が表示部２０２の中心を通る位置に配置されており、表示部２０２とカメラ２０９の撮像部で視差がないように設計されている。このようなＨＭＤ２００とカメラ２０９の位置関係は、ビデオシースルー型のＨＭＤやオプティカルシースルー型のＨＭＤで達成されている。このような設計がなされているビデオシースルー型のＨＭＤには、例えばキヤノン社製のＶＨ−２００２がある。

カメラ２０９は制御部２０１に画像を転送する。なお、転送される画像は、ビデオカメラ５９で撮影された画像に含まれる歪曲歪みなどが取り除かれているとなお良い。
また、制御部２０１は、入力インターフェース２０８に接続されている。入力インターフェース２０８は、マウス等のポインティングデバイスにより構成され、ディスプレイ２１２に表示されている画像を調整する場合等に用いられる。

さらに、ＨＭＤ２００は、有線又は無線により、サーバ２２０に接続可能である。サーバ２２０は、図示しない制御手段（ＣＰＵ、ＲＡＭ，ＲＯＭ等を備える）、記憶手段、通信手段等を備える。このサーバ２２０は、加工画像データ記憶部２２１を備えている。加工画像データ記憶部２２１には、対となった２枚の加工視差画像のペアが複数格納されている。

図２９に示すように、使用者は、このＨＭＤ２００を頭部に装着し、右眼の前に表示部２０２が位置するようにする。無論、左眼に装着することも可能ではあるが、本実施形態では右眼に装着した場合のみ説明する。この状態で、ディスプレイ２１２の表示を見る。ディスプレイ２１２の表示部には、視差画像と２次元コードとが表示される。さらに、ディスプレイ２１２の表示部に内接して、相対位置測定用四辺形２４３が重畳表示される。具体的な表示内容については後述する。

この状態で、複数存在する画像から、一つの画像を選択する（図示しないインターフェースによる）と共に、使用者が右眼にＨＭＤ２００を装着していることを指示する。すると、サーバ２２０の加工画像データ記憶部２２１に格納されている画像データの中から、選択された画像に対応する２枚のステレオ画像が転送されて、ステレオ画像格納部２０６に、ＨＭＤ表示用として加工右視差画像２３４が、ディスプレイ表示用として加工左視差
画像２３３がそれぞれ格納される。

なお加工画像データ記憶部２２１に格納されている画像ペアは、次のように作成された左ステレオ加工画像と、右ステレオ加工画像のペアである。
まず２枚のステレオ画像（左視差画像２３１、右視差画像２３２）を用意する。そしてそれぞれの画像を背景の白い画像の同一座標に貼り付け、加工左視差画像２３３、加工右視差画像２３４を作成する。なお、本実施形態では白い背景を用いたが、黒でもよいし、画像に比べて目立たないものであればなんでもよい。そして加工左視差画像２３３の左視差画像２３１の存在しない領域に、正方形状の２次元コード２５１を設置する。２次元コード２５１には、加工左視差画像２３３上での２次元コード２５１の４頂点の座標と、加工左視差画像２３３が格納されたサーバ２２０内にある加工画像データ記憶部２２１のアドレスと、対応する加工左視差画像２３３のファイル名が符号化されている。

同様に、加工右視差画像２３４の右視差画像２３２の存在しない領域に、正方形状の２次元コード２５２を設置する。２次元コード２５２には、加工右視差画像２３４上での２次元コード２５２の４頂点の座標と、加工右視差画像２３４が格納されたサーバ２２０内にある加工画像データ記憶部２２１のアドレスと、対応する加工右視差画像２３４のファイル名が符号化されている。

続いて、このように構成されたシステムを用いて立体視を行う場合の処理手順について図３１を用いて説明する。
まず、使用者はＨＭＤ２００を右眼に装着し、図示しないインターフェースにより立体視したいステレオ画像を選択すると共に、使用者はどちらの眼にＨＭＤ２００を装着するかを入力する（本実施形態では右眼）。するとサーバ２２０から、使用者が選択した画像に対応する加工左視差画像２３３をディスプレイ２１２に、加工右視差画像２３４を表示部２０２に表示する（ステップＳ９−１）。

さらに、ディスプレイ２１２に、相対位置測定用四辺形２４３（図３２参照）を重畳表示する。相対位置測定用四辺形２４３は、ディスプレイ２１２の表示部に内接する最大の長方形である。このとき、画像座標系での相対位置測定用四辺形２４３の４頂点の座標を制御部２０１に備えた相対位置測定用記憶部（図示せず）に記憶しておく。また、相対位置測定用四辺形２４３の４辺に異なる色をもたせ（図３２では各辺の色分けは示していない。）、各辺の周辺部に白色の帯状領域を設ける（図３２では背景が白なので、存在しているようには見えない。）。相対位置測定用四辺形２４３の４辺に異なる色をもたせたのは、カメラをどのような向きに配置しても、四辺形の上下左右の認識ができるようにするためである。また各辺の周辺部に白色の帯状領域を設けたのは、相対位置測定用四辺形２４３の４辺と加工左視差画像２３３とを重畳した場合に、撮影画像の中から容易に相対位置測定用四辺形２４３の４辺を抽出できるようにするためである。

そして、使用者は、図２９に示すようにディスプレイ２１２を正面に見ながら、カメラ２０９によりディスプレイ２１２を撮影する（ステップＳ９−２）。制御部２０１は、撮影した画像から、画像処理部２０４により、２次元コード２５１を読み取る（ステップＳ９−３）。ここで、２次元コード２５１の読取ができなかった場合（ステップＳ９−３において「ＮＯ」の場合）は、ステップＳ９−２に戻る。

画像処理部２０４は、２次元コード２５１から読み取られた加工左視差画像２３３と、ステレオ画像格納部２０６に格納されているディスプレイ表示用画像をダウンロードしたサーバ２２０の加工画像データ記憶部２２１のアドレス及びディスプレイ表示用画像（加工左視差画像２３３）のファイル名とを照合する（ステップＳ９−４）。２次元コード２５１から読み取られた加工左視差画像２３３と、ステレオ画像格納部２０６に格納されて
いるディスプレイ用画像のアドレス、ファイル名が一致しなった場合（ステップＳ９−４において「ＮＯ」の場合）は、使用者はステップＳ９−１に戻り、もう一度、立体視したい画像を選択する。

次にカメラ２０９に撮影された相対位置測定用四辺形２４３の４頂点それぞれを、上記相対位置測定用記憶部に記憶されている、画像座標系での相対位置測定用四辺形２４３の４頂点の座標に射影するような射影変換行列Ｈ７を求める。（ステップＳ９−５）。このような射影変換行列は一意に求めることができる。

なお、図３２のように、撮影画像に相対位置測定用四辺形２４３の４頂点すべてが撮像されていない場合も、射影変換行列Ｈ７を算出することは可能である。図３２の例では、辺２４３ａと辺２４３ｂとを伸ばして、この２辺の交点を頂点とすることで射影変換行列Ｈ７を算出することができる。そして、射影変換行列Ｈ７を加工左視差画像２３３に施し（ステップＳ９−６）、得られた画像をディスプレイ２１２に表示し、相対位置測定用四辺形２４３を重畳して表示する。ここで、ＨＭＤ２００の位置調整量記憶部２０３に後述する調整完了時の移動量（回転、並進）が記録されている場合には、位置調整量記憶部２０３は、さらに、この調整完了時の移動量（回転、並進）を用いて画像を調整し、調整後の画像をディスプレイ２１２に表示する。調整完了時の移動量（回転、並進）が記録されていない場合には、射影変換行列Ｈ７を加工左視差画像２３３に施して得られた画像をそのままディスプレイ２１２に表示する。

次に、使用者は、ディスプレイ２１２に表示されている画像を調整する。このときの使用者による調整は、Ｓ６−４で行った右眼位置の調整と同様に行うことも可能である（ステップＳ９−７）。すなわち、２次元コード２５１の一辺の長さを基準長とし、撮影画像からカメラ２０９の焦点位置を測定する。そして入力インターフェース２０８を用いてＨＭＤ２００に対するカメラ２０９の位置を仮想的に移動し、仮想的に移動したカメラ２０９での４点Ｐ_iの座標を求めることで、上記第４の実施形態と同様の方法により実現でき
る。なお、本実施形態では使用者の操作によりディスプレイ２１２に表示されている画像を調整するが、使用者の操作により表示部２０２に表示されている画像を調整してもよい。また、使用者の操作によりディスプレイ２１２に表示されている画像、及び、表示部２０２に表示されている画像の両方を調整してもよい。

以後は、ステップＳ９−２、ステップＳ９−３、ステップＳ９−４、ステップＳ９−５、ステップＳ９−６を繰り返し行い、使用者の必要に応じてステップＳ９−７を行う。
なお、２次元コードにグリッドマーク株式会社製のＧＲＩＤ ＯＮＰＵＴ（登録商標）技術などの視覚的に認識されないコードを利用することで、左視差画像２３１に２次元コードを重畳して加工左視差画像２３３を作成することも可能である。このような場合、本実施形態で用いた撮影手段の代わり、もしくは本実施形態で用いた撮影手段に加えて、ＧＲＩＤ ＯＮＰＵＴで用いられるような特殊なカメラを用いる必要がある。また、本実施形態や他の実施形態では、ＨＭＤにカメラを装着し、実像側に相対位置特定手段としてのマークとしての相対位置測定用四辺形２４３や２次元コードを装着した。これに代えて、ＨＭＤに相対位置測定用四辺形や２次元コード等の相対位置特定手段としてのマークを装着し、実像側にカメラを装着しても、ＨＭＤと相対位置測定用四辺形や２次元コード等との位置関係を把握し、カメラと実像との位置関係を把握することで同様のことを達成することができる。

以上、本実施形態によれば、上記第１〜第６の実施形態の（１）〜（５），（８）〜（１２），（１９）の効果に加えて、以下に示す効果を得ることができる。
（２１）上記第７の実施形態では、ＨＭＤ２００に表示する第２視点画像には変形処理を行わず、ディスプレイ２１２に表示する第１視点画像にのみ変形処理を行う。このよう
に、ディスプレイに表示した画像を実像として用いる場合、ＨＭＤ２００に表示する第２視点画像には変形処理を行わず、ディスプレイ２１２に表示する第１視点画像にのみ変形処理を行うことによっても、上記第１〜第６の実施形態の場合と同様に立体視可能に表示できる。

なお、上記実施形態は、以下の態様に変更してもよい。
・ 上記第１〜第３の実施形態では、２次元コード４２，６７，８７にＨＭＤ２０，５０に表示する画像を取得するための情報（識別情報、差分情報、視差を利用して異なる奥行き位置に見えるようにする（凹凸を付けて表示する）部分の位置情報）をコード化した。ＨＭＤ２０，５０に表示する画像を取得するためのこれらの情報を提供するものは、２次元コードに限らない。例えば、日立製作所のミューチップ（登録商標）などの無線タグを紙面に埋め込み、ＨＭＤに装着した無線タグ用リーダによりタグ情報を読み取って、この情報に基づいてＨＭＤに表示する画像を取得してもよい。また、差分情報や視差を利用して異なる奥行き位置に見えるようにする部分の位置情報を無線タグ等に記録し、これらの情報を提供してもよい。この場合、画像の相対位置、相対サイズに関する情報を含む２次元コード等、紙面上の画像の位置の特定やあおり補正のための基準となるものを、紙面上に、別途、設けてもよい。

・ 上記第１〜第３の実施形態では、ステレオ画像４１，６６又は画像８６と、２次元コード４２，６７，８７とを紙面上に印刷した立体表示用印刷物を用いた。これに代えて、実像として提示する画像と２次元コードとをディスプレイ上に表示してもよい。また、実像として提示する画像と２次元コードとを別々に用意して、対応する画像と２次元コードを同時に用いることにより立体視を行ってもよい。

・ 上記第３の実施形態では、画像８６と２次元コード８７とを紙面上に印刷した立体表示用印刷物を用いた。これに代えて、１つの実像として提示する画像に対し、各画素に対応する高さ情報をコード化した２次元コードを複数用意してもよい。これにより、同じ画像に対しても様々な視線方向を考慮して虚像を表示することができる。

・ 上記第３の実施形態では、地図画像領域の(8,1)に大きさ２、(8,11)に大きさ２の
領域の画素情報を動かした画像をＨＭＤ５０の表示部５２に表示した。これに代えて、特定された領域内の文字のみについて高さを持たせて表示してもよい。この場合、特定された領域内の文字（上記の例では、「コンビニ」）について、左右のいずれかに動かした画像をＨＭＤ５０の表示部５２に表示する。

・ 上記第４の実施形態では、映像を立体視する場合について本発明を具体化したが、静止画像を立体視する場合について具体化してもよい。
・ 上記第１〜第６の実施形態では第２視点画像にのみ変形処理を行い、上記第７の実施形態では第１視点画像にのみ変形処理を行ったが、第１視点画像及び第２視点画像の双方にそれぞれ変形処理を行ってもよい。

本発明の第１の実施形態のシステムの概略図。 ヘッドマウントディスプレイの使用方法の説明図。 左右の眼でそれぞれ見ることができる画像の説明図。 第１の実施形態の処理手順の説明図。 本発明の第２の実施形態のシステムの概略図。 第２の実施形態の処理手順の説明図。 ステレオ画像を印刷した紙の説明図。 差分画像の説明図。 第２の実施形態の処理手順の説明図。 重畳画像の作成の説明図。 重畳画像の位置の説明図。 第３の実施形態の処理手順の説明図。 地図を表示する紙の印刷を説明する説明図。 第３の実施形態の処理手順の説明図。 本発明の第４の実施形態のシステムの概略図。 第４の実施形態における使用者の位置についての説明図。 第４の実施形態の処理手順の説明図。 本発明の第５の実施形態のシステムの概略図。 超音波マイクを備えたディスプレイの説明図。 第５の実施形態の処理手順の説明図。 （ａ）は現実空間の説明図、（ｂ）は仮想空間の説明図。 本発明の第６の実施形態のシステムの概略図。 ヘッドマウントディスプレイと紙の使用方法の説明図。 サーバ用画像と紙に印刷する画像の作成についての説明図。 第６の実施形態の処理手順の説明図。 射影行列Ｈ６を用いて、撮影画像、紙、右サーバ用画像、ＨＭＤに表示する画像の関係を示した説明図。 （ａ），（ｂ），（ｃ），（ｄ）とも相対位置特定手段としてのマークの説明図。 本発明の第７の実施形態のシステムの概略図。 ヘッドマウントディスプレイとディスプレイの使用方法の説明図。 加工左視差画像と加工右視差画像の作成についての説明図。 第７の実施形態の処理手順の説明図。 射影行列Ｈ７を用いて、撮影画像、ディスプレイ表示、加工左視差画像、ディスプレイ上に表示される画像の関係を示す説明図。 地図の表示についての説明図。

符号の説明

２０，５０，９０，１１０，１４０，２００…虚像提示手段としてのヘッドマウントディスプレイ（ＨＭＤ）、２２，５２，９２，１１２，１４２，２０２…表示部、２９，１４９，２０９…カメラ、３０，１５０，２２０…サーバ、４０，６５，８５，１６０…実像提示手段としての紙、４１…ステレオ画像、４２，６７，８７，１６２，２５１，２５２…コード画像としての２次元コード、５９…ビデオカメラ、６６…ステレオ画像、８６…画像、９７，９８…超音波マイク、１００…実像提示手段としての多視点ディスプレイ、１０２，１０３，１０４…超音波スピーカ、１０６…映像フォルダ、１１７，１１８…超音波スピーカ、１２０，２１２…実像提示手段としてのディスプレイ、１２２，１２３，１２４…超音波マイク、１２７…３次元データ格納部、１６１…ステレオ画像。

Claims (23)

1. 左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を実像として提示する実像提示手段を用いて立体視をさせるための画像表示システムであって、
   前記第２視点画像を虚像として提示する虚像提示手段を備え、
   前記実像提示手段により前記第１視点画像を左右の一方の眼球にて閲覧させた状態で、前記虚像提示手段により前記第２視点画像を他方の眼球にて閲覧させることにより立体視させることを特徴とする画像表示システム。
2. 前記実像提示手段は印刷物であることを特徴とする請求項１に記載の画像表示システム。
3. 前記実像提示手段はディスプレイ装置であることを特徴とする請求項１に記載の画像表示システム。
4. 撮像手段により、前記第２視点画像の識別情報に関するコード画像を撮像し、
   前記虚像提示手段は、前記撮像手段により撮像された前記コード画像により指し示された識別情報に基づいて、前記第２視点画像を記録した記憶手段から前記第２視点画像を抽出し、抽出された第２視点画像を虚像として提示することを特徴とする請求項１〜３のいずれか１つに記載の画像表示システム。
5. 撮像手段により、前記第１視点画像と、前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを撮像し、
   前記虚像提示手段は、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示することを特徴とする請求項１〜３のいずれか１つに記載の画像表示システム。
6. 撮像手段により、前記第１視点画像と、前記第１視点画像において視差を利用して異なる奥行き位置に見えるようにする部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像とを撮像し、
   前記虚像提示手段は、前記撮像手段により撮像された前記第１視点画像と前記コード画像とから前記第２視点画像を生成して虚像として提示することを特徴とする請求項１〜３のいずれか１つに記載の画像表示システム。
7. 前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す表示データ変形手段をさらに備えたことを特徴とする請求項１〜６のいずれか１つに記載の画像表示システム。
8. 前記虚像提示手段と前記実像提示手段との相対位置を特定する相対位置特定手段をさらに備え、前記相対位置特定手段により特定された相対位置に基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことを特徴とする請求項７に記載の画像表示システム。
9. 前記相対位置特定手段が、撮像手段を有することを特徴とする請求項８に記載の画像表示システム。
10. 前記撮像手段により、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれ
    か一方に射影変換を施すためのマーカを撮像し、
    前記虚像提示手段は、前記撮像手段により撮像された前記マーカに基づいて、前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施すことを特徴とする請求項９に記載の画像表示システム。
11. 前記実像提示手段により提示する前記第１視点画像の表示データ又は前記虚像提示手段により提示する前記第２視点画像の表示データに射影変換を施すために用いる平面射影行列は、
    撮影画像上の４点の座標Ｐ_ｉ（ｉ＝１，２，３，４）を取得するとともに、前記撮影画像上の４点の座標Ｐ_ｉ（ｉ＝１，２，３，４）に対応する前記実像提示手段に提示された４点の本来の座標Ｑ_ｉ（ｉ＝１，２，３，４）を取得し、
    のようにおくことにより成り立つ式
    を用いて、
    Ｐ₁とＱ₁、Ｐ₂とＱ₂、Ｐ₃とＱ₃、Ｐ₄とＱ₄をそれぞれ代入してh₁₁〜h₃₃を求めることにより算出することを特徴とする請求項１０に記載の画像表示システム。
12. 前記コード画像が、前記マーカとして機能することを特徴とする請求項１０又は１１に記載の画像表示システム。
13. 前記コード画像は、前記実像として提示される前記第１視点画像に対する前記コード画像の相対位置及び相対サイズに関するデータを含むデータをコード化したことを特徴とする請求項１２に記載の画像表示システム。
14. 前記実像提示手段に提示された前記第１視点画像の表示データ及び前記虚像提示手段に提示された前記第２視点画像の表示データの少なくともいずれか一方に使用者の操作に従って射影変換を施し、この表示データの状態を使用者に選択させる表示データ状態選択手段をさらに備えたことを特徴とする請求項１〜１３のいずれか１つに記載の画像表示システム。
15. 前記表示データ状態選択手段による使用者の選択に基づく情報と、前記相対位置とに基づいて、
    前記実像提示手段により提示する前記第１視点画像の表示データ及び前記虚像提示手段により提示する前記第２視点画像の表示データの少なくともいずれか一方に射影変換を施す表示データ自動変形手段をさらに備えたことを特徴とする請求項１４に記載の画像表示システム。
16. 前記実像提示手段は、位置に応じた複数の前記第１視点画像を実像として提示し、
    前記虚像提示手段は、
    前記実像提示手段により提示された前記第１視点画像に対応する前記第２視点画像を虚像として提示することを特徴とする請求項１〜１５のいずれか１つに記載の画像表示システム。
17. 前記実像提示手段は、前記虚像提示手段と前記実像提示手段との位置関係に応じて前記
    第１視点画像を実像として提示し、
    前記虚像提示手段は、
    前記虚像提示手段と前記実像提示手段との位置関係に応じた、前記第１視点画像に対応する前記第２視点画像を虚像として提示することを特徴とする請求項１〜１５のいずれか１つに記載の画像表示システム。
18. 前記虚像提示手段は、
    頭部装着型の単眼表示手段であることを特徴とする請求項１〜１７のいずれか１つに記載の画像表示システム。
19. 左右の視差を考慮した第１視点画像及び第２視点画像を用いて立体視をさせるための画像表示方法であって、
    前記第１視点画像を実像として提示する実像提示手段と、前記第２視点画像を虚像として提示する虚像提示手段とを用いて、
    前記実像提示手段により前記第１視点画像を左右の一方の眼球に提示し、前記虚像提示手段により前記第２視点画像を他方の眼球に提示することを特徴とする画像表示方法。
20. 画像に添付したコード画像に前記画像と前記コード画像との相対位置及び相対サイズに関する情報を含ませるように、前記情報を符号化して前記コード画像を生成することを特徴とする符号化方法。
21. 左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を印刷した立体表示用印刷物であって、
    前記第２視点画像の所在場所を指し示すコード画像を印刷したことを特徴とする立体表示用印刷物。
22. 左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を印刷した立体表示用印刷物であって、
    前記第１視点画像と前記第２視点画像との差分を符号化した差分符号化データを含むデータをコード化したコード画像とを印刷したことを特徴とする立体表示用印刷物。
23. 左右の視差を考慮した第１視点画像及び第２視点画像の内、前記第１視点画像を印刷した立体表示用印刷物であって、
    前記第１視点画像の一部について視差を利用して異なる奥行き位置に見えるようにするため虚像において位置を移動させて表示する部分の位置情報を符号化した位置符号化データを含むデータをコード化したコード画像を印刷したことを特徴とする立体表示用印刷物。