JP2011085712A - 映像表示システム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、利用者が直感的に見た方向に映像を表示することができる映像表示システムを提供する。
【解決手段】利用者が体と頭を動かして見ることができる位置に配置される映像表示部３と、利用者が見ている映像表示部３の看視領域を特定する看視領域特定部５と、映像表示部３全体に映像を表示するために必要な映像データを備えた映像データ蓄積部９と、部分映像表示装置１１とを備える。部分映像表示装置１１は、看視領域特定部５の出力に基づいて、看視領域特定部が特定する看視領域に表示されるべき部分映像についての部分映像データを映像データ蓄積部９から取得し、映像表示部３上の看視領域ＷＲに部分映像を表示する。
【選択図】図１

Description

本発明は、利用者が見る映像表示部の看視領域に部分映像を表示する映像表示システムに関するものである。

特開平9-284676号公報（特許文献１）、特許第3796776号公報（特許文献２）、特開平9-93700号公報（特許文献３）、特許第2550832号公報（特許文献４）等には、利用者の頭部に実装したヘッドフォンに搭載したセンサによってユーザが向いている方向を検出し、利用者が実装したヘッドマウントディスプレイに表示する画像を検出した方向に応じて切り替える技術が開示されている。ヘッドマウントディスプレイでは、高い没入感が得られる半面、画面酔いという症状が指摘されている。

そこで画面酔いを防止するために、壁やスクリーンに映像を投影し、利用者が見ている映像の音像を定位させる技術が開発された。例えば、特開2003-284196号公報（特許文献５）には、映像を移動させて再生した場合にも移動する映像の方向に音像を定位させることができる音像定位信号処理装置に関する技術が開示されている。この公報には、360°の画像から矩形画像を切り出す機能を持ち、かつキー操作によって自由な視点に変化させることを可能とし、さらにその画像の変化した角度の情報によって映像と音像を定位させることを可能とする技術が具体的に開示されている。

特開平9-284676号公報 特許第3796776号公報 特開平9-93700号公報 特許第2550832号公報 特開2003-284196号公報

特許文献５に示された技術では、画面酔いは防止できるものの、キー操作によって映像を視点に変化させる必要があるため、利用者が直感的に向いた方向に映像を表示することができない問題がある。

本発明の目的は、ヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、利用者が直感的に見た方向に映像を表示することができる映像表示システムを提供することにある。

上記目的に加えて、本発明の他の目的は、簡単な構成で、しかも少ない消費電力により利用者が直感的に見た方向に映像を表示することができる映像表示システムを提供することにある。

上記目的に加えて、本発明の他の目的は、利用者がヘッドフォンを装着するだけで、利用者が直感的に見た方向に映像を表示することができる映像表示システムを提供することにある。

上記目的に加えて、本発明の他の目的は、映像を表示する投射スクリーンの形状の如何にかかわらず違和感のない映像を表示することができる映像表示システムを提供することにある。

上記目的に加えて、利用者が直感的に見た方向に映像を表示し且つ音像を提供することができる映像表示システムを提供することにある。

上記目的に加えて、児童の行動を観察することが容易な映像表示システムを提供することにある。

本発明の映像表示システムは、基本的な構成要素として、映像表示部と、看視領域特定部と、映像データ蓄積部と、部分映像表示装置とを備えている。映像表示部は、利用者が体と頭を動かして見ることができる位置に配置されるものである。典型的な映像表示部としては、投射スクリーンを用いることができる。しかしながら映像表示部としては、液晶ディスプレイ等の電気的な表示機器を用いてもよい。看視領域特定部は、利用者が見ている映像表示部の看視領域を特定する。利用者が見ている映像表示部の看視領域の特定技術としては、公知の技術を利用すればよく、任意である。ここで本願明細書において「看視領域」とは、利用者が頭を動かすことなく見ることができる視覚範囲内にある所定の領域を意味する。看視領域の最大範囲は視覚範囲と一致することになるが、看視領域は視覚範囲より狭くてもよいのは勿論である。映像データ蓄積部は、映像表示部全体に映像を表示するために必要な映像データを蓄積している。映像データは、映像表示部全体に映像を表示するための全データであり、静止画データまたは動画データのいずれでもよい。部分映像表示装置は、看視領域特定部の出力に基づいて、看視領域特定部が特定する看視領域に表示されるべき部分映像についての部分映像データを映像データ蓄積部から取得する。そして部分映像表示装置は、映像表示部上の利用者が見ている看視領域に部分映像を表示する。

本発明によれば、映像表示部上の利用者が見ている看視領域に部分映像が表示され、その他の映像表示部上には映像が表示されない。そのため本発明によれば、ヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、利用者が直感的に見た方向に映像を表示することができる。言い換えると、本発明によれば、利用者が見ていない領域を含む映像表示部全体に映像を表示することがないため、従来全体映像を表示するために必要とされた複雑な映像表示装置を必要としない。そのため、映像表示のために必要とされる消費電力を従来よりも大幅に低減することができる。

映像表示部として投射スクリーンを用いる場合には、看視領域特定部を、利用者の頭部に装着されて頭部の姿勢方位を検出するジャイロ機能を備えた頭部姿勢方位検出部と、頭部姿勢方位検出部が出力する姿勢方位から看視領域を決定する看視領域決定部とを備えているものを用いることができる。このようなジャイロ機能を備えた頭部姿勢方位検出部については、前述の特許文献１乃至４にも具体的な構成が開示されている。看視領域決定部は、頭部姿勢方位検出部が検出した姿勢方位に基づいて、看視領域を決定する。具体的には、頭部姿勢方位検出部が検出した姿勢方位に延びる仮想線が、看視領域の中心または中心近傍を通るように、看視領域を原則的に定めることができる。なお後述するように、投射スクリーンが境界部を有する場合には、例外的に看視領域の位置を検出した姿勢方位に関連して予め定めた基準に従って、看視領域を定めることも許容される。

なお投射スクリーンは、専用のスクリーンの他に、建物の壁や天井であってもよい。また投射スクリーンを用いる場合には、部分映像表示装置として、利用者の頭部に装着されて看視領域に部分映像を投射するプロジェクタを備えているものを用いることができる。なお本願明細書において「プロジェクタ」とは、ＣＲＴに表示された画像を、光学系を使って拡大し、投影するＣＲＴプロジェクタや、液晶パネルを内蔵し、放電光を利用した光源ランプからの光を透過させ、これをレンズを使ってスクリーン上に拡大投射する液晶プロジェクタ等の公知のプロジェクタ装置の少なくとも投射部分を含むものである。

投射スクリーンを用いる場合に、このような構成を採用すると、基本的な投射のための装置は、利用者に実装されることになるため、どこでも投射スクリーンがあれば、映像の表示をすることができる。

なお部分映像表示装置は、投射スクリーンの形状に応じて、投射スクリーンに投射された映像が、利用者から見て歪みが補正された映像になるように、看視領域に応じて部分映像データを補正するデータ補正部を更に備えているのが好ましい。このデータ補正部は、部分映像データを補正して映像の歪みを補正するので、公知のプロジェクタの投射技術において種々開発されている補正技術を応用することが可能である。部分映像の投射においても、この公知の補正技術を応用することにより、違和感のない部分映像を利用者に見せることができる。

なお投射スクリーンとして、２以上の投射面が境界部を形成するように組み合わされて構成された多面投射スクリーンを用いる場合には、データ補正部は、この境界部を基準にして使用する補正式を変更すればよい。例えば傾斜しない平面と傾斜面との間には、必ず境界部が形成される。また傾斜しない平面に投射する場合と、傾斜面に投射する場合とでは、映像の歪み方は異なる。そこで境界部を境にして補正式を変えれば、適切な補正を実行することができる。

また利用者に違和感のない映像を見せるために、映像データを得る際に使用するレンズの種類に応じて必要となる標準レンズを通して得られる映像データへの変換を不要にできるように、映像データから切り取る部分映像データの切取領域を設定する切取領域設定部を設けてもよい。この場合にも、部分映像表示装置には、投射スクリーンの形状に応じて、投射スクリーンに投射された映像が、利用者から見て歪みが補正された映像になるように、部分映像データを補正するデータ補正部を設けるのが好ましい。なお切取領域設定部は、境界部を基準にして映像データから切り取る部分映像データの切取領域の形状及び大きさを変更するのが好ましい。なお切取領域の形状及び大きさを決定するための基礎データは、使用する投射スクリーンの形及び映像データを得る際に使用するレンズの種類に応じて、事前の試験により求めておけばよい。このような切取領域設定部を設けると、例えば魚眼レンズを通して取得した映像データを標準レンズを通して得られる映像データに変換する変換ステップを省略することができる。

映像データは、魚眼レンズを備えたカメラを用いて撮影されたものを用いることができる。なお魚眼レンズを備えたカメラを用いて撮影された映像データに基づいて投射スクリーンに映像を投射する場合に、魚眼レンズから得られる画像から矩形画像を出力する際の補正方法や、リアルタイムで動作させるための変換の高速化に関する技術は、すでに種々提案されている。例えば、特開2007-13791号公報及び特開2009-75646号公報には、魚眼レンズ等の画像を切り出したときの画像の劣化を抑える技術が開示されている。またWO2004/102479号公報には、魚眼画像の周辺部の画素欠落を防ぐ技術が開示されている。さらに特開2008-311890号公報には、歪みの少ない広角画像を作る技術が開示されている。さらに特開2000-11166号公報及び特開2004-157999号公報には、魚眼補正変換の高速化を図る技術が開示され、特開2009-176273号公報には、ユーザがパラメータを予め指定することにより魚眼変換の演算負担を軽減する技術が開示されている。また魚眼レンズにより得た画像または３６０°の画像から、見たい画像を切り取る機能をもち、さらに画像を切り替えたり拡大縮小を行う技術については、特開平11-243508号公報、特開平6-36020号公報、特開2006-287942号公報、特開2000-83242号公報等に開示されている。したがってこれら公知技術を使用すれば、魚眼レンズにより得た画像のデータから部分映像データを得ることは簡単にできる。なおこれらの公知技術には、本発明のように、見たい方向を直観的に選択するための技術は開示も示唆もされていない。

なお映像表示部全体に表示される映像と同期する音像を利用者に聞かせるための音響データを備えた音響データ蓄積部と、映像と同期する音像を利用者に提供する音像生成部とを更に備えていてもよい。なお映像に対する音像の定位技術については、特許文献５等に記載されている。映像と同期する音像を利用者に提供すれば、ライブ等の音楽映像を臨場感を持って利用者に提供することができる。この場合においては、音像生成部のスピーカ部を利用者の頭部に装着されるヘッドフォンとし、ヘッドフォンにプロジェクタを装着するようにしてもよい。このようにすると基本的に投射スクリーンとヘッドフォンとがあれば、簡単に利用者が直感的に見た方向に映像を表示することができる。

なおカメラにより撮影した映像のコンテンツは何でもよい。魚眼レンズを備えたカメラとして児童に装着されている監視カメラを用いると、児童を監視する監視者が直感的に見た方向だけに映像を表示することができるので、直感を最大限利用した監視が可能になる。

本発明の映像表示システムの第１の実施の形態の構成を示すブロック図である。 （Ａ）乃至（Ｃ）は、第１の実施の形態の映像表示システムの使用状態を説明するために用いる図である。 （Ａ）及び（Ｂ）は、水平回転角θと仰俯角φを説明するための図である。 プロジェクタによる投影の問題点を説明するために用いる図である。 境界部に基づくモード変更を説明するための図である。 魚眼レンズを使用して得た映像データを用いる場合の補正を含めた投射までの処理の流れを示す図である。 魚眼レンズを通して得た映像データを任意焦点の標準レンズを通して得た映像データに変換するステップとその際の映像の例示を示す図である。 投射スクリーンの境界部を設定する際の処理のアルゴリズムのフローチャートを示す図である。 データ補正部において部分映像データから補正された部分映像データを得るための処理のアルゴリズムを示す図である。 部分映像データから補正された部分映像データを得る際に、部分映像データｉを複数の区分画像のデータとして、処理することを示す概念図である。 （Ａ）乃至（Ｃ）は、図９のステップＳＴ２２を説明するために用いる図である。 （Ａ）及び（Ｂ）は、図９のステップＳＴ２３を説明するために用いる図である。 本発明の映像表示システムの第２の実施の形態の構成を示すブロック図である。 第２の実施の形態の映像表示システムの使用状態を説明するために用いる図である。

以下図面を参照して本発明の実施の形態について説明する。以下に説明する実施の形態は、例えば、自宅で、ビデオやＤＶＤなどのライブ映像等を、ヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、自宅などライブハウス以外の場所にいても、ライブの臨場感を楽しむことのできる映像表示システムを提供するものである。従来、魚眼レンズ等の広範囲の画像を変換し、その一部を表示して見渡すことのできるＣｕｂｉｃＶＲという技術がある。ＣｕｂｉｃＶＲとは一周３６０°だけではなく真上や真下も見ることができる球面パノラマのことである。素材として一周をカバーする写真を撮り、繋ぎ合わせることで周囲を見渡すことが可能となる。だが、ＣｕｂｉｃＶＲは実際に人が動いているわけではなく、マウス操作でディスプレイ上の映像が回転して動いているので、長時間動画像を見ると画面酔いのようになることがある。本実施の形態の映像表示システムでは、利用者の自然な動きに連動して投射スクリーンに表示される映像（画面）が変化する。

図１は、本発明の映像表示システムの第１の実施の形態の構成を示すブロック図である。図２は、映像表示装置の使用状態を説明するために用いる図である。図１の映像表示システム１は、基本的な構成要素として、投射スクリーン（映像表示部）３と、看視領域特定部５と、境界部設定部７と、映像データ蓄積部９と、部分映像表示装置１１と、音像生成装置１３とを備えている。図２に示すように、本実施の形態では、映像表示部としての投射スクリーン３は、利用者Ｐの前方に位置する前方投射面３１と、前方投射面３１との間に所定の角度を形成するように前方投射面３１の左側端部と連続し、利用者Ｐ側に延びる左側投射面３２と、前方投射面３１との間に所定の角度を形成するように前方投射面３１の右側端部と連続し、利用者Ｐ側に延びる右側投射面３３とを備えている。なお投射スクリーンの形状は、図２の形状に限定されるものではなく、種々の形状のものを用いることができる。

看視領域特定部５は、利用者が見ている投射スクリーン３の看視領域ＷＲを特定するために、頭部姿勢方位検出部５Ａと看視領域決定部５Ｂとを備えている。本実施の形態で用いる頭部姿勢方位検出部５Ａは、利用者Ａの頭部に装着されて頭部の姿勢方位を検出するジャイロ機能を備えている。前述の特許文献１乃至４にも、ジャイロ機能を備えた頭部姿勢放棄検出部の具体的な構成が開示されている。そして看視領域決定部５Ｂは、頭部姿勢方位検出部５Ａが出力する姿勢方位から看視領域ＷＲを決定する。看視領域ＷＲとは、利用者が頭を動かすことなく見ることができる視覚範囲を最大範囲とする所定の領域である。看視領域ＷＲは、後述する部分映像を投射する領域と重なる領域である。利用者Ｐは、看視領域ＷＲの周囲も看視領域ＷＲと一緒に見ていることになる。頭部姿勢方位検出部５Ａは、利用者の頭部に装着されて、図３（Ａ）及び（Ｂ）に示すように、利用者の頭部の水平回転角θ（−π／２≦θ≦π／２）と仰俯角φ（−π／４≦φ≦π／４）の情報を取得する。頭部姿勢方位検出部５Ａに利用できる具体的なセンサとしては、ＭｉｃｒｏＳｔｒａｉｎ社の３ＤＭ（商標）を用いることができる。この３ＤＭは、磁力計と加速度計が直交に配置された構造のセンサで、姿勢方位即ち方位角の情報即ちYaw（水平回転角θ）、Pitch（仰俯角φ）及びRoll（レンズ回転）を広い測定範囲で計測することができる。看視領域決定部５Ｂは、頭部姿勢方位検出部５Ａが検出した姿勢方位に延びる仮想線が、看視領域ＷＲの中心または中心近傍を通るように、看視領域ＷＲを原則的に定める。なお本実施の形態では、後述するように、投射スクリーンが境界部を有する場合には、例外的に看視領域の位置を検出した姿勢方位に関連して予め定めた基準に従って、定めることも許容する。後述する部分映像を表示する領域（投射領域）及び該領域に表示する部分映像を定める（映像データから切り取る部分映像データの領域）を定めるために、看視領域ＷＲを決定する。

境界部設定部７は、投射スクリーン３の前方投射面３１と左側投射面３２との間の境界部ＢＬ１及びＢＬ２の位置を決定する。具体的には、最初に利用者Ｐが境界部ＢＬ１を見て、その時点で図示しない境界部登録用の入力スイッチを押す。この入力スイッチが押されたときの、姿勢方位の情報が頭部姿勢方位検出部５Ａから取得されて、境界部ＢＬ１の位置が設定される。同様にして、利用者Ｐが境界部ＢＬ２を見て、その時点で図示しない境界部登録用の入力スイッチを押す。この入力スイッチが押されたときの、姿勢方位の情報が頭部姿勢方位検出部５Ａから取得されて、境界部ＢＬ２の位置が設定される。これら境界部ＢＬ１及びＢＬ２の位置情報は、看視領域決定部５Ｂが決定した看視領域ＷＲの情報と一緒に部分映像表示装置１１に与えられる。そして境界部ＢＬ１及びＢＬ２の位置情報は、後述するデータ補正部１１Ｂによる補正演算で使用される。

映像データ蓄積部９は、投射スクリーン（映像表示部）３全体に映像を表示するために必要な映像データを蓄積している。映像データは、映像表示部（投射スクリーン）３全体に映像を表示するための全データであり、静止画データまたは動画データのいずれでもよい。もし従来のように複数台の映像表示装置を使用すれば、投射スクリーン３全体に映像を投射することはできるが、本発明では、投射スクリーン全体に映像を投射することは行わず、利用者が看視する看視領域ＷＲだけに、その看視領域に投射されるべき部分映像を表示する。なお映像データから、部分映像のための部分映像データを取得する技術に関しては後に説明する。なお映像データ蓄積部９内の映像データは、後述する音像生成装置１３内の音像データ蓄積部１３Ａに蓄積された対応する音響データと同期して利用される。

部分映像表示装置１１は、部分映像表示部１１Ａとデータ補正部１１Ｂとから構成され、看視領域特定部５の看視領域決定部５Ｂの出力に基づいて、看視領域決定部５Ｂが特定する看視領域ＷＲに表示されるべき部分映像についての部分映像データを映像データ蓄積部９から取得する（切り取る）。後に詳しく説明するように部分映像データは、投射領域ＷＲが境界部ＢＬに対してどのような位置にあるかに基づいて、データ補正部１１Ｂにより補正される。そして部分映像表示部１１Ａは、補正された部分映像データに基づいて、投射スクリーン３上の利用者が見ている看視領域ＷＲに部分映像を表示する。

本実施の形態では、部分映像表示装置１１として、利用者の頭部に装着されて看視領域に部分映像を投射するプロジェクタを用いる。なお本実施の形態では、プロジェクタ内に部分映像表示部１１Ａとデータ補正部１１Ｂとが内蔵されている。プロジェクタとしては、ＣＲＴに表示された画像を、光学系を使って拡大し、投影するＣＲＴプロジェクタや、液晶パネルを内蔵し、放電光を利用した光源ランプからの光を透過させ、これをレンズを使ってスクリーン上に拡大投射する液晶プロジェクタ等の公知の構造のプロジェクタ装置を小型化して補正機能を付加したものを用いることができる。本実施の形態では、図２に示すように、プロジェクタからなる部分映像表示装置１１は、利用者Ｐの頭部に装着されるヘッドフォンＨＰの中央部に実装される。すなわち部分映像表示装置１１は、利用者Ｐの頭部の頂部付近に実装される。ヘッドフォンに部分映像表示装置１１を構成するプロジェクタを装着すると、基本的に投射スクリーンとヘッドフォンとがあれば、簡単に利用者が直感的に見た方向に部分映像を表示することができる。なおデータ補正部１１Ｂは、映像データ蓄積部９が配置される映像表示装置本体側に設けられてもよい。

音像生成装置１３は、投射スクリーン３（映像表示部）全体に表示される映像と同期する音像を利用者に聞かせるための音響データを備えた音響データ蓄積部１３Ａと、映像と同期する音像を利用者に提供する音像生成部１３Ｂと、スピーカ１３Ｃとを更に備えていている。映像に対する音像の定位技術については、特許文献５等に記載されているので省略する。映像と同期する音像を利用者に提供すれば、ライブ等の音楽映像を臨場感を持って利用者に提供することができる。本実施の形態では、音像生成装置１３のスピーカ１３Ｃは利用者の頭部に装着されるヘッドフォンＨＰに実装されている。

図２（Ａ）乃至（Ｃ）に示すように、本実施の形態によれば、投射スクリーン３上の利用者Ｐが見ている看視領域ＷＲに部分映像が表示され、その他の映像表示部上には映像が表示されない。そのため、ヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、利用者が直感的に見た方向に映像を表示することができる。言い換えると、本実施の形態によれば、利用者Ｐが見ていない領域を含む投射スクリーン３全体に映像を表示することがないため、従来全体映像を表示するために必要とされた複雑な映像表示装置を必要としない。そのため、映像表示のために必要とされる消費電力を従来よりも大幅に低減することができる。

前述のデータ補正部１１Ｂは、投射スクリーン３の形状に応じて、投射スクリーン３に投射された映像が、利用者Ｐから見て歪みが補正された映像になるように、看視領域ＷＲに応じて映像データ蓄積部９から切り出した部分映像データを補正する。例えば、図４に示すように、投射スクリーン３の前方投射面３１に舞台（ステージ）の端を投射する場合には、プロジェクタを左右方向に回転させて舞台の端の部分映像を投射スクリーン３の前方投射面３１に投影する。このような状況では、ちょうど四角に映るベストポジションＢＰの映像も傾くことになる。すなわち図４に示すように、前方投射面３１の位置がベストポジションＢＰよりも手前にある映像部分は、通常のサイズよりも短くなり、前方投射面３１の位置がベストポジションＢＰよりも奥にある映像部分は、通常のサイズよりも長くなる。このようにして投影された映像は台形になっているように見えるため、台形歪みと呼ばれる。この台形になってしまった映像を四角く見せるための補正を、台形歪み補正（ｋｅｙｓｔｏｎｅ補正）という。データ補正部１１Ｂは、プロジェクタ（１１）を投射面に対して傾けて（水平方向、上下方向に傾けて）投影した場合も部分映像が台形に変形しないように、傾きに応じて部分映像データの補正の処理を行う。補正の処理の一例としては、Ａｐｐｌｅ Ｉｎｃ．が開発したマルチメディア・プログラムの「Ｑｕｉｃｋｔｉｍｅ（商標）」の画像回転機能などを用いて、投影される形と逆の形に部分映像を変形させる補正を行うことが考えられる。

また特に本実施の形態の投射スクリーン３のように左側投射面３２及び右側投射面３３のように、前方投射面３１に対して角度を持って配置される投射スクリーンを利用する場合には、境界部ＢＬを境にして、スクリーンの角度が変わる。そのためデータ補正部１１Ｂこの場合にも補正を行う。このようなスクリーンの状況は、部屋の一つの壁だけでなく、その一つの壁の左右の壁もスクリーンとして利用する場合に生まれる。このようなスクリーンを利用するのは、１つの平面スクリーンに、１８０°にわたる画像をすべて表示されるのは視覚的に不自然だからである。そのため屋内で使用することを前提として、正面だけではなく、左右の壁を利用して映像を投影することができる投射スクリーンを利用することを発明者は考えた。しかし左右の壁（左側投射面３２と右側投射面３３）に部分映像を表示する場合、境界部ＢＬにプロジェクタを向けると画像が変形してしまう。そのため、利用者の姿勢方位が投射スクリーンの角（境界部）に向けられたときは、正面か左右の壁（左右の投射面）のどちらかに画像を切り替えるのが好ましい。

この画像の切り替えを実行するためには、部分映像表示装置１１の部分映像表示部１１Ａとして、指令に応じて投射角度を変更することができる投射角度変更機能を備えているものを用いる。そしてデータ補正部１１Ｂは、本来の看視領域ＷＲ内に境界部が含まれているときには、投射スクリーン３中の境界部ＢＬに隣接する領域に部分映像を投射するように投射角度を変更する指令を出力するように構成する。このようにすると境界部ＢＬを含む領域に映像が映ることがないので、違和感の無い映像表示を提供することができる。隣接する二つのスクリーン部分（前方投射面３１と左側または右側投射面３２または３３）のどちらに部分映像を表示するかは、例えば境界部によって分けられる部分映像の面積に基づいて、面積が大きくなる方の投射面を選択するようにする。面積が同じ場合には、予め決めたルールに従って一方の投射面を選択するようにする。

例えば、図５に示すように、事前に境界部ＢＬまでの距離を測ることによりキャリブレーションを行い、境界部ＢＬを基準にしたある角度で映像が切り替えられるようにする。境界部ＢＬまでの距離と正面の壁（前方投射面３１）までの距離を計測し、角度θ１，θ２を求める。そして角度θ１，θ２からθ₀を算出する。利用者の水平回転角が角度範囲θ₀内にあるときには、前方投射面３１に投射し（正面モード）、水平回転角が角度範囲θ₀を越えると、越えた方向に応じて左側投射面３２または右側投射面３３のいずれかに投射するようにする（左モードまたは右モード）ように投射モードの変更を行う。データ補正部１１Ｂは、境界部ＢＬを基準にして、正面モード、左モード及び右モードで使用する補正式を変更する。利用者Ｐに対して傾斜しない前方投射面３１に投射する場合と、左側投射面３２及び右側投射面３３のように、利用者Ｐに対して傾斜する面に投射する場合とでは、映像の歪み方は異なる。そこで前述のように境界部ＢＬを境にして映像の投射面の切り替えを行い且つ補正式を変えれば、適切な補正を実行することができる。

映像データは、魚眼レンズを備えたカメラを用いて撮影された映像データを用いることができる。図６は、魚眼レンズを使用して得た映像データＩ₀を用いる場合の補正を含めた投射までの処理の流れを示す図である。図７は、魚眼レンズを通して得た映像データＩ₀ を任意焦点の標準レンズを通して得た映像データＩ₁に変換するステップとその際の映像の例示を示している。図７に示すように、魚眼レンズを通して得た映像データに基づいて映像を投射すると、球面に表示されたような湾曲した映像が得られる（ステップＳＴ１）。これをステップＳＴ２において任意焦点の標準レンズを通して得た映像データＩ₁に変換する。変換した映像データに基づいて投射すると、図７に示すように標準的な映像が得られる。ステップＳＴ３では、変換後の映像データＩ₁の画像の三箇所の端部を加速度センサを含む前述の３ＤＭセンサで取得する方位角（水平回転角）θ＝−９０°，９０°、仰俯角φ＝−９０°，９０°の位置となるように設定を行う。このように設定した変換された映像データＩ₁を映像データ蓄積部９に蓄積する。

図８は、投射スクリーン３の境界部ＢＬを設定する際の処理のアルゴリズムのフローチャートを示している。ステップＳＴ１１では、図示しない基準方向設定スイッチ（ＳＷ）が押されたか否かの判定が行われる。そして基準方向設定スイッチが押されると、現在向いている方向を正面に設定する。すなわち利用者は、投射スクリーン３の前方投射面の中央部を見つめる姿勢を取り、基準方向設定スイッチＳＷを押す。この操作により、そのときに利用者が向いていた角度が、基準角度（θ＝０°、φ＝０°）とされる。基準角度の位置が、映像の中心となる。次にステップＳＴ１３で左コーナースイッチが押されたか否かの判定が行われる。左コーナースイッチが押されたときに、利用者が向いている方向を左コーナー（図５の境界部ＢＬ１）と設定する（ステップＳＴ１４）。次に、ステップＳＴ１５で右コーナースイッチが押されたか否かの判定が行われる。右コーナースイッチが押されたときに、利用者が向いている方向を右コーナー（図５の境界部ＢＬ２）と設定する（ステップＳＴ１６）。左コーナーと右コーナーの設定により、図５に示した角度θ_Ｌと角度θ_Ｒが決定され、その結果角度θ_０が決定される。この決定により、頭部姿勢方位検出部５Ａが決定する姿勢方位のうち方位角（水平回転角）が、基準となる角度からθ_Ｌまたはθ_Ｒを超えると、前方投射面３１への映像の表示が左側投射面または右側投射面へと切り替える信号処理を行うことが可能になる。なお本実施の形態では、方位角（水平回転角）＝θ_Ｌ又はθ_Ｒのときに、切り替わり処理が行われる。したがってそれまでは、部分映像は、切り替わり前の投射面に表示されるように補正処理が行われる。

図６に戻って、投射スクリーン３に部分映像の投射をする場合には、頭部姿勢方位検出部５Ａが決定した姿勢方位に基づいて、看視領域決定部５Ｂが、利用者が標準レンズの画像に変換した映像で判断して、どの部分を見ているのかを判断して、看視領域ＷＲを決定する。決定された看視領域ＷＲに部分映像を投射するために部分映像表示部１１Ａは、看視領域ＷＲに応じて、映像データから部分映像データｉを切り取る。そして切り取った部分映像データｉを、データ補正部１１Ｂが、部分映像表示装置（プロジェクタ）１１の水平回転角度θ及び仰俯角φ（傾き）の大きさを考慮して、台形歪み補正を行って、補正された部分映像データｉ′を出力する。そしてこの補正された部分映像データｉ′に基づいて部分映像表示部１１Ａが投射を行うことにより、投射スクリーン３の看視領域ＷＲには違和感のない部分映像が表示される。この処理技術によると、眼から任意焦点の画像への変換の研究は既に行われているため、信号処理は比較的簡単である。しかし変換を２回行うため画像の劣化が起きる問題があるが、実用上は特に問題はない。

図９は、データ補正部１１Ｂにおいて部分映像データｉから補正された部分映像データｉ′を得るための処理のアルゴリズムを示している。図１０は、部分映像データｉから補正された部分映像データｉ′を得る際に、部分映像データｉを複数の区分画像のデータ（図１０の例では２４個の区分のデータ）として、処理することを示す概念図である。図１０において、四角の区分内に記入した数字１，２４は、区分の番号（ｎ）を示している。図９のステップＳＴ２１では、ｎ＝１が設定される。したがってステップＳＴ２２では、１番の区分について、水平回転角度θに関して投影画像（部分映像データ）の補正計算が実行される。この補正計算については、後に説明する。次にステップＳＴ２３では、仰俯角φに関して投影画像（部分映像データ）の補正計算が実行される。そしてステップＳＴ２４では、水平回転角度θと仰俯角φの両方を考慮した拡大・縮小補正処理が実行される。ステップＳＴ２５ではｎが２４に達したか否かの判定が行われ、ｎ＝２４でなければステップＳＴ２６でｎ＋１がなされる。ステップＳＴ２２〜ステップＳＴ２４は、１番の区分から２４番の区分について補正計算が完了するまで繰り返される。すべての区分について補正が完了したらデータ補正部１１Ｂによる部分映像データの補正は完了する。補正された部分映像データｉ′は、部分映像表示部１１Ａに送られ、部分映像表示部１１Ａは補正された部分映像データｉ′に基づいて映像を投射スクリーン３に投射する。

図９のステップＳＴ２２における補正計算について図１１（Ａ）乃至（Ｃ）を用いて説明する。なお以下の説明で、「画像」とは図１０の各区分に対応する部分映像の画像である。ステップＳＴ２２における補正では、まず投射される画像の左辺の拡大倍率を計算する。そこで図１１（Ａ）に示すように、部分映像表示装置１１としてのプロジェクタを図示しない投射スクリーンの前方投射面に向けて投影したときの、プロジェクタと投射スクリーンとの間の距離をＡとし、スクリーン上の画像の高さをＨ、幅をＷ、投影水平回転角をθ、投影仰俯角をφ、画像の端までの距離をＸとする。そして図１１（Ｂ）に示すように、プロジェクタを正面から角度θ₁だけ傾けたときにスクリーン上に投影される画像の左右の端ＰとＳとの距離をＡ₁、Ａ₄とし、画像の幅をＷ₁とする。またＤは画像の中心を通る仮想中心線であり、角度θ₁は距離Ａを示す仮想線と仮想中心線Ｄとの間の角度となる。この場合、仮想中心線Ｄと距離Ａ₁を示す仮想線との間の角度はθ／２となる。このような条件下で距離Ａ₁を式で表すと、以下の通りになる。

Ａ₁＝Ａ／cos（θ₁−θ／２）
点Ｐでは画像が、正面で投影したときよりＡ₁／Ｘ倍拡大されたと考えられる。Ａ₁／Ｘが左辺の拡大倍率である。

次に投射された画像の右辺の拡大倍率を算出する。この算出では前記と同様に距離Ａ₄を式で表すと下記のようになる。

Ａ_４＝Ａ／cos（θ₁＋θ／２）
点Ｓでは画像が、正面で投射したときよりＡ₄／Ｘ倍拡大されたと考えられる。したがってＡ₄／Ｘが右辺の拡大倍率である。

そして算出された倍率をもとにして出力画像の縮小処理を行う。図１１（Ｃ）に示す「元の画像」とは、図１１（Ａ）のようにスクリーンに対して正面から投影した場合に得られる画像である。そして「投影される画像」とは、図１１（Ｂ）の場合に補正なしに投影される画像である。したがって部分映像表示装置１１から出力すべき補正された画像は、図１１（Ｃ）のＰＱをＡ₁／Ｘ倍し、ＲＳをＡ₄／Ｘ倍で縮小したものとなる。このような補正を、部分映像のすべての区分について実行する。

次に図９に基づいて、ステップＳＴ２３における補正計算について図１１（Ａ）と図１２（Ａ）及び（Ｂ）を用いて説明する。なお以下の説明でも、「画像」とは図１０の各区分に対応する部分映像の画像である。ステップＳＴ２３における補正では、まず投射される画像の下辺の拡大倍率を計算する。そこで図１２（Ａ）に示すように、プロジェクタを正面から仰俯角φ₁だけ傾けたときにスクリーン上に投影される画像の上下の端ＲとＳとの距離をＡ₂、Ａ₃とし、画像の高さをＨ₁とする。またＤは画像の中心を通る仮想中心線であり、角度φ₁は距離Ａを示す仮想線と仮想中心線Ｄとの間の角度となる。この場合、仮想中心線Ｄと距離Ａ₂を示す仮想線との間の角度はφ／２となる。このような条件下で距離Ａ₂を式で表すと、以下の通りになる。

Ａ₂＝Ａ／cos（φ₁−φ／２）
点Ｒでは画像が、正面で投影したときよりＡ₂／Ｘ倍拡大されたと考えられる。Ａ₂／Ｘが下辺の拡大倍率である。

次に投射された画像の上辺の拡大倍率を算出する。この算出では前記と同様に距離Ａ₃を式で表すと下記のようになる。

Ａ₃＝Ａ／cos（φ₁＋φ／２）
点Ｓでは画像が、正面で投射したときよりＡ₃／Ｘ倍拡大されたと考えられる。したがってＡ₃／Ｘが上辺の拡大倍率である。

そして算出された倍率をもとにして出力画像の縮小処理を行う。図１２（Ｂ）に示す「元の画像」とは、図１１（Ａ）のようにスクリーンに対して正面から投影した場合に得られる画像である。そして「投影される画像」とは、図１１（Ｂ）の場合に補正なしに投影される画像である。したがって部分映像表示装置１１から出力すべき補正された画像は、図１２（Ｂ）のＱＲをＡ₂／Ｘ倍し、ＰＳをＡ₃／Ｘ倍で縮小したものとなる。このような補正を、部分映像のすべての区分について実行する。

上記の説明は、投射スクリーンが境界部を持たな場合である。投射スクリーンが境界部を持つ多面投射スクリーンの場合には、境界部を基準にして投射する投射面の形状に応じてデータ補正部１１Ｂで使用する補正式を変更する。なお多面投射スクリーンにおける各投射面に対応した補正式は、基本的は上記に説明した式を基本として定めることができる。

また利用者に違和感のない映像を見せるために、図１３に示す本発明の第２の実施の形態ように、切取領域設定部１５を設けてもよい。図１３の実施の形態では、切取領域設定部１５を付加した点を除いて、図１に示した実施の形態と基本構造は同じである。したがって共通する部分については、説明を省略する。切取領域設定部１５は、頭部姿勢方位検出部５Ａの出力（姿勢方位）に基づいて、映像データＩ₀を得る際に使用するレンズの種類に応じて必要となる標準レンズを通して得られる映像データへの変換を不要にできるように、映像データから切り取る部分映像データｉの切取領域を設定する。図１４は、図１３の実施の形態を用いて魚眼レンズを使用して得た映像データＩ₀を用いる場合の補正を含めた投射までの処理の流れを示す図である。本実施の形態では、切取領域設定部１５が、映像データＩ₀を取得するときに使用する魚画レンズに応じて必要となる標準レンズを通して得られる映像データへの変換を不要にできるように、魚眼映像データＩ₀から部分映像データｉを切り取る切取領域を設定する（切り取られる部分映像データｉの位置及び形状を決定する）。部分映像表示部１１Ａは、映像データ蓄積部９に蓄積された魚眼映像データＩ₀から切取領域設定部１５が設定（決定）した切取領域にある部分映像データｉを切り取って、データ補正部１１Ｂへと入力する。データ補正部１１Ｂは、部分映像データｉを投射スクリーン３に投射された映像が、利用者から見て歪みが補正された映像になるように、補正して投射用の補正された部分映像データｉ′を作成して、部分映像表示部１１Ａに出力する。本実施の形態では、切取領域設定部１５を設けたことにより、魚眼レンズを通して取得した映像データＩ₀を標準レンズを通して得られる映像データに変換する変換ステップが不要になる。その結果、本実施の形態によれば、第１の実施の形態と比べて、データの変換回数を少なくすることができるので、画質の低下を防止することができる。

なお切取領域の形状及び大きさを決定するための基礎データは、使用する投射スクリーンの形及び映像データを取得する際に使用するレンズの種類に応じて、事前の試験により求めておけばよい。

なお本実施の形態でも、投射スクリーンとして、２以上の投射面が境界部を形成するように組み合わされて構成された多面投射スクリーンを用いる場合には、看視領域形状決定部５Ｃは、境界部を基準にして看視領域の基本形状及び大きさを変更するように構成する。

上記各実施の形態によれば、利用者が実際に首を動かし、見たい方向の映像を映し出すヘッドフォンＨＰを用いている。ヘッドフォンＨＰにプロジェクタとセンサを実装すれば、首を動かすという直感的な操作により使用できるインタフェースを提供できる。そしてヘッドフォンＨＰにシステムをすべて搭載すれば、部屋の壁などどこでも本発明のシステムを利用することができ、足元などの隅々まで移すことができるという利便性が得られる。そのためステージ全体は見えないが、ヘッドフォンから聴こえてくる音の変化（音が近づいてきたり、遠くなったり）によって周りの奏者の動きの情報を知ることができる。さらに、演奏者の手の動きなど細かい部分を見たいときなどのために、ズーム機能を搭載してもよく、利用者の演奏支援も行うことが可能になる。

上記実施の形態では、投射スクリーン３は３面の投射スクリーンを用いたが、その他の形状の投射スクリーンを用いても良いのは勿論である。また上記実施の形態では、映像データを得るために、魚眼レンズを使用したが、その他のレンズを使用して映像データを取得した場合にも本発明は当然にして適用できる。またカメラにより撮影した映像のコンテンツは何でもよい。魚眼レンズを備えたカメラとして児童に装着されている監視カメラを用いると、児童を監視する監視者が直感的に見た方向だけに映像を表示することができるので、直感を最大限利用した監視が可能になる。

本発明によれば、映像表示部上の利用者が見ている看視領域に部分映像が表示され、その他の映像表示部上には映像が表示されない。そのためヘッドマウントディスプレイを用いることなく、またキー操作を必要とすることなく、利用者が直感的に見た方向に映像を表示することができる。また本発明によれば、映像表示のために必要とされる消費電力を従来よりも大幅に低減することができる。

１ 映像表示システム
３ 投射スクリーン（映像表示部）
５ 看視領域特定部
７ 境界部設定部
９ 映像データ蓄積部
１１ 部分映像表示装置
１３ 音像生成装置
１５ 切取領域設定部

Claims (11)

1. 利用者が体と頭を動かして見ることができる位置に配置される映像表示部と、
   前記利用者が見ている前記映像表示部の看視領域を特定する看視領域特定部と、
   前記映像表示部全体に映像を表示するために必要な映像データを備えた映像データ蓄積部と、
   前記看視領域特定部の出力に基づいて、前記看視領域特定部が特定する看視領域に表示されるべき部分映像についての部分映像データを前記映像データ蓄積部から取得し、前記映像表示部上の前記看視領域に前記部分映像を表示する部分映像表示装置とを具備することを特徴とする映像表示システム。
2. 前記映像表示部は投射スクリーンであり、
   前記看視領域特定部は、前記利用者の頭部に装着されて頭部の姿勢方位を検出するジャイロ機能を備えた頭部姿勢方位検出部と、前記頭部姿勢方位検出部が出力する前記姿勢方位から前記看視領域を決定する看視領域決定部とを備えており、
   前記部分映像表示装置は、前記利用者の頭部に装着されて前記看視領域に前記部分映像を投射するプロジェクタを備えていることを特徴とする請求項１に記載の映像表示システム。
3. 前記部分映像表示装置は、前記投射スクリーンの形状に応じて、前記投射スクリーンに投射された映像が、前記利用者から見て歪みが補正された映像になるように、前記看視領域に応じて前記部分映像データを補正するデータ補正部を更に備えている請求項２に記載の映像表示システム。
4. 前記映像データを得る際に使用するレンズの種類に応じて必要となる標準レンズを通して得られる映像データへの変換を不要にできるように前記映像データから切り取る前記部分映像データの切取領域を設定する切取領域設定部を備え、
   前記部分映像表示装置は、前記投射スクリーンの形状に応じて、前記投射スクリーンに投射された映像が、前記利用者から見て歪みが補正された映像になるように、前記部分映像データを補正するデータ補正部を更に備えている請求項２に記載の映像表示システム。
5. 前記投射スクリーンは、２以上の投射面が境界部を形成するように組み合わされて構成された多面投射スクリーンであり、
   前記映像データは、魚眼レンズを備えたカメラを用いて撮影されたものである請求項３または４に記載の映像表示システム。
6. 前記データ補正部は、前記境界部を基準にして使用する補正式を変更することを特徴とする請求項５に記載の映像表示システム。
7. 前記部分映像表示装置は、指令に応じて投射角度を変更することができる投射角度変更機能を備えており、
   前記データ補正部は、前記看視領域内に前記境界部が含まれているときには、前記投射スクリーン中の前記境界部に隣接する領域に部分映像を投射するように前記投射角度を変更する指令を出力するように構成されている請求項５に記載の映像表示システム。
8. 前記切取領域設定部は、前記境界部を基準にして前記映像データから切り取る前記部分映像データの前記領域の形状及び大きさを変更することを特徴とする請求項４に記載の映像表示システム。
9. 前記映像表示部全体に表示される映像と同期する音像を前記利用者に聞かせるための音響データを備えた音響データ蓄積部と、
   前記映像と同期する前記音像を前記利用者に提供する音像生成部とを更に備えている請求項１に記載の映像表示システム。
10. 前記映像表示部全体に表示される映像と同期する音像を前記利用者に聞かせるための音響データを備えた音響データ蓄積部と、
    前記映像と同期する前記音像を前記利用者に提供する音像生成部とを更に備え、
    前記音像生成部のスピーカ部は前記利用者の前記頭部に装着されるヘッドフォンであり、前記ヘッドフォンに前記プロジェクタが装着されている請求項２に記載の映像表示システム。
11. 前記カメラは児童に装着されている監視カメラである請求項５に記載の映像表示システム。