JP2005293197A - 画像処理装置及び方法、並びに画像表示システム - Google Patents

Abstract

【課題】 一般家庭においても容易に臨場感ある画像を鑑賞可能とする。
【解決手段】 ユーザ正面のメインディスプレイ２０の左右に例えば２つのサブディスプレイ２１，２２をユーザの側に向けて角度を付けて接続する。そして、仮想ディスプレイＶＤ上の水平方向がＡ−Ｃ、Ａ’−Ｃ’の範囲に表示すべき表示イメージＩをそれぞれサブディスプレイ２１，２２に表示する。このとき、メインディスプレイ２０とサブディスプレイ２１，２２とのなす角度に応じて、仮想ディスプレイＶＤ上の表示イメージＩをサブディスプレイ２１，２２に射影する透視変換を行う。
【選択図】 図１

Description

本発明は、ディスプレイに表示され、又はプロジェクタを用いて投影される画像に対して臨場感を高める処理を行う画像処理装置及びその方法、並びにそのような画像処理装置を備えた画像表示システムに関する。

従来より、ヘッドマウントディスプレイ（ＨＭＤ）を装着することにより、その仮想スクリーンに表示された画像を高い臨場感をもって鑑賞できることが知られている。

また、半球ドーム型の透過型スクリーンの背面から投影された画像をスクリーンの中心方向から見ることにより、人間の視覚に近い広大な視野の臨場感ある画像を鑑賞できることが知られている（例えば特許文献１参照）。

特開平８−３３４８４５号公報

しかしながら、上述したＨＭＤは、物理的な画面そのものが小さい上に両眼に極めて接近させた状態で使用することになるため、ユーザの眼が疲れやすいという問題があった。一方、プロジェクタの画像が投影される半球ドーム型のスクリーンは、物理的な画面が大きいものの、一般家庭に設置して画像を鑑賞することが難しいという問題があった。

本発明は、このような従来の実情に鑑みて提案されたものであり、一般家庭においても容易に臨場感ある画像を鑑賞可能とする画像処理装置及びその方法、並びにそのような画像処理装置を備えた画像表示システムを提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置及びその方法は、画像表示部に表示する画像に対して所定の処理を施す画像処理装置及びその方法であって、上記画像を鑑賞するユーザの視線方向と垂直な仮想平面に展開される仮想画像のうち、上記ユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を上記画像表示部に表示させるものである。

また、上述した目的を達成するために、本発明に係る画像処理装置及びその方法は、隣接して設けられた複数の画像表示部に表示する画像に対して所定の処理を施す画像処理装置及びその方法であって、上記複数の画像表示部のうち主表示部の平面を延長してなる仮想平面に展開される仮想画像のうち、上記画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を各画像表示部に表示させるものである。

また、上述した目的を達成するために、本発明に係る画像表示システムは、画像表示部と、該画像表示部に表示する画像に対して所定の処理を施す画像処理装置とを備える画像表示システムであって、上記画像処理装置は、上記画像を鑑賞するユーザの視線方向と垂直な仮想平面に展開される仮想画像のうち、上記ユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を上記画像表示部に表示させる透視変換手段を有するものである。

また、上述した目的を達成するために、本発明に係る画像表示システムは、隣接して設けられた複数の画像表示部と、該複数の画像表示部に表示する画像に対して所定の処理を施す画像処理装置とを備える画像表示システムであって、上記画像処理装置は、上記複数の画像表示部のうち主表示部の平面を延長してなる仮想平面に展開される仮想画像のうち、上記画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を各画像表示部に表示させる透視変換手段を有するものである。

このような画像処理装置及びその方法、並びに画像表示システムでは、仮想平面に展開される仮想画像のうち、画像表示部に表示する画像を鑑賞するユーザの視点位置から始まり画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を画像表示部に表示させる。

また、上述した目的を達成するために、本発明に係る画像処理装置及びその方法は、各表示要素が位置情報を有する３次元仮想空間を２次元画像として画像表示部に表示させる画像処理装置及びその方法であって、上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換し、座標変換後の各表示要素を上記画像表示部にレンダリングするものである。

また、上述した目的を達成するために、本発明に係る画像処理装置及びその方法は、各表示要素が位置情報を有する３次元仮想空間を２次元画像として隣接して設けられた複数の画像表示部に表示させる画像処理装置及びその方法であって、上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換し、座標変換後の各表示要素を各画像表示部にレンダリングするものである。

また、上述した目的を達成するために、本発明に係る画像表示システムは、画像表示部と、各表示要素が位置情報を有する３次元仮想空間を２次元画像として上記画像表示部に表示させる画像処理装置とを備える画像表示システムであって、上記画像処理装置は、上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、座標変換後の各表示要素を上記画像表示部にレンダリングするレンダリング手段とを有するものである。

また、上述した目的を達成するために、本発明に係る画像表示システムは、隣接して設けられた複数の画像表示部と、各表示要素が位置情報を有する３次元仮想空間を２次元画像として上記複数の画像表示部に表示させる画像表示システムであって、上記画像処理装置は、上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、座標変換後の各表示要素を各画像表示部にレンダリングするレンダリング手段とを有するものである。

このような画像処理装置及びその方法、並びに画像表示システムでは、各表示要素が位置情報を有する３次元仮想空間を２次元画像として画像表示部に表示させる際に、３次元仮想空間のうち、２次元画像を鑑賞するユーザの視点位置から始まり画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換し、座標変換後の各表示要素を画像表示部にレンダリングする。

本発明に係る画像処理装置及びその方法、並びに画像表示システムでは、仮想平面に展開される仮想画像のうち、画像表示部に表示する画像を鑑賞するユーザの視点位置から始まり画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を画像表示部に表示させるため、画像表示部がユーザの視線方向に対して斜めに配置されている場合には、より大きな仮想画像が透視変換により画像表示部に表示されることとなり、ユーザは、高い臨場感をもって画像を鑑賞することができる。

また、本発明に係る画像処理装置及びその方法、並びに画像表示システムでは、各表示要素が位置情報を有する３次元仮想空間を２次元画像として画像表示部に表示させる際に、３次元仮想空間のうち、２次元画像を鑑賞するユーザの視点位置から始まり画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換し、座標変換後の各表示要素を画像表示部にレンダリングするため、ユーザの動きに伴って３次元仮想空間の見え方が変化するのみならず、画像表示部がユーザの視線方向に対して斜めに配置されている場合には、より大きな２次元画像が画像表示部に表示されることとなり、ユーザは、高い臨場感をもって３次元仮想空間に没入することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

（第１の実施の形態）
一般に、図１（Ａ）のようにユーザ正面にある１つのディスプレイ１０に画像を表示する場合よりも、図１（Ｂ）のようにユーザ正面にあるメインディスプレイ２０の左右にサブディスプレイ２１，２２を接続し、これらの３面のディスプレイ２０〜２２に亘って１つの画像を表示する方が、ユーザは高い臨場感をもって画像を鑑賞することができる。すなわち、図１（Ｂ）のようにサブディスプレイ２１，２２を接続した分だけ表示可能な画面が水平方向に広がるため、表示イメージＩの水平方向の範囲を図１（Ａ）の場合のＡ−Ａ’からＢ−Ｂ’に広げることができる。この結果、ユーザの視界に対して図１（Ａ）の場合の視野角Ｒ１よりも大きな視野角Ｒ２を占有することになり、高い臨場感を与えることが可能となる。

これに対して、本実施の形態では、図１（Ｃ）に示すように、視野角Ｒ３が図１（Ｂ）の場合の視野角Ｒ２よりも大きくなるように左右のサブディスプレイ２１，２２をユーザの側に向けて角度を付けて接続し、仮想ディスプレイＶＤ（仮想平面）上の水平方向がＡ−Ｃ、Ａ’−Ｃ’の範囲に表示すべき表示イメージＩ（仮想画像）をそれぞれサブディスプレイ２１，２２に表示する。これにより、図２に示すように、図１（Ｂ）の場合よりも仮想ディスプレイＶＤ上のＢ−Ｃ、Ｂ’−Ｃ’の範囲だけ表示イメージＩの水平方向の範囲を広げることができ、図１（Ｂ）の場合よりもさらに臨場感を高めることができる。

ここで、本実施の形態では、サブディスプレイ２１，２２がユーザの側に向けて角度を付けて接続されているため、仮想ディスプレイＶＤ上の表示イメージＩをそのままサブディスプレイ２１，２２に表示した場合には、歪んだ画像となってしまう。

そこで、本実施の形態では、ユーザ正面にあるメインディスプレイ２０とその左右にあるサブディスプレイ２１，２２とのなす角度に応じて、仮想ディスプレイＶＤ上の表示イメージＩをサブディスプレイ２１，２２に射影する透視変換を行う。

具体的には、図３に示すように、ユーザの左右の眼の中間位置（視点位置）Ｏと、例えばメインディスプレイ２０の左側にある仮想ディスプレイＶＤの各画像部分（Ｐ１，Ｐ２，Ｐ３，・・・）とを直線で結び、この直線とサブディスプレイ２１とが交差する位置（Ｐ１’，Ｐ２’，Ｐ３’，・・・）に対して対応する画像部分を表示するような画像処理を行う。図３はユーザの上方から見た図であり、水平方向についての例であるが、垂直方向についても同様の画像処理を行う。

このような画像処理を行った場合、ユーザからは図４（Ａ）中斜線で示す領域に表示された画像を鑑賞することができ、この斜線領域が仮想ディスプレイＶＤの有効範囲となる。このように、サブディスプレイ２１，２２がユーザの側に向けて角度を付けて接続されている場合であっても、上述の画像処理を施すことにより、ユーザは１つの大型ディスプレイを見ているかのように錯覚するため、高い没入感が得られる。

このとき、ユーザが例えばサブディスプレイ２１の方向を向いた場合には、図４（Ｂ）中斜線で示すような領域形状の画像が見えてしまうことになる。しかしながら、本実施の形態はユーザの視線方向がユーザ正面のメインディスプレイ２０である場合を想定したものであり、サブディスプレイ２１，２２は、少ない画像歪み感にて視界の多くを占有するために設けられた、視覚に対して補助的な役割を果たすものであるため、問題とはならない。

なお、図４（Ｂ）で示す斜線領域のみならず、サブディスプレイ２１，２２の全体に画像を表示しても構わない。但し、図４（Ｂ）のように表示することで、ユーザからは図４（Ａ）中斜線で示す領域に表示された画像を鑑賞することができ、ユーザは１つの大型ディスプレイを見ているかのように錯覚することにより高い没入感が得られるため、斜線部分のみに画像を表示することが好ましい。

また、上述の画像処理では、ユーザの左右の眼の中間位置（視点位置）Ｏと仮想ディスプレイＶＤ上の各画像部分とを結んで透視変換を行っているため、実際に左右の眼で画像を見た場合には視差により若干の歪みが生じる。しかしながら、上述したように、本実施の形態はユーザの視線方向がユーザ正面のメインディスプレイ２０である場合を想定したものであり、この場合、視界の端に位置するサブディスプレイ２１，２２に対する分解能が悪く、完全にフォーカスが合っていなくても十分な没入感が得られるため、問題とはならない。

ところで、図３に示すようなサブディスプレイ２１，２２に画像を表示するための画像処理は、ユーザの位置が固定されており、且つ正面方向を向いている場合にのみ有効である。すなわち、メインディスプレイ２０又はサブディスプレイ２１，２２に対するユーザの位置、或いはメインディスプレイ２０とサブディスプレイ２１，２２とのなす角度の何れか一方でも変更された場合には、ユーザは歪んだ画像を鑑賞してしまうことになる。

そこで、本実施の形態では、ユーザ位置とサブディスプレイ２１，２２の角度とを検出し、この検出結果に基づいて、サブディスプレイ２１，２２に表示する画像を自動的に補正する。

ここで、ユーザ位置を検出する際には、ＣＣＤ（Charge Coupled Device）カメラを用いることができる。また、サブディスプレイ２１，２２は蝶番等により機構的にメインディスプレイ２０に接続されているため、角度検出は容易である。

勿論、メインディスプレイ２０に対してサブディスプレイ２１，２２が固定されている場合にはユーザ位置検出のみを行えばよく、ユーザ位置がディスプレイや機器の大きさ、取り扱い方によってほぼ決められている場合にはサブディスプレイ２１，２２の角度検出のみを行えばよい。

以上、画像を表示する表示部が自発光型のディスプレイである場合を例として説明したが、プロジェクタを用いて画像をスクリーンに投影する場合も同様である。すなわち、ユーザ正面にあるメインスクリーンの左右にサブスクリーンを接続し、３台のプロジェクタにより上述と同様に画像処理した画像をメインスクリーン及びサブスクリーンに投影することで、ユーザからは図４（Ａ）中の斜線領域と同様の領域に投影された画像を鑑賞することができる。これにより、ユーザは１つの大型スクリーンを見ているかのように錯覚し、高い没入感が得られる。

以上の処理を行う本実施の形態における画像処理装置の概略構成を図５に示す。図５に示す画像処理装置３０において、画像領域分解部３１は、入力された２次元画像データをメインディスプレイ又はメインスクリーンに表示する領域と２つのサブディスプレイ又はサブスクリーンに表示する領域とに分解し、各部分画像データを透視変換部３３〜３５に供給する。

一方、画角変更部３２は、ＣＣＤカメラ等によって検出されたユーザ位置とサブディスプレイ又はサブスクリーンの角度とに基づいて仮想カメラの画角を変更し、変更後の画角を透視変換部３３〜３５に供給する。ここで、仮想カメラとは、メインディスプレイ又はメインスクリーンとサブディスプレイ又はサブスクリーンとに対応してユーザの視点位置に仮想的に設けられるものである。また、仮想カメラの画角とは、視点位置から各ディスプレイ又はスクリーンを見たときの視野角に対応するものである。

そして、透視変換部３３〜３５は、画角変更部３２から供給された変更後の画角に基づいて、画像領域分解部３１から供給された部分画像データに対して上述の透視変換を行う。透視変換部３３〜３５は、透視変換後の部分画像データをメインディスプレイ及びサブディスプレイに表示させるか、又は３台のプロジェクタに供給してメインスクリーン及びサブスクリーンに投影させる。

この例では、３つのディスプレイに画像を表示し、又は３台のプロジェクタで３つのスクリーンに対して画像を投影するものとして説明したが、図１（Ｃ）のような形状の１つのディスプレイに画像を表示し、又は１台のプロジェクタで図１（Ｃ）と同様の形状のスクリーンに対して画像を投影するようにしても構わない。この場合、図６に示すように、画像処理装置３０に画像結合部３６を追加すればよい。この画像結合部３６は、透視変換部３３〜３５から供給された透視変換後の部分画像データを１つの画像に結合し、図１（Ｃ）のような形状の１つのディスプレイに表示させるか、又は１台のプロジェクタに供給して図１（Ｃ）と同様の形状のスクリーンに投影させる。

このような画像処理装置３０の具体的な適用例を図７乃至図１０に示す。
先ず、図７（Ａ）は、部屋の側壁に３面のスクリーン４０〜４２を設置し、３台のプロジェクタ５０〜５２を用いてこの３面のスクリーン４０〜４２に対してスクリーン正面から画像を投影するものである。この場合、ユーザ正面のスクリーンがメインスクリーン４０、左右のスクリーンがサブスクリーン４１，４２となり、上述した画像処理装置３０は、サブスクリーン４１，４２に画像を投影するプロジェクタ５１，５２にハードウェア又はソフトウェアとして搭載される。この画像処理装置３０により上述した画像処理を行うことで、ユーザは、メインスクリーン４０だけでは得られない非常に大きな仮想スクリーンＶＳに表示された映画やテレビジョン映像等のコンテンツを鑑賞することができる。

なお、図７（Ａ）のような反射型のスクリーン４０〜４２に限らず、図７（Ｂ）のような透過型のスクリーン６０〜６２を用いるようにしても構わない。

次に、図８は、例えばユーザの寝室において、１台のプロジェクタ７０を用いて天井及び側壁に対して画像を投影するものである。この場合、プロジェクタ７０にハードウェア又はソフトウェアとして搭載された画像処理装置３０は、側壁に投影する画像に対して上述したような画像処理を行う。この画像処理装置３０により、天井が狭い場合であっても、ユーザは、非常に大きな仮想スクリーンＶＳに表示された映画やテレビジョン映像等のコンテンツを鑑賞することができる。

続いて、図９は、パーソナルコンピュータ（ＰＣ）用の３台のディスプレイ８０〜８２に画像を表示するものである。この場合、ＰＣ本体８３に上述した画像処理装置３０が例えばソフトウェアとして搭載される。この画像処理装置３０により上述した画像処理を行うことで、ユーザは、メインディスプレイ８０だけでは得られない非常に大きな仮想ディスプレイＶＤに表示された映画やテレビジョン映像等のコンテンツを鑑賞することができる。なお、ＰＣシステム８４に付随するＣＣＤカメラ（図示せず）を用いてユーザ位置を検出するようにしてもよい。

最後に、図１０は、折り畳み式の携帯端末９３の３つのディスプレイ９０〜９２に画像を表示するものである。この携帯端末９３には、上述した画像処理装置３０が例えばソフトウェアとして搭載される。この画像処理装置３０により上述した画像処理を行うことで、ユーザは、メインディスプレイ９０だけでは得られない非常に大きな仮想ディスプレイに表示されたコンテンツを鑑賞することができる。なお、ＣＣＤカメラ９４を用いてユーザ位置を検出するようにしてもよい。この携帯端末９３は、折り畳むことが可能であり且つ全て広げる訳ではなく角度をつけたまま使用するため非常に省スペースであり、通勤途中など混雑した状況下においても使用し得る。また、基本的にユーザはディスプレイ９０〜９２に近づいて使用するため、水平方向の視界を占有し、高い臨場感を味わうことができる。

（第２の実施の形態）
上述した第１の実施の形態では、仮想ディスプレイＶＤ又は仮想スクリーンＶＳに表示されるコンテンツが映画やテレビジョン映像等の予め作成されたものである場合を想定して説明した。本実施の形態では、表示されるコンテンツが３次元ＣＧ（Computer Graphics）等のリアルタイムに変化するもの（ゲームやインタラクティブムービー等）である場合を想定する。

一例として図１０に示した携帯端末９３を考える。図１１に示すように、この携帯端末９３のディスプレイ９０〜９２に奥行き感のある３次元ＣＧを表示する場合、サブディスプレイ９１，９２の角度とＣＣＤカメラ９４で検出したユーザ位置に基づいて仮想カメラＶＣ１〜ＶＣ３の画角を決定し、仮想３次元空間をレンダリングして３つのディスプレイ９０〜９２に描画することで、高い臨場感を与えるコンテンツを表示することができる。

このとき、ＣＧ画像はリアルタイムに決定・描画されるため、例えば図１２のようにユーザが頭を右にずらした場合、ＣＣＤカメラ９４によってユーザ位置が検出され、仮想カメラＶＣからの画像が計算され、画像処理を行った画像をサブディスプレイ９１，９２に描画すると同時に、画角を変更した画像を表示する。この場合、ＣＧ内のオブジェクトの見え方そのものが変わってくる。

同様に、例えば図１３のようにユーザが顔を前に近づけた場合、ＣＣＤカメラ９４によってユーザ位置が検出され、画角の変更された画像が表示される。このとき、サブディスプレイ９１，９２に描画される画像は水平方向に引き伸ばされてしまうが、ユーザの視線は正面のメインディスプレイ９０に向けられており、視界の端における分解能が悪いため、サブディスプレイ９１，９２の画像が多少歪んでいても問題とはならない。

このように、３つのディスプレイ９０〜９２を用いて仮想ディスプレイＶＤが大きくなったことによる効果と、ユーザ位置に応じた３次元ＣＧの見え方の変化によって、より臨場感が高くユーザ自身が仮想空間に没入できるようなコンテンツを提供することができる。

以上、画像を表示する表示部が自発光型のディスプレイである場合を例として説明したが、プロジェクタを用いて画像をスクリーンに投影する場合も同様である。

以上の処理を行う本実施の形態における画像処理装置の概略構成を図１４に示す。図１４に示す画像処理装置１００において、画角変更部１０１は、ＣＣＤカメラ等によって検出されたユーザ位置とサブディスプレイ又はサブスクリーンの角度とに基づいて仮想カメラの画角を変更し、変更後の画角をクリッピング部１０２に供給する。

クリッピング部１０２は、画角変更部１０１から供給された変更後の画角に基づいてビューボリューム（視野空間）を計算し、ビューボリューム外のオブジェクトをクリッピングすると共に、ビューボリューム内のオブジェクトを各仮想カメラＶＣのカメラ座標に変換する。

そして、レンダリング部１０３〜１０５は、ビューボリューム内の可視オブジェクトをレンダリングし、メインディスプレイ及びサブディスプレイに表示させるか、又は３台のプロジェクタに画像データを供給してメインスクリーン及びサブスクリーンに投影させる。

この例では、３つのディスプレイに画像を表示し、又は３台のプロジェクタで３つのスクリーンに対して画像を投影するものとして説明したが、図１（Ｃ）のような形状の１つのディスプレイに画像を表示し、又は１台のプロジェクタで図１（Ｃ）と同様の形状のスクリーンに対して画像を投影するようにしても構わない。この場合、図１５に示すように、画像処理装置１００に画像結合部１０６を追加すればよい。この画像結合部１０６は、レンダリング部１０３〜１０５から供給された画像データを１つの画像に結合し、図１（Ｃ）のような形状の１つのディスプレイに表示させるか、又は１台のプロジェクタに供給して図１（Ｃ）と同様の形状のスクリーンに投影させる。

以上、図面を参照しながら、本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、主としてメインディスプレイの左右にサブディスプレイが接続された３面のディスプレイを用いて説明したが、これに限定されるものでなく、サブディスプレイが１つであってもよく、また、メインディスプレイの上下にもサブディスプレイが接続された５面のディスプレイ等を用いても構わない。さらには、曲面状のディスプレイの場合であっても、短冊状のディスプレイが多数接続されているものと見なすことで、本発明を適用可能である。

第１の実施の形態を説明するための概念図であり、同図（Ａ）は１面のディスプレイを示し、同図（Ｂ）はメインディスプレイの左右にサブディスプレイが接続された３面ディスプレイを示し、同図（Ｃ）はメインディスプレイの左右のサブディスプレイがユーザの側に向けられた３面ディスプレイを示す。 図１（Ｂ）、（Ｃ）における表示イメージの大きさを比較して示す図である。 サブディスプレイに画像を表示するための透視変換を説明する図である。 実際にユーザが画像を鑑賞できる領域を説明する図であり、同図（Ａ）はユーザがメインディスプレイの方向を向いている場合の例を示し、同図（Ｂ）はユーザが左のサブディスプレイの方向を向いている場合の例を示す。 第１の実施の形態における画像処理装置の概略構成の一例を示す図である。 同画像処理装置の概略構成の他の例を示す図である。 同画像処理装置をプロジェクタに適用した場合の例を示す図であり、同図（Ａ）は反射型スクリーンの場合を示し、同図（Ｂ）は透過型スクリーンの場合を示す。 同画像処理装置をプロジェクタに適用した場合の例を示す図である。 同画像処理装置をパーソナルコンピュータに適用した場合の例を示す図である。 同画像処理装置を折り畳み式の携帯端末に適用した場合の例を示す図である。 第２の実施の形態を説明するための概念図である。 ユーザが頭を右にずらした場合における仮想カメラの画角の変化を示す図である。 ユーザが顔を前に近づけた場合における仮想カメラの画角の変化を示す図である。 第２の実施の形態における画像処理装置の概略構成の一例を示す図である。 同画像処理装置の概略構成の他の例を示す図である。

符号の説明

２０ メインディスプレイ、２１，２２ サブディスプレイ、３０ 画像処理装置、３１ 画像領域分解部、３２ 画角変換部、３３，３４，３５ 透視変換部、３６ 画像結合部、１００ 画像処理装置、１０１ 画角変更部、１０２ クリッピング部、１０３，１０４，１０５ レンダリング部、１０６ 画像結合部

Claims (19)

1. 画像表示部に表示する画像に対して所定の処理を施す画像処理装置であって、
   上記画像を鑑賞するユーザの視線方向と垂直な仮想平面に展開される仮想画像のうち、上記ユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を上記画像表示部に表示させる透視変換手段を有する
   ことを特徴とする画像処理装置。
2. 隣接して設けられた複数の画像表示部に表示する画像に対して所定の処理を施す画像処理装置であって、
   上記複数の画像表示部のうち主表示部の平面を延長してなる仮想平面に展開される仮想画像のうち、上記画像を鑑賞するユーザの視点位置から各画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を各画像表示部に表示させる透視変換手段を有する
   ことを特徴とする画像処理装置。
3. 上記主表示部は、上記ユーザの視線方向に対して略々垂直であることを特徴とする請求項２記載の画像処理装置。
4. 画像表示部に表示する画像に対して所定の処理を施す画像処理方法であって、
   上記画像を鑑賞するユーザの視線方向と垂直な仮想平面に展開される仮想画像のうち、上記ユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を上記画像表示部に表示させる透視変換工程を有する
   ことを特徴とする画像処理方法。
5. 隣接して設けられた複数の画像表示部に表示する画像に対して所定の処理を施す画像処理方法であって、
   上記複数の画像表示部のうち主表示部の平面を延長してなる仮想平面に展開される仮想画像のうち、上記画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を各画像表示部に表示させる透視変換工程を有する
   ことを特徴とする画像処理方法。
6. 上記主表示部は、上記ユーザの視線方向に対して略々垂直であることを特徴とする請求項５記載の画像処理方法。
7. 画像表示部と、該画像表示部に表示する画像に対して所定の処理を施す画像処理装置とを備える画像表示システムであって、
   上記画像処理装置は、上記画像を鑑賞するユーザの視線方向と垂直な仮想平面に展開される仮想画像のうち、上記ユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を上記画像表示部に表示させる透視変換手段を有する
   ことを特徴とする画像表示システム。
8. 上記ユーザの位置を検出する位置検出手段と、
   上記仮想平面に対する上記画像表示部の角度を検出する角度検出手段と
   をさらに備えることを特徴とする請求項７記載の画像表示システム。
9. 隣接して設けられた複数の画像表示部と、該複数の画像表示部に表示する画像に対して所定の処理を施す画像処理装置とを備える画像表示システムであって、
   上記画像処理装置は、上記複数の画像表示部のうち主表示部の平面を延長してなる仮想平面に展開される仮想画像のうち、上記画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって切り取られる部分画像を透視変換し、透視変換後の部分画像を各画像表示部に表示させる透視変換手段を有する
   ことを特徴とする画像表示システム。
10. 上記主表示部は、上記ユーザの視線方向に対して略々垂直であることを特徴とする請求項９記載の画像表示システム。
11. 上記ユーザの位置を検出する位置検出手段と、
    上記主表示部に対する該主表示部以外の各画像表示部の角度を検出する角度検出手段と
    をさらに備えることを特徴とする請求項９記載の画像表示システム。
12. 各表示要素が位置情報を有する３次元仮想空間を２次元画像として画像表示部に表示させる画像処理装置であって、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、
    座標変換後の各表示要素を上記画像表示部にレンダリングするレンダリング手段と
    を有することを特徴とする画像処理装置。
13. 各表示要素が位置情報を有する３次元仮想空間を２次元画像として隣接して設けられた複数の画像表示部に表示させる画像処理装置であって、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、
    座標変換後の各表示要素を各画像表示部にレンダリングするレンダリング手段と
    を有することを特徴とする画像処理装置。
14. 各表示要素が位置情報を有する３次元仮想空間を２次元画像として画像表示部に表示させる画像処理方法であって、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換工程と、
    座標変換後の各表示要素を上記画像表示部にレンダリングするレンダリング工程と
    を有することを特徴とする画像処理方法。
15. 各表示要素が位置情報を有する３次元仮想空間を２次元画像として隣接して設けられた複数の画像表示部に表示させる画像処理方法であって、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換工程と、
    座標変換後の各表示要素を各画像表示部にレンダリングするレンダリング工程と
    を有することを特徴とする画像処理方法。
16. 画像表示部と、各表示要素が位置情報を有する３次元仮想空間を２次元画像として上記画像表示部に表示させる画像処理装置とを備える画像表示システムであって、
    上記画像処理装置は、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり上記画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、
    座標変換後の各表示要素を上記画像表示部にレンダリングするレンダリング手段とを有する
    ことを特徴とする画像表示システム。
17. 上記ユーザの位置を検出する位置検出手段と、
    上記ユーザの視線方向に対する上記画像表示部の角度を検出する角度検出手段と
    をさらに備えることを特徴とする請求項１６記載の画像表示システム。
18. 隣接して設けられた複数の画像表示部と、各表示要素が位置情報を有する３次元仮想空間を２次元画像として上記複数の画像表示部に表示させる画像表示システムであって、
    上記画像処理装置は、
    上記３次元仮想空間のうち、上記２次元画像を鑑賞するユーザの視点位置から始まり各画像表示部の周縁部を通る直線群によって囲まれる部分空間の各表示要素を上記視点位置を中心とする座標系に変換する座標変換手段と、
    座標変換後の各表示要素を各画像表示部にレンダリングするレンダリング手段とを有する
    ことを特徴とする画像表示システム。
19. 上記ユーザの位置を検出する位置検出手段と、
    上記ユーザの視線方向に対する上記画像表示部の角度を検出する角度検出手段と
    をさらに備えることを特徴とする請求項１８記載の画像表示システム。
    

Images