JP3956561B2 - Image data display system and image data generation method - Google Patents

Image data display system and image data generation method Download PDF

Info

Publication number
JP3956561B2
JP3956561B2 JP36624899A JP36624899A JP3956561B2 JP 3956561 B2 JP3956561 B2 JP 3956561B2 JP 36624899 A JP36624899 A JP 36624899A JP 36624899 A JP36624899 A JP 36624899A JP 3956561 B2 JP3956561 B2 JP 3956561B2
Authority
JP
Japan
Prior art keywords
image
pixel
display
viewpoint
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36624899A
Other languages
Japanese (ja)
Other versions
JP2001184040A (en
Inventor
剛 皆川
晴夫 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP36624899A priority Critical patent/JP3956561B2/en
Publication of JP2001184040A publication Critical patent/JP2001184040A/en
Application granted granted Critical
Publication of JP3956561B2 publication Critical patent/JP3956561B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを表示するシステム、特にプロジェクタとスクリーンとを用いて画像データを表示するシステムに関する。また、本発明は、仮想世界データから画像データを生成する方法に関する。
【０００２】
【従来の技術】
プロジェクタとスクリーンとを用いた画像データ表示システムに関する従来技術には、次のようなものがある。
【０００３】
まず、特開平９−３２６９８１号公報に記載の「画像投影システム」や国際公開番号ＷＯ９９／３１８７７「マルチプロジェクション映像表示装置」がある。これらのシステムは、１つの大きな平面スクリーンに複数のプロジェクタを用いて画像データを投写し、大画面映像をユーザに提供するものである。あらかじめ計測しておいたデータに基づいて、投写する画像データに変換を施してから投写することにより、スクリーン上では、位置ずれや色調・輝度ずれのない、あたかも１つのプロジェクタから投写されたような大画面映像の提供を可能としている。
【０００４】
また、ユーザの視野の広い部分を覆うことにより、ユーザに高い臨場感を与えるシステムとして、特開平９−３１１３８３号公報に記載の映像表示システムを始めとした映像表示システムが知られている。これらは、球面スクリーンや円筒スクリーンなどの非平面スクリーンを用いたり、平面スクリーンを組み合わせたりすることにより、ある空間をスクリーンで囲むようにしたことに特徴がある。ユーザがこのスクリーンで囲まれた空間内において映像を観賞する場合、その視野の広い部分が映像で覆われることになり、高い臨場感を得ることができる。
【０００５】
これらのシステムで投写すべき画像データを、仮想世界データに基づいて生成する方法としては、両者に共通して、透視変換による方法が用いられている。ここで、透視変換を行う際に用いる理想視点パラメタとしては、システム毎に固有のパラメタ１つを定めておく場合と、ユーザの頭の動き（これからユーザの視点位置の概算値を求めることができる）に追従してリアルタイムで理想視点パラメタを変化させる場合の２つがある。
【０００６】
【発明が解決しようとする課題】
従来の画像データ表示システムを用いて、多人数のユーザに高い臨場感を与えるような映像を広い範囲に渡って表示しようとした場合、以下のような課題がある。
【０００７】
まず、１つの大きな平面スクリーンを使用した場合、ユーザの視野の十分な範囲を覆うことは困難であり、したがって、ユーザに高い臨場感を与えることは困難である。
【０００８】
また、ある空間をスクリーンで囲むようにした場合、ユーザの存在する空間がスクリーンで囲まれているため、ユーザが移動できる範囲が装置内に制限されてしまう。
【０００９】
ここで、ユーザの移動できる範囲を広げるために装置の規模を大きくすると、ユーザとスクリーンとの距離が離れてしまい、映像の細かな部分を知覚することができなくなる。すなわち、ユーザが知覚する映像の精細度が劣化する。
【００１０】
以上の考察から、画像データ表示システムに関して、本発明は以下を目的とする。
【００１１】
本発明の第１の目的は、多人数のユーザに高い臨場感を与えるような映像を広い範囲に渡って表示できるような画像データ表示システムを提供することにある。
【００１２】
本発明の第２の目的は、前記第１の目的を達成でき、かつ、システムを構成する各要素（例えばプロジェクタやスクリーン）の配置における誤差に依らず映像を正しい幾何形状で表示できるような、画像データ表示システムを提供することにある。
【００１３】
本発明の第３の目的は、プロジェクタとスクリーンを備えた画像データ表示システムであって、前記第１の目的を達成でき、かつ、プロジェクタの各々の画素の歪みが少ないような、画像データ表示システムを提供することにある。
【００１４】
本発明の第４の目的は、前記第３の目的を達成でき、かつ、映像が継目なく繋がって見えるような、画像データ表示システムを提供することにある。
【００１５】
次に、画像データ生成方法に関しては、以下のような課題がある。
【００１６】
透視変換による方法で画像データを生成し表示した場合、ユーザの実際の視点位置が理想視点位置から離れれば離れるほど大きな違和感を感じる。このことは、視点パラメタが固定の場合、特に大きな装置において、理想視点位置から離れた位置にいるユーザ（理想視点位置は１点であるため、ほとんどのユーザがこの条件に該当すると考えられる）の臨場感の低下につながる。また、あるユーザの頭の動きに追従してリアルタイムで理想視点位置を求め、その視点位置に基づいて映像を作っているような場合においても、頭の動きを追従されていない他の多くのユーザにとっては、表示された映像は違和感を感じるものであり、臨場感の低下を招くことになる。
【００１７】
以上の考察から、画像データ生成方法に関して、本発明は以下を目的とする。
【００１８】
本発明の第１の目的は、「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような、画像データ生成方法を提供することにある。
【００１９】
本発明の第２の目的は、前記第１の目的と同様に「この部分の映像はどの位置から見る人にとって重要な映像であるか」を考慮し、該位置から観賞した時に高品質な映像が観賞できるようにするとともに、さらに、画像表示領域全体としては滑らかに繋がった映像が得られるような、画像データ生成方法を提供することにある。
【００２０】
本発明の第３の目的は、画像表示面が凹状になっている部分では、広い視野角に渡って違和感のない映像が得られ、画像表示面が凹状になっている部分に繋がっている、画像表示面が凸状になっている部分では、隣接する凹状部分の映像に滑らかに繋がるような映像が得られるような、画像データ生成方法を提供することにある。
【００２１】
本発明の第４の目的は、時系列画像データの表示内容が途中で切り替わるような場合に、各々の内容に応じて見やすい映像が得られるような、画像データ生成方法を提供することにある。
【００２２】
【課題を解決するための手段】
本発明による画像データ表示システムは、前記の第１の目的を達成するため、画像表示面の形状を波形にした。
【００２３】
これにより、画像表示面が凹状となっている部分において、ユーザの視野の広い範囲を映像で覆うことができ、視野角の面ではユーザに高い臨場感を与えることが可能となる。
【００２４】
また、画像表示面が凹状となっている部分と画像表示面が凹状となっている部分との間を、画像表示面が凸状となっている部分を経由して滑らかに移動することができるため、ユーザは広い範囲を移動できる。
【００２５】
その際、ユーザは画像表示面に沿って、つまり、画像表示面との距離をほぼ一定に保ったまま、映像を観賞しながら移動することができる。すなわち、画像表示面との距離が離れることによる精細度の劣化は起こらない。
【００２６】
また、本発明による画像データ表示システムは、前記の第２の目的を達成するため、画像表示面の形状を波形にし、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とし、画像データを該画像データ変換手段によって変換した後に画像表示面に表示するようにした。
【００２７】
画像データ表示システムの各構成要素（例えばプロジェクタやスクリーン）を設計通りに設置することは難しいが、このような構成にすることにより、画像データ生成時に新規処理を加えることなしに、設置時の誤差を吸収した、正しい幾何形状の映像を表示できる。
【００２８】
また、本発明による画像データ表示システムは、前記の第３の目的を達成するため、波形の形状のスクリーンを備え、複数のプロジェクタを備え、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とした。前記複数のプロジェクタは、その複数の投写領域全体が、所与の画像表示領域全体を覆うように設置し、さらに、各々の投写領域には、前記画像変換手段によって変換された画像データが投写されるようにする。
【００２９】
このような構成とすることで、画像表示領域を細分し、その各々の部分領域に対して、プロジェクタの投写光が略正面から当たるようにすることができる。また、スクリーンの部分形状によって、その部分に投写するプロジェクタの密度を調節できる。例えば、スクリーンをプロジェクタの側から見た場合に、スクリーンが凸状となっている部分に投写するプロジェクタの密度を凹状となっている部分に投写するプロジェクタの密度に比べ高くすることができる。これらの結果、単独のプロジェクタで投写する場合に比べ、画素の歪みを低減させることができる。
【００３０】
また、本発明による画像データ表示システムは、前記の第４の目的を達成するため、波形の形状のスクリーンを備え、複数のプロジェクタを備え、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とした。前記複数のプロジェクタは、その複数の投写領域全体で画像表示領域全体を覆うように、かつ、投写領域が隣り合うプロジェクタ同士は、その投写領域が互いに重なりを持つように設置すし、さらに、各々の投写領域には、前記画像変換手段によって変換された画像データが投写されるようにする。
【００３１】
このような構成とすることで、前記の第３の目的を達成するための構成による効果に加え、さらに、互いに異なるプロジェクタから投写されている映像領域間の継目をなくすことができる。つまり、画像表示領域全体に渡って滑らかに繋がった映像を得ることができる。
【００３２】
次に、本発明による画像データ生成方法は、前記の第１の目的を達成するため、生成すべき画像データ中の画素をいくつかのグループに分類し、その各々のグループ毎に独立な視点パラメタを決定し、各画素の画素値は、該画素の属するグループに対応する視点パラメタに基づいて求めるようにした。
【００３３】
このような方法とすることで、表示内容など適当な基準に基づいて表示領域を分割し、分割された各表示領域毎に理想視点位置を定めることができる。すなわち、分割された各表示領域毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような画像データを生成することができる。
【００３４】
また、本発明による画像データ生成方法は、前記の第２の目的を達成するため、前記の第１の目的を達成するための方法において、各々のグループ毎に独立に決定していた視点パラメタを、各画素の画像表示面上の位置を考慮して滑らかに変化させるようにした。
【００３５】
このような方法とすることで、分割された各表示領域毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるように、かつ、画像表示領域全体として見た時には滑らかに繋がった映像が得られるように、画像データを生成することができる。
【００３６】
また、本発明による画像データ生成方法は、前記の第３の目的を達成するため、前記の第２の目的を達成するための方法において、画像表示面が凹状になっている部分は大きな表示領域を一つの単位として分割し、該分割に基づいて画像データ中の画素の分類を行い、画像表示面が凸状になっている部分は細かな表示領域を一つの単位として分割し、該分割に基づいて画像データ中の画素の分類を行うようにした。
【００３７】
このような方法とすることで、画像表示面が凹状になっている部分では、広い視野角に渡って、一つの視点パラメタに基づいて生成された画像データによる、違和感のない映像が得られ、画像表示面が凹状になっている部分に繋がっている、画像表示面が凸状になっている部分では、滑らかに変化する視点パラメタに基づいて生成された画像データにより、隣接する凹状部分の映像に滑らかに繋がるような映像が得られる。
【００３８】
また、本発明による画像データ生成方法は、前記の第４の目的を達成するため、時系列画像データの各時刻における視点パラメタの決定方法を表示内容に基づいて選択するようにした。
【００３９】
このような方法とすることで、例えば、画像表示領域全体を観賞して初めて意味を持つような表示内容の場合には、全体として１点だけ理想視点位置を定めて画像を生成することで、全体を観賞することが有意義であるような映像とすることができるし、意味の単位が局所的になった場合には、画素の分類を細分化して多くの視点パラメタに基づいて画像を生成することで、各々の局所的な部分を観賞する人にとって見やすい映像を表示することができる。
【００４０】
【発明の実施の形態】
以下、図１〜図８を用いて、本発明の第一の実施の形態による画像データ表示システム及び画像データ生成方法について詳細に説明する。
【００４１】
図１は、本発明によるシステムの第一の実施の形態を示す概念図である。
【００４２】
図１において、背面投射用スクリーン１０１は、水平面上に鉛直に立てられた、横断面が波形の柱状のスクリーンであり、その画像表示面上には、水族館の映像が表示されている。水族館の映像は、図の左から順に、水槽があり、続いて「順路」という張り紙がされた柱があり、続いて水槽がある、というものである。ユーザは、場所１１１から場所１１２を経て場所１１３へと、スクリーン１０１に沿って映像を観賞しながら移動することができる。
【００４３】
ここで、場所１１１や場所１１３では、スクリーン１０１がユーザに対して凹状となっているため、ユーザは視野の広い範囲をスクリーンに囲まれた状態で水槽の映像を観賞することができ、高い臨場感が得られる。
【００４４】
また、場所１１１と場所１１３の間は、場所１１２付近の凸状の部分を介して、スクリーン１０１や映像が滑らかに繋がっているため、映像を観賞しながら場所１１１から場所１１３への移動した場合に、スクリーンや映像の継目によって臨場感が低下するということはない。
【００４５】
図２は本発明によるシステムの第一の実施の形態を示す平面図である。
【００４６】
図２において、プロジェクタ２０１、プロジェクタ２０２、プロジェクタ２０３、プロジェクタ２０４、プロジェクタ２０５、プロジェクタ２０６、プロジェクタ２０７は、スクリーン１０１に対して画像表示面の裏側から画像データを投写するものである。
【００４７】
投写領域が隣接する各々のプロジェクタ対に関しては、その投写領域が互いに重なりを持つように設置する。また、画像データは、図３で詳細に説明する画像データ変換手段によって微調整された上で、投写領域の内部に投写されることになるため、各プロジェクタは、その投写領域が設計時の投写領域を包含するように設置する。
【００４８】
投写領域が隣接する各々のプロジェクタ対に関して、その投写領域を１画素より細かい精度でぴったり繋げることは、特に非平面スクリーンを用いた場合、非常に困難である。ほんの僅かでも誤差があると、どのプロジェクタからも投写されていない領域ができてしまい、隣接する映像同士の間に隙間ができ、臨場感が低下してしまう。投写領域が隣接する各々のプロジェクタ対に関しては、その投写領域が互いに重なりを持つように配置することで、隣接する映像同士の間に隙間ができることを防ぐことができる。
【００４９】
また、プロジェクタを設置する際には、その光軸とスクリーンとが略直角に交わるように設置するのがよい。これは、このように設置することにより、スクリーンに対して斜め方向から投写した場合に比べ、画素の歪みの度合いを小さくすることができるためである。
【００５０】
さらに、投写する画像データの重要度に差があるといった特別な場合を除けば、すべてのプロジェクタにおいて画像表示面上での画素の大きさが略一致するように配置するのがよい。このようにすることで、場所によらず一様な精細度の映像をユーザに提供することができる。具体的には、プロジェクタからスクリーンまでの距離の調整や、ズーム調整、あるいはプロジェクタから投写する画像データの解像度の調整、等によって実施することができる。
【００５１】
また、画素の歪みのことを考えた場合、画像を投射する側から見て凸状の部分に画像を投写するプロジェクタを、画像を投射する側から見て凹状の部分に画像を投射するプロジェクタに比べ、密に設置するのがよい。
【００５２】
図３は本発明の第一の実施の形態におけるシステム構成を示すシステムブロック図である。ただし、図２では７台のプロジェクタを備えたシステムとしたが、ここでは、説明が繁雑になるのを避けるため、プロジェクタが３台の場合について説明する。
【００５３】
図３において、コマンド入力手段３００は、システム管理者からの映像の再生開始および再生終了のコマンドを受理し、該コマンドを画像供給手段３１０および画像供給手段３２０および画像供給手段３３０に向けて出力するものである。
【００５４】
画像供給手段３１０は、画像データ３１１と同期制御手段３１２を備える。ここで、画像データ３１１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００５５】
画像供給手段３１０は、映像の再生開始および再生終了、および、画像供給手段３２０および画像供給手段３３０とのフレーム番号の同期を、同期制御手段３１２で管理しながら、画像データ３１１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３１３に向けて出力する。
【００５６】
画像データ変換手段３１３は、画像変換パラメタ３１４を備え、画像供給手段３１０から入力されたビットマップデータに、画像変換パラメタ３１４に基づいた変換を施して、プロジェクタ２０１に向けて出力する。
【００５７】
プロジェクタ２０１は、画像データ変換手段３１３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００５８】
画像供給手段３２０は、画像データ３２１と同期制御手段３２２を備える。ここで、画像データ３２１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００５９】
画像供給手段３２０は、映像の再生開始および再生終了、および、画像供給手段３３０および画像供給手段３１０とのフレーム番号の同期を、同期制御手段３２２で管理しながら、画像データ３２１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３２３に向けて出力する。
【００６０】
画像データ変換手段３２３は、画像変換パラメタ３２４を備え、画像供給手段３２０から入力されたビットマップデータに、画像変換パラメタ３２４に基づいた変換を施して、プロジェクタ２０２に向けて出力する。
【００６１】
プロジェクタ２０２は、画像データ変換手段３２３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００６２】
画像供給手段３３０は、画像データ３３１と同期制御手段３３２を備える。ここで、画像データ３３１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００６３】
画像供給手段３３０は、映像の再生開始および再生終了、および、画像供給手段３１０および画像供給手段３２０とのフレーム番号の同期を、同期制御手段３３２で管理しながら、画像データ３３１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３３３に向けて出力する。
【００６４】
画像データ変換手段３３３は、画像変換パラメタ３３４を備え、画像供給手段３３０から入力されたビットマップデータに、画像変換パラメタ３３４に基づいた変換を施して、プロジェクタ２０３に向けて出力する。
【００６５】
プロジェクタ２０３は、画像データ変換手段３３３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００６６】
なお、画像データ３１１等を生成するための方法については、図４〜図８において詳細に説明する。これらのデータは、あらかじめ作成しておくこともできるし、必要になる度にフレーム毎に作成してもよい。
【００６７】
ここで、画像データ変換手段がビットマップデータに施す変換としては、幾何変換と色変換がある。幾何変換は、例えば、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差分を補正するための変換である。色変換は、例えば、個々のプロジェクタの表示領域内の色むらや、プロジェクタの個体差による色調の違いを補正するための変換であり、また、複数のプロジェクタから投写されて明るくなっている部分を、１台のプロジェクタから投写されている部分と同じ程度の明るさにするための、ブレンディング処理を行うための変換である。
【００６８】
このような機能を備える画像データ変換手段としては、例えば、特開平９−３２６９８１号公報に記載の「画像投影システム」や国際公開番号ＷＯ９９／３１８７７「マルチプロジェクション映像表示装置」などに公開されている技術を用いることができる。これらの技術を任意の形状のスクリーンに対して応用することは、スクリーン形状が既知であれば、容易である。
【００６９】
なお、画像データ変換手段３１３等と同じ変換を施すエミュレーションソフトウェアによって、画像変換パラメタ３１４等に基づいた変換を、あらかじめ画像データ３１１等に施したものを、改めて画像データ３１１等として保存しておき、画像再生時には、画像供給手段３１０等の出力するビットマップデータを、直接プロジェクタ２０１等に入力し、投写するようにしてもよい。
【００７０】
なお、プロジェクタが画像データ変換手段の機能を備えるようにしてもよい。その場合、例えば、画像供給手段から入力されたビットマップデータに対して、「輝度調整のための色変換」以外の変換を施したビットマップデータを投写し、輝度調整のための色変換に関しては投写後に光学フィルタによって光学的に変換する、といったことも可能である。
【００７１】
このような構成とした場合、次のような効果がある。例えば、プロジェクタとして液晶プロジェクタを用いた場合、光源からの光の洩れが原因で、全画素の画素値を（Ｒ，Ｇ，Ｂ）＝（０，０，０）とした画像を表示した場合にも、輝度が０にはならない。この場合、２台以上のプロジェクタの投写領域となっている領域は、１台だけのプロジェクタの投写領域となっている領域に比べ、明るくなってしまう。この輝度の違いを吸収するためには、ビットマップデータを変換してから投写する方法の場合、１台だけのプロジェクタの投写領域となっている領域の輝度を上げることで調節する必要があるため、コントラストの低下を招く。これに対して、ビットマップデータを投写してから輝度調整のための色変換を施す場合には、２台以上のプロジェクタの投写領域となっている領域の輝度を下げることができるため、コントラストを低下させずに輝度の違いを吸収することができる。
【００７２】
なお、スクリーンの曲率が小さい場合などで、画素の歪みの度合いが許容できる程度である場合には、プロジェクタを１台とし、該プロジェクタからスクリーンの画像表示面全体に画像を投写するようにしてもよい。その場合、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差の影響が軽微であれば、画像データ変換手段を用いずに、画像供給手段が出力したビットマップデータを、そのままプロジェクタから投写するようにしてもよい。
【００７３】
また、プロジェクタとしてＣＲＴ方式のプロジェクタを使う場合などで、プロジェクタが備える歪み補正機能により形状を補正することにより、境界部分の映像に関して許容できる程度の画質を得られる場合には、投写領域が隣接する各々のプロジェクタ対に関して、投写領域が互いに重なりを持つように設置しなくてもよく、さらに、画像データ変換手段を用いずに、画像供給手段が出力したビットマップデータを、そのままプロジェクタから投写するようにしてもよい。
【００７４】
また、図３においては各々のプロジェクタ毎に画像供給手段と画像データ変換手段を備える構成としたが、複数のプロジェクタに対して１つの画像供給手段と１つの１入力多出力な画像データ変換手段を備え、該画像データ変換手段は、前記画像供給手段からビットマップデータを入力し、画像変換パラメタによって該ビットマップデータを変換した上で、前記複数のプロジェクタの各々に適切なビットマップデータを出力するような構成としてもよい。なお、この場合の「変換」は、各々のプロジェクタへの出力毎に独立な画像変換パラメタを持つことにより、各々のプロジェクタ毎に画像供給手段と画像データ変換手段を備える構成とした場合と同様に実施することができる。
【００７５】
図４は本発明の第一の実施の形態における画像生成処理のフローチャートである。この画像生成処理は、時系列画像データのうち１フレーム分を生成するための処理について説明したものであり、この処理を各フレーム毎に繰り返すことで、時系列画像データ全体を生成することができる。なお、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差の影響に関しては、図３で説明したとおり、画像データ変換手段によるビットマップデータの変換によって取り除くことができるため、以下では、スクリーンおよびプロジェクタの形状および配置に関するデータは、設計値を使って考えればよい。
【００７６】
ステップ４００において画像生成処理が開始されると、まずステップ４０１において、まだ画素値の決まっていない画素を選択する。次に、ステップ４０２において、選択された画素がスクリーンの画像表示面上のどの位置に表示されるべきものであるかを計算する。次に、ステップ４０３において、ステップ４０２で算出された表示位置に基づいて、視点パラメタ、特に、視点位置をどこに設定するか、を計算する。ステップ４０３の処理の具体的な例に関しては、図５〜図８において詳細に説明する。次に、ステップ４０４において、ステップ４０３で算出した視点位置に基づいて、仮想世界データから、透視変換の原理を用いて、選択した画素の画素値を計算する。
【００７７】
ここで、バーチャルリアリティの分野などで透視変換の原理を用いて画像を生成する場合と同様に、現実世界におけるスクリーン形状と仮想世界における画像生成面の形状とは、相似比Ｒの相似関係にあり、現実世界における視点位置とスクリーンとの位置および向きの関係と、仮想世界における視点位置と画像生成面との位置および向きの関係とは、やはり相似比Ｒの相似関係にある。図４の画像生成処理を開始する前に、表示したい内容に合わせて、当該フレームの画像をどのような画像生成面の配置に基づいて生成するか、を決めておいた上で、ステップ４０４では、上記関係に基づいて、ステップ４０３で算出した現実世界における視点位置を仮想世界における視点位置に変換し、画素値を計算するようにすればよい。
【００７８】
続いて、ステップ４０５において、すべての画素について画素値を計算したかどうかを判定する。画素値が求まっていない画素が存在する場合にはステップ４０１へ戻って以上の処理を繰り返し、全画素について画素値が求まった場合には、画像生成処理を終了する（ステップ４０６）。
【００７９】
ここで、仮想世界データとは、現在バーチャルリアリティなどの分野で広く使われているようなものであり、例えば、３次元データ（物体の形状データおよび位置・姿勢のデータ）を含むようなものである。仮想世界データには、３次元データの他に、テクスチャデータや光源データも含まれることが多い。これらのデータは、各時刻毎に変化してよく、さらに、ユーザからのコマンドによって変化するようにしてもよい。なお、文字などの２次元データを表示させたい場合には、それをテクスチャとして看板状の物体に貼りつけ、仮想世界を表す３次元空間内に配置すればよい。
【００８０】
また、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理は、各時刻毎に異なる処理とすることができる。
【００８１】
表示位置算出処理を各時刻毎に異なる処理にできるため、例えば、各時刻毎に投写する画像の解像度を変更することができる。
【００８２】
視点パラメタ算出処理を各時刻毎に異なる処理にできるため、例えば、表示内容にしたがって視点パラメタの求め方を変えることができる。
【００８３】
これは、例えば、次のようなことができる。本発明を銀行のサービスカウンタに適用した場合（カウンタの机の下の部分を波形スクリーンにする）に、利率や為替レートなどを画像表示面全体に表示するパターン（パターン４５１）と、画像表示領域を複数領域に分割し書類の書き方などを複数表示するパターン（パターン４５２）とを交互に表示するとする。この場合、パターン４５１に対しては、視点パラメタを１つ決めて、従来の方法と同様に、画像全体をその１つの視点パラメタに基づいて生成し、パターン４５２に対しては、分割した表示領域の各々に対して対応する視点パラメタを決めて、各々に対応する該視点パラメタに基づいて、各々の表示領域毎に対応する部分の画像を生成する。 このようにすることで、利率などの大域的な情報については（理想視点位置から）全体を観賞した時に正しく見えるような画像を生成することができ、また、書類の書き方などの局所的な情報については、その情報を利用するであろうユーザにとって正しく見えるような画像を生成することができる。
【００８４】
また、視点パラメタ算出処理を各時刻毎に異なる処理にできるため、本発明は、例えば、複数のユーザの各々に対してヘッドトラッキング技術により頭の動きを求めてやり、時分割でステレオ画像を表示するような場合にも適用することができる。各々のユーザの視点位置（例えば、奇数フレームであれば左目の位置であるし、偶数フレームであれば右目の位置である）を算出した後、各々のユーザの正面付近に表示される画像領域に関してはそのユーザの視点位置に基づいて画素値を決定し、その他の部分に関しては、隣接するユーザ同士の視点位置から補間して、表示位置の変化に伴って滑らかに変化するように視点位置を決め、該視点位置に基づいて画素値を求めるようにすればよい。
【００８５】
なお、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理が時刻に依存しない場合には、あらかじめ表示位置算出処理および視点パラメタ算出処理を行って、画素位置から視点パラメタを参照できるようなテーブルを作成しておき、ステップ４０２およびステップ４０３の処理の代わりに該テーブルから視点パラメタを求めるようにしてもよい。このようにすることにより、１画素あたりの処理を軽減することができる。
【００８６】
また、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理が時刻に依存する場合であっても、処理のパターンが少ない場合には、各パターンに各々唯一のパターン識別子を割り当てておき、各々のパターン毎にあらかじめ表示位置算出処理および視点パラメタ算出処理を行って、画素とパターン識別子から視点パラメタを参照できるようなテーブルを作成しておき、ステップ４０２およびステップ４０３の処理の代わりに該テーブルから視点パラメタを求めるようにしてもよい。このようにすることにより、処理を軽減することができる。
【００８７】
また、複数の画素の画素値を同一の視点パラメタに基づいて求める場合には、画素値を求めるための視点パラメタが同一であるような画素を集めて各々グループを形成し、各々のグループ毎に１度だけ表示位置算出処理および視点パラメタ算出処理を行うようにすればよい。なお、この方法が上記テーブルを作成する方法のどちらとも両立することは、言うまでもない。
【００８８】
以上のように、視点パラメタを画素の表示位置に応じて設定した上で画素値を求めることにより、例えば、各表示位置毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような画像データを生成することができる。
【００８９】
以下、図５〜図８を用いて、図４のステップ４０３の処理の具体例について説明する。
【００９０】
図５および図６および図８は、図１の左側の、水槽から柱の部分を拡大して描いた平面図であり、図７はさらにその一部分の、水槽の部分だけを拡大して描いた平面図である。
【００９１】
また、以下では説明を分かりやすくするため、視点の高さは床面を基準として一定値ｈとした。この値ｈは、例えば、この映像空間がユーザとして主に成人女性を対象とするものであれば、成人女性の視点の高さの全国平均値などに設定すればよい。
【００９２】
以下、視点位置に関する残りの２つのパラメタ（ｘｙｚ座標系を用いていた場合、高さ方向にｚ軸を取るのであれば、ｘ座標とｙ座標）の求め方について説明する。
【００９３】
図５は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第一の例を示す図である。
【００９４】
図５においては、水槽の映像が表示されている領域５０１に対しては視点位置５０２を、柱の映像が表示されている領域５０３に対しては視点位置５０４を、それぞれ透視変換の際に用いる視点パラメタ（の一部である視点位置パラメタ）として用いる。
【００９５】
視点位置５０２については、スクリーンの他の部分に遮られることなく領域５０１全体を見渡すことができる位置であれば、適当な評価基準に基づいて任意の位置に設定することができる。視点位置５０４については、スクリーンの他の部分に遮られることなく領域５０３全体を見渡すことができる位置であれば、適当な評価基準に基づいて任意の位置に設定することができる。
【００９６】
領域５０１と領域５０３とが画像表示面上で連続している部分であるにもかかわらず、視点位置は大きく変わるため、表示される映像は、特に領域５０１と領域５０３の境界付近で、違和感のあるものとなる。しかし、領域の分割位置が映像中の意味の区切りと一致しているため、まったく無作意に領域の分割位置を決めた場合に比べ、前記違和感の程度は小さい。
【００９７】
このように、視点位置を離散的に設定する場合には、各々の視点位置に基づいて生成する領域を、映像中の意味の区切りと一致させることで、違和感の小さい画像を生成することができる。
【００９８】
なお、図４で説明したように、本発明の視点パラメタ算出処理は各時刻毎に異なる処理とすることができる。したがって、映像中の意味の区切りが時間的に変動する場合には、各々の視点位置に基づいて生成する領域も意味の区切りに合わせて変動させた上で、表示位置と視点位置との対応を求めるようにすればよい。
【００９９】
図６は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第二の例を示す図である。
【０１００】
図６において、画像表示面上の表示位置６０１が与えられた場合に、まず、表示位置６０１におけるスクリーン１０１の接平面６０２を求める。次に、接平面６０２と水平面に直角な平面６０３を求める。平面６０３と、表示位置６０１を通る水平面との交線上で、表示位置６０１から画像表示面側に所与の距離ｄだけ離れた点を、ｘ座標およびｙ座標を保存したまま高さｈの所に持ってきた点が点６０４であり、図６で示す第二の例では、表示位置６０１に対して、この点６０４を視点位置とする。
【０１０１】
このように、視点位置をスクリーン面から一定の距離だけ離して設定することにより、各映像領域を各々に対応する視点位置から観賞するユーザに対して、ほぼ一様な精細度の映像を提供することができる。
【０１０２】
ここで、距離ｄの値は、視点の高さを一定値とした場合、つまり、対象が「成人女性」などとはっきりしている場合には、上下方向の視野がちょうどスクリーン１０１上の画像表示領域の縦方向全体を覆う程度となるように設定するのがよい。これより小さい値の場合、つまり、視点位置をよりスクリーン１０１に近付けた場合、対象とするユーザが理想的な視点位置から映像を観賞した時に上下方向に映像が余ってしまうことになり、大きな画像表示領域の全体を有効に活かすことができなくなってしまう。これより大きい値の場合、つまり、視点位置をよりスクリーン１０１から遠ざけた場合、ユーザが知覚する映像の精細度が低くなるとともに、上下方向に関してユーザの視野全体を覆うことができなくなるため、ユーザの感じる臨場感が低下してしまう。
【０１０３】
なお、対象が大人から子供まで様々であり、よって視点位置のｘ座標およびｙ座標およびｚ座標のすべてを変動させる場合には、距離ｄの値は視点の高さが一定の場合に比べ小さい値とするのがよい。これは、理想的な視点位置が上下に変動するため、視点の高さが一定の場合と同じ値とすると、理想的な視点位置から見た場合に上下方向に関してユーザの視野全体を覆うことができなくなるからである。
【０１０４】
図７は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第三の例を示す図である。図７は、図６において距離ｄの値を大きくとった場合に対応する。
【０１０５】
図７において、図６と同様の考え方で視点位置のパラメタを求めると、表示位置がスクリーン１０１上で表示位置７０１→表示位置７０２→表示位置７０３→表示位置７０４→表示位置７０５→表示位置７０６→表示位置７０７と移動するのに伴って、視点位置は点７１１→点７１２→点７１３→点７１４→点７１５→点７１２→点７１７と移動する。つまり、視点位置の移動する軌跡７１０は、途中で交叉する。実際のスクリーンの大きさにも依存するが、特にスクリーンが十分に大きくない場合には、実際にユーザの視点位置の移動する軌跡が軌跡７１０のようになるとは考え難い。したがって、このような場合には、表示位置７０２から表示位置７０３・表示位置７０４・表示位置７０５を経由して表示位置７０６までの部分に関しては、一括して視点位置を点７１２として生成することにする。つまり、視点位置の移動する軌跡が、交叉のない、線状となるようにする。
【０１０６】
このとき、視点位置７１１から映像を観賞しながら歩いてきたユーザは、視点位置７１２で立ち止まって、表示位置７０２から表示位置７０３・表示位置７０４・表示位置７０５を経由して表示位置７０６に至るまでの広い範囲に渡って表示された、まったく違和感のない映像を観賞した後、視点位置７１７の方へと進んで行くことができる。
【０１０７】
このように、スクリーンの曲率に基づいて、領域毎に視点パラメタを求める方法を変えるようにしてもよい。
【０１０８】
図８は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第四の例を示す図である。
【０１０９】
図８は、本システムを地下歩道の側面の壁などに適用する場合を想定したものである。この場合、ユーザの視点位置の移動する軌跡は、例えば軌跡８０１のように道に沿った直線であると仮定できる。
【０１１０】
このような場合には、表示位置８０２に対して、例えば、平面図上でもっとも近い軌跡８０１上の点８０４のｘ座標およびｙ座標を、表示位置８０２に対応する視点位置のｘ座標およびｙ座標とする。図８においては、軌跡８０１を直線として仮定したため、点８０４は、平面図上での表示位置８０２から軌跡８０１に対して引いた垂線８０３の足として求めることができる。
【０１１１】
このように、あらかじめユーザの視点位置の移動する軌跡を仮定しておき、その軌跡上で視点位置を定めるようにしてもよい。なお、この場合、あらかじめ仮定する軌跡としては直線に限るものではなく、また、表示位置と軌跡とから視点位置を定める方法としては「平面図上で表示位置にもっとも近い、軌跡上の点」に限るものではない。
【０１１２】
以上、図６〜図８を用いて説明したように、表示位置の連続的な変化に対して視点位置も連続的に変化させることにより、スクリーンに表示される映像は滑らかに繋がったものとなり、高い臨場感を保つことができる。
【０１１３】
なお、本発明による画像生成処理の本質は、画像中の各画素に対して、該画素の画像表示面上での表示位置に応じて求めた視点パラメタを用いて該画素の画素値を決定する、というところにあり、前記表示位置から前記視点パラメタを求めるための具体的な実施方法は、図５〜図８で示した方法に限るものではない。特に、視点位置の高さは一定値に限るものではないし、スクリーンと視点位置との平面図上での距離ｄの決め方に関しても、例示したものに限るものではない。
【０１１４】
例えば、本発明は、ユーザの頭の位置を仮定して、あらかじめステレオ画像を生成しておくような場合にも適用することができる。表示位置とユーザの頭の位置から、その表示位置をユーザが注視している場合のユーザの頭の向いている方向が求められるため、そこから左右の視点位置をそれぞれ算出し、前記表示位置に対応する画素の画素値を決めるようにすればよい。
【０１１５】
図９は、平面スクリーン９０１・平面スクリーン９０３・平面スクリーン９０５と円筒面スクリーン９０２・円筒面スクリーン９０４とを組み合わせて波形スクリーンを構成した例である。ここで、円筒面スクリーンとは、画像表示面が円筒面の一部となっているようなスクリーンのことを意味するものとする。 ここで、各々の平面スクリーンは、それに隣接する円筒面スクリーンとの境界において、該境界位置における円筒面の接平面に画像表示面が一致するように設置する。
【０１１６】
このように、本発明における「波形スクリーン」としては、平面スクリーンを含んだような構成としてもよい。この場合、平面スクリーンとした部分では、画素の歪みが少ない、複数プロジェクタから投写されている領域における重ね合わせが容易である、などの効果を得ることができる。
【０１１７】
以上、本発明の発明の実施の形態に基づく説明によれば、本発明は、広範な表示領域に渡って画像を表示するような分野、例えば、ショールームなどの壁に大画面映像を表示するシステムや、銀行・空港などのサービスカウンター下部を画像表示面として各種情報を表示するシステム、地下歩道に沿って横長の映像を表示するシステム、等に対して適用するのが特に好適である。
【０１１８】
また、本発明は前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更し得ることは言うまでもない。特に、本発明の画像生成処理は、波形の画像表示面に表示するための画像を生成する場合に限定されるものではなく、任意の形状の画像表示面に対して、そこに表示するための画像を生成する場合に適用し得るものである。
【０１１９】
【発明の効果】
以上に述べたように、本発明によれば、次のような効果が得られる。
【０１２０】
まず、本発明の画像データ表示システムは、スクリーンを波形にしたため、ユーザの視野の広い範囲を映像で覆ったような空間を、ユーザが、スクリーンの近くで映像を観賞しながら、次々と渡り歩いていくことができる。
【０１２１】
また、本発明の画像データ表示システムは、画像データ変換手段を備え、画像データを該画像データ変換手段によって変換してスクリーンに表示する構成としたため、実際に設置されたスクリーンおよびプロジェクタの形状および配置に関して設計データに対する誤差があった場合にも、画像データ制作者が意図した映像をユーザに提供することができる。
【０１２２】
また、本発明の画像データ表示システムは、複数のプロジェクタを備え、該複数のプロジェクタをスクリーンの形状に合わせて配置したことにより、各々の画素の歪みが少ないような映像をユーザに提供することができる。
【０１２３】
また、本発明の画像データ表示システムは、画像データ変換手段と複数のプロジェクタを備え、画像データを該画像データ変換手段によって変換してスクリーンに表示する構成としたため、装置規模に依存せずに高精細であり画素の歪みが少ないような映像を、ユーザに提供することができる。
【０１２４】
また、本発明の画像データ生成方法は、各時刻毎に画素の表示位置に依存して求めた視点パラメタによって画素値を決定するようにしたため、各表示位置毎に表示内容に合わせて「もっとも綺麗に見えて欲しい人に対してもっとも綺麗に見える映像」が表示できるような画像データを生成することができる。
【０１２５】
また、本発明の画像データ生成方法は、表示位置の滑らかな変化に伴って視点パラメタも滑らかに変化するようにしたため、画像データを視点位置を変化させて生成しているにもかかわらず、画像表示領域全体としては滑らかに繋がった映像を得ることができる。
【０１２６】
また、本発明の画像データ生成方法は、視点パラメタを離散的に変化させる場合に、映像中の意味の区切りと、異なる視点パラメタで生成する表示領域の境目とを、一致させることにより、まったく無作意に離散的な視点パラメタを決める場合に比べ、映像全体としての違和感の程度を小さくすることができる。
【図面の簡単な説明】
【図１】本発明によるシステムの第一の実施の形態を示す概念図である。
【図２】本発明によるシステムの第一の実施の形態を示す平面図である。
【図３】本発明の第一の実施の形態におけるシステム構成を示すシステムブロック図である。
【図４】本発明の第一の実施の形態における画像生成処理のフローチャートである。
【図５】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第一の例を示す図である。
【図６】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第二の例を示す図である。
【図７】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第三の例を示す図である。
【図８】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第四の例を示す図である。
【図９】本発明の第一の実施の形態によるシステムにおいて、平面スクリーンを備えた場合のスクリーンの配置例を示す平面図である。
【符号の説明】
１０１、９０１、９０２、９０３、９０４、９０５……スクリーン
２０１、２０２、２０３、２０４、２０５、２０６、２０７……プロジェクタ
３１３、３２３、３３３……画像データ変換手段
５０２、５０４、６０４、８０４……視点位置
７１１、７１２、７１３、７１４、７１５、７１７……視点位置
６０１、８０２……表示位置
７０１、７０２、７０３、７０４、７０５、７０６、７０７……表示位置
６０５、７１０、８０１……視点位置の移動の軌跡[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system for displaying image data, and more particularly to a system for displaying image data using a projector and a screen. The present invention also relates to a method for generating image data from virtual world data.
[0002]
[Prior art]
Conventional techniques related to an image data display system using a projector and a screen include the following.
[0003]
First, there is an “image projection system” described in JP-A-9-326981 and an international publication number WO 99/31877 “multi-projection video display device”. These systems project image data using a plurality of projectors on one large flat screen and provide a large screen image to the user. Based on pre-measured data, the image data to be projected is converted and then projected, so that it appears as if it was projected from one projector on the screen without any positional deviation, color tone, or luminance deviation. It is possible to provide large screen images.
[0004]
Also, video display systems such as the video display system described in Japanese Patent Laid-Open No. 9-311383 are known as systems that give a high sense of presence to the user by covering a wide portion of the user's visual field. These are characterized in that a certain space is surrounded by a screen by using a non-planar screen such as a spherical screen or a cylindrical screen, or by combining a flat screen. When a user views an image in a space surrounded by the screen, a wide portion of the field of view is covered with the image, and a high sense of reality can be obtained.
[0005]
As a method for generating image data to be projected by these systems based on virtual world data, a method using perspective transformation is used in common for both. Here, as an ideal viewpoint parameter used when performing perspective transformation, a case where a unique parameter is determined for each system and a user's head movement (from this, an approximate value of the user's viewpoint position can be obtained. ) To change the ideal viewpoint parameter in real time.
[0006]
[Problems to be solved by the invention]
When a conventional image data display system is used to display a wide range of images that give a high sense of realism to a large number of users, there are the following problems.
[0007]
First, when one large flat screen is used, it is difficult to cover a sufficient range of the user's visual field, and thus it is difficult to give a high sense of presence to the user.
[0008]
Further, when a certain space is surrounded by a screen, the space in which the user exists is surrounded by the screen, so that the range in which the user can move is limited within the apparatus.
[0009]
Here, if the size of the apparatus is increased in order to widen the range in which the user can move, the distance between the user and the screen increases, and it becomes impossible to perceive fine portions of the video. That is, the definition of the image perceived by the user deteriorates.
[0010]
From the above considerations, the present invention has the following objects regarding the image data display system.
[0011]
A first object of the present invention is to provide an image data display system capable of displaying a video that gives a high sense of realism to a large number of users over a wide range.
[0012]
The second object of the present invention is to achieve the first object and to display an image in a correct geometric shape regardless of an error in the arrangement of each element (for example, a projector or a screen) constituting the system. To provide an image data display system.
[0013]
A third object of the present invention is an image data display system provided with a projector and a screen, which can achieve the first object and has little distortion of each pixel of the projector. Is to provide.
[0014]
A fourth object of the present invention is to provide an image data display system that can achieve the third object and that images can be viewed seamlessly.
[0015]
Next, the image data generation method has the following problems.
[0016]
When image data is generated and displayed by a method based on perspective transformation, the user feels a greater sense of incongruity as the user moves away from the ideal viewpoint position. This means that when the viewpoint parameter is fixed, the user who is far from the ideal viewpoint position in a large apparatus (the ideal viewpoint position is one point, so most users are considered to meet this condition). This leads to a reduction in the sense of reality. Many other users who are not following the movement of the head even when the ideal viewpoint position is obtained in real time following the movement of the head of a certain user and video is created based on the viewpoint position. For this, the displayed video feels uncomfortable, leading to a reduction in realism.
[0017]
From the above considerations, the present invention has the following objects regarding the image data generation method.
[0018]
The first object of the present invention is to consider an image that allows a high-quality image to be viewed when viewed from that position in consideration of “from which position the image of this part is the most important image for the viewer” It is to provide a data generation method.
[0019]
Similar to the first object, the second object of the present invention is to consider “from which position the image of this part is important for the viewer”, and to view a high quality image when viewed from that position. It is another object of the present invention to provide an image data generation method that enables a video that is smoothly connected to the entire image display area to be obtained.
[0020]
The third object of the present invention is to provide an image with no discomfort over a wide viewing angle in a portion where the image display surface is concave, leading to a portion where the image display surface is concave. An object of the present invention is to provide an image data generation method in which an image that smoothly connects to an image of an adjacent concave portion can be obtained at a portion where the image display surface is convex.
[0021]
A fourth object of the present invention is to provide an image data generation method that allows easy-to-see video to be obtained according to each content when the display content of time-series image data is changed halfway.
[0022]
[Means for Solving the Problems]
In order to achieve the first object, the image data display system according to the present invention has a waveform on the image display surface.
[0023]
As a result, in the portion where the image display surface is concave, a wide range of the user's visual field can be covered with the video, and it is possible to give the user a high sense of realism in terms of the viewing angle.
[0024]
In addition, the image display surface can be smoothly moved between the concave portion of the image display surface and the concave portion of the image display surface via the convex portion of the image display surface. Therefore, the user can move over a wide range.
[0025]
At that time, the user can move along the image display surface, that is, while viewing the video while keeping the distance from the image display surface substantially constant. That is, there is no deterioration in definition due to the distance from the image display surface.
[0026]
In order to achieve the second object, the image data display system according to the present invention has an image data conversion means for converting the shape of the image display surface into a waveform and converting the image data based on given parameters. The image data is converted by the image data conversion means and displayed on the image display surface.
[0027]
Although it is difficult to install each component of the image data display system (for example, a projector and a screen) as designed, such a configuration makes it possible to install an error without adding new processing when generating image data. It is possible to display an image of a correct geometric shape that absorbs
[0028]
In order to achieve the third object, an image data display system according to the present invention includes a waveform-shaped screen, a plurality of projectors, and further converts image data based on given parameters. The image data converting means is provided. The plurality of projectors are installed so that the entire plurality of projection areas cover a given image display area, and the image data converted by the image conversion means is projected onto each projection area. So that
[0029]
With such a configuration, it is possible to subdivide the image display area and allow the projection light of the projector to strike the partial area from substantially the front. Further, the density of the projector projected onto the portion can be adjusted by the partial shape of the screen. For example, when the screen is viewed from the projector side, the density of the projector that projects onto the convex part of the screen can be higher than the density of the projector that projects onto the concave part. As a result, pixel distortion can be reduced as compared with the case of projecting with a single projector.
[0030]
In order to achieve the fourth object, an image data display system according to the present invention includes a waveform-shaped screen, a plurality of projectors, and further converts image data based on given parameters. The image data converting means is provided. The plurality of projectors are installed so that the whole projection display area covers the entire image display area, and the projectors adjacent to each other in the projection area are arranged so that the projection areas overlap each other. The image data converted by the image conversion means is projected onto the projection area.
[0031]
By adopting such a configuration, in addition to the effect of the configuration for achieving the third object, it is possible to eliminate the joint between the image areas projected from different projectors. That is, it is possible to obtain an image that is smoothly connected over the entire image display area.
[0032]
Next, in order to achieve the first object, the image data generation method according to the present invention classifies the pixels in the image data to be generated into several groups, and independent viewpoint parameters for each group. The pixel value of each pixel is obtained based on the viewpoint parameter corresponding to the group to which the pixel belongs.
[0033]
By adopting such a method, it is possible to divide the display area based on an appropriate standard such as display contents and to determine an ideal viewpoint position for each of the divided display areas. In other words, for each of the divided display areas, an image that allows high quality video to be viewed when viewing from that position, taking into account “from which position the video of this part is the most important video for the viewer” Data can be generated.
[0034]
In addition, the image data generation method according to the present invention achieves the second object, and in the method for achieving the first object, the viewpoint parameter determined independently for each group is set. The position of each pixel is changed smoothly in consideration of the position on the image display surface.
[0035]
By adopting such a method, for each of the divided display areas, the “high-quality video for this part of the image is taken into consideration”, and when viewed from that position, the quality is high. Image data can be generated so that an image can be viewed and a smoothly connected image can be obtained when viewed as an entire image display area.
[0036]
The image data generation method according to the present invention achieves the third object. In the method for achieving the second object, the portion where the image display surface is concave is a large display area. Is divided into one unit, and the pixels in the image data are classified based on the division, and the portion where the image display surface is convex is divided into a fine display area as one unit. Based on this, the pixels in the image data are classified.
[0037]
By adopting such a method, in the part where the image display surface is concave, over the wide viewing angle, an image without a sense of incongruity is obtained by the image data generated based on one viewpoint parameter, In the part where the image display surface is connected to the concave part of the image display surface, the image of the adjacent concave part is generated by the image data generated based on the viewpoint parameter that changes smoothly. You can get images that are connected smoothly.
[0038]
In addition, the image data generation method according to the present invention selects the viewpoint parameter determination method at each time of the time-series image data based on the display contents in order to achieve the fourth object.
[0039]
By adopting such a method, for example, in the case of display contents that have meaning only after appreciating the entire image display area, by defining an ideal viewpoint position as a whole and generating an image, It is possible to make a video that makes it meaningful to appreciate the whole, and when the semantic unit becomes local, subdivide the pixel classification and generate an image based on many viewpoint parameters Thus, it is possible to display an image that is easy to see for those who appreciate each local portion.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the image data display system and the image data generation method according to the first embodiment of the present invention will be described in detail with reference to FIGS.
[0041]
FIG. 1 is a conceptual diagram showing a first embodiment of a system according to the present invention.
[0042]
In FIG. 1, a rear projection screen 101 is a columnar screen standing vertically on a horizontal plane and having a corrugated cross section, and an image of an aquarium is displayed on the image display surface. The picture of the aquarium is that in the order from the left of the figure, there are aquariums, followed by pillars with a sticker called “Fuji”, followed by aquariums. The user can move from the location 111 to the location 113 via the location 112 while watching the video along the screen 101.
[0043]
Here, since the screen 101 is concave with respect to the user at the place 111 and the place 113, the user can view the image of the aquarium with the wide field of view surrounded by the screen. A feeling is obtained.
[0044]
In addition, since the screen 101 and the video are smoothly connected between the location 111 and the location 113 through a convex portion near the location 112, the user moves from the location 111 to the location 113 while watching the video. In addition, the presence of screens and video joints does not reduce the sense of reality.
[0045]
FIG. 2 is a plan view showing a first embodiment of the system according to the present invention.
[0046]
In FIG. 2, a projector 201, a projector 202, a projector 203, a projector 204, a projector 205, a projector 206, and a projector 207 project image data from the back side of the image display surface on the screen 101.
[0047]
For each projector pair adjacent to the projection area, the projector areas are installed so that the projection areas overlap each other. Further, since the image data is finely adjusted by the image data converting means described in detail in FIG. 3 and projected inside the projection area, each projector is projected when the projection area is designed. Install to cover the area.
[0048]
It is very difficult to connect the projection areas with an accuracy finer than one pixel for each pair of projectors adjacent to each other, particularly when a non-planar screen is used. If there is even a slight error, a region that is not projected from any projector is created, and a gap is formed between adjacent images, resulting in a reduction in the sense of reality. With respect to each projector pair in which the projection areas are adjacent to each other, by arranging the projection areas so as to overlap each other, it is possible to prevent a gap from being formed between adjacent images.
[0049]
Further, when installing the projector, it is preferable to install the projector so that its optical axis and the screen intersect at substantially right angles. This is because the degree of distortion of the pixels can be reduced by installing in this way, compared to the case of projecting from an oblique direction with respect to the screen.
[0050]
Further, except for a special case in which there is a difference in the importance of image data to be projected, it is preferable that all projectors are arranged so that the pixel sizes on the image display surface are substantially the same. By doing so, it is possible to provide the user with a video with uniform definition regardless of the place. Specifically, the adjustment can be performed by adjusting the distance from the projector to the screen, zooming, or adjusting the resolution of image data projected from the projector.
[0051]
In addition, when considering pixel distortion, a projector that projects an image onto a convex portion when viewed from the image projection side is used as a projector that projects an image onto a concave portion when viewed from the image projection side. It is better to install densely.
[0052]
FIG. 3 is a system block diagram showing a system configuration in the first embodiment of the present invention. However, although FIG. 2 shows a system including seven projectors, a case where there are three projectors will be described here in order to avoid complicated description.
[0053]
In FIG. 3, the command input unit 300 accepts video playback start and playback end commands from the system administrator and outputs the commands to the image supply unit 310, the image supply unit 320, and the image supply unit 330. Is.
[0054]
The image supply unit 310 includes image data 311 and a synchronization control unit 312. Here, the image data 311 is time-series image data, and may be compressed by some method as long as bitmap data corresponding to the frame number can be generated.
[0055]
The image supply unit 310 manages an appropriate frame in the image data 311 while managing the start and end of video playback and the synchronization of frame numbers with the image supply unit 320 and the image supply unit 330 by the synchronization control unit 312. Bitmap data corresponding to the number is generated and output to the image data conversion means 313.
[0056]
The image data conversion unit 313 includes an image conversion parameter 314, performs conversion based on the image conversion parameter 314 on the bitmap data input from the image supply unit 310, and outputs the converted data to the projector 201.
[0057]
The projector 201 projects the converted bitmap data input from the image data conversion unit 313 onto the screen 101.
[0058]
The image supply unit 320 includes image data 321 and a synchronization control unit 322. Here, the image data 321 is time-series image data, and may be compressed by some method as long as bitmap data corresponding to the frame number can be generated.
[0059]
The image supply unit 320 manages the appropriate frame of the image data 321 while managing the start and end of video playback and the synchronization of the frame numbers with the image supply unit 330 and the image supply unit 310 by the synchronization control unit 322. Bitmap data corresponding to the number is generated and output to the image data conversion means 323.
[0060]
The image data conversion unit 323 includes an image conversion parameter 324, performs conversion based on the image conversion parameter 324 on the bitmap data input from the image supply unit 320, and outputs the converted data to the projector 202.
[0061]
The projector 202 projects the converted bitmap data input from the image data conversion unit 323 toward the screen 101.
[0062]
The image supply unit 330 includes image data 331 and a synchronization control unit 332. Here, the image data 331 is time-series image data, and may be compressed by any method as long as bitmap data corresponding to the frame number can be generated.
[0063]
The image supply unit 330 manages an appropriate frame in the image data 331 while the synchronization control unit 332 manages the start and end of video playback and the synchronization of frame numbers with the image supply unit 310 and the image supply unit 320. Bitmap data corresponding to the number is generated and output to the image data conversion means 333.
[0064]
The image data conversion unit 333 includes an image conversion parameter 334, performs conversion based on the image conversion parameter 334 on the bitmap data input from the image supply unit 330, and outputs the converted data to the projector 203.
[0065]
The projector 203 projects the converted bitmap data input from the image data conversion unit 333 toward the screen 101.
[0066]
A method for generating the image data 311 and the like will be described in detail with reference to FIGS. These data can be created in advance or each frame as needed.
[0067]
Here, the conversion performed on the bitmap data by the image data conversion means includes geometric conversion and color conversion. The geometric transformation is, for example, transformation for correcting an error from a design value of data regarding the shape and arrangement of the screen and the projector. Color conversion is, for example, conversion for correcting color unevenness in the display area of individual projectors or differences in color tone due to individual differences among projectors. This is conversion for performing blending processing so as to obtain the same brightness as that of a portion projected from one projector.
[0068]
Examples of image data conversion means having such a function are disclosed in, for example, “Image Projection System” described in Japanese Patent Laid-Open No. 9-326981 and International Publication No. WO99 / 31877 “Multi-Projection Video Display Device”. Technology can be used. Applying these techniques to a screen having an arbitrary shape is easy if the screen shape is known.
[0069]
It should be noted that the image data 311 or the like previously converted by the emulation software that performs the same conversion as the image data conversion means 313 or the like is stored in advance as the image data 311 or the like. At the time of image reproduction, the bitmap data output from the image supply unit 310 or the like may be directly input to the projector 201 or the like and projected.
[0070]
The projector may be provided with a function of image data conversion means. In that case, for example, bitmap data that has undergone conversion other than “color conversion for luminance adjustment” is projected on the bitmap data input from the image supply means, and color conversion for luminance adjustment is performed. It is also possible to optically convert by an optical filter after projection.
[0071]
Such a configuration has the following effects. For example, when a liquid crystal projector is used as the projector, an image with the pixel values of all pixels (R, G, B) = (0, 0, 0) is displayed due to light leakage from the light source. However, the luminance does not become zero. In this case, the area that is the projection area of two or more projectors is brighter than the area that is the projection area of only one projector. In order to absorb this difference in brightness, in the method of projecting after converting bitmap data, it is necessary to adjust by increasing the brightness of the area that is the projection area of only one projector. , Leading to a decrease in contrast. On the other hand, when performing color conversion for brightness adjustment after projecting bitmap data, the brightness of the area that is the projection area of two or more projectors can be reduced, so the contrast is reduced. Differences in luminance can be absorbed without lowering.
[0072]
When the curvature of the screen is small and the degree of pixel distortion is acceptable, it is possible to use one projector and project an image from the projector onto the entire image display surface of the screen. Good. In that case, if the influence of the error from the design value of the data on the shape and arrangement of the screen and the projector is slight, the bitmap data output from the image supply means is used as it is from the projector without using the image data conversion means. You may make it project.
[0073]
In addition, when a CRT projector is used as the projector, the projection area is adjacent when the shape can be corrected by the distortion correction function provided in the projector to obtain an acceptable image quality with respect to the image at the boundary. With respect to each projector pair, the projection areas do not have to be installed so that they overlap each other, and the bitmap data output from the image supply means is projected as it is from the projector without using the image data conversion means. It may be.
[0074]
In FIG. 3, each projector includes an image supply unit and an image data conversion unit. However, one image supply unit and one single-input multiple-output image data conversion unit are provided for a plurality of projectors. And the image data conversion means inputs bitmap data from the image supply means, converts the bitmap data according to an image conversion parameter, and outputs appropriate bitmap data to each of the plurality of projectors. It is good also as such a structure. In this case, the “conversion” has an independent image conversion parameter for each output to each projector, so that each projector has an image supply unit and an image data conversion unit. Can be implemented.
[0075]
FIG. 4 is a flowchart of image generation processing in the first embodiment of the present invention. This image generation process describes the process for generating one frame of time-series image data. By repeating this process for each frame, the entire time-series image data can be generated. . As described with reference to FIG. 3, the influence of the error on the data regarding the shape and arrangement of the screen and the projector from the design value can be removed by the conversion of the bitmap data by the image data conversion means. Data regarding the shape and arrangement of the screen and projector may be considered using design values.
[0076]
When the image generation process is started in step 400, first, in step 401, a pixel whose pixel value is not yet determined is selected. Next, in step 402, it is calculated at which position on the image display surface of the screen the selected pixel is to be displayed. Next, in step 403, based on the display position calculated in step 402, the viewpoint parameters, particularly where the viewpoint position is set, are calculated. A specific example of the processing in step 403 will be described in detail with reference to FIGS. Next, in step 404, based on the viewpoint position calculated in step 403, Virtual world data Then, the pixel value of the selected pixel is calculated using the principle of perspective transformation.
[0077]
Here, the screen shape in the real world and the shape of the image generation surface in the virtual world have a similarity ratio R, similar to the case of generating images using the principle of perspective transformation in the field of virtual reality. The relationship between the position and orientation between the viewpoint position and the screen in the real world and the relationship between the position and orientation between the viewpoint position and the image generation plane in the virtual world are also similar with the similarity ratio R. Before starting the image generation processing of FIG. 4, after determining what kind of image generation plane arrangement the image of the frame is generated in accordance with the content to be displayed, in step 404 Based on the above relationship, the viewpoint position in the real world calculated in step 403 may be converted into the viewpoint position in the virtual world, and the pixel value may be calculated.
[0078]
Subsequently, in step 405, it is determined whether pixel values have been calculated for all pixels. If there is a pixel whose pixel value has not been obtained, the process returns to step 401 and the above processing is repeated. If pixel values have been obtained for all pixels, the image generation process is terminated (step 406).
[0079]
here, Virtual world data And now virtual It is used widely in fields such as reality, and includes, for example, three-dimensional data (object shape data and position / posture data). Virtual world data Often includes texture data and light source data in addition to the three-dimensional data. These data may change at each time, and may change according to a command from the user. If two-dimensional data such as characters is to be displayed, it may be pasted as a texture on a sign-shaped object and placed in a three-dimensional space representing the virtual world.
[0080]
Also, the display position calculation process in step 402 and the viewpoint parameter calculation process in step 403 can be different processes for each time.
[0081]
Since the display position calculation process can be changed at each time, for example, the resolution of an image to be projected can be changed at each time.
[0082]
Since the viewpoint parameter calculation process can be made different for each time, for example, the viewpoint parameter calculation method can be changed according to the display content.
[0083]
This can be done, for example, as follows. When the present invention is applied to a bank service counter (the portion under the counter desk is a waveform screen), a pattern (pattern 451) for displaying an interest rate, an exchange rate, etc. on the entire image display surface, and an image display area Are divided into a plurality of areas and a pattern (pattern 452) for displaying a plurality of document writing methods is alternately displayed. In this case, one viewpoint parameter is determined for the pattern 451, and the entire image is generated based on the one viewpoint parameter, as in the conventional method. A corresponding viewpoint parameter is determined for each of the images, and an image corresponding to each display area is generated based on the corresponding viewpoint parameter. In this way, for global information such as interest rates, it is possible to generate an image that looks correct when viewed as a whole (from the ideal viewpoint position), and local information such as how to write documents Can generate an image that looks right to the user who will use the information.
[0084]
In addition, since the viewpoint parameter calculation process can be made different at each time, the present invention performs a head tracking technique for each of a plurality of users, for example, and performs a time division to display a stereo image. It can also be applied to such cases. After calculating the viewpoint position of each user (for example, the position of the left eye for odd frames and the position of the right eye for even frames), the image area displayed near the front of each user Determines the pixel value based on the user's viewpoint position, and for other parts, interpolates from the viewpoint position of adjacent users, and determines the viewpoint position so that it changes smoothly as the display position changes. The pixel value may be obtained based on the viewpoint position.
[0085]
When the display position calculation process in step 402 and the viewpoint parameter calculation process in step 403 do not depend on time, the display position calculation process and the viewpoint parameter calculation process can be performed in advance to refer to the viewpoint parameter from the pixel position. Such a table may be created, and the viewpoint parameters may be obtained from the table instead of the processing of Step 402 and Step 403. In this way, the processing per pixel can be reduced.
[0086]
Even if the display position calculation processing in step 402 and the viewpoint parameter calculation processing in step 403 depend on time, if there are few processing patterns, a unique pattern identifier is assigned to each pattern. In addition, a display position calculation process and a viewpoint parameter calculation process are performed in advance for each pattern to create a table in which viewpoint parameters can be referred to from pixels and pattern identifiers. Instead of the processes in steps 402 and 403, The viewpoint parameter may be obtained from the table. In this way, processing can be reduced.
[0087]
In addition, when obtaining the pixel values of a plurality of pixels based on the same viewpoint parameter, the pixels having the same viewpoint parameter for obtaining the pixel value are collected to form each group, and for each group The display position calculation process and the viewpoint parameter calculation process need only be performed once. It goes without saying that this method is compatible with both of the methods for creating the table.
[0088]
As described above, by calculating the pixel value after setting the viewpoint parameter according to the display position of the pixel, for example, for each display position, “the image of this part is the most important image for the viewer from which position. It is possible to generate image data that allows a high-quality video to be viewed when viewed from that position.
[0089]
Hereinafter, a specific example of the processing in step 403 in FIG. 4 will be described with reference to FIGS.
[0090]
5, 6, and 8 are plan views illustrating an enlarged portion of the column from the water tank on the left side of FIG. 1, and FIG. 7 is an enlarged view of only a portion of the water tank. It is a top view.
[0091]
In addition, in the following, for easy understanding, the height of the viewpoint is set to a constant value h with respect to the floor surface. For example, if the video space is intended mainly for adult women as users, the value h may be set to a national average value of the height of the viewpoint of adult women.
[0092]
Hereinafter, a description will be given of how to obtain the remaining two parameters related to the viewpoint position (when the xyz coordinate system is used, the x coordinate and the y coordinate if the z axis is taken in the height direction).
[0093]
FIG. 5 is a diagram showing a first example of how to obtain the viewpoint parameter in the image generation processing according to the first embodiment of the present invention.
[0094]
In FIG. 5, the viewpoint position 502 is used for the area 501 where the aquarium image is displayed, and the viewpoint position 504 is used for the perspective transformation for the area 503 where the pillar image is displayed. Used as a viewpoint parameter (a viewpoint position parameter that is a part of).
[0095]
The viewpoint position 502 can be set to an arbitrary position based on an appropriate evaluation criterion as long as the entire area 501 can be looked over without being blocked by other parts of the screen. The viewpoint position 504 can be set to an arbitrary position based on an appropriate evaluation criterion as long as the entire area 503 can be looked over without being blocked by other portions of the screen.
[0096]
Despite the fact that the area 501 and the area 503 are continuous on the image display surface, the viewpoint position changes greatly, so that the displayed image has a sense of incongruity particularly near the boundary between the area 501 and the area 503. There will be something. However, since the division position of the area coincides with the meaning break in the video, the degree of uncomfortable feeling is small compared to the case where the division position of the area is determined at random.
[0097]
As described above, when the viewpoint positions are set discretely, it is possible to generate an image with a little sense of incongruity by matching an area generated based on each viewpoint position with a semantic break in the video. .
[0098]
Note that, as described with reference to FIG. 4, the viewpoint parameter calculation process of the present invention can be different for each time. Therefore, if the meaning break in the video changes with time, the region generated based on each viewpoint position is also changed according to the meaning break, and the correspondence between the display position and the viewpoint position is changed. You just have to ask for it.
[0099]
FIG. 6 is a diagram showing a second example of how to obtain the viewpoint parameter in the image generation processing according to the first embodiment of the present invention.
[0100]
In FIG. 6, when a display position 601 on the image display surface is given, first, a tangential plane 602 of the screen 101 at the display position 601 is obtained. Next, a plane 603 perpendicular to the tangential plane 602 and the horizontal plane is obtained. On the intersection line between the plane 603 and the horizontal plane passing through the display position 601, a point separated by a given distance d from the display position 601 toward the image display surface is a position of height h while keeping the x and y coordinates. The point 604 brought to is a point 604, and in the second example shown in FIG.
[0101]
In this way, by setting the viewpoint position at a certain distance from the screen surface, it is possible to provide a video with substantially uniform definition to a user who views each video area from the corresponding viewpoint position. be able to.
[0102]
Here, when the height of the viewpoint is a constant value, that is, when the object is clearly “adult female” or the like, the vertical field of view is just the image display on the screen 101. It is preferable to set so as to cover the entire vertical direction of the region. In the case of a smaller value, that is, when the viewpoint position is closer to the screen 101, when the target user views the image from the ideal viewpoint position, the image is left in the vertical direction, and a large image The entire display area cannot be used effectively. When the value is larger than this, that is, when the viewpoint position is further away from the screen 101, the definition of the image perceived by the user becomes low and the entire field of view of the user cannot be covered in the vertical direction. The sense of reality that you feel will be reduced.
[0103]
Note that when the object varies from an adult to a child, and the x-coordinate, y-coordinate, and z-coordinate of the viewpoint position are all changed, the value of the distance d is smaller than that when the viewpoint height is constant. It is good to do. This is because the ideal viewpoint position fluctuates up and down, so that the same value as when the viewpoint height is constant may cover the entire visual field of the user in the vertical direction when viewed from the ideal viewpoint position. Because it becomes impossible.
[0104]
FIG. 7 is a diagram showing a third example of how to obtain the viewpoint parameter in the image generation processing according to the first embodiment of the present invention. FIG. 7 corresponds to the case where the value of the distance d is large in FIG.
[0105]
In FIG. 7, when the viewpoint position parameter is obtained in the same way as in FIG. 6, the display position is displayed on the screen 101 as display position 701 → display position 702 → display position 703 → display position 704 → display position 705 → display position 706 → Along with the movement to the display position 707, the viewpoint position moves in the order of point 711 → point 712 → point 713 → point 714 → point 715 → point 712 → point 717. That is, the trajectory 710 in which the viewpoint position moves crosses halfway. Although it depends on the size of the actual screen, it is difficult to imagine that the locus of the user's viewpoint position actually moves like the locus 710 especially when the screen is not sufficiently large. Therefore, in such a case, regarding the portion from the display position 702 to the display position 706 via the display position 703, the display position 704, and the display position 705, the viewpoint position is collectively generated as the point 712. To do. That is, the locus of movement of the viewpoint position is made linear without crossover.
[0106]
At this time, the user walking while viewing the video from the viewpoint position 711 stops at the viewpoint position 712 and reaches from the display position 702 to the display position 706 via the display position 703, the display position 704, and the display position 705. After viewing a video that is displayed over a wide range and has no sense of incongruity, it is possible to proceed toward the viewpoint position 717.
[0107]
Thus, the method for obtaining the viewpoint parameter for each region may be changed based on the curvature of the screen.
[0108]
FIG. 8 is a diagram showing a fourth example of how to obtain viewpoint parameters in the image generation processing according to the first embodiment of the present invention.
[0109]
FIG. 8 assumes a case where the present system is applied to a side wall of an underground walkway. In this case, it can be assumed that the locus of movement of the user's viewpoint position is a straight line along the road, such as a locus 801.
[0110]
In such a case, for example, the x and y coordinates of the point 804 on the locus 801 closest to the display position 802 on the plan view are used as the x and y coordinates of the viewpoint position corresponding to the display position 802. And In FIG. 8, since the locus 801 is assumed to be a straight line, the point 804 can be obtained as a foot of a perpendicular line 803 drawn from the display position 802 on the plan view with respect to the locus 801.
[0111]
In this way, a trajectory in which the viewpoint position of the user moves is assumed in advance, and the viewpoint position may be determined on the trajectory. In this case, the locus assumed in advance is not limited to a straight line, and the method of determining the viewpoint position from the display position and the locus is “the point on the locus closest to the display position on the plan view”. It is not limited.
[0112]
As described above with reference to FIGS. 6 to 8, by continuously changing the viewpoint position with respect to the continuous change of the display position, the image displayed on the screen is smoothly connected, A high sense of reality can be maintained.
[0113]
Note that the essence of the image generation processing according to the present invention is to determine the pixel value of each pixel in the image using the viewpoint parameter obtained according to the display position of the pixel on the image display surface. The specific implementation method for obtaining the viewpoint parameter from the display position is not limited to the method shown in FIGS. In particular, the height of the viewpoint position is not limited to a fixed value, and the method for determining the distance d on the plan view between the screen and the viewpoint position is not limited to the exemplified one.
[0114]
For example, the present invention can also be applied to a case where a stereo image is generated in advance assuming the position of the user's head. From the display position and the position of the user's head, the direction in which the user's head is facing when the user is gazing at the display position is obtained. What is necessary is just to determine the pixel value of a corresponding pixel.
[0115]
FIG. 9 shows an example in which a corrugated screen is configured by combining a flat screen 901, a flat screen 903, and a flat screen 905 with a cylindrical screen 902 and a cylindrical screen 904. Here, the cylindrical screen means a screen whose image display surface is a part of the cylindrical surface. Here, each flat screen is installed so that the image display surface coincides with the tangential plane of the cylindrical surface at the boundary position at the boundary with the cylindrical screen adjacent thereto.
[0116]
As described above, the “wave screen” in the present invention may include a flat screen. In this case, it is possible to obtain such effects that the flat screen portion has little pixel distortion and that the overlapping in the areas projected from the plurality of projectors is easy.
[0117]
As described above, according to the description based on the embodiment of the present invention, the present invention is a field for displaying an image over a wide display area, for example, a system for displaying a large screen image on a wall of a showroom or the like. The present invention is particularly suitable for a system that displays various information using the lower part of a service counter such as a bank / airport as an image display surface, a system that displays a horizontally long image along an underground walkway, and the like.
[0118]
The present invention is not limited to the embodiment of the invention, and it goes without saying that various changes can be made without departing from the scope of the invention. In particular, the image generation process of the present invention is not limited to the case of generating an image to be displayed on a waveform image display surface, but for displaying an image display surface of an arbitrary shape there. This can be applied when generating an image.
[0119]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
[0120]
First, since the image data display system of the present invention has a corrugated screen, the user walks one after another while watching the video near the screen in a space that covers a wide range of the user's visual field. I can go.
[0121]
In addition, since the image data display system of the present invention includes image data conversion means, and the image data is converted by the image data conversion means and displayed on the screen, the shape and arrangement of the actually installed screen and projector Even when there is an error with respect to the design data, the video intended by the image data producer can be provided to the user.
[0122]
In addition, the image data display system of the present invention includes a plurality of projectors, and the plurality of projectors are arranged according to the shape of the screen, so that an image with less distortion of each pixel can be provided to the user. it can.
[0123]
The image data display system of the present invention includes an image data conversion unit and a plurality of projectors, and is configured to display the image data on the screen after being converted by the image data conversion unit. It is possible to provide a user with a fine image with less pixel distortion.
[0124]
In the image data generation method of the present invention, the pixel value is determined by the viewpoint parameter determined depending on the display position of the pixel at each time, so that “the most beautiful” is displayed according to the display content for each display position. It is possible to generate image data that can display “the most beautiful video for those who want to see it”.
[0125]
In addition, the image data generation method of the present invention is configured so that the viewpoint parameter also changes smoothly with a smooth change in the display position, so that the image data is generated even when the viewpoint position is changed. As a whole display area, a smoothly connected image can be obtained.
[0126]
In addition, the image data generation method of the present invention has no effect at all when the viewpoint parameters are changed discretely by matching the meaning breaks in the video with the boundaries of the display areas generated with different viewpoint parameters. Compared with the case where discrete viewpoint parameters are determined intentionally, the degree of uncomfortable feeling of the entire video can be reduced.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a first embodiment of a system according to the present invention.
FIG. 2 is a plan view showing a first embodiment of the system according to the present invention.
FIG. 3 is a system block diagram showing a system configuration in the first embodiment of the present invention.
FIG. 4 is a flowchart of image generation processing according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating a first example of how to obtain viewpoint parameters in the image generation processing according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating a second example of how to obtain viewpoint parameters in the image generation processing according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating a third example of how to obtain viewpoint parameters in the image generation processing according to the first embodiment of the present invention.
FIG. 8 is a diagram showing a fourth example of how to obtain viewpoint parameters in the image generation processing according to the first embodiment of the present invention.
FIG. 9 is a plan view showing an example of screen arrangement when a flat screen is provided in the system according to the first embodiment of the present invention.
[Explanation of symbols]
101, 901, 902, 903, 904, 905 ... screen
201, 202, 203, 204, 205, 206, 207 ... Projector
313, 323, 333 ... image data conversion means
502, 504, 604, 804 ... viewpoint position
711, 712, 713, 714, 715, 717 ...... Viewpoint position
601 802 ... Display position
701, 702, 703, 704, 705, 706, 707 ... display position
605, 710, 801 ... Trajectory of movement of viewpoint position

Claims (12)

画像生成装置が生成した画像を表示部に表示する画像表示システムにおいて、
前記画像生成装置は、
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、
前記画像の各画素を表示すべき前記表示部上の位置を算出する算出部を備え、
前記設定部は、前記算出部により算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像表示システム。 In an image display system for displaying an image generated by an image generation device on a display unit,
The image generation device includes:
A setting unit that sets a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed;
A determination unit that determines a pixel value of the pixel based on the viewpoint parameter set by the setting unit;
A calculation unit that calculates a position on the display unit to display each pixel of the image;
The said setting part is an image display system which sets the viewpoint parameter of each pixel based on the position calculated by the said calculation part, and the curvature of the said display part. 前記設定部は、所定の時間毎に異なる処理を行う、
請求項１記載の画像表示システム。The setting unit performs different processing every predetermined time.
The image display system according to claim 1 . 鑑賞者の視点位置を検出する検出部を更に備え、
前記設定部は、前記表示部上の位置と、前記検出部の検出した視点位置とに基づいて、
各画素の視点パラメタを設定する、請求項２記載の画像表示システム。A detection unit for detecting the viewer's viewpoint position;
The setting unit is based on the position on the display unit and the viewpoint position detected by the detection unit.
The image display system according to claim 2 , wherein a viewpoint parameter of each pixel is set. 前記表示部は、凹部と凸部を備える、
請求項１乃至３記載の画像表示システム。The display unit includes a concave portion and a convex portion,
Claims 1 to 3 image display system according. 画像生成装置が生成した画像を表示部に表示する画像表示システムにおいて、
前記画像生成装置は、
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、を備え、
前記設定部は、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像表示システム。 In an image display system for displaying an image generated by an image generation device on a display unit,
The image generation device includes:
A setting unit that sets a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed;
A determination unit that determines a pixel value of the pixel based on the viewpoint parameter set by the setting unit;
The image display system , wherein the setting unit sets the viewpoint parameter so as to change smoothly with respect to a position on the display unit. 前記視点パラメタは、視点位置を表すパラメタである、請求項１乃至５記載の画像表示システム。The viewpoint parameter is a parameter representing the viewpoint position claims 1 to 5 image display system according. 表示部で表示するための画像を生成する画像生成装置において、
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、
前記画像の各画素を表示すべき前記表示部上の位置を算出する算出部を備え、
前記設定部は、前記算出部により算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像生成装置。 In an image generation apparatus that generates an image to be displayed on a display unit,
A setting unit that sets a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed ;
A determination unit that determines a pixel value of the pixel based on the viewpoint parameter set by the setting unit;
A calculation unit that calculates a position on the display unit to display each pixel of the image;
The image generation device, wherein the setting unit sets a viewpoint parameter of each pixel based on the position calculated by the calculation unit and the curvature of the display unit. 表示部で表示するための画像を生成する画像生成装置において、  In an image generation apparatus that generates an image to be displayed on a display unit,
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、  A setting unit that sets a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed;
前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、を備え、  A determination unit that determines a pixel value of the pixel based on the viewpoint parameter set by the setting unit;
前記設定部は、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像表示システム。  The image display system, wherein the setting unit sets the viewpoint parameter so as to change smoothly with respect to a position on the display unit. 表示部で表示するための画像を生成する画像生成方法において、
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定ステップと、
前記設定ステップにより設定された視点パラメタに基づいて、前記画素の画素値を決定する決定ステップと、
前記画像の各画素を表示すべき前記表示部上の位置を算出する算出ステップを備え、
前記設定ステップは、前記算出ステップにより算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像生成方法。 In an image generation method for generating an image for display on a display unit,
A setting step for setting a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed ;
A determination step of determining a pixel value of the pixel based on the viewpoint parameter set by the setting step;
A calculation step of calculating a position on the display unit where each pixel of the image is to be displayed;
The image generation method in which the setting step sets the viewpoint parameter of each pixel based on the position calculated by the calculation step and the curvature of the display unit. 表示部で表示するための画像を生成する画像生成方法において、  In an image generation method for generating an image for display on a display unit,
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定ステップと、  A setting step for setting a viewpoint parameter corresponding to the pixel based on a position on the display unit where each pixel of the image is to be displayed;
前記設定ステップにより設定された視点パラメタに基づいて、前記画素の画素値を決定する決定ステップと、を備え、  Determining a pixel value of the pixel based on the viewpoint parameter set by the setting step, and
前記設定ステップは、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像生成方法。  The image generation method in which the setting step sets the viewpoint parameter so as to smoothly change with respect to the position on the display unit. 表示部で表示するための画像を生成する機能をコンピュータに実現させるためのプログラムを格納する記憶媒体において、  In a storage medium storing a program for causing a computer to realize a function of generating an image to be displayed on a display unit,
前記画像の各画素を表示すべき前記表示部上の位置を算出する算出機能、  A calculation function for calculating a position on the display unit to display each pixel of the image;
前記算出機能により算出された位置、及び、前記表示部の曲率に基づいて、前記各画素に対応する視点パラメタを設定する設定機能、及び、  A setting function for setting a viewpoint parameter corresponding to each pixel based on the position calculated by the calculation function and the curvature of the display unit; and
前記設定機能により設定された視点パラメタに基づいて、前記各画素の画素値を決定する決定機能、をコンピュータに実現させるためのプログラムを格納する記憶媒体。  A storage medium for storing a program for causing a computer to realize a determination function for determining a pixel value of each pixel based on a viewpoint parameter set by the setting function. 表示部で表示するための画像を生成する機能をコンピュータに実現させるためのプログラムを格納する記憶媒体において、  In a storage medium storing a program for causing a computer to realize a function of generating an image to be displayed on a display unit,
前記画像の各画素を表示すべき前記表示部上の位置に基づいて、前記表示部上の位置に関して滑らかに変化するように、前記各画素に対応する視点パラメタを設定する設定機能と、  Based on the position on the display unit where each pixel of the image is to be displayed, a setting function for setting a viewpoint parameter corresponding to each pixel so as to change smoothly with respect to the position on the display unit;
前記設定機能により設定された視点パラメタに基づいて、前記各画素の画素値を決定する決定機能と、をコンピュータに実現させるためのプログラムを格納する記憶媒体。  A storage medium for storing a program for causing a computer to realize a determination function for determining a pixel value of each pixel based on a viewpoint parameter set by the setting function.
JP36624899A 1999-12-24 1999-12-24 Image data display system and image data generation method Expired - Fee Related JP3956561B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36624899A JP3956561B2 (en) 1999-12-24 1999-12-24 Image data display system and image data generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36624899A JP3956561B2 (en) 1999-12-24 1999-12-24 Image data display system and image data generation method

Publications (2)

Publication Number Publication Date
JP2001184040A JP2001184040A (en) 2001-07-06
JP3956561B2 true JP3956561B2 (en) 2007-08-08

Family

ID=18486306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36624899A Expired - Fee Related JP3956561B2 (en) 1999-12-24 1999-12-24 Image data display system and image data generation method

Country Status (1)

Country Link
JP (1) JP3956561B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280388A (en) * 2003-03-14 2004-10-07 Sharp Corp Pseudo three-dimensional image creation device and projector device
JP2005084245A (en) * 2003-09-05 2005-03-31 Sharp Corp Display device
JP2005115069A (en) * 2003-10-08 2005-04-28 Seiko Epson Corp Display device
JP2005157135A (en) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> Information display method, system and program
JP4547960B2 (en) * 2004-03-29 2010-09-22 株式会社日立製作所 Video display system and video generation method
JP4609004B2 (en) * 2004-08-31 2011-01-12 富士通株式会社 Entering horse display device
JP5096770B2 (en) * 2007-03-22 2012-12-12 パナソニック株式会社 Video display device
US8531485B2 (en) * 2009-10-29 2013-09-10 Immersion Corporation Systems and methods for compensating for visual distortion caused by surface features on a display
JP5544277B2 (en) 2010-10-29 2014-07-09 株式会社日立情報通信エンジニアリング Image correction apparatus, correction image generation method, correction table generation apparatus, correction table generation method, correction table generation program, and correction image generation program
EP3224432B1 (en) 2014-11-30 2022-03-16 Dolby Laboratories Licensing Corporation Social media linked large format theater design
WO2018163348A1 (en) * 2017-03-09 2018-09-13 Ｎｅｃディスプレイソリューションズ株式会社 Video display apparatus and control method for video display apparatus
JP2019008168A (en) * 2017-06-26 2019-01-17 ローム株式会社 Display system and image display method
WO2019163385A1 (en) * 2018-02-20 2019-08-29 キヤノン株式会社 Image processing device, image processing method and program
JP7281330B2 (en) * 2019-04-16 2023-05-25 株式会社Lixil Guide device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3534785B2 (en) * 1992-12-08 2004-06-07 松下電器産業株式会社 High reality image display method and device
JP3735158B2 (en) * 1996-06-06 2006-01-18 オリンパス株式会社 Image projection system and image processing apparatus
JP3571859B2 (en) * 1996-08-12 2004-09-29 富士通株式会社 Image display control device and image display system
AUPO884297A0 (en) * 1997-08-27 1997-09-18 Orme, Gregory Michael Imaging devices
EP1039749A4 (en) * 1997-12-12 2002-06-26 Hitachi Ltd Multi-projection image display device

Also Published As

Publication number Publication date
JP2001184040A (en) 2001-07-06

Similar Documents

Publication Publication Date Title
JP6873096B2 (en) Improvements in and on image formation
JP3956561B2 (en) Image data display system and image data generation method
Agrawala et al. Artistic multiprojection rendering
US8189035B2 (en) Method and apparatus for rendering virtual see-through scenes on single or tiled displays
JP5107338B2 (en) Adaptive rendering of video content based on further frames of content
US20050275915A1 (en) Multi-plane horizontal perspective display
US8743187B2 (en) Three-dimensional (3D) imaging based on MotionParallax
JP3619063B2 (en) Stereoscopic image processing apparatus, method thereof, stereoscopic parameter setting apparatus, method thereof and computer program storage medium
CA2236329C (en) Three-dimensional drawing system and method
US20050219695A1 (en) Horizontal perspective display
US20100110069A1 (en) System for rendering virtual see-through scenes
CA2572085A1 (en) Method for creating artifact free three-dimensional images converted from two-dimensional images
US20060221071A1 (en) Horizontal perspective display
WO2014187695A1 (en) Image conversion for signage
Yoshida et al. Light-field generation by several screen types for glasses-free tabletop 3D display
JP2007318754A (en) Virtual environment experience display device
JP2002148711A (en) Spherical wide field angle video display device
US20120062560A1 (en) Stereoscopic three dimensional projection and display
JP6170631B2 (en) Method and apparatus for normalizing content size in multi-screen theater and computer-readable recording medium
Ebert et al. Tiled++: An enhanced tiled hi-res display wall
JP4089299B2 (en) Projection display
JP2005107681A (en) Two or more picture image display system, relative position detecting method for two or more image display device, its program and recording medium with its program recorded thereon
JPH05250445A (en) Three-dimensional model data generating device
Yoshikawa et al. Studies of vection field II: a method for generating smooth motion pattern
CN114690408A (en) Near-to-eye display system and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060414

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees