JP2008113176A - 映像表示システムの調整システム - Google Patents

Abstract

【課題】映像表示領域の境界を映像を表示したい領域の境界に一致させることにより任意の形状のスクリーンに臨場感のある映像を表示する。
【解決手段】映像出力装置１００から出力された映像データに幾何補正および画素値変換を施す映像補正装置１１０と、スクリーン面のすべてを映像投映領域に含むとともに前記幾何補正および画素値変換を施した映像をスクリーンに投映する映像投映装置１２０と、スクリーン面のすべてを撮像領域に含むように設置された撮像装置１３０と、前記映像出力装置および撮像装置を制御する制御装置を備え、前記制御装置は、映像出力装置を制御して前記スクリーンに複数のパターン映像を順次表示し、順次表示したパターン映像を撮像装置を制御して順次撮影してスクリーンの外周データを取得し、取得した前記スクリーンの外周データと幾何補正を施した映像のスクリーン上での映像表示領域の外周データをもとにこれら外周データが一致するような幾何補正パラメタを新たに生成する。
【選択図】図１

Description

本発明は、映像表示システムの調整技術に係り、特にプロジェクタを使用して未知の形状のスクリーン上に歪みのない映像を表示する映像表示システムの調整技術に関する。

複数台のプロジェクタを使用してスクリーン上に歪みのない１つの映像を表示する映像表示システムとして、特許文献１に記載の技術がある。

様々な形状のスクリーン上に歪みのない映像を表示するため、また、複数のプロジェクタ投映画像を繋ぎ合わせるためには、プロジェクタで投映する画像に、予め幾何学的補正(以降、幾何補正と呼ぶ)、および明るさや色合いの補正(以降、画素値変換と呼ぶ)を施すことが必要である。特許文献１は、このような補正を施すための画像補正パラメタを生成する映像表示システムが開示されている。この映像表示システムでは、スクリーンに投映されたプロジェクタ映像(以降、調整領域と呼ぶ)を、デジタルカメラなどの計測機器(以降、カメラとする)で撮影し、撮影した画像を解析することにより画像補正パラメタを生成している。

このシステムでは、スクリーンの形状が未知の場合にもスクリーン上で歪みのない画像を表示すること、および相対的位置関係が既知な複数台のカメラから得た視差画像を用いるなど、スクリーンの３次元形状を推定し、その形状情報を元に幾何補正パラメタを生成することが示されている。
特開２００５−２４４８３５号公報

１台または複数台のプロジェクタを使用して任意形状のスクリーン上に１つの映像を表示する映像表示システムは、シミュレータ、ヴァーチャルリアリティ設備、アミューズメント設備などで用いられる没入型映像表示システム、あるいは舞台演出、広告表示、アートなど、様々な用途で用いられている。

このような用途においては、スクリーン全体、または予め設定した範囲に余すことなく映像を表示する必要がある。例えば没入型映像表示システムにおいては、複数のプロジェクタ画像が滑らかに繋がって、歪みなく画像が表示されていても、スクリーンの外郭周辺に映像が表示されていな場合、映像の観察者はスクリーンの外周を知覚することができ、これより没入感が低下する。

また、舞台演出において壁面に背景画像を表示する場合、あるいは外壁などに広告画像を表示する場合において、複数のプロジェクタ画像が滑らかに繋がって、歪みなく画像が表示されていても、意図した範囲に映像を表示することができない場合は、演出効果や広告効果が低下する。

前記特許文献１記載の技術では、スクリーンの３次元形状を推定することにより歪みのない画像を表示するための画像補正パラメタを作成することができる。しかし、カメラの相対位置関係情報に誤差が含まれるなど、何らかの理由によりスクリーンの３次元形状の計測精度が十分に得られない場合には、映像表示領域の外周とスクリーンの外周とを厳密に一致させることができない。

このように、前記従来技術では、映像表示領域の境界を映像を表示したい領域の境界に一致させることができない。このために、没入感、演出効果、広告効果などが低下する。 本発明は、このような問題に鑑みてなされたもので、任意の形状のスクリーンに臨場感のある映像を表示することのできる映像表示技術を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

映像出力装置から出力された映像データに幾何補正および画素値変換を施す映像補正装置と、スクリーン面のすべてを映像投映領域に含むとともに前記幾何補正および画素値変換を施した映像をスクリーンに投映する映像投映装置と、スクリーン面のすべてを撮像領域に含むように設置された撮像装置と、前記映像出力装置および撮像装置を制御する制御装置を備え、前記制御装置は、映像出力装置を制御して前記スクリーンに複数のパターン映像を順次表示し、順次表示したパターン映像を撮像装置を制御して順次撮影してスクリーンの外周データを取得し、取得した前記スクリーンの外周データと幾何補正を施した映像のスクリーン上での映像表示領域の外周データをもとにこれら外周データが一致するような幾何補正パラメタを新たに生成する。

本発明は、以上の構成を備えるため、１台または複数台のプロジェクタを使用して任意形状のスクリーン上に１つの映像を表示する映像表示システムにおいて、前記スクリーンに臨場感のある映像を表示することができる。

［第１の実施形態］
以下、第１の実施形態を図１ないし図１５を参照しながら説明する。なお、それぞれの図において同じ符号は同じものを示す。また、スクリーンの形状は四辺形であるとする。また、後述する映像投映装置１２０に対して、補正処理装置１１１の幾何補正パラメタ記憶部１１１ｇに恒等変換幾何補正パラメタを記憶して映像を投映した場合に映像が表示される領域を該映像投映装置の「映像投映領域」と呼び、調整済みの幾何補正パラメタを記憶して映像を投映した場合に映像が表示される領域を該映像投映装置の「映像表示領域」と呼ぶ。また、幾何補正パラメタのデータ内における上記「映像表示領域」に対応するデータ領域に対しても、「幾何補正パラメタのデータ内における映像表示領域」という表現を用いる。

また、この例では、１台のプロジェクタを用いて、歪みを抑えた映像を、スクリーンの境界と前記プロジェクタの映像表示領域の境界が一致するようにスクリーンに投映する場合について説明する。

図１は、本実施形態にかかる映像表示システムの概略構成を説明する図である。映像表示システムは、映像出力装置１００、映像補正装置１１０、映像投映装置１２０、撮像装置１３０、およびスクリーン１４０を備えている。映像出力装置１００から出力された映像に対して、映像補正装置１１０において幾何補正および画素値変換を行った後、映像投映装置１２０からスクリーン１４０に投映する。これにより、スクリーン１４０に所望の映像を表示することができる。なお、映像出力装置１００および映像補正装置１１０からは、Ｒ、Ｇ、Ｂの各色を各々８ビットで表現した画像データが出力されるようになっている。

このシステムでは、スクリーン１４０に投映された映像を撮像装置１３０で撮影し、撮影した撮影画像データに基いて、所望の映像をスクリーン１４０に投映するための幾何補正パラメタおよび画素値変換パラメタを生成する。しかし、本実施形態では幾何補正パラメタの生成についてのみ説明し、画素値変換パラメタについては従来の技術を用いて生成する。このためその詳細は省略する。なお、前記撮像装置は複数台用いても構わない。その場合、各撮像装置の撮影領域の和集合に該スクリーン面全てが含まれていればよい。

図２は、映像出力装置１００の詳細を説明する図である。図２に示すように、映像出力装置１００は、映像入力部１０１、画像記憶部１０２、映像制御部１０３、映像出力部１０４、および第一の送受信部１０５を備えている。

映像入力部１０１は、スクリーン１４０に投映するための画像データを入力するものであり、１つまたは複数のＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、磁気ディスクなどの記憶媒体から画像データを読み込むものである。また、１台または複数台のＰＣ（パーソナルコンピュータ）やゲーム機などによって生成される画像データを入力するような構成としてもよい。

画像記憶部１０２は、後述する映像補正装置１１０からの指令に応じてスクリーン１４０に投映するための調整用の画像データを記憶している。本実施形態では、全ての画素の画素値が後述する前景色の値に等しい画像データおよび全ての画素の画素値が後述する後景色の値に等しい画像データを記憶している。なお、画像記憶部１０２は、例えば、ハードディスク、ＤＶＤ、ＲＡＭ(Random Access Memory)などの補助記憶装置により構成することができる。また、１台または複数台のＰＣなどを用いて、映像制御部１０３からの指令に基づいて画像データを自動生成するような構成としてもよい。さらに、映像入力部１０１と画像記憶部１０２とを同一の装置で構成してもよい。

映像制御部１０３は、映像入力部１０１から入力された画像データや画像記憶部１０２に記憶されている画像データを映像出力部１０４を介して映像補正装置１１０に出力する際の制御を行う。例えば、映像入力部１０１から入力された画像データを、後述する映像投映装置１２０の配置に関する設計パラメタに応じて抽出し、映像補正装置１１０に出力する。また、後述する第一の送受信部１０５を介して映像補正装置１１０から、特定の画像データの出力を要求する指令を受信すると、要求された画像データを画像記憶部１０２から読み出し、映像補正装置１１０に出力する。なお、映像制御部１０３は、例えば、ＣＰＵ（Central Processing Unit）で所定のプログラムを実行することにより実現することができる。

映像出力部１０４は、画像データを映像補正装置１１０に出力する。映像出力部１０４は、既知の映像出力用インターフェースを用いて構成することが可能である。なお、映像補正装置１１０にアナログ信号を出力する場合には、Ｄ／Ａ変換器を備えるインターフェースを用いるとよい。

第一の送受信部１０５は、映像補正装置１１０との間でデータの送受信を行う。第一の送受信部１０５は、赤外線インターフェースやＲＳ−２３２ＣインターフェースやＮＩＣ（Network Interface Card）等を用いて構成することができる。

図３は、映像補正装置１１０の詳細を説明する図である。図３に示すように、映像補正装置１１０は、補正処理装置１１１、補正制御部１１２、入力装置１１３、記憶部１１４、第二の送受信部１１５、および第三の送受信部１１６を備えている。

図４は、図３に示す補正処理装置１１１の詳細を示す図である。補正処理装置１１１は、図４に示すように、入力部１１１ａ、フレームメモリ１１１ｂ、幾何補正部１１１ｃ、画素値変換部１１１ｄ、出力部１１１ｅ、幾何補正パラメタ記憶部１１１ｇ、画素値変換パラメタ記憶部１１１ｆ、および補正データ入力部１１１ｈを備えている。

入力部１１１ａは、映像出力装置１００から出力された画像データを補正処理装置１１１に入力する。入力部１１１ａは、映像出力部１０４に合わせて、既知の映像入力用インターフェースを用いて構成することができる。なお、映像出力部１０４としてＤ／Ａ変換器を備えるインターフェースを用いる場合には、入力部１１１ａにＡ／Ｄ変換器を備えるインターフェースを用いる。

フレームメモリ１１１ｂは、入力部１１１ａから入力された画像データを記憶する。

補正データ入力部１１１ｈは、映像補正装置１１０の補正制御部１１２との間でデータを送受信するインターフェースであり、例えば、ＰＣＩ（Peripheral Component Interconnect）インターフェースやＵＳＢ（Universal Serial Bus）インターフェース等で構成する。

幾何補正パラメタ記憶部１１１ｇは、映像補正装置１１０の補正制御部１１２から送信された幾何補正パラメタを記憶する。本実施形態では、入力された画像データと幾何的に等価な画像データを出力するための恒等変換幾何補正パラメタ、および映像投映装置１２０から投映される映像をスクリーン１４０において幾何的に歪みなく出力するための幾何補正パラメタのうちのいずれか一方を記憶している。いずれのパラメタを記憶しているかは補正制御部１１２によって制御されるが、一度調整が完了した後、再び調整が必要となるまでは、幾何補正パラメタの方が記憶される。

また、幾何補正パラメタ記憶部１１１ｇは、例えば、ＲＡＭ（Random Access Memory）などの記憶装置で実現することができるが、恒等変換幾何補正パラメタと幾何補正パラメタの両方を記憶しておけるだけの記憶容量がある場合には、恒等変換幾何補正パラメタと幾何補正パラメタの両方を記憶しておき、補正制御部１１２からは幾何補正部１１１ｃが実施する補正処理においてどちらの補正パラメタを使用するかを制御するようにしてもよい。

幾何補正部１１１ｃは、幾何補正パラメタ記憶部１１１ｇに記憶されている補正パラメタを使用してフレームメモリ１１１ｂから読み出した画像データに幾何的な補正を施すものであり、具体的には、ＦＰＧＡ（Field Programmable Gate Array）等の論理回路で構成することができる。

なお、本実施形態では説明を簡単にするため、映像出力装置１００から出力される各画像データの解像度と、対応する映像投映装置１２０に入力すべき画像データの解像度とは等しくなるように、すなわち、幾何補正部１１１ｃに入力される画像データの解像度と幾何補正部１１１ｃから出力される画像データの解像度とが等しくなるようにシステムを構成しているが、このような態様に限定されるものではなく、幾何補正部１１１ｃでの補正の前後における解像度の違いを考慮することにより、両者の解像度が異なる場合にも容易に実施可能である。

画素値変換パラメタ記憶部１１１ｆは、映像補正装置１１０の補正制御部１１２から送信された画素値変換パラメタを記憶する。本実施形態では、画素値変換部１１１ｄに入力された画像データの各画素の画素値をそのまま出力するための恒等変換画素値変換パラメタと、画素値変換部１１１ｄに入力された画像データの各画素の画素値に所定の変換を施してから出力するための画素値変換パラメタのうちのいずれか一方を記憶している。いずれのパラメタを記憶しているかは補正制御部１１２によって制御されるが、一度調整が完了した後、再び調整が必要となるまでは、画素値変換パラメタの方が記憶される。なお、本実施形態においては、画素値変換パラメタは既知の方法で既に生成されているものとする。また、画素値変換パラメタ記憶部１１１ｆは、例えば、ＲＡＭ（Random Access Memory）などの記憶装置で実現することができるが、恒等変換画素値変換パラメタと画素値変換パラメタの両方を記憶しておけるだけの記憶容量がある場合には、恒等変換画素値変換パラメタと画素値変換パラメタの両方を記憶しておき、補正制御部１１２からは画素値変換部１１１ｄが実施する補正処理においてどちらの変換パラメタを使用するかを制御するようにしてもよい。

画素値変換部１１１ｄは、画素値変換パラメタ記憶部１１１ｆに記憶されている変換パラメタを使用して、幾何補正部１１１ｃから入力された画像データの各画素の画素値を変換し、出力部１１１ｅに送り出す。画素値変換部１１１ｄは、ＦＰＧＡ（Field Programmable Gate Array）等の論理回路で構成することができる。なお、画素値変換部１１１ｄにおける処理では、解像度の変更は為されず、画素値変換部１１１ｄに入力される画像データと同じ解像度の画像データが出力される。

出力部１１１ｅは、画素値変換部１１１ｄから送られてきた画像データを映像投映装置１２０に送信するためのインターフェースであり、既知の映像用出力インターフェースを用いることが可能である。なお、映像投映装置１２０でアナログ信号を入力するように構成されている場合には、Ｄ／Ａ変換器を有するインターフェースを使用する。

図５は、補正制御部１１２の詳細を説明する図である。補正制御部１１２は、図５に示すように、補正処理装置制御部１１２ａ、撮像装置制御部１１２ｂ、映像出力装置制御部１１２ｃ、投映座標・撮影座標対応データ生成部１１２ｄ、画素値変換パラメタ生成部１１２ｅ、幾何補正パラメタ生成部１１２ｆ、幾何補正パラメタ修正部１１２ｇ、および外周データ取得部１１２ｈを備えている。

補正処理装置制御部１１２ａは、補正処理装置１１１で行う補正処理を制御する。例えば、恒等変換幾何補正パラメタ記憶部１１４ａに記憶されている恒等変換幾何補正パラメタ、あるいは旧幾何補正パラメタ記憶部１１４ｂあるいは新幾何補正パラメタ記憶部１１４ｃに記憶されている幾何補正パラメタを必要に応じて補正処理装置１１１の幾何補正パラメタ記憶部１１１ｇに記憶させ、また、恒等変換画素値変換パラメタ記憶部１１４ｄに記憶されている恒等変換画素値変換パラメタあるいは画素値変換パラメタ記憶部１１４ｅに記憶されている画素値変換パラメタを必要に応じて補正処理装置１１１の画素値変換パラメタ記憶部１１１ｆに記憶させる。

なお、記憶部１１４に記憶されている補正パラメタあるいは変換パラメタが、補正処理装置１１１の仕様に関係なく汎用的なものとして生成されている場合には、補正処理装置制御部１１２ａは、補正処理装置１１１において等価な効果が得られるようにデータフォーマットの変換等を施す。

撮像装置制御部１１２ｂは、後述する撮像装置１３０を制御する。例えば、撮像装置１３０の露出や撮影タイミングの制御を行うとともに、撮像装置１３０で撮影された撮影画像データの入出力制御を行う。

映像出力装置制御部１１２ｃは、後述する第二の送受信部１１５を介して、映像出力装置１００を制御する。例えば、映像出力装置１００の画像記憶部１０２に記憶されている調整用の画像データのうちから、所望の画像データを出力させるための指令を映像出力装置１００に送信する。

投映座標・撮影座標対応データ生成部１１２ｄは、既存の技術である空間コード化法などを用いて、投映側の座標系と撮影側の座標系の対応関係データを生成する。画素値変換パラメタ生成部１１２ｅは、既存の方法（例えば特開２０００−３５０２３０号公報）で画素値変換パラメタを生成する。幾何補正パラメタ生成部１１２ｆは、既存の方法で幾何補正パラメタを生成する。また、幾何補正パラメタ修正部１１２ｇは、幾何補正パラメタ生成部１１２ｆで生成し、記憶部１１４の旧幾何補正パラメタ記憶部１１４ｂに記憶されている旧幾何補正パラメタを、旧幾何補正パラメタによる映像表示領域の境界がスクリーンの境界に一致するように修正して新幾何補正パラメタを生成する。その詳細は後述する。

外周データ取得部１１２ｈは、撮影側の座標系におけるスクリーン境界、あるいは旧幾何補正パラメタによる映像表示領域の境界のデータを取得する。その詳細は後述する。

なお、補正制御部１１２は、例えば、ＣＰＵで所定のプログラムを実行することにより実現可能である。

図６は、映像補正装置１１０の記憶部１１４の詳細を説明する図である。図６に示すように、記憶部１１４は、恒等変換幾何補正パラメタ記憶部１１４ａ、旧幾何補正パラメタ記憶部１１４ｂ、新幾何補正パラメタ記憶部１１４ｃ、恒等変換画素値変換パラメタ記憶部１１４ｄ、画素値変換パラメタ記憶部１１４ｅ、投映座標・撮影座標対応データ記憶部１１４ｆ、スクリーン４隅対応データ記憶部１１４ｇ、スクリーン外周データ記憶部１１４ｈ、旧幾何補正パラメタ映像表示領域外周データ記憶部１１４ｉ、画素値変換パラメタ生成用データ記憶部１１４ｊ、および新旧幾何補正パラメタ外周対応データ記憶部１１４ｋを備える。

恒等変換幾何補正パラメタ記憶部１１４ａには、恒等変換幾何補正パラメタが記憶されている。恒等変換幾何補正パラメタは、幾何補正部１１１ｃに入力された画像データと、幾何補正部１１１ｃから出力される画像データとが、幾何的に等価となるようにするためのパラメタである。本実施形態においては、解像度の変換が為されないため、出力される画像データの各々の画素位置に対して、入力される画像データの、その画素位置と同じ画素位置を対応させるようなパラメタが、恒等変換幾何補正パラメタとなる。

旧幾何補正パラメタ記憶部１１４ｂには、既存の技術で作成した幾何補正パラメタが記憶されている。幾何補正パラメタの形式は後述する。

新幾何補正パラメタ記憶部１１４ｃには、幾何補正パラメタ修正部１１２ｇで作成した幾何補正パラメタが記憶されている。新幾何補正パラメタの形式は前記の幾何補正パラメタと同様である。

恒等変換画素値変換パラメタ記憶部１１４ｄには、恒等変換画素値変換パラメタが記憶されている。恒等変換画素値変換パラメタは、画素値変換部１１１ｄに入力された画像データと、画素値変換部１１１ｄから出力される画像データとが、各々対応する画素の画素値を等しくするようなパラメタである。

画素値変換パラメタ記憶部１１４ｅには、既存の技術で作成した画素値変換パラメタが記憶されている。

投映座標・撮影座標対応データ記憶部１１４ｆには、投映座標・撮影座標対応データを記憶する。投映座標・撮影座標対応データは、補正処理装置１１１に入力される画像データの解像度と等しい解像度を有する画像データであり、各画素の画素値はその画素に対応する撮影画像データ上の座標位置を表す２次元ベクトル値である。この投映座標・撮影座標対応データは、本実施形態では、投映座標・撮影座標対応データ生成部１１２ｄによって既知の方法であらかじめ生成され、投映座標・撮影座標対応データ記憶部１１４ｆに記憶されているものとする。例えば、補正処理装置１１１に恒等変換幾何補正パラメタと恒等変換画素値変換パラメタを設定した上で、グレイコード（交番２進コード）と呼ばれる複数枚のパターン画像データを映像投映装置１２０から１枚ずつ投映しながら１枚ずつ撮像装置１３０で撮影した複数の撮影画像データを用いて、補正処理装置１１１のフレームメモリ１１１ｂ上の座標位置と撮影画像データ上の座標位置とを対応させることによって生成することができる。なお、ここで使用する既知の方法に必要なパターン画像データは画像記憶部１０２に記憶しておく。

なお、後述の処理における計算効率を向上させるために、撮影画像データの解像度の情報と、投映座標・撮影座標対応データとから、投映座標・撮影座標対応データの逆写像（撮影画像データの解像度と等しい解像度を有する画像データであり、各画素の画素値は、撮影画像データ上のその画素位置に対応するフレームメモリ上の座標位置を表す２次元ベクトル値であり、対応する画素位置がない画素に対しては画素値としてＮ／Ａ値が設定されているようなもの）を既存の方法であらかじめ生成し、投映座標・撮影座標対応データと一緒に投映座標・撮影座標対応データ記憶部１１４ｆに記憶しておくとよい。この場合は、前記データを利用することにより、投映側から撮影側に、また撮影側から投映側に速やかに座標変換ができるようになる。

スクリーン４隅対応データ記憶部１１４ｇには、フレームメモリ１１１ｂに記憶されている画像データの４隅と対応する、撮影画像中のスクリーンの外周上の４個の座標の組を記憶する。このデータは、前記画像データのどの隅の点が、撮影画像中のスクリーンの外周上のどの点と対応するかを含んだデータであることが必要である。なお、この対応関係は映像表示システムの設計値として与えて良い。

撮影画像におけるスクリーンの４隅の座標を取得するには、撮影画像中のスクリーンに４隅が明確にある場合は、既存の画像認識処理によって隅にあたる点を取得することができる。また、４隅が明確にはないようなスクリーンの場合は、レーザーポインタなどを利用してスクリーンの外周上に、画像データの４隅に対応する点を示しておき、その点を既存の画像認識処理によって取得すれば良い。

また、前記画像データのどの隅の点が、撮影画像中のスクリーンの外周上のどの点と対応するかは、映像表示システムの設計値として、例えば、撮影画像中の左上の隅として得られた点は前記画像データの左上の隅の点と対応するなどと指定することができる。また、前記レーザーポインタなどのマーキング手段の色などを４点で全て異なるものとして４隅を区別してもよい。

スクリーン外周データ記憶部１１４ｈには、スクリーン外周データを記憶する。スクリーン外周データは、撮影画像中のスクリーンの外周を成す座標の集合であり、外周データ取得部１１２ｈによって取得する。詳細は後述する。

旧幾何補正パラメタ映像表示領域外周データ記憶部１１４ｉには、旧幾何補正パラメタ映像表示領域外周データを記憶する。旧幾何補正パラメタ映像表示領域外周データは、旧幾何補正パラメタによって補正した画像を映像投映装置１２０でスクリーン１４０に投映したときの映像表示領域の外周を成す座標の集合であり、スクリーン外周データと同様の方法で外周データ取得部１１２ｈによって取得する。詳細は後述する。

画素値変換パラメタ生成用データ記憶部１１４ｊには、既存の方法を用いて画素値変換パラメタを生成する際に使用する各種データを記憶する。

新旧幾何補正パラメタ外周対応データ記憶部１１４ｋには、旧幾何補正パラメタ映像表示領域外周データと、新幾何補正パラメタ映像表示領域の外周、すなわちスクリーン外周データとの対応を表すデータを記憶する。

図７は、幾何補正パラメタおよび投映座標・撮影座標対応データを説明する図である。図７において、座標系７４は幾何補正パラメタの用いる座標系であり、座標系７２はフレームメモリ上の座標系であり、座標系７０は撮影画像データ上の座標系である。

座標系７４上の領域７５は、幾何補正部１１１ｃにおける処理でフレームメモリ１１１ｂ上の画像データから画素値を取得することによって補正処理装置１１１に入力された画像データの一部が出力される領域である。図ではこれらを四辺形で表しているが、各辺は直線になるとは限らない。幾何補正パラメタの画素値としては、次のような２次元ベクトル値を設定する。まず、領域７５内の画素位置７６に対しては、フレームメモリ１１１ｂ上の座標系において参照元となる点７３の座標値を設定する。また、領域７５の外にある画素位置７７に対しては、あらかじめ定めておいたＮ／Ａ値を設定する。なお、幾何補正部１１１ｃにおいては、このＮ／Ａ値に対しては（０、０、０）の画素値を出力する。

同様に、フレームメモリ上の各々の画素位置７３に対して、その画素位置の画素のスクリーン上での位置が写っている撮影画像データ上の座標値７１を対応付けたものが投映座標・撮影座標対応データである。この投映座標・撮影座標対応データに関しても、対応する撮影画像データ上の座標値が得られない画素位置に対してはＮ／Ａ値を設定しておく。

なお、幾何補正パラメタおよび投映座標・撮影座標対応データの各画素値に関しては、各々の値が実数値であるような２次元ベクトル値が用いられる。これは各々のデータの精度を向上させることを目的とした既存の技術であり、格子点以外の座標が対応付けられている場合であっても、双線形補間など既存の方法を使うことによって、参照先の座標に対応する画素値を算出することができる。

ここで、前記図３において、入力装置１１３は、補正制御部１１２に対してコマンドを入力する装置であって、例えば、キーボードやマウスにより構成することができる。例えば、「調整開始」コマンド等が入力装置１１３を使用して入力される。

第二の送受信部１１５は、映像出力装置１００との間でデータの送受信を行う。実際には、映像出力装置１００の第一の送受信部１０５と接続されるため、第一の送受信部１０５に合わせて、例えば、ＲＳ−２３２ＣインターフェースやＮＩＣ（Network Interface Card）を用いて構成すればよい。

第三の送受信部１１６は、撮像装置１３０との間でデータの送受信を行う。具体的には、撮像装置１３０のインターフェースに対応させて、ＩＥＥＥ１３９４インターフェースやＵＳＢ（Universal Serial Bus）インターフェース等を用いればよい。

映像投映装置１２０は、映像補正装置１１０から出力された画像データをスクリーン１４０に投映するものであり、具体的には、液晶プロジェクタ等を用いることができる。なお、映像補正装置１１０によって画像データに幾何補正と画素値変換を行うことによって、平面ではないスクリーンにも、歪みのない映像を表示できる。

スクリーン１４０については、フロント投射用とリア投射用のどちらを使用することもでき、また、その形状は、平面状、円筒状、半球状等、撮像装置１３０が映像投映装置１２０からスクリーン１４０に投射されている投射光の全体を一点から撮影可能であるという条件を満たす範囲で任意のものを使用することができるが、本実施形態では、フロント投射用で矩形状のものを使用している。スクリーンの辺が直線である必要はなく、角が直角である必要もない。

撮像装置１３０は、スクリーン１４０に投映された映像を撮影した撮影画像データを映像補正装置１１０に送信する。なお、撮像装置１３０の露出および撮影タイミングについては、映像補正装置１１０の撮像装置制御部１１２ｂで制御することができるようにされている。例えば、撮像装置１３０は、デジタルカメラを使用することにより実現することができ、ＩＥＥＥ１３９４インターフェースやＵＳＢインターフェース等を用いて映像補正装置１１０とデータの送受信を行うことができるものを使用する。また、撮像装置１３０は、映像投映装置１２０からスクリーン１４０に投映されている投射光の全体を撮影することができるように設置し、位置や姿勢が変わらないように固定しておく。

以上のように構成される映像表示システムにおいて、１台のプロジェクタを用いて、歪みを抑えた映像を、スクリーンの境界と、前記プロジェクタの映像表示領域の境界が一致するようにスクリーンに投映するための幾何補正パラメタの生成方法について以下に説明する。

図８は、幾何補正パラメタの生成処理を説明する図である。幾何補正パラメタ生成部１１２ｆにおいて、既存の技術を用いて、形状が未知のスクリーンに歪みのない映像を表示するための幾何補正パラメタを生成する（Ｓ８００）。生成した幾何補正パラメタを旧幾何補正パラメタとして、旧幾何補正パラメタ記憶部１１４ｂに記憶する。なお、既存の技術で得られる前記幾何補正パラメタを施した画像をスクリーン１４０に投映すると、形状が未知のスクリーンの３次元形状の推定に誤差が生じやすいため、図１１に示すように、スクリーン領域１４０と旧幾何補正パラメタによる映像表示領域１１０１が一致せず、スクリーン領域１４０に映像の表示されない映像欠損領域１１０２が生じる。この映像欠損領域１１０２を観察者が知覚すると、没入感あるいは臨場感が低下する。このため、旧幾何補正パラメタを修正し、旧幾何補正パラメタの歪み補正の効果はなるべく維持しながらも、スクリーン領域ぴったりに映像を表示できるような新幾何補正パラメタを生成することが必要となる。

次に、投映座標・撮影座標対応データ生成部１１２ｄにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する（Ｓ８０１）。生成した投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部１１４ｆに記憶する。

次に、外周データ取得部１１２ｈにおいて、スクリーン外周データを取得する（Ｓ８０２）。取得したスクリーン外周データをスクリーン外周データ記憶部１１４ｈに記憶する。スクリーン外周データ取得処理に関しては図９において詳しく説明する。

次に、幾何補正パラメタ修正部１１２ｇにおいて、旧幾何補正パラメタを、スクリーン外周データと旧幾何補正パラメタ映像表示領域外周データを対応させることで修正し、新幾何補正パラメタを生成する（Ｓ８０３）。生成した新幾何補正パラメタを新幾何補正パラメタ記憶部１１４ｃに記憶する。幾何補正パラメタ修正処理に関しては図１０において詳しく説明する。なお、旧幾何補正パラメタ記憶部１１４ｂに新幾何補正パラメタを上書きしてもよい。

図９は、スクリーン外周データ取得処理を説明する図である。まず、初期設定を行う（Ｓ９００）。ここでの初期設定は、補正処理装置１１１に恒等変換幾何補正パラメタと恒等変換画素値変換パラメタとを設定する処理である。

次に、撮像装置１３０の露出調整を行う（Ｓ９０１）。この露出調整は、映像出力装置１００の画像記憶部１０２から、映像投映装置１２０に対して全ての画素の画素値が（２５５、２５５、２５５）の画素値の画像データを出力して、スクリーン１４０に映像を投映した際に、撮像装置１３０の撮影画像中において、前記映像投映装置１２０が投映した映像の画素値の平均値が１９２〜２４０の範囲に入るように露出値を調整するものである。ここで、この露出調整は、後述する２値化を安定して行うための処理であり、画素値が厳密にその範囲に入るようにする必要はなく、また、周囲にほかに明るいものがない場合には、撮影画像データの画素値の最大値がこの範囲に入るように調整してもよい。

次に、全体前景色画像データの生成を行う（Ｓ９０２）。この処理は、映像出力装置１００の画像記憶部１０２から、映像投映装置１２０に対して前景色の画素値、例えば全ての画素の画素値が（０、２５５、２５５）の画素値の画像データを出力してスクリーン１４０に投映した際の映像を、撮像装置１３０で撮影した際の撮影画像データを全体前景色画像データとする処理である。

次に、全体背景色画像データの生成を行う（Ｓ９０３）。この処理は、映像出力装置１００の画像記憶部１０２から、映像投映装置１２０に対して背景色の画素値、例えば全ての画素の画素値が（２５５、０、０）の画素値の画像データを出力してスクリーン１４０に投映した際の映像を、撮像装置１３０で撮影した際の撮影画像データを全体背景色画像データとする処理である。

次に、全体２値化画像データの生成を行う（Ｓ９０４）。この処理は、全体前景色画像データと全体背景色画像データとの対応する画素の各々において両者の差分値の絶対値を算出することで生成される絶対差分画像データを作成し、この絶対差分画像データに所定の閾値を用いた２値化処理を施し、その絶対差分値が閾値よりも大きい画素には画素値が１、その絶対差分値が閾値よりも小さい画素には画素値が０、となるようにして全体２値化画像データを作成する処理である。ここで、前記２値化の際に使用する所定の閾値は、例えば大津の判別分析法と呼ばれる方法等、既存の方法を用いて絶対差分画像データから自動で決定されるものを用いる。しかし、スクリーン１４０の指向性が高い場合など、絶対差分画像データにおける映像投映領域中の濃淡レベル変動が大きくなる場合には、２値化の閾値を画像データ全体で１つの固定値とせず、「動的閾値処理」と呼ばれる既存の方法を用いて(すなわち、「閾値」ではなく「閾面」を用いて)処理をしてもよい。

次に、スクリーン外周データの生成を行う（Ｓ９０５）。この処理は、全体２値化画像データの０と１の境界を探索することでスクリーン外周の座標値の列を抽出する処理である。以上でスクリーン外周データ取得処理を終了する。

図１０は、幾何補正パラメタ修正処理を説明する図である。また、図１３は、幾何補正パラメタ修正処理における４隅対応付けを説明する図である。図１０、図１３を用いて幾何補正パラメタ修正処理について説明する。

まず、フレームメモリ１１１ｂに記憶されている画像の４隅の点と、スクリーンの外周上の４点との対応付けをし、新幾何補正パラメタの４隅に対応する部分を設定する（Ｓ１００１）。前述のように、既存の方法あるいは設計値から、スクリーン４隅とフレームメモリ１１１ｂに記憶されている画像の４隅の対応関係を表すスクリーン４隅対応データを生成し、スクリーン４隅対応データ記憶部１１４ｇに記憶する。

前記図１３を用いて左上隅の１点に対する新幾何補正パラメタ修正について具体的に説明する。撮影画像１３００において、１３０１はスクリーン面、１３０２は旧幾何補正パラメタによって補正した画像を投映した時の映像表示領域である。スクリーン４隅対応データにより、点１３０４がスクリーンの左上隅の点であることが示されている。点１３０４に対応する、フレームメモリ１１１ｂに記憶されている画像１３１０の左上隅の点は１３１１であり、点１３１１は、旧幾何補正パラメタ１３０５においては点１３０８と対応している。なお、図７における参照関係と逆向きになっているが、双線形補間などにより互いに参照し合うことのできる対応関係であるので問題はない。ここで旧幾何補正パラメタ１３０５のデータ内における映像表示領域は１３０７であり、旧幾何補正パラメタによる補正では、該領域に画像１３１０がマッピングされる。図では１３０７は四辺形となっているが、各辺は一般に直線とは限らない。また、投映座標・撮影座標対応データにより、撮影側の点１３０４は投映側では点１３０９と対応していることがわかる。この点１３０９に画像１３１０の左上隅の点１３１１がマッピングされれば、旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域１３０２の左上隅の点１３０３はスクリーン左上隅の点１３０４に対応することになる。このようにして、新幾何補正パラメタの４隅に対応する部分を設定する。

次に、外周データ取得部１１２ｈにおいて、旧幾何補正パラメタ映像表示領域外周データを取得し、旧幾何補正パラメタ映像表示領域外周データ記憶部１１４ｉに記憶する（Ｓ１００２）。図１３においては旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域１３０２の外周データを取得することになる。詳細は後述する。

次に、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周を対応付けする（Ｓ１００３）。スクリーン外周データ記憶部１１４ｈからスクリーンの外周データを、旧幾何補正パラメタ映像表示領域外周データ記憶部１１４ｉから旧幾何補正パラメタ映像表示領域外周データを読み出し、両方のデータの各辺をｔ∈［０．０，１．０］の媒介変数表示で表して、両方のデータの対応する辺の組に対して、対応する点同士を４隅対応付け処理Ｓ１００１と同様に対応付けることで、新旧幾何補正パラメタ外周対応データを生成し、新旧幾何補正パラメタ外周対応データ記憶部１１４ｋに記憶する。スクリーン４隅対応データには４隅の位置データも含まれるため、両方のデータの４辺の対応関係も得られる。

次に、内部の点を、射影変換、双線形補間、ＲＢＦ（Radial Basis Function）などを用いて対応付ける（Ｓ１００４）。図１３においては、旧幾何補正パラメタのデータ内における映像表示領域１３０７が、更新された映像表示領域１３０６（一点鎖線の内部）に修正されたことになる。図では１３０６および１３０７は四辺形となっているが、各辺は一般に直線とは限らない。以上で幾何補正パラメタ修正処理を終了する。

図１５は、幾何補正パラメタ修正処理における内部の点の対応付け（図１０のステップＳ１００４）を説明する図であり、この図を用いて図１０に示すステップＳ１００４について説明する。前述のように、１３０５は幾何補正パラメタであり、旧幾何補正パラメタデータ内映像表示領域１３０７を新幾何補正パラメタデータ内映像表示領域１３０６に更新する場合を考える。

まず、単純な例として、旧幾何補正パラメタデータ内映像表示領域１３０７も新幾何補正パラメタデータ内映像表示領域１３０６も直線からなる四辺形である場合について説明する。これは平面スクリーンを仮定し、スクリーンの境界またはあらかじめ設定する領域が直線からなると仮定し、カメラ画像内でも映像表示領域が直線からなるような、理想的な場合である。この場合は、幾何補正パラメタ修正処理は旧幾何補正パラメタによる補正を施した四辺形を新幾何補正パラメタによる補正を施した四辺形に射影変換することを意味する。この射影変換は、ステップＳ１００１で得られる前記２つの四辺形の４頂点の対応付けから定義することができる。この場合はステップＳ１００２、Ｓ１００３は不要となる。

次に、一般的な例として、旧幾何補正パラメタデータ内映像表示領域１３０７も新幾何補正パラメタデータ内映像表示領域１３０６も四辺形に準ずる形状（全部の辺または一部の辺が曲線）である場合について説明する。これは曲面スクリーンを用いる場合、または、平面スクリーンを用いるが、スクリーンの境界またはあらかじめ設定する領域が曲線を含む場合である。また、一般的にスクリーンには施工誤差が発生することから、平面スクリーンを用いてスクリーンの境界またはあらかじめ設定する領域が直線からなると仮定する場合であっても、実際には撮影画像における映像表示領域には曲線が含まれる可能性があり、その場合もこの例に該当する。この場合は、例えば、次に説明する補間手法を用いる。

まず、入力画像において格子点を設定し、それらの格子点群を旧幾何補正パラメタに従ってマッピングする。図１５においては点１３０７ａ〜点１３０７ｔがマッピング後の格子点となる。当然ではあるが、各格子点間の距離は様々な値である。次に、各点に質点を置き、自然長が隣の格子点との距離に等しいバネで質点同士をつなぐことを想定する。バネは一次元方向のみに伸び縮みするものとする。この状態では弾性エネルギーは０である。幾何補正パラメタを更新することは、この状態において外周の点１３０７ａ〜点１３０７ｎを新幾何補正パラメタデータ内映像表示領域１３０６の外周の点１３０６ａ〜点１３０６ｎに移動させて固定することである。外周同士の対応関係は、ステップＳ１００３で既に得られているが、この補間手法の場合はステップＳ１００４の段階で初めて取得しても構わない。この時に内部の格子点１３０７ｏ〜点１３０７ｔの、更新後の点１３０６ｏ〜点１３０６ｔの位置を求めれば更新前後の格子点の偏移が全て求まり、例えば、外周の点１３０７ａ〜点１３０７ｎを新幾何補正パラメタデータ内映像表示領域１３０６の外周の点１３０６ａ〜点１３０６ｎに移動させて固定した際に弾性エネルギーの総和が最小になる時の内部の格子点の位置を算出すればよい。

以上より、例えば、旧幾何補正パラメタデータ内映像表示領域１３０７内部の点１５００の更新後の位置を得るには、旧幾何補正パラメタにおける、点１５００を含む四辺形（１３０７ｂ、１３０７ｃ、１３０７ｐ、１３０７ｏからなる四辺形）と、その四辺形に対応した、パラメタ更新後の四辺形（１３０６ｂ、１３０６ｃ、１３０６ｐ、１３０６ｏからなる四辺形）の間の射影変換を用いれば良い。

なお、ここまでに挙げた手法以外にも、各対応点の偏移ベクトル群に対する双線形補間やＲＢＦを用いた補間など、様々な補間手法を用いることができる。

図１４は、旧幾何補正パラメタ映像表示領域外周データ取得処理を説明する図である。まず、初期設定を行う（Ｓ１４００）。ここでの初期設定は、補正処理装置１１１に旧幾何補正パラメタと恒等変換画素値変換パラメタとを設定する処理である。ステップＳ１４０１以降の処理は図９に示すスクリーン外周データ取得処理の流れと同様であるため説明を省略する。この処理よりにより、旧幾何補正パラメタ映像表示領域外周データの取得処理が終了する。

図１２は、４辺対応付け処理Ｓ１００３においてスクリーンの外周と対応させる旧幾何補正パラメタによる映像表示領域の外周を、旧幾何補正パラメタのデータ内の映像表示領域ではなく、旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域のものとした理由を説明する図である。スクリーン１４０に映像投映装置１２０で、旧幾何補正パラメタによる補正を行った画像を投映し、その映像表示領域１１０１を撮像装置１３０で撮影するという構成である。また、撮影画像１２００において、映像表示領域は１２０１、スクリーンは１２０２である。また、旧幾何補正パラメタ１２０５において、１２０８は映像表示領域、１２０７は（０、０、０）を表示する領域である。また、Ａ−Ｂはスクリーンの下辺に対応し、Ａ’−Ｂ’は映像表示領域の下辺に対応する。また、スクリーン、撮影画像中のスクリーン、旧幾何補正パラメタの映像表示領域、のそれぞれの十字線は互いに対応している。

撮影画像中のスクリーンの下辺、撮影画像中の映像表示領域の下辺、旧幾何補正パラメタ中の映像表示領域の下辺、のそれぞれの、媒介変数表示ｔ＝０．５である点を、１２０４、１２０３、１２０６とする。この時、スクリーンの着目点１２０４は十字線の縦線の左側、旧幾何補正パラメタの着目点１２０６は十字線の縦線の右側にあたり、また、旧幾何補正パラメタは台形補正が掛かっている。それに対して、撮影画像中の映像表示領域の着目点１２０３は、十字線の縦線の左側にあり、また、外周の外形もスクリーンのものと似通っている。従って、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周を対応付ける方が、旧幾何補正パラメタのデータ内の映像表示領域の外周と対応付けるよりも、歪みの発生を抑えられることが期待できる。

以上説明したように、本実施形態によれば、撮影画像中におけるスクリーンの外周と既存の技術で生成した旧幾何補正パラメタによる補正後の映像表示領域の外周を対応付けることにより、前記旧幾何補正パラメタを修正して新幾何補正パラメタを生成する。このため、歪みの発生を抑えながら（新幾何補正パラメタによる）幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。

なお、スクリーン全体の外周ではなく、スクリーンの特定領域の外周に一致するような幾何補正パラメタを生成する場合は、前記特定領域を設計値として与えるか、マーカを設置して、前記特定領域を画像認識して取得できるようにすれば、本実施例と同様の処理を適用することができる。

図１１は、旧幾何補正パラメタおよび新幾何補正パラメタにより補正された映像の表示領域とスクリーンとの関係を説明する図である。ここまでは、図１１に示すように、旧幾何補正パラメタ映像表示領域１１０１はスクリーン１４０またはあらかじめ設定した領域の内部に全て含まれることを前提に説明した。しかし、本実施形態では、外周データ（映像表示領域の外周データとスクリーンの外周データ）の対応関係のみが必要なのであって、互いの外周データの内外関係には制約されない。また、旧幾何補正パラメタ映像表示領域１１０１が、スクリーン１４０から一部はみ出している場合でも、スクリーンからはみ出して撮像装置によって撮影されていない部分は投映座標・撮影座標対応データを用いて外挿することができる。このため、外挿後の旧幾何補正パラメタ映像表示領域１１０１に対して同様の手法を適用することができる。このことは、以降の実施形態ついても同様である。

また、複数台のプロジェクタを使用して複数の投映画像を滑らかに繋いで１つの映像を形成するシステムの場合においては、１つの映像を形成するための幾何補正パラメタを生成する過程で必ず全てのパラメタを１つの映像投映装置として扱える座標系を経由する。このため、前記座標系において本実施形態と同様の処理を適用すればよい。

［第２の実施形態］
次に、図１０、図１３、図１４を用いて、第２の実施形態について説明する。本実施形態では、第１の実施形態に示す映像表示システムおよびその調整方法において、旧幾何補正パラメタ映像表示領域外周データ取得処理を簡易にし、調整時間の短縮を図るものである。

図１０のステップＳ１００２にて行う旧幾何補正パラメタ映像表示領域外周データ取得処理を（図１４に記載の処理ではなく）図１３を用いて説明する。この場合フレームメモリの画像１３１０の外周データの取得を、旧幾何補正パラメタのデータ内の映像表示領域１３０７の外周を経由して撮影画像中の旧幾何補正パラメタの映像表示領域としてマッピングするという処理に置き換える。これにより、撮像装置１３０を用いる処理ではなくなり、第１の実施形態記載の方法と比較すると歪みの度合いが増す場合もあるが、調整時間の短縮をすることができる。

このように、本実施形態によれば、既存の技術で生成した旧幾何補正パラメタを、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周とを対応付けることで修正して、新幾何補正パラメタを生成する。この新幾何補正パラメタを用いることにより、歪みを抑えながらも、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、第１の実施形態記載の方法よりも調整時間を短縮をすることができる。

［第３の実施形態]
次に、図１６ないし図２０を用いて、第３の実施形態について説明する。本実施形態では、第１の実施形態に示す映像表示システムおよびその調整方法において、（幾何補正パラメタを更新するのではなく）スクリーンの外周データおよび映像表示領域の外周データをもとに直接幾何補正パラメタを生成する。これにより調整時間の短縮を図るものである。

本実施形態では、図３（第１の実施形態）における補正制御部１１２の代わりに図１７で説明する補正制御部１７０を、図３における記憶部１１４の代わりに図１８で説明する記憶部１８０を用いる。その他の構成は第１の実施形態と同様である。

図１７は本実施形態で用いる補正制御部１７０の構成を説明する図である。補正制御部１７０は、補正処理装置制御部１１２ａ、撮像装置制御部１１２ｂ、映像出力装置制御部１１２ｃ、投映座標・撮影座標対応データ生成部１１２ｄ、画素値変換パラメタ生成部１１２ｅ、幾何補正パラメタ生成部１７０ｆ、目標座標系設定部１７０ｇ、および外周データ取得部１１２ｈを備えている。補正処理装置制御部１１２ａ、撮像装置制御部１１２ｂ、映像出力装置制御部１１２ｃ、投映座標・撮影座標対応データ生成部１１２ｄ、画素値変換パラメタ生成部１１２ｅ、および外周データ取得部１１２ｈは第１の実施形態で説明したものと同様である。

目標座標系設定部１７０ｇは、撮影画像におけるスクリーンまたは映像表示領域に入力画像を貼り付けるための座標系を設定する。詳細は後述する。

幾何補正パラメタ生成部１７０ｆは、目標座標系、投映座標・撮影座標対応データをもとに、映像表示領域の境界がスクリーンの境界に一致するような幾何補正パラメタを生成する。詳細は後述する。

図１８は本実施形態で用いる記憶部１８０の構成を説明する図である。記憶部１８０は、恒等変換幾何補正パラメタ記憶部１１４ａ、目標座標系記憶部１８０ｂ、幾何補正パラメタ記憶部１８０ｃ、恒等変換画素値変換パラメタ記憶部１１４ｄ、画素値変換パラメタ記憶部１１４ｅ、投映座標・撮影座標対応データ記憶部１１４ｆ、スクリーン４隅対応データ記憶部１１４ｇ、スクリーン外周データ記憶部１１４ｈ、および画素値変換パラメタ生成用データ記憶部１１４ｊを備える。恒等変換幾何補正パラメタ記憶部１１４ａ、恒等変換画素値変換パラメタ記憶部１１４ｄ、画素値変換パラメタ記憶部１１４ｅ、投映座標・撮影座標対応データ記憶部１１４ｆ、スクリーン４隅対応データ記憶部１１４ｇ、スクリーン外周データ記憶部１１４ｈ、および画素値変換パラメタ生成用データ記憶部１１４ｊは第１の実施形態で説明したものと同様である。

目標座標系記憶部１８０ｂには、目標座標系設定部１７０ｇで作成した目標座標系データが記憶されている。目標座標系データは、入力画像の各画素位置に対応する撮影画像内の貼り付け位置を列挙したものであり、例えば、サイズは入力画像と等しく、画素値は貼り付け位置であるような画像データとして扱うことができる。

幾何補正パラメタ記憶部１８０ｃには、幾何補正パラメタ生成部１７０ｆで作成した幾何補正パラメタが記憶されている。幾何補正パラメタの形式は第１の実施形態と同様である。

図１６は、本実施形態の幾何補正パラメタの生成処理を説明する図である。まず、投映座標・撮影座標対応データ生成部１１２ｄにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する。生成した投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部１１４ｆに記憶する（Ｓ８０１）。詳細は第１の実施形態と同様である。

次に、外周データ取得部１１２ｈにおいて、スクリーン外周データを取得する。取得したスクリーン外周データはスクリーン外周データ記憶部１１４ｈに記憶する（Ｓ８０２）。詳細は実施形態１と同様である。

次に、目標座標系設定部１７０ｇにおいて、目標座標系を設定する。設定した目標座標系データは目標座標系記憶部１８０ｂに記憶する（Ｓ１６０３）。目標座標系の設定方法は後述する。

次に、幾何補正パラメタ生成部１７０ｆにおいて、映像表示領域の境界をスクリーンの境界またはあらかじめ設定した領域の境界に一致させるような幾何補正パラメタを生成する（Ｓ１６０４）。詳細は後述する。

本実施形態では、まず撮影画像内のスクリーンまたはあらかじめ設定した領域に、入力画像を貼り付けるための目標座標系を設定する。該目標座標系を設定することで、入力画像の各画素が撮影画像内のどの位置に表示されるべきかが決定し、該目標座標系に従って撮影画像内に貼られた入力画像の各画素に投映座標・撮影座標対応データを適用することで幾何補正パラメタを生成する。前記目標座標系を設定した時点で、映像表示領域の境界がスクリーンの境界または映像表示領域の境界に一致することが保証されるため、所望の幾何補正パラメタが生成されることになる。前記目標座標系の設定方法はカメラパラメタや設計値を用いるなど様々な方法を用いることができる。ここでは例を２つ挙げ、それらを図１９および図２０を用いて説明する。

図１９は、目標座標系の設定方法および幾何補正パラメタの生成方法（第１の方法）を説明する図である。ここで説明する方法は特に平面スクリーンの場合に適する。１３１０はフレームメモリ内画像であり以降、入力画像と呼ぶ。１３００は撮影画像であり、１３０１は撮影画像内スクリーンである。ここではスクリーンの境界に映像表示領域の境界を一致させる場合を説明するが、あらかじめ設定した領域の境界に映像表示領域の境界を一致させる場合も、１３０１をあらかじめ設定した領域とみなせばよい。

まず、入力画像１３１０を撮影画像１３００の内部の適当な位置に適当な拡大縮小をして貼り付ける。ここでは入力画像１３１０のアスペクト比は固定し、定数倍拡大して貼りつけた画像１９０１を考えるが、一般的な射影変換を行っても構わない。自ら定義した変換であるため、入力画像１３１０を変換した撮影画像内貼り付け画像１９０１の境界および格子点も容易に取得できる。尚、撮影画像への貼り付け方は、スクリーンからはみ出しても構わない。

次に、撮影画像内貼り付け画像１９０１の境界を撮影画像内スクリーン１３０１の境界に一致させる。スクリーン４隅対応データおよびスクリーン外周データは取得済であり、撮影画像内貼り付け画像１９０１の境界データも既述の通りに取得できるため、第１の実施形態の図１５で説明したのと同様の補間手法を用いることができ、それぞれの境界を一致させたときの内部の点、すなわち格子点群の偏移も算出することができる。この算出した境界および格子点群が、目標座標系データとなる。

次に、前記目標座標系データを投映座標・撮影座標対応データを用いて投映座標にマッピングする。すなわち、撮影画像内スクリーン１３０１に境界が一致するように各画素位置を偏移した撮影画像内貼り付け画像を幾何補正パラメタデータ内映像表示領域１９００にマッピングすることにより幾何補正パラメタ１３０５の生成が完了する。マッピングの際には双線形補間などを適宜用いると良い。例えば、入力画像１３１０の１つの画素１３１１は適当な変換により撮影画像内の画素１９０２にマッピングされ、次に、撮影画像内スクリーン１３０１と撮影画像内貼り付け画像１９０１の境界一致処理により撮影画像内の画素１３０４にマッピングされ、最後に、投映座標・撮影座標対応データにより幾何補正データ内の画素１３０９にマッピングされる。

図２０は、目標座標系の設定方法および幾何補正パラメタの生成方法（第２の方法）を説明する図である。ここで説明する方法は、曲面スクリーンの場合および平面スクリーンであってもスクリーンと撮像装置が正対していない場合に適している。

まず、入力画像１３１０を投映座標・撮影座標対応データを用いて撮影画像内にマッピングする。マッピングの際には双線形補間などを適宜用いると良い。ここでは撮影画像内貼り付け画像２００１として貼り付けられたものとする。当然ではあるが、この場合は撮影画像内貼り付け画像２００１は四辺形に準ずるものの、各辺は必ずしも直線にはならない。また、投映座標・撮影座標対応データは既知のマッピングであるため、撮影画像内貼り付け画像２００１の境界および格子点も容易に取得できる。なお、撮像装置と映像投映装置の位置関係によっては撮影画像内貼り付け画像２００１が撮影画像１３００からはみ出る場合もあるが、はみ出た部分も撮影画像と同じ座標系であると考えることで以降の手法を用いることができる。

次に、撮影画像内貼り付け画像２００１の境界を撮影画像内スクリーン１３０１の境界に一致させる。以降は図１９で説明した手法と同様にして目標座標系データが得られ、同様にして幾何補正パラメタ１３０５が生成される。例えば、入力画像１３１０の１つの画素１３１１は投映座標・撮影座標対応データにより撮影画像内の画素２００２にマッピングされ、次に、撮影画像内スクリーン１３０１と撮影画像内貼り付け画像２００１の境界一致処理により撮影画像内の画素１３０４にマッピングされ、最後に、投映座標・撮影座標対応データにより幾何補正データ内の画素１３０９にマッピングされる。この手法は、投映座標・撮影座標対応データがスクリーン形状の情報も含んでいるため、曲面スクリーンに対しても有効である。

以上、本実施形態によれば、入力画像の境界がスクリーンの境界に一致するような座標系を撮影画像中に設定し、その座標系を経由して幾何補正パラメタを生成することで、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、あらかじめ既存の方法で幾何補正パラメタを作る必要がないため、第１および第２の実施形態に示す方法よりも調整時間を短縮することができる。

［第４の実施形態］
次に、図２１ないし図２７を用いて、第４の実施形態について説明する。本実施形態は、第３の実施形態において、映像投映装置を複数台用い、スクリーンに表示された複数の映像を繋ぎ合わせて１つの映像とし、スクリーンの境界と、繋ぎ合わせた映像の表示領域の境界が一致するようにスクリーンに投映するように変更したものである。ここでは２台の映像投映装置を横に並べて用いる場合について説明する。

第３の実施形態に対して本実施形態では、図１の映像出力装置１００の代わりに図２１で説明する映像出力装置２１００を、図１の映像補正装置１１０の代わりに図２１で説明する映像補正装置２１１０を、図１の１台の映像投映装置１２０の代わりに図２１で説明する２台の映像投映装置１２０ａ、１２０ｂを、図２の１つの映像出力部１０４の代わりに図２２で説明する２つの映像出力部１０４ａ、１０４ｂを、図３の補正制御部１１２の代わりに図２３で説明する補正制御部２４０を、図３の記憶部１１４の代わりに図２３で説明する記憶部２５０を、図３の１つの補正処理装置１１１の代わりに図２３で説明する２つの補正処理装置１１１ａ、１１１ｂを、図１７の幾何補正パラメタ生成部１７０ｆの代わりに図２４で説明する幾何補正パラメタ生成部２４０ｆを、図１７の目標座標系設定部１７０ｇの代わりに図２４で説明する目標座標系設定部２４０ｇを、図１８の目標座標系記憶部１８０ｂの代わりに図２５で説明する目標座標系記憶部２５０ｂを、図１８の幾何補正パラメタ記憶部１８０ｃの代わりに図２５で説明する幾何補正パラメタ記憶部２５０ｃを用いる。更に、補正制御部２４０は上記に加えて重複領域データ取得部２４０ｉを新たに備え、記憶部２５０は上記に加えて重複領域データ記憶部２５０ｉを新たに備える。その他の構成は第３の実施形態と同様である。

図２１は、本実施形態の映像表示システムの概略構成を説明する図である。映像表示システムは、映像出力装置２１００、映像補正装置２１１０、２台の映像投映装置１２０ａ、１２０ｂ、撮像装置１３０、およびスクリーン１４０を備えている。そして、映像出力装置２１００から出力された映像に対して映像補正装置２１１０で幾何補正および画素値変換を行った後に、映像投映装置１２０ａおよび１２０ｂからスクリーン１４０に投映する。これにより、スクリーン１４０に所望の映像を表示することができる。

２台の映像投映装置１２０ａ、１２０ｂは、それぞれから投映される映像がスクリーン１４０上で一部が重複するように設置されている。また、スクリーン面の全てに映像を表示する場合には、スクリーン面が２台の映像投映装置の投映領域の和集合に含まれるようにする。ただし、スクリーン面の一部に設定した領域のみに映像を表示する場合には、スクリーン面は必ずしも２台の映像投映装置の投映領域の和集合に含まれる必要はない。本実施形態では、２台の映像投映装置から投映された映像をスクリーン上で１つの映像となるように繋ぎ合わせ、その繋ぎ合わされた映像の境界とスクリーンの境界またはあらかじめ設定した領域の境界が一致するような幾何補正パラメタの生成方法について説明する。

図２２は、映像出力装置２１００を説明する図であり、図２２に示すように、映像入力部１０１、画像記憶部１０２、映像制御部１０３、２つの映像出力部１０４ａ、１０４ｂ、第一の送受信部１０５を備えている。詳細は第１ないし第３の実施形態と同様である。２つの映像出力部１０４ａ、１０４ｂにそれぞれに対応する映像データを送信する方法としては、例えば、映像入力部１０１は互いに一部が重複した２つの映像データを保持し、映像制御部１０３が映像出力部１０４ａに対応する映像データと映像出力部１０４ｂに対応する映像データを送信してもよい。また、映像入力部１０１は１つの横長の映像データを保持し、映像制御部１０３が該映像データから映像出力部１０４ａおよび１０４ｂに対応する部分を、重複を考慮してそれぞれ切り出して対応する映像出力部にそれぞれ送信してもよい。

図２３は、映像補正装置２１１０を説明する図であり、図２３に示されているように、２つの補正処理装置１１１ａ、１１１ｂ、補正制御部２４０、入力装置１１３、記憶部２５０、第二の送受信部１１５、および第三の送受信部１１６を備えている。詳細は第１ないし第３の実施形態同様であるが、１つの映像投映装置に対して１つの補正処理装置が対応している。なお、図２４で説明する補正制御部２４０はそれぞれの補正処理装置に対応する幾何補正パラメタを生成し、対応する補正処理装置に出力する。図２５で説明する記憶部２５０はそれぞれの補正処理装置に対応する幾何補正パラメタ、画素値変換パラメタと、それぞれのパラメタを生成するためのデータを記憶する。

図２４は、補正制御部２４０を説明する図であり、詳細は第３の実施形態における図１７の補正制御部１７０と同様であるが、更に、重複領域データ取得部２４０ｉを備える。重複領域データ取得部２４０ｉは撮影画像内における２台の投映領域の重複する領域のデータを取得し、図２５で説明する記憶部２５０の重複領域データ記憶部２５０ｉに記憶する。重複領域データは、例えば、サイズは撮影画像と等しく、２つの映像表示領域内で重複している部分は「２」、重複していないがどちらかの映像表示領域である部分は「１」、どちらの映像表示領域でもない部分は「０」という画素値をもつ画像データである。また、外周データ取得部２４０ｈは、スクリーン外周データおよびそれぞれの映像投映装置のスクリーンへの表示領域の外周データを取得し、スクリーン外周データと共にスクリーン外周データ記憶部２５０ｈに記憶する。それぞれの取得方法に関しては後述する。また、目標座標系設定部２４０ｇは外周データと重複領域データの両方を考慮に入れた目標座標系を設定し、図２５で説明する記憶部２５０の目標座標系記憶部２５０ｂに記憶する。また、幾何補正パラメタ生成部２４０ｆは該目標座標系データと投映座標・撮影座標対応データを用いて、２台の映像投映装置から投映された映像を繋ぎ合わせ、繋ぎ合わされた映像の表示領域の境界がスクリーンの境界またはあらかじめ設定した領域の境界に一致するような幾何補正パラメタを生成し、図２５で説明する記憶部２５０の幾何補正パラメタ記憶部２５０ｃに記憶する。

図２５は記憶部２５０を説明する図であり、詳細は第３の実施形態における図１８の記憶部１８０と同様であるが、更に、重複領域データ記憶部２５０ｉを備える。目標座標系記憶部２５０ｂ、幾何補正パラメタ記憶部２５０ｃ、スクリーン外周データ記憶部２５０ｈ、および重複領域データ記憶部２５０ｉにはそれぞれ補正制御部２４０で生成されたデータあるいはパラメタが記憶される。

図２６は、本実施形態における幾何補正パラメタの生成処理を説明する図である。まず、投映座標・撮影座標対応データ生成部１１２ｄにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する。この場合、１つの映像投映装置に対して１つの投映座標・撮影座標対応データを生成する。このため、本実施形態では２つのデータが生成されることになる。なお、生成された投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部１１４ｆに記憶する。詳細は第１の実施形態と同様である（Ｓ２６０１）。

次に、外周データ取得部２４０ｈにおいて、スクリーン外周データおよび２台の映像投映装置１２０ａ、１２０ｂによるスクリーンへの表示領域の外周データを取得する。まず、それぞれの映像投映装置のスクリーンへの表示領域の外周データは、図９で説明した手法をそれぞれの映像投映装置に対して用いることで取得する。次に、前記２つの表示領域の和集合を取ることでスクリーン領域を取得し、そこからスクリーン外周データを取得する。該スクリーン外周データおよびそれぞれの映像投映装置の表示領域外周データをスクリーン外周データ記憶部２５０ｈに記憶する（Ｓ２６０２）。

次に、重複領域データ取得部２４０ｉにおいて、重複領域データを取得する。前記ステップＳ２６０２の処理において２台の映像投映装置のスクリーンへの映像表示領域データを生成しており、それらの撮影画像内での重複度数を数えることで重複領域データを取得する。該重複領域データを重複領域データ記憶部２５０ｉに記憶する（Ｓ２６０３）。

次に、目標座標系設定部２４０ｇにおいて、目標座標系を設定する。設定した目標座標系データを目標座標系記憶部１８０ｂに記憶する。目標座標系の設定方法は後述する（Ｓ２６０４）。

次に、幾何補正パラメタ生成部２４０ｆにおいて、映像表示領域の境界をスクリーンの境界またはあらかじめ設定した領域の境界に一致させるような幾何補正パラメタを生成する。詳細は後述する（Ｓ２６０５）。

本実施形態では、第３の実施形態と同様に、撮影画像内のスクリーンまたはあらかじめ設定した領域に、入力画像を貼り付けるための目標座標系を設定し、該目標座標系に従って撮影画像内に貼られた入力画像の各画素に２つの投映座標・撮影座標対応データを適用することで２つの幾何補正パラメタを生成する。なお、第３の実施形態と異なる部分としては、入力画像は、２つの補正処理装置１１１ａ、１１１ｂのフレームメモリに記憶される２つの画像をその重複部を重ね合わせて１つにした画像とすること、および入力画像の重複部にあたる部分は撮影画像内の映像表示領域の重複部に含まれるようにすることにある。

入力画像に関しては、例えば、各フレームメモリに記憶される画像のサイズが横１０００画素、縦７５０画素で重複部の幅が２００画素の場合には入力画像は横１８００画素、縦７５０画素の画像となる。

また、入力画像の重複部にあたる部分が撮影画像内の映像表示領域の重複部に含まれるときは、撮影画像内の映像表示領域の重複部のスクリーンの境界またはあらかじめ設定した領域の境界には入力画像の重複部の対応する境界が全て乗る必要があるが、撮影画像内の映像表示領域の重複部の全てを覆うように入力画像の重複部にあたる部分を貼り付ける必要はない。前記目標座標系の設定方法はカメラパラメタや設計値を用いるなど様々な方法を用いて良いが、ここでは図１９で説明した方法に準ずる方法を図２７を用いて説明する。

図２７は、本実施形態における目標座標系の設定方法および幾何補正パラメタの生成方法を説明する図である。ここで説明する方法は特に平面スクリーンの場合に適する。２７０３は前述の入力画像、１３１０ａは補正処理装置１１１ａのフレームメモリに記憶される画像、１３１０ｂは補正処理装置１１１ｂのフレームメモリに記憶される画像であり、１３１０ａの右側の網掛け部と１３１０ｂの左側の網掛け部が画像データにおける重複部であり、入力画像における網掛け部に対応する。１３００は撮影画像であり、１３０１はスクリーンである。２７０２ａは映像投映装置１２０ａの映像投映領域であり、該映像投映装置のスクリーン上の映像表示領域は領域ＡＥＨＣであり、２７０２ｂは映像投映装置１２０ｂの映像投映領域であり、該映像投映装置のスクリーン上の映像表示領域は領域ＧＤＢＦであり、２台の映像投映装置のスクリーン上の映像表示領域の重複部は領域ＧＤＣＨである。

まず、入力画像２７０３を撮影画像１３００の内部の適当な位置に適当に拡大縮小をして貼り付ける。詳細は図１９で説明した手法と同様である。撮影画像内貼り付け画像２７０１の境界および格子点は容易に取得でき、撮影画像内貼り付け画像２７０１内の重複部にあたる領域Ｇ’Ｄ’Ｃ’Ｈ’の境界も容易に取得できる。該重複部は網掛けで示した。

次に、撮影画像内貼り付け画像２７０１の境界を撮影画像内スクリーン１３０１の境界に一致させると同時に、撮影画像内貼り付け画像２７０１の重複領域Ｇ’Ｄ’Ｃ’Ｈ’の辺Ｇ’Ｈ’をスクリーン境界上の辺ＧＨに乗る（一致させる）ようにし、辺Ｄ’Ｃ’を辺ＤＣに乗るようにする。このとき、重複領域Ｇ’Ｄ’Ｃ’Ｈ’は２台の映像投映装置のスクリーン上の映像表示領域の重複領域ＧＤＣＨに全て含まれるようにする必要がある。また、辺Ｇ’Ｈ’は辺ＧＨに一致する必要はなく、例えば辺ＫＬに一致するようにしても構わない。また、辺Ｄ’Ｃ’も同様に辺ＩＪに一致するようにしても構わない。ここでは、重複領域Ｇ’Ｄ’Ｃ’Ｈ’を重複領域ＧＤＣＨに一致させるとして説明する。スクリーン４隅対応データおよびスクリーン外周データおよびそれぞれの映像投映装置の表示領域外周データは取得済であり、撮影画像内貼り付け画像２７０１の境界データおよび重複領域の境界データも既述の通りに取得できるため、辺Ｅ’Ｇ’を辺ＥＧに、辺Ｇ’Ｈ’を辺ＧＨに、辺Ｈ’Ｆ’を辺ＨＦに、辺Ｅ’Ａ’を辺ＥＡに、辺Ｇ’Ｄ’を辺ＧＤに、辺Ｈ’Ｃ’を辺ＨＣに、辺Ｆ’Ｂ’を辺ＦＢに、辺Ａ’Ｄ’を辺ＡＤに、辺Ｄ’Ｃ’を辺ＤＣに、辺Ｃ’Ｂ’を辺ＣＢに対応させ、第１の実施形態の図１５で説明したのと同様の補間手法を用いることができ、それぞれの辺を一致させたときの内部の点、すなわち格子点群の偏移も算出することができる。この算出した境界および格子点群が、目標座標系データとなる。

次に、該目標座標系データをそれぞれの映像投映装置に対応する投映座標・撮影座標対応データを用いて投映座標にマッピングすることにより（例えば、映像投映装置１２０ａに対応する幾何補正パラメタについて考えると、撮影画像内スクリーン１３０１の境界上の辺ＥＨ、辺ＥＡ、辺ＡＣおよび映像投映装置１２０ａの撮影画像内映像表示領域の境界上の辺ＨＣに境界が一致するように各画素位置を偏移した、撮影画像内貼り付け画像のうち補正処理装置１１１ａのフレームメモリに記憶される画像データに対応する領域Ｅ’Ｈ’Ｃ’Ａ’を幾何補正パラメタデータ内映像表示領域２７００ａにマッピングすることにより）、幾何補正パラメタ１３０５ａの生成が完了する。幾何補正パラメタ１３０５ｂについても同様である。

なお、補正処理装置１１１ａのフレームメモリに記憶される画像データ１３１０ａの１つの画素１３１１ａは入力画像においては画素１３１１に対応し、適当な変換により撮影画像内の画素２７０３にマッピングされ、次に、撮影画像内スクリーン１３０１と撮影画像内貼り付け画像２７０１の境界一致処理により撮影画像内の画素１３０４にマッピングされ、最後に、映像投映装置１２０ａに対応する投映座標・撮影座標対応データにより幾何補正データ内の画素１３０９ａにマッピングされる。

本実施形態によれば、映像投映装置を複数台用いる場合、入力画像の境界がスクリーンの境界に一致するような座標系を撮影画像中に設定し、その座標系を経由して幾何補正パラメタを生成する。これにより、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、重複領域において画像データが不足しないことも保証される。なお、本実施形態の手法は、３台以上の映像投映装置を用いる場合も同様に適用することができる。

以上説明したように、本発明の実施形態によれば、まず、特許文献１に記載の技術など、従来の技術によってスクリーンに歪みのない映像を表示することのできる幾何補正パラメタ(旧幾何補正パラメタ）を生成する。前述のように、ここで得られた幾何補正パラメタは、歪みはないものの、映像表示領域の境界がスクリーンの境界と一致することを保証するものではない。

次に、空間コード化法など従来の技術を用いて投映側の２次元座標系と撮影側の２次元座標系の対応関係のデータを得る。

次に、従来の技術を用いて撮影側の２次元座標系でのスクリーン外周データを取得する。

以上のデータから、スクリーンの境界とプロジェクタの映像表示領域の境界が一致するような新幾何補正パラメタを生成する。

すなわち、まず、旧幾何補正パラメタの外周に対応する部分がスクリーン外周データに一致するように、新幾何補正パラメタの外周に対応する部分を決定する。この時、旧幾何補正パラメタの外周に対応する部分は、撮影画像中の、旧幾何補正パラメタによる映像表示領域の外周に対応する部分を用いる。次に、旧幾何補正パラメタと新幾何補正パラメタの外周の対応に基いて、旧幾何補正パラメタから射影変換、双線形補間、ＲＢＦ(Radial Basis Function)などを用いて新幾何補正パラメタの内部領域のパラメタを決定する。

なお、旧幾何補正パラメタを作成せずに、画素を撮影画像におけるスクリーン領域に直接マッピングすることにより幾何補正パラメタ（新幾何補正パラメタに相当）を作成してもよい。

この場合には、例えば、前記撮影側の２次元座標系でのスクリーン外周データを考慮に入れて撮影側に目標座標系を張り、そこに、前記投映側の２次元座標系と撮影側の２次元座標系の対応関係のデータを適用して、入力画像の画素を直接マッピングするような幾何補正パラメタを生成する。

なお、複数台のプロジェクタを使用してそれらの投映画像を繋ぎ合わせて１つの画像を生成する場合には、隣り合う投映領域をもつプロジェクタの重複投映領域に関して、撮影画像上の重複領域に余りなく、入力画像の対応する部分がマッピングされるという条件を加えた上で、各入力画像の画素を直接マッピングするような幾何補正パラメタを生成する。

これにより、１台または複数台のプロジェクタを使用して、３次元形状が未知なスクリーン上に、歪みのない１つの映像を表示する映像表示システムにおいて、スクリーンの境界あるいはスクリーンの指定領域の境界と、プロジェクタの映像表示領域の境界を一致させることができる。このため、任意の形状のスクリーンに臨場感のある映像を表示することのできる。

第１の実施形態における映像表示システムの概略構成を説明する図。 映像出力装置１００の詳細を説明する図。 映像補正装置１１０の詳細を説明する図。 補正処理装置１１１の詳細を示す図。 補正制御部１１２の詳細を説明する図。 映像補正装置１１０の記憶部１１４の詳細を説明する図。 幾何補正パラメタおよび投映座標・撮影座標対応データを説明する図。 幾何補正パラメタの生成処理を説明する図。 スクリーン外周データ取得処理を説明する図。 幾何補正パラメタ修正処理を説明する図。 旧幾何補正パラメタおよび新幾何補正パラメタにより補正された映像の表示領域とスクリーンとの関係を説明する図。 ４辺対応付け処理Ｓ１００３においてスクリーンの外周と対応させる旧幾何補正パラメタによる映像表示領域の外周を旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周とした理由を説明する図。 幾何補正パラメタ修正処理における画像の４隅対応付けを説明する図。 旧幾何補正パラメタ映像表示領域外周データ取得処理を説明する図。 幾何補正パラメタ修正処理における内部の点の対応付けを説明する図。 第３の実施形態における幾何補正パラメタの生成処理を説明する図。 補正制御部１７０の構成を説明する図。 記憶部１８０の構成を説明する図。 目標座標系の設定方法および幾何補正パラメタの生成方法（第１の方法）を説明する図。 目標座標系の設定方法および幾何補正パラメタの生成方法（第２の方法）を説明する図 第４の実施形態における映像表示システムの概略構成を説明する図。 映像出力装置２１００を説明する図であ。 映像補正装置２１１０を説明する図であ。 補正制御部２４０を説明する図。 記憶部２５０を説明する図。 第４の実施形態における幾何補正パラメタの生成処理を説明する図。 目標座標系の設定方法および幾何補正パラメタの生成方法を説明する図。

符号の説明

１００、２１００ 映像出力装置
１１０、２１１０ 映像補正装置
１２０、１２０ａ、１２０ｂ 映像投映装置
１３０ 撮像装置
１４０ スクリーン
１０１ 映像入力部
１０２ 画像記憶部
１０３ 映像制御部
１０４、１０４ａ、１０４ｂ 映像出力部
１０５ 第一の送受信部
１１１、１１１ａ、１１１ｂ 補正処理装置
１１２、２４０ 補正制御部
１１３ 入力装置
１１４、２５０ 記憶部
１１５ 第二の送受信部
１１６ 第三の送受信部
１１１ａ 入力部
１１１ｂ フレームメモリ
１１１ｃ 幾何補正部
１１１ｄ 画素値変換部
１１１ｅ 出力部
１１１ｆ 画素値変換パラメタ記憶部
１１１ｇ 幾何補正パラメタ記憶部
１１１ｈ 補正データ入力部
１１２ａ 補正処理装置制御部
１１２ｂ 撮像装置制御部
１１２ｃ 映像出力装置制御部
１１２ｄ 投映座標・撮影座標対応データ生成部
１１２ｅ 画素値変換パラメタ生成部
１１２ｆ、１７０ｆ、２４０ｆ 幾何補正パラメタ生成部
１１２ｇ 幾何補正パラメタ修正部
１１２ｈ、２４０ｈ 外周データ取得部
１１４ａ 恒等変換幾何補正パラメタ記憶部
１１４ｂ 旧幾何補正パラメタ記憶部
１１４ｃ 新幾何補正パラメタ記憶部
１１４ｄ 恒等変換画素値変換パラメタ記憶部
１１４ｅ 画素値変換パラメタ記憶部
１１４ｆ 投映座標・撮影座標対応データ記憶部
１１４ｇ スクリーン４隅対応データ記憶部
１１４ｈ、２５０ｈ スクリーン外周データ記憶部
１１４ｉ 旧幾何補正パラメタ映像表示領域外周データ記憶部
１１４ｊ 画素値変換パラメタ生成用データ記憶部
１１４ｋ 新旧幾何補正パラメタ外周対応データ記憶部
７０、１２００、１３００ 撮影画像
７１、７３、７６、７７、１３０３、１３０４、１３０８、１３０９、１３１１、１９０２、２００２、１３１１ａ、２７０３、１３０９ａ 画素位置
７２、１３１０、１３１０ａ、１３１０ｂ フレームメモリ内画像
７４、１３０５、１３０５ａ、１３０５ｂ 幾何補正パラメタ
７５ 幾何補正パラメタデータ内映像表示領域
１１０１ 旧幾何補正パラメタ映像表示領域
１１０２ 映像欠損領域
１１０３ 新幾何補正パラメタ映像表示領域
１２０１、１３０２ 撮影画像内旧幾何補正パラメタ映像表示領域
１２０２、１３０１ 撮影画像内スクリーン
１２０３、１２０４、１２０６ 媒介変数表示ｔ＝０．５の位置
１２０５ 旧幾何補正パラメタ
１２０７ 旧幾何補正パラメタデータ内映像欠損領域
１２０８、１３０７ 旧幾何補正パラメタデータ内映像表示領域
１３０６ 新幾何補正パラメタデータ内映像表示領域
１７０ｇ、２４０ｇ 目標座標系設定部
１８０ｂ、２５０ｂ 目標座標系記憶部
１８０ｃ、２５０ｃ 幾何補正パラメタ記憶部
１９００、２７００ａ、２７００ｂ 幾何補正パラメタデータ内映像表示領域
１９０１、２００１、２７０１ 撮影画像内貼り付け画像
２４０ｉ 重複領域データ取得部
２５０ｉ 重複領域データ記憶部
２７０３ 入力画像
２７０２ａ、２７０２ｂ 撮影画像内投映領域

Claims (10)

1. 映像出力装置から出力された映像データに幾何補正および画素値変換を施す映像補正装置と、
   スクリーン面のすべてを映像投映領域に含むとともに前記幾何補正および画素値変換を施した映像をスクリーンに投映する映像投映装置と、
   スクリーン面のすべてを撮像領域に含むように設置された撮像装置と、
   前記映像出力装置および撮像装置を制御する制御装置を備え、
   前記制御装置は、映像出力装置を制御して前記スクリーンに複数のパターン映像を順次表示し、順次表示したパターン映像を撮像装置を制御して順次撮影してスクリーンの外周データを取得し、取得した前記スクリーンの外周データと幾何補正を施した映像のスクリーン上での映像表示領域の外周データをもとにこれら外周データが一致するような幾何補正パラメタを新たに生成することを特徴とする映像表示システムの調整システム。
2. 請求項１記載の映像表示システムの調整システムにおいて、
   スクリーンの外周データは、映像出力装置を制御して前記スクリーンに複数のパターン映像を順次表示し、順次表示したパターン映像を撮像装置を制御して順次撮影するに代えて設計値から取得することを特徴とする映像表示システムの調整システム。
3. 請求項１記載の映像表示システムの調整システムにおいて、
   前記幾何補正パラメタは、既知の幾何補正パラメタを修正して生成することを特徴とする映像表示システムの調整システム。
4. 請求項１記載の映像表示システムの調整システムにおいて、
   幾何補正を施した映像のスクリーン上での映像表示領域の外周データは、撮像装置の撮像画像から取得することを特徴とする映像表示システムの調整システム。
5. 請求項１記載の映像表示システムの調整システムにおいて、
   幾何補正を施した映像のスクリーン上での映像表示領域の外周データは、既存の幾何補正パラメタの撮影画像への写像から取得することを特徴とする映像表示システムの調整システム。
6. 請求項１記載の映像表示システムの調整システムにおいて、
   複数の映像投映装置を備え、前記制御装置は前記複数の映像投映装置がそれぞれ投映した映像を繋ぎ合わせた映像の表示領域の外周データとスクリーンの外周データが一致するような幾何補正パラメタを生成することを特徴とする映像表示システムの調整システム。
7. 請求項１記載の映像表示システムの調整システムにおいて、
   前記スクリーンは、円筒状または半球状であることを特徴とする映像表示システムの調整システム。
8. 請求項１記載の映像表示システムの調整システムにおいて、
   スクリーンの外周データに代えて、スクリーンに設定した任意領域の外周データを取得し、取得した前記任意領域の外周データと幾何補正を施した映像のスクリーン上での映像表示領域の外周データをもとにこれら外周データが一致するような幾何補正パラメタを新たに生成することを特徴とする映像表示システムの調整システム。
9. 映像出力装置から出力された映像データに幾何補正および画素値変換を施す映像補正装置と、
   スクリーン面の予め設定した領域を映像投映領域に含むとともに前記幾何補正および画素値変換を施した映像をスクリーンに投映する映像投映装置と、
   スクリーン面の前記領域を撮像領域に含むように設置された撮像装置と、
   前記映像出力装置および撮像装置を制御する制御装置を備え、
   前記制御装置は、映像出力装置を制御して前記スクリーンに複数のパターン映像を順次表示し、順次表示したパターン映像を撮像装置を制御して順次撮影して映像投映領域の外周データを取得し、取得した前記外周データと幾何補正を施した映像のスクリーン上での映像表示領域の外周データをもとにこれら外周データが一致するような幾何補正パラメタを新たに生成することを特徴とする映像表示システムの調整システム。
10. 映像出力装置から出力された映像データに幾何補正および画素値変換を施す映像補正装置と、
    スクリーン面のすべてを映像投映領域に含むとともに前記幾何補正および画素値変換を施した映像をスクリーンに投映する映像投映装置と、
    スクリーン面のすべてを撮像領域に含むように設置された撮像装置と、
    前記映像出力装置および撮像装置を制御する制御装置を備え、
    前記制御装置は、スクリーンの外周データを前記撮像装置の撮影画像または設計値から取得し、前記映像出力装置から出力した映像を、スクリーンの外周に前記映像の外周が一致するように貼り付けるという写像を用いて幾何補正パラメタを生成することを特徴とする映像表示システムの調整方法。

Images