JP2007300539A

JP2007300539A - 映像表示装置の調整システムおよび映像表示装置の調整方法

Info

Publication number: JP2007300539A
Application number: JP2006128353A
Authority: JP
Inventors: Hideyuki Sakai; 秀行坂井; Takeshi Minagawa; 剛皆川; Masami Yamazaki; 眞見山崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-05-02
Filing date: 2006-05-02
Publication date: 2007-11-15
Anticipated expiration: 2026-05-02
Also published as: JP4703476B2

Abstract

【課題】１方向の撮影のみでは調整できないスクリーンを備える映像表示装置において、高品質な調整結果を安定して得る。
【解決手段】部分映像データを出力する映像生成装置、幾何補正パラメタ記憶部、画素値変換パラメタ記憶部、幾何補正パラメタに基づく幾何補正部、画素値変換パラメタに基づく画素値変換部を備え、入力映像データに対して幾何補正等を施し投映装置に出力する映像補正装置、幾何補正等が施された映像を投映する映像投映装置、を備えた映像表示装置を複数備え、各映像表示装置の画素値変換パラメタを調整して複数の映像を滑らかに接続して表示する映像表示装置、隣接する撮像領域の一部が互いに重複するように配置した複数の撮影装置、複数の映像表示装置、撮影装置を制御する制御装置を備え、制御装置は映像表示装置を制御してパターン映像をスクリーンに表示し、表示映像を撮像し、撮像画像データに基づいて画素値変換パラメタを作成する。
【選択図】図１

Description

本発明は、映像表示技術にかかり、特に複数の映像表示装置により形成される複数の映像を調整し、滑らかに接続してスクリーンに表示する映像表示装置の調整システムおよび調整方法に関する。

複数のプロジェクタを使用してスクリーン上で１つの映像を形成する映像表示システムとして、特許文献１記載の技術が知られている。前記複数のプロジェクタ投映画像を滑らかに繋げるためには、プロジェクタで投映する画像に幾何学的補正(以降、幾何補正と呼ぶ)と、明るさや色合いの補正(以降、色調補正と呼ぶ)を施す必要がある。特許文献１では、そのような画像補正パラメタを、スクリーンに投映されたプロジェクタ映像(以降、調整領域と呼ぶ)をデジタルカメラなどの計測機器(以降、カメラとする)で撮影した画像を解析することにより生成することが示されている。

また、スクリーンが大きい、あるいはスクリーンにオクルージョンがある、あるいはカメラの設置場所に制約がある場合等、カメラ１台の１方向の撮影ではスクリーン全体を撮影することが難しい場合、すなわち画像補正パラメタを生成するための撮影画像を取得することが難しい場合には、複数台のカメラを用いるか、あるいは１台のカメラを複数の方向に向けて複数回用いることが特許文献１に示されている。

また、特許文献１には、８台のプロジェクタからなるシステムにおいて、４台のプロジェクタの映像を１台のカメラで撮影し、残りの４台のプロジェクタの映像をもう１台のカメラで撮影すること、あるいは前記カメラの撮影方向を変えて撮影すること、およびそれら２枚の撮影画像が重複部分を持つように撮影し、撮影した２枚の撮影画像を繋ぎ合わせた画像を画像補正パラメタの生成に用いる方法が例示されている。なお、特許文献１には、画像補正パラメタの具体的な生成方法、すなわち、取得した撮影画像の解析方法は開示されていない。
特開２０００−３５０２３０号公報

複数のプロジェクタを使用してスクリーン上に１つの映像を形成する映像表示システムにおいては、従来、カメラ１台で調整領域全体を撮影できるくらいの大きさの平面スクリーンあるいは半球面スクリーンを対象とする場合が多い。しかし、近年では、例えば、全球スクリーンを始めとする全方位スクリーン、３６０°円筒スクリーン、地下道の壁面のような横長スクリーン、ビルの壁面のような縦長スクリーン、あるいはオクルージョンが存在するような特殊な形状のスクリーンなど、カメラ１台で調整領域全体を撮影できないようなスクリーンを備えるシステムも出現している。また、計測装置にネットワークカメラなどの低解像度のカメラを用いた安価なシステムを構成した場合には、カメラ１台で調整領域全体を撮影できないことがある。さらに、通常の大きさのスクリーンであっても、十分な撮影距離を得られないなど設置上の制約がある場合には、カメラ１台で調整領域全体を撮影できないことがある。

このようにカメラ１台で１方向の撮影をする方法では、画像補正パラメタを生成できないようなシステム構成の場合、前述のように、複数台のカメラを用いるか、あるいは１台のカメラの撮影方向を変えて複数回撮影することが必要となる。

前述のように、特許文献１には、調整領域の撮影画像の取得方法に関する技術が示されており、その方法の１つとして、調整領域が大きい場合において、複数のカメラを用いて調整領域の部分領域を撮影し、撮影した画像を繋ぎ合せて調整領域全体を撮影した画像を生成する方法が示されている。しかし、この方法はプロジェクタとカメラの位置関係を示すデータを保持することを必要としており、このデータを厳密に作ることは困難である。このため、カメラ間の位置関係を厳密に求めることが困難であり、複数のカメラの撮影画像を正しく繋ぎ合わせることは困難となる。このため、得られた画像の繋ぎ合わせ部分の色合いが正確でないという問題がある。また、このような方法では、カメラの明るさから画素値への変換を行う部分の個体差を考慮に入れていないため、全体として色合いの不自然な画像となってしまう問題もある。前記特許文献１記載の技術は、調整領域の撮影画像を解析して画像補正パラメタを生成する技術であるが、前記撮影画像が不正確および不自然であるため調整領域全体が滑らかに繋がるような画像補正パラメタを生成することは困難であった。

また、前記特許文献１において、カメラの個体差を補うための較正を行うことも考えられるが、通常のデジタルカメラではこの較正を精度良く行うことは困難である。なお、より高性能な計測機器を用いることで精度を上げることも可能であるが、その場合はシステム全体のコストが高くなるという問題が生じる。

このように、従来の技術では、スクリーンの調整領域が広い場合、あるいはスクリーンを撮影するカメラに設置上の制約がある場合等で、複数台のカメラを用いて、あるいは１台のカメラを複数の方向に向けてスクリーンを撮影しなければならない映像表示システムに対しては十分な画質に調整することは困難であった。

本発明は、これらの問題点に鑑みてなされたもので、カメラ１台による１方向の撮影のみでは調整できないようなスクリーンを備える映像表示装置においても、より高品質な調整結果（複数の映像が滑らかに接続した画像）をより安定して得ることができる映像表示装置の調整システムおよび調整方法を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

担当部分の映像データを生成し、生成した映像データを映像補正装置に出力する映像生成装置と、幾何補正パラメータを格納する幾何補正パラメタ記憶部、画素値変換パラメタを格納する画素値変換パラメタ記憶部、前記幾何補正パラメタに基づいて幾何補正処理を行う幾何補正部、および前記画素値変換パラメタ基づいて画素値変換処理を行う画素値変換部を備え、入力された前記映像データに対して前記幾何補正部において幾何補正処理を施し、前記画素値変換部において画素値変換処理を施して画像投映装置に出力する映像補正装置と、前記幾何補正処理および画素値変換処理が施された映像データをスクリーンに投映する映像投映装置と、を備えた映像表示装置を複数備え、各映像表示装置の画素値変換パラメタを調整して前記複数の映像表示装置により形成される複数の映像を滑らかに接続して前記スクリーンに表示する映像表示装置と、それぞれの撮影装置の隣接する撮像領域の一部が互いに重複するように配置した複数の撮影装置と、前記複数の映像表示装置および複数の撮影装置を制御する制御装置を備え、該制御装置は、前記映像表示装置を制御してパターン映像をスクリーンに表示し、撮影装置を制御して表示した前記パターン映像を撮像し、撮像した画像データに基づいて前記画素値変換パラメタを作成する。

本発明は、以上の構成を備えるため、カメラ１台による１方向の撮影のみでは調整できないようなスクリーンを備える映像表示装置においても、より高品質な調整結果（複数の映像が滑らかに接続した画像）をより安定して得ることができる映像表示装置の調整システムおよび調整方法を提供することができる。

以下、本発明の実施形態について説明する。なお、いずれの実施形態においても、説明を簡単にするため、映像の調整は１つのパラメタのみについて実施するものとした。実際の実施に際しては、例えば、各映像投映装置のＲ、Ｇ、Ｂの各色の特性を予め揃えた上でＲ、Ｇ、Ｂのうちのいずれか１色について本発明の方法で調整を実施してもよいし、また、例えば、Ｒ、Ｇ、Ｂの各々の色に対してそれぞれ本発明の方法で調整を実施してもよい。その際、Ｒ、Ｇ、Ｂの各色成分を含む白やグレーのパターンを用いることで、実際にはＲ、Ｇ、Ｂの各色を同時に調整するようにしてもよい。

以降、各カメラの担当領域に対する画像補正パラメタを得る方法の一例として特願２００６−２４６２７に記載の技術を用いた例について説明するが、本発明の趣旨に合う方法であれば、各カメラの担当領域に対する画像補正パラメタを得る方法として他の方法を用いることを制限するものではない。
［第１の実施形態］

以下、図１〜図２８を用いて、第１の実施形態について説明する。なお、それぞれの図において同じ符号は同じものを示している。

図１は、本実施形態における映像表示装置の調整システムを説明する図である。この装置では、図２で詳細に説明するように、上下方向２台、左右方向６台の合計１２台の映像投映装置がスクリーンに映像を投映する装置において、上下方向２台、左右方向２台の、合計４台の映像投映装置の調整を１台の撮影装置が担当し、合計３台の映像投映装置で１２台の映像投映装置を調整する。前記台数や配置、撮影装置の担当の方法はこれに限られないことはもちろんである。

図１において、映像生成装置１００は、制御信号送受信部１０３を経由して全体制御装置１１０から受信した制御信号に基づいて、あらかじめ静的画像データ記憶部１０４に記憶しておいた画像データを、映像出力部１０１Ａ〜映像出力部１０１Ｌから出力する。その際、映像出力部１０１Ａ〜映像出力部１０１Ｌのすべてから同一の画像データを出力するとは限らず、それぞれの映像出力部から異なる画像データを出力する場合もある。それらの各動作に関しては、動作制御部１０２によって制御を行う。ここで、静的画像データ記憶部１０４は例えば不揮発性メモリやＤＶＤ等のデータ記録媒体として構成し、制御信号送受信部１０３は例えばＲＳ−２３２Ｃインタフェースやネットワークインタフェースとして構成すればよい。

全体制御装置１１０は、映像出力部１０１Ａ〜映像出力部１０１Ｌのそれぞれから出力された映像データを補正して出力するための映像補正装置１１１Ａ〜映像補正装置１１１Ｌを備え、さらに、撮影装置１４０Ａを制御するための撮影装置制御装置１１２Ａ、撮影装置１４０Ｅを制御するための撮影装置制御装置１１２Ｅ、撮影装置１４０Ｉを制御するための撮影装置制御装置１１２Ｉ、および映像生成装置１００を制御するための映像生成装置制御装置１１３を備える。全体制御装置１１０の構成については図３において、また、各映像補正装置の構成については図１０においてそれぞれ詳細に説明する。

映像投映装置１２１Ａ〜映像投映装置１２１Ｌは、それぞれ映像補正装置１１１Ａ〜映像補正装置１１１Ｌが出力した映像データをスクリーン１３０に投映する。具体的には、液晶プロジェクタやＤＬＰプロジェクタなどを使って実施することができる。スクリーン１３０上で投映領域が隣接する映像投映装置同士には、互いに投映領域が重なり合うように設置しておき、スクリーン１３０上の映像が１２個の映像としてではなく、滑らかにつながった１つの映像として鑑賞されるようにする。このため、各々の映像補正装置は各々独立に、映像生成装置１００から入力された入力画像データに対して幾何補正処理および画素値変換処理を施した上で各々の映像投映装置に出力するように構成する。なお、スクリーン１３０の形状としては、平面、円筒、半球面など、任意のものを使用することができる。また、フロント投射用とリア投射用のいずれをも使用することもできる。

撮影装置１４０Ａ、撮影装置１４０Ｅ、および撮影装置１４０Ｌは、全体制御装置１１０により露出と撮影タイミングの制御を行うことができる。また、撮影した画像データは全体制御装置１１０に転送することができる。撮影装置は、シャッタースピードあるいは絞りの制御が可能なデジタルスチルカメラ等を用いて構成すればよい。なお、全体制御装置１１０との間のインタフェースとしては、例えばＩＥＥＥ１３９４インタフェース、あるいはＵＳＢインタフェースを用いるとよい。なお、撮影装置１４０Ａはスクリーン１３０上の映像投映装置Ａ〜映像投映装置Ｄの投映領域を、撮影装置１４０Ｅはスクリーン１３０上の映像投映装置Ｅ〜映像投映装置Ｈの投映領域を、撮影装置１４０Ｉはスクリーン１３０上の映像投映装置Ｉ〜映像投映装置Ｌの投映領域をそれぞれ包含する領域が撮影できるように設置し、位置や姿勢が変わらないように固定しておく。

なお、撮影装置制御装置１１２Ａ、撮影装置制御装置１１２Ｅ、撮影装置制御装置１１２Ｉおよび撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｅは、映像表示システムを調整する時にだけ必要な構成要素であり、映像表示システムの運用時、すなわち、実際の映像コンテンツを本システムで表示して鑑賞する場合には不要な構成要素である。

図２は、本実施形態における映像投映装置の投映領域と撮影装置の撮影領域の関係を説明する図である。この例では、スクリーンはリア投射用であり、撮影装置は背面から投射した映像を正面から撮影する。また、簡単のため、映像投映装置のいくつかを省略して記載している。

映像投映装置１２１Ａ〜映像投映装置１２１Ｌは、それぞれの投映領域２２１Ａ〜投映領域２２１Ｌが、図２のように上下２面、左右６面の並びとなり、隣り合う投映領域が重複部を持つように設置されている。また、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉは、撮影装置１４０Ａの撮影領域２２２Ａが投映領域２２１Ａ〜投映領域２２１Ｄを全て含むように、撮影装置１４０Ｅの撮影領域２２２Ｅが投映領域２２１Ｅ〜投映領域２２１Ｈを全て含むように、また撮影装置１４０Ｉの撮影領域２２２Ｉが投映領域２２１Ｉ〜投映領域２２１Ｌを全て含むように、そして、隣り合う撮影領域が重複部を持つように設置されている。これは、ひとつの撮影領域には必ず、包含する４つの投映領域の外に、その包含投映領域と隣り合う投映領域の一部が含まれていることを意味している。

この条件を満たしていれば、各々の映像投映装置および各々の撮影装置の設置精度には厳密さは必要ない。

図３は、全体制御装置１１０の構成を説明する図である。簡単のため、映像補正装置および撮影装置制御装置は一部のみを示してある。

全体制御装置１１０は、映像補正装置１１１Ａ〜映像補正装置１１１Ｄ、撮影装置制御装置１１２Ａ、映像生成装置制御装置１１３、演算処理装置３００、主記憶装置３１０、コマンド入力装置３２０、および外部記憶装置３３０とを備える。

撮影装置制御装置１１２Ａは、撮影装置１４０Ａ側のインタフェースに合わせて、例えばＩＥＥＥ１３９４インタフェースやＵＳＢインタフェースを備えるとよい。また、映像出力装置制御装置１１３は、映像生成装置１００側のインタフェースに合わせて、例えばＲＳ２３２Ｃインタフェースやネットワークインタフェースを備えるとよい。

全体制御装置１１０の各種処理は、各々に必要となるプログラムやデータを外部記憶装置３３０から主記憶装置３１０に読み込み、演算処理装置３００によって処理することで実施する。外部記憶装置３３０は、ハードディスクやフラッシュメモリとして実施すればよい。また、コマンド入力装置３２０は「調整開始」などのユーザコマンドを入力するためのものであり、例えばキーボードやマウスにより構成する。

主記憶装置３１０に記憶するプログラムやデータは、その役割や用途に応じていくつかに分類することができる。理解の便を図るため、以降、分類した上で説明を行うことにする。ドライバ記憶部３１１に記憶するプログラムについては図４を用いて、プログラム記憶部３１２に記憶するプログラムについては図５を用いて、静的データ記憶部３１３に記憶するデータについては図６を用いて、動的データ記憶部３１４に記憶するデータについては図７を用いて、中間データ記憶部３１５に記憶するデータについては図８を用いて、それぞれ説明する。

図４は、本実施形態のシステムにおいてドライバ記憶部３１１に格納するプログラムの説明図である。

ドライバ記憶部３１１には、幾何補正パラメタ設定プログラム４００、画素値変換パラメタ設定プログラム４０１、撮影装置制御プログラム４０２、および映像生成装置制御プログラム４０３を記憶する。

幾何補正パラメタ設定プログラム４００は、図７で説明する各面幾何補正パラメタ７００を、映像補正装置１１１Ａ〜映像補正装置１１１Ｌの各々に、図１０で説明する幾何補正パラメタ１００６として設定するためのプログラムであり、各々のパラメタの間のフォーマット変換や、映像補正装置１１１Ａ〜映像補正装置１１１Ｌへのパラメタ入力インタフェースの制御を担当する。

画素値変換パラメタ設定プログラム４０１は、図７で説明する各面画素値変換パラメタ７０１を、映像補正装置１１１Ａ〜映像補正装置１１１Ｌの各々に、図１０で説明する画素値変換パラメタ１００８として設定するためのプログラムであり、各々のパラメタの間のフォーマット変換や、映像補正装置１１１Ａ〜映像補正装置１１１Ｌへのパラメタ入力インタフェースの制御を担当する。

撮影装置制御プログラム４０２は、撮影装置制御装置１１２Ａを介して撮影装置１４０Ａを制御し、撮影装置制御装置１１２Ｅを介して撮影装置１４０Ｅを制御し、また撮影装置制御装置１１２Ｉを介して撮影装置１４０Ｉを制御するためのプログラムであり、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉの露出、および撮影タイミングの制御、並びに撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉとの間のデータ授受のためのインタフェースの制御を担当する。

映像生成装置制御プログラム４０３は、映像生成装置制御装置１１３を介して映像生成装置１００を制御するためのプログラムであり、映像生成装置１００の静的画像データ記憶部１０４に記憶されている画像データのうちからどの画像データを選択して出力させるかの識別子を送信し、出力させる。

図５は、プログラム記憶部３１２に格納するプログラムの説明図である。プログラム記憶部３１２には、全体調整プログラム５００、最小入力レベル目標値決定プログラム５０１、最大入力レベル目標値決定プログラム５０２、中間入力レベル目標値決定プログラム５０３、最小入力レベルフィードバック調整プログラム５０４、最大入力レベルフィードバック調整プログラム５０５、中間入力レベルフィードバック調整プログラム５０６、基準領域対応目標値決定プログラム５０７、基準領域対応フィードバック調整プログラム５０８、撮像素子異常検出補正プログラム５０９、パラメタ平滑化プログラム５１０、および映像表示領域外パラメタ修正プログラム５１１を記憶する。

全体調整プログラム５００は、コマンド入力装置３２０から「調整開始」コマンドが入力されると開始されるプログラムであり、スクリーン１３０上に投映される映像の調整を撮影装置１４０などを制御して行って、図７で説明する各面画素値変換パラメタ７０１を更新するためのプログラムである。全体調整プログラム５００の実施する全体調整処理の詳細は、図１４を用いて説明する。

詳細な説明は図１４を用いて行うが、図１０で説明する画素値変換部１００３に入力される画素値を入力レベル、画素値変換部１００３から出力する画素値を出力レベルと定義すると、本発明の画素値変換パラメタ調整方法の概略は、（１）最初に、複数台の撮影装置のうちの１台(本実施形態では撮影装置１４０Ｅ)の撮影領域(２２２Ｅ)を調整する。まず、画素ごとに複数の入力レベルに対して各々最適な出力レベルを、例えば前記特願２００６−２４６２７に記載のフィードバック方式によって決定し、（２）それらの結果を包括的に眺めて最終結果の画素値変換パラメタを生成する。（３）次に、調整が終わった撮影領域と隣り合う撮影領域(２２２Ａ、２２２Ｉ)を、それぞれ対応する撮影装置(１４０Ａ、１４０Ｉ)を用いて、最初に調整した撮影領域の結果と滑らかに繋がるように、（１）、（２）の通りに調整する、ということになる。本発明では、前記フィードバック方式による調整において、フィードバック調整の際の目標値を決める方法、および実際のフィードバック調整の方法は、最小入力レベル（本実施形態では０）、最大入力レベル（本実施形態では２５５）、中間入力レベル（本実施形態では６４と１２８と１９２）、２つ目以降の撮影領域の場合、のそれぞれに対して異なる処理を行うようにした。目標値を決める方法に関して、最小入力レベル目標値決定プログラム５０１の実施する最小入力レベル目標値決定処理の詳細を図１６を用いて、最大入力レベル目標値決定プログラム５０２の実施する最大入力レベル目標値決定処理の詳細を図１８を用いて、中間入力レベル目標値決定プログラム５０３の実施する中間入力レベル目標値決定処理の詳細を図２０を用いて、基準領域対応目標値決定プログラム５０７の実施する２つ目以降の撮影領域調整時の目標値決定処理の詳細を図２５を用いて、それぞれ説明する。また、フィードバック調整の方法に関して、最小入力レベルフィードバック調整プログラム５０４の実施する最小入力レベルフィードバック調整処理の詳細を図１７を用いて、最大入力レベルフィードバック調整プログラム５０５の実施する最大入力レベルフィードバック調整処理の詳細を図１９を用いて、中間入力レベルフィードバック調整プログラム５０６の実施する中間入力レベルフィードバック調整処理の詳細を図２１を用いて、基準領域対応フィードバック調整プログラム５０８の実施する２つ目以降の撮影領域のフィードバック調整処理の詳細を図２６を用いて、それぞれ説明する。

撮像素子異常検出補正プログラム５０９は、撮影画像において撮影装置１４０Ａなどの撮像素子面上のゴミなどの影響がある領域を検出し、近くの画素の特性を用いて補正するプログラムであるが、詳細は省略する。

パラメタ平滑化プログラム５１０は、撮影装置の有する撮像素子の画素数がスクリーン上に投映される映像全体の画素数に較べて少ない場合に投映画像の複数画素が撮影画像の１画素として扱われる影響や、スクリーンゲインやホットスポットなど環境の影響などにより近似誤差などがノイズとしてフィードバック処理後の画素値変換パラメタに含まれるため、該ノイズを緩和するための平滑化を施すプログラムであるが詳細は省略する。

映像表示領域外パラメタ修正プログラム５１１は、各映像投映装置の投映領域のうち、実際に映像を表示している領域以外の領域に対応する画素値変換パラメタに外挿などの修正を行うプログラムであるが、詳細は省略する。

図６は、静的データ記憶部３１３に格納するデータを説明する図である。静的データ記憶部３１３に記憶するデータ群は、設計値から決定することのできるデータ群である。

本実施形態においては、説明を簡単にするため、図１０で説明する映像補正装置において幾何補正部に入力される画像データと幾何補正部から出力される画像データとは同一の解像度を有するものとする。なお、幾何補正部において解像度変換が為される場合、それに合わせた座標変換を行うことにより本発明を実施することは容易である。

静的データ記憶部３１３には、中間入力レベル集合データ６００、調整回数設定データ６０１、調整順序設定データ６０２、恒等変換幾何補正パラメタ６０３、および恒等変換画素値変換パラメタ６０４を記憶する。

中間入力レベル集合データ６００は、調整を実施する中間レベルの集合を定義したデータであり、本実施形態では（６４、１２８、１９２）である。調整回数設定データ６０１は、ある１つの撮影領域の調整が終わり、その調整結果と滑らかに繋がるように２つ目以降の撮影領域を調整する際に、調整回数を何回に分けて行うかを設定するデータであり、本実施形態では２回である。調整順序設定データ６０２は、２つ目以降の撮影領域を調整する際に、次にどの調整領域を調整するのかの順番を設定するデータであり、本実施形態では、撮影領域２２２Ｅを最初に調整し、次に撮影領域２２２Ａと撮影領域２２２Ｉを同時に調整する。調整回数設定データ６０１と調整順序設定データ６０２は、調整回数設定データが０のときは撮影領域２２２Ｅを調整し、調整回数設定データが１のときは撮影領域２２２Ａと撮影領域２２２Ｉを同時に調整する、というような、ルックアップテーブルのような関係にするとよい。恒等変換幾何補正パラメタ６０４は、図１０で説明する幾何補正部１００２において入力された画像データと同一の画像データを出力するためのパラメタであり、同様に、恒等変換画素値変換パラメタ６０５は、図１０で説明する画素値変換部１００３において入力された画像データと同一の画像データを出力するためのパラメタである。

なお、恒等変換幾何補正パラメタ６０４および恒等変換画素値変換パラメタ６０５はシステムにおいて一意に定まるパラメタであるため、データとしては保持せずに、その都度、それぞれ幾何補正パラメタ設定プログラム４００および画素値変換パラメタ設定プログラム４０１によって生成して映像補正装置１１１Ａ〜映像補正装置１１１Ｌに設定するようにしてもよい。また、映像補正装置１１１Ａ〜映像補正装置１１１Ｌの機能として、幾何補正部１００２および画素値変換部１００３の処理を省略するように構成してもよい。

図７は、動的データ記憶部３１４に格納するデータを説明する図である。動的データ記憶部３１４に記憶されるデータ群は、実際の映像表示システムに関係して決定されるデータ群である。

動的データ記憶部３１４には、各面幾何補正パラメタ７００、各面画素値変換パラメタ７０１、各面撮影座標対応画像データ７０２、各面ブレンド重み画像データ７０３、全体重複投映度数画像データ７０４、および全体２値化画像データ７０５を記憶する。

各面幾何補正パラメタ７００は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、映像補正装置１１１Ａ〜映像補正装置１１１Ｌからそれに対応する映像投映装置１２１Ａ〜映像投映装置１２１Ｌに出力する画像データの解像度と等しい解像度を有するパラメタである。例えば、ある映像補正装置からそれに対応する映像投映装置に出力する画像データの解像度が１０２４×７６８である場合には、各面幾何補正パラメタ７００のうち、前記映像補正装置に対応するパラメタは１０２４×７６８だけの数の画素を備えたパラメタとなる。各面幾何補正パラメタ７００の画素値の詳細は、図１１を用いて説明する。なお、本実施形態を含むすべての実施形態において、各面幾何補正パラメタ７００は、当該パラメタを幾何補正パラメタ設定プログラム４００を用いて各々対応する映像補正装置１１１Ａ〜映像補正装置１１１Ｌに設定した場合に、スクリーン１３０上の映像が幾何学的には滑らかにつながった１つの映像を形成するようなパラメタである、すなわち従来の方法を用いてすでに調整が完了しているものとする。

各面画素値変換パラメタ７０１は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、映像補正装置１１１Ａ〜映像補正装置１１１Ｌからそれに対応する映像投映装置１２１Ａ〜映像投映装置１２１Ｌに出力する画像データの解像度と等しい解像度を有するパラメタである。各面画素値変換パラメタの画素値の詳細は、図１２を用いて説明する。なお、本実施形態では、各面画素値変換パラメタ７０１の初期値は、恒等変換画素値変換パラメタ６０４と同一のものにしておく。

各面撮影座標対応画像データ７０２は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、映像補正装置１１１Ａ〜映像補正装置１１１Ｌに入力される画像データの解像度と等しい解像度を有する画像データである。各面撮影座標対応画像データ７０２の画素値の詳細は、図１１を用いて説明する。なお、本実施形態を含むすべての実施形態において、各面撮影座標対応画像データ７０２は、グレイコードを使った方法などの公知の方法を用いてあらかじめ生成されているものとする。

各面ブレンド重み画像データ７０３は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、映像補正装置１１１Ａ〜映像補正装置１１１Ｌに入力される画像データの解像度と等しい解像度を有する画像データである。各画素位置に対応するスクリーン上の映像位置において、対応する映像投映装置１２１Ａ〜映像投映装置１２１Ｌが担当すべき明るさの割合を定義したデータであり、画素値としては０以上１以下の値を有する。従来の映像表示システムにおいてエッジブレンドと呼ばれる効果を実施するために生成していたものと同様に、映像表示領域の境界に近づくにしたがって担当する割合が少なくなるように生成すればよい。なお、本発明の調整方法では、各面ブレンド重み画像データ７０３の各画素値を単なる参考値として用いているため、従来の調整方法とは異なり、明るさの担当割合は各面ブレンド重み画像データ７０３の画素値とは厳密には対応しない。

全体重複投映度数画像データ７０４は、撮影装置１４０Ａ、撮影装置１４０Ｅ、および撮影装置１４０Ｉごとに保持するパラメタであり、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉの撮影画像と等しい解像度を有する画像データである。個々の撮影装置の撮影画像に含まれる各映像投映装置の投映画像の重複度数が画素値として設定されているデータであり、本実施形態では、画素値は０、１、２、３、４のいずれかとなる。本データも、従来技術によって既に得られているものとする。

全体２値化画像データ７０５は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉの撮影画像と等しい解像度を有する画像データである。個々の画像投映装置の各撮影装置における投映領域に１、その他に０が画素値として設定されているデータであり、複数の撮影装置の撮影画像にその投映領域が含まれている場合は、ひとつの映像補正装置に対して複数の全体２値化画像データが対応する。本データも従来技術によって既に得られているものとする。

図８は、中間データ記憶部３１５に格納するデータを説明する図である。中間データ記憶部３１５に記憶されるデータ群は、各プログラムによって生成されるデータ群である。

中間データ記憶部３１５には、目標値設定用基準画素位置データ８００、基準オフセット入力レベル換算データ８０１、全体目標値データ８０２、全体振幅値データ８０３、全体反復回数データ８０４、全体撮影画像データ８０５、各面撮影画像データ８０６、各面明暗画像データ８０７、および各面目標値画像データ８０８を記憶する。このうち全体目標値データ８０２の内容の詳細は、図９を用いて説明する。その他の各データの内容の詳細は、各々のデータを生成する処理を説明する際に、合わせて説明する。

なお、目標値設定用基準画素位置データ８００は、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉごとに保持するパラメタであり、２次元座標を表すデータである。また、全体撮影画像データ８０５は、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉごとに保持するパラメタであり、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉの撮影画像と等しい解像度を有するデータである。また、最大オフセット入力レベル換算データ８０１と全体振幅値データ８０３と全体反復回数データ８０４は、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉごとに保持するパラメタであり、スカラー値である。また、各面撮影画像データ８０６と各面明暗画像データ８０７と各面目標値画像データ８０８は、映像補正装置１１１Ａ〜映像補正装置１１１Ｌごとに保持するパラメタであり、映像補正装置１１１Ａ〜映像補正装置１１１Ｌに入力される画像データの解像度と等しい解像度を有する画像データである。なお、各面明暗画像データ８０５の画素値（明暗値とも呼ぶ）は、−１か０か＋１のいずれかの値をとる。

図９は、全体目標値データ８０２を説明する図である。全体目標値データ８０２は、調整すべき入力レベルごとの個別目標値データ９００の集合として保持する。また、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉごとに保持するパラメタである。

ここで、個別目標値データ９００は、「入力レベル９０１に対応する画素値変換パラメタの調整にあたっては、全画素について入力レベルが表示レベル９０２となるような画像データを画素値変換部に入力したときにスクリーン１３０に表示される映像に基づいて露出値９０３と目標撮影画像データ９０４とを決定し、その後の調整では、全画素について入力レベルが入力レベル９０１となるような画像データを画素値変換部に入力したときにスクリーン１３０に表示される映像を、撮影装置１４０Ａまたは撮影装置１４０Ｅまたは撮影装置１４０Ｉ、の露出を露出値９０３に設定して撮影した場合の撮影画像が目標撮影画像９０４になるように、画素値変換パラメタの入出力特性を決定する」という意味のデータの組である。目標撮影画像データ９０４は勿論、撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉの撮影画像と等しい解像度を有するデータであり、また、投映領域以外の画素値は０または任意で構わない。

図１０は、映像補正装置１１１Ａの構成を説明する図である。映像補正装置１１１Ａ〜映像補正装置１１１Ｌは、いずれも図１０に示す構成を備える。

映像補正装置１１１Ａに入力された映像データは、映像入力部１０００を介して、デジタル画像データとしてフレームメモリ１００１に格納される。映像入力部１０００としては既存の映像入力インタフェースを使用することができる。例えば、入力される映像データがアナログ信号の場合には、映像入力部１０００としてＡ／Ｄ変換器を具備するように構成する。

幾何補正部１００２では、所定の処理クロックに基づいて、フレームメモリ１００１に格納された画像データを読み込み、幾何補正パラメタ記憶部１００５から読み出した幾何補正パラメタ１００６に基づく幾何補正処理を施して、画素値変換部１００３に出力する。

画素値変換部１００３では、入力された画像データに対して、画素値変換パラメタ記憶部１００７から読み出した画素値変換パラメタ１００８に基づく画素値変換処理を施して、映像出力部１００４に出力する。

映像出力部１００４は、入力された画像データを外部機器に向けて出力するものであり、既存の映像出力インタフェースを使用することができる。例えば、出力すべき映像がアナログ信号の場合には、映像出力部１００４としてＤ／Ａ変換器を具備するように構成する。

幾何補正パラメタ記憶部１００５に格納される幾何補正パラメタ１００６、および画素値変換パラメタ記憶部１００７に格納される画素値変換パラメタ１００８は、パラメタ設定部１００９を介して外部から設定される。

具体的な実施形態としては、例えば、幾何補正部１００２および画素値変換部１００３をＦＰＧＡなどの論理回路で構成し、幾何補正パラメタ記憶部１００５および画素値変換パラメタ記憶部１００７を各々のパラメタの容量に見合ったサイズのメモリで構成し、パラメタ設定部１００９にはＰＣＩなどのインタフェースを使用すればよい。

なお、映像入力部１０００にＡ／Ｄ変換器を使用した場合には、該Ａ／Ｄ変換器の特性によっては映像補正装置に入力されたときの画素値とフレームメモリ１００１に書き込まれたときの画素値の間で不一致が起こる可能性があるが、これは前記Ａ／Ｄ変換器の特性をあらかじめ計測してルックアップテーブルとして持っていることにより容易に対応できる。このため、本実施形態を含むすべての実施形態においては、映像補正装置に入力されたときの画素値とフレームメモリ１００１に書き込まれたときの画素値とは一致することを前提として説明を行う。

図１１は、各面幾何補正パラメタ７００、および各面撮影座標対応画像データ７０２を説明する図である。

図１１は、各面幾何補正パラメタ７００のうち、スクリーン１３０の右下部分に投映する映像投映装置に対応する映像補正装置に対応する幾何補正パラメタ１１００について記載したものである。幾何補正パラメタ１１００において、幾何補正後に入力画像が表示される領域である映像表示領域に対応する領域１１０１の内部の画素位置１１０２に関しては、その画素位置として、フレームメモリ１００１上の画像データ１１１０における画素位置１１１１を格納する。また、映像表示領域に対応する領域１１０１の外部の画素位置１１０３に関しては、その画素値としてＮ／Ａ値（例えば０）を格納する。このような画素値を格納しておくことにより、図１０の幾何補正部１００２を、画素位置１１０２に対してはフレームメモリ１００１上の画像データ１１１０の画素位置１１１１に対応する画素値をサンプリングして出力し、画素位置１１０３に対しては黒、すなわち「０」を出力するように構成することができる。

同様にして、フレームメモリ１００１上の画像データ１１１０における画素位置１１１１に対して、撮影画像データ１１２０上の画素位置１１２１を画素値として格納するようにしたデータが撮影座標対応画像データであり、各々の映像補正装置に対応する撮影座標対応画像データを集めたデータが各面撮影座標対応画像データ７０２である。

なお、各面幾何補正パラメタ７００および各面撮影座標対応画像データ７０２の各画素値に関しては、従来から、Ｘ座標、Ｙ座標とも整数値ではなく実数値を使用するのが普通である。これは、各々のデータの精度を向上させることを目的としたものである。このように格子点以外の座標が対応付けられている場合であっても、双線形補間など既存の方法を使うことによって、参照先の座標に対応する画素値を算出することができるため、本発明の実施においても特に問題は発生しない。

図１２は、各面画素値変換パラメタ７０１の説明図である。図１２は各面画素値変換パラメタ７０１のうち、ある１つの映像補正装置に対応する画素値変換パラメタのさらにある１つの画素について記載したものである。

画素値変換パラメタの画素値としては、当該画素における変換特性を示す特性関数１２００を構成できるものであればよく、例えば、複数の入力レベルＬｍ，Ｌ１，Ｌ２，Ｌ３，ＬＭにそれぞれ対応する出力レベルＳｍ，Ｓ１，Ｓ２，Ｓ３，ＳＭを設定するような構成とすればよい。本実施形態では、出力レベルの取り得る値の範囲は、０以上２５５以下の整数値であるとする。

実際に映像補正装置１１１Ａに画素値変換パラメタ１００８として設定されるパラメタは、各面画素値変換パラメタ７０１に基づいて画素値変換パラメタ設定プログラム４０１によって生成されたものである。したがって、本発明の調整方法で調整する入力レベルに関しては、実際に映像補正装置１１１Ａに設定可能な画素値変換パラメタ１００８に関連する制約にとらわれることなく、自由に決めることができる。例えば、実際に映像補正装置１１１Ａに画素値変換パラメタ１００８として設定可能な自由度よりも、より多くの入力レベルに対して調整を行って、それらの結果に基づいて画素値変換パラメタ設定プログラム４０１において映像補正装置１１１Ａの性能に合わせた最適化を施すことにより、よりよい画素値変換パラメタを得るような構成とすることもできる。また、例えば、実際に映像補正装置１１１Ａに画素値変換パラメタ１００８として設定可能な自由度よりも、より少ない入力レベルに対して調整を行って、それらの結果に基づいて画素値変換パラメタ設定プログラム４０１において補間処理を施すことにより、調整時間をより短くするような構成とすることもできる。

図１３は、本実施形態における基準領域１３０１について説明する図である。（Ａ）は撮影装置１４０Ｅを用いて撮影画像２２２Ｅに含まれる投映領域２２１Ｅ〜投映領域２２１Ｈおよび投映領域２２１Ｂの一部、投映領域２２１Ｄの一部、投映領域２２１Ｉの一部、投映領域２２１Ｋの一部、からなる調整対象領域１３００Ｅが滑らかに繋がるように色調補正が完了し、その調整結果を各映像投映装置で表示している図である。（Ｂ）はこのときの撮影装置１４０Ａの撮影画像２２２Ａを抜き出したものであるが、この右端に撮影されている調整対象領域１３００Ｅの一部１３０１が撮影装置１４０Ａに対する基準領域となる。撮影装置１４０Ａによる撮影画像２２２Ａに対応する投映領域２２１Ａ〜投映領域２２１Ｄの調整における目標値は前記基準領域と滑らかに繋がるように設定する。

図１４は、全体調整処理を説明するフローチャートである。ステップＳ１４００で全体調整処理が開始されると、まず、ステップＳ１４０１において、初期設定処理を行う。これは、具体的には、映像補正装置１１１Ａ〜映像補正装置１１１Ｌに恒等変換幾何補正パラメタ６０３と恒等変換画素値変換パラメタ６０４を設定する処理である。

次に、ステップＳ１４０２においてループ変数Ｎを０に初期化し、ステップＳ１４０３において図１５で説明する初期基準領域調整処理を行い、ステップＳ１４０４においてループ変数Ｎを１にする。本実施形態では、初期基準領域は撮影装置１４０Ｅに対応し、ステップＳ１４０３によって、映像補正装置１１１Ｅ〜映像補正装置１１１Ｈに対応する色調補正パラメタが生成され、映像補正装置１１１Ｂ、映像補正装置１１１Ｄ、映像補正装置１１１Ｉ、映像補正装置１１１Ｋに対応する色調補正パラメタも、撮影画像２２２Ｅに含まれる部分に対してのみ生成される。

次に、ステップＳ１４０５において図２４で説明する周辺領域調整処理を行う。ここでは、調整回数設定データ６０１がＮの時に対応する調整順序設定データ６０２が指定する撮影装置による調整を、ステップＳ１４０３の調整結果と滑らかに繋がるように行う。本実施形態では、Ｎが１の時には撮影装置１４０Ａに対応する撮影領域２２２Ａと撮影装置１４０Ｉに対応する撮影領域２２２Ｉを同時に調整する。勿論先に前者を調整し、次に後者を調整してもいいが、本実施形態でのシステム構成では両者同時に行うことができる。このように、システム構成に応じて、調整時間を短縮できるように調整回数設定データ６０１と調整順序設定データ６０２を設定することができる。このステップＳ１４０５によって、映像補正装置１１１Ａ〜映像補正装置１１１Ｄおよび映像補正装置１１１Ｉ〜映像補正装置１１１Ｌに対応する色調補正パラメタが生成される。

次に、ステップＳ１４０６で、Ｎが調整回数設定データ６０１に設定される規定の調整回数に達していれば、ステップＳ１４０７に進み、全体調整処理は終了する。本実施形態では、Ｎ＝１の調整処理が終了した時点で全ての映像補正装置に対応する色調補正パラメタが得られているため、終了する。しかし、更に画像投映装置が多いシステムなど、未調整領域が残っている場合はステップＳ１４０８に進み、Ｎを１だけ増加させてステップＳ１４０５においてＮに対応する周辺領域調整処理を行う。

図１５は、図１４に示す初期基準領域調整処理（Ｓ４０３）を説明するフローチャートである。どの撮影装置を用いた調整となるかは、調整順序設定データ６０２で設定されており、本実施形態では撮影装置１４０Ｅの撮影画像２２２Ｅに対応する領域が初期基準領域である。また、この初期基準領域調整処理は、本実施形態が用いる特開２００６−２４６２７記載の技術でなくても、初期基準領域に対応する画像補正装置の色調補正パラメタが得られれるのであれば、他の方法を用いても構わない。

まず、ステップＳ１５００で初期基準領域調整処理が開始されると、ステップＳ１５０１において図１６で説明する最小入力レベル目標値決定処理を行い、続いてステップＳ１５０２において図１７で説明する最小入力レベルフィードバック調整処理を行い、さらに続いてステップＳ１５０３において図１８で説明する最大入力レベル目標値決定処理を行い、さらに続いてステップＳ１５０４において図１９で説明する最大入力レベルフィードバック調整処理を行う。続いて、ステップＳ１５０５において、最小入力レベルフィードバック調整処理と最大入力レベルフィードバック調整処理の結果に基づいて、図２０で説明する中間入力レベル目標値決定処理を行う。中間入力レベル集合データ６００に登録されているすべての中間入力レベルに対して目標値が決定されたところで、ステップＳ１５０６において図２１で説明する中間入力レベルフィードバック調整処理を行う。以上、ステップＳ１５０６までの処理によって、個々の入力レベルに対する調整は完了である。その後、ステップＳ１５０７において、ステップＳ１５０６までに得られた情報から最終的な各面画素値変換パラメタ７０１を求め、各面幾何補正パラメタ７００と合わせて各々の映像補正装置に設定する。ステップＳ１５０７のパラメタ修正登録処理の詳細は、図２２を用いて説明する。ステップＳ１５０７のパラメタ修正登録処理の終了後、ステップＳ１５０８において初期基準領域調整処理を終了する。

図１６は、図１５に示す最小入力レベル目標値決定処理（ステップＳ１５０１）を説明するフローチャートである。すなわち図１５に示す初期基準領域調整処理における最小入力レベル目標値決定処理として説明する。

ステップＳ１６００で最小入力レベル目標値決定処理が開始されると、まず、ステップＳ１６０１において最小入力レベルで全面一様パターンを表示する。すなわち、映像生成装置１００を制御して、すべての映像出力部１０１Ａ〜映像出力部１０１Ｌ（撮影装置Ｅの撮影画像に関わらない映像出力部１０１Ａ、映像出力部１０１Ｃ、映像出力部１０１Ｊ、映像出力部１０１Ｌは任意ではあるが、露出調整への影響から全ての映像出力部を推奨）から、すべての画素の画素値が（０，０，０）であるような映像データを出力する。

次に、ステップＳ１６０２において、撮影装置１４０Ａを制御して、露出調整および撮影処理を行う。露出の調整は、全体重複投映度数画像データ７０４において重複投映度数が最大、すなわち本実施形態であれば重複投映度数が４の領域を基準に、撮影画像データ上で該領域に含まれる画素の画素値の例えば平均値が画素値の取り得る範囲の中央付近、例えば１２８〜１９２程度の値となるように調整する。そのような条件を満たす露出値は一般に複数存在し得るが、ここでの調整結果としては、そのうちのどれを選んで決定してもよい。決定した露出値は、全体目標値データ８０２の最小入力レベルに対応する露出値９０３として登録し、また、該露出で撮影した撮影画像データを、全体撮影画像データ８０５として登録する。

次に、ステップＳ１６０３において、有効最大画素値選出処理を行う。これは、全体撮影画像データ８０５のうち、全体重複投映度数画像データ７０４において重複投映度数が１以上であるような領域の中から、最大の画素値を選択し、全体目標値データ８０２の最小入力レベルに対応する目標撮影画像データ９０４の全画素に登録する処理である。なお、以降全ての目標撮影画像データに言えることであるが、通常は全画素に同じ画素値を登録すればよいが、撮影装置のレンズなどの影響による周辺沈みや、スクリーンゲインなどの影響により、人が目視した通りに撮影装置で撮影できるわけではないため、それらを考慮して、全画素一様な目標撮影画像データではなく、各画素が前記影響を相殺するような滑らかな画素値を持つ目標撮影画像データとすることで更なる画質の向上が得られる。また、図２５で説明する基準領域対応目標値決定処理においては滑らかな目標撮影画像データを登録することの効果は大きい。

最小入力レベルに関しては、画素値変換部１００３の処理によって重複して投映している部分を暗くすることは不可能であるため、映像が投映されている部分のうち一番明るい部分を基準として、残りの部分を明るく変換することで全体として滑らかな映像を得るという方法を取る。ステップＳ１６０２およびステップＳ１６０３の処理は、そのような方法で調整をする場合に適した露出値および目標撮影画素値を決めるための処理である。

ステップＳ１６０３の終了後、ステップＳ１６０４において、最小入力レベル目標値決定処理を終了する。

図１７は、図１５に示す最小入力レベルフィードバック調整処理（ステップＳ１５０２）を説明するフローチャートである。すなわち、図１５に示す初期基準領域調整処理における最小入力レベルフィードバック調整処理として説明する。

ステップＳ１７００において最小入力レベルフィードバック調整処理が開始されると、まず、ステップＳ１７０１において最小入力レベル調整用初期化処理を行う。この処理は、全体振幅値データ８０３および全体反復回数データ８０４を初期値に設定し、最小入力レベルで全面一様パターンを表示する処理である。全体振幅値データ８０３とは、計測値が目標値より高いあるいは低い場合に、パラメタから減算あるいはパラメタに加算するための値であり、全体反復回数データ８０４とは、フィードバック調整におけるフィードバックループの回数を定義する値である。具体的には、全体振幅値データ８０３として「１２８」を設定し、全体反復回数データ８０４として「８」を設定する。本実施形態では探索方法として２分探索を行うため、全体振幅値データ８０３の初期値を１２８としておくことにより、０から２５５までのどの出力レベルが最適値であっても、探索可能となる。また、フィードバックループが１回実施されるごとに、全体振幅値データ８０３を半分（端数は切り上げ）にしていくため、必要な反復回数は全体振幅値データ８０４が「１」となるまで、すなわち「１２８，６４，３２，１６，８，４，２，１」の８回となる。なお、ノイズに対するマージンを持たせたい場合などでは、全体振幅値データ８０３の初期値として１２８より大きめの値を設定するようにしてもよいし、フィードバックループが１回実施されるごとに、全体振幅値データ８０３を半分（端数は切り上げ）とするのではなく、０．５以上１．０未満の係数ｋを掛けることによって全体振幅値データ８０３の更新を行うようにしてもよい。それらの実施形態を取る場合には、全体反復回数データ８０４もそれに合わせて変更するようにする。なお、具体的な値は異なるが、図１９で説明する最大入力レベルフィードバック調整処理や、図２１で示す中間入力レベルフィードバック処理においても、同様の実施形態をとることができるのは言うまでもない。

次に、ステップＳ１７０２において、撮影露出設定処理を行う。これは、最小入力レベルに対応する全体目標値データ８０２を参照し、撮影装置１４０Ａの露出を露出値９０３に設定する処理である。

次に、ステップＳ１７０３において、ループ回数Ｎを０に初期化する。

次に、ステップＳ１７０４において、全体撮影画像データ生成処理を行う。この処理は、撮影装置１４０Ａで画像データを撮影し、全体撮影画像データ８０５として登録する処理である。

次に、ステップＳ１７０５において、各面撮影画像データ生成処理を行う。この処理は、全体撮影画像データ８０５と各面撮影座標対応画像データ７０２とを参照して、各面撮影画像データ８０６を生成する処理である。各面撮影画像データ８０６とは、各面画素値変換パラメタ７０１の各画素位置に対応する映像が、撮影画像データ上でどのような画素値として撮影されているかを表すデータである。

次に、ステップＳ１７０６において、各面目標画像データ生成処理を行う。この処理は、全体目標値データ８０２の目標撮影画像データ９０４と各面撮影座標対応画像データ７０２とを参照して、各面目標画像データ８０８を生成する処理である。各面目標画像データ８０８とは、各面画素値変換パラメタ７０１の各画素位置に対応する映像が、撮影画像データ上でどのような画素値を目標値としているかを表すデータである。

次に、ステップＳ１７０７において、各面明暗画像データ生成処理を行う。この処理は、全体目標値データ８０２の目標撮影画像データ９０４を参照し、各面撮影画像データ８０６の各画素の画素値が、各面目標画像データ８０８の対応する画素値より小さい場合には各面明暗画像データ８０７の対応する画素の画素値として「＋１」を設定し、各面目標画像データ８０８より大きい場合には各面明暗画像データ８０７の対応する画素の画素値として「−１」を設定し、いずれでもない場合には各面明暗画像データ８０７の対応する画素の画素値として「０」を設定する処理である。

次に、ステップＳ１７０８において、最小入力レベルに対する画素値変換パラメタ更新処理を行う。画素値変換パラメタ更新処理の詳細は、図２３を用いて説明する。

次に、ステップＳ１７０９において、全体反復回数データ８０４とループ回数Ｎとを比較して、所定回数の反復を完了したか否かを判定する。所定回数の反復を完了している場合には、ステップＳ１７１０に進んで最小入力レベルフィードバック調整処理を終了する。

所定回数の反復を完了していないと判定された場合には、ステップＳ１７１１において全体振幅値データ更新処理を行う。この処理は、全体振幅値データ８０３に０．５を掛け、端数が出た場合には切り上げる処理である。

ステップＳ１７１１における全体振幅値データ更新処理の終了後、ステップＳ１７１２においてループ回数Ｎを１つ増加させ、ステップＳ１７０４に戻って処理を続ける。

図１８は、図１５における最大入力レベル目標値決定処理（ステップＳ１５０３）を説名するフローチャートである。すなわち、図１５に示す初期基準領域調整処理における最大入力レベル目標値決定処理として説明する。

ステップＳ１８００で最大入力レベル目標値決定処理が開始されると、まず、ステップＳ１８０１において最大入力レベルで全面一様パターンを表示する。すなわち、映像生成装置１００を制御して、すべての映像出力部１０１Ａ〜映像出力部１０１Ｌ（撮影装置Ｅの撮影画像に関わらない映像出力部１０１Ａ、映像出力部１０１Ｃ、映像出力部１０１Ｊ、映像出力部１０１Ｌは任意）から、すべての画素の画素値が（２５５，２５５，２５５）であるような映像データを出力する。

次に、ステップＳ１８０２において、撮影装置１４０Ｅを制御して、露出調整および撮影処理を行う。露出の調整は、全体重複投映度数画像データ７０４において重複投映度数が１の領域を基準に、撮影装置１４０Ｅで撮影した撮影画像データ上で該領域に含まれる画素の画素値の例えば平均値が画素値の取り得る範囲の中央付近、例えば１２８〜１９２程度の値となるように調整する。そのような条件を満たす露出値は一般に複数存在し得るが、ここでの調整結果としては、そのうちのどれを選んで決定してもよい。決定した露出値は、全体目標値データ８０２の最大入力レベルに対応する露出値９０３として登録し、また、該露出で撮影した撮影画像データを、全体撮影画像データ８０５として登録する。なお、ステップＳ１８０１において１つの映像出力部、例えば映像出力部１０１Ｅからだけ（２５５，２５５，２５５）を出力し、他の映像出力部からは（０，０，０）を出力するようにすれば、全ての投映領域が重複投映度数１となるので、そのようにしてもよい。

次に、ステップＳ１８０３において、目標値設定用基準画素位置決定処理を行う。これは、全体撮影画像データ８０５のうち、全体重複投映度数画像データ７０４において重複投映度数が１以上であるような領域の中から、最小の画素値を有する画素位置を選択し、その位置を目標値決定用基準画素位置データ８００として登録し、また、該最小の画素値を全体目標値データ８０２の最大入力レベルに対応する目標撮影画像データ９０４の全画素に登録する処理である。

最大入力レベルに関しては、画素値変換部１００３の処理によって暗い部分を明るくすることは不可能であるため、映像が投映されている部分のうち一番暗い部分を基準として、残りの部分を暗く変換することで全体として一様な映像を得るという方法を取る。ステップＳ１８０２およびステップＳ１８０３の処理は、そのような方法で調整をする場合に適した露出値および目標撮影画素値を決めるための処理である。また、ステップＳ１８０３において、目標値決定用基準画素位置データ８００を求めたが、該データは中間入力レベルに対応する目標値を決定する際に使用するデータである。

ステップＳ１８０３の終了後、ステップＳ１８０４において、最大入力レベル目標値決定処理を終了する。

図１９は、図１５に示す最大入力レベルフィードバック調整処理を説明するフローチャートである。図１９において図１７と同じ符号は図１７と同じ処理を表す。図１９では、図１５に示す初期基準領域調整処理における最大入力レベルフィードバック調整処理（ステップＳ１５０４）として説明する。

ステップＳ１９００において最大入力レベルフィードバック調整処理が開始されると、まず、ステップＳ１９０１において最大入力レベル調整用初期化処理を行う。この処理は、全体振幅値データ８０３および全体反復回数データ８０４を初期値に設定し、最大入力レベルに対応する各面画素値変換パラメタ７０１の値を最小入力レベルに対応する各面画素値変換パラメタ７０１の値で初期化し、最大入力レベルで全面一様パターンを表示する処理である。具体的には、全体振幅値データ８０３として「１２８」を設定し、全体反復回数データ８０４として「８」を設定する。全体振幅値データ８０３の値をこのように決定した場合には、各面画素値変換パラメタ７０１の更新時に出力レベルが設定可能な値の範囲の外に出てしまう可能性があるが、その場合には、設定可能な値の範囲の最大値あるいは最小値のうち近い方の値に設定すればよい。また、全体振幅値データ８０３の決定をする際に、図２１で説明する中間入力レベルフィードバック調整処理における中間入力レベル調整用初期化処理のように、全体振幅値データ８０３を各面画素値変換パラメタ７０１の更新時に決して飽和しないような値に設定するという実施形態をとることもできる。

次に、ステップＳ１９０２において、撮影露出設定処理を行う。これは、最大入力レベルに対応する全体目標値データ８０２を参照し、撮影装置１４０Ｅの露出を露出値９０３に設定する処理である。

次に、ステップＳ１７０３においてループ回数Ｎの初期化を行った後、ステップＳ１７０４〜ステップＳ１７０７の処理を行い、ステップＳ１９０７に進む。

ステップＳ１９０７では、最大入力レベルに対する画素値変換パラメタ更新処理を行う。画素値変換パラメタ更新処理の詳細は、図２３を用いて説明する。

次に、ステップＳ１９０８において、全体反復回数データ８０４とループ回数Ｎとを比較して、所定回数の反復を完了したか否かを判定する。所定回数の反復を完了している場合には、ステップＳ１９０９に進んで最大入力レベルフィードバック調整処理を終了する。

所定回数の反復を完了していないと判定された場合には、ステップＳ１７１１、ステップＳ１７１２と進み、ステップＳ１７０４に戻って処理を続ける。

図２０は、図１５に示す中間入力レベル目標値決定処理（ステップＳ１５０５）を説明するフローチャートである。すなわち、図１５に示す初期基準領域調整処理における中間入力レベル目標値決定処理として説明する。

ステップＳ２０００において中間入力レベル目標値決定処理が開始されると、まず、ステップＳ２００１において基準オフセット入力レベル換算データ生成処理を行う。この処理は、最小入力レベルに対応する各面画素値変換パラメタ７０１（この段階ですでにフィードバック調整が完了しているはずである）のうち目標値設定用基準画素位置データ８００で与えられる位置の画素値（「基準オフセット」と呼ぶ）を探索し、各面画素値変換パラメタ７０１が恒等変換画素値変換パラメタ６０４に等しいときに該画素位置で基準オフセットと同一の出力レベルを得るための入力レベルを算出して基準オフセット入力レベル換算データ８０１として登録する処理である。基準オフセット入力レベル換算データ生成処理は、必要に応じて各面画素値変換パラメタ７０１のフォーマットやＡ／Ｄ変換器の特性を考慮することで、本実施形態のように単純化した場合でなくとも容易に実施することができる。

次に、ステップＳ２００２において、表示レベル決定処理を行う。この処理は、図２７で説明するように、所与の方針に基づいて、中間入力レベルの目標値決定に用いる表示レベルを決定する処理である。例えば、基準オフセット入力レベル換算データ８０１と最大入力レベルとの間を、フィードバック調整を実施する中間入力レベルの値に関して線形に写像するような形で表示レベルを決定すればよい。また、最大入力レベルではなく、最大入力レベルの調整結果を用いても良い。また、線形ではなくとも、単調増加の関数にしたがって写像してもよい。

次に、ステップＳ２００３において、処理対象の中間入力レベルのシリアル番号Ｎを０に初期化する。

次に、ステップＳ２００４において、第Ｎ番目の中間入力レベルに対応する全体目標値データ８０２を参照し、対応する表示レベル９０２で全面一様パターンを表示する。

次に、ステップＳ２００５において、撮影装置１４０Ｅを制御して、露出調整および撮影処理を行う。露出の調整は、撮影装置１４０Ｅで撮影した撮影画像データ上において、目標値設定用基準画素位置データ８００で与えられる位置の画素値が、画素値の取り得る範囲の中央付近、例えば１２８〜１９２程度の値となるように調整する。そのような条件を満たす露出値は一般に複数存在し得るが、ここでの調整結果としては、そのうちのどれを選んで決定してもよい。露出調整と撮影とが完了した後、第Ｎ番目の中間入力レベルに対応する全体目標値データ８０５に対して、決定した露出値を露出値９０３として登録し、撮影した撮影画像データ上の目標値設定用基準画素位置データ８００で与えられる位置の画素値を目標撮影画像データ９０４の全画素として登録する。

次に、ステップＳ２００６において、中間入力レベル集合データ６００に登録されているすべての中間入力レベルに対して処理が完了したか否かを判定する。処理が完了している場合にはステップＳ２００７に進んで中間入力レベル目標値決定処理を終了し、まだ処理を行っていない中間入力レベルが存在する場合にはステップＳ２００８において処理対象の中間入力レベルのシリアル番号Ｎの値を１つ増加させた後、ステップＳ２００４に戻って処理を続ける。

図２７は、前記目標値の決定のしかたを説明するための図である。まず、図１３に示す撮影装置１４０Ｉの撮影領域２２２Ｉについて説明する。

図２７において、領域２７０１、領域２７０２、領域２７０３、領域２７０４は、それぞれ、映像投映装置１２１Ｉ、映像投映装置１２１Ｊ、映像投映装置１２１Ｋ、映像投映装置１２１Ｌの映像投映領域であり、また、画素位置２７１０は図１６で説明した最小入力レベル目標値決定処理において画素値が最大であった画素位置、画素位置２７１１は図１８で説明した最大入力レベル目標値決定処理において画素値が最小であった画素位置、すなわち目標値決定用基準画素位置データ８００として登録されている画素位置である。

最小入力レベルに対しては画素位置２７１０を基準として目標値を決定し、最大入力レベルに対しては画素位置２７１１を基準として目標値を決定した。ここで、図２０で説明する中間入力レベル目標値決定処理においては、目標値の決定が済んでいない中間入力レベル群に対して、画素位置２７１１を基準として目標値を決定する。

このとき、撮影装置１４０Ｉの露出を変えながら目標値を決めているため、異なる基準位置で定めた目標値は、入力レベルに対して明るさとして単調増加になっている保証はない。すなわち、画素位置２７１０を基準として決定した入力レベル０に対応する目標値を明るさに換算した場合、画素位置２７１１を基準として決定した入力レベル６４に対応する目標値を明るさに換算したものよりも、明るくなっている可能性がある。

そこで本発明では、中間入力レベルの目標値を決定する前に最小入力レベルに対するフィードバック調整を実施しておき、画素位置２７１０を基準として決定した入力レベル０に対応する目標値を達成するときの、映像生成装置１００から出力する画像データの画素位置２７１１の画素値を先に決定しておくという方法をとった。その上で、例えば、該画素値が５５であるとするなら、入力レベル６４、１２８、１９２に対して、目標値を決定する際に表示する全面一様パターンの画素値である表示レベルを、例えば、１０５、１５５、２０５とした上で目標値を決定する。このような方法とすることで、最終的に映像が滑らかにつながった際の画素位置２７１１における入力レベル０、６４、１２８、１９２、２５５に対する特性は、恒等変換画素値変換パラメタ６０４を用いて表示レベル５５、１０５、１５５、２０５、２５５の全面一様パターンを表示した場合と同一になり、すでに調整を完了している最小入力レベルに関しては滑らかにつながることを保証したまま、最小入力レベルを含めたすべての入力レベルにおいて同一の基準位置において目標値を決定することができる。

なお、表示レベルの決定に関しては、映像投映装置１２１Ｉ〜映像投映装置１２１Ｌや撮影装置１４０Ｉにおける画素値と明るさとの関係を示す変換特性を考慮してもよい。なお、前記変換特性を考慮する場合であっても、前記変換特性そのものは映像が滑らかにつながることとは無関係であるため、実測値ではなく設計値、すなわち厳密な値ではなく概略値、を用いて表示レベルを決定することができる。

図２１は、図１５に示す中間入力レベルフィードバック調整処理（ステップＳ１５０５）を説明するフローチャートである。図２１において図１７と同じ符号は図１７と同じ処理を表す。すなわち図１５の初期基準領域調整処理における中間入力レベルフィードバック調整処理として説明する。

ステップＳ２１００において中間入力レベルフィードバック調整処理が開始されると、まず、ステップＳ２１０１において中間入力レベル調整用初期化処理を行う。この処理は、全体振幅値データ８０３および全体反復回数データ８０４を初期値に設定し、現在処理対象となっている中間入力レベルに対応する各面画素値変換パラメタ７０１の値を、フィードバック調整を実施する入力レベルのうち現在処理対象となっている中間入力レベルよりも１つ小さな入力レベル（この段階ですでにフィードバック調整が完了しているはずである）に対応する各面画素値変換パラメタ７０１の値で初期化し、現在処理対象となっている中間入力レベルで全面一様パターンを表示する処理である。全体振幅値データ８０３の決定方法については、図２８を用いて説明する。全体反復回数データ８０４の決定方法については、全体振幅値データ８０３の決定後、図１７で説明した最小入力レベルフィードバック調整処理や図１９で説明した最大入力レベルフィードバック調整処理と同様に、容易に決定することができる。

次に、ステップＳ２１０２において、撮影露出設定処理を行う。これは、現在処理対象となっている中間入力レベルに対応する全体目標値データ８０２を参照し、撮影装置１４０Ｅの露出を露出値９０３に設定する処理である。

次に、ステップＳ１７０３においてループ回数Ｎの初期化を行った後、ステップＳ１７０４〜ステップＳ１７０７の処理を行い、ステップＳ２１０７に進む。

ステップＳ２１０７では、現在処理対象となっている中間入力レベルに対する画素値変換パラメタ更新処理を行う。画素値変換パラメタ更新処理の詳細は、図２３を用いて説明する。

次に、ステップＳ２１０８において、全体反復回数データ８０４とループ回数Ｎとを比較して、所定回数の反復を完了したか否かを判定する。所定回数の反復を完了している場合には、ステップＳ２１０９に進んで中間入力レベルフィードバック調整処理を終了する。

図２８は、中間入力レベルフィードバック調整処理において、全体振幅値データの初期値の決定方法を説明する図である。

図２８は、最小入力レベルＬｍに対する出力レベル２８００、最大入力レベルＬＭに対する出力レベル２８０１、中間入力レベルＬ１に対する出力レベル２８０２、中間入力レベルＬ２に対する出力レベル２８０３、がすでにフィードバック調整処理によって決定されており、入力レベルＬ３に対する出力レベルをフィードバック調整処理によって決定する段階での状況を示している。

このとき、目標値を故意に特異な値としていない限り、入力レベルＬ３に対応する出力レベルは、出力レベル２８０３以上、出力レベル２８０１以下となるのが自然である。したがって、探索方法として２分探索を採用していることを考えると、全体振幅値データ８０３として探索範囲Ｄ３の半分（端数は切り上げ）の値を設定することにより、必要十分な範囲の探索を実施可能である。そのため、入力レベルＬ３に対する出力レベルを決定する場合には、全体振幅値データ８０３の初期値としては探索範囲Ｄ３の半分（端数は切り上げ）の値を設定する。

図２２は、図１５に示すパラメタ修正登録処理（ステップＳ１５０７）を説明するフローチャートである。すなわち図１５に示す初期基準領域調整処理におけるパラメタ修正登録処理として説明する。

ステップＳ２２００でパラメタ修正登録処理が開始されると、まず、ステップＳ２２０１において、撮像素子異常検出補正処理を行う。詳細は説明しないが、従来技術により、撮影装置の撮像素子の汚れや映像投映装置の輝点による各面画素値変換パラメタ７０１のノイズを検出し、周囲の画素値で内挿や外挿するなどして該ノイズを消去する。次に、ステップＳ２２０２において、パラメタ平滑化処理を行う。前記したが、撮影装置の撮像素子の画素数がスクリーン上の投映画像の画素数よりも少ないことの影響や、スクリーンゲインやホットスポットなどの環境の影響により、各面画素値変換パラメタ７０１には細かいノイズが乗ることがある。詳細は説明しないが、中央値フィルタや平均値フィルタなど従来技術を用いて、該ノイズを滑らかにすることにより、更なる画質向上が図られる。次に、ステップＳ２２０３において、映像表示領域外パラメタ修正処理を行う。詳細は説明しないが、幾何補正によって黒レベル（０，０，０）が表示されている画素にも表示領域からの外挿を行うことでより広い画像表示領域が得られるようになる。

次に、ステップＳ２２０４において、パラメタ登録処理を行う。パラメタ登録処理は、各面幾何補正パラメタ７００および各面画素値変換パラメタ７０１を幾何補正パラメタ設定プログラム４００および画素値変換パラメタ設定プログラム４０１を用いて各々対応する映像補正装置１１１Ｅ〜映像補正装置１１１Ｈに登録する処理である。

ステップＳ２２０４までの処理を終了後、ステップＳ２２０５においてパラメタ修正登録処理を終了する。

図２３は、入力レベルＬｉに対応する画素値変換パラメタ更新処理を説明するフローチャートである。

ステップＳ２３００において画素値変換パラメタ更新処理が開始されると、まず、ステップＳ２３０１において、処理対象とする映像補正装置のシリアル番号Ｐと処理対象とする画素のシリアル番号Ｑとを０に初期化する。

次に、ステップＳ２３０２において、各面明暗画像データ８０７のＰ番目の映像補正装置のＱ番目の画素に対応する明暗値ｓを取得する。

次に、ステップＳ２３０３において、各面ブレンド重み画像データ７０３のＰ番目の映像補正装置のＱ番目の画素に対応する重み値ｗを取得する。

次に、ステップＳ２３０４において、各面画素値変換パラメタ７０１のＰ番目の映像補正装置のＱ番目の画素の入力レベルＬｉに対応するパラメタの値ｐを、全体振幅値データ８０３として登録されている値ａを用いて、「ｐ＋ｓ×ｗ×ａ」という値に更新する。

続いてステップＳ２３０５において、Ｐ番目の映像補正装置に関するすべての画素の更新が完了したか否かを判定し、まだ完了していない場合には、ステップＳ２３０６において処理対象とする画素のシリアル番号Ｑを１つ増加させた後、ステップＳ２３０２に戻って処理を続ける。Ｐ番目の映像補正装置に関するすべての画素の更新が完了している場合には、ステップＳ２３０７へ進む。

ステップＳ２３０７では、Ｐ番目の映像補正装置に対応する各面画素値変換パラメタ７０１を、Ｐ番目の映像補正装置に登録し、続いてステップＳ２３０８において、すべての映像補正装置に対する処理が完了したか否かを判定する。すべての映像補正装置に対する処理が完了している場合には、ステップＳ２３０９に進んで画素値変換パラメタ更新処理を終了し、処理が完了していない映像補正装置がある場合には、ステップＳ２３１０において処理対象とする映像補正装置のシリアル番号Ｐを１つ増加させ、処理対象とする画素のシリアル番号を０に初期化しなおした後、ステップＳ２３０２に戻って処理を続ける。

図２４は、図１４に示す周辺領域調整処理を説明するフローチャートである。本実施形態においては、撮影領域２２２Ｅを基準領域とし、該領域の調整結果と滑らかに繋がるように、周辺領域である、撮影領域２２２Ａと撮影領域２２２Ｉを同時に調整する。以下では、簡単のため、撮影領域２２２Ａの調整処理について説明する。

まず、ステップＳ２４００で周辺領域調整処理が開始されると、ステップＳ２４１０で初期設定処理を行う。具体的には、映像補正装置１１１Ａ〜映像補正装置１１１Ｄおよび映像補正装置１１１Ｉ〜映像補正装置１１１Ｌに恒等変換幾何補正パラメタ６０３と恒等変換画素値変換パラメタ６０４を設定する。

ステップＳ２４０２において最小レベルに対して図２５で説明する基準領域対応目標値決定処理を行い、続いてステップＳ２４０３において最小レベルに対して図２６で説明する基準領域対応フィードバック調整処理を行い、さらに続いてステップＳ２４０４において最大レベルに対して図２５で説明する基準領域対応目標値決定処理を行い、さらに続いてステップＳ２４０５において最大レベルに対して図２６で説明する基準領域対応フィードバック調整処理を行う。続いて、ステップＳ２４０６において、最小レベルに対する基準領域対応フィードバック調整処理と最大レベルに対する基準領域対応フィードバック調整処理の結果に基づいて、中間レベルに対して図２５で説明する基準領域対応目標値決定処理を行う。中間入力レベル集合データ６００に登録されているすべての中間入力レベルに対して目標値が決定されたところで、ステップＳ２４０７において中間レベルに対して図２６で説明する基準領域対応フィードバック調整処理を行う。以上、ステップＳ２４０７までの処理によって、個々の入力レベルに対する調整は完了である。その後、ステップＳ２４０８において、ステップＳ２４０７までに得られた情報から最終的な各面画素値変換パラメタ７０１を求め、各面幾何補正パラメタ７００と合わせて各々の映像補正装置に設定する。ステップＳ２４０８のパラメタ修正登録処理の詳細は、図２２で説明したものと同様である。

ステップＳ２４０８のパラメタ修正登録処理の終了後、ステップＳ２４０９において初期基準領域調整処理を終了する。

図２５は、基準領域対応目標値決定処理を説明するフローチャートである。本実施形態においては、撮影領域２２２Ｅを基準領域とし、該領域の調整結果と滑らかに繋がるように、周辺領域である、撮影領域２２２Ａと撮影領域２２２Ｉを同時に調整する。以下では、簡単のため、撮影領域２２２Ａにおける目標値の決定処理について説明する。最小レベルの目標値決定、最大レベルの目標値決定、中間レベルの目標値決定、の全てが以下のステップに従ってそれぞれ行われる。中間レベルの目標値決定に関しては、中間レベルのある１レベルごとが以下のステップに従うと考える。

まず、ステップＳ２５００で基準領域対応目標値決定処理が開始されると、まず、ステップＳ２５０１において基準領域である撮影領域２２２Ｅの、調整対象レベルに対応する調整結果を表示する。すなわち、撮影領域２２２Ｅに対応する投映領域２２１Ｅ〜投映領域２２１Ｈにそれぞれ対応する画像補正装置１１１Ｅ〜画像補正装置１１１Ｈに図１５で説明した初期基準領域調整処理で得られた画像補正パラメタを設定し、映像投映装置１２１Ｅ〜映像投映装置１２１Ｈから映像を投映する。初期基準領域調整処理において一部分のみ調整された投映領域２２１Ｂ、投映領域２２１Ｄ、投映領域２２１Ｉ、投映領域２２１Ｋの画像補正パラメタをそれぞれに対応する画像補正装置１１１Ｂ、画像補正装置１１１Ｄ、画像補正装置１１１Ｉ、画像補正装置１１１Ｋ、に設定するかどうかは任意である。

次に、ステップＳ２５０２において、撮影装置１４０Ａを制御して、露出調整および撮影処理を行う。露出の調整は、基準領域１３０１を撮影装置１４０Ｅで撮影した撮影画像データ上で該領域に含まれる画素の画素値の例えば平均値が画素値の取り得る範囲の中央付近、例えば１２８〜１９２程度の値となるように調整する。そのような条件を満たす露出値は一般に複数存在し得るが、ここでの調整結果としては、そのうちのどれを選んで決定してもよい。決定した露出値は、全体目標値データ８０２の調整対象レベルに対応する露出値９０３として登録し、また、該露出で撮影した撮影画像データを、全体撮影画像データ８０５として登録する。この処理は、基準領域１３０１内のある画素値またはある範囲の平均値などを全画素に登録してもよいが、初期基準領域調整処理とは異なり、基準領域１３０１は完全に一様な値となっているわけではないため、滑らかな画像データを生成する方が画質は向上する。

次に、ステップＳ２５０３において、目標撮影画像データ決定処理を行う。これは、全体撮影画像データ８０５のうち、基準領域１３０１と滑らかに繋がるような画像を内挿や外挿など従来技術を用いて決定し、全体目標値データ８０２の調整対象レベルに対応する目標撮影画像データ９０４として登録する処理である。

周辺領域の調整においては、基準領域の調整結果において、最小レベルに対応する各面画素値補正パラメタ７０１は画素値にして０よりも大きい値となっており、最大レベルに対応する各面画素値補正パラメタ７０１は画素値にして２５５よりも小さい値となっているため、基準領域１３０１に滑らかに繋がるような目標撮影画像データを決定すれば、それは実現可能な目標値であると言える。

ステップＳ２５０３の終了後、ステップＳ２５０４において、基準領域対応目標値決定処理を終了する。

図２６は、基準領域対応フィードバック調整処理を説明するフローチャートである。本実施形態においては、撮影領域２２２Ｅを基準領域とし、該領域の調整結果と滑らかに繋がるように、周辺領域である、撮影領域２２２Ａと撮影領域２２２Ｉを同時に調整する。以下では、簡単のため、撮影領域２２２Ａにおけるフィードバック調整処理について説明する。最小レベルのフィードバック処理、最大レベルのフィードバック処理、および中間レベルのフィードバック処理の全てが以下のステップに従ってそれぞれ行われる。中間レベルのフィードバック処理に関しては、中間レベルのある１レベルごとが以下のステップに従うと考える。

ステップＳ２６００において基準領域対応フィードバック調整処理が開始されると、まず、ステップＳ２６０１において基準領域対応調整用初期化処理を行う。この処理は、全体振幅値データ８０３および全体反復回数データ８０４を初期値に設定し、現在処理対象となっている調整対象レベルに対応する各面画素値変換パラメタ７０１の値を、フィードバック調整を実施する入力レベルのうち現在処理対象となっている中間入力レベルよりも１つ小さな入力レベル（この段階ですでにフィードバック調整が完了しているはずである）に対応する各面画素値変換パラメタ７０１の値で初期化し、現在処理対象となっている調整対象レベルで全面一様パターンを表示する処理である。なお、調整対象レベルが最小レベルの時は、（０，０，０）を表示し、最大レベルの時は（２５５，２５５，２５５）を表示する。全体振幅値データ８０３の決定方法については、図２８を用いて説明した通りである。全体反復回数データ８０４の決定方法については、全体振幅値データ８０３の決定後、図１７で説明した最小入力レベルフィードバック調整処理や図１９で説明した最大入力レベルフィードバック調整処理と同様に、容易に決定することができる。

次に、ステップＳ２６０２において、撮影露出設定処理を行う。これは、現在処理対象となっている調整対象レベルに対応する全体目標値データ８０２を参照し、撮影装置１４０Ａの露出を露出値９０３に設定する処理である。

次に、ステップＳ１７０３においてループ回数Ｎの初期化を行った後、ステップＳ１７０４〜ステップＳ１７０７の処理を行い、ステップＳ２６０７に進む。

ステップＳ２６０７では、現在処理対象となっている調整対象レベルに対する画素値変換パラメタ更新処理を行う。画素値変換パラメタ更新処理の詳細は、図２３を用いて説明した通りである。

次に、ステップＳ２６０８において、全体反復回数データ８０４とループ回数Ｎとを比較して、所定回数の反復を完了したか否かを判定する。所定回数の反復を完了している場合には、ステップＳ２６０９に進んで基準領域対応フィードバック調整処理を終了する。

以上、本実施形態によれば、映像投映装置１２１Ａ〜映像投映装置１２１Ｌおよび撮影装置１４０Ａ、撮影装置１４０Ｅ、撮影装置１４０Ｉ、の入出力特性データを使用せずに、調整用のパターンごとに適切な露出値を用い、基準調整領域の調整結果と滑らかに繋がるように周辺領域を調整することで、従来の技術に較べ、撮影装置１台の１方向の撮影では調整できないようなシステム構成においても、より高品質な調整結果をより安定して得ることができる。

［第２の実施形態］
以下、図２９、図３０を用いて、第２の実施の形態について説明する。

図２９は、本実施形態における映像表示装置の調整システムを説明する図である。第１の実施形態に示すシステムと異なるのは、撮影装置および撮影装置制御装置が１台ずつである点と撮影装置移動装置２９０１および撮影装置移動装置制御装置２９０２を設置した点であり、他の要素は全て共通である。撮影装置移動装置制御装置２９０２はＩＥＥＥ１３９４インタフェース、ＵＳＢインタフェース、ＲＳ２３２Ｃインタフェース、ネットワークインタフェースなどを通して、全体制御装置１１０により制御されている。

図３０は、本実施形態における映像投映装置の投映領域と撮影装置の撮影領域の関係を説明する図である。ここではスクリーンはリア投射用とし、背面から投射した映像を正面から撮影する。また、簡単のため、映像投映装置のいくつかを省略している。第１の実施形態における配置関係と異なるのは、撮影装置１４０Ｅ１台の位置および向きを、移動機構および首振り機構を持つ撮影装置移動装置２９０１によって変更できる点であり、他の要素は全て共通である。このような構成とすることで、撮影装置１台であっても、第１の実施形態で撮影装置３台を用いて撮影していた領域を、撮影位置を変更することで調整することができる。

具体的な調整方法としては、まず、ある１つの撮影領域２２２Ｅを実施形態１に記載の初期基準領域調整処理に従って調整し、次に、撮影領域２２２Ｅと重複するひとつの撮影領域２２２Ａを撮影できるように撮影装置１４０Ｅを移動および首振りさせ、撮影領域２２２Ａを、撮影領域２２２Ｅの調整結果と滑らかに繋がるように、第１の実施形態に記載の周辺領域調整処理に従って調整し、次に、撮影領域２２２Ｅと重複するもうひとつの撮影領域２２２Ｉを撮影できるように撮影装置１４０Ｅを移動および首振りさせ、撮影領域２２２Ｉを、撮影領域２２２Ｅの調整結果と滑らかに繋がるように、第１の実施形態に記載の周辺領域調整処理に従って調整する。以上の処理により、撮影装置が１台の場合にも移動および首振りをすることで、撮影装置の個体差および撮影方向による明るさなどの環境の変化によらず、全ての投映領域が滑らかに繋がるように調整することができる。

以上のような調整システムを実現するため、および調整順序を変更するためには、調整回数設定データ６０１と調整順序設定データ６０２を変更するだけでよい。

以上、本実施形態によれば、映像投映装置１２１Ａ〜映像投映装置１２１Ｌおよび撮影装置１４０Ａの入出力特性データを使用せずに、また、撮影装置１４０Ａの撮影方向が変わっても、調整用のパターンごとに適切な露出値を用い、基準調整領域の調整結果と滑らかに繋がるように周辺領域を調整することで、従来の技術に較べ、撮影装置１台の１方向の撮影では調整できないようなシステム構成においても、より高品質な調整結果をより安定して得ることができる。

第１の実施形態における映像表示装置の調整システムを説明する図である。第１の実施形態における映像投映装置の投映領域と撮影装置の撮影領域の関係を説明する図である。全体制御装置１１０の構成を説明する図である。ドライバ記憶部３１１に格納するプログラムの説明図である。プログラム記憶部３１２に格納するプログラムの説明図である。静的データ記憶部３１３に格納するデータを説明する図である。動的データ記憶部３１４に格納するデータを説明する図である。中間データ記憶部３１５に格納するデータを説明する図である。全体目標値データ８０２を説明する図である。映像補正装置１１１Ａの構成を説明する図である。各面幾何補正パラメタ７００および各面撮影座標対応画像データ７０２を説明する図である。各面画素値変換パラメタ７０１の説明図である。第１の本実施形態における基準領域１３０１について説明する図である。全体調整処理を説明するフローチャートである。図１４に示す初期基準領域調整処理を説明するフローチャートである。図１５に示す最小入力レベル目標値決定処理を説明するフローチャートである図１５に示す最小入力レベルフィードバック調整処理を説明するフローチャートである。図１５における最大入力レベル目標値決定処理を説名するフローチャートである。図１５に示す最大入力レベルフィードバック調整処理を説明するフローチャートである。図１５に示す中間入力レベル目標値決定処理を説明するフローチャートである。図１５に示す中間入力レベルフィードバック調整処理を説明するフローチャートである。図１５に示すパラメタ修正登録処理を説明するフローチャートである。入力レベルＬｉに対応する画素値変換パラメタ更新処理を説明するフローチャートである。図１４に示す周辺領域調整処理を説明するフローチャートである。基準領域対応目標値決定処理を説明するフローチャートである。基準領域対応フィードバック調整処理を説明するフローチャートである。目標値の決定のしかたを説明するための図である。中間入力レベルフィードバック調整処理において、全体振幅値データの初期値の決定方法を説明する図である。第２の実施形態における映像表示装置の調整システムを説明する図である運。第２の実施形態における映像投映装置の投映領域と撮影装置の撮影領域の関係を説明する図である。

符号の説明

１００映像生成装置
１０１映像出力部
１０２動作制御部
１０３制御信号送受信部
１０４静的画像データ記憶部
１１０全体制御装置
１１１映像補正装置
１１２撮影装置制御装置
１１３映像生成装置制御装置
１２１映像投映装置
１４０撮影装置
１３０スクリーン
２２１投映領域
２２２撮影領域
３００演算処理装置
３１０主記憶装置
３１１ドライバ記憶部
３１２プログラム記憶部
３１３静的データ記憶部
３１４動的データ記憶部
３１５中間データ記憶部
３２０コマンド入力装置
３３０外部記憶装置
４００幾何補正パラメタ設定プログラム
４０１画素値変換パラメタ設定プログラム
４０２撮影装置制御プログラム
４０３映像生成装置制御プログラム
５００全体調整プログラム
５０１最小入力レベル目標値決定プログラム
５０２最大入力レベル目標値決定プログラム
５０３中間入力レベル目標値決定プログラム
５０４最小入力レベルフィードバック調整プログラム
５０５最大入力レベルフィードバック調整プログラム
５０６中間入力レベルフィードバック調整プログラム
５０７基準領域対応目標値決定プログラム
５０８基準領域対応フィードバック調整プログラム
５０９撮像素子異常検出補正プログラム
５１０パラメタ平滑化プログラム
５１１映像表示領域外パラメタ修正プログラム
６００中間入力レベル集合データ
６０１調整回数設定データ
６０２調整順序設定データ
６０３恒等変換幾何補正パラメタ
６０４恒等変換画素値変換パラメタ
７００各面幾何補正パラメタ
７０１各面画素値変換パラメタ
７０２各面撮影座標対応画像データ
７０３各面ブレンド重み画像データ
７０４全体重複投映度数画像データ
７０５全体２値化画像データ
８００目標値設定用基準画素位置データ
８０１基準オフセット入力レベル換算データ
８０２全体目標値データ
８０３全体振幅値データ
８０４全体反復回数データ
８０５全体撮影画像データ
８０６各面撮影画像データ
８０７各面明暗画像データ
８０８各面目標画像データ
９００１入力レベルあたりの目標値データ
９０１入力レベル
９０２表示レベル
９０３露出値
９０４目標撮影画像データ
１０００映像入力部
１００１フレームメモリ
１００２幾何補正部
１００３画素値変換部
１００４映像出力部
１００５幾何補正パラメタ記憶部
１００６幾何補正パラメタ
１００７画素値変換パラメタ記憶部
１００８画素値変換パラメタ
１００９パラメタ設定部
１１００幾何補正パラメタ
１１０１映像表示領域対応領域
１１０２映像表示領域対応領域内部の画素
１１０３映像表示領域対応領域外部の画素
１１１０フレームメモリ内の画像データ
１１１１画素位置
１１２０撮影画像データ
１１２１画素位置
１２００特性関数
１３００調整対象領域
１３０１基準領域
２７０１〜２７０４投映領域
２７１０最小レベル目標値決定画素
２７１１最大レベル目標値決定画素
２８００〜２８０３出力レベル
２９０１撮影装置移動装置
２９０２撮影装置移動装置制御装置

Claims

担当部分の映像データを生成し、生成した映像データを映像補正装置に出力する映像生成装置と、
幾何補正パラメータを格納する幾何補正パラメタ記憶部、画素値変換パラメタを格納する画素値変換パラメタ記憶部、前記幾何補正パラメタに基づいて幾何補正処理を行う幾何補正部、および前記画素値変換パラメタ基づいて画素値変換処理を行う画素値変換部を備え、入力された前記映像データに対して前記幾何補正部において幾何補正処理を施し、前記画素値変換部において画素値変換処理を施して画像投映装置に出力する映像補正装置と、前記幾何補正処理および画素値変換処理が施された映像データをスクリーンに投映する映像投映装置と、
を備えた映像表示装置を複数備え、各映像表示装置の画素値変換パラメタを調整して前記複数の映像表示装置により形成される複数の映像を滑らかに接続して前記スクリーンに表示する映像表示装置と、
それぞれの撮影装置の隣接する撮像領域の一部が互いに重複するように配置した複数の撮影装置と、
前記複数の映像表示装置および複数の撮影装置を制御する制御装置を備え、該制御装置は、前記映像表示装置を制御してパターン映像をスクリーンに表示し、撮影装置を制御して表示した前記パターン映像を撮像し、撮像した画像データに基づいて前記画素値変換パラメタを作成することを特徴とする映像表示装置の調整システム。
請求項１記載の映像表示装置の調整システムにおいて、
前記それぞれの撮影装置より撮像した複数枚の撮像画像の和集合には、前記映像投映装置の投映領域の全てが含まれることを特徴とする映像表示システムの調整システム。
請求項１記載の映像表示装置の調整システムにおいて、
前記それぞれの撮影装置は、前記制御装置により露出および撮影タイミングが調整可能であることを特徴とする映像表示装置の調整システム。
請求項１記載の映像表示装置の調整システムにおいて、
前記制御装置は、前記映像表示装置を制御して複数のパターン映像をスクリーンに投映することを特徴とする映像表示装置の調整システム。
請求項１記載の映像表示装置の調整システムにおいて、
前記スクリーンは、平面、円筒、半球面のうちの何れかの形状であることを特徴とする映像表示装置の調整システム。
担当部分の映像データを生成し、生成した映像データを映像補正装置に出力する映像生成装置と、
幾何補正パラメータを格納する幾何補正パラメタ記憶部、画素値変換パラメタを格納する画素値変換パラメタ記憶部、前記幾何補正パラメタに基づいて幾何補正処理を行う幾何補正部、および前記画素値変換パラメタ基づいて画素値変換処理を行う画素値変換部を備え、入力された前記映像データに対して前記幾何補正部において幾何補正処理を施し、前記画素値変換部において画素値変換処理を施して画像投映装置に出力する映像補正装置と、前記幾何補正処理および画素値変換処理が施された映像データをスクリーンに投映する映像投映装置と、
を備えた映像表示装置を複数備え、各映像表示装置において画素値変換パラメタを調整して前記複数の映像表示装置に形成される複数の映像を滑らかに接続して前記スクリーンに表示する映像表示装置と、
撮影装置と該撮影装置をそれぞれの撮像位置において隣り合う撮像領域が重複領域を持つ状態で投映領域を撮像するように移動する撮影装置移動装置を備え、
さらに前記複数の映像表示装置、撮影装置および撮影装置移動装置を制御する制御装置を備え、該制御装置は、前記映像表示装置を制御してパターン映像をスクリーンに表示し、撮影装置および撮影装置移動装置を制御して表示した前記パターン映像を撮像し、撮像した画像データに基づいて前記画素値変換パラメタを作成することを特徴とする映像表示装置の調整システム。
請求項６記載の映像表示装置の調整システムにおいて、
撮影装置移動装置は、撮影装置をそれぞれの撮像位置において隣り合う撮像領域が重複領域を持つ状態で投映領域の全てを撮像するように移動することを特徴とする映像表示装置の調整システム。
請求項６記載の映像表示装置の調整システムにおいて、
前記撮影装置は、前記制御装置により露出および撮影タイミングが調整可能であることを特徴とする映像表示装置の調整システム。
請求項６記載の映像表示装置の調整システムにおいて、
前記制御装置は、前記映像表示装置を制御して複数のパターンの映像をスクリーンに投映することを特徴とする映像表示システムの調整システム。
請求項６記載の映像表示装置の調整システムにおいて、
前記スクリーンは、平面、円筒、半球面のうちの何れかの形状であることを特徴とする映像表示装置の調整システム。
担当部分の映像データを生成し、生成した映像データを映像補正装置に出力する映像生成装置と、
幾何補正パラメータを格納する幾何補正パラメタ記憶部、画素値変換パラメタを格納する画素値変換パラメタ記憶部、前記幾何補正パラメタに基づいて幾何補正処理を行う幾何補正部、および前記画素値変換パラメタ基づいて画素値変換処理を行う画素値変換部を備え、入力された前記映像データに対して前記幾何補正部において幾何補正処理を施し、前記画素値変換部において画素値変換処理を施して画像投映装置に出力する映像補正装置と、前記幾何補正処理および画素値変換処理が施された映像データをスクリーンに投映する映像投映装置と、
を備えた映像表示装置を複数備え、各映像表示装置の画素値変換パラメタを調整して前記複数の映像表示装置により形成される複数の映像を滑らかに接続して前記スクリーンに表示する映像表示装置と、
それぞれの撮影装置の隣接する撮像領域の一部が互いに重複し、かつ、前記それぞれの撮像領域の和集合が全ての映像投映装置の映像投映領域を含むように配置した複数の撮影装置と、
前記複数の映像表示装置および複数の撮影装置を制御する制御装置を備え、該制御装置は、前記映像表示装置を制御して複数のパターン映像をスクリーンに表示し、撮影装置を制御して表示した前記複数のパターン映像を撮像し、撮像した画像データに基づいて前記画素値変換パラメタを作成する映像表示装置の調整方法であって、
まず、前記複数の撮影装置のうち、第１の撮影装置の撮像領域を基準領域として設定し、該基準領域内に投映領域が含まれる複数の映像投映装置に対する画素値変換パラメタを前記第１の撮影装置が撮像した画像データに基づいて作成し、
ついで、作成した画素値変換パラメタを各映像補正装置に設定して、得られる調整結果を該当する映像投映装置で投映し、
さらに、前記基準領域の一部領域を含む他の映像投映装置の投映領域を更新された基準領域として設定し、該更新された基準領域に対する画素値変換パラメタを、更新された基準領域を撮像する第２の撮影装置で撮像し撮像した画像データに基づいて作成し、さらに、作成した画素値変換パラメタを各映像補正装置に設定して得られる調整結果を該当する映像投映装置で投映することを特徴とする映像表示装置の調整方法。
請求項１１記載の映像表示装置の調整方法において、
前記第２の撮影装置は、撮像方向を変更した第１の撮影装置であることを特徴とする映像表示装置の調整方法。
請求項１１記載の映像表示装置の調整方法において、
前記基準領域の更新および更新された基準領域に対する画素値変換パラメタ作成処理を、全ての映像投映装置に対応する画素補正パラメタ生成が完了するまで継続することを特徴とする映像表示装置の調整方法。