JP2005244835A - マルチプロジェクションシステム - Google Patents

マルチプロジェクションシステム Download PDF

Info

Publication number
JP2005244835A
JP2005244835A JP2004054717A JP2004054717A JP2005244835A JP 2005244835 A JP2005244835 A JP 2005244835A JP 2004054717 A JP2004054717 A JP 2004054717A JP 2004054717 A JP2004054717 A JP 2004054717A JP 2005244835 A JP2005244835 A JP 2005244835A
Authority
JP
Japan
Prior art keywords
image
screen
correction data
marker
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004054717A
Other languages
English (en)
Inventor
Takeyuki Ajito
剛幸 味戸
Kazuo Yamaguchi
和男 山口
Takahiro Toyama
高裕 外山
Takafumi Kumano
貴文 熊野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004054717A priority Critical patent/JP2005244835A/ja
Priority to PCT/JP2005/001337 priority patent/WO2005084017A1/ja
Publication of JP2005244835A publication Critical patent/JP2005244835A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】スクリーン形状が既知でなくても、任意の観察位置で投射画像の位置ずれや歪み、色ずれをリアルタイムで補正できるマルチプロジェクションシステムを提供する。
【解決手段】複数台の画像投射装置1A,1Bによりスクリーン２上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、画像投射装置1A,1Bによりスクリーン２上に投射された画像を、相対的位置関係が既知である異なる位置から撮影して視差画像データを取得する画像取得手段3A,3Bと、取得された視差画像データおよび上記相対的位置関係の情報に基づいて、スクリーン２上に投射された画像の各点の３次元的位置を推定して、画像投射装置1A,1Bに入力する画像を補正するための補正データを算出する画像補正データ算出手段４と、算出された補正データに基づいて、画像投射装置1A,1Bに入力する画像を補正する画像補正手段５とを備える。
【選択図】図１

Description

本発明は、複数台のプロジェクタ等の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステム、特にスクリーンに投射した画像の位置ズレや歪み、さらには色ズレをデジタルカメラにより検出して自動的に補正するようにしたマルチプロジェクションシステムに関するものである。
近年、博物館・展示会等におけるショールーム、シアターやプラネタリウム、さらにはＶＲシステム等において、大画面・高精細の画像表示システムを構築するために、複数台のプロジェクタによりスクリーン上に画像を貼り合わせて大画面高精細な画像表示を実現するマルチプロジェクションシステムが適用されている。
このようなマルチプロジェクションシステムにおいては、個々のプロジェクタによる画像の位置ずれや色ずれを調整してスクリーン上にきれいに貼り合わせることが重要であることから、プロジェクタによりスクリーンに投影された画像の位置ずれや歪み、さらには色ずれを、デジタルカメラにより撮影した画像から自動的に検出して補正するようにしている。
その従来の画像補正方法として、例えば、ドームやアーチ型といった曲面形状をもつスクリーンを用いた場合においても、スクリーン形状による曲面的な歪みを、画像の円筒変換や球面変換を用いることで、所定の観察位置において歪みのない画像に補正する方法が知られている（例えば、特許文献１参照）。
また、所望の観察位置にマーカー投射器を配置してスクリーン上にマーカーを投影し、投影されたマーカーを基準位置として画像補正を行うようにしたものも知られている（例えば、特許文献２参照）。
特開２００２−７２３５９公報 特開２００３−１８５０３公報
しかしながら、上記特許文献１に開示の画像補正方法にあっては、デジタルカメラで撮影した画像をスクリーン形状に合わせて円筒変換や球面変換するため、歪みを正確に補正するためには、スクリーンの立体形状が予め既知であり、さらには、観察位置と同じ位置にデジタルカメラを設置しなければならないと言う制約がある。
これに対して、上記特許文献２に開示の画像補正方法では、マーカー投射器からスクリーン上に投影されたマーカーを基準位置として画像補正を行うので、スクリーンの形状が既知でなく、さらにはデジタルカメラが観察位置に設置されてなくても、観察位置において歪みのない画像に補正することが可能である。
しかし、他方ではマーカー投射器を観察位置に置くことが必須条件であるため、システム構成上どうしても観察位置に機材が置けない場合には、歪みを正確に補正することができなくなる。また、観察位置が任意に変化した場合には、その都度、観察位置にマーカー投射器を設置してスクリーン上にマーカーを投射する必要があるため、観察位置の変化に対してリアルタイムに画像歪みを補正できないと言う問題がある。
したがって、かかる点に鑑みてなされた本発明の目的は、スクリーンの形状が既知でなくても、任意の観察位置において投射画像の位置ずれや歪み、さらには色ずれをリアルタイムで補正できるマルチプロジェクションシステムを提供することにある。
上記目的を達成する請求項１に係る発明は、複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
上記画像投射装置により上記スクリーン上に投射された画像を、相対的位置関係が既知である異なる位置から撮影して視差画像データを取得する画像取得手段と、
上記画像取得手段により取得された視差画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするものである。
請求項２に係る発明は、請求項１に記載のマルチプロジェクションシステムにおいて、上記画像取得手段は、相対的位置関係が既知の異なる位置に設置された２台のデジタルカメラを有し、これら２台のデジタルカメラにより上記スクリーン上に投射された画像を撮影して視差画像データを取得することを特徴とするものである。
請求項３に係る発明は、請求項１に記載のマルチプロジェクションシステムにおいて、上記画像取得手段は、１台のデジタルカメラと、該デジタルカメラを平行移動させる移動機構とを有し、上記移動機構により上記デジタルカメラを平行移動させて、相対的位置関係が既知である異なる位置から上記スクリーン上に投射された画像を撮影して視差画像データを取得することを特徴とするものである。
請求項４に係る発明は、複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
上記スクリーン上に所定の角度でマーカーを投射するマーカー投射手段と、
上記画像投射装置により上記スクリーン上に投射された画像および上記マーカー投射手段により上記スクリーン上に投射されたマーカーをそれぞれ撮影して画像データを取得する画像取得手段と、
上記マーカー投射手段と上記画像取得手段との相対的位置関係を固定するための支持手段と、
上記画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするものである。
請求項５に係る発明は、複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
上記画像投射装置により上記スクリーン上に投射された画像を、上記画像投射装置と相対的位置関係が既知の場所から撮影して画像データを取得する複数台の画像取得手段と、
上記複数台の画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするものである。
請求項６に係る発明は、複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
相対的位置関係が既知である異なる位置から上記スクリーン上にマーカーを投射するマーカー投射手段と、
上記画像投射装置により上記スクリーン上に投射された画像および上記マーカー投射手段により上記スクリーン上に投射されたマーカーを撮影して画像データを取得する画像取得手段と、
上記画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするものである。
請求項７に係る発明は、請求項６に記載のマルチプロジェクションシステムにおいて、上記マーカー投射手段は、相対的位置関係が既知の異なる位置に設置された２台のレーザーポインタを有することを特徴とするものである。
請求項８に係る発明は、請求項６に記載のマルチプロジェクションシステムにおいて、上記マーカー投射手段は、１台のレーザーポインタと、該レーザーポインタを平行移動させる移動機構とを有し、上記移動機構により上記レーザーポインタを平行移動させて、相対的位置関係が既知である異なる位置から上記スクリーン上にマーカーを投射することを特徴とするものである。
請求項９に係る発明は、請求項１〜８のいずれか一項に記載のマルチプロジェクションシステムにおいて、上記補正データ算出手段は、上記スクリーンに対する観察者の位置情報に基づいて補正データを算出することを特徴とするものである。
請求項１０に係る発明は、請求項９に記載のマルチプロジェクションシステムにおいて、上記観察者の視点位置を検出して上記観察者の位置情報を得るための視点検出センサを備えることを特徴とするものである。
本発明によれば、スクリーン上に投射された画像の各点の３次元的位置、すなわちスクリーン位置・形状を推定して、投射画像の位置ずれや歪み、さらには色ずれを補正することができるので、スクリーンの形状が既知でなくても、画像を良好に表示することができる。しかも、一度、画像取得手段で画像データを取得しておけば、その後は自由に観察位置を設定して歪み補正を変更することができるので、観察位置変化に対してリアルタイムに補正することができる。
以下、本発明によるマルチプロジェクションシステムの実施の形態について、図面を参照して説明する。
（第１実施の形態）
図１〜図１０は第１実施の形態を示すもので、図１はマルチプロジェクションシステムの全体構成を示す図、図２（ａ）および（ｂ）はプロジェクタに入力するテストパターン画像を示す図、図３は図１に示す補正データ算出部の構成を示すブロック図、図４は図１に示す画像変換部の構成を示すブロック図、図５は幾何補正データ算出処理を説明するためのフローチャート、図６はプロジェクタによるマーカー投射と２台のカメラによるマーカー撮影の様子を示す図、図７はスクリーン立体形状の推定方法を示す概念図、図８は少ないマーカー数でスクリーン形状を推定する方法を示す概念図、図９は推定されたスクリーン形状（マーカー位置）から観察視点を中心としたマーカー投影像を作成する様子を示す図、図１０（ａ）および（ｂ）は推定されたスクリーン形状（マーカー位置）から観察視点を中心とした広視野角な投影面上にマーカー投影像を作成する様子を示す図である。
本実施の形態は、図１に示すように、それぞれ画像投射装置であるプロジェクタ１Ａおよびプロジェクタ１Ｂによりドーム状またはアーチ状のスクリーン２へ画像を一部オーバーラップして投射させることにより、投射される画像を貼り合わせてスクリーン２上に一枚の大きな画像を表示するものである。なお、画像投射装置としてのプロジェクタとしては、透過型液晶プロジェクタ、反射型液晶プロジェクタ、ＤＭＤ（デジタルマイクロミラー素子）を用いたＤＬＰ方式プロジェクタ、ＣＲＴ投射管ディスプレイ、レーザスキャンプロジェクタ等が使用可能である。ここで、プロジェクタ１Ａおよびプロジェクタ１Ｂにより投射される各々の画像は、そのままではプロジェクタ１Ａ，１Ｂの色特性の違いや設置位置のずれにより、きれいに貼り合わされない。
そこで本実施の形態では、先ずプロジェクタ１Ａおよびプロジェクタ１Ｂにテストパターン画像データを入力してスクリーン２上にテストパターン画像を投射し、その投射されたテストパターン画像を画像取得手段であるカメラ（デジタルカメラ）３Ａ，３Ｂにより撮影してテストパターンの撮影画像を取得する。なお、ここで投射するテストパターン画像としては、図２（ａ）に示すような画面上に規則的に並んだマーカー画像や、図２（ｂ）に示すようなプロジェクタ１Ａ，１Ｂの色特性を取得するためのＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の異なる信号レベルの色信号画像がある。また、画像取得手段であるデジタルカメラとしては、モノクロまたはマルチバンドのものを適用でき、その撮像素子もＣＣＤやＣＭＯＳタイプのものを適用することができる。
これら取得されたテストパターン画像は、補正データ算出部４に送出し、ここでテストパターンの撮影画像に基づいてプロジェクタ１Ａ，１Ｂに入力する画像を補正するための補正データを算出する。算出されたデータは、画像変換部５に送出し、ここで補正データ算出部４において算出された補正データにより、プロジェクタ１Ａ，１Ｂに入力するコンテンツ画像データの補正を行う。
以上のようにして補正されたコンテンツ画像データを、プロジェクタ１Ａおよびプロジェクタ１Ｂに入力することにより、スクリーン２上につなぎ目なく、きれいに貼り合わされた一枚の画像が表示される。
ここで、カメラ３Ａおよびカメラ３Ｂは、図１に示すように所定の距離ｄだけ離して支持具６にそれぞれ固定する。さらに、カメラ３Ａおよびカメラ３Ｂは、ともにスクリーン全体の範囲が撮影できるように広角なレンズ、あるいは、より広い画角が得られるように魚眼レンズを用いる。
このようにして、カメラ３Ａ，３Ｂでスクリーン２上に投影されたテストパターン画像を異なる視点位置から撮影することにより、テストパターンの視差画像が取得できる。さらに、各々の視点の相対的な位置関係が既知であることから、上記の視差画像からスクリーン２上に投射された画像各点の３次元的な位置を推定することが可能となる。
次に、図３を参照して本実施の形態における補正データ算出部４の詳細ブロックについて説明する。
本実施の形態における補正データ算出部４は、カメラ撮影画像データ格納部１１Ａおよびカメラ撮影画像データ格納部１１Ｂ、マーカー位置検出格納部１２、スクリーン形状・カメラ位置推定格納部１３、観察位置設定部１４、マーカー位置座標変換部１５、プロジェクタ幾何補正データ算出部１６、プロジェクタガンマ補正データ算出部１７、およびプロジェクタ色補正マトリクス算出部１８を有している。
カメラ撮影画像データ格納部１１Ａおよびカメラ撮影画像データ格納部１１Ｂは、カメラ３Ａおよびカメラ３Ｂにより撮影された種々のテストパターンの撮影画像を格納する。
マーカー位置検出格納部１２では、カメラ３Ａおよびカメラ３Ｂで撮影されたテストパターンのうち、マーカー画像を入力して撮影画像上における各プロジェクタで投影したマーカーの位置を検出し、その位置情報を格納する。
スクリーン形状・カメラ位置推定格納部１３では、カメラ３Ａおよびカメラ３Ｂに対応する撮影画像上における各マーカーの位置情報から、各マーカーの３次元的な位置を推定して、スクリーン２の立体形状およびスクリーン２に対するカメラ位置を算出する。
観察位置設定部１４では、予め設定された観察位置またはユーザーにより任意に設定された観察位置の３次元的な位置情報を格納して、後段のマーカー位置座標変換部１５に送られる。
マーカー位置座標変換部１５では、スクリーン形状・カメラ位置算出格納部において算出された３次元的なマーカー位置と、観察位置設定部１４において設定された観察位置の３次元的な位置情報とに基づいて、観察位置を視点としてマーカーを２次元平面に投影した際のマーカーの２次元座標位置を算出する。
プロジェクタ幾何補正データ算出部１６では、マーカー位置座標変換部１５で作成された観察位置を視点としたマーカーの２次元座標を用いて、観察位置を中心とする投影面とプロジェクタ１Ａ，１Ｂの画像面との幾何座標関係を導出し、その導出した幾何座標関係に基づいてプロジェクタ画像の位置ずれや歪みを補正する幾何補正データを算出して、その算出した幾何補正データを後段の画像変換部５へ出力する。
プロジェクタガンマ補正データ算出部１７では、カメラ３Ａ（もしくはカメラ３Ｂ）で撮影された各種の色信号画像に基づいて、プロジェクタ１Ａ，１Ｂの画面内の色むら、ガンマ特性むらを補正するためのガンマ補正データを算出し、その算出したガンマ補正データを後段の画像変換部５へ出力する。
プロジェクタ色補正マトリクス算出部１８では、カメラ３Ａ（もしくはカメラ３Ｂ）で撮影された各種の色信号画像に基づいて、プロジェクタ１Ａ，１Ｂ間の色の違いを補正するための色補正マトリクスを算出し、その算出した色補正マトリクスを後段の画像変換部５へ出力する。
次に、図４を参照して本実施の形態における画像変換部５の詳細ブロックについて説明する。
画像変換部５は、大別して補正データ記憶部２１と補正データ作用部２２とからなっている。補正データ記憶部２１には、幾何補正データ保存部２３、ガンマ補正データ保存部２４および色補正マトリクス保存部２５を設け、補正データ算出部４のプロジェクタ幾何補正データ算出部１６で算出された幾何補正データを幾何補正データ保存部２３に、プロジェクタガンマ補正データ算出部１７で算出されたプロジェクタガンマ補正データをガンマ補正データ保存部２４に、プロジェクタ色補正マトリクス算出部１８で算出された色補正マトリクスを色補正マトリクス保存部２５にそれぞれ記憶する。
補正データ作用部２２には、ガンマ変換部２６、幾何補正データ作用部２７、色補正マトリクス作用部２８、ガンマ補正部２９およびガンマ補正データ作用部３０を設ける。この補正データ作用部２２では、先ず、ガンマ変換部２６において入力画像（コンテンツ画像データ）の非線形なガンマ特性を補正した後、幾何補正データ作用部２７において幾何補正データ保存部２３から入力されるプロジェクタ毎の幾何補正データを用いて入力画像の幾何補正を行う。その後、色補正マトリクス作用部２８において、色補正マトリクス保存部２４から入力されるプロジェクタ毎の色補正マトリクスを用いて入力画像のＲＧＢ信号のカラーマトリクス変換を行う。次に、ガンマ補正部２９において、プロジェクタ画面全体で均一なガンマ特性を補正した後、ガンマ補正データ作用部３０において、ガンマ補正データ保存部２５に保存されたガンマ補正データに基づいて、プロジェクタ画面の１画素毎に均一なガンマからのずれ（差分）を補正する。このように、ガンマ補正部２９において、画面全体である程度大まかなガンマ補正を行い、その後、ガンマ補正データ作用部３０で用いる１画素毎のガンマ補正データを差分で持たせれば、補正データのデータ量・メモリ量を圧縮することができるので、コストダウンを図ることができる。
以上により、画像変換部５で補正されたコンテンツ画像データは、後段のプロジェクタ１Ａおよびプロジェクタ１Ｂへ出力される。また、テストパターン画像は、補正されずにそのままプロジェクタ１Ａおよびプロジェクタ１Ｂへ出力される。
次に、図５を参照して、本実施の形態における幾何補正データ算出処理について説明する。
先ず、画像変換部５において、入力画像に対して何も補正しない状態（スルー状態）に設定して（ステップＳ１）、テストパターン画像のうち図２（ａ）に示すマーカー画像を入力して、プロジェクタ１Ａ，１Ｂに表示する（ステップＳ２）。その後、プロジェクタ１Ａ，１Ｂによりスクリーン２に投影された画像をカメラ３Ａ，３Ｂでそれぞれ撮影して（ステップＳ３，Ｓ４）、撮影された視差画像を補正データ算出部４のカメラ撮影画像データ格納部１１Ａ，１１Ｂにそれぞれ格納する。図６は、この様子を示したもので、一方のプロジェクタ１Ｂによるマーカー投射と２台のカメラ３Ａ，３Ｂによるマーカー撮影の様子を示している。
次に、撮影された視差画像に基づいて、マーカー位置検出格納部１２においてマーカー位置を検出する。その後、スクリーン形状・カメラ位置算出格納部１３において、視差画像同士の同じマーカーに対応する検出された撮影画像面上のマーカー点（対応点）の位置を検出して（ステップＳ５）、その検出した複数のマーカーについての３次元的な位置から全体的なスクリーン形状を補間演算により推定すると共に、カメラ位置を推定する（ステップＳ６）。図７は、この様子を示したもので、２台のカメラ３Ａ，３Ｂによるマーカー撮影画像からスクリーン２の立体形状を推定する方法を概念的に示している。なお、図８に示すように、ある程度マーカー点数が少ない場合には、大まかなスクリーン形状の先見情報を与えておくことで、多数のマーカー点で推定したときと同等な精度でスクリーン形状を推定することも可能である。
次に、ユーザーにより、実際に投射画像を観察する位置を設定する（ステップＳ７）。なお、この観察位置は、ユーザーが指定しなくとも、例えばドーム中心位置であるとか予めデフォルトにより決めておいてもよい。その後、推定されたマーカーの３次元的な位置および設定された観察位置に基づいて、マーカー位置座標変換部１５において、観察位置における視点を中心とした２次元投影面におけるマーカーの位置座標を算出する（ステップＳ８）。図９は、この様子を示したものである。なお、この際、投影面の画角は、マルチプロジェクションシステムに入力するコンテンツ画像の画角と同じとする。例えば、コンテンツ画像が魚眼レンズで撮影されたような広視野画像であれば、図１０（ａ）に示すように、投影画像も広視野角（例えば、１１０度〜３６０度）の座標系で表わされる２次元投影面上のマーカー位置座標を算出すればよい。また、図１０（ｂ）に示すように、観察位置が任意に変化した場合には、その観察位置における投影点を算出すればよい。
次に、算出されたマーカー位置座標に基づいて、プロジェクタ幾何補正データ算出部１６においてプロジェクタ毎の幾何補正データを算出する（ステップＳ９）。具体的には、観察位置における視点画像面上のマーカー位置座標とプロジェクタ１Ａ，１Ｂへ入力したテストパターン画像におけるマーカーの位置座標との対応関係から、視点画像面上の座標とプロジェクタ画像面上の座標との幾何関係を求め、その幾何関係に基づいて視点画像面上で位置ずれや歪みのない画像が出力されるように、入力画像を補正する幾何補正データを算出する。その後、算出したプロジェクタ毎の幾何補正データを画像変換部５へ出力して（ステップＳ１０）、幾何補正データ算出の処理を終了する。
以上のようにして算出された補正データを用いて、画像変換部５においてコンテンツ画像を幾何補正すれば、設定された観察位置において歪みのない画像を表示することができる。
ガンマ補正データ、色補正マトリクスについては、テストパターン画像として図２（ｂ）に示す各種の色信号画像データをプロジェクタで表示し、これをマーカー画像の場合と同様にカメラ３Ａ，３Ｂで撮影して、撮影された画像データから、プロジェクタ１Ａ，１Ｂの各色特性のむらおよびガンマ特性のむらを算出し、これらを全画面で均一にするような補正データをそれぞれ求める。
なお、これらガンマ補正データ、色補正マトリクスを算出するにあたっては、視差画像を撮影する必要がないので、各種の色信号画像の撮影データとしては、カメラ３Ａもしくはカメラ３Ｂのどちらかで撮影されたものがあればよい。また、色信号画像は、図２（ｂ）に示したＲ（赤）、Ｇ（緑）、Ｂ（青）の単色の色信号データをテストパターンとして用いる場合に限らず、白から黒の混合色（グレースケール）による色信号データを用い、カメラ３Ａおよびカメラ３Ｂにそれぞれ異なる分光特性のフィルタを挿入して同時に撮影すれば、例えばカメラ３Ａから青成分の色信号画像を、カメラ３Ｂから赤成分の色信号画像を同時に取得することもできる。このように、色信号画像をカメラ３Ａおよびカメラ３Ｂで分担して得るようにすれば、撮影時間を短縮することができる。
（第２実施の形態）
図１１および図１２は第２実施の形態を示すもので、図１１はマルチプロジェクションシステムの全体構成を示す図、図１２は図１１に示す補正データ算出部の構成を示すブロック図である。
本実施の形態は、第１実施の形態において使用した２台のカメラ３Ａおよびカメラ３Ｂに代えて、移動機構である移動ステージ３１に平行移動可能に１台のカメラ（デジタルカメラ）３を支持し、このカメラ３を平行移動させて相対的位置が既知の距離ｄの両端で順次撮影することにより、第１実施の形態と同様に視差画像を得るようにしたものである。
このため、補正データ算出部４には、カメラ３での投影画像を、カメラ撮影画像データ格納部１１Ａ，１１Ｂに切り替えて供給するための切り替えスイッチ３２を設け、カメラ３を距離ｄの左端に位置させて撮影したときは、その撮影画像を切り替えスイッチ３２を経てカメラ撮影画像データ格納部１１Ａに格納し、カメラ３を距離ｄの右端に位置させて撮影したときは、その撮影画像を切り替えスイッチ３２を経てカメラ撮影画像データ格納部１１Ｂに格納する。その他の構成および動作は、第１実施の形態と同様である。
本実施の形態によれば、第１実施の形態と比較すると、カメラ３を移動しながら順次撮影する分、撮影時間が長くなるが、より少ない機材で同様の補正を実現でき、コストダウンを図ることができる。
（第３実施の形態）
図１３〜図１６は第３実施の形態を示すもので、図１３はマルチプロジェクションシステムの全体構成を示す図、図１４は図１３に示す補正データ算出部の構成を示すブロック図、図１５は幾何補正データ算出処理を説明するためのフローチャート、図１６はスクリーン形状（マーカー位置）を推定する方法を示す概念図である。
本実施の形態は、図１３に示すように、第１実施の形態におけるカメラ３Ａおよびカメラ３Ｂの代わりに、１台のカメラ３とスクリーン全体に亘って等角度でマーカーを投射するマーカー投射手段であるレーザーポインタ３５とを用いてスクリーン形状を推定するものである。カメラ３およびレーザーポインタ３５は、両者の相対的な位置関係を固定して支持手段である支持具３６にそれぞれ固定する。
補正データ算出部４は、図１４に示すように、カメラ撮影画像データ格納部１１の他に、図３と同様に、マーカー位置検出格納部１２、スクリーン形状・カメラ位置推定格納部１３、観察位置設定部１４、マーカー位置座標変換部１５、プロジェクタ幾何補正データ算出部１６、プロジェクタガンマ補正データ算出部１７、およびプロジェクタ色補正マトリクス算出部１８を有しているが、本実施の形態では、カメラ撮影画像データ格納部１１、マーカー位置検出格納部１２、スクリーン形状・カメラ位置算出格納部１３、マーカー位置座標変換部１５の機能が第１実施の形態と異なっており、その他の機能は第１実施の形態と同様である。
すなわち、カメラ撮影画像データ格納部１１は、レーザーポインタ３５によりスクリーン２上に投影されたマーカーの撮影画像と、プロジェクタ１Ａ，１Ｂにより投影されたマーカー画像および色信号画像のテストパターンの撮影画像とを格納する。また、マーカー位置検出格納部１２では、レーザーポインタ３５によりスクリーン２上に投影されたマーカーの位置と、プロジェクタ１Ａ，１Ｂにより投影されたマーカーの位置とを、それぞれの撮影画像から検出する。
さらに、スクリーン形状・カメラ位置算出格納部１３では、検出されたレーザーポインタ３５によるマーカーの位置から、スクリーン形状およびカメラ位置を推定する。また、マーカー位置座標変換部１５においては、推定されたスクリーン形状およびカメラ位置、さらには観察位置設定部１４において設定された観察位置から、マーカー位置検出格納部１２において検出されたプロジェクタ１Ａ，１Ｂによるマーカー位置座標を、観察視点から見たマーカー位置座標に変換する。
以上により変換されたプロジェクタ１Ａ，１Ｂのマーカー位置座標をもとに、プロジェクタ幾何補正データ算出部１６において、第１実施の形態と同様に、幾何補正データを算出する。
以下、図１５を参照して、本実施の形態による幾何補正データ算出処理について説明する。先ず、レーザーポインタ３５によりスクリーン２上にマーカーを投影し（ステップＳ１１）、投影されたマーカー画像をカメラ３により撮影して（ステップＳ１２）、カメラ撮影画像データ格納部１１に格納する。次に、プロジェクタ１Ａ，１Ｂによりマーカー画像をスクリーン２上に投影し（ステップＳ１３）、投影されたマーカー画像を同様にカメラ３により撮影して（ステップＳ１４）、カメラ撮影画像データ格納部１１に格納する。次に、撮影された各々のマーカー画像に基づいて、マーカー位置検出格納部１２においてレーザーポインタ３５によるマーカー位置およびプロジェクタ１Ａ，１Ｂによるマーカー位置をそれぞれ検出する（ステップＳ１５，Ｓ１６）。
次に、検出されたレーザーポインタ３５によるマーカー位置に基づいて、スクリーン形状・カメラ位置算出格納部１３において、スクリーン２の形状およびカメラ３の位置を推定する（ステップＳ１７）。具体的には、図１６に示すように、予め定められたレーザーポインタ３５によるマーカーの投影角および撮影画像上のマーカーの位置から、マーカーの３次元的な位置を算出してスクリーン形状およびカメラ位置を推定する。
次に、観察位置を設定したら（ステップＳ１８）、マーカー位置座標変換部１５において、先ず、観察位置を視点とした投影画像上におけるレーザーポインタ３５の座標位置を算出し（ステップＳ１９）、次に観察位置におけるマーカー座標位置およびカメラ撮影画像上でのマーカー座標位置から、観察位置およびカメラ画像間の座標関係を求め（ステップＳ２０）、その後、算出した座標関係を用いて、プロジェクタ１Ａ，１Ｂにより投影されたマーカーの撮影画像上の座標位置を、観察位置を視点とした投影面上におけるプロジェクタ１Ａ，１Ｂのマーカー座標位置に変換する（ステップＳ２１）。
以上により変換された観察位置におけるプロジェクタ３５のマーカー位置情報を用いて、第１実施の形態と同様、プロジェクタ幾何補正データ算出部１６においてプロジェクタ毎の幾何補正データを算出し（ステップＳ２２）、その算出した幾何補正データを画像変換部５へ出力して（ステップＳ２３）、その幾何補正データに基づいて入力画像の画像変換を行う。これにより、プロジェクタ１Ａ，１Ｂによって、入力画像を観察位置から見て歪みのない画像に表示することができる。
（第４実施の形態）
図１７および図１８は本発明の第４実施の形態を示すもので、図１７はマルチプロジェクションシステムの全体構成を示す図、図１８は図１７に示す補正データ算出部の構成を示すブロック図である。
本実施の形態は、第１実施の形態において、スクリーン全体の視差画像を取得するカメラ３Ａ，３Ｂの他に、スクリーン２を小領域に分割して撮影するカメラ（デジタルカメラ）３Ｃ，３Ｄを設け、プロジェクタ１Ａ，１Ｂの位置ずれや歪みを補正する幾何補正データについては、カメラ３Ａ，３Ｂで撮影された視差画像を用いて第１実施の形態と同様に算出し、プロジェクタ１Ａ，１Ｂの色補正マトリクスおよびガンマ補正データについては、カメラ３Ｃ，３Ｄで撮影された色信号画像から算出するようにしたものである。
ここで、一般に、プロジェクタの位置ずれや歪みに関しては、ある程度カメラの解像度が低くても、後のマーカー位置検出の処理においてカメラの分解能よりも細かい精度で求めることが可能であるが、プロジェクタの画素単位で生じる色むらについては、カメラの分解能よりも細かい精度で検出することが困難である。
そこで、本実施の形態では、色むらを検出する色信号画像をカメラ３Ｃ，３Ｄによりスクリーン２上の小領域で撮影することによって、より細かい精度で色むらを補正する。
このため、補正データ算出部４には、図１８に示すように、図３に示したカメラ撮影画像データ格納部１１Ａ，１１Ｂ、マーカー位置検出格納部１２、スクリーン形状・カメラ位置推定格納部１３、観察位置設定部１４、マーカー位置座標変換部１５、プロジェクタ幾何補正データ算出部１６の他に、カメラ撮影画像データ格納部１１Ｃ，１１Ｄおよびプロジェクタ色補正マトリクス・ガンマ補正データ算出部１９を設ける。
カメラ撮影画像データ格納部１１Ｃ，１１Ｄには、カメラ３Ｃ，３Ｄにより撮影されたマーカー画像および色信号画像のテストパターンの撮影画像を格納する。また、マーカー位置検出格納部１２では、カメラ３Ａ，３Ｂにより撮影されたマーカー画像のマーカー座標位置を検出すると共に、カメラ３Ｃ，３Ｄにより撮影されたマーカー画像のマーカー座標位置も検出し、これら検出したカメラ３Ｃ，３Ｄの撮影画像におけるマーカー位置をプロジェクタ色補正マトリクス・ガンマ補正データ算出部１９に供給する。
プロジェクタ色補正マトリクス・ガンマ補正データ算出部１９では、マーカー位置検出格納部１２で検出されたカメラ３Ｃ，３Ｄの撮影画像におけるマーカー位置と、カメラ撮影画像データ格納部１１Ｃ，１１Ｄに格納された色信号画像とを用いて、プロジェクタ１Ａ，１Ｂの各画素に対応する色むらを検出して、それを補正するための色補正マトリクスおよびガンマ補正データを算出し、その算出した色補正マトリクスおよびガンマ補正データを画像変換部５へ出力して入力画像を変換する。これにより、より細かい精度で色むらを補正することができるので、色むらのない画像をスクリーン２上に表示することができる。なお、プロジェクタ１Ａ，１Ｂの幾何補正データについては、第１実施の形態と同様である。
（第５実施の形態）
図１９および図２０は本発明の第５実施の形態を示すもので、図１９はマルチプロジェクションシステムの全体構成を示す図、図２０は図１９に示す補正データ算出部の構成を示すブロック図である。
本実施の形態は、第３実施の形態において、カメラ３を回転可能に支持具３６に支持し、このカメラ３を回転制御部４１により回転させながらスクリーン２上の小領域毎にテストパターン画像を順次撮影して、その小領域毎に分けて撮影したテストパターン画像を用いて補正データを算出するようにしたものである。
このため、本実施の形態では、カメラ３による各撮影画像に対応する回転角度情報を回転制御部４１から補正データ算出部４に供給する。また、補正データ算出部４には、回転制御部４１からのカメラ３の回転角度情報を格納する回転角度格納部２０を付加し、この回転角度格納部２０に格納された各撮影画像に対応する回転角度情報を、スクリーン形状・カメラ位置算出格納部１３およびマーカー位置座標変換部１５に供給して、スクリーン形状・カメラ位置の推定および観察位置におけるマーカー位置座標への変換の際に各撮影画像データと対応して用い、これにより第３実施の形態と同様に、それぞれの補正データを算出する。
このように、スクリーン２上の小領域毎に分けて撮影したテストパターン画像を用いて補正データを算出することにより、第４実施の形態と同様に、より細かい空間精度での補正が可能となる。
（第６実施の形態）
図２１および図２２は本発明の第６実施の形態を示すもので、図２１はマルチプロジェクションシステムの全体構成を示す図、図２２は本実施の形態によるスクリーン形状の算出方法の一例を説明するための図である。
本実施の形態は、第５実施の形態において、レーザーポインタ３５およびカメラ３を支治具３６に固定し、この支持具３６を回転制御部４１により回転させながら、スクリーン２上の小領域毎にレーザーポインタ３５によるマーカー投射およびカメラ３による撮影を行って、その小領域毎に分けて撮影したテストパターン画像を用いて補正データを算出するようにしたもので、その他の構成は第５実施の形態と同様である。このように構成すれば、レーザーポインタ３５によるマーカー投射角が狭い範囲であっても、スクリーン全体を網羅することができるので、レーザーポインタ３５の構成を簡略化することができる。
ここで、スクリーン２の小領域毎に撮影されたマーカー画像から、スクリーン２の全体の形状を求める際は、第５実施の形態と同様に、回転制御部４１から出力される各撮影画像に対応する回転角度情報を用いて、各撮影画像同士の回転角度による相対的な位置関係からスクリーン全体の形状を推定することができる。
または、回転角度情報を用いなくとも、例えば図２２に示すように、お互いの撮影領域の重複する部分にプロジェクタ１Ａ，１Ｂによりそれぞれマーカーを投影して撮影し、その各々撮影したマーカー画像におけるプロジェクタ１Ａ，１Ｂのマーカー位置（同一点）をもとにして、お互いの撮影画像から推定されたスクリーン形状を合成してもよい。このようにすれば、回転角度情報にある程度誤差があっても、精度よく互いの位置関係を合成することができる。
（第７実施の形態）
図２３は、本発明の第７実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。
本実施の形態は、互いに位置が固定されたカメラおよびレーザーポインタを複数セット用いて、スクリーン２の小領域毎に、隣接する小領域間でオーバーラップさせてテストパターン画像の投射およびその撮影を行い、その小領域毎に分けて撮影したテストパターン画像を用いて補正データを算出するようにしたもので、その他の構成は第５実施の形態および第６実施の形態と同様である。なお、図２３は、カメラ３Ａおよびレーザーポインタ３５Ａを距離ｄ１離して支持具３６Ａに固定したものと、カメラ３Ｂおよびレーザーポインタ３５Ｂを距離ｄ２離して支持具３６Ｂに固定したものとの２セットを用いた場合を示している。ここで、距離ｄ１，ｄ２は等しくても、異なっても良く、任意に設定することができる。
このように構成すれば、スクリーン２の小領域毎のテストパターン画像を同時に撮影することができるので、撮影時間を短縮でき、補正データを短時間で算出することができる。なお、本実施の形態によるスクリーン形状の推定は、第６実施の形態で説明したように、各マーカー撮影画像からスクリーン２の小領域の形状を推定し、その後、図２２に示したように合成して全体のスクリーン形状を推定すればよい。
（第８実施の形態）
図２４は、本発明の第８実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。
本実施の形態は、第７実施の形態のように複数セットのカメラおよびレーザーポインタを設けることなく、プロジェクタ１Ａ，１Ｂと同じ台数のカメラ３Ａ，３Ｂを用いてスクリーン２の立体形状を推定する。このため、プロジェクタ１Ａとカメラ３Ａとを距離ｄ１離して支持具３６Ａに固定し、プロジェクタ１Ｂとカメラ３Ｂとを距離ｄ２離して支持具３６Ｂに固定して、カメラ３Ａによりプロジェクタ１Ａによるスクリーン２の投影領域、すなわちプロジェクタ１Ａによる投影画像とそれとオーバーラップするプロジェクタ１Ｂによる投影画像の一部とを撮影できるようにし、カメラ３Ｂによりプロジェクタ１Ｂによるスクリーン２の投影領域、すなわちプロジェクタ１Ｂによる投影画像とそれとオーバーラップするプロジェクタ１Ａによる投影画像の一部とを撮影できるようにする。なお、距離ｄ１，ｄ２は、カメラ３Ａ，３Ｂにより対応するプロジェクタ１Ａ，１Ｂによる投影領域を撮影できれば、等しくても、異なっても良く、任意に設定することができる。
このようにして、スクリーン形状を推定するにあたっては、プロジェクタ１Ａ，１Ｂによりマーカー画像を投射してカメラ３Ａ，３Ｂで撮影し、それらの撮影画像と、プロジェクタ１Ａ，１Ｂおよびカメラ３Ａ，３Ｂのそれぞれの相対的位置関係を示す情報とを用いて、スクリーン形状を推定する。その他の構成および動作は、第７実施の形態と同様である。
本実施の形態によれば、レーザーポインタを用いることなく、簡単な構成でスクリーン形状を推定して画像補正することができる。
（第９実施の形態）
図２５〜図２９は本発明の第９実施の形態を示すもので、図２５はマルチプロジェクションシステムの全体構成を示す図、図２６（ａ）〜（ｃ）はスクリーン形状推定処理を説明するための図、図２７はスクリーン形状推定処理を説明するためのフローチャート、図２８は幾何補正データ算出処理を説明するためのフローチャート、図２９は図２５に示す補正データ算出部の構成を示すブロック図である。
本実施の形態は、２台のレーザーポインタ３５Ａ，３５Ｂを距離ｄ離して支持具３６に固定し、これら相対的な位置関係が固定されたレーザーポインタ３５Ａ，３５Ｂにより異なる位置からスクリーン２の全体にマーカーを投射して、その投射された各々のマーカーをカメラ３Ａ，３Ｂによりスクリーン２の小領域毎に分けて撮影し、これら撮影された画像からスクリーン２の形状を推定するものである。
以下、２台のレーザーポインタ３５Ａ，３５Ｂとカメラ３Ａ，３Ｂとを用いてスクリーン形状を推定の具体的な方法について、図２６（ａ）〜（ｃ）を参照しながら説明する。
先ず、図２６（ａ）に示すように、２台のレーザーポインタ３５Ａ，３５Ｂから、それぞれ所定の角度θＡｋ，θＢｋ（ｋ＝１〜ｋ、ｋは角度サンプル数）でマーカーを同時に投射し、これをカメラ３Ａで撮影する。
次に、例えば、レーザーポインタ３５Ｂにおいて投射されたｉ番目のマーカー点に着目し、これと隣接するレーザーポインタ３５Ａにおいて投射されたマーカー点（ｋ＝ｊ、ｊ＋１）をカメラ撮影画像上から抽出する。
次に、図２６（ｂ）に示す撮影画像上におけるレーザーポインタ３５Ｂのｉ番目のマーカー点（Ｂｉ）と、レーザーポインタ３５Ａのｊおよびｊ＋１番目のマーカー点（Ａｊ，Ａｊ＋１）との距離の比（β／α）を計算すると共に、その算出した距離の比と、レーザーポインタ３５Ａのｊおよびｊ＋１番目のマーカー投射角θＡｊおよびθＡｊ＋１とを用いて、図２６（ｃ）に示すように、レーザーポインタ３５Ｂによるマーカー投影位置と同じ位置にレーザーポインタ３５Ａからマーカーを投射する場合の投射角θ′Ａｉを補間演算により計算する。例えば、線形補間であれば、θ′Ａｉ＝（β／α）・（θＡｊ＋１−θＡｊ）＋θＡｊ、により計算する。さらに、スクリーン形状が曲面である場合には、高次補間式により、より精度良く求めることも可能である。
その後、計算したθ′Ａｉと、予め設定されたレーザーポインタ３５Ｂによるｉ番目のマーカーの投射角θＡｉと、レーザーポインタ３５Ａ，３５Ｂ間の距離ｄとを用いて、レーザーポインタ３５Ｂによるｉ番目のマーカーの３次元位置を算出する。この処理を、ｉ＝１〜Ｋの全ての点について求めることで、スクリーン形状を推定する。
図２７は、以上の処理をまとめたもので、その詳細な説明は図面の記載と重複するので省略する。なお、スクリーン形状をさらに精度よく推定するために、レーザーポインタ３５Ｂによるマーカー投影位置と同じ位置にレーザーポインタ３５Ａからマーカーを投射する場合の投射角θ′Ａｉを計算した後、実際にその投射角でレーザーポインタ３５Ａによりマーカー投射を行って再びカメラ撮影を行い、その結果、レーザーポインタ３５Ｂによるマーカーとずれていた場合には、再び補正を行って、より正確なレーザーポインタ３５Ａによる投射角を推定してもよい。
図２８は、本実施の形態における幾何補正データ算出処理を示すもので、その詳細な説明は図面の記載と重複するので省略する。なお、図２８において、符号Ｓで示す処理が図２７の処理にあたる。
図２９は、本実施の形態における補正データ算出部４の詳細ブロックを示す図である。この補正データ算出部４は、図１４に示した第３実施の形態の補正データ算出部４において、カメラ撮影画像データ格納部１１に代えて、カメラ３Ａによる撮影画像データを格納するカメラ撮影画像データ格納部１１Ａと、カメラ３Ｂによる撮影画像データを格納するカメラ撮影画像データ格納部１１Ｂを設けたもので、その他の構成は第３実施の形態と同様である。
本実施の形態では、この補正データ算出部４において、カメラ撮影画像データ格納部１１Ａおよびカメラ撮影画像データ格納部１１Ｂに格納されたスクリーン２の小領域毎の画像を用いて、図２７および図２８に示した処理を行って幾何補正データを算出すると共に、第１実施の形態で説明したと同様にして、プロジェクタ１Ａ，１Ｂの各色特性のむらおよびガンマ特性のむらを算出し、これらを全画面で均一にするような色補正マトリクスおよびガンマ補正データを算出して、それらの補正データを画像変換部５に出力する。
本実施の形態によれば、相対的な位置関係が固定されたレーザーポインタ３５Ａ，３５Ｂにより異なる位置からスクリーン２の全体にマーカーを投射し、その投射された各々のマーカーをカメラ３Ａ，３Ｂによりスクリーン２の小領域毎に分けて撮影して、その撮影された画像からスクリーン２の形状を推定するようにしたので、カメラ３Ａ，３Ｂの位置が既知でなくとも、すなわち固定されてなくとも、スクリーン２の３次元的な位置を推定でき、カメラ３Ａ，３Ｂの設置の自由度を高めることができる。
なお、本実施の形態では、２台のレーザーポインタ３５Ａ，３５Ｂを用いたが、１台のレーザーポインタを移動ステージに平行移動可能に支持し、この１台のレーザーポインタを平行移動させて相対的位置が既知の距離ｄの両端でスクリーン２の全体にマーカーを投射して、同様にして補正データを算出することもできる。
（第１０実施の形態）
図３０および図３１は本発明の第１０実施の形態を示すもので、図３０はマルチプロジェクションシステムの全体構成を示す図、図３１は本実施の形態で使用する観察用眼鏡を示す斜視図である。
本実施の形態では、スクリーン２上の複数の位置にそれぞれ観察位置検出センサ４５を設け、これら観察位置検出センサ４５により観察者４６の視点位置を検出して、その検出した視点位置を補正データ算出部４の観察位置設定部１４に観察位置として設定し、その設定された観察位置に基づいて、その観察点において自動的に歪み補正を行って歪みのない画像をスクリーン２上に表示するようにしたものである。
このため、本実施の形態では、観察者４６には、例えば図３１に示すような赤外線ＬＥＤ４７を搭載した観察用眼鏡４８をかけるようにし、観察位置検出センサ４５は赤外線検出センサ等で構成して、赤外線ＬＥＤ４７からの赤外線を観察位置検出センサ４５で検出して観察者４６の視点位置を検出する。なお、赤外線ＬＥＤ４７から出射させる赤外線は、観察者４６の視点方向に指向性を持たせておく。
また、補正データ算出部４および画像変換部５においては、上述した第１〜第９実施の形態のいずれかの実施の形態によって、カメラを用いてスクリーン２の形状およびプロジェクタ１Ａ，１Ｂの投影位置関係を予め算出しておき、任意の観察位置における歪み補正を常時行える状態としておく。
このように構成すれば、観察者４６の動きに応じて、リアルタイムで観察位置を検出して歪みのない画像に自動的に補正することができるので、例えば従来の視点追従型の立体表示システム等においても、常に、スクリーン形状による歪みのない状態で映像を観察することができる。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施の形態では、半球ドーム型のスクリーン２に画像を投影表示するようにしたが、アーチ型のスクリーンや３６０°全ての方向がスクリーンで覆われている全球型スクリーン等の曲面スクリーンに画像を投影表示する場合や、図３２（ａ）に示すように、平面型のスクリーン２ａにフロント投射して画像表示する場合や、図３２（ｂ）に示すように、平面型のスクリーン２ａにリア投射して画像表示する場合にも、本発明を有効に適用することができる。また、プロジェクタの数も、２台に限らず、３台以上の場合にも、本発明を適用することができる。
本発明の第１実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 図１に示すプロジェクタに入力するテストパターン画像を示す図である。 図１に示す補正データ算出部の構成を示すブロック図である。 図１に示す画像変換部の構成を示すブロック図である。 第１実施の形態における幾何補正データ算出処理を説明するためのフローチャートである。 図１に示すプロジェクタによるマーカー投射と２台のカメラによるマーカー撮影の様子を示す図である。 第１実施の形態におけるスクリーン立体形状推定方法を示す概念図である。 少ないマーカー数でスクリーン形状を推定する方法を示す概念図である。 推定されたスクリーン形状から観察視点を中心としたマーカー投影像を作成する様子を示す図である。 推定されたスクリーン形状から観察視点を中心とした広視野角な投影面上にマーカー投影像を作成する様子を示す図である。 本発明の第２実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 図１１に示す補正データ算出部の構成を示すブロック図である。 本発明の第３実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 図１３に示す補正データ算出部の構成を示すブロック図である。 第３実施の形態における幾何補正データ算出処理を説明するためのフローチャートである。 第３実施の形態におけるスクリーン形状推定方法を示す概念図である。 本発明の第４実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 図１７に示す補正データ算出部の構成を示すブロック図である。 本発明の第５実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 図１９に示す補正データ算出部の構成を示すブロック図である。 本発明の第６実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 第６実施の形態におけるスクリーン形状算出方法の一例を説明するための図である。 本発明の第７実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 同じく、第８実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 同じく、第９実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 第９実施の形態におけるスクリーン形状推定処理を説明するための図である。 同じく、スクリーン形状推定処理を説明するためのフローチャートである。 同じく、幾何補正データ算出処理を説明するためのフローチャートである。 図２５に示す補正データ算出部の構成を示すブロック図である。 本発明の第１０実施の形態におけるマルチプロジェクションシステムの全体構成を示す図である。 第１０実施の形態で用いる観察用眼鏡を示す斜視図である。 本発明の変形例を示す図である。
符号の説明
１Ａ，１Ｂ プロジェクタ
２，２ａ スクリーン
３，３Ａ，３Ｂ，３Ｃ，３Ｄ デジタルカメラ
４ 補正データ算出部
５ 画像変換部
６ 支持具
１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ カメラ撮影画像データ格納部
１２ マーカー位置検出格納部
１３ スクリーン形状・カメラ位置推定格納部
１４ 観察位置設定部
１５ マーカー位置座標変換部
１６ プロジェクタ幾何補正データ算出部
１７ プロジェクタガンマ補正データ算出部
１８ プロジェクタ色補正マトリクス算出部
１９ プロジェクタ色補正マトリクス・ガンマ補正データ算出部
２０ 回転角度格納部
２１ 補正データ記憶部
２２ 補正データ作用部
２３ 幾何補正データ保存部
２４ ガンマ補正データ保存部
２５ 色補正マトリクス保存部
２６ ガンマ変換部
２７ 幾何補正データ作用部
２８ 色補正マトリクス作用部
２９ ガンマ補正部
３０ ガンマ補正データ作用部
３１ 移動ステージ
３２ 切り替えスイッチ
３５，３５Ａ，３５Ｂ レーザーポインタ
３６，３６Ａ，３６Ｂ 支持具
４１ 回転制御部
４５ 観察位置検出センサ
４６ 観察者
４７ 赤外線ＬＥＤ
４８ 観察用眼鏡

Claims (10)

  1. 複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
    上記画像投射装置により上記スクリーン上に投射された画像を、相対的位置関係が既知である異なる位置から撮影して視差画像データを取得する画像取得手段と、
    上記画像取得手段により取得された視差画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
    上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするマルチプロジェクションシステム。
  2. 上記画像取得手段は、相対的位置関係が既知の異なる位置に設置された２台のデジタルカメラを有し、これら２台のデジタルカメラにより上記スクリーン上に投射された画像を撮影して視差画像データを取得することを特徴とする請求項１に記載のマルチプロジェクションシステム。
  3. 上記画像取得手段は、１台のデジタルカメラと、該デジタルカメラを平行移動させる移動機構とを有し、上記移動機構により上記デジタルカメラを平行移動させて、相対的位置関係が既知である異なる位置から上記スクリーン上に投射された画像を撮影して視差画像データを取得することを特徴とする請求項１に記載のマルチプロジェクションシステム。
  4. 複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
    上記スクリーン上に所定の角度でマーカーを投射するマーカー投射手段と、
    上記画像投射装置により上記スクリーン上に投射された画像および上記マーカー投射手段により上記スクリーン上に投射されたマーカーをそれぞれ撮影して画像データを取得する画像取得手段と、
    上記マーカー投射手段と上記画像取得手段との相対的位置関係を固定するための支持手段と、
    上記画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
    上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするマルチプロジェクションシステム。
  5. 複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
    上記画像投射装置により上記スクリーン上に投射された画像を、上記画像投射装置と相対的位置関係が既知の場所から撮影して画像データを取得する複数台の画像取得手段と、
    上記複数台の画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
    上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするマルチプロジェクションシステム。
  6. 複数台の画像投射装置によりスクリーン上に投射された画像を貼りあわせて一つの大きな画像を形成するマルチプロジェクションシステムにおいて、
    相対的位置関係が既知である異なる位置から上記スクリーン上にマーカーを投射するマーカー投射手段と、
    上記画像投射装置により上記スクリーン上に投射された画像および上記マーカー投射手段により上記スクリーン上に投射されたマーカーを撮影して画像データを取得する画像取得手段と、
    上記画像取得手段により取得された画像データおよび上記相対的位置関係の情報に基づいて、上記スクリーン上に投射された画像の各点の３次元的位置を推定して、上記画像投射装置に入力する画像を補正するための補正データを算出する画像補正データ算出手段と、
    上記画像補正データ算出手段により算出された補正データに基づいて、上記画像投射装置に入力する画像を補正する画像補正手段とを備えることを特徴とするマルチプロジェクションシステム。
  7. 上記マーカー投射手段は、相対的位置関係が既知の異なる位置に設置された２台のレーザーポインタを有することを特徴とする請求項６に記載のマルチプロジェクションシステム。
  8. 上記マーカー投射手段は、１台のレーザーポインタと、該レーザーポインタを平行移動させる移動機構とを有し、上記移動機構により上記レーザーポインタを平行移動させて、相対的位置関係が既知である異なる位置から上記スクリーン上にマーカーを投射することを特徴とする請求項６に記載のマルチプロジェクションシステム。
  9. 上記補正データ算出手段は、上記スクリーンに対する観察者の位置情報に基づいて補正データを算出することを特徴とする請求項１〜８のいずれか一項に記載のマルチプロジェクションシステム。
  10. 上記観察者の視点位置を検出して上記観察者の位置情報を得るための視点検出センサを備えることを特徴とする請求項９に記載のマルチプロジェクションシステム。
JP2004054717A 2004-02-27 2004-02-27 マルチプロジェクションシステム Withdrawn JP2005244835A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004054717A JP2005244835A (ja) 2004-02-27 2004-02-27 マルチプロジェクションシステム
PCT/JP2005/001337 WO2005084017A1 (ja) 2004-02-27 2005-01-31 マルチプロジェクションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004054717A JP2005244835A (ja) 2004-02-27 2004-02-27 マルチプロジェクションシステム

Publications (1)

Publication Number Publication Date
JP2005244835A true JP2005244835A (ja) 2005-09-08

Family

ID=34908803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004054717A Withdrawn JP2005244835A (ja) 2004-02-27 2004-02-27 マルチプロジェクションシステム

Country Status (2)

Country Link
JP (1) JP2005244835A (ja)
WO (1) WO2005084017A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147786A (ja) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd 仮想現実感生成システム
JP2007288295A (ja) * 2006-04-13 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2008017347A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008015381A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008017348A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008113176A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 映像表示システムの調整システム
JP2009180966A (ja) * 2008-01-31 2009-08-13 Seiko Epson Corp 画像形成装置
JP2012249009A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御装置、光学投影制御方法、及びプログラム
JP2013153392A (ja) * 2012-01-26 2013-08-08 Canon Inc 画像処理装置および画像処理方法、プログラム
CN104457616A (zh) * 2014-12-31 2015-03-25 苏州江奥光电科技有限公司 一种360度三维成像的投影装置
JP2016019194A (ja) * 2014-07-09 2016-02-01 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
WO2016158490A1 (ja) * 2015-03-31 2016-10-06 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP2017047794A (ja) * 2015-09-02 2017-03-09 カルソニックカンセイ株式会社 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
WO2019155904A1 (ja) * 2018-02-08 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および投影システム
WO2020218028A1 (ja) * 2019-04-25 2020-10-29 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2020187227A (ja) * 2019-05-13 2020-11-19 株式会社アーキジオ 全天周画像用撮影装置
JP2021121866A (ja) * 2007-03-15 2021-08-26 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 画像を表示するためのシステム
JP2022024474A (ja) * 2020-07-28 2022-02-09 セイコーエプソン株式会社 画像生成方法、画像生成システム、及びプログラム
US11483528B2 (en) 2018-02-08 2022-10-25 Sony Corporation Information processing apparatus and information processing method
US11676241B2 (en) 2020-01-31 2023-06-13 Seiko Epson Corporation Control method for image projection system, and image projection system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2154000A (en) * 1998-12-07 2000-06-26 Universal City Studios, Inc. Image correction method to compensate for point of view image distortion
JP3509652B2 (ja) * 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP2004015205A (ja) * 2002-06-04 2004-01-15 Olympus Corp マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147786A (ja) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd 仮想現実感生成システム
JP2007288295A (ja) * 2006-04-13 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム
JP4696018B2 (ja) * 2006-04-13 2011-06-08 日本電信電話株式会社 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2008017347A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008015381A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008017348A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Works Ltd 映像表示装置、映像信号の歪み補正処理方法
JP2008113176A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 映像表示システムの調整システム
JP2021121866A (ja) * 2007-03-15 2021-08-26 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 画像を表示するためのシステム
US11930304B2 (en) 2007-03-15 2024-03-12 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US11570412B2 (en) 2007-03-15 2023-01-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
JP2009180966A (ja) * 2008-01-31 2009-08-13 Seiko Epson Corp 画像形成装置
JP2012249009A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御装置、光学投影制御方法、及びプログラム
JP2013153392A (ja) * 2012-01-26 2013-08-08 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2016019194A (ja) * 2014-07-09 2016-02-01 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
US9716870B2 (en) 2014-07-09 2017-07-25 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
CN104457616A (zh) * 2014-12-31 2015-03-25 苏州江奥光电科技有限公司 一种360度三维成像的投影装置
WO2016158490A1 (ja) * 2015-03-31 2016-10-06 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP2016191773A (ja) * 2015-03-31 2016-11-10 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
US9964839B2 (en) 2015-03-31 2018-05-08 Megachips Corporation Projection system, projector apparatus, imaging apparatus, and projection method
JP2017047794A (ja) * 2015-09-02 2017-03-09 カルソニックカンセイ株式会社 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
US11218662B2 (en) 2018-02-08 2022-01-04 Sony Corporation Image processing device, image processing method, and projection system
WO2019155904A1 (ja) * 2018-02-08 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および投影システム
US11483528B2 (en) 2018-02-08 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2020218028A1 (ja) * 2019-04-25 2020-10-29 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2020187227A (ja) * 2019-05-13 2020-11-19 株式会社アーキジオ 全天周画像用撮影装置
US11676241B2 (en) 2020-01-31 2023-06-13 Seiko Epson Corporation Control method for image projection system, and image projection system
JP7099497B2 (ja) 2020-07-28 2022-07-12 セイコーエプソン株式会社 画像生成方法、画像生成システム、及びプログラム
JP2022024474A (ja) * 2020-07-28 2022-02-09 セイコーエプソン株式会社 画像生成方法、画像生成システム、及びプログラム

Also Published As

Publication number Publication date
WO2005084017A1 (ja) 2005-09-09

Similar Documents

Publication Publication Date Title
WO2005084017A1 (ja) マルチプロジェクションシステム
EP3356887B1 (en) Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
JP4108609B2 (ja) カメラ付きプロジェクタをキャリブレーションする方法
JP6369810B2 (ja) 投写画像表示システム、投写画像表示方法及び投写型表示装置
JP6037375B2 (ja) 画像投影装置および画像処理方法
US9195121B2 (en) Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
US9892488B1 (en) Multi-camera frame stitching
KR20160034847A (ko) 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법
US20040169827A1 (en) Projection display apparatus
CN102404537B (zh) 投影仪以及投影仪的控制方法
CN101091137A (zh) 调整投影仪姿态的计算机实现方法和装置
JP2015056834A (ja) 投影システム、画像処理装置、投影方法およびプログラム
US10063792B1 (en) Formatting stitched panoramic frames for transmission
KR20160118868A (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
JP2005094048A (ja) 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN110463191A (zh) 投影仪及投影仪的控制方法
EP3606059B1 (en) Projector calibration method and projection system using the same
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
CN113259642B (zh) 一种影片视角调节方法及系统
JP2004228619A (ja) プロジェクタの映像の歪み調整方法
KR20140121345A (ko) 감시카메라 유닛 및 그 구동방법
JP2014134611A (ja) 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070501