JP2005347813A - 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム - Google Patents

画像変換方法および画像変換装置、並びにマルチプロジェクションシステム Download PDF

Info

Publication number
JP2005347813A
JP2005347813A JP2004161726A JP2004161726A JP2005347813A JP 2005347813 A JP2005347813 A JP 2005347813A JP 2004161726 A JP2004161726 A JP 2004161726A JP 2004161726 A JP2004161726 A JP 2004161726A JP 2005347813 A JP2005347813 A JP 2005347813A
Authority
JP
Japan
Prior art keywords
image
output
coordinate
input
geometric profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004161726A
Other languages
English (en)
Inventor
Takeyuki Ajito
剛幸 味戸
Tateo Osawa
健郎 大澤
Takanori Ishizawa
隆範 石澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004161726A priority Critical patent/JP2005347813A/ja
Priority to US11/140,709 priority patent/US20050271299A1/en
Publication of JP2005347813A publication Critical patent/JP2005347813A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】例えば任意の幾何条件で撮像若しくは作成された広視野角なコンテンツ画像を、常に同様な幾何変形処理を行うことによって、投射画像の位置ずれや歪みを補正した一枚の広視野角の画像表示を可能とする汎用的な画像変換装置を提供する。
【解決手段】一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を幾何変形した出力画像を作成する画像変換装置において、入力画像の画素位置と入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルを作成する入力幾何プロファイル作成部５と、出力画像の画素位置と観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成する出力幾何プロファイル作成部７と、入力幾何プロファイルおよび出力幾何プロファイルに基づいて入力画像を幾何変形して出力画像を算出する幾何変換部９と、を有する。
【選択図】図１

Description

本発明は、例えば、任意の幾何条件で撮像若しくは作成したドーム画像、アーチ画像、パノラマ画像等の広視野なコンテンツ画像を、複数台の画像投射装置により任意の形状のスクリーンに投射して表示する際に、画像投射装置に入力する画像の幾何変形を行う画像変換方法、およびそれを実施する画像変換装置、並びに画像変換装置を用いたマルチプロジェクションシステムに関するものである。
近年、博物館や展示会等におけるショールーム用ディスプレイ、またシアターやプラネタリウム、さらにはＶＲシステム等において、大画面・高精細の画像表示システムが広く用いられている。また、より臨場感を高めるために、ドームやアーチ若しくはパノラマ状のスクリーンを用いて、観察者の視野を覆うような広視野な画像を表示するシステムも適用されつつある。
このような大画面の表示を実現する際には、一台の画像投射装置を用いて画像投射を行うと、投射範囲が従来よりも広いために解像度や明るさが不十分になることから、複数台の画像投射装置によりスクリーン上に画像を貼り合わせて高輝度・高精細な画像表示を実現するマルチプロジェクションシステムが用いられている。このようなマルチプロジェクションシステムにおいて、位置ずれや歪みなく広視野な画像を合成するには、個々の画像投射装置の配置・投射角やスクリーンの位置・形状に基づいて、入力される元の画像（コンテンツ画像）を幾何学的に補正して画像投射装置に入力する必要がある。
その画像補正方法として、ドーム状のスクリーンに画像を投影表示する際に、各画像投射装置の配置・投射方向に基づいて、画像投射装置に入力するコンテンツ画像を幾何変形して、ドーム映像の位置ずれや歪みを補正する方法が知られている（例えば、特許文献１参照）。
一方、コンテンツ画像として、パノラマ画像やドーム画像のような広視野角な映像を複数回に分けて撮影したものから、３６０°方向全ての視野角を網羅した極座標画像を作成する方法も知られている（例えば、特許文献２，３参照）。
特開２０００−１５２１３１号公報 特開平９−６２８６１号公報 特開２００３−１４１５６２号公報
しかしながら、特許文献１に開示の画像補正方法にあっては、画像投射装置毎に、担当する予め設定された投影範囲に対応する幾何変形前のコンテンツ画像を用意する必要があるため、画像投射装置の配置や数が変わった場合には、コンテンツ画像を作り直さなければならないという手間が生じることになる。なお、コンテンツ画像が３次元ＣＧデータ等で表わされるようなものであれば、レンダリングの方法を変えることで対応するコンテンツ画像を作り直すことが可能であるが、実写のコンテンツ画像を表示する場合には、実写の撮影からし直すことになり、非常に困難となる。
これに対し、特許文献２，３に開示のように極座標画像をコンテンツ画像として用いれば、画像投射装置の配置に応じて極座標画像を切り出して用いることができるので、画像投射装置の配置や数の変更に容易に対処することができる。
ところが、この場合には、撮影画像に対してデータ劣化のない極座標画像を形成しようとすると、画像サイズが極端に大きくなるという問題がある。また、一般的でない極座標系で表された画像であるため、これを用いてコンテンツを編集・加工しようとした場合に非常に扱いにくいという問題もある。このような問題に対し、様々な極座標画像の形式が検討されているが、いまだ上記問題を解決するようなレベルには至っていない。
また、上記の特許文献２には、３６０°方向のパノラマ画像を複数回に分けて撮影した画像に対して、撮影方向および画角の情報を付加して保存しておくことにより、全極座標画像を作成しなくても、直接撮影画像から任意視点に応じた表示画像に幾何変形できることも開示されている。したがって、この場合には、画像データの劣化もなく、また直交座標系である撮影画像上でコンテンツの編集・加工が可能となる。
しかし、この場合の画像データは、パノラマ画像の表示システムに特化されたもので、任意の撮影条件および任意の表示条件に対応できるものではない。このため、例えば、表示側がドーム状若しくはアーチ状の曲面スクリーンの場合や、撮影側で１次元角度方向のパノラマ画像でなくドームのように上下左右あらゆる角度から撮影したコンテンツを用いたりした場合には、上記のような撮影方向および画角の情報だけでは対応できないことになる。
したがって、かかる事情に鑑みてなされた本発明の目的は、例えば任意の幾何条件で撮像若しくは作成された広視野角なコンテンツ画像を、常に同様な幾何変形処理を行うことによって、投射画像の位置ずれや歪みを補正した一枚の広視野角の画像表示を可能とする汎用的な画像変換方法、およびそれを実施する画像変換装置、並びに画像変換装置を用いたマルチプロジェクションシステムを提供することにある。
上記目的を達成する請求項１に係る画像変換方法の発明は、
一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を幾何変形した出力画像を作成するにあたり、
上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルと、
上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルと、
を用いて上記入力画像を幾何変形して上記出力画像を算出すること特徴とするものである。
請求項２に係る発明は、請求項１に記載の画像変換方法において、
上記入力幾何プロファイルは、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有し、
上記出力幾何プロファイルは、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有し、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換、上記射影変換係数を用いた射影変換、上記極座標変換係数を用いた極座標変換、上記円筒座標変換係数を用いた円筒座標変換、または上記多項式変換係数を用いた多項式による座標変換を行って、上記出力画像を算出すること特徴とするものである。
請求項３に係る発明は、請求項１または２に記載の画像変換方法において、
上記入力幾何プロファイルと上記出力幾何プロファイルとを用いて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成し、この入出力幾何プロファイルを用いて上記入力画像を幾何変形して上記出力画像を算出すること特徴とするものである。
請求項４に係る発明は、請求項１，２または３に記載の画像変換方法において、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像を切り出して、その切り出した画像を幾何変形して上記出力画像を算出すること特徴とするものである。
請求項５に係る画像変換装置の発明は、
一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を幾何変形した出力画像を作成する画像変換装置において、
上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルを作成する入力幾何プロファイル作成部と、
上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成する出力幾何プロファイル作成部と、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出する幾何変換部と、
を有すること特徴とするものである。
請求項６に係る発明は、請求項５に記載の画像変換装置において、
上記出力幾何プロファイル作成部は、複数の画像出力装置に対応する複数の出力幾何プロファイルを作成し、
上記幾何変換部は、上記複数の出力幾何プロファイルに対応する出力画像を算出することを特徴とするものである。
請求項７に係る発明は、請求項５または６に記載の画像変換装置において、
上記入力幾何プロファイル作成部は、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する入力幾何プロファイルを作成し、
上記出力幾何プロファイル作成部は、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する出力幾何プロファイルを作成し、
上記幾何変換部は、上記入力幾何プロファイルおよび上記出力幾何プロファイルが有する、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換手段、上記射影変換係数を用いた射影変換手段、上記極座標変換係数を用いた極座標変換手段、上記円筒座標変換係数を用いた円筒座標変換手段、または上記多項式変換係数を用いた多項式による座標変換手段を有することを特徴とするものである。
請求項８に係る発明は、請求項５，６または７に記載の画像変換装置において、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成する入出力幾何プロファイル作成部を有し、上記入出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出することを特徴とするものである。
請求項９に係る発明は、請求項５〜８のいずれか一項に記載の画像変換装置において、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像の切り出しを行う画像切り出し手段を有し、その切り出された画像を幾何変形して上記出力画像を算出すること特徴とするものである。
請求項１０に係るマルチプロジェクションシステムの発明は、
一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を画像変換装置により幾何変形して複数枚の出力画像を作成し、これら複数枚の出力画像を複数の画像投射装置によりスクリーン上に投射して、該スクリーン上で画像を貼り合わせて一枚の大画面画像を形成するマルチプロジェクションシステムにおいて、
上記画像変換装置は、
上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルを作成する入力幾何プロファイル作成部と、
上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成する出力幾何プロファイル作成部と、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出する幾何変換部と、
を有すること特徴とするものである。
請求項１１に係る発明は、請求項１０に記載のマルチプロジェクションシステムにおいて、
上記入力幾何プロファイル作成部は、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する入力幾何プロファイルを作成し、
上記出力幾何プロファイル作成部は、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する出力幾何プロファイルを作成し、
上記幾何変換部は、上記入力幾何プロファイルおよび上記出力幾何プロファイルが有する、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換手段、上記射影変換係数を用いた射影変換手段、上記極座標変換係数を用いた極座標変換手段、上記円筒座標変換係数を用いた円筒座標変換手段、または上記多項式変換係数を用いた多項式による座標変換手段を有することを特徴とするものである。
請求項１２に係る発明は、請求項１０または１１に記載のマルチプロジェクションシステムにおいて、
上記画像変換装置は、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成する入出力幾何プロファイル作成部を有し、上記入出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出することを特徴とするものである。
請求項１３に係る発明は、請求項１０，１１または１２のいずれか一項に記載のマルチプロジェクションシステムにおいて、
上記画像変換装置は、
上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像の切り出しを行う画像切り出し手段を有し、その切り出された画像を幾何変形して上記出力画像を算出すること特徴とするものである。
請求項１４に係る発明は、請求項１０〜１３のいずれか一項に記載のマルチプロジェクションシステムにおいて、
上記画像投射装置にテストパターン画像を供給するテストパターン画像出力手段と、
上記画像投射装置により上記スクリーン上に形成されたテストパターン投射画像を取り込むキャリブレーション用画像取得手段とを有し、
上記出力幾何プロファイル作成部は、
上記キャリブレーション画像取得手段により取得されたテストパターン投射画像の座標位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成することを特徴とするものである。
請求項１５に係る発明は、請求項１０〜１４のいずれか一項に記載のマルチプロジェクションシステムにおいて、
上記入力画像に上記入力幾何プロファイルを結合して出力または保存し、若しくは上記画像変換装置により変換された出力画像に上記出力幾何プロファイルを結合して出力または保存する幾何プロファイル結合手段を有することを特徴とするものである。
本発明によれば、入力画像および出力画像の各座標系と、ある観察位置を中心とした極座標系との対応関係を幾何プロファイルとして作成し、この幾何プロファイルに基づいて入力画像から出力画像への幾何変形を行うので、任意の方法で撮像または作成されたコンテンツ画像を、任意の構成の表示システムを用いて、観察位置から見て位置ずれや歪みなく広視野角で表示することができる。また、コンテンツ画像を編集・加工する場合にも、撮像時および表示時の構成にとらわれず、作業のし易い座標系に変換して編集・加工できるので、扱い易くなり、コンテンツ画像の流用・流通・蓄積がし易くなる。
以下、本発明の実施の形態について、図面を参照して説明する。
（第１実施の形態）
図１〜図１３は、本発明の第１実施の形態に係るマルチプロジェクションシステムを示すものである。このマルチプロジェクションシステムは、図１に全体の概略構成を示すように、複数台（ここでは３台）の画像撮像装置１ａ〜１ｃと、複数台（ここでは４台）の画像出力装置である画像投射装置２ａ〜２ｄと、スクリーン３と、画像撮像装置１ａ〜１ｃから入力された画像データを変換して画像投射装置２ａ〜２ｄに出力する画像変換装置４とを有している。
画像撮像装置１ａ〜１ｃは、それぞれ、撮像素子としてＣＣＤやＣＭＯＳ等を備え、モノクロまたはマルチバンドによるカラーの画像をデジタルデータとして取得するデジタルスチルカメラやＨＤＴＶカメラ等の動画カメラが用いられる。また、広視野範囲の映像を取得するため、魚眼レンズを備えたカメラも用いられる。
画像投射装置２ａ〜２ｄは、それぞれ、空間光変調素子として透過型液晶素子、反射型液晶素子、デジタルマイクロミラーデバイス等を備えたプロジェクタや、ＣＲＴ投射管ディスプレイ、レーザースキャンディスプレイ等が用いられる。
スクリーン３は、拡散板、レンチキュラー、フレネルレンズ等を用いた透過型または反射型のスクリーンが用いられ、その形状は平面、アーチ、ドーム、パノラマ、箱型等がある。
また、画像変換装置４は、画像撮像装置１ａ〜１ｃおよび画像投射装置２ａ〜２ｄのそれぞれの幾何学的な条件に関わる入力幾何情報ａ〜ｃおよび出力幾何情報ａ〜ｄを外部から入力し、その入力幾何情報ａ〜ｃに基づいて対応する画像撮像装置１ａ〜１ｃから入力される画像の座標系と観察位置を中心とした極座標との対応関係を与える入力幾何プロファイルを作成する入力幾何プロファイル作成部５と、その作成した入力幾何プロファイルを格納する入力幾何プロファイル格納部６と、入力した出力幾何情報ａ〜ｄに基づいて対応する画像投射装置２ａ〜２ｄに入力する画像の座標系と上記極座標との対応関係を与える出力幾何プロファイルを作成する出力幾何プロファイル作成部７と、その作成した出力幾何プロファイルを格納する出力幾何プロファイル格納部８と、入力幾何プロファイル格納部６および出力幾何プロファイル格納部８にそれぞれ格納された入力幾何プロファイルおよび出力幾何プロファイルに基づいて画像撮像装置１ａ〜１ｃから入力された画像の幾何変形を行う幾何変換部９とを有している。この画像変換装置４により幾何変形された画像を画像投射装置２ａ〜２ｄに入力することにより、スクリーン３上に位置ずれや歪みのない広視野角な画像を表示することが可能となる。
図２は、画像変換装置４に外部から入力される入力幾何情報ａ〜ｃおよび出力幾何情報ａ〜ｄの具体的な内容を説明するための図である。入力幾何情報ａ〜ｃには、図２（ａ）に示すように、画像撮像時の対応する画像撮像装置の３次元位置（Ｘ，Ｙ，Ｚ）および撮像方向（θ，φ，ω）、水平・垂直画角（α，β）、水平・垂直画素数、ｆ−ｔａｎθやｆ−θ等の結像方式を示す撮像レンズタイプ、そのレンズ収差によるレンズ歪み係数（ｋ１，ｋ２）等が含まれている。また、出力幾何情報ａ〜ｄには、図２（ｂ）に示すように、観察位置を基準とした画像投射時の対応する画像投射装置の３次元的位置（Ｘ，Ｙ，Ｚ）および投射方向（θ，φ，ω）、投射画像の水平・垂直画角（α，β）、水平・垂直画素数、投射レンズタイプ、そのレンズ収差によるレンズ歪み係数（ｋ１，ｋ２）、さらには、投射されるスクリーン３の観察位置を基準とした３次元的な位置（Ｘ，Ｙ，Ｚ）、スクリーン３の曲率等のスクリーン形状情報等が含まれている。
ここで、上記の撮像方向および投射方向（θ，φ，ω）は、図２（ｃ）に示すように、対応する画像撮像／投射装置による撮像／投射面の３次元的な撮像角度および投射角度を示すものである。また、水平・垂直画角（α，β）は、図２（ｄ）に示すように、対応する画像撮像／投射装置による撮像／投射面の水平方向および垂直方向の画像撮像／投射範囲を示すものである。
さらに、レンズ歪み係数（ｋ１，ｋ２）は、図２（ｅ）に示すように、レンズ収差のない理想的な撮像／投射面における結像位置ｙと実際の撮像／投射面における結像位置ｙ′との差を表わす下記の（１）式中の各次数項の係数で与えられる。
Figure 2005347813
以上のような幾何情報を用いることで、画像撮像装置１ａ〜１ｃによって撮像されたコンテンツ画像および画像投射装置２ａ〜２ｄにおける出力画像の座標系と、観察位置を中心とする極座標系との対応関係を算出することが可能となる。
図３および図４は、上記の入力幾何情報ａ〜ｃおよび出力幾何情報ａ〜ｄに基づいて、図２に示した入力幾何プロファイル作成部５および出力幾何プロファイル作成部７でそれぞれ作成して、入力幾何プロファイル格納部６および出力幾何プロファイル格納部８に格納する入力幾何プロファイルおよび出力幾何プロファイルの詳細を示すものである。図３および図４に示すように、入力幾何プロファイルおよび出力幾何プロファイルは、ヘッダ、入力画像ＩＤ（出力幾何プロファイルの場合は出力画像ＩＤ）、射影変換係数、極座標変換係数、円筒座標変換係数、多項式変換係数、座標変換テーブル（２次元ルックアップテーブル）を有している。
ここで、ヘッダは、複数回に分けて撮像された入力画像の枚数（出力幾何プロファイルの場合は投射装置の数）、および以下で説明する各座標変換式のうちどの変換を用いるかが記述される。また、入力幾何プロファイルにおける入力画像ＩＤは入力画像の識別番号であり、出力幾何プロファイルにおける出力画像ＩＤは出力画像の識別番号である。さらに、入力画像ＩＤ（出力幾何プロファイルの場合は出力画像ＩＤ）以降の各変換係数は、それぞれ以下の（２）〜（５）式で表される座標変換式の各係数である。
Figure 2005347813
ここで、各々の式において、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ａｍ，ｂｍ，ｃｍ，ｄｍ（ｍ＝０〜Ｍ：Ｍは多項式次数）は変換係数であり、（ｘ、ｙ）および（ｕ，ｖ）はそれぞれ変換前および変換後の座標である。
また、座標変換テーブルは、図５（ａ）および（ｂ）に示すように、入力画像および出力画像の各画素に対応する極座標位置がテーブルデータとして記述されている。この際、入力幾何プロファイルについては、図６に示すように、撮像面（ｘ，ｙ）における撮像画像の各画素（ｘｉ，ｙｉ）に対する観察位置を中心とした極座標系の座標（θｉ，φｉ）が記述される。なお、図６は、観察位置と画像撮像装置１による撮像位置とが一致している場合を示している。また、出力幾何プロファイルについては、図７に示すように、画像投射装置２による画像面（ｘ，ｙ）上の出力画像の各画素（ｘｉ，ｙｉ）に対して、先ずスクリーン３上に投射される点を求め、次にこのスクリーン３上の投射点に対する観察位置を中心として求めた極座標位置（θｉ，φｉ）が記述される。
以上のような入力幾何プロファイルおよび出力幾何プロファイルを用いて、幾何変換部９において各々対応する座標変換を行うことにより、入力画像および出力画像の直交座標系から別の直交座標系若しくは極座標系への座標変換を行うことができる。
図８は、幾何変換部９の構成を示すブロック図である。幾何変換部９は、入力画像格納部１１、極座標画像格納部１２、出力画像格納部１３、シェーディング補正部１４、射影変換部１５、極座標変換部１６、円筒座標変換部１７、多項式変換部１８、テーブル変換部１９、入出力幾何プロファイル作成部２０、入出力幾何プロファイル格納部２１を有している。
入力画像格納部１１は、画像撮像装置１ａ〜１ｃから入力された画像データを格納する。また、極座標画像格納部１２は、入力画像格納部１１に格納された直交座標の画像から、入力幾何プロファイルに基づいて、射影変換部１５、極座標変換部１６、円筒座標変換部１７、多項式変換部１８、テーブル変換部１９のうち少なくとも一つの変換部において極座標系に座標変換された画像データを格納する。さらに、出力画像格納部１３では、極座標画像格納部１２において格納された極座標系の画像データから、出力幾何プロファイルに基づいて、射影変換部１５、極座標変換部１６、円筒座標変換部１７、多項式変換部１８、テーブル変換部１９のうち少なくとも一つの変換部において直交座標系に座標変換された画像データを格納する。この出力画像格納部１３に格納された画像データは、画像投射装置２ａ〜２ｄに出力される。
シェーディング補正部１４は、入力画像から極座標画像への変換を行う際に、複数枚の入力画像同士の境界部分／重なり部分に輝度シェーディングをかけることにより、極座標画像において画像が滑らかにつながるように画像輝度補正を行うものである。なお、このシェーディング補正部１４は、画像投射装置２ａ〜２ｄからスクリーン上に投射される出力画像に対しても、画像が滑らかにつながるように出力画像同士の境界部分／重なり部分に輝度シェーディングをかけることにも利用される。
射影変換部１５、極座標変換部１６、円筒座標変換部１７、多項式変換部１８、テーブル変換部１９は、それぞれ入力幾何プロファイルおよび出力幾何プロファイルに記述された各変換係数および座標変換テーブルに格納された値に基づいて、上述した（２）式〜（５）式の変換式およびテーブル（図５参照）に従って座標変換を行うことにより、入力画像から極座標画像および極座標画像から出力画像への変換を行うものである。
なお、本実施の形態では、設定によって、上記の変換部１５〜１９を用いることなく、入力画像から出力画像への座標変換を直接できるようになっている。このため、入出力幾何プロファイル作成部２０および入出力幾何プロファイル格納部２１を設け、入出力幾何プロファイル作成部２０において、入力幾何プロファイルおよび出力幾何プロファイルを用いて入力画像の座標系と出力画像の座標系との対応関係を表わす入出力幾何プロファイルを作成し、この作成された入出力幾何プロファイルを入出力幾何プロファイル格納部２１に格納するようにしている。
ここで、入出力幾何プロファイルは、図４に示した出力幾何プロファイルと同じ構成を有しており、各々の変換係数は、入力幾何プロファイルおよび出力幾何プロファイルに基づいて計算された出力画像の各画素の座標位置に対応する入力画像の座標位置への変換係数が記述される。また、図９（ａ）に示すように、出力画像の各画素に対する入力画像の座標位置が画素ごとに格納されたテーブルデータを記述することもできる。ここで、入力画像が複数枚ある場合には、図９（ｂ）に示すように、入力画像として各入力画像をｙ方向に並べた一枚の大きな画像として取り扱い、これに対する座標位置が記述される。
以上のように、入出力幾何プロファイル作成部２０において入出力幾何プロファイルを作成して入出力幾何プロファイル格納部２１に格納することで、その入出力幾何プロファイルを用いて入力画像から出力画像へ極座標画像を作成せずに座標変換を直接行うことができ、計算量を削減することができる。
図１０および図１１は幾何変換部９における処理フローを示したものである。図１０は、先ず入力幾何プロファイルに基づいて極座標画像を作成し、次に出力幾何プロファイルに基づいて出力画像を作成する処理フローを示しており、図１１は、入出力幾何プロファイルを作成して、入力画像から出力画像へ直接変換を行う処理フローを示している。詳細な説明については、重複するので省略する。
以上のように、入力画像および出力画像の幾何学的な情報をもとに幾何プロファイルを作成し、これを用いて幾何変換を行うことで、任意の幾何条件による撮像方法若しくは作成方法により作成されたコンテンツ画像を、任意の投射方法による表示システムを用いて広視野角画像の歪みや位置ずれを補正して表示することができる。
（第２実施の形態）
図１２〜図１４は、本発明の第２実施の形態に係るマルチプロジェクションシステムを示すものである。本実施の形態では、画像変換装置４を、図１２に示すように、画像格納部３１、入力／出力幾何プロファイル作成部３２、幾何プロファイル格納部３３、幾何プロファイル結合部３４、幾何プロファイル分離部３５、幾何変換部３６を有して構成する。
画像格納部３１には、画像撮像装置１で撮像された画像または画像撮像装置１で撮像されて一旦ファイルに保存された入力画像若しくは３次元ＣＧデータをある観察位置や観察方向からレンダリングした画像を、入力画像として格納する。また、入力／出力幾何プロファイル作成部３２は、第１実施の形態に示した入力幾何プロファイル作成部５および出力幾何プロファイル作成部７の機能を有して構成し、外部からの入力幾何情報に基づいて入力画像の座標系と観察位置を中心とした極座標との対応関係を与える入力幾何プロファイルを作成すると共に、出力幾何情報に基づいて画像投射装置２に入力する画像の座標系と上記極座標との対応関係を与える出力幾何プロファイルを作成して、これらの入力／出力幾何プロファイルを幾何プロファイル格納部３３に格納する。
幾何プロファイル結合部３４では、作成された入力幾何プロファイルを対応する入力画像に結合して幾何プロファイル付きの画像（これを幾何可変画像と呼ぶ）を作成する。また、幾何プロファイル分離部３５では、外部から読み込んだ幾何可変画像から入力幾何プロファイルと入力画像とを分離する。なお、幾何変換部３６は、第１実施の形態の幾何変換部９と同じ機能を有して構成する。
これにより、本実施の形態では、画像変換装置４において、入力画像とその入力幾何プロファイルとを結合した幾何可変画像を作成して出力することにより、幾何可変画像を保存可能とする。また、外部からの幾何可変画像を読み込んで、入力幾何プロファイルと入力画像とを分離し、その分離した入力幾何プロファイルおよび入力画像と、外部から入力された出力幾何プロファイルとを用いて入力画像を幾何変換して、画像投射装置２へ出力する。さらに、幾何変換部３６で変換した出力画像を、変換の際に使用した出力幾何プロファイルとともに結合して、幾何可変画像として保存可能とする。
本実施の形態によれば、画像変換装置４において、幾何可変画像を作成でき、またこれを読み込んで幾何変形を行うことができるので、例えば図１３に示すように、コンテンツ作成側と表示側とが互いに遠隔地にあっても、作成側の画像変換装置４において任意の幾何環境での幾何可変画像を作成して、記憶媒体やＬＡＮまたはグローバルなネットワークを介して表示側に伝送し、表示側の画像変換装置４で受け取った幾何可変画像を幾何変形処理して、その出力画像を画像投射装置２ａ〜２ｄに入力してスクリーン３に表示することにより、表示側では作成側でどのような幾何条件でコンテンツを撮像若しくは作成したかということを気にすることなく、スクリーン３上に広視野角の画像を表示することができる。
また、本実施の形態では、画像変換装置４において、幾何変換部３６で幾何変形を行った後の画像を幾何可変画像として出力することもできるので、例えば図１４に示すように、広視野角な入力画像を編集・加工して表示する場合に、先ず作成側の画像変換装置４において、入力画像を編集・加工用の座標系に変換して幾何可変画像として出力し、その幾何可変画像を画像編集・加工部３８で編集・加工した後、表示側の画像変換装置４において、その編集・加工時の幾何プロファイルを基に幾何変形して表示することができる。
このようにすれば、編集・加工時に作業のし易い座標系に変形してコンテンツ画像の編集・加工または確認を行うことができ、さらに作成側・表示側ではどのような座標系で編集したか（またはするか）ということを気にすることなく、画像の撮像または作成若しくは表示を行うことができる。
（第３実施の形態）
図１５は、本発明の第３実施の形態に係るマルチプロジェクションシステムの要部を示すものである。本実施の形態では、出力幾何プロファイルを作成する際に、画像投射装置２ａ〜２ｄによりスクリーン３上にテストパターン画像を投射し、その投射されたテストパターン画像をキャリブレーション用撮像装置４１により撮像して、その撮像された画像データをもとに画像投射装置２ａ〜２ｄにおける出力画像の座標系と極座標系との対応関係を示す出力幾何プロファイルを作成するものである。
ここで、出力幾何プロファイルは、出力幾何プロファイル作成部７において作成して、出力幾何プロファイル格納部８に格納する。この出力幾何プロファイルの作成においては、キャリブレーション用撮像装置４１により撮像された画像の座標系と極座標系との対応関係を表すキャリブレーション用撮像装置４１の入力幾何情報を用いる。これにより、キャリブレーション用撮像装置４１により撮像されたテストパターンの画像から、出力画像の座標系（＝テストパターンの座標系）と極座標系との対応関係を示す出力幾何プロファイルを求めることができる。
以上により、キャリブレーション用撮像装置４１による撮像画像を用いて画像投射装置２ａ〜２ｄの各々の出力幾何プロファイルを作成することができるので、画像投射装置２ａ〜２ｄの詳しい配置およびスクリーン３の詳しい形状がわからなくても、出力幾何プロファイルを簡単に作成することができる。また、画像投射装置２ａ〜２ｄの設置誤差や経時的な投射位置の変化があった場合でも、その都度、キャリブレーション用撮像装置４１を用いて簡単に出力幾何プロファイルを修正することができる。
（第４実施の形態）
図１６および図１７は、本発明の第４実施の形態に係るマルチプロジェクションシステムを示すものである。本実施の形態は、図１６に要部の構成を示すように、画像撮像装置等からの入力画像を幾何変換して画像投射装置２ａ〜２ｄへ出力する際に、先ず切り出し画像作成部５１において画像投射装置と同じ数の切り出し画像を作成し、次に各々の切り出し画像を、出力幾何プロファイル格納部８に格納されている出力幾何プロファイルおよび切り出し画像入力幾何プロファイル格納部５２に格納した切り出し画像入力幾何プロファイルに基づいて画像投射装置２ａ〜２ｄに対応する幾何変換部９ａ〜９ｄにおいて幾何変形して出力するものである。
ここで、切り出し画像作成部５１は、複数の入力画像を格納する入力画像格納部５３、入力画像格納部５３に格納された各入力画像のシェーディング補正を行うシェーディング補正部５４、入力幾何プロファイル格納部６に格納されている入力幾何プロファイルおよび出力幾何プロファイル格納部８に格納されている出力幾何プロファイルに基づいて各画像投射装置が担当する表示範囲の画像データを入力画像から切り出すと共に、その切り出し画像の入力幾何プロファイルを算出して切り出し画像入力幾何プロファイル格納部５２に格納する画像切り出し部５５、切り出された画像を格納して各画像投射装置に対応した切り出し画像を出力する切り出し画像格納部５６により構成されている。また、幾何変換部９ａ〜９ｄは、上述した第１実施の形態における幾何変換部９の機能と同じである。
以下、画像切り出し部５５が行う処理について、図１７に示すフローチャートを参照して説明する。先ず、入力画像格納部５３に格納された複数枚の入力画像を読み込む（ステップＳ１）と共に、その入力画像に対する入力幾何プロファイルおよび画像投射装置２ａ〜２ｄに対する出力幾何プロファイルを読み込む（ステップＳ２）。
次に、読み込んだ出力幾何プロファイルに基づいて各画像投射画像における４隅または４辺境界上の幾つかの画素に対する極座標位置を求め、さらにその極座標位置に対応する入力画像の座標位置を入力幾何プロファイルより求める（ステップＳ３）。
その後、求めた４隅または４辺境界上の幾つかの画素に対する入力画像の座標位置から、出力画像における全画素（４隅または４辺とその内部の画素）に対する入力画像の座標位置を補間演算（例えば線形補間若しくは）により算出して、その画素位置における入力画像の画素値を抽出し（ステップＳ４）、その抽出した画素値を切り出し画像データとして切り出し画像格納部５６に格納する（ステップＳ５）と共に、上記の補間演算により算出された座標に対する極座標を入力幾何プロファイルに基づいて算出して、切り出し画像入力プロファイルとして切り出し画像入力幾何プロファイル格納部５２に格納する（ステップＳ６）。
以上のステップＳ３〜Ｓ６の処理を、すべての出力画像に対して繰り返し行って（ステップＳ７）、処理を終了する。
なお、ステップＳ４において、算出された４隅または４辺境界上の幾つかの座標位置から、その領域内の画像を抽出する際は、座標範囲に少々のマージンを持たせて、４隅または４辺境界上の幾つかの座標で囲まれた領域よりも少し広い範囲の画像を抽出して切り出し画像を作成してもよい。このようにすれば、切り出し画像の画像サイズが多少大きくなるが、一度切り出し画像を作成した後に、画像投射装置の画像投射範囲が経時変化によりずれても、切り出し画像を再度作成し直すことなく、そのまま同じものを使用することができる。
このように、切り出し画像作成部５１と幾何変換部９ａ〜９ｄとを分けることにより、各幾何変換部では対応する画像投射装置が担当する画像範囲の小さい画像データのみを幾何変形処理すればよいので、上述した実施の形態に比べて画像演算のためのメモリを削減することができる。また、切り出し画像作成部５１では、幾何プロファイルによる座標変換を各出力画像の４隅または４辺境界上の幾つかのみ行うことで、処理構成を簡略化することができるので、装置全体の構成を簡略化してコストダウンを図ることができる。
（第５実施の形態）
図１８は、本発明の第５実施の形態に係るマルチプロジェクションシステムの要部を示すものである。本実施の形態では、画像変換装置４をコンピュータからなる外部制御装置６１と画像処理装置６２とを有して構成し、外部制御装置６１において入力幾何プロファイルおよび出力幾何プロファイルを作成して画像処理装置６２に供給する。
画像処理装置６２は、Ａ／Ｄ変換部６４、γ補正部６５、γ補正ルックアップテーブル（ＬＵＴ）６６、データ格納メモリ６７ａを有するデータ読み取り部６７、幾何変換部９、色補正部６８、不揮発性メモリ６９、および制御部７０を有しており、γ補正ＬＵＴ６６には、複数の入力画像間および各入力画像の画素間における階調特性（γ特性）の違いを補正するためのγ補正データを格納し、不揮発性メモリ６９には、外部制御装置６１からの入力幾何プロファイルおよび出力幾何プロファイルを格納すると共に、複数の画像投射装置間および各画像投射装置の画素間における色ずれを補正するための色補正マトリクスを格納しておく。
入力画像は、Ａ／Ｄ変換部６４でデジタルの画像データに変換した後、γ補正部６５において、γ補正ＬＵＴ６６に格納されたγ補正データに基づいて各画素に対してガンマ補正を行い、そのγ補正された画像データを幾何変換部９に供給する。なお、γ補正データは、予めγ補正部６５をスルー状態としてＡ／Ｄ変換された画像データをデータ読み取り部６７で読み取ってデータ格納メモリ６７ａに格納し、その読み取った複数の入力画像データに基づいて公知の方法により算出してγ補正ＬＵＴ６６に格納しておく。
幾何変換部９では、不揮発性メモリ６９に格納されている入力幾何プロファイルおよび出力幾何プロファイルに基づいて、上述した実施の形態と同様にして入力画像を幾何変換する。この幾何変換された画像データは、色補正部６８に供給し、ここで各出力画像のＲＧＢ原色信号に対して、不揮発性メモリ６９に格納されている色補正マトリクスに基づいてマトリクス変換を行って色味の補正を行う。
以上のように、幾何変換部９により画像投射装置間の位置ずれや歪みを補正するだけでなく、γ補正部６５において複数の入力画像間および各入力画像の画素間における階調特性（γ特性）の違いを補正すると共に、色補正部６８において複数の画像投射装置間および各画像投射装置の画素間における色ずれを補正することにより、広視野角画像をスクリーン上でよりきれいに貼り合わせることができる。
（第６実施の形態）
図１９は、本発明の第６実施の形態に係るマルチプロジェクションシステムの要部を示すものである。本実施の形態では、表示システム側において、第３実施の形態と同様にして作成されて出力幾何プロファイル格納部８に格納された出力幾何プロファイルを、制御装置７１からネットワーク７２を介してコンテンツ提供側に送出する。他の表示システム側においても、その出力幾何プロファイルを、ネットワーク７２を介してコンテンツ提供側に送出する。なお、図１８では、一例として、アーチ状のスクリーン３を有する表示システムと、平面状のスクリーン３′を有する表示システムとを示しており、スクリーン３′を有する表示システムにおいて、スクリーン３を有する表示システム側と同様の構成要素には、同一符号にダッシュを付して示している。
コンテンツ提供側では、各表示システムからの出力幾何プロファイルを制御装置７３で受け取って、その出力幾何プロファイルに基づいて、切り出し画像生成部７４で入力画像を切り出して、対応する表示システムの画像投射装置の数と同数の切り出し画像を生成し、その切り出し画像を、ネットワーク７２を介して対応する表示システムに送出する。切り出し画像生成部７４は、図１６に示した切り出し画像生成部５１と同様に構成する。
表示システム側では、コンテンツ提供側からの対応する切り出し画像を、例えば画像投射装置２ａ〜２ｄに対応する画像処理装置７５ａ〜７５ｄで幾何変換を含む画像処理して、画像投射装置２ａ〜２ｄによりスクリーン３上に表示する。画像処理装置７５ａ〜７５ｄ，７５ａ′〜７５ｄ′は、図１８に示した画像処理装置６２と同様に構成する。
本実施の形態によれば、コンテンツ提供側は、ネットワーク７２を介して各表示システムからの出力幾何プロファイルを受け取るだけで、各表示システムのスクリーン形状に合わせた切り出し画像を、ネットワーク７２を介して対応する表示システムに送出することができる。したがって、広視野、大画面、高精細の大容量映像を、表示システムに応じてハイビジョン映像信号（ＨＤ−ＳＤＩ）等に切り出して、インターネットやブロードバンドの転送レートに合わせて効率的に送信することができる。
（第７実施の形態）
図２０は、本発明の第７実施の形態に係るマルチプロジェクションシステムの要部を示すものである。本実施の形態は、世界の科学館、シアタ、美術館等に設置されているドーム表示システム、アーチ表示システム、ビデオオール表示システム等の表示システムを、インターネットサービスプロバイダ（ＩＳＰ）を介してインターネット網に接続し、コンテンツ制作会社に設置されるコンテンツ提供側を、ＩＳＰを介してインターネット網に接続して、コンテンツ制作会社で制作した映像コンテンツを、インターネット網を介して配信するコンテンツ世界供給体制を構築したものである。なお、コンテンツ提供側および各表示システム側は、第６実施の形態と同様に、コンテンツ提供側で各表示システムからの出力幾何プロファイルを受け取ることにより、各表示システムのスクリーン形状に合わせて切り出し画像を作成し、その切り出し画像を対応する表示システムで処理して表示するように構成する。
ここで、映像コンテンツは、例えば、コンテンツ制作会社において集中管理して配信する。また、コンテンツ制作会社において各表示システムの出力幾何プロファイルを集中管理し、同様の構成の表示システムについては、映像コンテンツに行き先タグを付加して、ある表示システム側で表示した後、次の表示予定の表示システム側に自動的に配信する。このように、映像コンテンツを自動的に巡回させれば、管理コストを削減することができる。
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施の形態では、入力画像を３つとし、出力画像を４つすなわち画像投射装置を４台としたが、入力画像の数は任意の複数とすることができると共に、画像投射装置の台数は任意の数とすることができる。
本発明の第１実施の形態に係るマルチプロジェクションシステムの全体の概略構成を示す図である。 図１の画像変換部に入力される入力幾何情報および出力幾何情報の具体的な内容を説明するための図である。 入力幾何情報に基づいて作成する入力幾何プロファイルの具体的構成を示す図である。 出力幾何情報に基づいて作成する出力幾何プロファイルの具体的構成を示す図である。 図３および図４の座標変換テーブルの具体的構成を示す図である。 入力幾何プロファイルに記述される入力画像の直交座標と極座標との対応関係を示す図である。 出力幾何プロファイルに記述される出力画像の直交座標と極座標との対応関係を示す図である。 図１の幾何変換部の構成を示すブロック図である。 図８の入出力幾何プロファイル作成部で作成される入出力幾何プロファイルにおける座標テーブルを説明するための図である。 入力幾何プロファイルおよび出力幾何プロファイルを用いた幾何変換の具体的処理フローを示す図である。 入出力幾何プロファイルを利用した幾何変換の具体的処理フローを示す図である。 本発明の第２実施の形態に係るマルチプロジェクションシステムの要部を示す図である。 第２実施の形態の画像変換を利用したシステムの一構成例を示す図である。 同じく、第２実施の形態の画像変換を利用したシステムの他の構成例を示す図である。 本発明の第３実施の形態に係るマルチプロジェクションシステムの要部を示す図である。 同じく、第４実施の形態に係るマルチプロジェクションシステムの要部を示す図である。 図１６の画像切り出し部における処理フローを示す図である。 本発明の第５実施の形態に係るマルチプロジェクションシステムの要部を示す図である。 同じく、第６実施の形態に係るマルチプロジェクションシステムの要部を示す図である。 同じく、第７実施の形態に係るマルチプロジェクションシステムの要部を示す図である。
符号の説明
１，１ａ，１ｂ，１ｃ 画像撮像装置
２，２ａ〜２ｄ 画像投射装置
３ スクリーン
４ 画像変換装置
５ 入力幾何プロファイル作成部
６ 入力幾何プロファイル格納部
７ 出力幾何プロファイル作成部
８ 出力幾何プロファイル格納部
９， ９ａ〜９ｄ 幾何変換部
１１ 入力画像格納部
１２ 極座標画像格納部
１３ 出力画像格納部
１４ シェーディング補正部
１５ 射影変換部
１６ 極座標変換部
１７ 円筒座標変換部
１８ 多項式変換部
１９ テーブル変換部
２０ 入出力幾何プロファイル作成部
２１ 入出力幾何プロファイル格納部
３１ 画像格納部
３２ 入力／出力幾何プロファイル作成部
３３ 幾何プロファイル格納部
３４ 幾何プロファイル結合部
３５ 幾何プロファイル分離部
３６ 幾何変換部
３８ 画像編集・加工部
４１ キャリブレーション用撮像装置
５１ 切り出し画像作成部
５２ 切り出し画像入力幾何プロファイル格納部
５３ 入力画像格納部
５４ シェーディング補正部
５５ 画像切り出し部
５６ 切り出し画像格納部
６１ 外部制御装置
６２ 画像処理装置
６４ Ａ／Ｄ変換部
６５ γ補正部
６６ γ補正ルックアップテーブル（ＬＵＴ）
６７ データ読み取り部
６７ａ データ格納メモリ
６８ 色補正部
６９ 不揮発性メモリ
７０ 制御部
７１ 制御装置
７２ ネットワーク
７３ 制御装置
７４ 切り出し画像生成部
７５ａ〜７５ｄ 画像処理装置

Claims (15)

  1. 一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を幾何変形した出力画像を作成するにあたり、
    上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルと、
    上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルと、
    を用いて上記入力画像を幾何変形して上記出力画像を算出すること特徴とする画像変換方法。
  2. 上記入力幾何プロファイルは、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有し、
    上記出力幾何プロファイルは、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有し、
    上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換、上記射影変換係数を用いた射影変換、上記極座標変換係数を用いた極座標変換、上記円筒座標変換係数を用いた円筒座標変換、または上記多項式変換係数を用いた多項式による座標変換を行って、上記出力画像を算出すること特徴とする請求項１に記載の画像変換方法。
  3. 上記入力幾何プロファイルと上記出力幾何プロファイルとを用いて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成し、この入出力幾何プロファイルを用いて上記入力画像を幾何変形して上記出力画像を算出すること特徴とする請求項１または２に記載の画像変換方法。
  4. 上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像を切り出して、その切り出した画像を幾何変形して上記出力画像を算出すること特徴とする請求項１，２または３に記載の画像変換方法。
  5. 一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を幾何変形した出力画像を作成する画像変換装置において、
    上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルを作成する入力幾何プロファイル作成部と、
    上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成する出力幾何プロファイル作成部と、
    上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出する幾何変換部と、
    を有すること特徴とする画像変換装置。
  6. 上記出力幾何プロファイル作成部は、複数の画像出力装置に対応する複数の出力幾何プロファイルを作成し、
    上記幾何変換部は、上記複数の出力幾何プロファイルに対応する出力画像を算出することを特徴とする請求項５に記載の画像変換装置。
  7. 上記入力幾何プロファイル作成部は、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する入力幾何プロファイルを作成し、
    上記出力幾何プロファイル作成部は、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する出力幾何プロファイルを作成し、
    上記幾何変換部は、上記入力幾何プロファイルおよび上記出力幾何プロファイルが有する、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換手段、上記射影変換係数を用いた射影変換手段、上記極座標変換係数を用いた極座標変換手段、上記円筒座標変換係数を用いた円筒座標変換手段、または上記多項式変換係数を用いた多項式による座標変換手段を有することを特徴とする請求項５または６に記載の画像変換装置。
  8. 上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成する入出力幾何プロファイル作成部を有し、上記入出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出することを特徴とする請求項５，６または７に記載の画像変換装置。
  9. 上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像の切り出しを行う画像切り出し手段を有し、その切り出された画像を幾何変形して上記出力画像を算出すること特徴とする請求項５〜８のいずれか一項に記載の画像変換装置。
  10. 一枚、または異なる幾何条件で撮像若しくは作成された複数枚の入力画像を画像変換装置により幾何変形して複数枚の出力画像を作成し、これら複数枚の出力画像を複数の画像投射装置によりスクリーン上に投射して、該スクリーン上で画像を貼り合わせて一枚の大画面画像を形成するマルチプロジェクションシステムにおいて、
    上記画像変換装置は、
    上記入力画像の画素位置と上記入力画像の所定の観察位置を中心とする極座標位置との対応関係を表わす入力幾何プロファイルを作成する入力幾何プロファイル作成部と、
    上記出力画像の画素位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成する出力幾何プロファイル作成部と、
    上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出する幾何変換部と、
    を有すること特徴とするマルチプロジェクションシステム。
  11. 上記入力幾何プロファイル作成部は、入力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する入力幾何プロファイルを作成し、
    上記出力幾何プロファイル作成部は、出力画像の画素毎に任意の座標関係を与える２次元ルックアップテーブル、平面座標から異なる平面座標への射影変換の関係を与える射影変換係数、平面座標から極座標への極座標変換の関係を与える極座標変換係数、平面座標から円筒座標への円筒座標変換の関係を与える円筒座標変換係数、２次以上の多項式による座標変換の関係を与える多項式変換係数の少なくとも一つを有する出力幾何プロファイルを作成し、
    上記幾何変換部は、上記入力幾何プロファイルおよび上記出力幾何プロファイルが有する、上記２次元ルックアップテーブルを用いたテーブル変換による座標変換手段、上記射影変換係数を用いた射影変換手段、上記極座標変換係数を用いた極座標変換手段、上記円筒座標変換係数を用いた円筒座標変換手段、または上記多項式変換係数を用いた多項式による座標変換手段を有することを特徴とする請求項１０に記載のマルチプロジェクションシステム。
  12. 上記画像変換装置は、
    上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記入力画像の座標位置と上記出力画像の座標位置との対応関係を与える入出力幾何プロファイルを作成する入出力幾何プロファイル作成部を有し、上記入出力幾何プロファイルに基づいて上記入力画像を幾何変形して上記出力画像を算出することを特徴とする請求項１０または１１に記載のマルチプロジェクションシステム。
  13. 上記画像変換装置は、
    上記入力幾何プロファイルおよび上記出力幾何プロファイルに基づいて上記出力画像の４隅若しくは４辺境界上の画素の座標位置に対応する入力画像の４点または４辺上の座標位置を求め、その座標位置に基づいて上記入力画像から画像の切り出しを行う画像切り出し手段を有し、その切り出された画像を幾何変形して上記出力画像を算出すること特徴とする請求項１０，１１または１２のいずれか一項に記載のマルチプロジェクションシステム。
  14. 上記画像投射装置にテストパターン画像を供給するテストパターン画像出力手段と、
    上記画像投射装置により上記スクリーン上に形成されたテストパターン投射画像を取り込むキャリブレーション用画像取得手段とを有し、
    上記出力幾何プロファイル作成部は、
    上記キャリブレーション画像取得手段により取得されたテストパターン投射画像の座標位置と上記観察位置を中心とする極座標位置との対応関係を表わす出力幾何プロファイルを作成することを特徴とする請求項１０〜１３のいずれか一項に記載のマルチプロジェクションシステム。
  15. 上記入力画像に上記入力幾何プロファイルを結合して出力または保存し、若しくは上記画像変換装置により変換された出力画像に上記出力幾何プロファイルを結合して出力または保存する幾何プロファイル結合手段を有することを特徴とする請求項１０〜１４のいずれか一項に記載のマルチプロジェクションシステム。
JP2004161726A 2004-05-31 2004-05-31 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム Withdrawn JP2005347813A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004161726A JP2005347813A (ja) 2004-05-31 2004-05-31 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
US11/140,709 US20050271299A1 (en) 2004-05-31 2005-05-31 Image transforming method, image transforming device and multiprojection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004161726A JP2005347813A (ja) 2004-05-31 2004-05-31 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム

Publications (1)

Publication Number Publication Date
JP2005347813A true JP2005347813A (ja) 2005-12-15

Family

ID=35448996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004161726A Withdrawn JP2005347813A (ja) 2004-05-31 2004-05-31 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム

Country Status (2)

Country Link
US (1) US20050271299A1 (ja)
JP (1) JP2005347813A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075646A (ja) * 2007-09-18 2009-04-09 Hitachi Ltd 映像表示システム及び該システムのパラメータ生成方法
JP2013066134A (ja) * 2011-09-20 2013-04-11 Toshiba Corp プロジェクタ、及び画像処理装置
JP2017502583A (ja) * 2013-12-09 2017-01-19 シゼイ シジブイ カンパニー リミテッド 多面上映館の映像の生成方法とその記憶媒体およびこれを用いた映像管理装置
KR20170030926A (ko) * 2015-09-10 2017-03-20 한국과학기술원 단일 프로젝터와 구형 거울 기반의 전방향 프로젝션 방법 및 시스템
JP2018037786A (ja) * 2016-08-30 2018-03-08 株式会社リコー 撮影装置、方法およびプログラム
KR20190060560A (ko) * 2017-11-24 2019-06-03 충북대학교 산학협력단 라이다를 위한 폴라뷰 영상 변환 방법 및 장치
WO2019124070A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および投影システム
WO2019163449A1 (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020184059A (ja) * 2019-04-29 2020-11-12 セイコーエプソン株式会社 回路装置、電子機器及び移動体
US11962946B2 (en) 2018-02-20 2024-04-16 Canon Kabushiki Kaisha Image processing apparatus, display system, image processing method, and medium

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2312985T3 (es) * 2003-03-26 2009-03-01 Matsushita Electric Works, Ltd. Procedimiento para crear un filtro de brillo y sistema de creacion de espacio virtual.
EP3169059B1 (en) * 2005-04-26 2018-06-13 Imax Corporation Electronic projection systems and methods
US8777418B2 (en) 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
US7907792B2 (en) 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps
US7854518B2 (en) 2006-06-16 2010-12-21 Hewlett-Packard Development Company, L.P. Mesh for rendering an image frame
US20070291184A1 (en) * 2006-06-16 2007-12-20 Michael Harville System and method for displaying images
US9137504B2 (en) * 2006-06-16 2015-09-15 Hewlett-Packard Development Company, L.P. System and method for projecting multiple image streams
US7860341B2 (en) * 2006-07-21 2010-12-28 Varian Medical Systems, Inc. System and method for correcting for ring artifacts in an image
WO2008094892A2 (en) * 2007-01-29 2008-08-07 Vergence Media, Inc. Methodology to optimize and provide streaming object rotation using composite images
US8730130B1 (en) * 2008-12-04 2014-05-20 RPA Electronic Solutions, Inc. System and method for automatically aligning immersive displays
US8328365B2 (en) 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
US9465283B2 (en) * 2009-11-06 2016-10-11 Applied Minds, Llc System for providing an enhanced immersive display environment
US20130033650A1 (en) * 2011-08-02 2013-02-07 3M Innovative Properties Company Display system and method for projection onto multiple surfaces
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
US9049387B2 (en) * 2012-09-06 2015-06-02 National Taiwan University Method of generating view-dependent compensated images
KR20150068297A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
JP6305050B2 (ja) * 2013-12-18 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015204548A (ja) * 2014-04-15 2015-11-16 株式会社リコー 画像投影システム
KR101947935B1 (ko) * 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
EP3139601B1 (en) * 2015-09-02 2021-12-22 TOP Victory Investments Limited Electronic device, method and computer program for providing a signal to at least one projector
JP6569742B2 (ja) * 2016-01-13 2019-09-04 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP6834542B2 (ja) * 2017-02-01 2021-02-24 セイコーエプソン株式会社 画像表示装置およびその調整方法
CN111630849A (zh) * 2018-01-25 2020-09-04 索尼公司 图像处理装置、图像处理方法、程序和投影系统
US10276075B1 (en) * 2018-03-27 2019-04-30 Christie Digital System USA, Inc. Device, system and method for automatic calibration of image devices

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
DE19726860C1 (de) * 1997-06-24 1999-01-28 Ldt Gmbh & Co Verfahren und Vorrichtung zur Darstellung eines Videobildes sowie ein Herstellungsverfahren für die Vorrichtung
US6924816B2 (en) * 2000-03-17 2005-08-02 Sun Microsystems, Inc. Compensating for the chromatic distortion of displayed images
US6804406B1 (en) * 2000-08-30 2004-10-12 Honeywell International Inc. Electronic calibration for seamless tiled display using optical function generator
EP1766959A1 (en) * 2004-05-05 2007-03-28 Eastman Kodak Company Color management of halftone prints

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075646A (ja) * 2007-09-18 2009-04-09 Hitachi Ltd 映像表示システム及び該システムのパラメータ生成方法
JP2013066134A (ja) * 2011-09-20 2013-04-11 Toshiba Corp プロジェクタ、及び画像処理装置
US8888296B2 (en) 2011-09-20 2014-11-18 Kabushiki Kaisha Toshiba LCOS projector having signal correction processing based on projection lens distortion
JP2017502583A (ja) * 2013-12-09 2017-01-19 シゼイ シジブイ カンパニー リミテッド 多面上映館の映像の生成方法とその記憶媒体およびこれを用いた映像管理装置
US10096085B2 (en) 2013-12-09 2018-10-09 Cj Cgv Co., Ltd. Method for generating images for multi-projection theater and image management apparatus using the same
KR20170030926A (ko) * 2015-09-10 2017-03-20 한국과학기술원 단일 프로젝터와 구형 거울 기반의 전방향 프로젝션 방법 및 시스템
KR102167836B1 (ko) * 2015-09-10 2020-10-20 한국과학기술원 단일 프로젝터와 구형 거울 기반의 전방향 프로젝션 방법 및 시스템
JP2018037786A (ja) * 2016-08-30 2018-03-08 株式会社リコー 撮影装置、方法およびプログラム
KR102025264B1 (ko) * 2017-11-24 2019-09-25 충북대학교 산학협력단 라이다를 위한 폴라뷰 영상 변환 방법 및 장치
KR20190060560A (ko) * 2017-11-24 2019-06-03 충북대학교 산학협력단 라이다를 위한 폴라뷰 영상 변환 방법 및 장치
WO2019124070A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および投影システム
US11115632B2 (en) 2017-12-19 2021-09-07 Sony Corporation Image processing device, image processing method, program, and projection system
WO2019163449A1 (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11962946B2 (en) 2018-02-20 2024-04-16 Canon Kabushiki Kaisha Image processing apparatus, display system, image processing method, and medium
JP2020184059A (ja) * 2019-04-29 2020-11-12 セイコーエプソン株式会社 回路装置、電子機器及び移動体
JP7467883B2 (ja) 2019-04-29 2024-04-16 セイコーエプソン株式会社 回路装置、電子機器及び移動体

Also Published As

Publication number Publication date
US20050271299A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
JP2005347813A (ja) 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
US8855441B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
JP4637845B2 (ja) マルチプロジェクションシステムにおける幾何補正方法
JP3735158B2 (ja) 画像投影システム、画像処理装置
EP1813105B1 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
JP3908255B2 (ja) 画像投影システム
CN108805807B (zh) 环景图像的拼接方法及其系统
JP2007249967A (ja) 広角画像用遠近補正カメラ移動方法
JP4871820B2 (ja) 映像表示システム及び該システムのパラメータ生成方法
JP2005354680A (ja) 画像投影システム
KR101465112B1 (ko) 카메라 시스템
CA2650834C (en) Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
US20020009699A1 (en) Data receiving device and image forming apparatus using same
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
JP2006285482A (ja) 映像ジオメトリ補正装置
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP3709395B2 (ja) 画像投影システム
JP5249733B2 (ja) 映像信号処理装置
JP6274744B2 (ja) 画像処理装置および画像処理方法
US8830268B2 (en) Non-linear image mapping using a plurality of non-linear image mappers of lesser resolution
JP2006109088A (ja) マルチプロジェクションシステムにおける幾何補正方法
JP2012150614A (ja) 自由視点画像生成装置
JP4304997B2 (ja) マルチカメラ映像合成表示装置
JP4811249B2 (ja) 遠隔指示システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060720

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070807