JP2007183948A - 幾何情報を校正してパノラマ映像を提供する方法および装置 - Google Patents

Abstract

【課題】幾何情報を校正してパノラマ映像を提供する方法および装置に関する。
【解決手段】平面方向に傾斜した角度（ａ）と深さ方向に湾曲した角度（ｂ）に基づいて定義された行列Ｈ（ａ、ｂ）とカメラパラメータ内部行列Ｋによって定められる行列ＨＦをソースイメージベクトル（ｘ、ｙ）に適用してティルティングベクトルを生成する。また、前記カメラパラメータ行列Ｋを用いてソースイメージ２Ｄベクトル（ｘ、ｙ）を地平面の原点から距離が１である網膜平面上の３Ｄベクトル（Ｘ、Ｙ、Ｗ）に変換する。最後に、網膜平面のイメージの幅とＦＯＶの角度を用いてワーピングされたイメージ幅（ＷＩＷ）を予測し、一定角度に該当する網膜平面イメージの幅方向のピクセルの適合した個数を角度に合わせて円柱に投映し、前記変換されたベクトル（Ｘ、Ｙ、Ｗ）と前記ワーピングされたイメージ幅（ＷＩＷ）に基づいて定義された値によってワーピングベクトルを生成する。
【選択図】 図６

Description

本発明は、パノラマ映像を提供する方法に関し、より詳細には、ティルティング（ｔｉｌｔｉｎｇ）とワーピング（ｗａｒｐｉｎｇ）に対する幾何情報を校正してパノラマ映像を提供する方法およびこれを実現する装置に関する。ここで、ティルティングに対する幾何情報を校正する方法は、パノラマ映像だけでなく、映像を連結して映像を拡張させる多くの他の方法に適用される。

今日、普遍化されたナビゲーション（ｎａｖｉｇａｔｉｏｎ）システム、移動通信端末機、ＰＤＡなどを介して位置基盤サービスを提供することにおいて、サービス提供地域に対する実写（ｒｅａｌ ｓｃｅｎｅ）に基づき、より現実に近い映像情報を提供することができる。

例えば、図１のように、車が交差路でＡ→Ｂ→Ｃ方向に進行するのに伴い、道案内のための映像情報は、Ｘ位置の三脚台（ｔｒｉｐｏｄ）（１１０）でカメラを用いて回転しながら撮った周囲のイメージ（１１１）からＹ位置の三脚台（１２０）で撮った周囲のイメージ（１２１）に変更する必要がある。

しかし、図２のように、カメラを用いて撮った写真の映像（２２０）は、実際に目で見る時の映像（２１０）と差がある。すなわち、図３の３１０にも示されているように、垂直に表示されるべきビルの形状がレンズの屈折方向に湾曲して見えることがある。これは、カメラで実際に３Ｄ物体の像を撮る時、光学系との関連により、レンズの屈折によって歪曲された効果が反映されて現れるためである。このように、湾曲して見える映像（２２０）は、反対に２３０のようにティルティングさせることで、実際に目で見る時の映像（２１０）と同様、正常な形状に校正される。

また、図３の３２０のように、カメラの傾き（ｔｉｌｔｉｎｇ）によって、垂直に表示されるべきビルの形状が深さ方向に湾曲したり（同じ幅の物体が上下で異なった幅に見える）、平面方向に傾斜して（直立している物体が左右に傾いて見える）見えることがある。

しかし、現在までのティルティング校正技術として、キヤノン（Ｃａｎｏｎ）においては、カメラを用いて撮った写真映像（２２０）のいくつかのポイントをチェックして回転（ｒｏｔａｔｉｏｎ）させたり転移（ｔｒａｎｓｌａｔｉｏｎ）する方法を用いているが、深さ方向における校正が反映されず、未だ実際と差がある映像を表示しているという問題点がある。

また、ＭＳ（マイクロソフト）においては、深さ情報を反映して遠近法によるワーピング変換（ｐｅｒｓｐｅｃｔｉｖｅ ｗａｒｐｉｎｇ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を適用する方法を用いている。しかし、この方法は、同一距離の物体に対してはある程度の効果が現れるが、不完全な深さ情報によって距離が相違すると、エラーが発生するという問題点があることを結果から推正することができる。

この他にも、パノラマ映像を提供するため、図１のように三脚台で回転するカメラから撮ったイメージを集めて付着し、図４のように一つの光学中心Ｏで予想される仮想の３Ｄシリンダ形態の映像として投映させる方法が用いられる。この時、シリンダ形態で完成したパノラマ映像は、ユーザの位置変動に伴って提供される。

しかし、シリンダに投映するための一般的なワーピング技術においては、正確にシリンダ上に投映されず、図５のようにイメージ平面上の点Ａ〜Ｆがａ〜ｆとして投映されるように、エッジ部分がシリンダ内側に縮小変換されることによって、写真の物体が小さく膨張して現れるように生成されるという問題点がある。

従って、本発明は、上述した問題点を解決するためのものであって、パノラマ映像が正常に提供されるようにするため、ティルティングおよびワーピングと関連した幾何情報を校正する方法を提供することを目的とする。特に、本発明のティルティング方法は、パノラマだけでなく、二枚以上の映像をステッチングして拡張するためのあらゆる場合に適用される。

また、本発明は、前記ティルティングおよびワーピングと関連した幾何情報を校正する方法を実現する装置を提供することを他の目的とする。

前記のような本発明の目的を達成するため、本発明によるパノラマ映像を提供する方法は、カメラで三脚台を用いて順に撮影した複数のピクセルに対するソースイメージおよび各ピクセルの位置ベクトルを受信する段階と、前記ソースイメージの平面方向に傾斜した角度、深さ方向に湾曲した角度、前記カメラのパラメータ行列、および位置校正行列に基づいて前記ソースイメージの位置ベクトルをティルティングさせるための変換行列を生成する段階と、前記変換行列から前記ソースイメージの位置ベクトルに対するティルティングベクトルを得て、前記ソースイメージを前記ティルティングベクトルに位置させ、幾何学的にティルティングさせる段階とを含むことを特徴とする。

また、本発明によるパノラマ映像を提供する方法は、前記ソースイメージまたは前記ティルティングされたイメージに対するサイズと一定ＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、および前記カメラのパラメータ行列に基づいてワーピングベクトルを得て、前記ソースイメージまたは前記ティルティングされたイメージを前記ワーピングベクトルに位置させ、幾何学的にワーピングさせる段階を更に含むことを特徴とする。

前記ティルティングのための変換行列は、前記平面方向に傾斜した角度と前記深さ方向に湾曲した角度に基づいて定義された行列、前記カメラのパラメータ行列の逆行列、および前記校正行列によって定められることを特徴とする。

また、前記ワーピングにおいて、前記カメラパラメータ行列を用いて前記ワーピングのための入力イメージを地平面の原点から距離が１である網膜平面上の映像に変換し、前記イメージサイズとイメージヘッダ情報内のＦＯＶの角度からワーピングされたイメージ幅を予測し、前記変換された３Ｄベクトルと前記ワーピングされたイメージ幅に基づいて定義された値によって前記ワーピングベクトルを生成することを特徴とする。ここで重要なことは、網膜平面上の映像を円柱にワーピングする時、中心角度と周辺角度にワーピングされるピクセルの広さが異なることがある。

前記のような本発明の他の目的を達成するため、本発明の一面によるパノラマ映像のためのティルティング装置は、平面方向に傾斜した角度と深さ方向に湾曲した角度の入力を受け、複数の元素値を計算して一定行列を生成する基本変換行列生成部と、イメージを撮影するカメラのパラメータ行列の入力を受け、その逆行列を生成する逆行列生成部と、前記基本変換行列生成部で生成された行列と前記逆行列生成部で生成された行列を掛ける第１乗算器と、前記カメラのパラメータ行列と前記第１乗算器で出力される行列を掛ける第２乗算器と、位置校正行列と前記第２乗算器で出力される行列を掛けて最終変換行列を生成する第３乗算器と、前記カメラで撮影したソースイメージの位置ベクトルと前記第３乗算器で出力される最終変換行列を掛けて前記ソースイメージのティルティングベクトルを生成する第４乗算器とを含み、前記ティルティングベクトルによって前記ソースイメージを幾何学的にティルティングさせることを特徴とする。

前記のような本発明の他の目的を達成するため、本発明の一面によるパノラマ映像のためのワーピング装置は、ソースイメージの一定幅（ｗｉｄｔｈ）とＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）からワーピングされたイメージの幅を計算するワーピング幅設定部と、前記ソースイメージに対する入力サイズから一定行に対する最左側のピクセルの角度と最右側ピクセルの角度を求める各獲得部と、イメージを撮影するカメラのパラメータ行列の入力を受け、その逆行列を生成する逆行列生成部と、前記逆行列生成部で生成された行列と前記カメラで撮影したソースイメージの位置ベクトルに基づいたベクトルを掛ける乗算器と、前記乗算器出力の一つの元素値からソースピクセルの角度を計算するタンジェント計算部と、前記ワーピング幅設定部で計算された前記ワーピングされたイメージの幅と前記各計算部で計算された角度を用い、前記タンジェント計算部で計算された前記ソースピクセルの角度から前記ソースイメージに対するワーピングベクトルの一つの座標値を決定する第１座標決定部と、前記乗算器出力の元素値に基づいて前記ワーピングベクトルの他の座標値を決定する第２座標決定部とを含み、前記ワーピングベクトルによって前記ソースイメージを幾何学的にワーピングさせることを特徴とする。

上述したように、本発明によるパノラマ映像を提供する方法および装置においては、交差路などで回転するカメラからの実写基盤映像データに対し、特に、ティルティングおよびワーピングと関連した幾何情報を精密に校正することで、より自然で現実に近い映像を提供することができる。このようなティルティング方法は、パノラマ映像だけでなく、二枚以上の映像をステッチングするあらゆる場合に適用可能である。これによって、ナビゲーションシステム、移動通信端末機、ＰＤＡなどの映像データ処理に適用し、より正確で実感ある映像と共に、位置基盤サービスを提供することができる効果がある。

以下、添付の図面および添付の図面に記載された内容を参照して、本発明の好ましい実施例を詳細に説明するが、本発明が実施例によって制限されたり限定されるものではない。各図面に提示された同一の参照符号は、同一の部材を示す。

図６は、本発明の一実施例によるパノラマ映像提供方法を説明するための流れ図である。

ナビゲーションシステム、移動通信端末機、ＰＤＡなどを介して位置基盤サービスを提供することにおいて、より現実に近い地理的映像情報を提供するため、本発明においては、サービス提供地域に対する実写（ｒｅａｌ ｓｃｅｎｅ）を基盤とする。例えば、図１のように、交差路の周囲に設置される複数のカメラで三脚台（ｔｒｉｐｏｄ）を用いて周囲の景観が撮影されたりする（Ｓ６１０）。

本発明においては、まず、カメラから得られたイメージの歪曲（ｄｉｓｔｏｒｔｉｏｎ）／ティルティング（ｔｉｌｔｉｎｇ）を校正する（Ｓ６２０）。ここで、カメラから得られたイメージとは、デジタルカメラなどで実写されたＶＧＡなど一定規格の解像度を有するイメージを意味する。また、アナログカメラから得られた写真が準備された場合、所定装置によってデジタル写真に変換させて用いることもできる。

また、ここで、イメージの処理とは、白黒デジタルデータの処理であることもあるが、好ましくは、Ｒ、Ｇ、Ｂ三色のデジタルイメージデータを処理すると仮定される。

前記カメラから得られたイメージは、図９の９１０のように、同じ幅の物体が上／下で異なった幅に見えるように深さ方向に湾曲して見えたり、また、直立している物体が左／右に上がって見えるように平面方向に傾斜して見えたりする。

本発明においては、イメージ歪曲／ティルティングの校正処理のために、ティルティングのための変換行列（ＨＦ）を用いる。すなわち、前記ティルティングのための変換行列を用い、入力されたソースイメージの位置ベクトルに対するティルティングベクトルを得ることができる。この時、前記ソースイメージの各ピクセルデータを前記ティルティングベクトルに位置させて幾何学的にティルティングさせるようになる。

図７は、本発明の一実施例によるティルティング方法を説明するための図である。図７を参照すると、ソースイメージ（７１０）をティルティングされたイメージ（７２０）に校正し、イメージが正しく見えるようにするための本発明においては、前記ソースイメージ（７１０）が平面方向に傾斜した角度（ｂ）と深さ方向に湾曲した角度（ａ）を一定値で仮定して前記ティルティングのための変換行列（ＨＦ）を予測する。前記ティルティングのための変換行列（ＨＦ）によってソースイメージ（７１０）の各ピクセルの位置（Ｄ２）がティルティングされた位置（Ｄ１）に移される。図７において、線分ＰＡ−ＰＢは、地平面と平行した線と同様、一定基準となる線を示す。

このため、カメラで撮影した複数のピクセルを有するソースイメージ（７１０）が入力されると、式（１）のように、前記ソースイメージの平面方向に傾斜した角度（ｂ）、深さ方向に湾曲した角度（ａ）、前記カメラのパラメータ行列（Ｋ）および位置校正行列（Ｖ）に基づいて前記ティルティングのための変換行列（ＨＦ）を生成する。式（１）において、前記Ｖ、Ｋ、Ｈ（ａ、ｂ）はすべて３Ｄ正方行列である。

式（１）による変換行列（ＨＦ）は、ソースイメージ（７１０）上の一点Ｐ（ｘ、ｙ）に対応するカメラ網膜上の点Ｒｅｔｉｎａｌ Ｐ＝Ｉｎｖ（Ｋ）＊Ｐを行列Ｈ（ａ、ｂ）によって変換させる関数であって、前記カメラのパラメータ行列（Ｋ）および位置校正行列（Ｖ）によって、より正確にティルティングがキャリブレーションされることを示す。

このように、前記ティルティングのための変換行列（ＨＦ）の生成とこれを用いたソースイメージ（７１０）の各ピクセルの位置（ｘ、ｙ）（例えばＤ２）をティルティングベクトル（位置）（ｘ’、ｙ’）（例えばＤ１）に変換させるための本発明の一実施例によるティルティング装置（８００）が図８に示されている。

図８を参照すると、前記ティルティング装置（８００）は、基本変換行列生成部（８１０）、逆行列生成部（８２０）、第１乗算器（８３０）、第２乗算器（８４０）、第３乗算器（８５０）、および第４乗算器（８６０）を含む。

前記ティルティングのための変換行列（ＨＦ）の生成のため、まず、前記基本変換行列生成部（８１０）は、前記平面方向に傾斜した角度（ｂ）と前記深さ方向に湾曲した角度（ａ）の入力を受け、式（２）のように、複数の元素値を３Ｄ正方形の基本行列Ｈ（ａ、ｂ）を計算する。

前記逆行列生成部（８２０）は、式（３）のような前記カメラのパラメータ行列（Ｋ）の入力を受け、その逆行列Ｉｎｖ（Ｋ）を計算する。式（３）において、ｆはカメラ焦点距離であり、（ｃｘ、ｃｙ）は通常、ソースイメージの中心を示すが、他の主要ポイント（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）であることもある。

前記第１乗算器（８３０）は、前記基本行列Ｈ（ａ、ｂ）と前記逆行列Ｉｎｖ（Ｋ）を掛ける。前記第２乗算器（８４０）は、前記第１乗算器（８３０）の出力行列と前記カメラのパラメータ行列（Ｋ）を掛ける。これにより、前記第３乗算器（８５０）が前記第２乗算器（８４０）の出力行列と式（４）のような前記校正行列（Ｖ）を掛けることで、前記ティルティングのための変換行列（ＨＦ）が得られる。式（４）において、（ｔｘ、ｔｙ）は、カメラ位置が互いに異なることを校正するための一定位置値である。

このように、最終的に得られた前記ティルティングのための変換行列（ＨＦ）とソースイメージ（７１０）の各ピクセルの位置（ｘ、ｙ）を前記第４乗算器（８６０）で掛けることで、ティルティングベクトル（ｘ’、ｙ’）が得られる。

このような前記最終変換行列（ＨＦ）によってソースイメージ（７１０）の位置をティルティングベクトル位置に変換させることで、図９の９２０のように、写真内のビルが傾斜したり湾曲したりせず、正しく見えるようにすることができる。

また、本発明においては、上記のように、ティルティングされたイメージをワーピング（ｗａｒｐｉｎｇ）するという従来とは異なる方法を提案する（図６のＳ６３０）。後述されるワーピング段階のソースイメージは、Ｓ６２０段階においてティルティングされたイメージであるものと仮定される。しかし、これに限定されず、Ｓ６２０段階が省略される場合に、本来のソースイメージに対してワーピングされることもある。

図１のように、三脚台で回転するカメラから撮ったイメージを集めて付着し、一つの光学中心Ｏで予想される仮想の３Ｄシリンダ形態の映像として投映させたパノラマ映像を提供するため、本発明によるワーピング技術においては、図１２の１２１０のように、イメージのエッジ部分がシリンダ内側に縮小変化することよって写真の物体が小さく膨張して現れるという問題を解決する。

図１０は、ワーピングのために３次元映像をシリンダに投映させる方法を説明するための図である。図１０を参照すると、網膜平面イメージ（１０１０）をシリンダ（１０２０）上のワーピングされたイメージに校正してイメージが正常に見えるようにするため、本発明においては、シリンダの原点から切断して地平面（Ｇｒｏｕｎｄ Ｐｌａｎｅ：ＧＰ）の原点（Ｏ）から見たものと仮定された網膜平面（ｒｅｔｉｎａｌ ｐｌａｎｅ）（ｚ＝１）（１０１０）上の３ＤベクトルＭ（Ｘ、Ｙ、Ｗ）は、ソースイメージの３次元平面の点（Ｘ、Ｙ、Ｚ）を網膜平面に計算したベクトルである。また、ソースイメージサイズ（幅／高さ）からワーピングされたイメージ幅（Ｗａｐｅｄ Ｉｍａｇｅ Ｗｉｄｔｈ：ＷＩＷ）の予測は、映像に対する所定ヘッダ情報を用いる。これによって、前記網膜平面（ｒｅｔｉｎａｌ ｉｍａｇｅ ｐｌａｎｅ）（１０１０）上に移された３Ｄベクトルと前記ワーピングされたイメージ幅に基づいて定義された値によって、網膜平面イメージ（１０１０）の位置ベクトルＭ（ｘ、ｙ）が前記原点（Ｏ）から距離が１（ＯＨ＝１）であるシリンダ（１０２０）上のワーピングされた位置Ｐ（ｘ’、ｙ’）に移される。

特に、本発明においては、ソースイメージサイズ（幅／高さ）に基づいて前記ワーピングされたイメージ幅（ＷＩＷ）を予測し、水平方向にイメージを縮小させることで、ソースイメージ（１０１０）をシリンダ（１０３０）表面にワーピングさせる時に現れることのある小さく膨張して見えるイメージを正常に見えるようにする。一般的なワーピング方法としては、イメージの中心部分とエッジ部分の間から水平方向に一定角度当りマッピングされるピクセルの数が異なることによって小さく膨張して見えるイメージが現れるが、本発明においてはこれを解決しようとする。

このため、カメラで撮影した複数のピクセルを有するソースイメージ（１０１０）が入力されると、そのサイズ（幅／高さ）、中心付近の二つのピクセル位置、およびカメラのパラメータ行列（Ｋ）に基づいてワーピングベクトル（ｘ’、ｙ’）を得て、前記ソースイメージを前記ワーピングベクトルに位置させ、幾何学的にワーピングさせるようになる。

前記カメラパラメータ行列（Ｋ）を用い、前記ソースイメージの２Ｄ位置ベクトル（ｘ、ｙ）を網膜平面（１０２０）上の３Ｄベクトル（Ｘ、Ｙ、Ｗ）に変換する過程、前記イメージサイズからワーピングされたイメージ幅（ＷＩＷ）を予測する過程、および前記変換された３Ｄベクトル（Ｘ、Ｙ、Ｗ）と前記ワーピングされたイメージ幅（ＷＩＷ）に基づいて定義されたθ値およびＭｐ〜Ｃ距離値などによって前記ワーピングベクトル（ｘ’、ｙ’）を得る過程は、図１１に示された本発明の一実施例によるワーピング装置（１１００）によって実現される。

図１１を参照すると、前記ワーピング装置（１１００）は、ワーピング幅設定部（１１７０）、各計算部（１１１０）、逆行列生成部（１１２０）、乗算器（１１３０）、タンジェント計算部（１１５０）、ｘ’座標決定部（１１６０）、およびｙ’座標決定部（１１４０）を含む。

前記ワーピング幅設定部（１１７０）は、ソースイメージのＦＯＶ（ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）とイメージの広さからワーピングされたイメージの幅（ＷＩＷ）を計算する。すなわち、図１１の解像度計算部（１１７１）は、ソースイメージのＦＯＶ（ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）とイメージの広さから半径（Ｒ）を計算する。前記解像度計算部（１１７１）において、半径Ｒの計算は、ソースイメージの広さの半値（ｗｉｄｔｈ／２）をＦＯＶ／２のタンジェント値で割ることによってなされる。図１１の幅決定部（１１７２）は、カメラの視野角（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ：ＦＯＶ）を前記半径（Ｒ）にＦＯＶを掛けてラジアン（ｒａｄｉａｎ）値に変換した値を前記ワーピングされたイメージの幅（ＷＩＷ）として決定することができる。

前記各獲得部（１１１０）は、前記ソースイメージの入力サイズ（幅／高さ）から前記ソースイメージの中心行における最左側のピクセルの角度（θｍｉｎ）と最右側ピクセルの角度（θｍａｘ）を求める。ここで、計算される角度は、地平面（ＧＰ）の原点（Ｏ）から見た角度である。

前記逆行列生成部（１１２０）は、式（３）のような前記カメラのパラメータ行列（Ｋ）の入力を受け、その逆行列Ｉｎｖ（Ｋ）を生成する。

前記乗算器（１１３０）は、前記逆行列生成部（１１２０）で生成された逆行列Ｉｎｖ（Ｋ）と前記ソースイメージの位置ベクトルに基づいたベクトル（ｘ、ｙ、１）を掛ける。これによって、式（５）のように、前記ソースイメージに平行した網膜平面（１０２０）上の３Ｄベクトル（Ｘ、Ｙ、Ｗ）が得られる。

前記タンジェント計算部（１１５０）は、前記乗算器（１１３０）出力の一つの元素値Ｘからソースピクセルｘの角度を計算する。これによって、前記ｘ’座標決定部（１１６０）は、式（６）のように、前記ワーピング幅設定部（１１７０）で計算された前記ワーピングされたイメージの幅（ＷＩＷ）と前記各計算部（１１１０）で計算された角度（θｍｉｎ、θｍａｘ）を用い、前記タンジェント計算部（１１５０）で計算された前記ソースピクセルｘの角度（θ）からｆ（θ）を計算して前記ソースイメージに対するワーピングベクトルの一つの座標値ｘ’を決定する。このようにして、イメージの中心部分とエッジ部分の間で水平方向に一定角度当りマッピングされるピクセルの数が一定するように補正される。

前記ｙ’座標決定部（１１４０）は、式（６）のように、前記乗算器（１１３０）出力の元素値に基づいて前記ワーピングベクトルの他の座標値ｙ’を決定する。

このように得られる前記ワーピングベクトル（ｘ’、ｙ’）にソースイメージ（１０１０）の各ピクセルの位置（ｘ、ｙ）が転換されながら、図１２の１２２０に示されたように、写真内の人物やビルなどが膨張して見えることなく、正常に見えるようにすることができる。

以下、本発明の中心事項ではないが、本来のソースイメージまたは上述したような技法でティルティングされたりワーピングされたイメージは、後続プロセッサにおいて更に処理されることがある。

図１３は本発明の一実施例によって後続的に実施されることがあるイメージステッチング（ｓｔｉｔｃｈｉｎｇ）を説明するための図である。例えば、パノラマイメージを提供するために様々な場所または位置のカメラから実写されたイメージは、上述したように、仮想のシリンダ上に集めて付着して整合（ｒｅｇｉｓｔｒａｔｉｏｎ）される（図６のＳ６４０）。この時、図１３の１３１０のように、二つのイメージずつその幅の１／４〜３／４（２５〜７５％）間で重ねてみたり、その高さの０〜１／８（０〜１２．５％）間で重ねてみて、そのデータのＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）値からその値が最小となる位置を探し出す方式が用いられる。すなわち、二つのイメージデータ間の差が最小となる位置で、図１３の１３２０のように重ねておくとパノラマイメージが完成する。

図１４は、本発明の一実施例によって後続的に実施されることがあるカラーブレンディング（ｃｏｌｏｒ ｂｌｅｎｄｉｎｇ）を説明するための図である。図１３のようなイメージステッチング時に二つのイメージにおいて互いに重なる（ｏｖｅｒ ｌａｐｐｅｄ）同じイメージ部分であったとしても、写真を獲得した環境の差によってカラー情報が急激に変化することがある。この時、重なった部分のカラーブレンディングを介して二つのイメージが円滑に繋がるようにする（図６のＳ６５０）。例えば、図１４において、ＡからＣまでの幅を有する第１イメージ（１４１０）とＢからＤまでの幅を有する第２イメージ（１４２０）を互いに繋ぐ過程において、二つのイメージの重なる部分Ｂ〜Ｃに対し、両方のイメージ（データ）にリニアした（ｌｉｎｅａｒ）加重値ｗ_１（ｘ）、ｗ_２（ｘ）を与えて処理する。

図１５は、本発明の一実施例によるシア（ｓｈｅａｒ）校正を説明するための図である。上記のように、シリンダ上に移されたイメージのステッチングまたはカラーブレンディング後、該当パノラマイメージは、図１５の１５１０のように傾斜していることがあり、上下に汚れたノイズイメージが現れることがある。この時、シリンダ形態で巻いた時に始点と終点が互いに一致するように、１５２０のように傾斜を合わせて連結させ、１５３０のように互いに一致する部分から重複イメージを切断してノイズイメージを排除する（図６のＳ６６０）。

このように、パノラマイメージ提供のため、入力ソースイメージに対するティルティング校正、ワーピング、イメージステッチング、カラーブレンディング、およびシア（ｓｈｅａｒ）校正などが処理されると、処理されたイメージデータは、ナビゲーションシステム、移動通信端末機、ＰＤＡなどの所定メモリにデータベース化されることができ、位置基盤サービスを提供する時、所定レンダリングを介してＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などにきれいなパノラマイメージを提供することができるようになる（図６の６７０）。

上述したように、本発明の一実施例によるパノラマ映像を提供する方法においては、平面方向に傾斜した角度（ｂ）と深さ方向に湾曲した角度（ａ）に基づいて定義された行列Ｈ（ａ、ｂ）とカメラパラメータベクトルＫによって定められる行列ＨＦをソースイメージベクトル（ｘ、ｙ）に適用してティルティングベクトル（ｘ’、ｙ’）を生成する。また、前記カメラパラメータベクトルＫを用いてソースイメージ２Ｄベクトル（ｘ、ｙ）を地平面の原点から距離が１である網膜平面上の３Ｄベクトル（Ｘ、Ｙ、Ｗ）に変換し、ソースイメージ幅（Ｗｉｄｔｈ）とＦＯＶからワーピングされたイメージ幅（ＷＩＷ）を予測し、前記変換されたベクトル（Ｘ、Ｙ、Ｗ）に前記ワーピングされたイメージ幅（ＷＩＷ）に基づいて定義された値によってワーピングベクトル（ｘ’、ｙ’）を生成する。

本明細書において開示された方法および装置で用いられる機能は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードで具現することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、また搬送波（例えば、インターネットを介した送信）の形態で具現されるものも含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納されて実行される。

以上のように、本発明は限定された実施例と図面によって説明されたが、本発明は前記の実施例に限定されるものではなく、本発明が属する分野において通常の知識を有する者にとっては、このような記載から多様な修正および変形が可能であろう。よって、本発明の範囲は、説明された実施例に限って定められてはならず、添付の特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。

交差路で実写を得る過程を説明するための図である。 一般的なレンズ歪曲校正技術を説明するための図である。 レンズの屈折によって歪曲された映像とティルティングされたカメラで撮った映像の例を示す写真である。 パノラマ映像の光学中心点を説明するための図である。 一般的なワーピング技術を説明するための図である。 本発明の一実施例によるパノラマ映像提供方法を説明するための流れ図である。 本発明の一実施例によるティルティング方法を説明するための図である。 本発明の一実施例によるティルティング方法を実現する装置の一例である。 本発明の一実施例によるティルティング前後のイメージステッチングされた写真である。 ３次元映像をシリンダに投映させる方法を説明するための図である。 本発明の一実施例によるワーピング方法を実現する装置の一例である。 本発明の一実施例による広さ（幅）方向校正前後の写真である。 本発明の一実施例によるイメージステッチングを説明するための図である。 本発明の一実施例によるカラーブレンディングを説明するための図である。 本発明の一実施例によるシア（ｓｈｅａｒ）校正を説明するための図である。

符号の説明

８００ ティルティング装置
９１０ ティルティング前の映像イメージ平面
９２０ ティルティング後の映像イメージ平面
１１００ ワーピング装置

Claims (16)

1. カメラで撮影した複数のピクセルに対するソースイメージおよび各ピクセルの位置ベクトルを受信する段階と、
   前記ソースイメージの平面方向に傾斜した角度、深さ方向に湾曲した角度、前記カメラのパラメータ行列、および位置校正行列に基づいて前記ソースイメージの位置ベクトルをティルティングさせるための変換行列を生成する段階と、
   前記変換行列から前記ソースイメージの位置ベクトルに対するティルティングベクトルを得て、前記ソースイメージを前記ティルティングベクトルに位置させ、幾何学的にティルティングさせる段階と、
   を含むことを特徴とするパノラマ映像を提供する方法。
2. 前記変換行列は、
   前記平面方向に傾斜した角度と前記深さ方向に湾曲した角度に基づいて定義された行列、前記カメラのパラメータ行列の逆行列、および前記校正行列によって定められることを特徴とする請求項１に記載のパノラマ映像を提供する方法。
3. 前記変換行列生成段階は、
   前記平面方向に傾斜した角度と前記深さ方向に湾曲した角度から複数の元素値を計算して基本行列を生成する段階と、
   前記カメラのパラメータ行列からその逆行列を生成する段階と、
   前記基本行列と前記カメラのパラメータ行列の逆行列を第１乗算する段階と、
   前記カメラのパラメータ行列と前記第１乗算された結果を第２乗算する段階と、
   前記校正行列と前記第２乗算された結果を第３乗算して最終変換行列を生成する段階と、
   を含むことを特徴とする請求項１に記載のパノラマ映像を提供する方法。
4. 前記ティルティングのための変換行列は、
   数学式
   ＨＦ＝ＶＫＨ（ａ、ｂ）Ｉｎｖ（Ｋ）
   （ここで、ＨＦは変換行列、Ｋはカメラのパラメータ行列、Ｖは位置校正行列、Ｉｎｖ（Ｋ）はＫの逆行列、Ｈ（ａ、ｂ）は変換基本行列、ａは深さ方向に湾曲した角度、ｂは平面方向に傾斜した角度、）
   によって決定されることを特徴とする請求項１に記載のパノラマ映像を提供する方法。
5. 前記Ｖ、Ｋ、Ｈ（ａ、ｂ）は、すべて３Ｄ正方行列であることを特徴とする請求項４に記載のパノラマ映像を提供する方法。
6. 前記数学式に
   （ここで、ｆはカメラ焦点距離、（ｃｘ、ｃｙ）は通常、イメージの中心を示すが、他の主要ポイントであることがある、（ｔｘ、ｔｙ）はカメラ位置別校正のための一定値）
   を適用することを特徴とする請求項４に記載のパノラマ映像を提供する方法。
7. 前記ソースイメージまたは前記ティルティングされたイメージに対するサイズとイメージのＦＯＶ、および前記カメラのパラメータ行列に基づいてワーピングベクトルを得る段階と、
   前記ソースイメージまたは前記ティルティングされたイメージを前記ワーピングベクトルに位置させて幾何学的にワーピングさせる段階と、
   を更に含むことを特徴とする請求項１に記載のパノラマ映像を提供する方法。
8. 前記カメラパラメータ行列を用いて前記ワーピングのための入力イメージの２Ｄ位置ベクトルを地平面の原点から距離が１である網膜平面上の３Ｄベクトルに変換し、前記イメージサイズからワーピングされたイメージ幅を予測し、前記変換された３Ｄベクトルと前記ワーピングされたイメージ幅に基づいて定義された値によって前記ワーピングベクトルを生成することを特徴とする請求項７に記載のパノラマ映像を提供する方法。
9. 前記ワーピングベクトルの計算は、
   前記ワーピングのための入力イメージの幅およびＦＯＶからワーピングされたイメージの幅を計算する段階と、
   前記イメージサイズから一定行に対する最左側のピクセルの角度と最右側ピクセルの角度を求める段階と、
   前記カメラのパラメータ行列からその逆行列を計算する段階と、
   前記カメラのパラメータ行列の逆行列と前記ワーピングのための入力イメージの位置ベクトルに基づいたベクトルを掛ける段階と、
   前記乗算結果の一つの元素値からソースピクセルの角度を計算する段階と、
   前記ワーピングされたイメージ幅と前記一定行に対する最左側のピクセルの角度と最右側ピクセルの角度を用いて前記ソースピクセルの角度から前記ワーピングベクトルの一つの座標値を決定する段階と、
   前記乗算結果の元素値に基づいて前記ワーピングベクトルの他の座標値を決定する段階と、
   を含むことを特徴とする請求項７に記載のパノラマ映像を提供する方法。
10. 前記ワーピングされたイメージの幅計算のための前記二つのピクセル位置は、前記入力イメージの中心ピクセルと前記中心ピクセルに水平で隣合うピクセルであることを特徴とする請求項９に記載のパノラマ映像を提供する方法。
11. 前記最左側のピクセルの角度と前記最右側ピクセルの角度を求めるための前記一定行は、前記入力イメージの中心行であることを特徴とする請求項９に記載のパノラマ映像を提供する方法。
12. 前記ワーピングベクトルは、
    数学式
    （ここで、（ｘ、ｙ）はワーピングのための入力イメージの２Ｄ位置ベクトル、（Ｘ、Ｙ、Ｗ）は地平面の原点から距離が１である網膜平面上の３Ｄベクトル、Ｗａｒｐｅｄ Ｉｍａｇｅ Ｗｉｄｔｈはワーピングされたイメージ幅、（ｘ’、ｙ’）はワーピングベクトル）
    によって決定されることを特徴とする請求項７に記載のパノラマ映像を提供する方法。
13. 前記ティルティングされたイメージまたは前記ワーピングされたイメージに対してステッチング、カラーブレンディング、またはシア校正のいずれか一つ以上を更に処理した後、レンダリングに用いることを特徴とする請求項７に記載のパノラマ映像を提供する方法。
14. 請求項１ないし１３のいずれか一項の方法を実行するためのプログラムが記録されていることを特徴とするコンピュータで読み取り可能な記録媒体。
15. 平面方向に傾斜した角度と深さ方向に湾曲した角度の入力を受け、複数の元素値を計算し、一定行列を生成する基本変換行列生成部と、
    イメージを撮影するカメラのパラメータ行列の入力を受け、その逆行列を生成する逆行列生成部と、
    前記基本変換行列生成部で生成された行列と前記逆行列生成部で生成された行列を掛ける第１乗算器と、
    前記カメラのパラメータ行列と前記第１乗算器で出力される行列を掛ける第２乗算器と、
    位置校正行列と前記第２乗算器で出力される行列を掛けて最終変換行列を生成する第３乗算器と、
    前記カメラで撮影したソースイメージの位置ベクトルと前記第３乗算器で出力される最終変換行列を掛けて前記ソースイメージのティルティングベクトルを生成する第４乗算器とを含み、
    前記ティルティングベクトルによって前記ソースイメージを幾何学的にティルティングさせることを特徴とするパノラマ映像のためのティルティング装置。
16. ソースイメージの一定幅およびＦＯＶからワーピングされたイメージの幅を計算するワーピング幅設定部と、
    前記ソースイメージに対する入力サイズから一定行に対する最左側のピクセルの角度と最右側ピクセルの角度を求める各獲得部と、
    イメージを撮影するカメラのパラメータ行列の入力を受け、その逆行列を生成する逆行列生成部と、
    前記逆行列生成部で生成された行列と前記カメラで撮影したソースイメージの位置ベクトルに基づいたベクトルを掛ける乗算器と、
    前記乗算器出力の一つの元素値からソースピクセルの角度を計算するタンジェント計算部と、
    前記ワーピング幅設定部で計算された前記ワーピングされたイメージの幅と前記各計算部で計算された角度を用いて前記タンジェント計算部で計算された前記ソースピクセルの角度から前記ソースイメージに対するワーピングベクトルの一つの座標値を決定する第１座標決定部と、
    前記乗算器出力の元素値に基づいて前記ワーピングベクトルの他の座標値を決定する第２座標決定部とを含み、
    前記ワーピングベクトルによって前記ソースイメージを幾何学的にワーピングさせることを特徴とするパノラマ映像のためのワーピング装置。