JP2007183949A

JP2007183949A - イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置

Info

Publication number: JP2007183949A
Application number: JP2006349716A
Authority: JP
Inventors: Keunho Kim; 根豪金; Do-Kyoon Kim; 金　道　均; Seok-Yun Jeong; 鄭　錫　潤; Konouchine Anton; コヌシンアントン; Vladimir Vezhnevets; ベズネベッツブラディミル
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-01-09
Filing date: 2006-12-26
Publication date: 2007-07-19
Anticipated expiration: 2026-12-26
Also published as: KR100724134B1; JP4512584B2; US20070159524A1; US8189031B2

Abstract

【課題】イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置に関する。
【解決手段】前記パノラマ映像を提供する方法においては、イメージステッチング時に、二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージを準備し、各レベルで二つのイメージの一定領域に対するＳＳＤを計算してマッチングさせる。また、カラーブレンディング時に、二つのソースイメージの重なった部分のうち、一定範囲にて１０％程度のみのブレンディング領域にリニアするように加重値を適用する。
【選択図】図４

Description

本発明は、パノラマ映像を提供する方法に関し、特に、イメージステッチング（ｓｔｉｔｃｈｉｎｇ）の処理速度を向上させ、カラーブレンディング（ｂｌｅｎｄｉｎｇ）においてイメージが円滑に連結されるようにしてパノラマ映像を提供する方法およびこれを実現する装置に関する。また、提案された方法および装置は、パノラマ映像だけでなく、二つ以上の映像が連結された（ステッチングされた）映像を提供する他のあらゆる分野においても活用可能である。

今日、普遍化されたナビゲーション（ｎａｖｉｇａｔｉｏｎ）システム、移動通信端末機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）などを介して位置基盤サービスを提供することにおいて、サービス提供地域に対する実写（ｒｅａｌｓｃｅｎｅ）に基づき、より現実に近い映像情報を提供することができる。

例えば、図１のように、車が交差路でＡ→Ｂ→Ｃ方向に進行するのに伴い、道案内のための映像情報は、Ｘ位置の三脚台（ｔｒｉｐｏｄ）（１１０）でカメラを用いて回転しながら撮った周囲のイメージ（１１１）からＹ位置の三脚台（１２０）で撮った周囲のイメージ（１２１）に変更する必要がある。

このように、様々な位置においてカメラで実写されたイメージが車などで位置基盤サービスを受けるユーザの所定システムに提供されるために、図２の２１０のように、各位置のイメージが互いに同じ位置を示す部分で互いにステッチングされるようにし、図２の２２０のように、一つのパノラマ映像形態で生成されなければならない。

パノラマ映像を提供するためのイメージステッチング技術としては、様々な場所または様々な位置からの実写イメージを仮想のシリンダ上に集めて付着して整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する方式を取る。例えば、図２の２１０のように、二つのイメージずつその幅の１／４〜３／４（２５〜７５％）間で重ねてみたり、その高さの０〜１／８（０〜１２．５％）間で重ねてみて、そのデータのＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅ）値からその値が最小となる位置を探し出す方式が用いられている。すなわち、二つのイメージデータ間の差が最小となる位置で図２の２２０のように重ねておくと、パノラマイメージが完成することができる。

しかし、このような一般的なイメージステッチング技術においては、ＳＳＤ計算量が多くのオーバーヘッドを有する。すなわち、上記のように、二つのソースイメージに対して水平方向に１／４〜３／４、および垂直方向に０〜１／８領域のデータ値が互いに比較されなければならないため、これを処理する装置の負担が大きくならざるを得ない。

また、上記のように、イメージステッチング時に二つのイメージで互いに重なる（ｏｖｅｒｌａｐｐｅｄ）同じイメージ部分であっても、写真を獲得した環境の差によってカラー情報が極端に変化することがある。この時、重なった部分のカラーブレンディングを介して二つのイメージが円滑に繋がることができるようにする。例えば、図３において、ＡからＣまでの幅を有する第１イメージ（３１０）とＢからＤまでの幅を有する第２イメージ（３２０）を互いに連結する過程において、二つのイメージの重なる部分Ｂ〜Ｃに対して、両方のイメージ（データ）にリニアした（ｌｉｎｅａｒ）加重値Ｗ_１（ｘ）およびＷ_２（ｘ）を与えて処理する。

しかし、このようなイメージブレンディング技術においても、リニア加重値による各イメージの修正されたデータを計算する量が大きく、二つのイメージが互いに円滑に連結されずに自然なパノラマ映像を提供することができない場合が多いため、これを改善する必要がある。

従って、本発明は、上述した問題点を解決するためのものであって、本発明は、パノラマ映像を提供するための多くの技法中、イメージステッチングの処理速度を向上させ、カラーブレンディングにおいて、処理速度だけでなく、イメージが円滑に連結されるようにするパノラマ映像提供方法を提供することを目的とする。ここで提案された二つの方法は、パノラマ映像だけでなく、二つ以上の映像が連結された映像を提供するためにも適用が可能である。

また、本発明は、前記イメージステッチングおよびカラーブレンディングと関連した方法を実現する装置を提供することを他の目的とする。

前記のような本発明の目的を達成するために、本発明の一面によるパノラマ映像を提供する方法は、二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージを準備する段階と、前記複数レベルそれぞれで二つのイメージの一定領域に対するＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅ）を計算してマッチングされたイメージを生成する段階とを含むことを特徴とする。

前記複数レベルのうち、ピクセル数が少ないレベルに対して前記ＳＳＤ計算のためのイメージ探索範囲は大きくし、ピクセル数が多いレベルに対して前記ＳＳＤ計算のためのイメージ探索範囲は小さくして次第に精密度を高めることを特徴とする。

前記のような本発明の目的を達成するために、本発明の他の一面によるパノラマ映像を提供する方法は、二つのソースイメージに対して、前記二つのソースイメージの重なった部分のうち、一定範囲内側で一定パーセントのブレンディング領域を探し出す段階と、前記ブレンディング領域にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する段階とを更に含むことを特徴とする。

前記二つのソースイメージの重なった部分を複数に分け、各分けられた部分ごとに該当ブレンディング領域にある二つのイメージにリニアするように加重値を適用することができる。

前記のような本発明の目的を達成するために、本発明の更に他の一面によるパノラマ映像を提供する方法は、二つのソースイメージの重なった部分のうち、一定範囲内の内側一定パーセント領域で二つのイメージにリニアするように適用される第１加重関数によって該当領域のブレンディングされたイメージを生成する段階と、前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の一つの領域で前記二つのイメージのいずれか一つに適用される第２加重関数によって該当領域のブレンディングされたイメージを生成する段階と、前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の他の領域で前記二つのイメージのいずれか一つに適用される第３加重関数によって該当領域のブレンディングされたイメージを生成する段階とを含むことを特徴とする。

前記のような本発明の他の目的を達成するために、本発明の更に他の一面によるパノラマ映像のためのステッチング装置は、二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージのうち、ピクセル数が少ないレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して前記二つのソースイメージをマッチングさせる第１ステッチング部と、前記第１ステッチング部でマッチングされた二つのイメージに対して、前記様々な比率でスケーリングした複数レベルのイメージのうち、前記第１ステッチング部で用いられたレベルよりピクセル数が多いレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して再びマッチングさせる第２ステッチング部とを含むことを特徴とする。前記第１ステッチング部で前記ＳＳＤ計算のためのイメージ探索範囲は、前記第２ステッチング部で前記ＳＳＤ計算のためのイメージ探索範囲より大きいことを特徴とする。

前記のような本発明の他の目的を達成するために、本発明の更に他の一面によるパノラマ映像のためのブレンディング装置は、二つのソースイメージの重なった部分のうち、入力範囲によって前記入力範囲の内側で前記重なった領域の一定パーセントをブレンディング領域として探し出すブレンディング領域探索部と、前記ブレンディング領域にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する加重値適用部とを含むことを特徴とする。

前記のような本発明の他の目的を達成するために、本発明の更に他の一面によるパノラマ映像のためのブレンディング装置は、二つのソースイメージの重なった部分のうち、一定範囲内の内側一定パーセント領域で二つのイメージにリニアするように適用される第１加重関数によって該当領域のブレンディングされたイメージを生成する第１ブレンディング部と、前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の一つの領域で前記二つのイメージのいずれか一つに適用される第２加重関数によって該当領域のブレンディングされたイメージを生成する第２ブレンディング部と、前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の他の領域で前記二つのイメージのうちの他の一つに適用される第３加重関数によって該当領域のブレンディングされたイメージを生成する第３ブレンディング部とを含むことを特徴とする。

上述したように、本発明によるパノラマ映像を提供する方法および装置においては、交差路などで回転するカメラからの実写基盤映像データに対して、特に、イメージステッチングおよびカラーブレンディング処理時の速度を改善し、より円滑に連結がなされるように精密に校正することで、より自然で現実に近い映像を提供することができる。この時、提案されたイメージステッチングおよびカラーブレンディング処理方法は、パノラマ映像だけでなく、二枚以上の映像が連結された映像においても効果を現すことができる。これによって、ナビゲーションシステム、移動通信端末機、ＰＤＡなどの映像データ処理に適用し、より正確で実感のある映像と共に位置基盤サービスを提供することができるという効果がある。

以下、添付の図面および添付の図面に記載された内容を参照して、本発明の好ましい実施形態を詳細に説明するが、本発明が実施形態によって制限されたり限定されるものではない。各図面に提示された同一の参照符号は、同一の部材を示す。

図４は、本発明の一実施形態によるパノラマ映像提供方法を説明するための流れ図である。

ナビゲーションシステム、移動通信端末機、ＰＤＡなどを介して位置基盤サービスを提供することにおいて、より現実に近い地理的映像情報を提供するために、本発明においては、サービス提供地域に対する実写（ｒｅａｌｓｃｅｎｅ）に基づく。例えば、図１のように、交差路の周囲に設置される複数のカメラで三角台（ｔｒｏｐｏｉｄ）を用いて周囲景観が撮影される（Ｓ４１０）。

本発明においては、まず、カメラから得られたイメージの歪曲（ｄｉｓｔｏｒｔｉｏｎ）を校正する（Ｓ４２０）。ここで、カメラから得られたイメージは、デジタルカメラなどで実写されたＶＧＡなど一定規格の解像度を有するイメージを意味する。また、アナログカメラから得られた写真が準備された場合には、所定装置によってデジタル写真に変換させて用いることもできる。

また、ここで、イメージの処理とは、白黒デジタルデータの処理であることもあるが、好ましくは、Ｒ、Ｇ、Ｂ三色のデジタルイメージデータを処理するものと仮定される。

図５のように、カメラを用いて撮ったイメージ（５２０）は、実際に目で見る時のイメージ（５１０）と差がある。すなわち、図６においても示されているように、垂直に表示されるべきビルの形状がレンズの屈折方向に湾曲して見えることがある。これは、カメラで実際に３Ｄ物体の像を撮る時、光学系との関連によって、屈曲した効果が反映されて示されるためである。このように湾曲して見えるイメージ（５２０）は、反対に５３０のようにレンズ屈折歪曲校正（ｒａｄｉａｌｃｏｒｒｅｃｔｉｏｎ）させることで、実際に目で見る時のイメージ（５１０）と同様、正常に校正されることができる。

イメージ歪曲の校正処理のために、レンズ屈折歪曲校正のための幾何学的変換行列を用いる方法がある。このような方法に対しては、提案された他の特許出願において詳述されているため、ここではその特徴のみを簡略に記述する。すなわち、例えば、ソースイメージが平面方向に傾斜した角度と深さ方向に湾曲した角度などを一定値で仮定してレンズ屈折歪曲校正のための幾何学的変換行列を予測し、前記レンズ屈折歪曲校正のための幾何学的変換行列によってソースイメージの各ピクセルの位置がレンズ屈折歪曲校正された位置に移される。このように、ソースイメージの各ピクセルデータを前記レンズ屈折歪曲校正によるベクトルに位置させて幾何学的にレンズ屈折歪曲校正させる方法により、図６の６２０に示されたように、写真内のビルが傾斜したり湾曲したりせず、正しく見えるようにすることができる。

また、パノラマ映像を提供するために三角台で回転するカメラから撮ったイメージを集めて付着し、図７のように一つの光学中心Ｏで予想される仮想の３Ｄシリンダ形態の映像で投影させる方法を用いる（Ｓ４３０）。この時、シリンダ形態で完成したパノラマ映像は、ユーザの位置変動に従って提供される。

しかし、シリンダに投影するための一般的なワーピング（ｗａｒｐｉｎｇ）技術においては、正確にシリンダ上に投影されず、図８のように、イメージ平面上の点Ａ〜Ｆがａ〜ｆに投影されるように、概念的にエッジ部分がシリンダ内側に縮小変換されることにより、図１０の１０１０のように、写真の物体が小さく膨張して現れるように生成されるという問題点がある。本発明の中心事項ではないが、提案された他の特許出願において、これを改善するための方法が詳細に記述されているため、ここではその特徴のみを簡略に記述する。

すなわち、図９において、地平面（ＧｒｏｕｎｄＰｌａｎｅ：ＧＰ）の原点（Ｏ）から見たものと仮定されたソースイメージの３次元平面の点を網膜平面（ｒｅｔｉｎａｌｐｌａｎｅ）上の３ＤベクトルＭ（Ｘ、Ｙ、Ｗ）に移されるように計算し、ソースイメージサイズ（幅／高さ）とＦＯＶ（ＦｉｅｌｄｏｆＶｉｅｗ）からワーピングされたイメージ幅（ＷａｐｅｄＩｍａｇｅＷｉｄｔｈ：ＷＩＷ）を予測する。これによって、前記網膜平面（ｒｅｔｉｎａｌｉｍａｇｅｐｌａｎｅ）上に移された３Ｄベクトルと前記ワーピングされたイメージ幅に基づいて定義されたθ値とＰＱ距離値により、ソースイメージの位置ベクトルが前記原点（Ｏ）から距離が１（ＯＣ＝１）であるシリンダ上のワーピングされた位置Ｐに移されるようにする。このような方法においては、前記予測されたワーピングされたイメージ幅によって水平方向に一定θ値にマッピング（ｍａｐｐｉｎｇ）される網膜イメージの幅を計算してソースイメージを縮小させることで、図１０の１０２０に示されたように、写真内の人物やビルなどが膨張して見えることなく、正常に見えるようにすることができる。

一方、本発明の一実施形態によるイメージステッチング（ｓｔｉｔｃｈｉｎｇ）を説明するための図面が図１１に示されている。パノラマイメージを提供するために様々な場所に設置されたカメラで実写されたイメージは、上述したように、仮想のシリンダ上に集めて付着されて整合（ｒｅｇｉｓｔｒａｔｉｏｎ）される（図４のＳ４４０）。この時、図２の２１０のように、二つのイメージずつその幅の１／４〜３／４（２５〜７５％）間で重ねてみたり、その高さの０〜１／８（０〜１２．５％）間で重ねてみて、式（１）のように、そのデータのＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅ）値からその値が最小となる位置を探し出す方式を用いることができる。すなわち、二つのイメージデータの間の差が最小となる位置において、図２の２２０のように重ねて置くと、パノラマイメージが完成することができる。式（１）において、Ｉ_ａ（ｘ、ｙ）およびＩ_ｂ（ｘ、ｙ）は、二つのソースイメージそれぞれのピクセル座標（ｘ、ｙ）におけるデータである。

特に、本発明においては、ＳＳＤ計算量を減らすために、ステッチングする二つのソースイメージそれぞれを、図１１のように、様々な比率でスケーリングした複数レベルのイメージを準備する。例えば、幅で２０４８ピクセルを有するレベル０のソースイメージを１０２４（レベル１）→５１２（レベル２）→２５６（レベル３）→１２８（レベル４）→６４（レベル５）とスケーリングしてピクセルデータの数を減らす。この時、スケーリングによって幅方向のピクセル数を１／２に減らす時、隣接したデータ４つの中に一つずつ選択する方法を用いることができる。

このように、複数レベルのイメージが準備されると、前記複数レベルそれぞれで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小となる位置を探し出す方式でマッチングされたイメージを生成することができる。

例えば、各レベルの二つのイメージに対して、その幅の１／４〜３／４（２５〜７５％）間およびその高さの０〜１／８（０〜１２．５％）間の領域でＳＳＤを計算してその値が最小となる位置を探し出し、その探し出された位置で二つのイメージをステッチングすることができる。

この時、前記複数レベルのうち、ピクセル数が少ないレベルに対して、まず、前記ＳＳＤ計算のためのイメージ探索範囲を大きくして計算し、次に、順にピクセル数が多いレベルに対して前記ＳＳＤ計算のためのイメージ探索範囲を小さくして計算することで、次第に精密度を高める方法が用いられる。例えば、幅方向のピクセル数が５１２以下、１０２４以下、および１０２４超過である各場合に対し、探索範囲を６、２、１ピクセルとする。すなわち、幅方向のピクセル数が５１２以下である場合に６ピクセル単位で移動しながらラフ（ｒｏｕｇｈ）にＳＳＤ最小値を探し出してマッチングさせ、次に、幅方向のピクセル数が５１２超過１０２４以下である場合に２ピクセル単位で移動しながらＳＳＤ最小値を探し出してマッチングさせ、再び幅方向のピクセル数が１０２４超過である場合に１ピクセル単位で移動しながらより精密にＳＳＤ最小値を探し出してマッチングさせる。

このような本発明の一実施形態によるイメージステッチングを実現する装置（１２００）の一例が図１２に示されている。図１２を参照すると、前記イメージステッチング装置（１２００）は、第１ステッチング部（１２１０）、第２ステッチング部（１２２０）、および第３ステッチング部（１２３０）を含む。

図１１のように、様々な比率でスケーリングした複数レベルの二つのソースイメージＩ_ａ（ｘ、ｙ）、Ｉ_ｂ（ｘ、ｙ）に対して、まず、前記第１ステッチング部（１２１０）は、ピクセル数が少ないレベル、例えば、幅方向の５１２ピクセル以下であるレベルで、二つのイメージの一定領域に対して６ピクセル単位で移動しながらＳＳＤを計算し、その値が最小である位置を探し出して二つのイメージをマッチングさせる。

前記第２ステッチング部（１２２０）は、前記第１ステッチング部（１２１０）でマッチングされた二つのイメージに対して、前記第１ステッチング部（１２１０）で用いられたレベルよりピクセル数が多いレベル、例えば、幅方向の５１２超過１０２４ピクセル以下であるレベルで、二つのイメージの一定領域に対して２ピクセル単位で移動しながらＳＳＤを計算し、その値が最小である位置を探し出して二つのイメージをマッチングさせる。ここで、更に精密な位置を探し出すために、前記第１ステッチング部（１２１０）で探し出した位置付近でＳＳＤ計算を開始することができる。

前記第３ステッチング部（１２３０）は、前記第２ステッチング部（１２２０）でマッチングされた二つのイメージに対して、前記第２ステッチング部（１２２０）で用いられたレベルよりピクセル数が多いレベル、例えば、幅方向の１０２４ピクセル超過レベルで、二つのイメージの一定領域に対して１ピクセル単位で移動しながらＳＳＤを計算し、その値が最小である位置を探し出して二つのイメージをマッチングさせる。ここでも、前記第２ステッチング部（１２２０）より更に精密な位置を探し出すために、前記第２ステッチング部（１２２０）で探し出した位置付近でＳＳＤ計算を開始することができる。

このように、マッチングされたイメージデータは、後続プロセッサでカラーブレンディング処理されることがある。図１３は、本発明の一実施形態によるカラーブレンディング領域を説明するための図である。

上記のようなイメージステッチング時、二つのイメージで互いに重なる（ｏｖｅｒｌａｐｐｅｄ）同じイメージ部分は、写真を獲得した環境の差によってカラー情報が極端に異なることがある。この時、重なった部分のカラーブレンディングを介して二つのイメージが円滑に繋がるようにする（図４のＳ４５０）。図３のように、二つのイメージの重なる部分Ｂ〜Ｃに対して、両方のイメージ（データ）にリニアした（ｌｉｎｅａｒ）加重値を与えて処理する従来の方法においては、計算量が多いだけでなく、二つのイメージを充分に円滑に連結することができない場合もある。

本発明においては、図１３のように、二つのソースイメージの重なった部分（１３３０）の１０パーセント（％）のブレンディング領域（１３３１）を一定範囲（Ｑ〜Ｒ）内側で探し出し、前記ブレンディング領域（１３３１）にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する。ここで、Ｑ〜Ｒは、前記重なった部分（１３３０）の一定範囲を選択するためのパラメータであって、２５〜７５％であることもある。しかし、これは単に例示的なものであり、他の範囲が選択されることもある。

例えば、図１５において、ＡからＢまでの幅を有する第１イメージ（１３１０）とＣからＤまでの幅を有する第２イメージ（１３２０）が互いに重なる部分の２５〜７５％のうちの１０％のブレンディング領域Ｅ〜Ｆに対してのみ、両方のイメージ（データ）にリニアした（ｌｉｎｅａｒ）加重値ｗ_１（ｘ）およびｗ_２（ｘ）を与えて処理することができる。

このようなブレンディング方法は、図１６のように、二つのソースイメージ（１６１０、１６２０）の重なった部分（１６３０）を複数（１６３１〜１６３５）に分け、各分けられた部分ごとに、上記のように互いに重なる部分の２５〜７５％のうちの１０％のブレンディング領域にある二つのイメージにリニアするように加重値を適用することができる。これは、分けられた各領域別の統計的特性を活用することができるという長所を有しており、映像を領域別で円滑に連結することができるという長所を与える。

このような本発明の一実施形態によって、カラーブレンディングを実現する装置（１４００）の一例が図１４に示されている。図１４を参照すると、前記カラーブレンディング装置（１４００）は、ブレンディング領域探索部（１４１０）および加重値適用部（１４２０）を含む。

前記ブレンディング領域探索部（１４１０）は、二つのソースイメージの重なった部分のうち、入力範囲（Ｑ〜Ｒ）によって前記入力範囲（Ｑ〜Ｒ）の内側で前記重なった領域の１０％をブレンディング領域として探し出す。これによって、前記加重値適用部（１４２０）は、図１５のように、前記ブレンディング領域（Ｅ〜Ｆ）にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する。

前記加重値適用部（１４２０）は、図１６のように、複数に分けられた重なった部分（１６３１〜１６３５）ごとに、上記のように互いに重なる部分の２５〜７５％のうちの１０％のブレンディング領域にある二つのイメージにリニアするように加重値を適用することもできる。

図１７は、本発明の更に他の実施形態によるカラーブレンディングを説明するための図である。二つのイメージを充分に円滑に連結するために、より精密なカラーブレンディング方法を説明する。

図１７のように、二つのソースイメージ（１７１０、１７２０）の重なった部分ののうち、一定範囲（２５〜７５％）（Ｃ〜Ｂ）内の内側１０％領域（Ｅ〜Ｆ）に対しては、二つのイメージにリニアするように適用される式（２）のような第１加重関数Ｉ_ＥＦ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。式（２）において、Ｉ_ａ（ｘ、ｙ）およびＩ_ｂ（ｘ、ｙ）は、二つのソースイメージ（１７１０、１７２０）それぞれのピクセル座標（ｘ、ｙ）におけるデータである。

式（２）において、前記第１加重関数Ｉ_ＥＦ（ｘ、ｙ）は、二つのイメージデータＩ_ａ（ｘ、ｙ）、Ｉ_ｂ（ｘ、ｙ）にリニアするように適用される１次関数ｗ_１（ｘ）、ｗ_２（ｘ）、前記二つのソースイメージＩ_ａ（ｘ、ｙ）、Ｉ_ｂ（ｘ、ｙ）それぞれの平均Ｍ_ａ、Ｍ_ｂと標準偏差Ｄ_ａ、Ｄ_ｂ、および前記二つのソースイメージの全体平均Ｍ_ｍｅａｎと標準偏差平均Ｄ_ｍｅａｎを用いる関数である。ここで、平均は、カラーイメージである場合にＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）各イメージデータの平均であったり、標準偏差も上記のような三色各イメージデータの標準偏差であったりする。

また、図１７のように、二つのソースイメージ（１７１０、１７２０）の重なった部分のうち、一定範囲（２５〜７５％）（Ｃ〜Ｂ）内にあり、内側１０％領域（Ｅ〜Ｆ）領域以外の左側領域（Ｃ〜Ｅ）で第１イメージ（１７１０）に適用される式（３）のような第２加重関数Ｉ_ＣＥ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。式（３）において、Ｃ、Ｅは、ＣＥ間の各位置のｘ座標値である。また、Ｋ_ａｘは、Ｋ_ａＣとＫ_ａＥ間でリニアした値であったり、Ｄ_ａｘは、Ｄ_ａＣとＤ_ａＥ間でリニアした値であったりする。

式（３）において、前記第２加重関数Ｉ_ＣＥ（ｘ、ｙ）は、二つのイメージデータＩ_ａ（ｘ、ｙ）、Ｉ_ｂ（ｘ、ｙ）のうち、第１イメージデータＩ_ａ（ｘ、ｙ）の標準偏差Ｄ_ａと前記二つのソースイメージデータ全体の標準偏差Ｄ_ｍｅａｎ、および前記二つのソースイメージのうち、加重値が適用される該当領域イメージ（第１イメージ）に対して予測された一次関数的標準偏差Ｄ_ａｘを用いる関数である。

同様に、図１７のように、二つのソースイメージ（１７１０、１７２０）の重なった部分のうち、一定範囲（２５〜７５％）（Ｃ〜Ｂ）内にあり、内側１０％領域（Ｅ〜Ｆ）領域以外の右側領域（Ｆ〜Ｂ）で第２イメージ（１７２０）に適用される式（４）のような第３加重関数Ｉ_ＦＢ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。式（４）において、Ｂ、Ｆは、各位置のｘ座標値である。また、Ｋ_ｂｘは、Ｋ_ｂＢとＫ_ｂＦ間でリニアした値であったり、Ｄ_ｂｘは、Ｄ_ｂＢとＤ_ｂＦ間でリニアした値であったりする。

式（４）において、前記第３加重関数Ｉ_ＦＢ（ｘ、ｙ）は、二つのイメージデータＩ_ａ（ｘ、ｙ）、Ｉ_ｂ（ｘ、ｙ）のうち、第２イメージデータＩ_ｂ（ｘ、ｙ）の標準偏差Ｄ_ｂと前記二つのソースイメージデータ全体の標準偏差Ｄ_ｍｅａｎ、および前記二つのソースイメージのうち、加重値が適用される該当領域イメージ（第２イメージ）に対して予測された一次関数的標準偏差Ｄ_ｂｘを用いる関数である。

この他にも、（Ｂ、ｙ）および（Ｃ、ｙ）それぞれのブレンディングされたイメージデータは、式（５）のように、各位置の第１イメージデータＩ_ａ（ｘ、ｙ）および第２イメージデータＩ_ｂ（ｘ、ｙ）が選択される。

このように、図１７で説明されたような本発明の更に他の実施形態によるカラーブレンディングを実現する装置（１８００）の一例が図１８に示されている。図１８を参照すると、前記カラーブレンディング装置（１８００）は、第１ブレンディング部（１８１０）、第２ブレンディング部（１８２０）および第３ブレンディング部（１８３０）を含む。

前記第１ブレンディング部（１８１０）は、二つのソースイメージデータＩ_ａ（ｘ、ｙ）およびＩ_ｂ（ｘ、ｙ）の重なった部分のうち、一定範囲内の内側１０％領域（Ｅ〜Ｆ）で二つのイメージにリニアするように適用される式（２）の第１加重関数Ｉ_ＥＦ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。

前記第２ブレンディング部（１８２０）は、前記二つのソースイメージデータＩ_ａ（ｘ、ｙ）およびＩ_ｂ（ｘ、ｙ）の重なった部分のうち、一定範囲内の内側１０％領域以外の左側領域（Ｃ〜Ｅ）で、前記二つのイメージのうち、左側イメージに適用される式（３）の第２加重関数Ｉ_ＣＥ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。

前記第３ブレンディング部（１８３０）は、前記二つのソースイメージデータＩ_ａ（ｘ、ｙ）およびＩ_ｂ（ｘ、ｙ）の重なった部分のうち、一定範囲内の内側１０％領域以外の右側領域（Ｆ〜Ｂ）で、前記二つのイメージのうち、右側イメージに適用される式（４）の第３加重関数Ｉ_ＦＢ（ｘ、ｙ）によって該当領域のブレンディングされたイメージを生成する。

前記イメージマッチングまたは前記ブレンディング処理前に、上述したようなティルティングまたはワーピングのいずれか一つ以上が更に処理される。また、前記イメージマッチングまたは前記ブレンディング処理後にシア（ｓｈｅａｒ）校正を更に処理した後、そのデータをレンダリングに用いることができる。

図１９は、本発明の一実施形態によるシア校正（ｓｈｅａｒｃｏｒｒｅｃｔｉｏｎ）を説明するための図である。

上記のように、シリンダ上に移されるようにソースイメージがステッチングまたはカラーブレンディングされた後、該当パノラマイメージは、図１９の１９１０のように傾斜していることがあり、上下に汚ないノイズイメージが現れることがある。この時、シリンダ形態で巻いた時に始点と終点が互いに一致するように、１９２０のように傾斜を合わせて連結させ、１９３０のように、互いに一致する部分から重複イメージを切断して上下のノイズイメージを排除する（図４のＳ４６０）。

このように、パノラマイメージ提供のために、入力ソースイメージに対するティルティング校正、ワーピング、イメージステッチング、カラーブレンディング、およびシア校正などが処理されると、処理されたイメージデータは、ナビゲーションシステム、移動通信端末機、ＰＤＡなどの所定メモリにデータベース化されることができ、位置基盤サービスの提供時、所定レンダリングを介してＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などにきれいなパノラマイメージを提供することができるようになる（図４の４７０）。このように、提案されたソースイメージがステッチングまたはカラーブレンディングされる方法は、パノラマ映像だけでなく、二つ以上の映像が連結された映像の提供のためにも適用されることができる。

上述したように、本発明の一実施形態によるパノラマ映像または二つ以上のステッチングされた映像を提供する方法においては、イメージステッチング時に、二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージを準備し、各レベルで二つのイメージの一定領域に対するＳＳＤを計算してマッチングさせる。この時、ピクセル数が少ないレベルのイメージ探索範囲は大きくし、ピクセル数が多いレベルのイメージ探索範囲は小さくして次第に精密度を高める。また、カラーブレンディング時に、二つのソースイメージの重なった部分のうち、一定範囲で１０％のみのブレンディング領域にリニアするように加重値を適用する。この時、二つのソースイメージの重なった部分を複数に分け、各分けられた部分ごとに前記ブレンディング領域にリニアするように加重値を適用することもできる。また、前記二つのソースイメージの重なった部分のうち、一定範囲のブレンディング領域に対して、その内側１０％領域とサイド領域に互いに異なる精密な加重関数を適用することもできる。

本明細書において開示された方法および装置で用いられる機能は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現するのが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、また搬送波（例えば、インターネットを介した送信）の形態で具現されるものも含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み取り可能なコードが格納されて実行される。

以上のように、本発明は限定された実施形態と図面によって説明されたが、本発明は前記の実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者にとっては、このような記載から多様な修正および変形が可能であろう。よって、本発明の範囲は、説明された実施形態に限って定められてはならず、添付の特許請求の範囲のみならず、この特許請求の範囲と均等なものによって定められなければならない。

交差路で実写を得る過程を説明するための図である。一般的なイメージステッチング技術を説明するための図である。一般的なカラーブレンディング技術を説明するための図である。本発明の一実施形態によるパノラマ映像提供方法を説明するための流れ図である。レンズ歪曲校正方法を説明するための図である。レンズ歪曲校正前後の写真である。パノラマ映像の光学中心点を説明するための図である。３次元映像をシリンダに投影させる方法を説明するための図である。ワーピング技術を説明するための図である。ワーピング前後の写真である。本発明の一実施形態によるイメージステッチングを説明するための図である。本発明の一実施形態によるイメージステッチングを実現する装置の一例である。本発明の一実施形態によるカラーブレンディング領域を説明するための図である。本発明の一実施形態によるカラーブレンディングを実現する装置の一例である。本発明の一実施形態によるカラーブレンディング時の加重値を説明するための図である。本発明の他の実施形態によるカラーブレンディングを説明するための図である。本発明の更に他の実施形態によるカラーブレンディングを説明するための図である。図１７のカラーブレンディングを実現する装置の一例である。本発明の一実施形態によるシア校正を説明するための図である。

符号の説明

１２１０第１ステッチング部
１２２０第２ステッチング部
１２３０第３ステッチング部
１４１０ブレンディング領域探索部
１４２０加重値適用部
１８１０第１ブレンディング部
１８２０第２ブレンディング部
１８３０第３ブレンディング部

Claims

二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージを準備する段階と、
前記複数レベルそれぞれにおいて二つの該当イメージの一定領域に対するＳＳＤを計算し、マッチングされたイメージを生成する段階と、
を含むことを特徴とするパノラマ映像を提供する方法。
前記複数レベルのうち、ピクセル数が少ないレベルに対して前記ＳＳＤ計算のためのイメージ探索範囲は大きくし、ピクセル数が多いレベルに対して前記ＳＳＤ計算のためのイメージ探索範囲は小さくして次第に精密度を高めることを特徴とする請求項１に記載のパノラマ映像を提供する方法。
前記マッチングされたイメージを生成する段階は、
前記二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージのうち、ピクセル数が少ないレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して前記二つのソースイメージを第１マッチングさせる段階と、
前記第１マッチングされた二つのイメージに対し、前記様々な比率でスケーリングした複数レベルのイメージのうち、前記第１マッチングで用いられたレベルよりピクセル数が多いレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して再びマッチングさせる段階と、
を含むことを特徴とする請求項１に記載のパノラマ映像を提供する方法。
二つのソースイメージに対して、前記二つのソースイメージの重なった部分のうち、一定範囲内側で一定パーセントのブレンディング領域を探し出す段階と、
前記ブレンディング領域にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する段階と、
を更に含むことを特徴とするパノラマ映像を提供する方法。
前記二つのソースイメージの重なった部分を複数に分け、各分けられた部分ごとに該当ブレンディング領域にある二つのイメージにリニアするように加重値を適用することを特徴とする請求項４に記載のパノラマ映像を提供する方法。
前記重なった部分のうち、一定範囲は２５〜７５％範囲であることを特徴とする請求項４に記載のパノラマ映像を提供する方法。
前記一定パーセントは１０％であることを特徴とする請求項４に記載のパノラマ映像を提供する方法。
二つのソースイメージの重なった部分のうち、一定範囲内の内側一定パーセント領域で二つのイメージにリニアするように適用される第１加重関数によって該当領域のブレンディングされたイメージを生成する段階と、
前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の一つの領域で前記二つのイメージのいずれか一つに適用される第２加重関数によって該当領域のブレンディングされたイメージを生成する段階と、
前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の他の領域で前記二つのイメージのうちの他の一つに適用される第３加重関数によって該当領域のブレンディングされたイメージを生成する段階と、
を含むことを特徴とするパノラマ映像を提供する方法。
前記第１加重関数は、
二つのイメージにリニアするように適用される１次関数、前記二つのソースイメージそれぞれの平均と標準偏差、および前記二つのソースイメージの全体平均と標準偏差を用いる関数であることを特徴とする請求項８に記載のパノラマ映像を提供する方法。
前記第２加重関数または前記第３加重関数は、
前記二つのソースイメージのいずれか一つの標準偏差と前記二つのソースイメージ全体の標準偏差、および前記二つのソースイメージのうち、加重値が適用される該当領域イメージに対して予測された一次関数的標準偏差を用いる関数であることを特徴とする請求項８に記載のパノラマ映像を提供する方法。
前記イメージマッチングまたは前記ブレンディング処理前にティルティングまたはワーピングのいずれか一つ以上を更に処理したり、前記イメージマッチングまたは前記ブレンディング処理後にシア校正を更に処理した後、レンダリングに用いることを特徴とする請求項１、４、または８のいずれか一項に記載のパノラマ映像を提供する方法。
請求項１ないし１１のいずれか一項の方法を実行するためのプログラムが記録されていることを特徴とするコンピュータで読み取り可能な記録媒体。
二つのソースイメージそれぞれを様々な比率でスケーリングした複数レベルのイメージのうち、ピクセル数が少ないレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して前記二つのソースイメージをマッチングさせる第１ステッチング部と、
前記第１ステッチング部でマッチングされた二つのイメージに対して、前記様々な比率でスケーリングした複数レベルのイメージのうち、前記第１ステッチング部で用いられたレベルよりピクセル数が多いレベルで二つのイメージの一定領域に対するＳＳＤを計算し、その値が最小である位置を探し出して再びマッチングさせる第２ステッチング部と、
を含むことを特徴とするパノラマ映像のためのステッチング装置。
前記第１ステッチング部で前記ＳＳＤ計算のためのイメージ探索範囲は、前記第２ステッチング部で前記ＳＳＤ計算のためのイメージ探索範囲より大きいことを特徴とする請求項１３に記載のパノラマ映像のためのステッチング装置。
二つのソースイメージの重なった部分のうち、入力範囲によって前記入力範囲の内側で前記重なった領域の一定パーセントをブレンディング領域として探し出すブレンディング領域探索部と、
前記ブレンディング領域にある二つのイメージにリニアするように加重値を適用してブレンディングされたイメージを生成する加重値適用部と、
を含むことを特徴とするパノラマ映像のためのブレンディング装置。
二つのソースイメージの重なった部分のうち、一定範囲内の内側一定パーセント領域で二つのイメージにリニアするように適用される第１加重関数によって該当領域のブレンディングされたイメージを生成する第１ブレンディング部と、
前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の一つの領域で前記二つのイメージのいずれか一つに適用される第２加重関数によって該当領域のブレンディングされたイメージを生成する第２ブレンディング部と、
前記二つのソースイメージの重なった部分のうち、一定範囲内にあり、前記一定パーセント領域以外の他の領域で前記二つのイメージのうちの他の一つに適用される第３加重関数によって該当領域のブレンディングされたイメージを生成する第３ブレンディング部と、
を含むことを特徴とするパノラマ映像のためのブレンディング装置。