JP2004046846A - 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 - Google Patents
交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 Download PDFInfo
- Publication number
- JP2004046846A JP2004046846A JP2003177749A JP2003177749A JP2004046846A JP 2004046846 A JP2004046846 A JP 2004046846A JP 2003177749 A JP2003177749 A JP 2003177749A JP 2003177749 A JP2003177749 A JP 2003177749A JP 2004046846 A JP2004046846 A JP 2004046846A
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- frame
- frames
- video frame
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
Abstract
【課題】異なる方向から交差点を通って移動中に捕捉された２つの別個のパノラマビデオシーケンス間の交差点を検出する方法の提供。
【解決手段】交差する２つのパノラマビデオフレームシーケンスに表示される交差点を検出する方法は、交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程（１１０）と、２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各パノラマビデオフレームシーケンスから交差点フレームを検出する工程（１４０）であって、交差点が各パノラマビデオフレームシーケンスからの交差点フレームで構成される、交差点フレームを検出する工程（１４０）と、を含む。
【選択図】 図１
【解決手段】交差する２つのパノラマビデオフレームシーケンスに表示される交差点を検出する方法は、交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程（１１０）と、２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各パノラマビデオフレームシーケンスから交差点フレームを検出する工程（１４０）であって、交差点が各パノラマビデオフレームシーケンスからの交差点フレームで構成される、交差点フレームを検出する工程（１４０）と、を含む。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的にはビデオ画像処理に関し、詳細には、ビデオシーケンス内の交差点情報の検出に関する。即ち、交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法に関する。
【０００２】
【従来の技術】
近年、ビデオの用途が、カムコーダー、テレビ及びコンピュータと共に用いるように拡大している。その結果、パノラマビデオの用途も拡大している。パノラマビデオの一般的な用途の１つは、経路に沿った移動を表すためのものである。経路は、道、建物の廊下、又は抽象的な空間における何らかの経路であってよい。
【０００３】
一方向の経路に沿った移動の表現は簡単である。経路に沿った移動を表示するビデオシーケンスがユーザに提供され、それによってユーザが経路を“進む”ことができる。ビデオに表示される交差点に関しては、より困難な問題が生じる。経路を進んでいるユーザが、ビデオに表示されるように交差点の別の経路を通る移動を見られるようにするための効率的な基準を見出す際に、問題が生じる。交差点において進行可能な経路のあらゆる組み合わせをビデオに捕捉する（捕らえる）ことは、データ記憶、データ処理、並びに、ビデオの捕捉に必要な時間及びリソースが故に、非現実的である。別の可能な解決法は、交差点の各方向に沿った単一のビデオシーケンス（従って、２つの道が交差する交差点に対しては２つのビデオシーケンス）を提供することである。交差点で方向転換が必要な場合には、ユーザに対して表示されているビデオシーケンスが、交差点への入口が表示されているビデオシーケンスから、交差点から出る所望の経路が表示されているビデオシーケンスへと変更されてもよい。交差点におけるビデオを提供するこの方法では、幾つかの問題が生じる。
【０００４】
この問題は、２つの部分に分けることができる。第１の部分は、パノラマビデオに交差点がいつ出現するかの検出である。交差点は、ビデオ中で異なる時間に異なる方向から生じる同じ場所の画像である。例えば、一方が南北方向で一方が東西方向の２つの道が交差する交差点は、パノラマビデオでは、東西方向及び南北方向から捕捉され得る。各方向に沿って交差点を通って移動するパノラマビデオシーケンスは、異なる時間に異なる方向から同じ場所を捕捉する。
【０００５】
交差点を検出する１つの方法は、１つのシーケンスの全てのビデオフレームを調べ、手作業で交差点にラベル付けすることである。現実的な観点からは、大規模なアプリケーションでは、この処理は、市街道路地図上の交差点にラベル付けする場合のように、非常に退屈且つ時間のかかるものである。また、この方法は、３０Ｈｚで表示されるビデオフレームでは僅か３０分の１秒間隔で捕捉されることもある画像の選択を、肉眼に依存するので、手作業による交差点の選択は、自動化された方法よりも精度が劣る。更に、プロセッサで解析されるビデオフレームに付加的な情報を追加すると、より高い処理能力が必要になる。
【０００６】
問題の第２の部分は、別個のパノラマビデオシーケンスに滑らかな画面転換を与える方法の決定である。１つのビデオシーケンスから別のビデオシーケンスへの変更が単一のビデオシーケンスであるかのように見えるようにするために、滑らかな画面転換が望ましい。１つの解決法は、各ビデオシーケンスに、交差点に関しビデオシーケンスが捕捉される角度を示すための、対応する交差点フレームにおける向き（配向）のデータを、ラベル付けすることである。交差点データの追加と共に、交差点の向きのデータを追加することは、大規模なアプリケーションでは、市街道路地図上の交差点にラベル付けする場合のように、非常に退屈且つ時間のかかるものである。更に、プロセッサで解析されるビデオフレームに付加的な情報を追加すると、より高い処理能力が必要になる。
【０００７】
【非特許文献１】
パジドラ・トマス（Ｐａｊｄｒａ Ｔｏｍａｓ）及びバクラブ・フラバク（Ｖａｃｌａｖ Ｈｌａｖａｃ）著，「画像に基づく位置確認のためのパノラマ画像の零位相表現（Ｚｅｒｏ Ｐｈａｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅｓ ｆｏｒ Ｉｍａｇｅ Ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ）」，シュプリンガー・フェアラーク（Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ），１９９９年９月，ｐ．５５０−５５７
【０００８】
【発明が解決しようとする課題】
ここで必要なのは、異なる方向から交差点を通って移動中に捕捉された２つの別個のパノラマビデオシーケンス間の交差点の、交差点検出システムである。このシステムは、交差点がある場所及び交差点を示す画像の向きを決定するものであるべきである。
【０００９】
【課題を解決するための手段】
本発明の第１の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから交差点フレームを検出する工程であって、前記交差点が各前記パノラマビデオフレームシーケンスからの前記交差点フレームで構成される、前記交差点フレームを検出する前記工程と、を含む方法である。
本発明の第２の態様は、上記第１の態様の方法において、各前記パノラマビデオフレームシーケンスから交差点フレームを検出する前記工程が、各前記パノラマビデオフレームシーケンスから最も類似したフレーム画像を検出することを含む。
本発明の第３の態様は、上記第２の態様の方法において、最も類似したフレーム画像を検出する前記工程が、各前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、前記２つのシーケンスからの互いに最も近いフレームを判定するために、各前記フレーム内の対応する前記横列での前記ストリップ間の距離値を決定する工程であって、前記距離値の取得が、各前記ストリップの前記識別値を処理することを含む、前記距離値を決定する前記工程と、を含む。
本発明の第４の態様は、上記第３の態様の方法において、前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である。
本発明の第５の態様は、上記第３の態様の方法において、前記距離値を得る前記工程が、各前記フレームの対応する前記横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、各前記パノラマビデオフレームシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、を含む。
本発明の第６の態様は、上記第５の態様の方法において、フレーム間の最も短い距離値を有する前記フレームと関連づけられる前記交差点を決定する工程を更に含む。
本発明の第７の態様は、上記第５の態様の方法において、前記距離値が、ユークリッド距離、コサイン距離及び正規化距離の１つである。
本発明の第８の態様は、上記第７の態様の方法において、前記距離値が重みづけされる。
本発明の第９の態様は、上記第８の態様の方法において、前記重みづけされた距離値が、フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む。
本発明の第１０の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、交差点の画像を示す複数のフレームを各シーケンスが含む２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを受け取る工程と、位置データとまだ関連づけられていない任意のフレームの欠落した位置データを判定する工程と、前記２つのパノラマビデオフレームシーケンスを表すデータの前記第１のセットのみを用いて交差点を検出する工程と、を含む方法である。
本発明の第１１の態様は、上記第１０の態様の方法において、前記交差点を検出する前記工程が、各前記フレームの前記位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の概略的な交差点を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記概略的な交差点に関するパラメータの範囲内に位置する各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、各前記パノラマビデオフレームシーケンスからの最も類似したフレーム画像を判定するために、前記近傍フレームから導出されたデータを比較する工程と、を含む。
本発明の第１２の態様は、上記第１１の態様の方法において、データを比較する前記工程が、前記パノラマビデオフレームからストリップを取り出す工程と、各前記ストリップに対する識別値を決定する工程と、画像間の距離値を決定するために前記識別値を処理する工程と、を含む。
本発明の第１３の態様は、上記第１２の態様の方法において、前記パラメータが、前記概略的な交差点フレームからの最小距離である。
本発明の第１４の態様は、上記第１２の態様の方法において、前記パラメータが、前記概略的な交差点フレームからの最小時間である。
本発明の第１５の態様は、上記第１０の態様の方法において、欠落した位置データを判定する前記工程が、フレームと関連づけられた位置データを用いた補間の実行を含む。
本発明の第１６の態様は、上記第１０の態様の方法において、前記位置データが、衛星に基づく地理的測位システムデータ、慣性航法データ、無線標識データ及びランドマーク三角測量データの１つである。
本発明の第１７の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差する２つのパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出する工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、前記パノラマビデオシーケンスの交差点フレーム間の相対的向きを検出する工程と、を含む方法である。
本発明の第１８の態様は、上記第１７の態様の方法において、相対的向きを検出する前記工程が、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、画像間の前記相対的向きを判定するために前記識別値を処理する工程と、を含む。
本発明の第１９の態様は、上記第１８の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、を含む。
本発明の第２０の態様は、上記第１８の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、を含む。
本発明の第２１の態様は、上記第２０の態様の方法において、前記相互相関の最大値を導出する前記工程が、１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、前記データセットの逆ＤＦＴを行う工程と、を含む。
本発明の第２２の態様は、上記第２１の態様の方法において、前記距離値が重みづけされる。
本発明の第２３の態様は、上記第２２の態様の方法において、前記重みづけされた距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む。
本発明の第２４の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、交差点で交差する別個のパノラマビデオフレームシーケンスにそれぞれ関連づけられた２つの交差パノラマビデオフレームであって、前記ビデオフレームシーケンス間で最も類似した画像を示す前記交差パノラマビデオフレームを表す画素データを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表す画素データのみを用いて、前記パノラマビデオシーケンスの前記交差パノラマビデオフレーム間の相対的向きを検出する工程と、を含む方法である。
本発明の第２５の態様は、上記第２４の態様の方法において、相対的向きを検出する前記工程が、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、画像間の前記相対的向きを判定するために前記識別値を処理する工程と、を含む。
本発明の第２６の態様は、上記第２５の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、を含む。
本発明の第２７の態様は、上記第２５の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、を含む。
本発明の第２８の態様は、上記第２７の態様の方法において、相互相関の最大値を導出する前記工程が、１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、前記データセットの逆ＤＦＴを行う工程と、を含む。
本発明の第２９の態様は、上記第２８の態様の方法において、前記距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させるよう重みづけされる。本発明の第３０の態様は、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各前記ストリップに対する識別値を決定する工程と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定する工程と、を含む方法である。
本発明の第３１の態様は、上記第３０の態様の方法において、前記相対的向きを判定する前記工程が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出する工程を含む。
本発明の第３２の態様は、上記第３０の態様の方法において、前記相対的向きを判定する前記工程が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出する工程を含む。
本発明の第３３の態様は、上記第３０の態様の方法において、前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である。
本発明の第３４の態様は、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを決定するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む、前記第１のデータセットを受け取るための機能と、位置データにまだ関連づけられていない任意のフレームの位置データを判定するための機能と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定するための機能と、１組の近傍フレームを有する近傍を判定するための機能であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定するための前記機能と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割するための機能であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記近傍フレームを分割するための機能と、各前記ストリップに対する識別値を決定するための機能と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較するための機能と、前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定するための機能と、を含む、コンピュータプログラムである。
本発明の第３５の態様は、上記第３４の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出するための機能を含む。
本発明の第３６の態様は、上記第３４の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出するための機能を含む。
本発明の第３７の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表す画素情報を受け取るための機能と、前記フレームを複数の画素を含む少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、各ストリップに対する識別値を決定するための機能と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する機能と、を含む、コンピュータプログラムである。
本発明の第３８の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取るための機能と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差するパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出するための機能と、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、各ストリップに対する識別値を決定するための機能と、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取るための機能と、前記フーリエスペクトルデータを用いて前記交差点フレーム間の相対的向きを判定するための機能と、を含む、コンピュータプログラムである。
本発明の第３９の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータ間の位相差の傾斜を判定するための機能を含む。
本発明の第４０の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルデータから導出するための機能を含む。
本発明の第４１の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相互相関の最大値を導出する前記機能が、第２のデータセットを導出するために複素共役を用いて前記フーリエスペクトルデータを処理するための機能と、前記第２のデータセットの逆ＤＦＴを行うための機能と、を含む。
本発明の第４２の態様は、プロセッサと、該プロセッサと接続された、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する方法を実行する装置をプログラムするためのプログラムコードを含むプロセッサの読み取り可能な記憶媒体と、を含む、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する装置であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割する工程であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記工程と、各前記ストリップに対する識別値を決定する工程と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する工程と、最も短い距離値を間に有するパノラマビデオフレーム間の相対的向きを前記フーリエスペクトルデータを用いて判定する工程と、を前記方法が含む、装置である。
本発明の第４３の態様は、第１のビデオフレームシーケンスを供給する工程と、前記第１のビデオフレームシーケンスと第２のビデオフレームシーケンスが交差点において交差すると共に相対的な向きを有し、前記交差点が前記第１のビデオフレームシーケンスの第１の交差点フレーム及び前記第２のビデオフレームシーケンスの第２の交差点フレームと関連づけられ、前記第１及び第２の交差点フレームが最も類似した画像を有するフレームとして判定される、前記第２のビデオフレームシーケンスを供給する工程と、前記第１ビデオフレームシーケンスの前記第１の交差点フレームまでの１組のフレームと、前記第２ビデオフレームシーケンスの前記第２の交差点フレームから開始する１組のフレームとで構成される合成ビデオフレームシーケンスであって、前記２つの交差点フレーム間の画面転換が前記相対的向きを用いて決定され、前記交差点及び前記相対的向きが前記ビデオフレームシーケンスの画素情報のみを用いて判定される、前記合成ビデオフレームシーケンスを生成する工程と、を含む、合成ビデオフレームシーケンスを生成する方法である。
本発明の第４４の態様は、上記第４４の態様の方法において、前記第１及び第２のビデオフレームシーケンスがパノラマビデオフレームシーケンスである。
【００１０】
一実施形態では、本発明は、２つ以上のパノラマビデオシーケンス内の交差点を検出するシステムを提供する。ビデオ画像及び対応する位置データが受け取られる。全ての画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。ビデオ画像から、２つの経路間の向きが判定されてもよい。
【００１１】
一実施形態では、２つの経路間の交差点の検出は、各フレーム画像と関連づけられた位置データを用いて２つの画像間の概略的な交差点を導出することを含む。次に、２つの画像に対する近傍が判定される。次に、近傍内の各画像が複数のストリップに分割される。ストリップ値の横列を構成するために、各ストリップから識別ベクトルが導出される。ストリップ値は周波数領域に変換され、周波数領域内のストリップ間の距離値が得られ、画像間の距離値が最小となる画像から交差点が判定される。
【００１２】
一実施形態では、２つのパノラマ画像の相対的向きの検出は、フーリエ領域内の画像を表す信号の位相を用いることを含む。２つの画像のフーリエ表現間の位相差の傾斜を、２つの候補画像の相対的向きとみなしてもよい。別の実施形態では、２つのパノラマ画像の相対的向きの検出は、画像を表す２つのベクトルの循環相互相関（ｃｉｒｃｕｌａｒ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）を行うことを含む。
【００１３】
【発明の実施の形態】
一実施形態では、本発明は、交差点を捕捉した２つ以上のパノラマビデオシーケンス内で交差点を検出するシステムを提供する。ビデオ画像及び対応する位置データが受け取られる。全ての画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。一実施形態では、交差点は、各パノラマビデオフレームシーケンスからの、交差点の最も類似した画像を示すフレームを含むものとして判定される。ビデオ画像から、２つの経路の相対的な向きが判定されてもよい。一実施形態では、交差点の検出及び向きの検出の実行は、周波数領域内における画像情報の処理を含む。本発明を適用可能な領域としては、少なくとも２つのビデオシーケンスに表示された共通点又は共通画像が識別又は処理される、パノラマベースの仮想現実感システムや、ビデオ画像を表示する任意のアプリケーションが挙げられる。
【００１４】
本発明は、交差点が、類似の垂直位置及び空間位置であるが任意の角度から捕捉又は表示された、２つ以上のパノラマビデオシーケンスにおける交差点の検出に用いられてもよい。パノラマカメラは、３６０度毎に周期的に反復される円筒形のパノラマ画像を供給してもよい。同じ空間位置において同じ円筒軸で撮影された２つのパノラマ画像は、相対的な向きが異なる。本開示では、カメラの回転はパノラマ画像の縦列方向に対応し、高さは横列方向に対応する。
【００１５】
図１には、本発明の一実施形態による、交差点で捕捉されたビデオシーケンスの画像を照合する方法１００が示されている。方法１００は、開始ステップ１０５で開始する。次に、ステップ１１０で、ビデオ画像及び位置データが受け取られる。一実施形態では、ビデオ画像は、表示対象の交差点を含む経路から捕捉された、パノラマビデオフレームのシーケンスである。各パノラマビデオシーケンスは、その交差点の複数の画像を含んでも良い。本明細書で用いる「経路」は、視覚的に示されて、ユーザが何らかの方法でトラバース（横行）又は移動し得る、空間内の領域として定義される。空間は、抽象的なものであっても、現実のものであってもよい。本明細書で用いる「交差点」は、２つ以上の経路間の共通点として定義される。一実施形態では、ユーザは各経路をトラバースしてもよい。ステップ１１０で受け取られたビデオフレームシーケンスは、その交差点で移動可能な各経路を表してもよい。一実施形態では、１つの経路のトラバース可能な各方向に対する個別のビデオフレームシーケンスは必要ない。例えば、双方向通行の道に沿って捕捉された単一のパノラマビデオフレームシーケンスを、正送り又は逆送りでプレイバックして、道に沿ったいずれかの方向への移動を表してもよい。一実施形態では、受け取られたパノラマビデオフレームシーケンスは、本明細書に参照して援用する米国特許出願第６０／３２５，１７２号に開示されている、ＦｌｙＡｂｏｕｔパノラマビデオカメラシステムを用いて捕捉された形式であってもよい。
【００１６】
ステップ１１０では、ビデオ画像シーケンスに加えて、空間位置データも受け取られる。空間位置データにより、ビデオ画像に空間位置を関連づけることができる。本発明の一実施形態では、空間位置データは、ビデオに関連づけられた地理的な位置を表すデータで構成されてもよい。空間位置データは、全ての画像と関連づけられてもよく、又はそれより少ない画像と関連づけられてもよい。一実施形態では、空間位置データは、グローバル・ポジショニング・システム（ＧＰＳ）データ等の、衛星に基づく地理的測位システムで構成されてもよい。都市近郊でビデオ画像を捕捉中に集められたＧＰＳデータ２００は、図２に示すように見える場合もあろう。図２では、水平軸は経度に対応し、垂直軸は緯度に対応する。捕捉されたＧＰＳデータ２１０は、市街道路や空間内の他の点を概略的に示してもよい。一実施形態では、１Ｈｚで供給され且つ３０Ｈｚのフレーム率で生じるビデオフレームにスタンプされたＧＰＳデータは、３０個のビデオフレーム毎に１つの割合でＧＰＳデータがスタンプされたビデオフレーム位置を与える。ビデオ画像に空間位置を関連づけるために、ＧＰＳに加えて、他のタイプの位置データを用いることもできる。これらの方法は、慣性航法、無線標識、及びランドマーク三角測量を含むが、これらに限定されない。
【００１７】
ステップ１１０でビデオ画像及び空間位置データが受け取られたら、ステップ１３０で、空間位置データと関連づけられていない任意のフレームの位置が判定される。一実施形態では、空間位置データがスタンプされたパノラマ画像フレームと、スタンプされていないパノラマ画像フレームとがある場合には、スタンプされていないフレームの空間位置は、直線補間又は他の補間法によって推定されてもよい。例えば、ビデオシーケンスのフレームが３０Ｈｚのフレーム率で生じ、フレームには１Ｈｚで供給される空間位置データがスタンプされている場合には、位置がスタンプされた前のフレームから１０フレーム後に生じるフレームは、直線補間によって、その前の位置がスタンプされたフレームと、その次の位置がスタンプされたフレームとの間の距離の３分の１の距離であると仮定される。このフレームには、タイムスタンプされたフレーム間の、そのフレームを含むビデオシーケンスによって表される経路に沿った、３分の１の距離に対応する位置データがスタンプされてもよい。一実施形態では、交差点近傍であるとみなされる画像のみに対して、位置情報が判定される。フレームに位置データを関連づけるために、距離と共に速度又は加速度を用いた他の補間方法を用いてもよい。補間に加えて、空間位置データが関連づけらていないフレームの位置の判定に、他の数値推定方法を用いることもできる。
【００１８】
ステップ１３０で追加の空間位置データが判定されたら、操作はステップ１４０に進み、そこで、パノラマビデオ画像シーケンスの交差点が判定される。パノラマビデオシーケンスの交差点は、画像自体を用いて判定される。一実施形態では、パノラマビデオフレームシーケンスの交差点は、２つのシーケンス内で最も類似した交差点画像を有するフレームを検出することによって判定される。交差点検出のステップについては、図３を参照して詳細に説明する。２つのビデオシーケンス間で交差点が判定されたら、ステップ１５０で、パノラマの向きが検出される。向きの検出については後で詳細に説明する。２つのパノラマビデオシーケンスの向きが検出されたら、処理はステップ１５５で終了する。
【００１９】
図３は、本発明の一実施形態による、２つのパノラマビデオシーケンス間で交差点を検出する方法３００を示している。方法３００は、開始ステップ３０５で開始する。次に、ステップ３１０で、少なくとも２つの経路の交差点の概略推定が決定される。一実施形態では、各経路と関連づけられたフレームの位置データが比較され、互いに最も近いフレームが判定される。これらの２つのフレームは、交差点の概略推定を構成する。次に、ステップ３２０で、交差点らしきものを有する複数の近傍フレームを有する近傍が判定される。一実施形態では、交差点の概略推定の、あるパラメータ値の範囲内の全てのフレームが、近傍の一部として選択される。パラメータ値の例としては時間又は空間位置が挙げられ、近傍フレームは、交差点の概略推定を構成するある時間内のフレーム内に生じるか、又は、そのフレームが、交差点の概略推定と関連づけられた位置から特定の距離以内に存在する位置と関連づけられていることを示す位置データを有する。例えば、近傍は、検出された交差点の概略推定を構成するいずれかのフレームの、２秒以内に捕捉された全てのフレームで構成されてもよい。近傍のサイズは任意である。しかし、近傍は、実際の交差点を含みそうな多くのフレームを含みつつ、処理リソースで処理可能なよう十分小さくなるように選択されるべきである。
【００２０】
図４は、本発明の一実施形態による、経路交差点近傍４００を示している。経路交差点４００は、ｘ方向に沿った第１経路４１０と、ｙ方向に沿った第２経路４２０と、それぞれｘ１、ｘ２及びｘ３とラベル付けされた第１経路位置データ点４１１、４１２及び４１３と、それぞれｙ１、ｙ２、ｙ３、ｙ４及びｙ５とラベル付けされた第２経路位置データ点４２１、４２２、４２３、４２４及び４２５と、近傍境界４３０とを含む。図４に示される例では、ｘ２及びｙ３の点に概略的な交差点が存在すると判定された。次に、点線４３０で囲まれる全てのフレームが、交差点近傍であると判定された。
【００２１】
２つの経路の交差点を判定する場合には、２組の候補パノラマ画像からのデータ点は、次にように表されてもよい。
Ｘ＝｛Ｘ１，Ｘ２，Ｘ３，…ＸＭ｝
Ｙ＝｛Ｙ１，Ｙ２，Ｙ３，…ＹＮ｝
式中、Ｍ及びＮは、それぞれＸ及びＹのセット中の画像数である。２つの最も近いフレーム画像は、次式に従って判定されてもよい。
（ｉ＊，ｊ＊）＝ａｒｇｍｉｎ（距離（Ｘｉ，Ｙｊ）） （１）
（１≦ｉ≦Ｍ，１≦ｊ≦Ｎ）
式中、ｉ及びｊはフレームインデックスであり、Ｘｉ ＊及びＹｊ ＊は、２つの経路の交差点として理解される。
【００２２】
本発明の一実施形態では、２つのパノラマフレーム間の距離は、フーリエ変換を用いて計算されてもよい。フーリエ変換の大きさは位相に対して不変であるので、フーリエ変換は照合のために良好に作用する。一実施形態では、フーリエ変換を適用するために、各画像が複数の横列に分割されてもよい。次に、各横列から１組の値を導出してもよい。一実施形態では、フーリエ変換を、各パノラマ画像の画素値の特定の横列に適用してもよい。次に、近傍内の複数の異なるフレームから導出されたフーリエスペクトルを比較して、最も近い画像を判定してもよい。しかし、実際上の制約により、そのようなスペクトル照合を直接適用できない場合がある。カメラの撮影軸の違いやカメラ位置のずれ等の制約により、パノラマ画像及び画像内の横列において変化が生じる場合がある。
【００２３】
本発明の別の実施形態では、フーリエ変換は、パノラマ画像の一部分のみに適用される。この実施形態では、Ｈ本の画素の横列とＷ本の画素の縦列を有するパノラマ画像が、Ｒ本のストリップ及びＣ本の縦列に分割される（ＲはＨより小さく、ＣはＷより小さい）。従って、各ストリップは、Ｈ／Ｒに等しい数の画素の横列及びＷ／Ｃに等しい数の画素の縦列で構成される。１つの画像が分割されるべきストリップＲ及び縦列Ｃの数は、画像内のディテール、原画像の解像度、照明の変化及びカメラのずれ等の影響を含む幾つかの要因に左右される。一実施形態では、１つ以上のストリップが互いに重なっていてもよい。この工程は、図３のステップ３３０として示されている。
【００２４】
近傍の画像のストリップが構成されたら、ステップ３４０に示されるように、各ストリップに識別値が割当てられる。２つの経路の交差点等の、類似の視覚画像を示すストリップの識別値は、類似したものであるべきである。一実施形態では、識別値は、各縦列位置における各ストリップの画像強度の平均値である。１組の画素を表すことに加え、パノラマ画像ストリップを平均化すると、横列の画像が平滑化される。平均画像強度は、幾つかの方法で決定できる。白黒画像では、平均強度値は、特定の縦列におけるストリップ内の全画素の値を平均化することによって決定されてもよい。カラー画像では、平均強度値は、１つのストリップ内の画素の各ＲＧＢ成分から導出された値を平均化することによって導出されてもよい。例えば、画素の赤、緑及び青成分の値を合計、又は何らかの方法で重みづけして、画素値を決定することもできよう。各縦列位置における各ストリップの画素値が平均化されることにより、各ストリップの平均画素値の横列が構成される。従って、Ｐ＝｛Ｐｉｊ｝、１＜ｉ＜Ｈ／Ｒ、１＜ｊ＜Ｃの場合のパノラマ画像ストリップのマトリックスでは、対応する平均列は、ＲＡＶ＝（Ｐ１，Ｐ２，…Ｐｊ，ＰＣ）であり、式中、Ｐｊは次式の通りである。
【数１】
【００２５】
図５では、Ａ１〜ＡＲ及びＢ１〜ＢＲは、それぞれ、本発明の一実施形態に従った、パノラマ画像Ａ及びＢの平均列を表す。
【００２６】
平均画素値からストリップ及び平均列が決定されたら、ステップ３５０に示されるように、平均列の値が周波数領域に変換される。周波数領域への変換は、本発明のステップを実行するハードウェア又はソフトウェアによって実行されてもよく、又は、外部ソースによって実行され、本発明のシステムに送信されてもよい。本発明の一実施形態では、各平均列に対して離散フーリエ変換（ＤＦＴ）が実行され、フーリエスペクトルデータが導出される。フーリエスペクトルは、フーリエ振幅（マグニチュード）、フーリエ位相差、又はそれらの両方で構成されてもよい。一実施形態では、ＤＦＴの振幅（マグニチュード）は、ストリップの一次元テクスチャとして解釈される。一実施形態では、平均列のＤＦＴは、高速フーリエ変換（ＦＦＴ）を用いて計算される。従って、一次元テクスチャ係数ベクトルＳＡは、次式のように計算できる。
ＳＡ＝｜ＦＦＴ（Ａ）｜
【００２７】
パノラマ画像が横列方向に空間的な制約を有する場合には、一次元テクスチャではなく二次元テクスチャを用いてもよい。
【００２８】
平均列の値のＦＦＴの実行後、及び／又は横列内のストリップと関連づけられたフーリエスペクトルデータの受け取り後、ステップ３６０で、２つのパノラマ画像間の距離が計算される。一実施形態では、画像ＡのストリップＡｉ及び画像ＢのストリップＢｊが、それぞれ一次元テクスチャベクトルＳＡｉ及びＳＢｊを有するとすると、距離値は次式のように定義される。
【数２】
【００２９】
式中、‖ＳＡｉ−ＳＢｊ‖Ｍは、ＳＡｉ及びＳＢｊの中間帯域の間のユークリッド距離であり、‖ＳＡｉ‖Ｍ及び‖ＳＢｊ‖Ｍは、中間帯域内のベクトルＳＡｉ及びＳＢｊの大きさ（振幅）である。Ｍａｘ（‖ＳＡｉ‖Ｍ，‖ＳＢｊ‖Ｍ）という項は、２つのベクトル間の距離値を正規化するために用いられる。この正規化という特徴は、平均列の複数の対が比較される場合に、距離値が、より高い中間周波数エネルギーを有する対に向けてバイアスされるのを防止するために有用である。平均値又は分散を含む他の正規化を用いてもよい。式（３）では、パノラマ画像の平均列から導出された中間帯域周波数が比較される。類似の場所から捕捉された画像は、類似の中間周波数と、式（３）の対応する低い距離値とを有する。コサインや内積等の他の距離値を用いてもよく、本発明の範囲内であると考える。
【００３０】
上述した本発明の実施形態では、テクスチャ係数は、中間周波数へと切り詰められる。この方法には複数の長所がある。画像スペクトルの低周波及びＤＣ成分は、しばしば、照明の変化の影響を非常に受けやすい。従って、２つの異なる画像における、同じ場所での照明の違いの影響を最小限にするために、低周波成分を除去してもよい。高周波スペクトルの除去は、ノイズの低減、及び、同じ場所における異なるオブジェクト（例えば、一方の画像では交差点に車が存在し、他方では存在しない等）の影響の低減に有用である。
【００３１】
次に、２つのパノラマ画像間の距離値を、２つの画像の対応する横列位置における一次元テクスチャベクトル間の距離の合計として計算できる。
【数３】
【００３２】
式（４）の距離値に基づき、式（１）を用いて、交差点を含む２つの経路から最も近いフレームを検出できる。この工程は、ステップ３７０として示されている。式（４）の平均値ではなく、異常値の場合には、メディアンフィルタを含む他の距離値及び平均化方法を本発明に用いてもよい。他の距離値及び平均化方法も、本発明の範囲内であると考える。交差点を構成する２つの最も近いフレームが判定されたら、ステップ３７５で方法３００が終了する。
【００３３】
一実施形態では、２つの最も近いフレームが検出されたら、各画像のパノラマの向きが判定されてもよい。パノラマの向きを用いて、経路間の相対角度、及び、一方の画像を他方の画像と一致させるのに必要な回転量を判定してもよい。各経路の向きの概略推定を決定する１つの方法は、フレームの空間位置データの導関数を得ることによるものである。この導関数は、各経路の空間的な方向を与える。しかし、位置データではなくパノラマ画像データを調べるという、より正確な方法を用いることもできる。
【００３４】
パノラマ画像データを用いるた１つの方法は、一旦、平均列をフーリエ領域に変換してから、信号の位相を用いる。上述したように、２つのパノラマ画像は、複数の横列及び複数の縦列の複数のストリップに分割される。各ストリップから、ストリップ内の画素の強度等の、識別用の数値が得られる。従って、第１画像Ａは、Ｗの時間を有する信号ａ［ｎ］で表されてもよく、このストリップはＷの幅を有する。同様に、第２画像Ｂは、Ｗの時間を有する信号ｂ［ｎ］で表されてもよく、このストリップは同じＷの幅を有する。Ａ及びＢからのストリップはパノラマ画像中の類似の場所で得られたものであるが、カメラは、円筒軸の周囲をラジアンθの量だけ回転しているので、ｂ［ｎ］＝ａ［（ｎ−ｄ）ｍｏｄＷ］となる。ここで、ｄ＝Ｗθ／２πである。次に、各ストリップに対してＤＦＴが実行される。ａ［ｎ］及びｂ［ｎ］のそれぞれのフーリエスペクトルＡ［ｋ］及びＢ［ｋ］は、Ｂ［ｋ］＝Ａ［ｋ］ｅｘｐ（−ｊｄｋ２π／Ｗ）によって関係づけられる。Ａ［ｋ］とＢ［ｋ］との間の位相差は、次式のように表すことができる。
Ｄ［ｋ］＝Ａｒｇ（Ａ［ｋ］）−Ａｒｇ（Ｂ［ｋ］）＝ｄｋ２π／Ｗ＝θｋ
式中、Ａｒｇ（Ａ［ｋ］）及びＡｒｇ（Ｂ［ｋ］）は、それぞれＡ［ｋ］及びＢ［ｋ］の複素値のラジアン位相を示す。Ａ［ｋ］とＢ［ｋ］との間の位相差はｋにおいて線形であり、ｋ＝０では０の値を有する。この線形関係の傾斜はｋである。従って、２つのパノラマ画像間の回転角度を、位相差Ｄ［ｋ］／ｋの傾斜から直接、又は、位相差の組に対して線形適応した非重みづけ最小二乗誤差から、決定されてもよい。
【数４】
【００３５】
または、バイアスされていない最良の線形推定量は、次式によって与えられる。
【数５】
【００３６】
式中、ｖａｒ（Ｄ［ｋ］）は、周波数ビンｋにおける位相差推定値の分散を表す。データ列（シリーズ）の線形適応は、一般的に、式（５）の閉ループ様式で実行できる。しかし、この実施形態では、位相差はｍｏｄ２πが知られているのみであるため不明瞭なので、位相接続法（アンラッピング）も有用であろう。所与の周波数ｋにおける位相差のアンラッピングに適した２πの倍数は、傾斜θの現在の推定値によって異なる。従って、本発明の一実施形態では、式（５）における誤差関数を最小にする最良の傾斜θは、θの各候補値について位相差を適切にアンラッピングし、その仮の値に対する線形適応の二乗誤差を推定し、誤差が最小になるθの値を選択することにより、明示的に探索される。これは、次式のように表すことができる。
【数６】
【００３７】
関数ｕｎｗｒａｐ（Ｄ［ｋ］，θ）は、Ｄ［ｋ］の各値に２πの適切な整数の倍数を加え、θの現在の値に基づく線形推定からの逸脱を最小にする。Ｇ［ｋ］は任意の重みづけ関数であり、幾つかの周波数の寄与を他の周波数よりも強調するために用いられてもよい。例えば、ノイズを有する周波数は、ローパス重みづけ、又は各周波数成分におけるノイズレベル情報を与える画像データ自体から導出される重みづけ（各周波数をその周波数のパワーで重みづけする等）によって、強調されないようにしてもよい。
【００３８】
本発明の別の実施形態では、最低周波数ビン及び初期傾斜値推定値０から増分的に開始するＤ［ｋ］に対する線形適応を実行することにより、式（７）の反復探索法は避けられる。二番目に高い周波数のビンでは、位相差が、θの現在の推定値に基づいてアンラッピングされる。次に、傾斜の推定値が、新たにアンラッピングされた値に更新される。このように、画像の各ストリップについて、回転が推定される。推定された回転の平均値又は中央値を用いて、画像の回転の最終的な推定値が決定される。更に別の実施形態では、次式に従って、各ストリップについての位相適応誤差を合計し、位相適応誤差の合計を最小にする回転を求めることにより、式（７）における誤差を、全ての画像ストリップに対して同時に最小化してもよい。
【数７】
【００３９】
式中、Ｄｊ［ｋ］はストリップｊの位相差であり、Ｇｊ［ｋ］はストリップｊに対する重みづけ関数であり、全ての入手可能なストリップに対してアウターサム（ｏｕｔｅｒ ｓｕｍ）が行われる。
【００４０】
本発明の別の実施形態では、位相差θは、ａ［ｎ］及びｂ［ｎ］の循環相互相関ｃ［ｓ］の最大値に対応するシフトｄを求めることによって決定されてもよい。この場合、次式となる。
【数８】
【００４１】
従って、Ｃ［ｋ］＝ＤＦＴ｛ｃ［ｓ］｝はＣ［ｋ］＝Ａ［ｋ］Ｂ＊［ｋ］を満足する。式中、＊は複素共役が行われることを示し、ｃ［ｓ］は、Ｃ［ｋ］の逆ＤＦＴを行って計算されてもよい。ｃ［ｓ］が最大になるｓの値が、回転ｄの推定値として得られる。一実施形態では、ｄの計算は、対応するパノラマ画像の各帯域について行われる。パノラマ画像間の回転の全体の推定に、ｄの値の平均値又は中央値を用いる。
【００４２】
本発明の別の実施形態では、重みづけ関数を相互相関として実施することにより、相関プロセスの精度を高めてもよい。周波数領域における相互相関を任意の関数Ｇ［ｋ］で重みづけして、ある周波数の寄与を所望に応じて増減させてもよい（高いノイズを有する周波数の寄与を減少させる等）。重みづけ関数を用いると、一般化された相互相関は、次式のように表すことができる。
ｃ［ｓ］＝ＩＤＦＴ｛Ｇ［ｋ］Ａ［ｋ］Ｂ＊［ｋ］｝ （１０）
【００４３】
重みづけ関数は、先験的な知識から導出されてもよく、又は、位置合わせされた２つの画像の統計からダイナミックに導出されてもよい。先験的な知識に基づく重みづけ関数の例としては、低周波よりもノイズが多いことがわかっている高周波を除去するためのローパスフィルタの使用が挙げられよう。ダイナミックな重みづけ関数の例としては、Ｇ［ｋ］を、各周波数における分散又はノイズの推定値の逆数と等しくしてもよい。重みづけ関数の更に別の例では、Ｇ［ｋ］を、各周波数において画像データから推定された、大きさを二乗したコヒーレンス関数として実施してもよく、次式のように表される。
【数９】
【００４４】
一実施形態では、本発明を、１つの交差点に関する合成パノラマビデオフレームシーケンスの生成に用いてもよい。この実施形態では、上述したように画像自体から導出された向き及び交差点情報を用いて、２つの交差するビデオフレームシーケンスを組み合わせてもよい。本明細書で論じるための例として、南北方向及び東西方向を有する交差点において、第１のパノラマビデオシーケンスは、交差点を南北方向に移動中に捕捉されたフレームを含むと共に、第１の交差点フレームを含むと仮定する。また、交差点を東西方向に移動中に捕捉されたフレームを有する第２のパノラマシーケンスは、第２の交差点フレームを含む。第１の交差点フレーム及び第２の交差点フレームは、シーケンス間で最も類似した画像を有する２つのフレームとなるように決定され、それにより、シーケンスの交差点と関連づけられる。２つの交差点フレームが既知である場合には、合成フレームシーケンスは、共通の交差点を有する異なるビデオフレームシーケンスからのフレームを含むように生成されてもよい。一実施形態では、合成ビデオシーケンスは、第１パノラマビデオフレームシーケンスからの、第１シーケンスの交差点フレームまでのフレームを含んでもよい。第１ビデオシーケンスの交差点フレームまで到達したら、合成パノラマビデオフレームシーケンスの次のフレームは、第２ビデオシーケンスからの交差点フレームであってもよい。次に、合成ビデオシーケンス内のフレームは、第２ビデオシーケンスの交差点フレームの後に位置するフレームで構成されてもよい。従って、合成ビデオシーケンスは、第１シーケンスが第１パノラマビデオフレームシーケンスから得られたものであって、第１シーケンスの第１の交差点フレームまでの連続フレームで構成され、第２シーケンスが第２パノラマビデオフレームシーケンスから得られたものであって、第２の交差点フレームから開始する連続フレームで構成される、２つのフレームシーケンスで構成されてもよい。上述したように画像自体を用いて導出された検出情報を用いて、ユーザが指示する任意の方向で交差点を通る移動を描写するフレームを有する、合成パノラマビデオシーケンスを作ることができる。
【００４５】
別の実施形態では、合成パノラマビデオシーケンスの２つの交差点フレーム間の画面転換を、ビデオフレームシーケンスと関連づけられた相対的向き情報を用いて滑らかにすることができる。画像の視界が突然２つの交差点フレーム間の相対的向きの量だけシフトするような画面転換を設ける代わりに、画像の視界を回転させることによって画面転換を滑らかにしてもよい。一方のフレームシーケンスから他方のフレームシーケンスへの“転回”効果を与えるために、向き情報を用いて平滑化効果を得てもよい。
【００４６】
ビデオフレームシーケンスの向きが揃えられたら、交差点における唐突な画面転換のアーチファクトを低減するために、２つのビデオストリームをゆっくりとクロスフェードすることができる。これには、一致するパノラマ等の一致するシーケンス間でクロスフェードが行われるように、交差点の前後のタイムウインドウについて、相対的向きの検出が必要となる場合がある。
【００４７】
一実施形態では、たとえ両方のビデオフレームシーケンスが、パノラマ画像を表す捕捉された画像データを含んでいても、ユーザに対して表示される実際の画像は、全パノラマデータよりも少なくてもよい。従って、フレームが示される際にユーザに対して道の画像の３６０度の視界を提供する代わりに、ユーザに対して示される画像は、連続フレームが捕捉された方向（即ち、北から南又は東から西）を向いた９０度の視界のみを提供してもよい。
【００４８】
本実施形態では、第１及び第２のパノラマビデオシーケンスは、フレーム画像の中央部の１／４に縮小された視界を表示してもよい。本発明の別の実施形態では、縮小視界は、パノラマビデオから得られたものではないビデオを含んでもよい。縮小視界は、他のビデオ形式の４：３のアスペクト比のビデオから得られてもよい。例示目的で、以下の議論では、第１及び第２のビデオシーケンスがパノラマ形式であると仮定する。縮小視界を表示している第１パノラマビデオフレームシーケンスが第１の交差点フレームに到達したら、第１の交差点フレームの視界が、第２パノラマビデオフレームシーケンスの第２の交差点フレームの表示視界（フレーム画像の中央部１／４）と類似するまで、第１の交差点フレームの表示視界を調節又は回転してもよい。時間をかけた滑らかな回転を与えるために、合成ビデオフレームシーケンスは第１の交差点フレームの複数のフレームを含んでもよく、フレームの視界内のシフトを与えるために、各フレームで第１又は第２の交差点フレーム内の異なる視界が与えられる。視界の回転量は、上述したようにフレーム画像データから導出された相対的向きに対応する。或いは、交差点フレームの両方の視界を、両者の間の相対的向きの中間部付近の視点で一致するまで、互いに向けて回転させてもよい。
【００４９】
２つの交差するパノラマビデオフレームシーケンスから合成パノラマビデオフレームシーケンスを生成する本発明の別の実施形態では、第１パノラマビデオフレームシーケンスからのフレームが表示される。第１シーケンスで表示されているフレームが第１の交差点フレームに近づいたら、現在表示されているフレームの視界が、交差点フレーム間の相対的向きに向かう方向にシフトされてもよい。次に、それらの相対的向きを部分的に補償するために、各パノラマビデオフレームシーケンスからの交差点フレームの視界が僅かに調節され、続いて、第２パノラマビデオフレームシーケンスの第２の交差点フレームの直後の複数フレームの視界が、シーケンス間の向きが完全に補償されるまで調節される。従って、相対的向きを補償するために交差点フレームのみの視界を調節する代わりに、交差点フレーム自体と共に交差点フレームの最も近くに位置する複数のフレームの視界を調節することにより、相対的向きを徐々に補償する。これにより、視界の変化がより滑らか且つより緩やかなビデオフレームシーケンスが提供される。この実施形態は、ユーザが最終的に向かう方向のより細かなディテールを有する視界を提供し、その方向へと導く方向変換地点にユーザが近づくと、この方向は最終的にフレームの第２シーケンスによって捕捉される。このタイプの緩やかな視界変更は、車を運転中の人が、実際に曲がる前に曲がろうとする方向を見ることと似ている。視界変更又は補償の量は、生成される合成ビデオフレームシーケンスがフレームシーケンス間の滑らかな画面転換を与えるように、数学的に又は手作業で決定されてもよい。更に、２つの交差点フレームの画像間の任意の不一致を補償するために、画像の平均化及び平滑化技術を用いてもよい。
【００５０】
一実施形態では、本発明は、２つ以上のビデオシーケンスから交差点を検出するシステムを提供する。ビデオ画像及び位置データが受け取られる。全画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。ビデオ画像から２つの経路間の向きが判定されてもよい。一実施形態では、交差点の検出及び向きの検出の実行は、周波数領域内の画像情報の処理を含む。一実施形態では、画像はパノラマビデオ画像である。
【００５１】
コンピュータ技術の当業者には明らかなように、専用に設計された集積回路又は他の電子部品で構成される実施形態に加えて、本発明は、本開示の教示に従ってプログラムされた、従来の汎用又は専用デジタルコンピュータ又はマイクロプロセッサを用いて、簡便に実施されてもよい。
【００５２】
ソフトウェア技術の当業者には明らかなように、熟練したプログラマは、本開示の教示に基づき、適切なソフトウェアコーディングを容易に準備可能である。当業者には容易にわかるように、本発明は、特定用途向け集積回路（ＡＳＩＣ）を準備することによって、又は、従来のコンポーネント回路の適切なネットワークを相互接続することによって実施されてもよい。
【００５３】
本発明は、本発明の任意の処理を実行するようコンピュータをプログラムするために使用可能な、命令が格納された記憶媒体である、コンピュータプログラムを含む。記憶媒体は、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含む任意のタイプのディスク、並びに、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、又は、命令及び／又はデータの格納に適した任意のタイプの媒体又は装置を含み得るが、これらに限定されない。
【００５４】
コンピュータ読み取り可能媒体の任意のものに格納された本発明としては、汎用／専用コンピュータ又はマイクロプロセッサのハードウェアを制御し、コンピュータ又はマイクロプロセッサと、本発明の結果を利用する人間のユーザ又は他の機構との間の、対話型操作を可能にするソフトウェアが挙げられる。このようなソフトウェアとしては、装置のドライバ、ＯＳ及びユーザアプリケーションが挙げられるが、これらに限定されない。究極的には、このようなコンピュータ読み取り可能媒体は、付加モデルの表現及び再構成の少なくとも一方を実行するソフトウェアを更に含む。
【００５５】
汎用／専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、ソース画像の平面分離、前景色及び背景色の少なくとも一方の平均化、色の置換、及び第２の平面に誤差を送ることによる１つの平面内における色の置換によって生じた誤差の補償、格納、結果の送信、並びに、本発明の処理に従った画像の再構成を含むがこれらに限定されない、本発明の教示を実施するソフトウェアモジュールである。
【００５６】
図面及び特許請求の範囲を再検討することにより、本発明の他の特徴、態様及び目的を得ることができる。本発明の他の実施形態も開発可能であり、それらも本発明及び特許請求の範囲の精神及び範囲に含まれることを理解されたい。
【００５７】
上述した本発明の好ましい実施形態の説明は、実例及び説明の目的で与えたものである。網羅的であること又は開示された正確な形態に本発明を限定することは意図しない。当業者には多くの変形及び変更が明らかであることは、明白である。これらの実施形態は、本発明の原理及び実際上の用途を最も良く説明するために選択及び記載されたものであり、これにより、他の当業者が、本発明を、様々な実施形態について、考えられる特定の用法に適した様々な変形例と共に理解できるようにするものである。本発明の範囲は、添付の特許請求の範囲及びそれらと同等のものによって定義されるように意図される。
【図面の簡単な説明】
【図１】本発明の一実施形態による、交差点で捕捉されたビデオシーケンスの画像を照合する方法を示す図である。
【図２】本発明の一実施形態による、グラフィカルな形式で記録された地理的データを示す図である。
【図３】本発明の一実施形態による、ビデオシーケンス内で交差点を検出する方法を示す図である。
【図４】本発明の一実施形態による、地理的データ点を有する経路の交差点を示す図である。
【図５】本発明の一実施形態による、ストリップ分割を有するパノラマ画像を示す図である。
【符号の説明】
４００ 経路交差点近傍
４１０ 第１経路
４２０ 第２経路
【発明の属する技術分野】
本発明は、一般的にはビデオ画像処理に関し、詳細には、ビデオシーケンス内の交差点情報の検出に関する。即ち、交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法に関する。
【０００２】
【従来の技術】
近年、ビデオの用途が、カムコーダー、テレビ及びコンピュータと共に用いるように拡大している。その結果、パノラマビデオの用途も拡大している。パノラマビデオの一般的な用途の１つは、経路に沿った移動を表すためのものである。経路は、道、建物の廊下、又は抽象的な空間における何らかの経路であってよい。
【０００３】
一方向の経路に沿った移動の表現は簡単である。経路に沿った移動を表示するビデオシーケンスがユーザに提供され、それによってユーザが経路を“進む”ことができる。ビデオに表示される交差点に関しては、より困難な問題が生じる。経路を進んでいるユーザが、ビデオに表示されるように交差点の別の経路を通る移動を見られるようにするための効率的な基準を見出す際に、問題が生じる。交差点において進行可能な経路のあらゆる組み合わせをビデオに捕捉する（捕らえる）ことは、データ記憶、データ処理、並びに、ビデオの捕捉に必要な時間及びリソースが故に、非現実的である。別の可能な解決法は、交差点の各方向に沿った単一のビデオシーケンス（従って、２つの道が交差する交差点に対しては２つのビデオシーケンス）を提供することである。交差点で方向転換が必要な場合には、ユーザに対して表示されているビデオシーケンスが、交差点への入口が表示されているビデオシーケンスから、交差点から出る所望の経路が表示されているビデオシーケンスへと変更されてもよい。交差点におけるビデオを提供するこの方法では、幾つかの問題が生じる。
【０００４】
この問題は、２つの部分に分けることができる。第１の部分は、パノラマビデオに交差点がいつ出現するかの検出である。交差点は、ビデオ中で異なる時間に異なる方向から生じる同じ場所の画像である。例えば、一方が南北方向で一方が東西方向の２つの道が交差する交差点は、パノラマビデオでは、東西方向及び南北方向から捕捉され得る。各方向に沿って交差点を通って移動するパノラマビデオシーケンスは、異なる時間に異なる方向から同じ場所を捕捉する。
【０００５】
交差点を検出する１つの方法は、１つのシーケンスの全てのビデオフレームを調べ、手作業で交差点にラベル付けすることである。現実的な観点からは、大規模なアプリケーションでは、この処理は、市街道路地図上の交差点にラベル付けする場合のように、非常に退屈且つ時間のかかるものである。また、この方法は、３０Ｈｚで表示されるビデオフレームでは僅か３０分の１秒間隔で捕捉されることもある画像の選択を、肉眼に依存するので、手作業による交差点の選択は、自動化された方法よりも精度が劣る。更に、プロセッサで解析されるビデオフレームに付加的な情報を追加すると、より高い処理能力が必要になる。
【０００６】
問題の第２の部分は、別個のパノラマビデオシーケンスに滑らかな画面転換を与える方法の決定である。１つのビデオシーケンスから別のビデオシーケンスへの変更が単一のビデオシーケンスであるかのように見えるようにするために、滑らかな画面転換が望ましい。１つの解決法は、各ビデオシーケンスに、交差点に関しビデオシーケンスが捕捉される角度を示すための、対応する交差点フレームにおける向き（配向）のデータを、ラベル付けすることである。交差点データの追加と共に、交差点の向きのデータを追加することは、大規模なアプリケーションでは、市街道路地図上の交差点にラベル付けする場合のように、非常に退屈且つ時間のかかるものである。更に、プロセッサで解析されるビデオフレームに付加的な情報を追加すると、より高い処理能力が必要になる。
【０００７】
【非特許文献１】
パジドラ・トマス（Ｐａｊｄｒａ Ｔｏｍａｓ）及びバクラブ・フラバク（Ｖａｃｌａｖ Ｈｌａｖａｃ）著，「画像に基づく位置確認のためのパノラマ画像の零位相表現（Ｚｅｒｏ Ｐｈａｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅｓ ｆｏｒ Ｉｍａｇｅ Ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ）」，シュプリンガー・フェアラーク（Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ），１９９９年９月，ｐ．５５０−５５７
【０００８】
【発明が解決しようとする課題】
ここで必要なのは、異なる方向から交差点を通って移動中に捕捉された２つの別個のパノラマビデオシーケンス間の交差点の、交差点検出システムである。このシステムは、交差点がある場所及び交差点を示す画像の向きを決定するものであるべきである。
【０００９】
【課題を解決するための手段】
本発明の第１の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから交差点フレームを検出する工程であって、前記交差点が各前記パノラマビデオフレームシーケンスからの前記交差点フレームで構成される、前記交差点フレームを検出する前記工程と、を含む方法である。
本発明の第２の態様は、上記第１の態様の方法において、各前記パノラマビデオフレームシーケンスから交差点フレームを検出する前記工程が、各前記パノラマビデオフレームシーケンスから最も類似したフレーム画像を検出することを含む。
本発明の第３の態様は、上記第２の態様の方法において、最も類似したフレーム画像を検出する前記工程が、各前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、前記２つのシーケンスからの互いに最も近いフレームを判定するために、各前記フレーム内の対応する前記横列での前記ストリップ間の距離値を決定する工程であって、前記距離値の取得が、各前記ストリップの前記識別値を処理することを含む、前記距離値を決定する前記工程と、を含む。
本発明の第４の態様は、上記第３の態様の方法において、前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である。
本発明の第５の態様は、上記第３の態様の方法において、前記距離値を得る前記工程が、各前記フレームの対応する前記横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、各前記パノラマビデオフレームシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、を含む。
本発明の第６の態様は、上記第５の態様の方法において、フレーム間の最も短い距離値を有する前記フレームと関連づけられる前記交差点を決定する工程を更に含む。
本発明の第７の態様は、上記第５の態様の方法において、前記距離値が、ユークリッド距離、コサイン距離及び正規化距離の１つである。
本発明の第８の態様は、上記第７の態様の方法において、前記距離値が重みづけされる。
本発明の第９の態様は、上記第８の態様の方法において、前記重みづけされた距離値が、フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む。
本発明の第１０の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、交差点の画像を示す複数のフレームを各シーケンスが含む２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを受け取る工程と、位置データとまだ関連づけられていない任意のフレームの欠落した位置データを判定する工程と、前記２つのパノラマビデオフレームシーケンスを表すデータの前記第１のセットのみを用いて交差点を検出する工程と、を含む方法である。
本発明の第１１の態様は、上記第１０の態様の方法において、前記交差点を検出する前記工程が、各前記フレームの前記位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の概略的な交差点を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記概略的な交差点に関するパラメータの範囲内に位置する各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、各前記パノラマビデオフレームシーケンスからの最も類似したフレーム画像を判定するために、前記近傍フレームから導出されたデータを比較する工程と、を含む。
本発明の第１２の態様は、上記第１１の態様の方法において、データを比較する前記工程が、前記パノラマビデオフレームからストリップを取り出す工程と、各前記ストリップに対する識別値を決定する工程と、画像間の距離値を決定するために前記識別値を処理する工程と、を含む。
本発明の第１３の態様は、上記第１２の態様の方法において、前記パラメータが、前記概略的な交差点フレームからの最小距離である。
本発明の第１４の態様は、上記第１２の態様の方法において、前記パラメータが、前記概略的な交差点フレームからの最小時間である。
本発明の第１５の態様は、上記第１０の態様の方法において、欠落した位置データを判定する前記工程が、フレームと関連づけられた位置データを用いた補間の実行を含む。
本発明の第１６の態様は、上記第１０の態様の方法において、前記位置データが、衛星に基づく地理的測位システムデータ、慣性航法データ、無線標識データ及びランドマーク三角測量データの１つである。
本発明の第１７の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差する２つのパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出する工程と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、前記パノラマビデオシーケンスの交差点フレーム間の相対的向きを検出する工程と、を含む方法である。
本発明の第１８の態様は、上記第１７の態様の方法において、相対的向きを検出する前記工程が、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、画像間の前記相対的向きを判定するために前記識別値を処理する工程と、を含む。
本発明の第１９の態様は、上記第１８の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、を含む。
本発明の第２０の態様は、上記第１８の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、を含む。
本発明の第２１の態様は、上記第２０の態様の方法において、前記相互相関の最大値を導出する前記工程が、１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、前記データセットの逆ＤＦＴを行う工程と、を含む。
本発明の第２２の態様は、上記第２１の態様の方法において、前記距離値が重みづけされる。
本発明の第２３の態様は、上記第２２の態様の方法において、前記重みづけされた距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む。
本発明の第２４の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、交差点で交差する別個のパノラマビデオフレームシーケンスにそれぞれ関連づけられた２つの交差パノラマビデオフレームであって、前記ビデオフレームシーケンス間で最も類似した画像を示す前記交差パノラマビデオフレームを表す画素データを受け取る工程と、前記２つのパノラマビデオフレームシーケンスを表す画素データのみを用いて、前記パノラマビデオシーケンスの前記交差パノラマビデオフレーム間の相対的向きを検出する工程と、を含む方法である。
本発明の第２５の態様は、上記第２４の態様の方法において、相対的向きを検出する前記工程が、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各ストリップに対する識別値を決定する工程と、画像間の前記相対的向きを判定するために前記識別値を処理する工程と、を含む。
本発明の第２６の態様は、上記第２５の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、を含む。
本発明の第２７の態様は、上記第２５の態様の方法において、前記識別値を処理する前記工程が、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、を含む。
本発明の第２８の態様は、上記第２７の態様の方法において、相互相関の最大値を導出する前記工程が、１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、前記データセットの逆ＤＦＴを行う工程と、を含む。
本発明の第２９の態様は、上記第２８の態様の方法において、前記距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させるよう重みづけされる。本発明の第３０の態様は、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを検出する方法であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、各前記ストリップに対する識別値を決定する工程と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定する工程と、を含む方法である。
本発明の第３１の態様は、上記第３０の態様の方法において、前記相対的向きを判定する前記工程が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出する工程を含む。
本発明の第３２の態様は、上記第３０の態様の方法において、前記相対的向きを判定する前記工程が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出する工程を含む。
本発明の第３３の態様は、上記第３０の態様の方法において、前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である。
本発明の第３４の態様は、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを決定するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む、前記第１のデータセットを受け取るための機能と、位置データにまだ関連づけられていない任意のフレームの位置データを判定するための機能と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定するための機能と、１組の近傍フレームを有する近傍を判定するための機能であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定するための前記機能と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割するための機能であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記近傍フレームを分割するための機能と、各前記ストリップに対する識別値を決定するための機能と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較するための機能と、前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定するための機能と、を含む、コンピュータプログラムである。
本発明の第３５の態様は、上記第３４の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出するための機能を含む。
本発明の第３６の態様は、上記第３４の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出するための機能を含む。
本発明の第３７の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表す画素情報を受け取るための機能と、前記フレームを複数の画素を含む少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、各ストリップに対する識別値を決定するための機能と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する機能と、を含む、コンピュータプログラムである。
本発明の第３８の態様は、交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取るための機能と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差するパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出するための機能と、前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、各ストリップに対する識別値を決定するための機能と、前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取るための機能と、前記フーリエスペクトルデータを用いて前記交差点フレーム間の相対的向きを判定するための機能と、を含む、コンピュータプログラムである。
本発明の第３９の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータ間の位相差の傾斜を判定するための機能を含む。
本発明の第４０の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルデータから導出するための機能を含む。
本発明の第４１の態様は、上記第３８の態様のコンピュータプログラムにおいて、前記相互相関の最大値を導出する前記機能が、第２のデータセットを導出するために複素共役を用いて前記フーリエスペクトルデータを処理するための機能と、前記第２のデータセットの逆ＤＦＴを行うための機能と、を含む。
本発明の第４２の態様は、プロセッサと、該プロセッサと接続された、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する方法を実行する装置をプログラムするためのプログラムコードを含むプロセッサの読み取り可能な記憶媒体と、を含む、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する装置であって、前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割する工程であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記工程と、各前記ストリップに対する識別値を決定する工程と、各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する工程と、最も短い距離値を間に有するパノラマビデオフレーム間の相対的向きを前記フーリエスペクトルデータを用いて判定する工程と、を前記方法が含む、装置である。
本発明の第４３の態様は、第１のビデオフレームシーケンスを供給する工程と、前記第１のビデオフレームシーケンスと第２のビデオフレームシーケンスが交差点において交差すると共に相対的な向きを有し、前記交差点が前記第１のビデオフレームシーケンスの第１の交差点フレーム及び前記第２のビデオフレームシーケンスの第２の交差点フレームと関連づけられ、前記第１及び第２の交差点フレームが最も類似した画像を有するフレームとして判定される、前記第２のビデオフレームシーケンスを供給する工程と、前記第１ビデオフレームシーケンスの前記第１の交差点フレームまでの１組のフレームと、前記第２ビデオフレームシーケンスの前記第２の交差点フレームから開始する１組のフレームとで構成される合成ビデオフレームシーケンスであって、前記２つの交差点フレーム間の画面転換が前記相対的向きを用いて決定され、前記交差点及び前記相対的向きが前記ビデオフレームシーケンスの画素情報のみを用いて判定される、前記合成ビデオフレームシーケンスを生成する工程と、を含む、合成ビデオフレームシーケンスを生成する方法である。
本発明の第４４の態様は、上記第４４の態様の方法において、前記第１及び第２のビデオフレームシーケンスがパノラマビデオフレームシーケンスである。
【００１０】
一実施形態では、本発明は、２つ以上のパノラマビデオシーケンス内の交差点を検出するシステムを提供する。ビデオ画像及び対応する位置データが受け取られる。全ての画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。ビデオ画像から、２つの経路間の向きが判定されてもよい。
【００１１】
一実施形態では、２つの経路間の交差点の検出は、各フレーム画像と関連づけられた位置データを用いて２つの画像間の概略的な交差点を導出することを含む。次に、２つの画像に対する近傍が判定される。次に、近傍内の各画像が複数のストリップに分割される。ストリップ値の横列を構成するために、各ストリップから識別ベクトルが導出される。ストリップ値は周波数領域に変換され、周波数領域内のストリップ間の距離値が得られ、画像間の距離値が最小となる画像から交差点が判定される。
【００１２】
一実施形態では、２つのパノラマ画像の相対的向きの検出は、フーリエ領域内の画像を表す信号の位相を用いることを含む。２つの画像のフーリエ表現間の位相差の傾斜を、２つの候補画像の相対的向きとみなしてもよい。別の実施形態では、２つのパノラマ画像の相対的向きの検出は、画像を表す２つのベクトルの循環相互相関（ｃｉｒｃｕｌａｒ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）を行うことを含む。
【００１３】
【発明の実施の形態】
一実施形態では、本発明は、交差点を捕捉した２つ以上のパノラマビデオシーケンス内で交差点を検出するシステムを提供する。ビデオ画像及び対応する位置データが受け取られる。全ての画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。一実施形態では、交差点は、各パノラマビデオフレームシーケンスからの、交差点の最も類似した画像を示すフレームを含むものとして判定される。ビデオ画像から、２つの経路の相対的な向きが判定されてもよい。一実施形態では、交差点の検出及び向きの検出の実行は、周波数領域内における画像情報の処理を含む。本発明を適用可能な領域としては、少なくとも２つのビデオシーケンスに表示された共通点又は共通画像が識別又は処理される、パノラマベースの仮想現実感システムや、ビデオ画像を表示する任意のアプリケーションが挙げられる。
【００１４】
本発明は、交差点が、類似の垂直位置及び空間位置であるが任意の角度から捕捉又は表示された、２つ以上のパノラマビデオシーケンスにおける交差点の検出に用いられてもよい。パノラマカメラは、３６０度毎に周期的に反復される円筒形のパノラマ画像を供給してもよい。同じ空間位置において同じ円筒軸で撮影された２つのパノラマ画像は、相対的な向きが異なる。本開示では、カメラの回転はパノラマ画像の縦列方向に対応し、高さは横列方向に対応する。
【００１５】
図１には、本発明の一実施形態による、交差点で捕捉されたビデオシーケンスの画像を照合する方法１００が示されている。方法１００は、開始ステップ１０５で開始する。次に、ステップ１１０で、ビデオ画像及び位置データが受け取られる。一実施形態では、ビデオ画像は、表示対象の交差点を含む経路から捕捉された、パノラマビデオフレームのシーケンスである。各パノラマビデオシーケンスは、その交差点の複数の画像を含んでも良い。本明細書で用いる「経路」は、視覚的に示されて、ユーザが何らかの方法でトラバース（横行）又は移動し得る、空間内の領域として定義される。空間は、抽象的なものであっても、現実のものであってもよい。本明細書で用いる「交差点」は、２つ以上の経路間の共通点として定義される。一実施形態では、ユーザは各経路をトラバースしてもよい。ステップ１１０で受け取られたビデオフレームシーケンスは、その交差点で移動可能な各経路を表してもよい。一実施形態では、１つの経路のトラバース可能な各方向に対する個別のビデオフレームシーケンスは必要ない。例えば、双方向通行の道に沿って捕捉された単一のパノラマビデオフレームシーケンスを、正送り又は逆送りでプレイバックして、道に沿ったいずれかの方向への移動を表してもよい。一実施形態では、受け取られたパノラマビデオフレームシーケンスは、本明細書に参照して援用する米国特許出願第６０／３２５，１７２号に開示されている、ＦｌｙＡｂｏｕｔパノラマビデオカメラシステムを用いて捕捉された形式であってもよい。
【００１６】
ステップ１１０では、ビデオ画像シーケンスに加えて、空間位置データも受け取られる。空間位置データにより、ビデオ画像に空間位置を関連づけることができる。本発明の一実施形態では、空間位置データは、ビデオに関連づけられた地理的な位置を表すデータで構成されてもよい。空間位置データは、全ての画像と関連づけられてもよく、又はそれより少ない画像と関連づけられてもよい。一実施形態では、空間位置データは、グローバル・ポジショニング・システム（ＧＰＳ）データ等の、衛星に基づく地理的測位システムで構成されてもよい。都市近郊でビデオ画像を捕捉中に集められたＧＰＳデータ２００は、図２に示すように見える場合もあろう。図２では、水平軸は経度に対応し、垂直軸は緯度に対応する。捕捉されたＧＰＳデータ２１０は、市街道路や空間内の他の点を概略的に示してもよい。一実施形態では、１Ｈｚで供給され且つ３０Ｈｚのフレーム率で生じるビデオフレームにスタンプされたＧＰＳデータは、３０個のビデオフレーム毎に１つの割合でＧＰＳデータがスタンプされたビデオフレーム位置を与える。ビデオ画像に空間位置を関連づけるために、ＧＰＳに加えて、他のタイプの位置データを用いることもできる。これらの方法は、慣性航法、無線標識、及びランドマーク三角測量を含むが、これらに限定されない。
【００１７】
ステップ１１０でビデオ画像及び空間位置データが受け取られたら、ステップ１３０で、空間位置データと関連づけられていない任意のフレームの位置が判定される。一実施形態では、空間位置データがスタンプされたパノラマ画像フレームと、スタンプされていないパノラマ画像フレームとがある場合には、スタンプされていないフレームの空間位置は、直線補間又は他の補間法によって推定されてもよい。例えば、ビデオシーケンスのフレームが３０Ｈｚのフレーム率で生じ、フレームには１Ｈｚで供給される空間位置データがスタンプされている場合には、位置がスタンプされた前のフレームから１０フレーム後に生じるフレームは、直線補間によって、その前の位置がスタンプされたフレームと、その次の位置がスタンプされたフレームとの間の距離の３分の１の距離であると仮定される。このフレームには、タイムスタンプされたフレーム間の、そのフレームを含むビデオシーケンスによって表される経路に沿った、３分の１の距離に対応する位置データがスタンプされてもよい。一実施形態では、交差点近傍であるとみなされる画像のみに対して、位置情報が判定される。フレームに位置データを関連づけるために、距離と共に速度又は加速度を用いた他の補間方法を用いてもよい。補間に加えて、空間位置データが関連づけらていないフレームの位置の判定に、他の数値推定方法を用いることもできる。
【００１８】
ステップ１３０で追加の空間位置データが判定されたら、操作はステップ１４０に進み、そこで、パノラマビデオ画像シーケンスの交差点が判定される。パノラマビデオシーケンスの交差点は、画像自体を用いて判定される。一実施形態では、パノラマビデオフレームシーケンスの交差点は、２つのシーケンス内で最も類似した交差点画像を有するフレームを検出することによって判定される。交差点検出のステップについては、図３を参照して詳細に説明する。２つのビデオシーケンス間で交差点が判定されたら、ステップ１５０で、パノラマの向きが検出される。向きの検出については後で詳細に説明する。２つのパノラマビデオシーケンスの向きが検出されたら、処理はステップ１５５で終了する。
【００１９】
図３は、本発明の一実施形態による、２つのパノラマビデオシーケンス間で交差点を検出する方法３００を示している。方法３００は、開始ステップ３０５で開始する。次に、ステップ３１０で、少なくとも２つの経路の交差点の概略推定が決定される。一実施形態では、各経路と関連づけられたフレームの位置データが比較され、互いに最も近いフレームが判定される。これらの２つのフレームは、交差点の概略推定を構成する。次に、ステップ３２０で、交差点らしきものを有する複数の近傍フレームを有する近傍が判定される。一実施形態では、交差点の概略推定の、あるパラメータ値の範囲内の全てのフレームが、近傍の一部として選択される。パラメータ値の例としては時間又は空間位置が挙げられ、近傍フレームは、交差点の概略推定を構成するある時間内のフレーム内に生じるか、又は、そのフレームが、交差点の概略推定と関連づけられた位置から特定の距離以内に存在する位置と関連づけられていることを示す位置データを有する。例えば、近傍は、検出された交差点の概略推定を構成するいずれかのフレームの、２秒以内に捕捉された全てのフレームで構成されてもよい。近傍のサイズは任意である。しかし、近傍は、実際の交差点を含みそうな多くのフレームを含みつつ、処理リソースで処理可能なよう十分小さくなるように選択されるべきである。
【００２０】
図４は、本発明の一実施形態による、経路交差点近傍４００を示している。経路交差点４００は、ｘ方向に沿った第１経路４１０と、ｙ方向に沿った第２経路４２０と、それぞれｘ１、ｘ２及びｘ３とラベル付けされた第１経路位置データ点４１１、４１２及び４１３と、それぞれｙ１、ｙ２、ｙ３、ｙ４及びｙ５とラベル付けされた第２経路位置データ点４２１、４２２、４２３、４２４及び４２５と、近傍境界４３０とを含む。図４に示される例では、ｘ２及びｙ３の点に概略的な交差点が存在すると判定された。次に、点線４３０で囲まれる全てのフレームが、交差点近傍であると判定された。
【００２１】
２つの経路の交差点を判定する場合には、２組の候補パノラマ画像からのデータ点は、次にように表されてもよい。
Ｘ＝｛Ｘ１，Ｘ２，Ｘ３，…ＸＭ｝
Ｙ＝｛Ｙ１，Ｙ２，Ｙ３，…ＹＮ｝
式中、Ｍ及びＮは、それぞれＸ及びＹのセット中の画像数である。２つの最も近いフレーム画像は、次式に従って判定されてもよい。
（ｉ＊，ｊ＊）＝ａｒｇｍｉｎ（距離（Ｘｉ，Ｙｊ）） （１）
（１≦ｉ≦Ｍ，１≦ｊ≦Ｎ）
式中、ｉ及びｊはフレームインデックスであり、Ｘｉ ＊及びＹｊ ＊は、２つの経路の交差点として理解される。
【００２２】
本発明の一実施形態では、２つのパノラマフレーム間の距離は、フーリエ変換を用いて計算されてもよい。フーリエ変換の大きさは位相に対して不変であるので、フーリエ変換は照合のために良好に作用する。一実施形態では、フーリエ変換を適用するために、各画像が複数の横列に分割されてもよい。次に、各横列から１組の値を導出してもよい。一実施形態では、フーリエ変換を、各パノラマ画像の画素値の特定の横列に適用してもよい。次に、近傍内の複数の異なるフレームから導出されたフーリエスペクトルを比較して、最も近い画像を判定してもよい。しかし、実際上の制約により、そのようなスペクトル照合を直接適用できない場合がある。カメラの撮影軸の違いやカメラ位置のずれ等の制約により、パノラマ画像及び画像内の横列において変化が生じる場合がある。
【００２３】
本発明の別の実施形態では、フーリエ変換は、パノラマ画像の一部分のみに適用される。この実施形態では、Ｈ本の画素の横列とＷ本の画素の縦列を有するパノラマ画像が、Ｒ本のストリップ及びＣ本の縦列に分割される（ＲはＨより小さく、ＣはＷより小さい）。従って、各ストリップは、Ｈ／Ｒに等しい数の画素の横列及びＷ／Ｃに等しい数の画素の縦列で構成される。１つの画像が分割されるべきストリップＲ及び縦列Ｃの数は、画像内のディテール、原画像の解像度、照明の変化及びカメラのずれ等の影響を含む幾つかの要因に左右される。一実施形態では、１つ以上のストリップが互いに重なっていてもよい。この工程は、図３のステップ３３０として示されている。
【００２４】
近傍の画像のストリップが構成されたら、ステップ３４０に示されるように、各ストリップに識別値が割当てられる。２つの経路の交差点等の、類似の視覚画像を示すストリップの識別値は、類似したものであるべきである。一実施形態では、識別値は、各縦列位置における各ストリップの画像強度の平均値である。１組の画素を表すことに加え、パノラマ画像ストリップを平均化すると、横列の画像が平滑化される。平均画像強度は、幾つかの方法で決定できる。白黒画像では、平均強度値は、特定の縦列におけるストリップ内の全画素の値を平均化することによって決定されてもよい。カラー画像では、平均強度値は、１つのストリップ内の画素の各ＲＧＢ成分から導出された値を平均化することによって導出されてもよい。例えば、画素の赤、緑及び青成分の値を合計、又は何らかの方法で重みづけして、画素値を決定することもできよう。各縦列位置における各ストリップの画素値が平均化されることにより、各ストリップの平均画素値の横列が構成される。従って、Ｐ＝｛Ｐｉｊ｝、１＜ｉ＜Ｈ／Ｒ、１＜ｊ＜Ｃの場合のパノラマ画像ストリップのマトリックスでは、対応する平均列は、ＲＡＶ＝（Ｐ１，Ｐ２，…Ｐｊ，ＰＣ）であり、式中、Ｐｊは次式の通りである。
【数１】
図５では、Ａ１〜ＡＲ及びＢ１〜ＢＲは、それぞれ、本発明の一実施形態に従った、パノラマ画像Ａ及びＢの平均列を表す。
【００２６】
平均画素値からストリップ及び平均列が決定されたら、ステップ３５０に示されるように、平均列の値が周波数領域に変換される。周波数領域への変換は、本発明のステップを実行するハードウェア又はソフトウェアによって実行されてもよく、又は、外部ソースによって実行され、本発明のシステムに送信されてもよい。本発明の一実施形態では、各平均列に対して離散フーリエ変換（ＤＦＴ）が実行され、フーリエスペクトルデータが導出される。フーリエスペクトルは、フーリエ振幅（マグニチュード）、フーリエ位相差、又はそれらの両方で構成されてもよい。一実施形態では、ＤＦＴの振幅（マグニチュード）は、ストリップの一次元テクスチャとして解釈される。一実施形態では、平均列のＤＦＴは、高速フーリエ変換（ＦＦＴ）を用いて計算される。従って、一次元テクスチャ係数ベクトルＳＡは、次式のように計算できる。
ＳＡ＝｜ＦＦＴ（Ａ）｜
【００２７】
パノラマ画像が横列方向に空間的な制約を有する場合には、一次元テクスチャではなく二次元テクスチャを用いてもよい。
【００２８】
平均列の値のＦＦＴの実行後、及び／又は横列内のストリップと関連づけられたフーリエスペクトルデータの受け取り後、ステップ３６０で、２つのパノラマ画像間の距離が計算される。一実施形態では、画像ＡのストリップＡｉ及び画像ＢのストリップＢｊが、それぞれ一次元テクスチャベクトルＳＡｉ及びＳＢｊを有するとすると、距離値は次式のように定義される。
【数２】
式中、‖ＳＡｉ−ＳＢｊ‖Ｍは、ＳＡｉ及びＳＢｊの中間帯域の間のユークリッド距離であり、‖ＳＡｉ‖Ｍ及び‖ＳＢｊ‖Ｍは、中間帯域内のベクトルＳＡｉ及びＳＢｊの大きさ（振幅）である。Ｍａｘ（‖ＳＡｉ‖Ｍ，‖ＳＢｊ‖Ｍ）という項は、２つのベクトル間の距離値を正規化するために用いられる。この正規化という特徴は、平均列の複数の対が比較される場合に、距離値が、より高い中間周波数エネルギーを有する対に向けてバイアスされるのを防止するために有用である。平均値又は分散を含む他の正規化を用いてもよい。式（３）では、パノラマ画像の平均列から導出された中間帯域周波数が比較される。類似の場所から捕捉された画像は、類似の中間周波数と、式（３）の対応する低い距離値とを有する。コサインや内積等の他の距離値を用いてもよく、本発明の範囲内であると考える。
【００３０】
上述した本発明の実施形態では、テクスチャ係数は、中間周波数へと切り詰められる。この方法には複数の長所がある。画像スペクトルの低周波及びＤＣ成分は、しばしば、照明の変化の影響を非常に受けやすい。従って、２つの異なる画像における、同じ場所での照明の違いの影響を最小限にするために、低周波成分を除去してもよい。高周波スペクトルの除去は、ノイズの低減、及び、同じ場所における異なるオブジェクト（例えば、一方の画像では交差点に車が存在し、他方では存在しない等）の影響の低減に有用である。
【００３１】
次に、２つのパノラマ画像間の距離値を、２つの画像の対応する横列位置における一次元テクスチャベクトル間の距離の合計として計算できる。
【数３】
式（４）の距離値に基づき、式（１）を用いて、交差点を含む２つの経路から最も近いフレームを検出できる。この工程は、ステップ３７０として示されている。式（４）の平均値ではなく、異常値の場合には、メディアンフィルタを含む他の距離値及び平均化方法を本発明に用いてもよい。他の距離値及び平均化方法も、本発明の範囲内であると考える。交差点を構成する２つの最も近いフレームが判定されたら、ステップ３７５で方法３００が終了する。
【００３３】
一実施形態では、２つの最も近いフレームが検出されたら、各画像のパノラマの向きが判定されてもよい。パノラマの向きを用いて、経路間の相対角度、及び、一方の画像を他方の画像と一致させるのに必要な回転量を判定してもよい。各経路の向きの概略推定を決定する１つの方法は、フレームの空間位置データの導関数を得ることによるものである。この導関数は、各経路の空間的な方向を与える。しかし、位置データではなくパノラマ画像データを調べるという、より正確な方法を用いることもできる。
【００３４】
パノラマ画像データを用いるた１つの方法は、一旦、平均列をフーリエ領域に変換してから、信号の位相を用いる。上述したように、２つのパノラマ画像は、複数の横列及び複数の縦列の複数のストリップに分割される。各ストリップから、ストリップ内の画素の強度等の、識別用の数値が得られる。従って、第１画像Ａは、Ｗの時間を有する信号ａ［ｎ］で表されてもよく、このストリップはＷの幅を有する。同様に、第２画像Ｂは、Ｗの時間を有する信号ｂ［ｎ］で表されてもよく、このストリップは同じＷの幅を有する。Ａ及びＢからのストリップはパノラマ画像中の類似の場所で得られたものであるが、カメラは、円筒軸の周囲をラジアンθの量だけ回転しているので、ｂ［ｎ］＝ａ［（ｎ−ｄ）ｍｏｄＷ］となる。ここで、ｄ＝Ｗθ／２πである。次に、各ストリップに対してＤＦＴが実行される。ａ［ｎ］及びｂ［ｎ］のそれぞれのフーリエスペクトルＡ［ｋ］及びＢ［ｋ］は、Ｂ［ｋ］＝Ａ［ｋ］ｅｘｐ（−ｊｄｋ２π／Ｗ）によって関係づけられる。Ａ［ｋ］とＢ［ｋ］との間の位相差は、次式のように表すことができる。
Ｄ［ｋ］＝Ａｒｇ（Ａ［ｋ］）−Ａｒｇ（Ｂ［ｋ］）＝ｄｋ２π／Ｗ＝θｋ
式中、Ａｒｇ（Ａ［ｋ］）及びＡｒｇ（Ｂ［ｋ］）は、それぞれＡ［ｋ］及びＢ［ｋ］の複素値のラジアン位相を示す。Ａ［ｋ］とＢ［ｋ］との間の位相差はｋにおいて線形であり、ｋ＝０では０の値を有する。この線形関係の傾斜はｋである。従って、２つのパノラマ画像間の回転角度を、位相差Ｄ［ｋ］／ｋの傾斜から直接、又は、位相差の組に対して線形適応した非重みづけ最小二乗誤差から、決定されてもよい。
【数４】
または、バイアスされていない最良の線形推定量は、次式によって与えられる。
【数５】
式中、ｖａｒ（Ｄ［ｋ］）は、周波数ビンｋにおける位相差推定値の分散を表す。データ列（シリーズ）の線形適応は、一般的に、式（５）の閉ループ様式で実行できる。しかし、この実施形態では、位相差はｍｏｄ２πが知られているのみであるため不明瞭なので、位相接続法（アンラッピング）も有用であろう。所与の周波数ｋにおける位相差のアンラッピングに適した２πの倍数は、傾斜θの現在の推定値によって異なる。従って、本発明の一実施形態では、式（５）における誤差関数を最小にする最良の傾斜θは、θの各候補値について位相差を適切にアンラッピングし、その仮の値に対する線形適応の二乗誤差を推定し、誤差が最小になるθの値を選択することにより、明示的に探索される。これは、次式のように表すことができる。
【数６】
関数ｕｎｗｒａｐ（Ｄ［ｋ］，θ）は、Ｄ［ｋ］の各値に２πの適切な整数の倍数を加え、θの現在の値に基づく線形推定からの逸脱を最小にする。Ｇ［ｋ］は任意の重みづけ関数であり、幾つかの周波数の寄与を他の周波数よりも強調するために用いられてもよい。例えば、ノイズを有する周波数は、ローパス重みづけ、又は各周波数成分におけるノイズレベル情報を与える画像データ自体から導出される重みづけ（各周波数をその周波数のパワーで重みづけする等）によって、強調されないようにしてもよい。
【００３８】
本発明の別の実施形態では、最低周波数ビン及び初期傾斜値推定値０から増分的に開始するＤ［ｋ］に対する線形適応を実行することにより、式（７）の反復探索法は避けられる。二番目に高い周波数のビンでは、位相差が、θの現在の推定値に基づいてアンラッピングされる。次に、傾斜の推定値が、新たにアンラッピングされた値に更新される。このように、画像の各ストリップについて、回転が推定される。推定された回転の平均値又は中央値を用いて、画像の回転の最終的な推定値が決定される。更に別の実施形態では、次式に従って、各ストリップについての位相適応誤差を合計し、位相適応誤差の合計を最小にする回転を求めることにより、式（７）における誤差を、全ての画像ストリップに対して同時に最小化してもよい。
【数７】
式中、Ｄｊ［ｋ］はストリップｊの位相差であり、Ｇｊ［ｋ］はストリップｊに対する重みづけ関数であり、全ての入手可能なストリップに対してアウターサム（ｏｕｔｅｒ ｓｕｍ）が行われる。
【００４０】
本発明の別の実施形態では、位相差θは、ａ［ｎ］及びｂ［ｎ］の循環相互相関ｃ［ｓ］の最大値に対応するシフトｄを求めることによって決定されてもよい。この場合、次式となる。
【数８】
従って、Ｃ［ｋ］＝ＤＦＴ｛ｃ［ｓ］｝はＣ［ｋ］＝Ａ［ｋ］Ｂ＊［ｋ］を満足する。式中、＊は複素共役が行われることを示し、ｃ［ｓ］は、Ｃ［ｋ］の逆ＤＦＴを行って計算されてもよい。ｃ［ｓ］が最大になるｓの値が、回転ｄの推定値として得られる。一実施形態では、ｄの計算は、対応するパノラマ画像の各帯域について行われる。パノラマ画像間の回転の全体の推定に、ｄの値の平均値又は中央値を用いる。
【００４２】
本発明の別の実施形態では、重みづけ関数を相互相関として実施することにより、相関プロセスの精度を高めてもよい。周波数領域における相互相関を任意の関数Ｇ［ｋ］で重みづけして、ある周波数の寄与を所望に応じて増減させてもよい（高いノイズを有する周波数の寄与を減少させる等）。重みづけ関数を用いると、一般化された相互相関は、次式のように表すことができる。
ｃ［ｓ］＝ＩＤＦＴ｛Ｇ［ｋ］Ａ［ｋ］Ｂ＊［ｋ］｝ （１０）
【００４３】
重みづけ関数は、先験的な知識から導出されてもよく、又は、位置合わせされた２つの画像の統計からダイナミックに導出されてもよい。先験的な知識に基づく重みづけ関数の例としては、低周波よりもノイズが多いことがわかっている高周波を除去するためのローパスフィルタの使用が挙げられよう。ダイナミックな重みづけ関数の例としては、Ｇ［ｋ］を、各周波数における分散又はノイズの推定値の逆数と等しくしてもよい。重みづけ関数の更に別の例では、Ｇ［ｋ］を、各周波数において画像データから推定された、大きさを二乗したコヒーレンス関数として実施してもよく、次式のように表される。
【数９】
一実施形態では、本発明を、１つの交差点に関する合成パノラマビデオフレームシーケンスの生成に用いてもよい。この実施形態では、上述したように画像自体から導出された向き及び交差点情報を用いて、２つの交差するビデオフレームシーケンスを組み合わせてもよい。本明細書で論じるための例として、南北方向及び東西方向を有する交差点において、第１のパノラマビデオシーケンスは、交差点を南北方向に移動中に捕捉されたフレームを含むと共に、第１の交差点フレームを含むと仮定する。また、交差点を東西方向に移動中に捕捉されたフレームを有する第２のパノラマシーケンスは、第２の交差点フレームを含む。第１の交差点フレーム及び第２の交差点フレームは、シーケンス間で最も類似した画像を有する２つのフレームとなるように決定され、それにより、シーケンスの交差点と関連づけられる。２つの交差点フレームが既知である場合には、合成フレームシーケンスは、共通の交差点を有する異なるビデオフレームシーケンスからのフレームを含むように生成されてもよい。一実施形態では、合成ビデオシーケンスは、第１パノラマビデオフレームシーケンスからの、第１シーケンスの交差点フレームまでのフレームを含んでもよい。第１ビデオシーケンスの交差点フレームまで到達したら、合成パノラマビデオフレームシーケンスの次のフレームは、第２ビデオシーケンスからの交差点フレームであってもよい。次に、合成ビデオシーケンス内のフレームは、第２ビデオシーケンスの交差点フレームの後に位置するフレームで構成されてもよい。従って、合成ビデオシーケンスは、第１シーケンスが第１パノラマビデオフレームシーケンスから得られたものであって、第１シーケンスの第１の交差点フレームまでの連続フレームで構成され、第２シーケンスが第２パノラマビデオフレームシーケンスから得られたものであって、第２の交差点フレームから開始する連続フレームで構成される、２つのフレームシーケンスで構成されてもよい。上述したように画像自体を用いて導出された検出情報を用いて、ユーザが指示する任意の方向で交差点を通る移動を描写するフレームを有する、合成パノラマビデオシーケンスを作ることができる。
【００４５】
別の実施形態では、合成パノラマビデオシーケンスの２つの交差点フレーム間の画面転換を、ビデオフレームシーケンスと関連づけられた相対的向き情報を用いて滑らかにすることができる。画像の視界が突然２つの交差点フレーム間の相対的向きの量だけシフトするような画面転換を設ける代わりに、画像の視界を回転させることによって画面転換を滑らかにしてもよい。一方のフレームシーケンスから他方のフレームシーケンスへの“転回”効果を与えるために、向き情報を用いて平滑化効果を得てもよい。
【００４６】
ビデオフレームシーケンスの向きが揃えられたら、交差点における唐突な画面転換のアーチファクトを低減するために、２つのビデオストリームをゆっくりとクロスフェードすることができる。これには、一致するパノラマ等の一致するシーケンス間でクロスフェードが行われるように、交差点の前後のタイムウインドウについて、相対的向きの検出が必要となる場合がある。
【００４７】
一実施形態では、たとえ両方のビデオフレームシーケンスが、パノラマ画像を表す捕捉された画像データを含んでいても、ユーザに対して表示される実際の画像は、全パノラマデータよりも少なくてもよい。従って、フレームが示される際にユーザに対して道の画像の３６０度の視界を提供する代わりに、ユーザに対して示される画像は、連続フレームが捕捉された方向（即ち、北から南又は東から西）を向いた９０度の視界のみを提供してもよい。
【００４８】
本実施形態では、第１及び第２のパノラマビデオシーケンスは、フレーム画像の中央部の１／４に縮小された視界を表示してもよい。本発明の別の実施形態では、縮小視界は、パノラマビデオから得られたものではないビデオを含んでもよい。縮小視界は、他のビデオ形式の４：３のアスペクト比のビデオから得られてもよい。例示目的で、以下の議論では、第１及び第２のビデオシーケンスがパノラマ形式であると仮定する。縮小視界を表示している第１パノラマビデオフレームシーケンスが第１の交差点フレームに到達したら、第１の交差点フレームの視界が、第２パノラマビデオフレームシーケンスの第２の交差点フレームの表示視界（フレーム画像の中央部１／４）と類似するまで、第１の交差点フレームの表示視界を調節又は回転してもよい。時間をかけた滑らかな回転を与えるために、合成ビデオフレームシーケンスは第１の交差点フレームの複数のフレームを含んでもよく、フレームの視界内のシフトを与えるために、各フレームで第１又は第２の交差点フレーム内の異なる視界が与えられる。視界の回転量は、上述したようにフレーム画像データから導出された相対的向きに対応する。或いは、交差点フレームの両方の視界を、両者の間の相対的向きの中間部付近の視点で一致するまで、互いに向けて回転させてもよい。
【００４９】
２つの交差するパノラマビデオフレームシーケンスから合成パノラマビデオフレームシーケンスを生成する本発明の別の実施形態では、第１パノラマビデオフレームシーケンスからのフレームが表示される。第１シーケンスで表示されているフレームが第１の交差点フレームに近づいたら、現在表示されているフレームの視界が、交差点フレーム間の相対的向きに向かう方向にシフトされてもよい。次に、それらの相対的向きを部分的に補償するために、各パノラマビデオフレームシーケンスからの交差点フレームの視界が僅かに調節され、続いて、第２パノラマビデオフレームシーケンスの第２の交差点フレームの直後の複数フレームの視界が、シーケンス間の向きが完全に補償されるまで調節される。従って、相対的向きを補償するために交差点フレームのみの視界を調節する代わりに、交差点フレーム自体と共に交差点フレームの最も近くに位置する複数のフレームの視界を調節することにより、相対的向きを徐々に補償する。これにより、視界の変化がより滑らか且つより緩やかなビデオフレームシーケンスが提供される。この実施形態は、ユーザが最終的に向かう方向のより細かなディテールを有する視界を提供し、その方向へと導く方向変換地点にユーザが近づくと、この方向は最終的にフレームの第２シーケンスによって捕捉される。このタイプの緩やかな視界変更は、車を運転中の人が、実際に曲がる前に曲がろうとする方向を見ることと似ている。視界変更又は補償の量は、生成される合成ビデオフレームシーケンスがフレームシーケンス間の滑らかな画面転換を与えるように、数学的に又は手作業で決定されてもよい。更に、２つの交差点フレームの画像間の任意の不一致を補償するために、画像の平均化及び平滑化技術を用いてもよい。
【００５０】
一実施形態では、本発明は、２つ以上のビデオシーケンスから交差点を検出するシステムを提供する。ビデオ画像及び位置データが受け取られる。全画像が確実に位置データを含むように、画像及び位置データを処理してもよい。ビデオ画像から２つの経路間の交差点が導出される。ビデオ画像から２つの経路間の向きが判定されてもよい。一実施形態では、交差点の検出及び向きの検出の実行は、周波数領域内の画像情報の処理を含む。一実施形態では、画像はパノラマビデオ画像である。
【００５１】
コンピュータ技術の当業者には明らかなように、専用に設計された集積回路又は他の電子部品で構成される実施形態に加えて、本発明は、本開示の教示に従ってプログラムされた、従来の汎用又は専用デジタルコンピュータ又はマイクロプロセッサを用いて、簡便に実施されてもよい。
【００５２】
ソフトウェア技術の当業者には明らかなように、熟練したプログラマは、本開示の教示に基づき、適切なソフトウェアコーディングを容易に準備可能である。当業者には容易にわかるように、本発明は、特定用途向け集積回路（ＡＳＩＣ）を準備することによって、又は、従来のコンポーネント回路の適切なネットワークを相互接続することによって実施されてもよい。
【００５３】
本発明は、本発明の任意の処理を実行するようコンピュータをプログラムするために使用可能な、命令が格納された記憶媒体である、コンピュータプログラムを含む。記憶媒体は、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含む任意のタイプのディスク、並びに、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、又は、命令及び／又はデータの格納に適した任意のタイプの媒体又は装置を含み得るが、これらに限定されない。
【００５４】
コンピュータ読み取り可能媒体の任意のものに格納された本発明としては、汎用／専用コンピュータ又はマイクロプロセッサのハードウェアを制御し、コンピュータ又はマイクロプロセッサと、本発明の結果を利用する人間のユーザ又は他の機構との間の、対話型操作を可能にするソフトウェアが挙げられる。このようなソフトウェアとしては、装置のドライバ、ＯＳ及びユーザアプリケーションが挙げられるが、これらに限定されない。究極的には、このようなコンピュータ読み取り可能媒体は、付加モデルの表現及び再構成の少なくとも一方を実行するソフトウェアを更に含む。
【００５５】
汎用／専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、ソース画像の平面分離、前景色及び背景色の少なくとも一方の平均化、色の置換、及び第２の平面に誤差を送ることによる１つの平面内における色の置換によって生じた誤差の補償、格納、結果の送信、並びに、本発明の処理に従った画像の再構成を含むがこれらに限定されない、本発明の教示を実施するソフトウェアモジュールである。
【００５６】
図面及び特許請求の範囲を再検討することにより、本発明の他の特徴、態様及び目的を得ることができる。本発明の他の実施形態も開発可能であり、それらも本発明及び特許請求の範囲の精神及び範囲に含まれることを理解されたい。
【００５７】
上述した本発明の好ましい実施形態の説明は、実例及び説明の目的で与えたものである。網羅的であること又は開示された正確な形態に本発明を限定することは意図しない。当業者には多くの変形及び変更が明らかであることは、明白である。これらの実施形態は、本発明の原理及び実際上の用途を最も良く説明するために選択及び記載されたものであり、これにより、他の当業者が、本発明を、様々な実施形態について、考えられる特定の用法に適した様々な変形例と共に理解できるようにするものである。本発明の範囲は、添付の特許請求の範囲及びそれらと同等のものによって定義されるように意図される。
【図面の簡単な説明】
【図１】本発明の一実施形態による、交差点で捕捉されたビデオシーケンスの画像を照合する方法を示す図である。
【図２】本発明の一実施形態による、グラフィカルな形式で記録された地理的データを示す図である。
【図３】本発明の一実施形態による、ビデオシーケンス内で交差点を検出する方法を示す図である。
【図４】本発明の一実施形態による、地理的データ点を有する経路の交差点を示す図である。
【図５】本発明の一実施形態による、ストリップ分割を有するパノラマ画像を示す図である。
【符号の説明】
４００ 経路交差点近傍
４１０ 第１経路
４２０ 第２経路
Claims (44)
- 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、
前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから交差点フレームを検出する工程であって、前記交差点が各前記パノラマビデオフレームシーケンスからの前記交差点フレームで構成される、前記交差点フレームを検出する前記工程と、
を含む方法。 - 各前記パノラマビデオフレームシーケンスから交差点フレームを検出する前記工程が、各前記パノラマビデオフレームシーケンスから最も類似したフレーム画像を検出することを含む、請求項１に記載の方法。
- 最も類似したフレーム画像を検出する前記工程が、
各前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、
各ストリップに対する識別値を決定する工程と、
前記２つのシーケンスからの互いに最も近いフレームを判定するために、各前記フレーム内の対応する前記横列での前記ストリップ間の距離値を決定する工程であって、前記距離値の取得が、各前記ストリップの前記識別値を処理することを含む、前記距離値を決定する前記工程と、
を含む、請求項２に記載の方法。 - 前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である、請求項３に記載の方法。
- 前記距離値を得る前記工程が、
各前記フレームの対応する前記横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、
各前記パノラマビデオフレームシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、
を含む、請求項３に記載の方法。 - フレーム間の最も短い距離値を有する前記フレームと関連づけられる前記交差点を決定する工程
を更に含む、請求項５に記載の方法。 - 前記距離値が、ユークリッド距離、コサイン距離及び正規化距離の１つである、請求項５に記載の方法。
- 前記距離値が重みづけされる、請求項７に記載の方法。
- 前記重みづけされた距離値が、フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む、請求項８に記載の方法。
- 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出する方法であって、
交差点の画像を示す複数のフレームを各シーケンスが含む２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを受け取る工程と、
位置データとまだ関連づけられていない任意のフレームの欠落した位置データを判定する工程と、
前記２つのパノラマビデオフレームシーケンスを表すデータの前記第１のセットのみを用いて交差点を検出する工程と、
を含む方法。 - 前記交差点を検出する前記工程が、
各前記フレームの前記位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の概略的な交差点を判定する工程と、
１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記概略的な交差点に関するパラメータの範囲内に位置する各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、
各前記パノラマビデオフレームシーケンスからの最も類似したフレーム画像を判定するために、前記近傍フレームから導出されたデータを比較する工程と、
を含む、請求項１０に記載の方法。 - データを比較する前記工程が、
前記パノラマビデオフレームからストリップを取り出す工程と、
各前記ストリップに対する識別値を決定する工程と、
画像間の距離値を決定するために前記識別値を処理する工程と、
を含む、請求項１１に記載の方法。 - 前記パラメータが、前記概略的な交差点フレームからの最小距離である、請求項１２に記載の方法。
- 前記パラメータが、前記概略的な交差点フレームからの最小時間である、請求項１２に記載の方法。
- 欠落した位置データを判定する前記工程が、フレームと関連づけられた位置データを用いた補間の実行を含む、請求項１０に記載の方法。
- 前記位置データが、衛星に基づく地理的測位システムデータ、慣性航法データ、無線標識データ及びランドマーク三角測量データの１つである、請求項１０に記載の方法。
- 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取る工程と、
前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差する２つのパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出する工程と、
前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、前記パノラマビデオシーケンスの交差点フレーム間の相対的向きを検出する工程と、
を含む方法。 - 相対的向きを検出する前記工程が、
前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、
各ストリップに対する識別値を決定する工程と、
画像間の前記相対的向きを判定するために前記識別値を処理する工程と、
を含む、請求項１７に記載の方法。 - 前記識別値を処理する前記工程が、
前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、
前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、
を含む、請求項１８に記載の方法。 - 前記識別値を処理する前記工程が、
前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、
前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、
を含む、請求項１８に記載の方法。 - 前記相互相関の最大値を導出する前記工程が、
１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、
前記データセットの逆ＤＦＴを行う工程と、
を含む、請求項２０に記載の方法。 - 前記距離値が重みづけされる、請求項２１に記載の方法。
- 前記重みづけされた距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させる重みを含む、請求項２２に記載の方法。
- 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出する方法であって、
交差点で交差する別個のパノラマビデオフレームシーケンスにそれぞれ関連づけられた２つの交差パノラマビデオフレームであって、前記ビデオフレームシーケンス間で最も類似した画像を示す前記交差パノラマビデオフレームを表す画素データを受け取る工程と、
前記２つのパノラマビデオフレームシーケンスを表す画素データのみを用いて、前記パノラマビデオシーケンスの前記交差パノラマビデオフレーム間の相対的向きを検出する工程と、
を含む方法。 - 相対的向きを検出する前記工程が、
前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、
各ストリップに対する識別値を決定する工程と、
画像間の前記相対的向きを判定するために前記識別値を処理する工程と、
を含む、請求項２４に記載の方法。 - 前記識別値を処理する前記工程が、
前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、
前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜として前記相対的向きを判定する工程と、
を含む、請求項２５に記載の方法。 - 前記識別値を処理する前記工程が、
前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取る工程と、
前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出することにより、前記相対的向きを判定する工程と、
を含む、請求項２５に記載の方法。 - 相互相関の最大値を導出する前記工程が、
１組のデータセットを導出するために複素共役を用いてフーリエスペクトルを処理する工程と、
前記データセットの逆ＤＦＴを行う工程と、
を含む、請求項２７に記載の方法。 - 前記距離値が、前記フーリエスペクトルの高帯域及び低帯域を減少させるよう重みづけされる、請求項２８に記載の方法。
- 交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを検出する方法であって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、
位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、
各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、
１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、
前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる工程と、
各前記ストリップに対する識別値を決定する工程と、
各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、
前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フーリエスペクトルデータを比較する工程と、
前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定する工程と、
を含む方法。 - 前記相対的向きを判定する前記工程が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出する工程を含む、請求項３０に記載の方法。
- 前記相対的向きを判定する前記工程が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出する工程を含む、請求項３０に記載の方法。
- 前記識別値が、前記ストリップ内に含まれる画素の画素値の平均強度である、請求項３０に記載の方法。
- 交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを決定するためにサーバコンピュータで実行されるコンピュータプログラムであって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む、前記第１のデータセットを受け取るための機能と、
位置データにまだ関連づけられていない任意のフレームの位置データを判定するための機能と、
各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定するための機能と、
１組の近傍フレームを有する近傍を判定するための機能であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定するための前記機能と、
前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割するための機能であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記近傍フレームを分割するための機能と、
各前記ストリップに対する識別値を決定するための機能と、
各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、
前記パノラマビデオシーケンスの前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較するための機能と、
前記フーリエスペクトルデータを用いて最も短い距離値を有するフレーム間の相対的向きを判定するための機能と、
を含む、コンピュータプログラム。 - 前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトル間の位相差の傾斜を導出するための機能を含む、請求項３４に記載のコンピュータプログラム。
- 前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルから導出するための機能を含む、請求項３４に記載のコンピュータプログラム。
- 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点を検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表す画素情報を受け取るための機能と、
前記フレームを複数の画素を含む少なくとも１つの各ストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、
各ストリップに対する識別値を決定するための機能と、
各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取るための機能と、
各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する機能と、
を含む、コンピュータプログラム。 - 交差する２つのパノラマビデオフレームシーケンスに表示されるような交差点における、２つのビデオシーケンス間の向きを検出するためにサーバコンピュータで実行されるコンピュータプログラムであって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記交差する２つのパノラマビデオフレームシーケンスを表すデータを受け取るための機能と、前記２つのパノラマビデオフレームシーケンスを表すデータのみを用いて、各前記パノラマビデオフレームシーケンスから、前記交差するパノラマビデオフレームシーケンス間で最も類似したフレーム画像を含む交差点フレームを検出するための機能と、
前記フレームを少なくとも１つのストリップに分割し、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記フレームを分割するための機能と、
各ストリップに対する識別値を決定するための機能と、
前記ストリップの前記識別値と関連づけられたフーリエスペクトルデータを受け取るための機能と、
前記フーリエスペクトルデータを用いて前記交差点フレーム間の相対的向きを判定するための機能と、
を含む、コンピュータプログラム。 - 前記相対的向きを判定するための前記機能が、前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータ間の位相差の傾斜を判定するための機能を含む、請求項３８に記載のコンピュータプログラム。
- 前記相対的向きを判定するための前記機能が、前記第１及び第２のパノラマビデオ画像の前記識別データ間の相互相関の最大値を前記フーリエスペクトルデータから導出するための機能を含む、請求項３８に記載のコンピュータプログラム。
- 前記相互相関の最大値を導出する前記機能が、
第２のデータセットを導出するために複素共役を用いて前記フーリエスペクトルデータを処理するための機能と、
前記第２のデータセットの逆ＤＦＴを行うための機能と、
を含む、請求項３８に記載のコンピュータプログラム。 - プロセッサと、
該プロセッサと接続された、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する方法を実行する装置をプログラムするためのプログラムコードを含むプロセッサの読み取り可能な記憶媒体と、
を含む、交差する２つのパノラマビデオフレームシーケンス間の交差点及び向きを判定する装置であって、
前記交差する２つのパノラマビデオフレームシーケンスの各々が該ビデオフレームシーケンス間の交差点の画像を示す複数のフレームを含む、前記２つのパノラマビデオフレームシーケンスを表すデータの第１のセットであって、画素データ及び、各前記シーケンスの少なくとも１つの前記フレームと関連づけられた位置データを含む前記第１のデータセットを、受け取る工程と、
位置データとまだ関連づけられていない任意のフレームの位置データを判定する工程と、
各前記フレームの位置データを比較することにより、前記２つのパノラマビデオフレームシーケンス間の交差点の概略推定を判定する工程と、
１組の近傍フレームを有する近傍を判定する工程であって、前記近傍が前記概略的な交差点を含み、前記近傍フレームが、前記交差点の概略推定のパラメータの範囲内の各前記パノラマビデオシーケンスからのフレームを含む、前記近傍を判定する前記工程と、
前記近傍フレームを複数の画素からなる少なくとも１つの各ストリップに分割する工程であって、前記フレームが複数の横列に分割されると共に前記少なくとも１つのストリップが各前記横列と関連づけられる、前記工程と、
各前記ストリップに対する識別値を決定する工程と、
各前記フレームの対応する横列での前記ストリップと関連づけられたフーリエスペクトルデータを受け取る工程と、
各前記フレーム間の距離値を導出するために前記フレームの前記対応する横列と関連づけられた前記フーリエスペクトルデータを比較する工程と、
最も短い距離値を間に有するパノラマビデオフレーム間の相対的向きを前記フーリエスペクトルデータを用いて判定する工程と、
を前記方法が含む、装置。 - 第１のビデオフレームシーケンスを供給する工程と、
前記第１のビデオフレームシーケンスと第２のビデオフレームシーケンスが交差点において交差すると共に相対的な向きを有し、前記交差点が前記第１のビデオフレームシーケンスの第１の交差点フレーム及び前記第２のビデオフレームシーケンスの第２の交差点フレームと関連づけられ、前記第１及び第２の交差点フレームが最も類似した画像を有するフレームとして判定される、前記第２のビデオフレームシーケンスを供給する工程と、
前記第１ビデオフレームシーケンスの前記第１の交差点フレームまでの１組のフレームと、前記第２ビデオフレームシーケンスの前記第２の交差点フレームから開始する１組のフレームとで構成される合成ビデオフレームシーケンスであって、前記２つの交差点フレーム間の画面転換が前記相対的向きを用いて決定され、前記交差点及び前記相対的向きが前記ビデオフレームシーケンスの画素情報のみを用いて判定される、前記合成ビデオフレームシーケンスを生成する工程と、
を含む、合成ビデオフレームシーケンスを生成する方法。 - 前記第１及び第２のビデオフレームシーケンスがパノラマビデオフレームシーケンスである、請求項４３に記載の方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/188,667 US7289138B2 (en) | 2002-07-02 | 2002-07-02 | Intersection detection in panoramic video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004046846A true JP2004046846A (ja) | 2004-02-12 |
| JP4396148B2 JP4396148B2 (ja) | 2010-01-13 |
Family
ID=29999533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003177749A Expired - Fee Related JP4396148B2 (ja) | 2002-07-02 | 2003-06-23 | 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7289138B2 (ja) |
| JP (1) | JP4396148B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180075222A (ko) * | 2016-12-26 | 2018-07-04 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| JP2020004121A (ja) * | 2018-06-28 | 2020-01-09 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2559726C (en) | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
| US8949235B2 (en) * | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
| US8855856B2 (en) * | 2007-05-08 | 2014-10-07 | GM Global Technology Operations LLC | Vehicle roll control method using controllable friction force of MR dampers |
| US9033122B2 (en) | 2009-01-07 | 2015-05-19 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US10060499B2 (en) | 2009-01-07 | 2018-08-28 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US20100170760A1 (en) | 2009-01-07 | 2010-07-08 | John Marking | Remotely Operated Bypass for a Suspension Damper |
| US9452654B2 (en) | 2009-01-07 | 2016-09-27 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US8627932B2 (en) | 2009-01-07 | 2014-01-14 | Fox Factory, Inc. | Bypass for a suspension damper |
| US20120305350A1 (en) | 2011-05-31 | 2012-12-06 | Ericksen Everet O | Methods and apparatus for position sensitive suspension damping |
| US10047817B2 (en) | 2009-01-07 | 2018-08-14 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US11306798B2 (en) | 2008-05-09 | 2022-04-19 | Fox Factory, Inc. | Position sensitive suspension damping with an active valve |
| US8393446B2 (en) | 2008-08-25 | 2013-03-12 | David M Haugen | Methods and apparatus for suspension lock out and signal generation |
| US9108098B2 (en) | 2008-11-25 | 2015-08-18 | Fox Factory, Inc. | Methods and apparatus for virtual competition |
| US9140325B2 (en) | 2009-03-19 | 2015-09-22 | Fox Factory, Inc. | Methods and apparatus for selective spring pre-load adjustment |
| US9422018B2 (en) | 2008-11-25 | 2016-08-23 | Fox Factory, Inc. | Seat post |
| US10036443B2 (en) | 2009-03-19 | 2018-07-31 | Fox Factory, Inc. | Methods and apparatus for suspension adjustment |
| US11299233B2 (en) | 2009-01-07 | 2022-04-12 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US9038791B2 (en) | 2009-01-07 | 2015-05-26 | Fox Factory, Inc. | Compression isolator for a suspension damper |
| US10821795B2 (en) | 2009-01-07 | 2020-11-03 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| US8936139B2 (en) | 2009-03-19 | 2015-01-20 | Fox Factory, Inc. | Methods and apparatus for suspension adjustment |
| US9025908B2 (en) * | 2009-04-08 | 2015-05-05 | The John Hopkins University | System and method for aligning video sequences |
| US8955653B2 (en) | 2009-10-13 | 2015-02-17 | Fox Factory, Incorporated | Methods and apparatus for controlling a fluid damper |
| US8672106B2 (en) | 2009-10-13 | 2014-03-18 | Fox Factory, Inc. | Self-regulating suspension |
| US10697514B2 (en) | 2010-01-20 | 2020-06-30 | Fox Factory, Inc. | Remotely operated bypass for a suspension damper |
| EP3778358B1 (en) | 2010-07-02 | 2023-04-12 | Fox Factory, Inc. | Positive lock adjustable seat post |
| JP5459678B2 (ja) * | 2011-02-17 | 2014-04-02 | 株式会社東芝 | 移動体画像追尾装置 |
| EP3567272B1 (en) | 2011-09-12 | 2021-05-26 | Fox Factory, Inc. | Methods and apparatus for suspension set up |
| US9036000B1 (en) * | 2011-09-27 | 2015-05-19 | Google Inc. | Street-level imagery acquisition and selection |
| US11279199B2 (en) | 2012-01-25 | 2022-03-22 | Fox Factory, Inc. | Suspension damper with by-pass valves |
| US10330171B2 (en) | 2012-05-10 | 2019-06-25 | Fox Factory, Inc. | Method and apparatus for an adjustable damper |
| KR102325514B1 (ko) * | 2015-02-26 | 2021-11-15 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치의 제조 방법 |
| US10204291B2 (en) * | 2015-08-31 | 2019-02-12 | International Business Machines Corporation | System, method, and recording medium for detecting events for interest from mobile |
| US10737546B2 (en) | 2016-04-08 | 2020-08-11 | Fox Factory, Inc. | Electronic compression and rebound control |
| US11080871B2 (en) * | 2016-05-03 | 2021-08-03 | Google Llc | Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device |
| DE102016113068A1 (de) * | 2016-07-15 | 2018-01-18 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zum Bestimmen der Lage einer optischen Grenzfläche entlang einer ersten Richtung |
| US10358180B2 (en) | 2017-01-05 | 2019-07-23 | Sram, Llc | Adjustable seatpost |
| CN107705326A (zh) * | 2017-09-15 | 2018-02-16 | 温州大学 | 一种安全敏感区域的越界入侵检测方法 |
| US20210156881A1 (en) * | 2019-11-26 | 2021-05-27 | Faro Technologies, Inc. | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3021556B2 (ja) * | 1990-06-20 | 2000-03-15 | ソニー株式会社 | 映像情報処理装置とその方法 |
| US5646866A (en) * | 1995-02-15 | 1997-07-08 | Intel Corporation | Preloading files for subsequent processing |
| US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
| JP3548459B2 (ja) * | 1998-11-20 | 2004-07-28 | 富士通株式会社 | 案内情報提示装置，案内情報提示処理方法，案内情報提示プログラムを記録した記録媒体，案内用スクリプト生成装置，案内情報提供装置，案内情報提供方法および案内情報提供プログラム記録媒体 |
| GB2352859A (en) * | 1999-07-31 | 2001-02-07 | Ibm | Automatic zone monitoring using two or more cameras |
| US6795109B2 (en) * | 1999-09-16 | 2004-09-21 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair |
| US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
| US7096428B2 (en) * | 2001-09-28 | 2006-08-22 | Fuji Xerox Co., Ltd. | Systems and methods for providing a spatially indexed panoramic video |
-
2002
- 2002-07-02 US US10/188,667 patent/US7289138B2/en not_active Expired - Lifetime
-
2003
- 2003-06-23 JP JP2003177749A patent/JP4396148B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-07 US US11/852,224 patent/US8446456B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180075222A (ko) * | 2016-12-26 | 2018-07-04 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| KR102443049B1 (ko) * | 2016-12-26 | 2022-09-14 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| JP2020004121A (ja) * | 2018-06-28 | 2020-01-09 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP7059829B2 (ja) | 2018-06-28 | 2022-04-26 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070296807A1 (en) | 2007-12-27 |
| JP4396148B2 (ja) | 2010-01-13 |
| US20040004659A1 (en) | 2004-01-08 |
| US7289138B2 (en) | 2007-10-30 |
| US8446456B2 (en) | 2013-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004046846A (ja) | 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 | |
| US10134196B2 (en) | Mobile augmented reality system | |
| US9858717B2 (en) | System and method for producing multi-angle views of an object-of-interest from images in an image dataset | |
| CN103236160B (zh) | 基于视频图像处理技术的路网交通状态监测系统 | |
| US6512857B1 (en) | Method and apparatus for performing geo-spatial registration | |
| CA2715897C (en) | Visualizing camera feeds on a map | |
| US9880010B2 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
| EP2212858B1 (en) | Method and apparatus of taking aerial surveys | |
| US8872851B2 (en) | Augmenting image data based on related 3D point cloud data | |
| JP5118787B1 (ja) | 直下ビューに対してつぎ合わされた斜め像をオルソ補正することおよびその用途 | |
| CN106599119B (zh) | 一种影像数据的存储方法和装置 | |
| JP2007183949A (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| CN110211169B (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 | |
| US20030225513A1 (en) | Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| CN108961182B (zh) | 针对视频图像的竖直方向灭点检测方法及视频扭正方法 | |
| JPH09153131A (ja) | 画像情報の処理方法、処理装置および画像情報統合システム | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| KR102076635B1 (ko) | 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법 | |
| Antigny et al. | Hybrid visual and inertial position and orientation estimation based on known urban 3D models | |
| Noirfalise et al. | Real-time Registration for Image Moisaicing. | |
| Kretschmer | Using Mobile Systems to transmit location based information | |
| Chen et al. | An image stitcher and its application in panoramic movie making | |
| WO2023147376A1 (en) | Geo-spatial context for full-motion video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4396148 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |