JP2021140780A - 地図作成のためのコンピュータ実施方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Abstract

【課題】対象領域のパノラマシーン画像からビジュアルマップを生成することと、を含む地図作成のためのコンピュータ実施方法を提供する。【解決手段】地図作成装置は、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定し、隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいてパノラマ画像シーケンスに対応する特徴軌跡を確定し、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成する。【効果】地図作成装置は、地図作成プロセスにおける画像採集の難しさを軽減し、採集した画像品質によるビジュアルマップ作成精度への悪影響を低減できる。【選択図】図２

Description

本出願の実施例は、コンピュータ技術分野に関し、具体的にはコンピューティング技術、ビジョン技術分野に関し、特には地図作成のためのコンピュータ実施方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。

ビジュアルマップ作成の分野において、通常、カスタマイズされた単眼または双眼カメラで対象シーンの画像データを採集する。次に、採集されたビデオストリームまたは画像を入力データとし、ビジュアルＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、自己位置推定と環境地図作成の同時実行）技術またはＳＦＭ（Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ、多視点画像からの３次元形状復元）アルゴリズムによって対象シーンのビジュアルマップを作成する。

関連技術において、対象シーンの画像データを採集する場合に、異なるシーンに採集方法が異なっており、画像間のある程度の繰返しを確保する必要があるため、データ採集担当者に高度な専門的能力が要求される。特に、白い壁、床、大きなガラス片などの特別なシーンでは、カメラの画角が十分に大きくないため、画像全体のテクスチャが非常に少ないことが多く、従って、画像間の特徴追跡に失敗し、作成精度にある程度影響を及ぼす。

本出願の実施例は、地図作成のためのコンピュータ実施方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提案した。

第１態様において、本出願の実施例は、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定することと、隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、前記パノラマ画像シーケンスに対応する特徴軌跡を確定することと、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成することと、を含む地図作成のためのコンピュータ実施方法を提供する。

いくつかの実施例において、特徴軌跡は、パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、パノラマ画像シーケンス内の対象フレーム後の、１よりも大きい所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定する対象フレーム確定ステップと、対象フレームに対応する透視画像シーケンス、マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスのそれぞれを所定のスライディングウィンドウに読み込み、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡（ｐａｒｔｉａｌ ｆｅａｔｕｒｅ ｔｒａｃｋ）を取得するスライディングウィンドウマッチングステップと、対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、スライディングウィンドウをクリアし、パノラマ画像シーケンスから対象フレームを削除し、更新後のパノラマ画像シーケンスを取得するシーケンス更新ステップと、パノラマ画像シーケンスにおける最後のパノラマ画像フレームがマッチングフレームとして対象フレームとフレーム間特徴点マッチングが完了するまで、更新後のパノラマ画像シーケンスに対して対象フレーム確定ステップと、スライディングウィンドウマッチングステップと、シーケンス更新ステップとを実行させる軌跡取得ステップと、によって取得される。

いくつかの実施例において、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、スライディングウィンドウ内で対象フレームと、各マッチングフレームの透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とすることを含む。

いくつかの実施例において、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とすることと、対象フレームに対応する透視画像シーケンス内の各透視画像と、対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとをそれぞれフレーム間特徴点マッチングさせ、第２のマッチング結果を取得することと、第１のマッチング結果及び第２のマッチング結果に基づいて、部分的特徴軌跡を取得することと、を含む。

いくつかの実施例において、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定することは、各パノラマ画像フレームに対してセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）を行い、各パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得することと、前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、各パノラマ画像フレームから透視画像シーケンスを確定することと、を含む。

いくつかの実施例において、方法は、ビジュアルマップに対して、ビジュアルマップ内の特徴点に対して三角測量ステップを実行し、特徴点の３次元座標を確定することと、特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得することと、更新後の特徴点に対してＲＡＮＳＡＣに基づいた三角測量ステップを実行し、特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得することと、更新後の姿勢情報及び２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得することと、２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定することと、をさらに含む。

第２態様において、本出願の実施例は、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから透視画像シーケンスを確定するように構成された画像処理ユニットと、隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、パノラマ画像シーケンスに対応する特徴軌跡を確定するように構成された特徴マッチングユニットと、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成するように構成された地図作成ユニットと、を備える地図作成装置を提供する。

いくつかの実施例において、特徴マッチングユニットは、
対象フレーム確定ユニットによって、パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、パノラマ画像シーケンス内の対象フレーム後の、１よりも大きい所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定する対象フレーム確定ステップと、
スライディングウィンドウマッチングユニットによって、対象フレームに対応する透視画像シーケンス、マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスのそれぞれを所定のスライディングウィンドウに読み込み、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得するスライディングウィンドウマッチングステップと、
シーケンス更新ユニットによって、対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、スライディングウィンドウをクリアし、パノラマ画像シーケンスから対象フレームを削除し、更新後のパノラマ画像シーケンスを取得するシーケンス更新ステップと、
軌跡取得ユニットによって、パノラマ画像シーケンス内の最後のパノラマ画像フレームがマッチングフレームとして対象フレームとの間でフレーム間特徴点マッチングが完了するまで、更新後のパノラマ画像シーケンスに対して対象フレーム確定ステップと、スライディングウィンドウマッチングステップと、シーケンス更新ステップとを実行させる軌跡取得ステップと、
によって特徴軌跡を取得する。

いくつかの実施例において、スライディングウィンドウマッチングユニットは、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とするように構成される。

いくつかの実施例において、スライディングウィンドウマッチングユニットは、さらにスライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とし、対象フレームに対応する透視画像シーケンス内の各透視画像と、対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行い、第２のマッチング結果を取得し、第１のマッチング結果及び第２のマッチング結果に基づいて、部分的特徴軌跡を取得するように構成される。

いくつかの実施例において、装置は、各パノラマ画像フレームに対してセマンティックセグメンテーションを行い、各パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得することと、前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、各パノラマ画像フレームから１つの透視画像シーケンスを確定することと、を実行するように構成されたセマンティックセグメンテーションユニットをさらに備える。

いくつかの実施例において、装置は、ビジュアルマップに対して、ビジュアルマップの特徴点に対して三角測量ステップを実行し、特徴点の３次元座標を確定することと、特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得することと、更新後の特徴点に対してＲＡＮＳＡＣに基づいた三角測量ステップを実行し、特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得することと、更新後の姿勢情報及び２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得することと、２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定することと、を実行するように構成された地図更新ユニットをさらに備える。

第３態様において、本出願の実施例は、１つ以上のプロセッサと、１つ以上のプログラムが記憶されているメモリとを備えており、１つ以上のプログラムが１つ以上のプロセッサにより実行されるとき、１つ以上のプロセッサに本出願の実施例の第１態様に記載の方法を実現させる電子機器を提供する。

第４態様において、本出願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、プログラムがプロセッサにより実行されるとき、本出願の実施例の第１態様に記載の方法が実現されるコンピュータ可読記憶媒体を提供する。

第５態様において、本出願の実施例は、コンピュータプログラムであって、コンピュータプログラムがプロセッサにより実行されると、本出願の実施例の第１態様に記載の方法が実現されるコンピュータプログラムを提供する。

本出願の実施例により提供される地図を作成するための方法及び装置は、対象領域のパノラマ画像シーケンスから確定された透視画像シーケンスに基づいて、対応する特徴軌跡を確定し、パノラマ画像フレームの姿勢情報と組み合わせてビジュアルマップを作成することにより、地図作成プロセスにおける画像採集の難さを軽減し、採集した画像品質によるビジュアルマップ作成精度への悪影響を低減することができる。

以下、添付図面を参照しながら非限定的な実施例を詳細に説明することにより、本出願の他の特徴、目的及び利点はより明らかになる。
本出願の一実施例が適用される例示的なシステムアーキテクチャを示す図である。 本出願に係る地図作成方法の一実施例を示すフローチャートである。 本出願の実施例に係る地図作成方法の一適用シーンを示す概略図である。 本出願に係る地図作成方法の他の実施例を示すフローチャートである。 本出願に係る地図作成装置の一実施例を示す概略構成図である。 本出願の実施例を実現するための電子機器の概略構成図である。

以下、添付図面及び実施例を参照しながら本出願をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解すべきである。なお、説明の便宜上、図面に発明と関連する部分のみが示されている。

なお、矛盾しない場合、本出願の実施例及び実施例の特徴は互いに組み合わせてもよい。以下、添付図面を参照して実施例により本出願を詳細に説明する。

図１では、本出願の実施例に係る地図作成方法又は地図作成装置が適用される例示的なシステムアーキテクチャ１００を示した。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ケーブルなどのような様々な接続タイプを含んでもよい。

ユーザは、端末装置１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５と対話することによって、データを受信したり送信したりすることができる。端末装置１０１、１０２、１０３は、取得した対象領域のパノラマ画像シーケンス（例えば、パノラマ画像から構成された映像）をサーバ１０５に送信することができ、サーバ１０５が、本出願の実施例で提案された地図作成方法を実行し、取得した対象領域のパノラマ画像シーケンスに基づいてビジュアルマップを作成し、作成したビジュアルマップを端末装置に送信する。

端末装置１０１、１０２、１０３はハードウェアであってもよく、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合、ディスプレイを有するとともに情報交換をサポートする各種電子機器であってもよく、スマートフォン、タブレット型パソコン、電子ブックリーダー、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、これらに限定されるものではない。端末装置１０１、１０２、１０３がソフトウェアである場合、前記電子機器にインストールされてもよい。例えば、分散サービスを提供するための複数のソフトウェアまたはソフトウェアモジュールとして実現されてもよく、単一ソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここでは、特に限定しない。

サーバ１０５は、端末装置１０１、１０２、１０３で取得した対象領域のパノラマ画像シーケンスをサポートするバックグラウンドアプリケーションサーバなどのような各種サービスを提供するサーバであってもよい。バックグラウンドアプリケーションサーバは、受信したパノラマ画像シーケンスに基づいて対象領域のビジュアルマップを作成し、作成したビジュアルマップを端末装置に送信することができる。

なお、本出願の実施例により提供される地図作成方法は端末装置１０１、１０２、１０３によって実行されてもよく、サーバ１０５によって実行されてもよい。従って、地図作成装置は端末装置１０１、１０２、１０３に構成されてもよく、サーバ１０５に構成されてもよい。ここでは、特に限定しない。

なお、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。 サーバがハードウェアである場合、複数のサーバで構成された分散型サーバクラスタとして実現されてもよく、単一サーバとして実現されてもよい。サーバがソフトウェアである場合、例えば、分散サービスを提供するために用いられる複数のソフトウェアまたはソフトウェアモジュールとして実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここでは、特に限定しない。

図１における端末装置、ネットワーク及びサーバの数は例示的なものに過ぎないことを理解すべきである。実現のニーズに応じて、任意の数の端末装置、ネットワーク及びサーバを備えてもよい。

次に、図２を参照されたい。図２では、本出願に係る地図作成方法の一実施例のフロー２００を示した。該地図作成方法は以下のステップを含む。

ステップ２０１において、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから透視画像シーケンスを確定する。

本実施例において、透視画像シーケンスは、パノラマ画像シーケンスの特徴軌跡を確定するために用いられ、特徴軌跡及び姿勢情報は、ビジュアルマップの作成に重要なデータである。

本実施例において、地図作成方法の実行主体（例えば、図１に示されたサーバ）は、ユーザが地図作成のために用いる端末またはパノラマカメラから、対象領域のパノラマ画像シーケンスを有線接続方式又は無線接続方式によって受信することができる。なお、前記無線接続方式は３Ｇ／４Ｇ接続、ＷｉＦｉ（登録商標）接続、ブルートゥース（登録商標）接続、ＷｉＭＡＸ（登録商標）接続、Ｚｉｇｂｅｅ（登録商標）接続、ＵＷＢ（登録商標）（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）接続、及びその他の既知又は将来開発される無線接続方式を含むが、これらに限定されない。

具体的な例示において、オペレータは、パノラマカメラで対象領域のパノラマ画像シーケンスを採集した後、パノラマ画像シーケンスを本実施例の実行主体（例えば、図１に示されたサーバまたは端末装置であってもよい）に送信し、実行主体が上述したステップによってパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報と対応する透視画像シーケンスを確定するようにしてもよい。

前記パノラマ画像とは、パノラマカメラで採集した画像を指し、対象領域の画像情報を３６０°の観察角度で全方向に採集でき、通常のカメラで採集した透視画像に比べて、パノラマ画像に含まれた情報がより豊富であるため、画像採集プロセスにおける情報ロス（ｌｏｓｓ）を回避することができる。ただし、パノラマ画像にはある程度の画像歪みが存在するため、通常のカメラで採集した透視画像のように地図の作成に直接使用することはできない。従って、後続の地図作成ステップの実行に使用できるように、パノラマ画像を前処理する必要がある。

本実施例において、実行主体（例えば、図１に示されたサーバ）は対象領域のパノラマ画像シーケンス（例えば、パノラマカメラで撮影した対象領域のパノラマ映像）を受信した後、画像の前処理ステップを実行し、ここで、パノラマ画像シーケンス内の画像フレームのそれぞれは対象領域のパノラマ画像である。例示として、まず、ビジュアルＳＬＡＭ技術に基づいて、シーケンス内の各パノラマ画像フレームの姿勢情報を確定し、姿勢情報は、画像を採集するときのカメラの位置と姿勢を表すために用いられる。その後、パノラマ画像フレームのそれぞれから複数の透視画像を確定し、透視画像のそれぞれは所定の異なる観察角度に対応し、このプロセスにおいて、パノラマ画像フレーム内の歪んだ画像の部分を補正した。例えば、０°、９０°、１８０°、２７０°の４つの観察角度でパノラマ画像フレームを分け、４つの透視画像を順次確定し、観察角度により透視画像をソートし、該パノラマ画像フレームに対応する透視画像シーケンスを取得する。なお、ビジュアルＳＬＡＭ技術は、地図作成の分野における従来の技術に属しており、ここでは、説明を省略する。観察角度によりパノラマ画像から複数の透視画像を確定する技術もコンピュータ画像の分野における従来の技術に属しており、例えば、ＯｐｅｎＣＶアルゴリズムによって実現することができるが、本出願の実施例では特に限定しない。

本実施形態のいくつかの選択可能な実施例において、以下のステップによってパノラマ画像フレームから姿勢情報及び透視画像シーケンスを確定することができる。対象領域のパノラマ画像フレームに対してセマンティックセグメンテーションを実行し、パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得する。前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから透視画像シーケンスを確定する。具体的なシーンを踏まえて例を挙げて説明する。対象領域のパノラマ画像に、地図作成に無効なコンテンツが含まれている場合、不要な演算を削減するために、パノラマ画像からそのコンテンツを削除する必要がある。例えば、人間、動物、植物などの対象をセグメンテーション対象（ｓｅｇｍｅｎｔａｔｉｏｎ ｔａｒｇｅｔ）として設定し、パノラマ画像フレームをセマンティックセグメンテーションモデル（完全畳み込みニューラルネットワークモデル（ｆｕｌｌ−ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）など）に入力し、パノラマ画像からセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得した後、ビジュアルＳＬＡＭ技術に基づいて、前処理されたパノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームから１つの透視画像シーケンスを確定する。

ステップ２０２において、隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、パノラマ画像シーケンスに対応する特徴軌跡を確定する。

地図作成の分野では、異なる画像フレーム内の同じ特徴点をマッチングさせることで、各画像フレームに対応する特徴軌跡（ｆｅａｔｕｒｅ ｔｒａｃｋ）を取得することができる。特徴軌跡からカメラの動き状態を推定し、特徴点の位置情報及びカメラの動き状態から特徴点の三次元座標を求めることができる。これは、ビジュアルマップの作成に不可欠なステップである。

本実施例において、ステップ２０１で得られた各パノラマ画像フレームに対応する透視画像シーケンスに対してフレーム間特徴点マッチングを行うことにより、パノラマ画像シーケンスに対応する特徴軌跡を取得する。具体的には、以下のステップを含む。まず、各透視画像シーケンスから特徴点を確定する。特徴点にはキーポイントと記述子が含まれる。キーポイントとは、画像フレームにおいて、地図を作成するための重要な情報（例えば、コーナーポイントのスケール、回転特性などの情報）を含むポイントである。記述子とは、特徴点のそれぞれを区別するためのものであり、異なる画像フレーム間の特徴点のマッチングに用いられ、記述子の類似度が高いほど、対応する特徴点の類似度が高いことを示す。次に、隣接したパノラマ画像フレームに対応する透視画像シーケンス間でフレーム間特徴点マッチングを行う。例えば、２つの透視画像シーケンス内の同じソート位置にある透視画像をマッチング対象とし、そのうちの同じまたは類似の特徴点をマッチングさせることができる。

特徴点の抽出方法及び特徴点の類似度計算方法は、従来の技術または将来開発される技術における特徴点の抽出方法及び特徴点の類似度計算方法であってもよい。本出願では特に限定しない。

具体的な例示において、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）特徴点アルゴリズムにより２つの透視画像から特徴点を抽出し、特徴点に含まれた記述子はＢＲＩＥＦバイナリ記述子であり、ハミング距離（Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ）で２つの特徴点間の類似度を表す。ハミング距離とは、２つの同じ長さの文字列間の異なるデータビットの数を指す。例えば、２つの８ビットバイナリ列００１１０１００と１０１１０１００は、第１のデータビットのみが異なるため、ハミング距離は１である。ＯＲＢアルゴリズムの特徴マッチングでは、ハミング距離が小さいほど、特徴点の類似度が高くなる。これにより、２つの透視画像間における類似度が所定の基準を満たす２つの特徴点を同じ点と認め、特徴マッチングが完了する。

関連技術で２つの隣接した別個の画像フレーム間でフレーム間特徴点マッチングを行うことと異なることとして、本出願の実施例では、隣接した２つのパノラマ画像フレームに対応する２つの透視画像シーケンスに対してフレーム間特徴点マッチングを行うことである。透視画像シーケンスのうち、同じソート位置にある透視画像に対応する観察角度が同じであるため、それをマッチング対象としてフレーム間特徴点マッチングを行うことができ、その後、透視画像シーケンス内の全ての透視画像の特徴マッチング結果をマージして、得られた特徴マッチング結果は、２つのパノラマ画像フレーム間の特徴マッチング結果である。最後に、各パノラマ画像フレームの特徴マッチング結果をマージして、パノラマ画像シーケンスに対応する特徴軌跡を得ることができる。

なお、本出願の実施例における特徴マッチング結果と特徴軌跡のマージについて、その規則は、全ての特徴点を保持し、そのうちの同じ特徴点を１つにマージすることである。

以下、具体的なシーンを例として説明する。パノラマ画像シーケンスは、３つの透視画像シーケンスａ、ｂ、ｃにそれぞれ対応する３つのパノラマ画像フレームＡ、Ｂ、Ｃを含み、各透視画像シーケンスは４つの透視画像を含み、透視画像は、観察角度の大きさに応じて順次配列され、それぞれａ１、ａ２、ａ３、ａ４、ｂ１、ｂ２、ｂ３、ｂ４、ｃ１、ｃ２、ｃ３、ｃ４である。ａ１とｂ１、ａ２とｂ２、ａ３とｂ３、ａ４とｂ４のそれぞれをマッチング対象としてフレーム間特徴点マッチングを行い、マッチング結果をマージして、透視画像シーケンスａとｂのマッチング結果を取得し、同様に、透視画像シーケンスｂとｃのマッチング結果を取得することができ、この２組の透視画像シーケンスのマッチング結果をマージして、パノラマ画像シーケンスの特徴軌跡を取得する。

本実施形態のいくつかの選択可能な実施例において、スライディングウィンドウマッチング方法によって、透視画像シーケンスに対してフレーム間特徴点マッチングを行うことができ、対象フレームに対応する透視画像シーケンスと、隣接した複数のマッチングフレームに対応する透視画像シーケンスとの間で同時にフレーム間特徴点マッチングを行うことにより、パノラマ画像に対応する特徴軌跡を取得する。スライディングウィンドウマッチング方法は以下のステップを含んでもよい。パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、パノラマ画像シーケンス内の対象フレーム後の所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定し、所定数は１より大きい。対象フレームに対応する透視画像シーケンス、マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスをそれぞれ所定のスライディングウィンドウに読み込み、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得する。対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、スライディングウィンドウをクリアし、パノラマ画像シーケンスから対象フレームを削除し、更新後のパノラマ画像シーケンスを取得する。パノラマ画像シーケンス内の最後のパノラマ画像フレームをマッチングフレームとして、対象フレームとの間でフレーム間特徴点マッチングが完了するまで、更新後のパノラマ画像シーケンスに対して特徴点マッチングステップを実行し、特徴軌跡を取得する。

本実施形態のいくつかの選択可能な実施例において、前記の前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームの透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とすることを含んでもよい。

具体的な例示において、パノラマ画像シーケンス内の１枚目のパノラマ画像フレームＡを対象フレームとして確定し、所定数は３であり、２枚目、３枚目、４枚目のパノラマ画像フレームをマッチングフレームとして確定し、それぞれパノラマ画像フレームＢ、Ｃ、Ｄである。前記４つのパノラマ画像フレームに対応する透視画像シーケンスはそれぞれａ、ｂ、ｃ、ｄであり、透視画像シーケンスのそれぞれには４つの透視画像が含まれている。これら４つのパノラマ画像フレームに対応する透視画像シーケンスを所定のスライディングウィンドウに同時に読み込み、以下の方法でフレーム間特徴点マッチングを行う。透視画像シーケンスａ内の第１の透視画像ａ１と、ｂ１、ｃ１、ｄ１との間で同時にフレーム間特徴点マッチングを行い、同様に、ａ内の４つの透視画像をそれぞれフレーム間特徴点マッチングさせた後、透視画像シーケンスａのマッチング結果を得ることができ、透視画像シーケンスａのマッチング結果をパノラマ画像フレームＡに対応する部分的特徴軌跡とする。次に、パノラマ画像シーケンスからＡを削除し、Ｂを対象フレームとして更新し、Ｃ、Ｄ、Ｆをマッチングフレームとして更新し、上記のステップによりパノラマ画像フレームＢに対応する部分的特徴軌跡を取得する。パノラマ画像シーケンス内の最後のパノラマ画像をマッチングフレームとしてスライディングウィンドウに読み込み、フレーム間特徴点マッチングを行うまで、上記のステップを繰り返し、これにより、パノラマ画像シーケンス全体のフレーム間特徴点マッチングが完了し、各パノラマ画像シーケンスに対応する複数の部分的特徴軌跡をマージして、パノラマ画像シーケンスに対応する特徴軌跡を取得する。

本実施形態のいくつかの選択可能な実施例において、前記の前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とすることと、対象フレームに対応する透視画像シーケンス内の各透視画像と、対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとをそれぞれフレーム間特徴点マッチングさせ、第２のマッチング結果を取得することと、第１のマッチング結果及び第２のマッチング結果に基づいて、部分的特徴軌跡を取得すること、とを含んでもよい。

前記例示を踏まえてさらに説明する。透視画像シーケンスａ内の第１の透視画像ａ１と、ｂ１、ｃ１、ｄ１との間で同時にフレーム間特徴点マッチングを行い、同様に、ａ内の４つの透視画像をそれぞれフレーム間特徴点マッチングさせて、透視画像シーケンスａのマッチング結果を得ることができ、このように得られた透視画像シーケンスａのマッチング結果をパノラマ画像フレームＡに対応する第１のマッチング結果とする。また、ａ１をｂ１、ｂ２、ｂ３、ｂ４とそれぞれフレーム間特徴点マッチングさせ、ａ２をｂ１、ｂ２、ｂ３、ｂ４とそれぞれフレーム間特徴点マッチングさせ、同様に、ａ内の４つの透視画像をそれぞれフレーム間特徴点マッチングさせて、透視画像シーケンスａの他のマッチング結果を得ることができ、このマッチング結果をパノラマ画像フレームＡに対応する第２のマッチング結果とする。次に、第１のマッチング結果と第２のマッチング結果をマージして、パノラマ画像フレームＡに対応する部分的特徴軌跡を取得し、上記のステップを繰り返すことで、パノラマ画像シーケンスに対応する特徴軌跡を取得することができる。

ステップ２０３において、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成する。

本実施例において、パノラマ画像フレームの姿勢情報と組み合わせ、ステップ２０２で得られた特徴軌跡に対して三角測量を行い、そのうちの特徴点の３次元座標を確定し、対応する３次元点群を得ることができ、これらの３次元点群からなる３次元画像が対象領域のビジュアルマップの原型である。次に、閉ループ検出によって、姿勢を最適化し、類似した３次元点群をマージし、グローバル姿勢と３次元点群を共同最適化して、対象領域のビジュアルマップを取得することができる。なお、特徴軌跡に基づいたビジュアルマップの作成は当分野の従来の技術に属しており、本出願の実施例では特に限定しない。

続いて、図３を参照されたい。図３は、本実施例による地図作成方法の適用シーンの概略図である。図３の適用シーンにおいて、ユーザは、対象領域のパノラマ画像シーケンスを実行主体３０１（図１に示されたサーバであってもよく、端末装置であってもよい）に送信し、実行主体が画像処理によってパノラマ画像シーケンスから姿勢情報及び透視画像シーケンスを確定した後、フレーム間特徴点マッチングステップを行って特徴軌跡を取得し、最後に、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて対象領域のビジュアルマップを作成することにより、パノラマ画像に基づいたビジュアルマップの作成プロセスを実現した。

本出願の実施例により提供される地図を作成するための方法及び装置は、対象領域のパノラマ画像シーケンスから透視画像シーケンスを確定することに基づいて、対応する特徴軌跡を確定し、パノラマ画像フレームの姿勢情報と組み合わせてビジュアルマップを作成することで、地図作成プロセスにおける画像採集の難しさを軽減し、採集した画像品質によるビジュアルマップ作成への悪影響を低減した。

さらに、図４を参照されたい。図４では、地図作成方法の他の実施例のフローチャート４００を示した。この地図作成方法のフローチャート４００は、以下のステップを含む。

ステップ４０１において、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定する。このステップは前記ステップ２０１に対応しており、ここでは、説明を省略する。

ステップ４０２において、パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、パノラマ画像シーケンス内の対象フレーム後の所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定し、本実施例において、所定数は１より大きい整数に設定される。

ステップ４０３において、対象フレームに対応する透視画像シーケンス、マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスをそれぞれ所定のスライディングウィンドウに読み込む。

ステップ４０４において、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とする。このステップについては、前記選択可能な実施例において説明したので、ここでは説明を省略する。なお、隣接した２つの透視画像シーケンスの間でフレーム間特徴点マッチングを行うプロセスにおいて、画像がぼやけたり、物体の遮蔽が発生したりすると、マッチングに失敗することがある。スライディングウィンドウマッチング方法を用いる場合には、対象フレームを複数のマッチングフレームと同時にフレーム間特徴点マッチングさせるため、ある透視画像がマッチングに失敗したとしても、他の対応する透視画像とマッチングさせることができる。これによりマッチング失敗の可能性が低くなり、地図作成プロセスのロバスト性が向上された。

ステップ４０５において、対象フレームに対応する透視画像シーケンス内の各透視画像と、対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとの間でそれぞれフレーム間特徴点マッチングを行って、第２のマッチング結果を取得する。このステップについては、上記の実施形態の選択可能な実施例において説明したので、ここでは説明を省略する。なお、第１のマッチング結果に比べて、第２のマッチング結果は、カメラの動きによって一部の特徴が１つの透視画像の観察範囲から別の透視画像の観察範囲に移動してしまう可能性があることを考慮しているため、このようなマッチング結果はカメラの動き状態をより正確に推定することの助けになる。

ステップ４０６において、第１のマッチング結果及び第２のマッチング結果に基づいて、部分的特徴軌跡を取得する。このステップについては、上記の実施形態の選択可能な実施例において説明したので、ここでは説明を省略する。第１のマッチング結果と第２のマッチング結果をマージして、対象フレームに対応する部分的特徴軌跡を取得することができる。なお、第１のマッチング結果と第２のマッチング結果の組み合わせにより、地図作成プロセスのロバスト性が向上されただけでなく、作成されたビジュアルマップの精度も向上された。

ステップ４０７において、対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、スライディングウィンドウをクリアし、パノラマ画像シーケンスから対象フレームを削除し、更新後のパノラマ画像シーケンスを取得する。このステップについては、上記の実施形態の選択可能な実施例において説明したので、ここでは説明を省略する。

ステップ４０８において、パノラマ画像シーケンス内の最後のパノラマ画像フレームをマッチングフレームとして、対象フレームとの間でフレーム間特徴点マッチングが完了するまで、更新後のパノラマ画像シーケンスに対して特徴点マッチングステップを実行し、特徴軌跡を取得する。ステップ４０３〜ステップ４０８で得られた、パノラマ画像シーケンスに対応する部分的特徴軌跡をマージし、パノラマ画像シーケンスに対応する特徴軌跡を取得する。このステップについては、上記の実施形態の選択可能な実施例において説明したので、ここでは説明を省略する。

ステップ４０９において、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成する。このステップは、前記ステップ２０３に対応し、ここでは説明を省略する。

ステップ４１０において、ビジュアルマップに基づいて、更新後のビジュアルマップを取得する。本実施例において、さらに、以下のステップによりビジュアルマップの最適化精度を高め、更新後のビジュアルマップを得ることができる。ビジュアルマップの特徴点に対して三角測量ステップを実行し、特徴点の３次元座標を確定する。特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得する。更新後の特徴点に対してＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づく三角測量ステップを実行し、特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得する。更新後の姿勢情報及び２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得する。２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定する。

上記のステップにより、作成したビジュアルマップを最適化することができる。例えば、ＲＡＮＳＡＣに基づく三角測量ステップによってビジュアルマップ内の一部のミスマッチング点を削除し、また、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップによって特徴点の再投影誤差を減らすことができ、これによってより高精度のビジュアルマップを取得する。

なお、前記三角測量ステップと、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップは、所属する技術分野では比較的成熟した技術的手段であるが、上記ステップの組み合わせ方法は所属する技術分野の従来技術ではない。従って、本実施例で特定しているのは、各ステップを実現するための技術的手段ではなく、各ステップの組み合わせ方法である。

図４から分かるように、図２に対応する実施例に比べて、本実施例における地図作成方法のフロー４００は、スライディングウィンドウマッチング方法に基づいて特徴軌跡を確定するステップと、作成したビジュアルマップを最適化するステップを具体化した。スライディングウィンドウマッチング方法によって、特徴点マッチングの失敗による重要な情報のロス（ｌｏｓｓ）を効果的に回避することができ、これにより地図作成プロセスのロバスト性が向上され、ビジュアルマップを最適化することでビジュアルマップの精度が向上される。

さらに、図５を参照されたい。前記各図に示された方法の実施形態として、本出願は、地図作成装置の一実施例を提供する。該装置の実施例は、図２に示される方法の実施例に対応し、該装置は具体的には様々な電子機器に適用できる。

図５に示すように、本実施例における地図作成装置５００は、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから透視画像シーケンスを確定するように構成された画像処理ユニット５０１と、隣接した各パノラマ画像フレームの透視画像シーケンスに基づいて、パノラマ画像シーケンスに対応する特徴軌跡を確定するように構成された特徴マッチングユニット５０２と、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成するように構成された地図作成ユニット５０３と、を備える。

本実施例において、特徴マッチングユニット５０２は、以下のステップによって特徴軌跡を取得する。対象フレーム確定ユニットは、パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、パノラマ画像シーケンス内の対象フレーム後の所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定し、所定数が１より大きくなるように構成される。スライディングウィンドウマッチングユニットは、対象フレームに対応する透視画像シーケンス、マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスのそれぞれを所定のスライディングウィンドウに読み込み、スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得するように構成される。シーケンス更新ユニットは、対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、スライディングウィンドウをクリアし、パノラマ画像シーケンスから対象フレームを削除し、更新後のパノラマ画像シーケンスを取得するように構成される。軌跡取得ユニットは、パノラマ画像シーケンス内の最後のパノラマ画像フレームをマッチングフレームとして、対象フレームとの間でフレーム間特徴点マッチングが完了するまで、更新後のパノラマ画像シーケンスに対して特徴点マッチングを実行し、特徴軌跡を取得するように構成される。

本実施例において、スライディングウィンドウマッチングユニットは、以下の方法により部分的特徴軌跡を取得するように構成される。スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とする。

本実施例において、スライディングウィンドウマッチングユニットは、さらに以下の方法により部分的特徴軌跡を取得するように構成される。スライディングウィンドウ内で対象フレームと、各マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とする。対象フレームに対応する透視画像シーケンス内の各透視画像と、対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとをそれぞれフレーム間特徴点マッチングさせ、第２のマッチング結果を取得する。第１のマッチング結果及び第２のマッチング結果に基づいて、部分的特徴軌跡を取得する。

本実施例において、該装置は、以下のステップを実行するように構成されたセマンティックセグメンテーションユニットをさらに備える。各パノラマ画像フレームに対してセマンティックセグメンテーションを行い、各パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得する。前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、各パノラマ画像フレームから透視画像シーケンスを確定する。

本実施例において、該装置は、ビジュアルマップに対して以下のステップを実行するように構成された地図更新ユニットをさらに備える。ビジュアルマップ内の特徴点に対して三角測量ステップを実行し、特徴点の３次元座標を確定する。特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得する。更新後の特徴点に対してＲＡＮＳＡＣに基づいた三角測量ステップを実行し、特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得する。更新後の姿勢情報及び２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得する。２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定する。

図６を参照されたい。図６では、本出願の実施例を実現するのに適した電子機器（例えば、図１のサーバまたは端末装置）６００の概略構成図を示した。本出願の実施例における端末装置は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）等のモバイル端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むが、これらに限定されない。図６に示された端末装置／サーバは単なる例示に過ぎず、本出願の実施例の機能及び使用範囲にいかなる制限をもたらすものとすべきでない。

図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラム又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる処理装置（例えば、中央処理装置、グラフィックプロセッサ等）６０１を備えることができる。ＲＡＭ６０３には、電子機器６００の動作に必要な様々なプログラム及びデータがさらに記憶（格納）されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。

通常、Ｉ／Ｏインタフェース６０５には、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置６０７、磁気テープ、ハードディスクなどを含む記憶装置６０８、並びに通信装置６０９が接続されている。通信装置６０９は、電子機器６００と他の機器との間で無線または有線による通信を行い、データのやりとりを可能にする。なお、図６では、様々な装置を有する電子機器６００を示しているが、図示された装置のすべてを実施または備える必要はないことを理解すべきである。代替して実施してもよく、より多くの装置またはより少ない装置を備えてもよい。図６に示す各ブロックは１つの装置を代表してもよく、必要に応じて複数の装置を代表してもよい。

特に、本出願の実施例によれば、以上のフローチャートを参照しながら記載したプロセスは、コンピュータソフトウェアプログラムとして実現することができる。例えば、本出願の実施例は、コンピュータ可読媒体にロードされるコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含んでもよい。このような実施例において、該コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードされてインストールされてもよく、又は記憶装置６０８またはＲＯＭ６０２からインストールされてもよい。該コンピュータプログラムが処理装置６０１により実行されると、本出願の方法によって限定された前記機能が実行される。なお、本出願の実施例におけるコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、或いは前記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線の、又は半導体のシステム、装置又はデバイス、あるいは任意の前記の組み合わせであってもよいが、これらに限定するものではない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数本の導線を有する電気接続、携帯可能なコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ケーブル、携帯可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は前記の任意の適切な組み合わせを含むが、これらに限定されない。本出願の実施例において、コンピュータ可読記憶媒体は、プログラムを含有又は記憶するいずれの有形媒体であってもよく、該プログラムは、コマンド実行システム、装置又はデバイスに用いられ、又はそれらに組み合わせて用いられてもよい。本出願の実施例において、コンピュータ可読信号媒体は、ベースバンドにおいて又はキャリアの一部として伝搬されるデータ信号を含み、コンピュータ可読プログラムコードがロードされる。このように伝搬されるデータ信号は、電磁気信号、光信号又は前記任意の適切な組み合わせを含む種々の形式を採ることができるが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、コマンド実行システム、装置又はデバイスにより使用され、又はそれらと組み合わせて使用されるためのプログラムを送信、伝搬又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、電線、光ケーブル、ＲＦ（無線周波数）など、又は前記任意の適切な組み合わせを含む任意の適切な媒体を用いて伝送することができるが、それらに限定されない。

前記コンピュータ可読媒体は、前記電子機器に含まれるものであってもよく、該電子機器に実装されずに別体として存在するものであってもよい。前記コンピュータ可読媒体に１つ又は複数のプログラムがロードされ、前記１つ又は複数のプログラムが該電子機器により実行される時、該電子機器は、対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定することと、隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、パノラマ画像シーケンスに対応する特徴軌跡を確定することと、特徴軌跡及び各パノラマ画像フレームの姿勢情報に基づいて、対象領域のビジュアルマップを作成することと、を含む。

１つまたは複数のプログラミング言語またはそれらの組み合わせによって、本出願の実施例の動作の実行に用いられるコンピュータプログラムコードを作成してもよい。プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向のプログラミング言語を含み、さらに「Ｃ」言語または類似のプログラミング言語のような手続き型プログラミング言語を含む。プログラムコードは完全にユーザコンピュータ上で実行されてもよく、部分的にユーザコンピュータ上で実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、一部がユーザコンピュータ上で実行され一部がリモートコンピュータ上で実行されてもよく、或いは完全にリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータに関わる場合、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザコンピュータに接続されてもよく、または外部コンピュータ（例えばインターネットサービスプロバイダーによるインターネットを通じて接続する）に接続されてもよい。

添付図面におけるフローチャート及びブロック図は、本出願の各実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャー、機能及び動作を示した。この点において、フローチャート又はブロック図におけるそれぞれのブロックは、１つのモジュール、プログラムセグメント、又はコードの一部を代表することができ、該モジュール、プログラムセグメント、又はコードの一部は、所定のロジック機能を実現するための１つ又は複数の実行可能な指令を含む。なお、代替の実現において、ブロックに表示された機能は、図面に表示された順番と異なる順番で発生させることができる。例えば、２つの直列的に示されたブロックは、実際には、基本的に並行して実行することができ、機能によっては、逆の順番で実行することも可能である。なお、ブロック図及び／又はフローチャートにおけるそれぞれのブロックと、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は動作を実行するための専用のハードウェアに基づくシステムによって実現することができ、あるいは、専用ハードウェアとコンピュータ指令の組み合わせによって実現することができる。

本出願の実施例に記載されたユニットは、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。記載されたユニットはプロセッサに構成されてもよい。例えば、画像処理ユニット、特徴マッチングユニット及び地図作成ユニットを備えるプロセッサとして記載されてもよい。なお、これらのユニットの名称は場合によってはユニット自体への限定を構成せず、例えば、画像処理ユニットは、「対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定するユニット」と記載されてもよい。

以上の記載は、本出願の好ましい実施例、及び適用される技術的原理の説明に過ぎない。当業者であれば、本出願の実施例に係る発明の範囲が、前記技術的特徴の特定な組み合わせからなる技術案に限定されるものではなく、前記発明の趣旨を逸脱しない範囲で、前記技術的特徴または均等の特徴の任意の組み合わせからなる他の技術案も含むべきであることを理解すべきである。例えば、前記特徴と、本出願の実施例に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (15)

1. 地図作成のためのコンピュータ実施方法であって、
   対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定することと、
   隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、前記パノラマ画像シーケンスに対応する特徴軌跡を確定することと、
   前記特徴軌跡及び前記各パノラマ画像フレームの姿勢情報に基づいて、前記対象領域のビジュアルマップを作成することと、を含む地図作成のためのコンピュータ実施方法。
2. 前記特徴軌跡は、
   前記パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、前記パノラマ画像シーケンス内の前記対象フレーム後の、１よりも大きい所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定する対象フレーム確定ステップと、
   前記対象フレームに対応する透視画像シーケンス、前記マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスをそれぞれ所定のスライディングウィンドウに読み込み、前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得するスライディングウィンドウマッチングステップと、
   前記対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、前記スライディングウィンドウをクリアし、前記パノラマ画像シーケンスから前記対象フレームを削除し、更新後のパノラマ画像シーケンスを取得するシーケンス更新ステップと、
   前記パノラマ画像シーケンスにおける最後のパノラマ画像フレームがマッチングフレームとして前記対象フレームとのフレーム間特徴点マッチングが完了するまで、前記更新後のパノラマ画像シーケンスに対して前記対象フレーム確定ステップと、前記スライディングウィンドウマッチングステップと、前記シーケンス更新ステップとを実行させる軌跡取得ステップと、
   によって取得される請求項１に記載の方法。
3. 前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、
   前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームの透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とすることを含む請求項２に記載の方法。
4. 前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得することは、
   前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とすることと、
   前記対象フレームに対応する透視画像シーケンス内の各透視画像と、前記対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとをそれぞれフレーム間特徴点マッチングさせ、第２のマッチング結果を取得することと、
   前記第１のマッチング結果及び前記第２のマッチング結果に基づいて、部分的特徴軌跡を取得することと、
   を含む請求項２に記載の方法。
5. 対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから１つの透視画像シーケンスを確定することは、
   各パノラマ画像フレームに対してセマンティックセグメンテーションを行い、前記各パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得することと、
   前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、各パノラマ画像フレームから透視画像シーケンスを確定することと、
   を含む請求項１に記載の方法。
6. 前記方法は、前記ビジュアルマップに対して、
   前記ビジュアルマップ内の特徴点に対して三角測量ステップを実行し、前記特徴点の３次元座標を確定することと、
   前記特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得することと、
   前記更新後の特徴点に対してＲＡＮＳＡＣに基づいた三角測量ステップを実行し、前記特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得することと、
   前記更新後の姿勢情報及び前記２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得することと、
   前記２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定することと、
   をさらに含む請求項１〜５のいずれか１項に記載の方法。
7. 対象領域のパノラマ画像シーケンスから各パノラマ画像フレームの姿勢情報を確定し、パノラマ画像フレームのそれぞれから透視画像シーケンスを確定するように構成された画像処理ユニットと、
   隣接した各パノラマ画像フレームに対応する透視画像シーケンスに基づいて、前記パノラマ画像シーケンスに対応する特徴軌跡を確定するように構成された特徴マッチングユニットと、
   前記特徴軌跡及び前記各パノラマ画像フレームの姿勢情報に基づいて、前記対象領域のビジュアルマップを作成するように構成された地図作成ユニットと、
   を備える地図作成装置。
8. 前記特徴マッチングユニットは、
   対象フレーム確定ユニットによって、前記パノラマ画像シーケンス内の１枚目のパノラマ画像フレームを対象フレームとして確定し、前記パノラマ画像シーケンス内の前記対象フレーム後の、１よりも大きい所定数のパノラマ画像フレームをマッチングフレームシーケンスとして確定する対象フレーム確定ステップと、
   スライディングウィンドウマッチングユニットによって、前記対象フレームに対応する透視画像シーケンス、前記マッチングフレームシーケンス内の各マッチングフレームに対応する透視画像シーケンスをそれぞれ所定のスライディングウィンドウに読み込み、前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果に基づいて、部分的特徴軌跡を取得するスライディングウィンドウマッチングステップと、
   シーケンス更新ユニットによって、前記対象フレームと各マッチングフレームとの間のフレーム間特徴点マッチングの完了に応答して、前記スライディングウィンドウをクリアし、前記パノラマ画像シーケンスから前記対象フレームを削除し、更新後のパノラマ画像シーケンスを取得するシーケンス更新ステップと、
   軌跡取得ユニットによって、前記パノラマ画像シーケンス内の最後のパノラマ画像フレームがマッチングフレームとして前記対象フレームとの間でフレーム間特徴点マッチングが完了するまで、前記更新後のパノラマ画像シーケンスに対して前記対象フレーム確定ステップと、前記スライディングウィンドウマッチングステップと、前記シーケンス更新ステップとを実行させる軌跡取得ステップと、
   によって特徴軌跡を取得する請求項７に記載の装置。
9. 前記スライディングウィンドウマッチングユニットは、
   前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を部分的特徴軌跡とするように構成される請求項８に記載の装置。
10. 前記スライディングウィンドウマッチングユニットは、さらに
    前記スライディングウィンドウ内で前記対象フレームと、各前記マッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行った結果を第１のマッチング結果とし、
    前記対象フレームに対応する透視画像シーケンス内の各透視画像と、前記対象フレームに最も近いマッチングフレームに対応する透視画像シーケンスとの間でフレーム間特徴点マッチングを行い、第２のマッチング結果を取得し、
    前記第１のマッチング結果及び前記第２のマッチング結果に基づいて、部分的特徴軌跡を取得する、ように構成される請求項８に記載の装置。
11. 前記装置は、
    各パノラマ画像フレームに対してセマンティックセグメンテーションを行い、前記各パノラマ画像フレームから所定のセグメンテーション対象を削除し、前処理されたパノラマ画像フレームを取得することと、
    前処理されたパノラマ画像フレームから各パノラマ画像フレームの姿勢情報を確定し、各パノラマ画像フレームから１つの透視画像シーケンスを確定することと、
    を実行するように構成されたセマンティックセグメンテーションユニットをさらに備える請求項７に記載の装置。
12. 前記装置は、前記ビジュアルマップに対して、
    前記ビジュアルマップの特徴点に対して三角測量ステップを実行し、前記特徴点の３次元座標を確定することと、
    前記特徴点及び姿勢情報に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを実行し、更新後の特徴点及び姿勢情報を取得することと、
    前記更新後の特徴点に対してＲＡＮＳＡＣに基づいた三角測量ステップを実行し、前記特徴点のうちのミスマッチング点を削除し、２回目更新後の特徴点を取得することと、
    前記更新後の姿勢情報及び前記２回目更新後の特徴点に対して、視覚的制約及び相対的姿勢制約に基づいたグローバルバンドル調整最適化ステップを再度実行し、２回目更新後の姿勢情報と３回目更新後の特徴点を取得することと、
    前記２回目更新後の姿勢情報と３回目更新後の特徴点に基づいて、更新後のビジュアルマップを確定することと、
    を実行するように構成された地図更新ユニットをさらに備える請求項７〜１１のいずれか１項に記載の装置。
13. １つ以上のプロセッサと、１つ以上のプログラムが記憶されているメモリとを備えており、
    前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに請求項１〜６のいずれか１項に記載の方法を実現させる電子機器。
14. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
    前記プログラムがプロセッサにより実行されると、請求項１〜６のいずれか１項に記載の方法が実現されるコンピュータ可読記憶媒体。
15. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜６のいずれか一項に記載の方法が実現されるコンピュータプログラム。

Images