JP2021149972A - パノラマ画像においてランドマークを識別する方法、装置および記憶媒体 - Google Patents

Abstract

【課題】本発明はパノラマ画像においてランドマークを識別する方法、装置および記憶媒体を提供する。【解決手段】該方法は、パノラマ画像に対して投影変換を行うことにより投影画像を生成し；前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；前記校正されたランドマーク領域からランドマークを識別することを含む。本発明に開示されたパノラマ画像においてランドマークを識別する方法によれば、パノラマ画像におけるランドマークの識別の効率および精度を向上させることができる。【選択図】図２

Description

本発明は画像処理に関し、具体的には、パノラマ画像においてランドマークを識別する方法、装置および記憶媒体に関する。

近年、パノラマ技術は画像処理に広く応用されている。パノラマ映像は、広角表現手段や絵画、写真、ビデオ、３次元モデルなどの形式により、撮影者周囲の環境をできるだけ豊かに表現される。ユーザが撮影したパノラマ画像には、観光地やホテル、彫刻など種々のランドマークが含まれている場合がある。これらのランドマークを識別してラベル付けることにより、ユーザにリアルな臨場感とインタラクティブな感覚を与えることができる。

既存のランドマーク識別モデルの多くは一般的な画像に適用され、良好な識別効果が得られる。しかし、パノラマ画像に歪み効果があるため、既存のモデルでランドマークを識別する際に大きな誤差が生じる。このため、従来は、パノラマ画像におけるランドマークの識別は人手による判断に頼る場合が多く、即ち、人手を介して撮影されたパノラマ画像とデータベース中の大量の既知のランドマークを照合する。このため、識別の効率および精度が比較的低い。

そのため、パノラマ画像中のランドマークを自動識別し、パノラマ画像における歪み効果に対応可能なランドマーク識別技術が必要である。

本発明の目的は、パノラマ画像においてランドマークを識別する方法、装置および記憶媒体を提供することにある。

本発明の一つの面は、パノラマ画像においてランドマークを識別する方法であって、パノラマ画像に対して投影変換を行うことにより投影画像を生成し；前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；前記校正されたランドマーク領域からランドマークを識別することを含む方法を提供する。

本発明のもう一つの面は、パノラマ画像においてランドマークを識別する装置であって、プロセッサ、およびコンピュータプログラム指令を記憶する記憶装置を備え、前記プロセッサは前記コンピュータプログラム指令を実行することにより、パノラマ画像に対して投影変換を行うことにより投影画像を生成し；前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；前記校正されたランドマーク領域からランドマークを識別するステップが実現される装置を提供する。

本発明の更にもう一つの面は、パノラマ画像においてランドマークを識別する装置であって、パノラマ画像に対して投影変換を行うことにより投影画像を生成する投影変換ユニットと、前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定する画像分割ユニットと、前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成する歪み構成ユニットと、前記校正されたランドマーク領域からランドマークを識別するランドマーク識別ユニットと、を含む装置を提供する。

本発明の更にもう一つの面は、コンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム指令が記憶され、前記コンピュータプログラム指令が実行されることにより、パノラマ画像に対して投影変換を行うことにより投影画像を生成し；前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；前記校正されたランドマーク領域からランドマークを識別するステップが実現される記憶媒体を提供する。

以下、これらの面および／又はその他の面および優れる点をより明確且つ分かり易くなるように、図面を参考して本発明の実施例を詳細し説明する。
本発明の実施例を適用可能な、パノラマ画像においてランドマークを識別する技術を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法を示すフローチャートである。 小惑星射影変換の原理を示す図である。 異なる投影画角でパノラマ画像に対して投影変換を行うことを示す図である。 本発明の実施例にかかる、パノラマ画像においてランドマークを識別する方法において、投影画像に対して語彙分割を行う方法例を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、投影画像に対して行われる語彙分割を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、ランドマーク領域における歪みを校正する方法例を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、ランドマーク領域における歪みの校正を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、ランドマーク領域における歪みを校正した結果を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、校正されたランドマーク領域におけるランドマークを識別する方法例を示す図である。 本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、既知のランドマーク画像からランドマーク画像候補の確定を示す図である。 本発明の実施例にかかる、パノラマ画像においてランドマークを識別する方法において、ランドマーク領域とランドマーク画像候補から特徴の抽出およびマッチングを示す図である。 本発明の実施例にかかる、パノラマ画像においてランドマークを識別する装置のハードウェア構成を示すブロック図である。 本発明の実施例にかかる、パノラマ画像においてランドマークを識別する装置の構成を示すブロック図である。

まず、図１を参照して本発明の実施例が適用されたパノラマ画像においてランドマークを識別する技術を説明する。図１の左図に示すように、ユーザは街並みをパノラマカメラで撮影する。街並みのシーンには道路や車両などの様々な路面物体や建物などのランドマークが含まれる。街並みのシーンからランドマークを識別しマーキングすることにより撮影される内容が豊富になることができる。例えば、街並シーンにおけるランドマークを検出して、撮影したパノラマ画像における建物のランドマークである「北京飯店」を識別する。そして、図１の右図に示すように、識別されたランドマークにラベル付けすることにより、面白さおよびユーザとのインタラクション性を向上させることができる。しかし、上記したように、パノラマ画像に歪み効果があるため、既存の認識方法を用いる場合に、大きな誤差が生じえる。このため、現在、パノラマ画像においてランドマークの識別方法は人手による判断に多く依存しているが、その場合に識別の効率と精度は比較的に低い。

本発明は、上記を鑑みて、パノラマ画像において、パノラマ画像の歪みに影響されずにランドマークを自動に識別するために、画像語彙分割および歪み解消に基づくパノラマ画像識別技術を提案し、パノラマ画像に対して投影変換、語彙分割を行うことにより、投影画像から路面領域とランドマーク領域を確定し、また、ランドマーク領域に歪み解消のための校正処理を行い、更に、歪み解消されたランドマーク領域に対して識別を行うことにより、パノラマ画像におけるランドマークの識別の効率および精度が向上される。

ここで、説明するために、街並みシーンを撮影して得たパノラマ画像を例にとってパノラマ画像においてランドマークを識別する技術を説明するが、これは例に過ぎず、本発明を限定するものではない。例えば、パノラマトラベル、ロボットパノラマ視覚、没入型フィットネススポットなどの様々なシーンに適用することができる。以下は、図と例を参照して、パノラマ画像においてランドマークを識別する方法と装置を詳細に説明する。

本実施例では、パノラマ画像においてランドマークを識別する方法が提供される。図２は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法を示すフローチャートである。本発明の実施例にかかるランドマーク識別方法は、ユーザに撮影されるパノラマ画像またはパノラマビデオにおける一つまたは複数のフレームに適用させてその中のランドマークを識別する。また、本発明の実施例では、ランドマークは路面以外のランドマークの特徴を持つ建物や物体、例えば観光スポット、ホテル、映画館、彫刻などである。以下、図２を参照して、パノラマ画像においてランドマークを識別する方法を詳しく説明する。

図２に示すように、手順Ｓ１０１で、パノラマ画像に対して投影変換を行うことにより投影画像を生成する。本発明の実施例では、例えば、正距円筒状投影、立方体マップ投影、魚眼投影、円筒投影、小惑星投影（リトルプラネット）など、様々な投影方式を用いてパノラマ画像に対して投影変換を行うことができる。説明を容易にするために、以下は投影変換として小惑星投影方法を例に説明する。

図３に小惑星射影変換の原理図を示す。パノラマ画像に対して小惑星射影変換は主に以下のステップを含む。まず、パノラマ画像を経緯展開法で球面に貼り付ける。図３に示す水平線と垂直線を例に、実際のシーンにおける水平線を緯度線に対応させ、実際のシーンにおける垂線を緯度線に対応させて貼り付ける。次に、投影点から一定の投影視角（ＦＯＶ）に沿って球面上の座標を投影面における円内に投影する。これによって投影画像を得る。具体的な小惑星投影の変換方式について、本領域で周知されているため、ここで説明を省く。

本発明者は、パノラマ画像に対して小惑星投影変換を行う際に、投影点および投影画角の選択が投影変換に続くランドマークの識別の精度に影響することを見出した。例えば、図３に示すように、投影点の距離が長くなると（南極点または北極点に対する投影面）、または、投影画角が広くなると、対応する投影画像内の天空画素の割合の範囲が大きくなる。これにより、ランドマークが位置する領域の空間が比較的に大きく、ランドマークに関する特徴をより正確かつ十分に抽出することが保証される。図４はパノラマ画像に対して同一の投影点で異なる投影画角により行われる投影変換を示す図である。図４において、左側に撮影されたパノラマ画像を示し、右側に、いずれも北極点を投影点として、球面に対して南極点投影中心に接する投影面に投影したものの、異なる投影視角により投影した２つの投影画像を示す。図４の右側に、一個目の投影画像において、ランドマークの有効面積が小さいため、抽出されたランドマークに関する特徴は正確性が足りない可能性がある。これに対して、図４の右側の二個目の投影画像において、ランドマーク領域が位置する空間が比較的に大きく、ランドマークに関する特徴を比較的に正確且つ十分に抽出することが可能であるため、後続するランドマークの識別に有利である。本発明の実施例では、天空画素の投影画像における割合に基づいて投影変換の投影点および投影画角を確定することは好ましい。例えば、投影画像において天空画素の占める割合に応じて投影点と投影視野角を適宜に決定する。例えば投影点と投影画角に応じて投影画像において天空画素が占める割合を得ることにより、投影点と投影画角を適切に決定することにより、路面領域を狭くランドマークが所在する領域の空間比を較的大きくする。これにより、ランドマークに関する特徴をより正確かつ充分に抽出する。具体的に例えば、投影変換の投影点と投影画角を選択することにより、投影画像において天空画素の占める割合が例えば５０％を超える。

図２を戻る。手順Ｓ１０２で、前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定する。上記のように、パノラマ画像には、路面上の車両や標識、および路面外の様々な建物のランドマークなどが含まれている場合がある。ランドマークを正確に識別するためには、１つの方法として、可能な限り路面上の物体による検出結果への影響を最小限に抑えるために、ランドマーク区域と路面区域を確定する。本発明の実施例では、語彙分割を用いて投影画像に対して視覚処理を行い、投影画像中の各視覚要素が持つ高度な語彙特性に基づいて、そのリアルシーンにおける意味をより深く理解することにより、正確かつ効率的な分割を行う。次に、小惑星投影変換された投影画像を例にとり、図５と図６に参照して詳細に説明する。

図５は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において投影画像に対して語彙分割を行う方法例を示す図である。図５に示すように、ステップＳ１０２１では、投影画像において円弧と放射線を検出する。上記の小惑星投影変換の原理により、投影画像における円弧は実際の画像における水平線を表し、投影画像における放射線は実際画像における垂直線を表すことが分かる。このため、実際のシーンにおいてランドマークの輪郭を表す水平線と垂直線の捜査は、投影画像において円弧と放射線を捜査することに当たる。投影画像において円弧や放射線の検出は、従来のコンピュータ視覚処理法やディープラーニング手法などを用いてよく、本文は特に限定しない。

ステップＳ１０２２では、円弧と放射線の語彙特性に基づいて検出された円弧と放射線に対してフィルターリングを行い、フィルターリングされた円弧と放射線に基づいて前記投影画像においてランドマーク区域と路面区域を確定する。路面領域における車線や路肩なども投影画像において円弧と放射線により示されるため、ステップＳ１０２１で検出された円弧と放射線にランドマーク領域に対応しないノイズ円弧と放射線が含まれる場合があるため、その後のランドマーク識別結果に影響を与える。そのため、円弧と放射線により表れる語彙特性に基づいてフィルターリングおよび語彙分割を行う必要がある。本ステップでは、例として、円弧と放射線の語彙特性に基づいて、投影中心を円心としない円弧と投影中心から放射されない放射線を、フィルターリングを介して取り除く。

前述のように、実際シーンにおける水平線は投影画像における円弧に対応して実際シーンにおける垂直線は投影画像における放射線に対応するため、路面領域以外のランドマークについて、水平線に対応する円弧は投影面の投影中心を円心になり、また、垂直線に対応する射線は投影面の当該投影中心から放射する（即ち、放射線の延長線は投影中心を通る）。この原理に基づいて、投影中心を中心としない円弧および投影中心から射出しない放射線をフィルターリングにより取り除くことができる。理解を容易にするために、以下では図６に参照して、上記フィルタ―リング処理の例について説明する。

図６の左図に検出された円弧と光線の例を示し、明らかにするために検出された放射線と円弧の一部のみを示した。図６の左図に投影中心を示している。検出された放射線を延長することにより、当該放射線がこの投影中心を通過するかを判断し、また、当該放射線が投影中心から射出するかを判断することにより、検出された円弧が前記投影中心を円心とする円の一部であるかを判断することができる。これにより、投影中心を円心としない円弧と、投影中心から放射されない放射線をフィルターリングにより取り除かれる。例えば、図６の中央図は上記フィルタ処理の例示的な結果を示しており、そのうち、フィルターリグにより投影中心を円心としないことで取り除かれる円弧を破線円弧で示す。

本発明の実施例では、検出された放射線と円弧の語彙特性に基づいて不適切な円弧や放射線をフィルタ―リングして取り除くために、上述の円弧と放射線が同一投影中心を共有することに基づいてフィルタ―リングを行う以外に、他のフィルタ規則を適用してもよい。例えば、半径が閾値より小さい円弧をフィルターリングして取り除いてもよい。図６の左図に示すように、投影画面において検出された２本の放射線の実際の起点（上記の延長後の始点ではない）に基づいて、ランドマークに対応し、閾値としての最小半径を持つ円弧が特定される。半径が該閾値によりも小さい円弧は、ランドマークに対応する可能性が小さく路面領域に属し得ることから、フィルターリングによって取除く。また、別の例では、道路を表す円弧は隣接する円弧と先端および末端にて接続して閉鎖領域を構成するのに対して、路肩や歩道などに対応するノイズ円弧は投影画像において隣接する円弧を有しない孤立円弧で表されることで閉鎖領域を構成されないことは一般的であるから、投影画像における孤立円弧をフィルターリングして取り除いてもよい。なお、本発明の実施例では、前記フィルタ規則の一つ或は複数を順次に併用して、円弧と放射線の語彙特性に基づいてランドマーク領域に対応しないノイズの円弧および放射線を取除くことにより、路面領域によるランドマークの検出精度への影響が減少される。

次に、フィルターリングされた円弧と放射線に基づいて路面領域とランドマーク領域の分割を行う。具体的には、フィルターリングされた円弧により構成される閉鎖領域を路面区域として確定し、フィルターリングされた放射線と円弧により前記閉鎖区域以外で構成される扇形区域をランドマーク領域として確定する。例えば、図６の右図に示したように、フィルターリングされた各隣接円弧が接続して構成される閉鎖領域を路面区域として確定し、フィルターリングされた円弧と放射線が前記閉鎖領域以外で構成る扇形区域をランドマーク区域として確定する。例えば２本の放射線、実際の起点によって確定される最小半径の円弧および放射線終点によって確定される最大半径の円弧より構成する扇形区域をランドマーク区域として確定する。

図２に戻る。ステップＳ１０３で、ランドマーク領域の歪みを校正することにより校正されたランドマーク領域を形成する。上記したように、パノラマ画像の歪み効果はランドマークの識別に大きな誤差を生じさせる。本発明の実施例では、パノラマ画像歪みによるランドマークの識別精度への影響を避けるために、語彙分割されたランドマーク領域に対して歪み解消のための校正処理が行われる。以下、小惑星射影変換を経て語彙分割されたランドマーク領域を例に、図７−図９に参照して校正処理について詳細説明する。

図７は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、ランドマーク領域における歪みを補正する例を示す。

図７に示すように、ステップＳ１０３１で、前記ランドマーク領域における各円弧の上の画素点を対応する直線に投影する。上述したように、投影画像における円弧は実際シーンにおける直線に対応する。このため、前記ステップＳ１０３１でランドマーク領域内の各円弧上の画素点を対応する直線に投影することにより、小惑星投影方式により導入される歪みが取り除かれる。例えば、図８に示すように、確定されたランドマーク領域における円弧毎に、円弧における画素点を対応する直線に投影することにより、扇形のランドマーク領域から台形のランドマーク領域が生成される。

ステップＳ１０３２で、各直線に投影された画素点に対してデータ圧縮を行うことにより校正されたランドマーク領域を生成する。具体的には、図８に示す扇形のランドマーク区域における各円弧と、台形のランドマーク領域における各直線は、実際のシーンにおいて同一のランドマークに同じ長さで対応する。この原理に基づき、ステップＳ１０３１で得られた台形領域中の各直線に対してデータ圧縮を行い、各直線における画素点の数が同じくなる。例えば、図８に示すように、１本の直線上のセグメントにおける６つの画素点を２つのデータポイントに圧縮することで、データ圧縮された各直線に同じ数のデータポイントを含むことを確保することにより、校正された矩形のランドマーク領域が得られる。図９は、図７に示す方法例によりパノラマ画像における一つのランドマークに対して歪み校正を行い、歪み校正されたランドマーク領域を生成した結果として、校正されたランドマーク領域におけるランドマークに歪み効果がほぼ解消されたことを示す。

以上は小惑星投影法を例として、パノラマ画像に対して射影変換を経て語彙分割および校正の処理を行うことについて説明した。小惑星射影変換が行われた後に路面領域が投影平面内の投影中心の近傍に集中する。このため、語彙特性に基づいて路面領域とランドマーク領域を分離することができる。また、円弧と放射線のフィルタ規則により路面領域によるランドマーク識別結果への影響を解消し、ランドマーク識別の精度を改善することが可能である。なお、他の投影方式の場合でも同様に、投影画像における他の画像要素に基づいてその幾何特性に合わせて語彙分割処理および校正処理を行うことにより、高次階層の語彙特性に基づいて歪みを解消したランドマーク領域を確定することができる。本発明の実施例は、投影変換方式と具体的な校正処理方法を限定しない。

図２に戻る。ステップＳ１０４では、校正されたランドマーク領域においてランドマークを識別する。このステップでは、歪み効果を取り除いたランドマーク領域においてランドマークの検出を行い、あらかじめ作成したデータベースにおける既知のランドマークから検出されたランドマークに最もマッチングするランドマークを特定する。これらのランドマークの検出およびマッチング処理は、ランドマークを識別するために様々な既知モデルと方法で行うことできるが、特に限定しない。一例として、本発明の実施例では、校正されたランドマーク領域において大まかなランドマーク検出と正確なランドマーク検出の２段階検出を行う。具体的には、あらかじめ作成したデータベースには既知のランドマークが多く含まれる。ランドマーク毎に、背景環境、撮影画角、照明条件などに大きく相違し複数ある既知画像が対応付けられる。このため、大量の既知画像から撮影されたランドマークにマッチする画像を検索することは、コンピュータの処理能力に対して大きな課題である。上記の２段階処理は、既知のランドマークを検索する際に計算リソースを節約することができる。以下、図１０−図１２に参照して、校正されたランドマーク領域においてランドマークを識別する方法例を詳細に説明する。

図１０は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法において、校正されたランドマーク領域でランドマークを識別する方法例を示す。図１０に示すように、ステップＳ１０４１では、複数の既知画像から候補ランドマーク画像を確定するために、複数の既知画像と校正されたランドマーク領域との類似度に基づいてランドマーク検出を大まかに行う。このステップでは、従来のコンピュータ視覚処理手法およびディープラーニング手法を用いてランドマーク検出を行い、校正されたランドマーク領域と既知ランドマーク画像との類似度、または訓練されたニューラルネットワークに基づいて、校正されたランドマーク領域の分類器に出力することにより、校正されたランドマーク領域に可能なランドマークが存在するかどうかを特定し、且つ多くの既知ランドマーク画像からパノラマ歪みが取り除かれたランドマーク領域と類似する一つまたは複数の候補ランドマーク画像を確定する。一例として、予め作成された多くの既知ランドマーク画像を含むデータベースに基づいて、訓練されたＦａｓｔｅｒ ＲＣＮＮモデルにより校正されたランドマーク領域を検測し、該モデルの分類器の結果に基づいて、該ランドマーク領域にランドマークが含まれているかどうかを判断し、そのデータベースから１つまたは複数の候補ランドマーク画像を大まかに特定する。

図１１に、本発明の実施例にかかるパノラマ画像においてランドマークを識別する手法において、既知のランドマーク画像から候補ランドマーク画像を識別する例を示す。この例では、校正されたランドマーク領域と複数の既知ランドマーク画像を訓練されたＦａｓｔｅｒ ＲＣＮＮモデルとして入力して、モデルにより校正されたパノラマ領域を分類することにより、パノラマ画像に映るランドマークに対応する候補ランドマーク画像を、複数の既知画像から識別する。校正されたランドマーク領域に天空や雲など一部の背景環境が含まれている場合があり、且つ校正されたランドマーク領域とデータベースにおける既知の画像の背景環境、撮影角度、照明条件などとが異なる場合があるため、モデルを適用する際に、好ましくは、校正されたランドマーク領域および既知ランドマーク画像からそれぞれランドマークの最小外接矩形フレームを更に確定する（図１１に示す矩形フレームのように）。これにより、背景要素の差異がランドマークマッチングに与える影響が排除される。

図１０に戻って、ステップＳ１０４２において、校正されたランドマーク領域と各候補のランドマーク画像とで特徴をマッチングし、特徴のマッチング結果に基づいてランドマーク領域におけるランドマークを識別する。このステップでは、校正されたランドマーク領域に対して大まかな検出した後、得られた候補ランドマーク画像の範囲内でランドマーク検出をより正確に行う。具体的には、校正されたランドマーク領域を各候補ランドマーク画像１１にそれぞれマッチングすることにより、最もマッチする候補ランドマーク画像に対応するランドマークを識別されるランドマークとする。このステップでは、校正されたランドマーク領域と各候補ランドマーク画像に対して特徴抽出とマッチングを、様々な適切な方法で直接に行うことができる。また、校正されたランドマーク領域とステップＳ１０４１で得られた各候補ランドマーク画像の解像度はそれぞれ異なる場合に、スケールの差異が画像マッチング結果に影響を与える可能性があるため、このステップでは、校正されたランドマーク領域と各候補ランドマーク画像とをリサイズして同一の解像度にした後に、特徴抽出およびマッチングを行うことが望ましい。なお、上記のように、校正されたランドマーク領域と既知のランドマーク画像から更に、ランドマークの最小外接矩形枠をそれぞれ決定した場合には、決定されたランドマークの最小外接矩枠を基に、画像を拡大縮小してもよい。

上記の校正されたランドマーク領域と各候補ランドマーク画像を同一解像度にリサイズする方法では、ＤＥＬＦ、ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＥＦ、ＧＩＳＴ、ＶＬＡＤなどの演算子の１つまたは複数を用いて、マッチングするリサイズされたランドマーク領域と各候ランドマーク画像のそれぞれにおける特徴を抽出することにより、２つの画像でマッチングする特徴点を特定する。

図１２は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法においてランドマークと候補ランドマーク画像から特徴を抽出してマッチングする例を示した図である。この例では、訓練されたＤＥＬＦモデルを使用して、校正されたランドマーク領域と各候補ランドマーク画像とでマッチングする特徴点を決定する。具体的には、ＤＥＬＦモデルにより、マッチングする校正されたランドマーク領域と各候補ランドマーク画像の２枚の画像について、それぞれ特徴点が得られると共に、画像間でマッチングする特徴点を特定することができる。例えば、図１２のマッチング結果に示すように、この２枚の画像でマッチングする特徴点を端点とするセグメントが接続される。このＤＥＬＦモデルは、候補ランドマーク画像毎に、校正されたランドマーク領域にマッチする特徴点を得ることができる。

前記校正されたランドマーク区域と各候補ランドマーク画像との間にマッチング特徴点が識別された後、これらマッチングする特徴点の数、割合、分布および平均特性の中の少なくとも一つに基づいて、前記校正されたランドマーク区域と一致度が最も高い候補ランドマーク画像を選択し、一致度が最も高い候補ランドマーク画像におけるランドマークを前記ランドマーク領域におけるランドマークとして識別する。一例として、マッチング特徴点の数が閾値より高い候補ランドマーク画像から、マッチング特徴点の数が最も多い候補ランドマーク画像を選択して、校正されたランドマーク区域のランドマークとして識別する。他の例では、マッチング特徴点数の総特徴点数における割合が閾値を超える候補ランドマーク画像から当該割合が最も高い候補ランドマーク画像を選択し、校正されたランドマーク区域におけるランドマークとして識別する。また、もう一例では、特徴点が過度に分散するマッチング結果を避けるために、マッチング特徴点の均一度が閾値より高い候補ランドマーク画像から、マッチング特徴点数が最も多くおよび／またはマッチング特徴点の割合が最も高い候補ランドマーク画像を選択し、校正されたランドマーク領域におけるランドマークとして識別する。更に一例では、データベースから特定された候補画像に同一の既知ランドマークに対応する候補画像が複数ある場合、異なる撮影条件等による同一の既知ランドマークへの影響に応じられるように、データベース内に同一の既知ランドマークの平均特徴を均衡にするために、同一の既知ランドマーク画像に対応する候補ランドマーク画像をグループ分けし、グループ毎に候補既知ランドマーク画像のマッチング特徴点の数および／またはマッチング特徴点の割合の平均を計算し、算出されたマッチング特徴点の数および／またはマッチング特徴点の割合の平均値に基づいて、最もマッチングする候補ランドマーク画像を選択する。

本発明の実施例では、前記例示したいずれか１つまたは複数の組合せを採用し、校正されたランドマーク領域と各候補ランドマーク画像とのそれぞれのマッチング結果に基づいて、各候補ランドマーク画像中から最もマッチングする既知ランドマークを特定することにより、ランドマーク識別の正確性を向上させる。

以上、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法について、図に参照して説明した。この方法では、パノラマ画像に対して射影変換を行い、語彙分割を行うことで、路面領域とランドマーク領域を確定することにより、路面領域によるランドマーク識別への影響を減らし；ランドマーク領域に対して歪みを取除くための校正処理を行うことにより、パノラマ歪みによる識別誤差を減少し；歪みを取除いたランドマーク領域において、各種特徴マッチング規則により、最もマッチングする既知ランドマークを特定することにより、さらにパノラマ画像におけるランドマークの識別の効率と精度を向上させることができる。

なお、本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法は、先に述べたようにパノラマトラベル、ロボットパノラマ視角、没入式フィットネスなど様々なシーンに適用される。この方法によりパノラマ画像におけるランドマークを識別した後、パノラマ画像にランドマークの名称をラベル付けすることにより、面白さやユーザとのインタラクション性が向上される。

本実施例では、パノラマ画像においてランドマークを識別する装置が提供される。以下、図１３に参照し、パノラマ画像においてランドマークを識別する装置１３００を説明する。

図１３は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する装置のハードウェアブロック図を示す。この装置１３００は、図１３に示すように、プロセッサＵ１３０１とメモリＵ１３０２を含む。

プロセッサＵ１３０１は、本発明の各実施例にかかる機能を実現する任意の処理能力を持つ装置である。例えば、ここで述べた前記機能を実現する汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）またはその他のプログラマブル論理デバイス（ＰＬＤ）、離散ゲートあるいはトランジスタ論理、離散的ハードウェアコンポーネントあるいはそれらの任意の組合せである。

メモリＵ１３０２は、ランダムアクセスメモリ（ＲＡＭ）および／または高速キャッシュメモリなどの揮発性メモリ形式のコンピュータシステム読取り可能な媒体を含む。また、ハード・ドライブ、フロッピー・ドライブ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど他のリムーバブル／非リムーバブルや揮発性／非揮発性コンピュータシステムメモリを含んでもよい。

本実施例では、メモリＵ１３０２にはコンピュータプログラム指令が格納されており、プロセッサＵ１３０１はメモリＵ１３０２に格納されている指令を実行することができる。前記コンピュータプログラム命令が前記プロセッサにより実行される時に、前記プロセッサは本発明の実施例にかかるパノラマ画像においてランドマークを識別する方法を実行する。パノラマ画像においてランドマークを識別する方法は前文で述べた図１−１２に示したものとほぼ同様であるため、重複を避けるためには説明しない。

本発明のもう一つの面によれば、パノラマ画像においてランドマークを識別する装置を提供する。以下、図１４に参照してパノラマ画像においてランドマークを識別する装置１４００を詳細に説明する。

図１４は、本発明の実施例にかかるパノラマ画像においてランドマークを識別する装置の構成を示すブロック図である。図１４に示すように、装置１４００は投影変換ユニットＵ１４０１、画像分割ユニットＵ１４０２、歪み校正ユニットＵ１４０３およびランドマーク識別ユニットＵ１４０４を含む。各手段はそれぞれ上に図１−１２で説明したパノラマ画像においてランドマークを識別する方法の各ステップ／機能をそれぞれ実行することができる。重複を避けるために、以下に装置のみを簡単に説明するが、同様な詳細について記述を省略する。

投影変換ユニットＵ１４０１はパノラマ画像に対して投影変換を行うことにより投影画像を生成する。射影変換ユニットＵ１４０１により変換されるパノラマ画像は、ユーザが撮影したパノラマ画像、またはパノラマ映像における１つまたは複数のフレームであり、識別するランドマークを含む。投影変換ユニットＵ１４０１は例えば、正距円筒状投影、立方体マップ投影、魚眼投影、円筒投影、小惑星投影など、様々な投影方式を用いて、パノラマ画像に対して投影変換を行う。説明を容易にするために、以下は投影変換として小惑星投影方法を例に説明する。本発明の実施例では、投影変換ユニットＵ１４０１は天空画素の投影画像における割合に基づいて、投影変換の投影点および投影画角を適宜に決定することで、路面区域を比較的に小さくて、ランドマークに位置する空間は比較的に大きくすることにより、ランドマークに関する特徴をより正確かつ充分に抽出する。具体的に例えば、投影変換の投影点と投影画角を選択することにより、投影画像において天空画素の占める割合が例えば５０％を超える。

画像分割ユニットＵ１４０２は、前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定する。画像分割ユニットＵ１４０２は、ランドマークを正確に識別し、路面上の物体の検出結果への影響を最小限に抑えるために、語彙分割を用いて投影画像に対して視覚処理を行い、投影画像中の各視覚要素が持つ高度な語彙特性に基づいて、そのリアルシーンにおける意味をより深く理解することにより、正確かつ効率的な分割を行う。本実施例では、小惑星投影変換方式を例にとり、画像分割ユニットＵ１４０２は前記投影画像から円弧と放射線を検出し、かつ円弧と放射線の語彙特性に基づいて検出された円弧と放射線に対してフィルターリングを行う。例えば、投影中心を円心としない円弧、投影中心から射出しない放射線、半径が閾値より小さい円弧および孤立円弧、のような円弧と放射線の中の一つまたは複数をフィルターリングにより取り除く。その後、画像分割ユニットＵ１４０２はフィルターリングが施された円弧と放射線に基づいて、前記投影画像においてランドマーク領域と路面領域を確定する。例えば、フィルターリングを施された円弧を構成する閉鎖領域を路面区域として確定し、フィルターリングを施された放射線と円弧が前記閉鎖領域以外に構成される扇形区域をランドマーク区域として確定する。

歪み補正ユニットＵ１４０３はランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成する。上記したように、パノラマ画像に歪み効果によりランドマークの識別に大きな誤差を生じさせる。本発明の実施例では、語彙分割されたランドマーク領域を歪解消するための校正処理を行うため、パノラマ歪みによるランドマークの識別精度を損なうことは避けられる。本実施例では引き続き、小惑星投影方式を例として、歪み校正ユニットＵ１４０３は前記ランドマーク領域における円弧上の画素点を相応の直線に投影する。その後、歪み校正ユニットＵ１４０３は各直線に投影される画素点にデータ圧縮を行い、前記校正されるランドマーク領域を生成する。

ランドマーク識別ユニットＵ１４０４は前記校正されたランドマーク領域においてランドマークを識別する。本実施例では、ランドマーク識別ユニットＵ１４０４は、歪み効果が解消されたランドマーク領域においてランドマーク検出を行い、あらかじめ作成したデータベース中で既知ランドマークから検出されたランドマークに最もマッチするランドマークを特定する。一例として、ランドマーク識別ユニットＵ１４０４は複数の既知画像と前記校正されたランドマーク領域との類似度に基づいて大まかに検出することにより、前記複数の既知画像から候補ランドマーク画像を特定する。その後、ランドマーク識別ユニットＵ１４０４は前記校正されたランドマーク領域を各候補ランドマーク画像にそれぞれ特徴マッチングし、特徴マッチング結果に基づいて前記ランドマーク領域におけるランドマークを識別する。ランドマーク識別ユニットＵ１４０４は前記マッチング特徴点の数、割合、分布および平均特性の少なくとも一つに基づいて、前記校正されたランドマーク領域との一致度が最も高い候補ランドマーク画像を選択して前記ランドマーク区域中のランドマークとして識別する。

以上、図に合わせて本発明の実施例にかかるパノラマ画像においてランドマークを識別する装置について説明した。パノラマ画像においてランドマークを識別する装置は、パノラマ画像に対して投影変換、語彙分割を行うことで、路面領域とランドマーク領域を確定することにより、路面領域によるランドマーク識別への影響を減少することができる；また、ランドマーク領域に対して歪みを取り除くための校正処理により、パノラマ歪みによる識別誤差を減少する。更に、歪みが取り除かれたランドマーク領域内で各種特徴マッチング規則により最もマッチングする既知ランドマークを特定することにより、パノラマ画像におけるランドマークの識別効率および精度を向上させることができる。

また、本発明の実施例にかかるパノラマ画像においてランドマークを識別する機器は、先に述べたように、パノラマトラベル、ロボットパノラマ視覚、没入式フィットネス場所など様々なシーンに適用され、この装置によりパノラマ画像におけるランドマークを識別した後、パノラマ画像に識別されたランドマークの名前をラベル付けすることにより、面白さやユーザとのインタラクション性が向上される。

本実施例では、コンピュータ読み取り可能な記憶媒体およびコンピュータプログラムが提供される。本発明にかかるパノラマ画像においてランドマークを識別する方法／装置は、上記の方法や装置を実現するプログラム指令を含むコンピュータプログラム製品を提供することによって実現され、またはそのようなコンピュータプログラム製品を格納する任意の記憶媒体により実現される。

以上、具体的な実施例に合わせて本発明の基本原理を述べたが、言及した利点、優位性、効果などは例に過ぎず、本発明を限定するものまたは必須なものではない。また、上記の具体的な詳細は、例示の役割と理解されるべき、本発明を限定するものまたは必須なものではない。

本発明にかかる部品、装置、設備、システムのブロック図は例に過ぎず、ブロック図に示される方式に従って接続、配布、配置することを説明または示唆する意図はない。例えば、当業者は、これらのデバイス、アプライアンス、デバイス、システムを任意の方法で接続、配置、構成することができる。「含む」、「含める」、「備える」などの文言は開放的な用語であり、「含まれるが、それに限定されない」を意味し、且つ互換可能である。また、文脈から明確に示されていない限り、ここで使用された「または」と「および」は「および／または」を意味し語感可能である。更に、ここで使用された「例えば」は、「例えばであるが、これに限定されない。」と互換性がある。

また、ここで用いたように、「少なくとも一つ」で始まる項の列挙に用いられる「または」は分離の例を挙げることにより、例えば「Ａ、ＢまたはＣの少なくとも一つ」の列挙「Ａ」または「Ｂ」若しくは「Ｃ」、「ＡＢ」または「ＡＣ」若しくは「ＢＣ」、「ＡＢＣ」（すなわちＡとＢとＣ）を意味する。最後に、「例示的」とは、説明した例であり、他の例より優れたものや好ましいと意味しない。

また、本発明にかかる装置と方法において、各手段または各ステップが分解および／又は組み合わせすることができるが、本発明に均等する技術と見なすべきである。

本発明分野の当業者は、本発明の方法と装置のすべてまたは一部を踏まえて、任意の計算装置（プロセッサ、記憶媒体など）または計算装置のネットワークで、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せにより実現することが可能である。前記ハードウェアは、前記機能を行うように設けられる汎用プロセッサ、デジタル信号処理装置（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）またはその他のプログラマブルロジックデバイス（ＰＬＤ）、離散ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネントまたはその任意の組み合わせである。汎用プロセッサはマイクロプロセサであってよく、これを替わりに、任意の商業的に入手可能なプロセサやコントローラ、マイクロコントローラ、またはステート・マシンであてもよい。プロセッサは、ＤＳＰやマイクロプロセッサの組み合わせなどのコンピューティングデバイスの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアとの相互運用性のある１つまたは複数のマイクロプロセッサ、またはその他の構成でもよい。上記ソフトウェアは、あらゆる形式のコンピュータ読取り可能な有形記憶媒体に記憶される。このコンピュータで読み取り可能な有形記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭなどのディスクストレージ、ディスクストレージ、またはその他のディスクストレージデバイス、またはコマンドやデータ構造を格納するために使用可能な目的のプログラムコードを持ち、コンピュータからアクセス可能な他の有形媒体であってよい。例えばここで使用されるコンパクトディスク（ＣＤ）、レーザディスク（ＣＤ）、オプティカル（光学式）ディスク、デジタルユニバーサルディスク（ＤＶＤ）、フロッピーディスク、Ｂｌｕｅ−ｒａｙ Ｄｉｓｃなどがある。

ここで述べた技術の様々な変更や置換、変更を、請求の範囲に限定される教示を逸脱することなく行うことが可能である。また、本発明の請求の範囲は、上記の処理、機器、製造、イベントの構成、手段、方法と動作の具体的な面に限定されない。ここで述べた対応する面とほぼ同じ機能を利用し、基本的に同じ結果を実現する従来また直後に開発される処理、機械、製造、イベントの校正、手段、方法、または動作を利用することができる。従って、本発明の請求範囲には、その範囲内に含まれるような処理、機械、製造、イベントの構成、手段、方法または動作が含まれる。

本発明分野の当業者は本発明の開示に基づいて本発明を再現又は利用することができる。またこれらの様々な変更は、当業者にとって容易であり、ここで定義した一般原理は本発明の範疇を逸脱しない限り他に適用することができる。このため本発明はここで示したものに限定されることなく、ここで開示される原理と新規な特徴と一致する最広い範囲に従っている。

以上は例示および説明を目的として説明してきた。なお、本発明の実施例をここで開示した形式に限定する意図はない。以上で複数の実施形態および実施例を示したが、変形、修正、変更、追加、およびサブコンビネーションは可能である。

Claims (11)

1. パノラマ画像においてランドマークを識別する方法であって、
   パノラマ画像に対して投影変換を行うことにより投影画像を生成し；
   前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；
   前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；および
   前記校正されたランドマーク領域においてランドマークを識別すること、を含む、方法。
2. 前記投影変換は小惑星投影変換である、請求項１に記載の方法。
3. 前記の、投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定することは、
   前記投影画像において円弧と放射線を検出し；および
   円弧と放射線の語彙特性に基づいて円弧と放射線に対してフィルターリングを行い、フィルターリングされた円弧と放射線に基づいて、前記投影画像においてランドマーク領域と路面領域を確定することを含む、請求項２に記載の方法。
4. 前記した、円弧と放射線の語彙特性に基づいて円弧と放射線に対してフィルターリングを行い、フィルターリングされた円弧と放射線に基づいて、前記投影画像においてランドマーク領域と路面領域を確定することは、
   円弧と放射線の語彙特性に基づいて、投影中心を円心としない円弧と、投影中心から放射しない放射線と、半径が閾値より小さい円弧と、孤立円弧とのうちから一つまたは複数の円弧と放射線をフィルターリングにより取り除き；および
   フィルターリングされた円弧により構成される閉鎖領域を路面区域として確定し、フィルターリングされた放射線と円弧により前記閉鎖区域以外で構成される扇形区域をランドマーク領域として確定することを含む、請求項３に記載の方法。
5. 前記の、ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成することは、
   前記ランドマーク領域における各円弧の上の画素点を対応する直線に投影し；および
   各直線に投影された画素点に対してデータ圧縮を行うことにより校正されたランドマーク領域を生成することを含む、請求項１または２に記載の方法。
6. 前記の、校正されたランドマーク領域においてランドマークを識別することは、
   複数の既知ランドマーク画像と前記校正されたランドマーク領域との類似度に基づいて前記校正されたランドマーク領域においてランドマーク検出を行うことにより、前記複数の既知ランドマーク画像から候補ランドマーク画像を特定し；および
   前記校正されたランドマーク領域と各候補ランドマーク画像とで特徴をマッチングし、特徴のマッチング結果に基づいてランドマーク領域におけるランドマークを識別することを含む、請求項１に記載の方法。
7. 前記した、校正されたランドマーク領域と各候補のランドマーク画像とで特徴をマッチングし、特徴のマッチング結果に基づいてランドマーク領域におけるランドマークを識別することは、
   前記校正されたランドマーク領域と各候補ランドマーク画像をリサイズして同一の解像度にし；
   リサイズされたランドマーク領域と各候補ランドマーク画像から特徴をそれぞれ抽出してマッチングすることにより、前記校正されたランドマーク領域と各候補ランドマーク画像とにおいてマッチングする特徴点を特定し；および
   前記のマッチングする特徴点の数、割合、分布および平均特性の中の少なくとも一つに基づいて、前記校正されたランドマーク領域と一致度が最も高い候補ランドマーク画像を選択し、一致度が最も高い候補ランドマーク画像におけるランドマークを前記ランドマーク領域におけるランドマークとして識別することを含む、請求項６に記載の方法。
8. パノラマ画像においてランドマークを識別する装置であって、
   プロセッサと、
   前記プロセッサに接続され、コンピュータプログラム指令を記憶しているメモリと、を含み、
   前記プロセッサは、前記コンピュータプログラム指令を実行することにより、
   パノラマ画像に対して投影変換を行うことにより投影画像を生成し；
   前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定し；
   前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成し；および
   前記校正されたランドマーク領域においてランドマークを識別するステップを実行する、装置。
9. パノラマ画像においてランドマークを識別する装置であって、
   パノラマ画像に対して投影変換を行うことにより投影画像を生成する投影変換ユニットと、
   前記投影画像に対して語彙分割を行うことによりランドマーク領域と路面領域を確定する画像分割ユニットと、
   前記ランドマーク領域における歪みを校正することにより校正されたランドマーク領域を生成する歪み構成ユニットと、
   前記校正されたランドマーク領域においてランドマークを識別するランドマーク識別ユニットと、を含む、装置。
10. コンピュータに、請求項１乃至６のうちのいずれか１つに記載の方法を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。

Images