JP2022040063A - 地理位置点の空間関係を抽出する方法及び装置 - Google Patents

Abstract

【課題】同一の地理位置点を含む２つの実景画像を用いて、当該地理位置点ペアの空間関係を抽出する方法、装置及びプログラムを提供する。【解決手段】方法は、各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定し、同一の端末装置により収集された、同一の地理位置点ペアを含む少なくとも２つの実景画像を取得し、同一の地理位置点ペアを含む少なくとも２つの実景画像の撮影パラメータを用いて、同一の地理位置点ペアの空間関係を確定する。抽出された地理位置点の空間関係は、より高い精度とカバー率を備えている。【選択図】図２

Description

本開示は、コンピュータ応用技術分野に関し、特にビッグデータ技術分野における地理位置点の空間関係を抽出する方法及び装置に関する。

地図の主な目標は、現実世界を描画し、ユーザの移動をより簡単にすることである。地理位置点の高精度の知識マップは、地図で地点を探したり、移動したりするユーザの核心的な要求を満たす基礎である。一方、地理位置点の空間関係は知識マップの必須要素の1つであり、地理位置点に対する補助的な説明を実現し、より正確な論理的な推論照会を実現することができる。

これに鑑み、本開示は、地理位置点の空間関係を抽出する方法、装置、デバイス及びコンピュータ記憶媒体を提供する。

第1の態様では、本開示は、各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定することと、同一の端末装置により収集された、同一の地理位置点ペアを含む少なくとも2つの実景画像を取得することと、前記少なくとも二つの実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係を確定することと、を含む地理位置点の空間関係を抽出する方法を提供する。

第2の態様では、本開示は、各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定する地理位置点抽出モジュールと、同一の端末装置により収集された、同一の地理位置点ペアを含む少なくとも2つの実景画像を取得し、前記少なくとも二つの実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係を確定する空間関係生成モジュールと、を備える地理位置点の空間関係を抽出する装置を提供する。

第3の態様では、本開示はさらに、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを備え、前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに上記のいずれか１項に記載の方法を実行させる電子デバイスを提供する。

第4の態様では、本開示はさらに、コンピュータに上記のいずれか１項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。

上記の選択可能な方法が有する他の効果は、以下で具体的な実施形態と合わせて説明する。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。ここで、
本開示の実施形態一が適用され得る例示的なシステムアーキテクチャ図を示す。 本開示の実施形態二により提供される主要な方法のフローチャートである。 本開示の実施形態二により提供される実景画像の実例図である。 本開示の実施形態三により提供される詳細な方法のフローチャートである。 本開示の実施形態三により提供される撮影パラメータを用いた地理位置点の座標の計算の概略図である。 本開示の実施形態四により提供される装置の構成図である。 本開示の実施形態に係る方法を実現するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

今まで、地理位置点の空間関係は、主に次の2つの方法で確定される。

第1の方法は、測位機能を有する装置から報告された地理位置点の座標を利用して自動的に生成することであるが、この方法は座標の精度に依存する一方、地理位置点の座標の誤差は一般的に数十メートルから100メートル以上であるため、この方法で生成された地理位置点の空間関係は不正確である。

例えば、数十メートルから数百メートルの誤差により、地理位置点の空間関係の誤差がいくつかの道路にまたがることを引き起こす可能性がある。

また、例えば、異なる装置が同一の地理位置点に対して報告する座標情報には一定の誤差や精度が異なる可能性があるため、一定範囲内の同名の地理位置点を独断的に重複除去すると、もともと距離が比較的近いチェーン機構を誤って損害する可能性がある。

2つ目の方法は、地理位置点の空間関係を人工的に標識することであるが、この方式は効率が悪く、カバー範囲が限られている。

これに対して、本開示の核心的な考え方は、標示板認識の方式を利用して画像に含まれる地理位置点を確定し、同一の端末装置によって収集された同一の地理位置点ペアを含む少なくとも2枚の画像の撮影パラメータを利用して、当該同一の地理位置点ペアの空間関係を確定することにある。以下で実施形態と合わせて本開示を詳細に説明する。

実施形態一
図1は、本開示の実施形態が適用され得る方法または装置の例示的なシステムアーキテクチャを示す。図1に示すように、システムアーキテクチャは、端末装置101、102、ネットワーク103、及びサーバ104を含むことができる。ネットワーク103は、端末装置101、102とサーバ104との間に通信リンクの媒体を提供する。ネットワーク103は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。

ユーザは、端末装置101、102を用いて、ネットワーク103を介してサーバ104とインタラクションすることができる。端末装置101、102には、地図型アプリケーション、ウェブブラウザアプリケーション、通信型アプリケーション等の各種アプリケーションをインストールすることができる。

端末装置101及び102は、地図型アプリケーションを実行することができる様々な種類のユーザ装置であってよい。スマートフォン、タブレット、PC、スマートテレビなどが含まれるが、これらに限定されない。本開示で提供される地理位置点の空間関係を抽出する装置は、上述したサーバ104内に設定されて動作することができ、またはサーバ104から独立した装置内で動作することができる。 これは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するために）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよいが、ここでは特に限定されない。 サーバ104は、地図データベース105とインタラクションすることができる。具体的に、サーバ104は、地図データベース105からデータを取得しても良く、地図データベース105にデータを記憶しても良い。地図データベース105には、POI情報を含む地図データが格納される。

例えば、地理位置点の空間関係を抽出する装置は、上述したサーバ104内に配置されて動作する。サーバ104は、本実施形態により提供される方法を用いて地理位置点の空間関係を抽出し、取得された地理位置点の空間関係を用いて地図データベース105を更新する。サーバ104は、端末装置101、102からの検索要求に応答して地図データベース105に検索し、地理位置点の空間関係に基づいて生成された情報を含む、検索された地理位置点の関連情報を端末装置101、102に返信することができる。

サーバ104は、単一のサーバであってもよく、複数のサーバからなるサーバ群であってもよい。また、サーバ104は、サーバとして存在することに加えて、より高い計算性能を有する他のコンピュータシステムまたはプロセッサであってもよい。理解すべきなのは、図1における端末装置、ネットワーク、サーバ、及びデータベースの数は、単なる例示的なものである。実現の必要に応じて、任意の数の端末装置、ネットワーク、サーバ、及びデータベースを有することができる。

本開示に係る地理位置点とは、地図型アプリケーションにおける地理位置点を指す。この地理位置点は、ユーザによる照会、閲覧、ユーザへの提示等に用いられることができる。これらの地理位置点には、緯度経度、名称、行政住所、タイプなどの基本的な属性の説明がある。ここで、地理位置点は、POI（Point Of Interest、関心地点）、AOI（Area of Interest、関心エリア）、ROI（Region of Interest、関心地域）等を含んで良いが、これらに限定されない。POIを例にして後続の実施形態で説明する。POIは地理情報システムの用語であり、一般的に点として抽象化できるすべての地理オブジェクトを指す。POIは、家、店舗、ポスト、バス停、学校、病院などであって良い。POIの主な目的は、事物またはイベントの位置を記述することにより、事物またはイベントの位置に対する記述能力及び照会能力を向上させることである。

実施形態二、
図2は、本開示の実施形態二により提供される主要な方法のフローチャートである。この方法は、図2に示されたように、以下のステップを含むことができる。

201では、各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定する。

本願では、端末装置が地理位置点を撮影して得られた実景画像を利用して、地理位置点の間の空間関係を確定する。従って、各端末装置が収集した実景画像を取得した後、実景画像に対して標示板認識を行って少なくとも2つの標示板を含む実景画像を選別することができる。そして、少なくとも2つの標示板を含む実景画像に対して標示板の文字認識を行い、実景画像に含まれる地理位置点ペアを確定する。本開示に係る地理位置点ペアは、2つの異なる地理位置点から構成される。

ここで、実景画像とは、端末装置が実地で地理位置点を撮影して得られた画像である。本開示で使用される実景画像は、後続で実景画像の撮影パラメータを用いて2つの標示板が対応する地理位置点の間の空間関係を確定するために、少なくとも2つの標示板を含む必要がある。標示板とは、地理位置点に対応する建物の門前に掲げて目印とする看板である。たとえば、店の前に出す店名の標示板、学校の前に出す学校名の標示板などである。

本ステップは、実際には実景画像から地理位置点ペアをマイニングする過程であり、例えば図3に示す実景画像から、地理位置点ペア（張一元茶荘、大明眼鏡）をマイニングする。この部分の具体的な実現については、後続の実施形態三で詳細に説明する。

202では、同じ端末装置により収集された、同じ地理位置点ペアを含む少なくとも2つの実景画像が取得される。

各実景画像の地理位置点ペアをマイニングした後、各地理位置点ペアを用いて実景画像の転置インデックスを作成することができる。このステップは、転置インデックスを検索することにより同一の地理位置点ペアの実景画像を取得することができるが、取得された実景画像が同一の端末装置により取得されたものであり、且つ数が少なくとも2枚であることを確保する必要がある。

203では、少なくとも2枚の実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係が確定される。

このステップに係わる撮影パラメータとして、主に、1）実景画像の測位座標と、2）実景画像における地理位置点ペアの標示板に対する撮影角度と撮影距離とを含む。実景画像の測位座標とは、その実景画像を撮影した撮影箇所の座標であり、一般的に端末装置が画像撮影を行う際には、端末装置の現在の測位座標を撮影画像の測位座標として取得する。

撮影装置の設定や機能上の理由により、上記の撮影パラメータを備えた実景画像もあれば、上記の撮影パラメータを備えていない実景画像もある。本願では、上述した撮影パラメータを有する実景画像のみを取得して利用することにより、地理位置点ペアの空間関係を確定する。

本ステップでは、主に実景画像の上述の撮影パラメータを利用して、例えば正弦定理及び余弦定理等の幾何関係に基づいて計算を行うことにより、地理位置点ペアにおける2つの地理位置点の座標を得、2つの地理位置点の座標に基づいて2つの地理位置点の空間関係を確定する。

本開示の実施形態に関連する空間関係の情報は、空間関係のタイプ及び値を含むことができる。空間関係のタイプには、主に、東、南、西、北、東南、東北、西南、北西、左、右、上階、下階など、いくつかの方位における空間関係のタイプが含まれて良い。値の取得には、距離の取得、フロアの取得などが含まれて良い。以上のことから分かるように、地理位置点の空間関係は相対的である。

以下で実施形態三と合わせて本開示に記載された方法の具体的な実施形態を詳細に説明する。

実施形態三
図4は、本開示の実施形態三により提供される方法の詳細なフローチャートである。当該方法は、図4に示されるように、以下のステップを含むことができる。

401では、各端末装置が収集した実景画像を画像ライブラリから取得する。

各端末装置が収集して報告した実景画像は、本願における地理位置点の空間関係を抽出するための基礎となる画像ライブラリに保存することができる。画像ライブラリに格納されている各実景画像には、撮影パラメータを備えているものも、備えていないものもあれば、一部の撮影パラメータを備えているものもある。本実施例では、実景画像から地理位置点ペアをマイニングする過程で利用される実景画像は、少なくとも実景画像の測位座標情報を備えており、さらに撮影時間情報を備えていることが要求されてもよい。その後、地理位置点の空間関係を確定する際には、実景画像にさらに撮影角度などの情報が要求される。

402では、実景画像に対して標示板判別を行い、少なくとも2つの標示板を含む実景画像を選別する。

端末装置が撮影した大量の実景画像の中には、標示板を含まない、又は標示板を1つだけ含む実景画像が存在する可能性があり、このような実景画像は本願における地理位置点の空間関係の確定に用いることができない。そのため、少なくとも2つの標示板を含む実景画像を選別する必要がある。

実景画像の標示板判別には、予め訓練された標示板判別モデルを利用することができる。まず、実景画像を領域分割し、実景画像中の標示板は一般的に閉領域であるため、実景画像に対して領域の認識及び分割を行うことができる。確定された閉領域について標示板判別モデルを入力し、標示板判別モデルにより当該閉領域が標示板領域であるか否かの判別結果を出力する。

このうち、標示板判別モデルは実際には分類モデルであり、事前にいくつかの実景画像を収集し、その中に標示板領域と非標示板領域をそれぞれポジティブサンプル、ネガティブサンプルとして標記した後に、分類モデルを訓練してこの標示板判別モデルを得ることができる。

403では、実景画像の間の測位距離に基づいて選別された実景画像をクラスタリングし、1つ以上の類似測位クラスタを得る。

端末装置は、同じ地理位置点を撮影する際に、撮影位置が比較的近いことが多いため、地理位置点ペアを抽出する際には、撮影位置が近い実景画像から抽出することを考慮することにより、計算量を低減する一方で、一部の実景画像に含まれる標示板表示であっても撮影位置が大きく異なる特殊な場合を排除することができる。例えば、端末装置は、北京西単商圏では「ホームリンク」と「審美美容整髪」という標示板を含む実景画像を撮影し、北京上地商圏では「ホームリンク」と「審美美容整髪」という標示板も含む実景画像を撮影した。チェーン店の標示板はいずれも同一又は類似しているため、この2枚の実景画像を用いてホームリンクと審美の2つの地理位置点の空間関係を確定すると、明らかに誤りを招く。このため、好適な実施形態としては、実景画像間の測位距離に基づいて実景画像をクラスタリングし、測位座標が近い実景画像をクラスタリングして地理位置点を抽出するようにしてよい。すなわち、各類似測位クラスタに含まれる実景画像は、撮影位置が比較的近いものである。

ここで、本開示は、クラスタリングに用いられる具体的な方式を限定するものではなく、例えばK-means、DBSCAN（Density-Based Spatial Clustering of Applications with Noise、密度によるクラスタアルゴリズム）、GMM（Gaussian Mixed Model、混合ガウスモデル）などのクラスタリング方式を採用してよい。

404では、各類似測位クラスタにおける画像をそれぞれコンテンツ類似度に基づいてさらにクラスタリングして1つ以上の類似コンテンツクラスタを得る。

本ステップでは、実際には撮影位置が近い実景画像から、同じ地理位置点を含む実景画像を抽出する。この中のクラスタリング処理は、それぞれの類似測位クラスタに対して実行される。

画像間の類似度計算は、画像の特徴に基づいて良い。例えば画像から回転不変、スケール不変の特徴を抽出して良く、例えばHarris Corner（焦点検出アルゴリズム）、SIFT（Scale-invariant feature transform、スケール不変特徴変換）アルゴリズム、SURF（Speeded Up Robust Features、加速ローブスト特徴）アルゴリズム等を用いて特徴の抽出を行う。そして、抽出された特徴間の類似度を計算することにより画像間の類似度を確定し、類似度が要求を満たすものを同一のクラスタにまとめる。

ある場合に、時間の経過とともに地理位置点が変化することがあり、例えば、いくつかの店舗が新しくオープンしたり、いくつかの店舗が場所を変えたりする。取得された地理位置点情報が最新であることを確保するために、本ステップでは、まず、各類似測位クラスタにおける画像を撮影時間ごとに分割して各時間帯に撮影された画像を得ることができる。次に、直近の時間帯に撮影された画像を選択し、同一の類似測位クラスタ内で直近の時間帯に撮影された画像を内容の類似度に基づいてクラスタリングする。

405では、各類似コンテンツクラスタ内の実景画像をそれぞれ標示板判別して標示板領域を確定する。

本ステップにおける標示板判別の仕方は、上述したステップ402と同様であり、ここでは言及しない。

406では、各実景画像において特定された標示板領域に対してID（識別子）一意化処理を行う。

ID一意化処理は、各実景画像において同一の標示板を指す標示板領域が同一のIDを採用することを目的とする。ここで、同一の標示板を指す標示板領域は、類似度に基づいて算出することができる。類似度計算は、同様に、標示板領域から回転不変、スケール不変の特徴を抽出し、例えばHarris Corner、SIFT、SURFアルゴリズムなどを用いて特徴抽出を行った後に、抽出された特徴間の類似度を計算することにより標示板領域間の類似度を確定することができる。標示板領域間の類似度が予め設定された類似度閾値を超えていれば、同一の標示板を指しているとみなし、同一のIDを採用する。異なる標示板を指す標示板領域は異なるIDを採用する。IDの割り当て方は本願では制限しない。

407では、各実景画像に含まれる標示板領域IDシーケンスを確定し、その中から頻出項シーケンスを取得する。

実景画像のそれぞれについて、予め設定された並べ順序に従って各標示板領域のIDを並べて実景画像の標示板領域IDシーケンスを得ることができる。例えば、左から右への順序が優先し、上から下への順序が補助することを採用する。例えば、各標示板領域の左上隅の画素点位置に基づいて左から右に各標示板領域IDを並べ、2つ以上の標示板領域の画素点位置が垂直方向で同じであれば、その2つ以上の標示板領域IDを上から下への順に並べればよい。もちろん、各標示板領域の左上隅の画素点位置に依存することに加えて、他の画素点位置に依存してもよく、例えば、統一的に各標示板領域の中心点の位置などに基づいて良く、主に採用される画素点位置を統一すればよい。

以上のシリアライズ処理を経て、類似コンテンツクラスタにおけるすべての実景画像にそれぞれ1つの標示板領域IDシーケンスが存在する。シーケンスパターンマイニングアルゴリズムを用いて、類似コンテンツクラスタにおけるすべての実景画像の標示板領域IDシーケンスをマイニングし、頻出項シーケンスを取得することができる。ここで、頻出項シーケンスが1つだけ存在する場合に、その頻出項シーケンスが保留される。頻出項シーケンスが複数存在する場合に、最も頻繁に出現する頻出項シーケンスを取得することができる。各頻出項シーケンスを＜ID₁,ID₂,ID₃,ID₄,…,ID_n＞として表記し、nを頻出項シーケンスに含まれるIDの数と表記する。

ここで、シーケンスパターンマイニングアルゴリズムは、例えばAprioriアルゴリズム（相関分析オリジナルマイニングアルゴリズム）、FreeSpanアルゴリズム（頻繁パターン投影マイニングアルゴリズム）、PrefixSpanアルゴリズム（FreeSpanから進化した別のアルゴリズム）などを採用することができるが、これらに限定されない。シーケンスパターンマイニングアルゴリズムは既存の成熟したアルゴリズムであるため、ここでは詳述しない。

408では、頻出項シーケンスにおける各IDに対応する標示板領域を文字認識する。

文字認識方式は、OCR（Optical Character Recognition、光学文字認識）などの既存の成熟した文字認識方式であってもよい。頻出項シーケンスにおける同一のIDに対応する標示板領域に対して複数の文字認識結果が認識された場合に、複数の文字認識結果の中から信頼度が最も高いものを選択する。

このうち、最も信頼度の高い文字認識結果を確定する際には、出現回数、出現頻度などに基づいて確定することができる。例えば、同一IDに対応する複数の文字認識結果のうち、出現回数が最も多いものを当該IDの文字認識結果とすることができる。頻出項シーケンスに対応する出現回数が最も多い文字認識結果は、シーケンスパターンマイニングアルゴリズムを用いて確定することもできる。

頻出項シーケンス＜ID₁,ID₂,ID₃,ID₄,…,ID_n＞により得られた文字認識結果は、＜(ID₁,TEXT₁),(ID₂,TEXT₂),(ID₃,TEXT₃),(ID₄,TEXT₄),…,(ID_n,TEXT_n)＞として表すことができる。

ここで、TEXTは文字認識結果を表す。

409では、頻出項シーケンスを含む実景画像に対しては、頻出項シーケンスからn-1個の地理位置点ペアを選択する。当該n-1個の地理位置点ペアからなる集合は当該頻出項シーケンスにおける全ての標示板IDに対応する地理位置点を含み、且つ各地理位置点ペアの実景画像における対応する標示板距離の和が最小である。ｎは頻出項シーケンスに含まれる標示板の数である。

例えば、頻出項シーケンスに4つの標示板ID、即ちID₁,ID₂,ID₃,ID₄が含まれていると仮定する。これらの4つの標示板IDは、非常に多くの方法で複数の地理位置点ペアの組み合わせに組み合わせることができる。しかしながら、本開示で上述のステップ409に適用される好ましい方法では、選択された地理位置点ペアの組み合わせは、＜(ID₁,ID₂),(ID₂,ID₃),(ID₃,ID₄)＞である。このような組み合わせ方式は、4つの標示板IDをすべて含み、且つID₁とID₂に対応する標示板距離と、ID₂とID₃に対応する標示板距離と、ID₃とID₄に対応する標示板距離との和が最小である。他の地理位置点ペアの間の空間関係は、実際には、これらの最も近い地理位置点ペアから導き出すことができる。例えば、ID₁とID₂に対応する地理位置点の間の空間関係、ID₂とID₃に対応する地理位置点の間の空間関係が確定されれば、ID₁とID₃に対応する地理位置点の間の空間関係を導き出すことができる。

本ステップにおける地理位置点ペアの選択方式は、最も近い地理位置点ペアの方式に基づいており、計算量を最小限に抑え、計算効率を向上させることができる。しかし、簡単に理解できるように、他の選択方法を採用することもできる。

410では、各地理位置点ペアを用いて、実景画像の転置インデックスが作成される。

転置インデックスを作成すると、地理位置点を使用して、その地理位置点を含む実景画像がどのようなものであるかを迅速に検索することができる。

411では、転置インデックスに検索を行い、同じ端末装置によって収集された、同じ地理位置点ペアを含む少なくとも2つの実景画像を取得する。

取得されたこれらの実景画像は、何れも実景画像の測位座標情報、撮影角度などの撮影パラメータを具備する必要がある。

412では、少なくとも2枚の実景画像の測位座標と、地理位置点ペアの標示板に対する撮影角度とを用いて、幾何関係に基づく計算を行って当該地理位置点ペアにおける2つの地理位置点の座標を求める。

図5を例にすると、同一の端末装置で撮影された2枚の実景画像に地理位置点Mと地理位置点Nからなる地理位置点ペアが含まれているとする。1枚目の実景画像における対応する撮影位置座標は撮影箇所Aであり、撮影角度から図中の角度αとβを求めることができる。 2枚目の実景画像における対応する撮影位置座標は撮影箇所Bであり、撮影角度から図中の角度γとδを求めることができる。2つの実景画像の測位座標から2つの撮影箇所間の距離xを求めることができる。

正弦定理により、地理位置点Mと撮影箇所Aとの距離P、地理位置点Nと撮影箇所Aとの距離Qを求めることができる。

これらの距離情報と角度情報、撮影箇所AとBの測位座標から、2つの地理位置点の座標を確定することができる。

説明すべきなのは、同一の端末装置では、同一の地理位置点ペア（M、N）を含む実景画像が3枚以上撮影されている可能性があるため、本ステップの方式により、実際には、2枚ずつの実景画像を用いて、上記地理位置点M及びNの複数の座標を確定することができる。このような場合には、確定された地理位置点Mの複数の座標に対して平均を求めたり、クラスタ中心を取ったり、中央値を求めたりする処理を行った後に、地理位置点Mの座標を得ることができる。同様に、確定された地理位置点Nの複数の座標に対して平均を求めたり、クラスタ中心を取ったり、中央値を求めたりする処理を行った後、地理位置点Nの座標を得る。

413では、2つの地理位置点の座標に基づいて、2つの地理位置点の空間関係が確定される。

2つの地理位置点の座標を求めた後、2つの地理位置点の空間における相対的な位置関係、例えば方向上の関係や距離関係などを求めることができる。

本開示の実施形態に関連する空間関係の情報は、空間関係のタイプ及び値を含むことができる。空間関係のタイプには、主に、東、南、西、北、東南、東北、西南、北西、左、右、上階、下階など、いくつかの方位における空間関係のタイプが含まれる。空間関係のタイプの種類は予め人工により定義されており、2つの地理位置点の空間関係のタイプが具体的にどちらに属するかは、本開示の実施形態における方法により確定される。値の取得には、距離の取得、フロアの取得などが含まれる。たとえば、地理位置点MとNの空間関係のタイプは、東へ20mであると確定された。

以上のことからわかるように、確定された地理位置点の空間関係は相対的である。従来の従来技術では、地理位置点の測位座標に基づいて地理位置点の空間関係を確定していたが、2つの地理位置点の測位座標は異なる端末装置が測位を行った後に報告して得られる可能性があるため、測位座標の誤差により地理位置点間の空間関係に深刻な影響を与える。この開示では、地理位置点の座標は、同じ装置で撮影された実景画像から得られるため、端末装置が測位した撮影位置座標に誤差があっても、同一の装置が撮影した2枚の実景画像の測位誤差は近く、特に距離の近い撮影箇所における同一の装置の測位誤差は同じであると考えることができ、例えばいずれも北に50mずれている。しかし、同一の装置で撮影した両者の実景画像から確定された2つの地理位置点の相対的な位置関係は、いずれも西に50メートルずれているため、相対的に誤差はない。

また、この方式は、端末装置が同一の地理位置ペアを含む少なくとも2枚の実景画像をアップロードしていれば、当該地理位置ペアにおける2つの地理位置点の空間関係の抽出を実現することができ、従来技術において人工的に空間関係を標記する方式に比べて、カバー範囲がより大きく、効率がより高い。

414では、クワッドの形で地理位置点の空間関係を記憶し維持する。

本開示の実施形態により提供される方式によって地理位置点の空間関係を抽出した後、<地理位置点1、地理位置点2、空間関係タイプ、空間関係値>のようなクワッドの形で空間関係の表現をより規範的かつ統一的にし、空間関係知識の体系的な計算、推論、記憶を可能にすることができる。例えば、クワッドR=<S,O,P,A>として表される。ここで、S及びOは地理位置点の情報であり、例えば地理位置点の一意のIDを採用でき、Pは空間関係のタイプ、Aは空間関係の値である。

上述した実施形態に示された方法により、例えば、以下のような応用シナリオを実現することができる。

ユーザが「清華科学技術園はどこですか」というquery（クエリ）を入力すると、データベースに<清華科学技術園、清華大学東南門、南、100m>という地理位置点の空間関係があれば、この空間関係から「清華科学技術園は清華大学東南門から南へ100mです」と正確に回答することができる。

また、複数の関連地理位置点ペアの空間関係に基づいて推論を行って新たな地理位置点ペアの空間関係を得ることもできる。例えば、<清華科学技術園、清華大学東南門、南、100m>、<華清嘉園、清華科学技術園、南、200m>という地理位置点の空間関係が存在すれば、<華清嘉園、清華大学東南門、南、300m>と推理することができる。ユーザが「華清嘉園はどこですか」というqueryを入力すると、「華清嘉園は清華大学東南門から南へ300mです」という答えをユーザに返信することができる。

以上は、本開示で提供される方法の詳細な説明であり、以下で実施形態四と合わせて本開示で提供される装置を詳細に説明する。

図6は、本開示の実施形態四で提供される装置構成図である。装置は、サーバ側に配置されるアプリケーションであっても良く、サーバ側に配置されるアプリケーションにおけるプラグインまたはソフトウェア開発キット(Software Development Kit, SDK)などの機能ユニットであっても良く、コンピュータシステムに配置されでも良く、本開示の実施形態では特に限定されない。図6に示すように、当該装置は、地理位置点抽出モジュール00及び空間関係生成モジュール10を含んでも良く、さらにインデックスメンテナンスユニット20、クワッドメンテナンスユニット30を含んでも良い。これらの構成モジュールの主な機能は次のとおりである。

地理位置点抽出モジュール00は、各端末装置で収集された実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定する。

空間関係生成モジュール10は、同じ端末装置により収集された、同じ地理位置点ペアを含む少なくとも2枚の実景画像を取得し、少なくとも2枚の実景画像の撮影パラメータを用いて同一の地理位置点ペアの空間関係を確定する。

具体的には、上述の地理位置点抽出モジュール00は、第1取得サブモジュール01、画像選別サブモジュール02、及び文字認識サブモジュール03を含んでも良く、さらに第1クラスタリングサブモジュール04及び第2クラスタリングサブモジュール05を含んでも良い。

ここで、第1取得サブモジュール01は、各端末装置により収集された実景画像を取得する。

各端末装置が収集して報告した実景画像は、本願における地理位置点の空間関係を抽出するための基礎となる画像ライブラリに保存することができる。画像ライブラリに格納されている各実景画像には、撮影パラメータを備えているものも、備えていないものもあれば、一部の撮影パラメータを備えているものもある。本実施例では、地理位置点抽出モジュール00により利用される実景画像は、少なくとも実景画像の測位座標情報を備えており、さらに撮影時間情報を備えていることが要求されてもよい。空間関係生成モジュール10により取得される実景画像は、実景画像にさらに撮影角度などの情報が要求される。

画像選別サブモジュール02は、実景画像に対して標示板判別を行い、少なくとも2つの標示板を含む実景画像を選別する。

実景画像の標示板判別には、予め訓練された標示板判別モデルを利用することができる。まず、実景画像を領域分割し、実景画像中の標示板は一般的に閉領域であるため、実景画像に対して領域の認識及び分割を行うことができる。確定された閉領域について標示板判別モデルを入力し、標示板判別モデルにより当該閉領域が標示板領域であるか否かの判別結果を出力する。

このうち、標示板判別モデルは実際には分類モデルであり、事前にいくつかの実景画像を収集し、その中に標示板領域と非標示板領域をそれぞれポジティブサンプル、ネガティブサンプルとして標記した後に、分類モデルを訓練してこの標示板判別モデルを得ることができる。

文字認識サブモジュール03は、少なくとも2つの標示板を含む実景画像に対して標示板の文字認識を行って実景画像に含まれる地理位置点ペアを確定する。

好ましくは、第1クラスタリングサブモジュール04は、実景画像間の測位距離に基づいて、画像選別サブモジュール02により選別された少なくとも2つの標示板を含む実景画像をクラスタリングして一つ以上の類似測位クラスタを得る。

第2クラスタリングサブモジュール05は、さらにコンテンツ類似度に基づいて、各類似測位クラスタにおける画像をそれぞれクラスタリングして1つ以上の類似コンテンツクラスタを得る。

画像間の類似度計算は、画像の特徴に基づいて良い。例えば画像から回転不変、スケール不変の特徴を抽出して良く、例えばHarris Corner（焦点検出アルゴリズム）、SIFT（Scale-invariant feature transform、スケール不変特徴変換）アルゴリズム、SURF（Speeded Up Robust Features、加速ローブスト特徴）アルゴリズム等を用いて特徴の抽出を行う。そして、抽出された特徴間の類似度を計算することにより画像間の類似度を確定し、類似度が要求を満たすものを同一のクラスタにまとめる。

ある場合に、時間の経過とともに地理位置点が変化することがあり、例えば、いくつかの店舗が新しくオープンしたり、いくつかの店舗が場所を変えたりする。取得された地理位置点情報が最新であることを確保するために、第2クラスタリングサブモジュール05は、各類似測位クラスタにおける画像を撮影時間ごとに分割して各時間帯に撮影された画像を得、直近の時間帯に撮影された画像を選択し、同一の類似測位クラスタ内で直近の時間帯に撮影された画像を内容の類似度に基づいてクラスタリングすることができる。

文字認識サブモジュール03は、具体的には、各類似コンテンツクラスタにおける実景画像に対してそれぞれ標示板の文字認識を行う。

具体的には、文字認識サブモジュール03は、少なくとも2つの標示板を含む実景画像に対して標示板の文字認識を行う際に、少なくとも2つの標示板を含む実景画像に対して標示板判別を行って標示板領域を確定し、各実景画像において同一の標示板を指す標示板領域が同一の識別子を採用するように、各実景画像において特定された標示板領域に対して識別子の一意化処理を行い、各実景画像に含まれる標示板領域識別子シーケンスを確定し、その中から頻出項シーケンスを取得し、頻出項シーケンスにおける各識別子に対応する標示板領域を文字認識することができる。

ここで、文字認識サブモジュール03は、頻出項シーケンスにおける同一の識別子に対応する標示板領域に対して複数の文字認識結果が識別されれば、複数の文字認識結果の中から信頼度が最も高いものを選択してよい。

好ましい実施形態として、文字認識サブモジュール03は、実景画像に含まれる地理位置点ペアを特定する際に、頻出項シーケンスを含む実景画像に対しては、頻出項シーケンスからn-1個の地理位置点ペアを選択することができる。n-1個の地理位置点ペアからなる集合は、その頻出項シーケンスにおけるすべての識別子に対応する地理位置点を含み、且つ各地理位置点ペアの実景画像における対応する標示板距離の和が最小であり、nは頻出項シーケンスに含まれる標示板の数である。

インデックスメンテナンスユニット20は、各地理位置点ペアを用いて実景画像の転置インデックスを作成する。

空間関係生成モジュール10は、具体的には、第2取得サブモジュール11と関係生成サブモジュール12とを含むことができる。

ここで、第2取得サブモジュール11は、転置インデックスを検索して同じ端末装置により収集された、同じ地理位置点ペアを含む少なくとも2つの実景画像を取得する。

関係生成サブモジュール12は、少なくとも2枚の実景画像の測位座標と、地理位置点ペアの標示板に対する撮影角度とを用いて、幾何関係に基づく計算を行って地理位置点ペアにおける2つの地理位置点の座標を得、2つの地理位置点の座標に基づいて2つの地理位置点の空間関係を確定する。

クワッドメンテナンスユニット30は、クワッドの形式で2つの地理位置点の空間関係を記憶する。ここで、クワッドは、2つの地理位置点の情報、空間関係のタイプ、及び空間関係の値を含む。

ここで、空間関係の情報は、空間関係のタイプ及び値を含むことができる。空間関係のタイプには、主に、東、南、西、北、東南、東北、西南、北西、左、右、上階、下階など、いくつかの方位における空間関係のタイプが含まれる。空間関係のタイプの種類は予め人工により定義されており、2つの地理位置点の空間関係のタイプが具体的にどちらに属するかは、本開示の実施形態における方法により確定される。値の取得には、距離の取得、フロアの取得などが含まれる。

本開示の実施形態によれば、本開示はさらに、電子デバイス及び可読記憶媒体を提供する。

図7は、本開示の実施形態に係る地理位置点の空間関係を抽出する方法の電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、PDA、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、PDA、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図7に示すように、この電子デバイスは、一つ又は複数のプロセッサ701、メモリ702、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図7において、一つのプロセッサ701を例とする。

メモリ702は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供された地理位置点の空間関係を抽出する方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本願に提供された地理位置点の空間関係を抽出する方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ702は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施例における地理位置点の空間関係を抽出する方法に対応するプログラムコマンド/モジュールを記憶するために用いられる。プロセッサ701は、メモリ702に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における地理位置点の空間関係を抽出する方法を実現する。

メモリ702は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は当該電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ702は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ702は、プロセッサ701に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して当該電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

当該電子デバイスは、さらに、入力装置703と出力装置704とを備えても良い。プロセッサ701、メモリ702、入力装置703及び出力装置704は、バス又は他の手段により接続されても良く、図7においてバスによる接続を例とする。

入力装置703は、入力された数字又はキャラクタ情報を受信し、当該電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置704は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

前記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (22)

1. 地理位置点の空間関係を抽出する方法であって、
   各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定することと、
   同一の端末装置により収集された、同一の地理位置点ペアを含む少なくとも２つの実景画像を取得することと、
   前記少なくとも二つの実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係を確定することと、を含む
   方法。
2. 前記各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定することは、
   各端末装置が収集した実景画像を取得することと、
   前記実景画像に対して標示板判別を行い、少なくとも２つの標示板を含む実景画像を選別することと、
   少なくとも２つの標示板を含む実景画像に対して標示板の文字認識を行い、実景画像に含まれる地理位置点ペアを確定することと、を含む、
   請求項１に記載の方法。
3. 前記少なくとも２つの標示板を含む実景画像に対して標示板の文字認識を行う前に、
   実景画像間の測位距離に基づいて選別された前記少なくとも２つの標示板を含む実景画像をクラスタリングして１つ以上の類似測位クラスタを得ることと、
   各類似測位クラスタにおける画像のそれぞれをさらにコンテンツ類似度に基づいてクラスタリングして１つ以上の類似コンテンツクラスタを得ることと、
   各類似コンテンツクラスタにおける実景画像のそれぞれに対して前記標示板の文字認識を行うことと、をさらに含む、
   請求項２に記載の方法。
4. 前記各類似測位クラスタにおける画像のそれぞれをさらにコンテンツ類似度に基づいてクラスタリングすることは、
   各類似測位クラスタにおける画像のそれぞれを撮影時間ごとに分割して各時間帯に撮影された画像を得ることと、
   直近の時間帯に撮影された画像を選択することと、
   同一の類似測位クラスタにおける直近の時間帯に撮影された画像をコンテンツ類似度に基づいてクラスタリングすることと、を含む、
   請求項３に記載の方法。
5. 前記少なくとも２つの標示板を含む実景画像に対して標示板の文字認識を行うことは、
   前記少なくとも２つの標示板を含む実景画像に対して標示板判別を行って標示板領域を確定することと、
   各実景画像において同一の標示板を指す標示板領域が同一の識別子を採用するように、各実景画像において確定された標示板領域に対して識別子の一意化処理を行うことと、
   各実景画像に含まれる標示板領域識別子シーケンスを確定し、その中から頻出項シーケンスを取得ことと、
   前記頻出項シーケンスにおける各識別子に対応する標示板領域に対して文字認識を行うことと、を含む、
   請求項２に記載の方法。
6. 前記頻出項シーケンスにおける各識別子に対応する標示板領域に対して文字認識を行うことは、
   前記頻出項シーケンスにおける同一の識別子に対応する標示板領域に対して複数の文字認識結果が識別された場合に、前記複数の文字認識結果の中から信頼度が最も高いものを選択すること、を含む、
   請求項５に記載の方法。
7. 前記実景画像に含まれる地理位置点ペアを確定することは、
   頻出項シーケンスを含む実景画像に対して、前記頻出項シーケンスからｎ-１個の地理位置点ペアを選択し、前記ｎ-１個の地理位置点ペアからなる集合に頻出項シーケンスにおけるすべての識別子に対応する地理位置点が含まれ、且つ各地理位置点ペアの実景画像における対応する標示板距離の和が最小であり、前記ｎは、前記頻出項シーケンスに含まれる標示板の数であること、を含む、
   請求項５に記載の方法。
8. 前記実景画像に含まれる地理位置点ペアを確定した後、
   各地理位置点ペアを用いて実景画像の転置インデックスを作成することと、
   前記転置インデックスを検索することにより、前記同一の端末装置により収集された同一の地理位置点ペアを含む少なくとも２つの実景画像を取得することを実行すること、をさらに含む、
   請求項１に記載の方法。
9. 前記少なくとも２つの実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係を確定することは、
   前記少なくとも２つの実景画像の測位座標と、前記地理位置点ペアの標示板に対する撮影角度とを用いて、幾何関係に基づく計算を行い、前記地理位置点ペアにおける２つの地理位置点の座標を得ることと、
   ２つの地理位置点の座標に基づいて前記２つの地理位置点の空間関係を確定することと、を含む、
   請求項１に記載の方法。
10. クワッドの形で前記２つの地理位置点の空間関係を記憶することをさらに含み、
    前記クワッドは、前記２つの地理位置点の情報、空間関係のタイプ、及び空間関係の値を含む、
    請求項１～９のいずれか１項に記載の方法。
11. 地理位置点の空間関係を抽出する装置であって、
    各端末装置が収集した実景画像に対して標示板認識を行い、実景画像に含まれる地理位置点ペアを確定する地理位置点抽出モジュールと、
    同一の端末装置により収集された、同一の地理位置点ペアを含む少なくとも２つの実景画像を取得し、前記少なくとも２つの実景画像の撮影パラメータを用いて、前記同一の地理位置点ペアの空間関係を確定する空間関係生成モジュールと、を備える、
    装置。
12. 前記地理位置点抽出モジュールは、
    各端末装置により収集された実景画像を取得する第１取得サブモジュールと、
    前記実景画像に対して標示板識別を行い、少なくとも２つの標示板を含む実景画像を選別する画像選別サブモジュールと、
    少なくとも２つの標示板を含む実景画像に対して標示板の文字認識を行い、実景画像に含まれる地理位置点ペアを確定する文字認識サブモジュールと、を備える、
    請求項１１に記載の装置。
13. 前記地理位置点抽出モジュールは、
    実景画像間の測位距離に基づいて前記画像選別サブモジュールにより選別された前記少なくとも２つの標示板を含む実景画像をクラスタリングして、１つ以上の類似測位クラスタを得る第１クラスタリングサブモジュールと、
    各類似測位クラスタにおける画像のそれぞれをさらにコンテンツ類似度に基づいてクラスタリングして、１つ以上の類似コンテンツクラスタを得る第２クラスタリングサブモジュールと、をさらに備え、
    前記文字認識サブモジュールは、具体的に、各類似コンテンツクラスタにおける実景画像のそれぞれに対して前記標示板の文字認識を行う、
    請求項１２に記載の装置。
14. 前記第２クラスタリングサブモジュールは、具体的に、各類似測位クラスタにおける画像のそれぞれを撮影時間ごとに分割して各時間帯に撮影された画像を得、直近の時間帯に撮影された画像を選択し、同一の類似測位クラスタにおける直近の時間帯に撮影された画像をコンテンツ類似度に基づいてクラスタリングする、
    請求項１３に記載の装置。
15. 前記文字認識サブモジュールは、少なくとも２つの標示板を含む実景画像に対して標示板の文字認識を行う際に、具体的に、
    前記少なくとも２つの標示板を含む実景画像に対して標示板判別を行って標示板領域を確定し、
    各実景画像において同一の標示板を指す標示板領域が同一の識別子を採用するように、各実景画像において確定された標示板領域に対して識別子の一意化処理を行い、
    各実景画像に含まれる標示板領域識別子シーケンスを確定し、その中から頻出項シーケンスを取得し、
    前記頻出項シーケンスにおける各識別子に対応する標示板領域に対して文字認識を行う、
    請求項１２に記載の装置。
16. 前記文字認識サブモジュールは、実景画像に含まれる地理位置点ペアを確定する際に、具体的に、
    頻出項シーケンスを含む実景画像に対して、前記頻出項シーケンスからｎ-１個の地理位置点ペアを選択し、前記ｎ-１個の地理位置点ペアからなる集合は、当該頻出項シーケンスにおけるすべての識別子に対応する地理位置点を含み、且つ各地理位置点ペアの実景画像における対応する標示板距離の和が最小であり、前記ｎは、前記頻出項シーケンスに含まれる標示板の数である、
    請求項１５に記載の装置。
17. 各地理位置点ペアを利用して実景画像の転置インデックスを作成するインデックスメンテナンスユニットをさらに備え、
    前記空間関係生成モジュールは、
    前記転置インデックスを検索することにより、同一の端末装置により収集された同一の地理位置点ペアを含む少なくとも２つの実景画像を取得する第２取得サブモジュールを備える、
    請求項１１に記載の装置。
18. 前記空間関係生成モジュールは、
    前記少なくとも２つの実景画像の測位座標と、前記地理位置点ペアの標示板に対する撮影角度とを用いて、幾何関係に基づく計算を行って前記地理位置点ペアにおける２つの地理位置点の座標を得、２つの地理位置点の座標に基づいて前記２つの地理位置点の空間関係を確定する関係生成サブモジュールを備える、
    請求項１１に記載の装置。
19. クワッドの形で前記２つの地理位置点の空間関係を格納するクワッドメンテナンスユニットをさらに備え、
    前記クワッドは、前記２つの地理位置点の情報、空間関係のタイプ、及び空間関係の値を含む、
    請求項１１～１８のいずれか１項に記載の装置。
20. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリと、を備え、
    前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～１０のいずれか１項に記載の方法を実行させる電子デバイス。
21. コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
22. コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるためのプログラム。

Images