JP2018185240A - 位置特定装置 - Google Patents

Abstract

【課題】任意の場所における撮影画像から撮影場所の位置特定が可能な位置特定装置を提供すること。【解決手段】撮影された対象画像データに基づいて対象画像の撮影位置を特定する位置特定装置であって、撮影位置において全方位を撮影した位置特定用画像をその撮影位置情報と併せて登録する位置特定用画像登録部と、位置を特定したい箇所において撮影された対象画像データを取得する対象画像データ取得部と、前記対象画像データと複数の前記位置特定用画像とを比較して、最も近似する位置特定用画像を特定する対象画像データ比較処理部と、前記最も近似する位置特定用画像の撮影位置に基づいて前記対象画像データの撮影位置を特定する対象画像位置特定部とを備える。【選択図】図１

Description

本発明は、任意の場所における撮影画像から撮影場所の位置特定が可能な位置特定装置に関するものである。

近年、遠隔操作可能な飛行体や無人ロボットなどが登場している。これらの装置は様々な場面で利用されているが、自己の位置を把握する必要が生じる場合がある。

特許文献１には、移動体のカメラで取得したカメラ画像と予め作成した移動空間の３次元モデルとに基づいて、移動体の自己位置及び方向の認識を可能とした３次元モデルを用いた自己位置認識手法及びシステムが開示されている。

また、非特許文献１には、ビーコン等の発信機を利用して位置特定を行う手法が開示されている。この非特許文献１では、ビーコン等の発信機を建設現場内に配置することで、工事写真の撮影位置を自動的に判定し、コメント等の各種情報と位置情報を紐付け、図面上の配置し、指示書作成等に活用することが説明されている。

特開２０１０−６６９３４号公報

株式会社竹中工務店のホームページにおいて開示されている［工事写真を使った施工管理業務を効率化する「位置プラス写」を開発］に関するリリース情報（http://www.takenaka.co.jp/news/2017/03/01/index.html）

特許文献１は、予め記憶された目標軌道に沿って移動空間を移動する移動体について位置特定を行うことを可能にしている。しかし、目標軌道を設定しない場合の現在位置の特定は想定しておらず、大規模な建設現場における作業員の現在位置や、無人飛行体の撮影位置の特定などに対応できないという問題があった。

非特許文献１は、ビーコン発信機を用いた位置特定の手法が開示されているが、ビーコン発信機は近距離無線通信であり、見通しで２０ｍ程度のため、かなりの間隔でビーコン発信機を設置しなければならない。また遮蔽物に弱く、例えばマンションの内装工事の段階では各室に１個設置する必要がある。例えば、数平米の狭隘なトイレにおいて、撮影した工事写真が便器であったとしても、自動で位置を紐づけるためには、ビーコン発信機の設置が必要となり、非効率的かつコスト高である。また、ビーコン発信機は、設置位置とＩＤを紐付けデータベース上で管理することで位置特定が可能となる。ビーコン発信機はバッテリーを保有した可搬型である場合が多く、工事を阻害する場合には移動されて誤検知の要因となったり、移動後の場所を管理することが困難であったりという問題があった。

本発明は、上記問題点に鑑みなされたものであり、任意の場所における撮影画像から撮影場所の位置特定が可能な位置特定装置を提供することを目的とする。

本発明に係る位置特定装置は、撮影された対象画像データに基づいて対象画像の撮影位置を特定する位置特定装置であって、撮影位置において全方位を撮影した位置特定用画像をその撮影位置情報と併せて登録する位置特定用画像登録部と、位置を特定したい箇所において撮影された対象画像データを取得する対象画像データ取得部と、前記対象画像データと複数の前記位置特定用画像とを比較して、最も近似する位置特定用画像を特定する対象画像データ比較処理部と、前記最も近似する位置特定用画像の撮影位置に基づいて前記対象画像データの撮影位置を特定する対象画像位置特定部とを備えたことを特徴とする。

また、本発明に係る位置特定装置は、前記位置特定用画像登録部は、３次元ＣＡＤを含む３次元空間の設計が可能な設計手段によって作成された３次元データを登録する３次元データ登録部と、前記３次元データの所定の点において全方位カメラで撮影して３次元データ全方位撮影画像を得る３次元データ全方位撮影処理部とからなり、３次元データ全方位撮影画像を前記位置特定用画像として使用することを特徴とする。

また、本発明に係る位置特定装置は、前記位置特定用画像登録部は、位置特定を行いたい場所の所定の点において予め全方位カメラで撮影して実撮影画像を得て、撮影位置情報と共に登録する実撮影画像登録部からなり、実撮影画像を前記位置特定用画像として使用することを特徴とする。

また、本発明に係る位置特定装置は、前記対象画像データ比較処理部は、前記対象画像データと複数の前記位置特定用画像とのそれぞれの画像の中から位置特定に用いるオブジェクトを複数抽出し、オブジェクトの一致度に基づいて最も近似する位置特定用画像を特定するようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記対象画像位置特定部は、最も近似する位置特定用画像と前記対象画像データのずれ量に基づいて前記対象画像データの撮影位置を特定することを特徴とする。

また、本発明に係る位置特定装置は、対象画像データを撮影する撮影する主体の移動量を取得する移動量取得手段を有しており、前記対象画像位置特定部で特定された直近の撮影位置からの移動量に基づいて撮影する主体の現在の位置を特定可能としたことを特徴とする。

また、本発明に係る位置特定装置は、前記位置特定用画像として、同一の撮影位置において異なる撮影条件の画像を複数登録しておき、対象画像データ比較処理部では、撮影条件に基づいて比較する位置特定用画像を決定するようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記位置特定用画像登録部は、位置特定用画像に方位情報を付加して登録するようにし、前記対象画像データ取得部は、地磁気センサで取得した方位情報を対象画像データに付加して取得するようにし、前記対象画像データ比較処理部は、最も近似する位置特定用画像を特定する際、位置特定用画像の方位情報と対象画像データの方位情報の一致度を併せて用いるようにしたことを特徴とする。

本発明によれば、位置を特定したい箇所において全方位カメラによって撮影された対象画像データを、３次元データの所定の点において全方位カメラで撮影して得た３次元データ全方位撮影画像と比較することで位置特定を行うため、全方位の情報が含まれた全方位撮影画像を対比して位置特定を行うので一度の対比で位置特定をすることが可能となる。

本発明に係る位置特定装置１０の構成を表したブロック図である。 本発明に係る位置特定装置１０における位置特定処理の流れを表したフローチャート図である。 本発明に係る位置特定装置２０の構成を表したブロック図である。 本発明に係る位置特定装置２０における位置特定処理の流れを表したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る位置特定装置１０の例について説明する。図１は、本発明に係る位置特定装置１０の構成を表したブロック図である。この図１に示すように、位置特定装置１０は、３次元データ登録部１１と、３次元データ全方位撮影処理部１２と、対象画像データ取得部１３と、対象画像データ比較処理部１４と、対象画像位置特定部１５と、記憶部１６とを具備している。なお、位置特定装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、位置特定装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとし、必要であればさらにＧＰＵ（Graphics Processing Unit：画像処理装置）を具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の位置特定装置１０として機能させるためにプログラムよって各種処理が実行されることはいうまでもない。

３次元データ登録部１１は、３ＤＣＡＤを含む３次元空間の設計が可能な設計手段によって作成された３次元データを登録する機能を有する。３次元データはどのような設計手段で作成したものであってもよいが、少なくとも、３次元データの仮想空間内の任意の点で全方位カメラ（３６０°撮影カメラ）による撮影を行った場合と同等の撮影画像を取得可能なものである必要がある。また、３次元データは、仮想空間内において方位の情報を保持しており、３次元データの各オブジェクトについても方位の情報を付加することが可能であるものとする。

３次元データ全方位撮影処理部１２は、３次元データ登録部１１で登録された３次元データの所定の点において全方位カメラで撮影して３次元データ全方位撮影画像を得る機能を有する。３次元データ全方位撮影画像は、位置特定を行いたい箇所で全方位カメラで撮影された対象画像データと比較して一致度から位置特定を行うものであるので、３次元データ内の複数の場所で撮影、好ましくは、所定の一定間隔で撮影を行う必要がある。また、高さ方向の判別のために、高さ方向についても所定の一定間隔で撮影箇所を設定するようにしてもよい。例えば、Ｘ、Ｙ、Ｚの各方向に所定間隔で撮影箇所を設定して単純立方格子構造の頂点又は交差点部分で撮影処理を行うことが考えられる。撮影して得られた３次元データ全方位撮影画像には、それぞれ撮影位置を表す座標データが与えられる。例えば、３ＤＣＡＤ上の座標データと当該３ＤＣＡＤに基づいて建築される建築物における実際の座標データの対応関係を建築開始時に定めることで、実際の現場における位置座標を特定可能とする。

また、３次元データ全方位撮影処理部１２において３次元データ全方位撮影画像を取得する場合に、仮想空間内における方位の情報を３次元データ全方位撮影画像に付加することが可能であるものとする。すなわち、撮影地点から各オブジェクトがどの方向に存在するかを方位の情報によって特定可能な状態となるように３次元データ全方位撮影画像が生成されるものとする。

対象画像データ取得部１３は、位置特定を行いたい箇所で全方位カメラで撮影された対象画像データを取得する機能を有するものである。例えば、大規模な建設現場における作業員のヘルメットに取り付けられた全方位カメラや、ドローンのような無人飛行体に取り付けられた全方位カメラによって撮影された対象画像データを無線通信によって対象画像データ取得部１３において取得する。また、全方位カメラを搭載した機器が地磁気センサを備えている場合には、対象画像データを撮影するとともに地磁気センサによって方位情報も取得して、対象画像データに方位情報を付加するようにしてもよい。

対象画像データ比較処理部１４は、対象画像データ取得部１３で取得した対象画像データと３次元データ全方位撮影処理部１２で撮影した複数の３次元データ全方位撮影画像との比較を行う機能を有する。比較処理は、対象画像データと全ての３次元データ全方位撮影画像との間で比較を行うようにしてもよいし、対象画像データの特徴抽出を行って、比較する３次元データ全方位撮影画像を絞り込んでから比較処理を行うようにしてもよい。比較処理により、各３次元データ全方位撮影画像との一致度を求め、最も一致度の高い３次元データ全方位撮影画像の撮影位置が対象画像データの撮影位置と最も近いと判定する。

なお、対象画像データ比較処理部１４における一致度の算出は、撮影画像全体について比較を行って算出する手法のみならず、一部のオブジェクトに着目して、そのオブジェクトの位置によって一致度を算出するようにしてもよい。例えば、建築現場において工事が完成していない状況では、３ＤＣＡＤで作成した３次元データ上の完成風景と異なる状況である可能性の方が高く、この場合に撮影画像全体の一致度を算出しようとしても難しい状況となってしまう。そこで、建築現場等においてターゲットとなるオブジェクト、例えば、大きな柱（さらには、柱を区別するためのマーカー等を柱に付けて利用する）を対象オブジェクトとして、当該柱の映り方によって一致度を算出するようにすれば、建設途中であっても完成形の３次元データと照合して位置特定を行うことが可能となる。

比較処理に利用するオブジェクトの抽出については、全方位撮影画像である対象画像データから直接対象オブジェクトを抽出してもよいし、対象画像データを平面画像データに変換して、変換後の画像からオブジェクトを抽出してもよい。また、所定の時間間隔で撮影された２以上の対象画像データから個々の物体の固まりとして３Ｄオブジェクトを判定し抽出することも可能である。個々の物体の固まりとは、たとえば屋外であれば建物、橋、門、自動車、柱、屋内でいえば家具、扉、照明など外形から識別形状であることを意味する。このようにして認識した３Ｄオブジェクト中から、特徴点の豊富さ、認識しやすい形状などから絞り込みすることで、ウェアラブル端末、サーバ端末のリアルタイムでの計算負荷を低減することにより、安定的に３Ｄオブジェクトの検出を可能にする。認識しやすい形状とは、例えば面構成を判断出来るような特徴点もつ立体物（立方体）や多視点で捉えた画像からの特徴点のマッチング精度が高い（複数画像間での特徴点の合致比率が高い）物体を意味する。抽出した３ＤオブジェクトとＣＡＤデータの３Ｄオブジェクトとのマッチングを複数のオブジェクトの配置レイアウトから計算することで精度と計算速度を同時に上げる事が可能になる。また、比較処理に利用するオブジェクトとして、ＡＲマーカーのように比較対象に用いるオブジェクト位置に明示的に配置されたマーカーを認識して比較処理に利用するような構成であってもよい。画像内のすべてを処理するのではなく、特徴的なオブジェクト、マーカー等の特徴点だけを対象として処理することで計算負荷を抑えることが可能となる。

また、対象画像データ比較処理部１４における比較処理の際に、オブジェクトの一致度を算出するのみならず、オブジェクトが位置する方位情報を参照し、対象画像データと３次元データ全方位撮影画像とで共通して存在するオブジェクトの方位情報の一致度についても算出するようにして、方位情報が一致する３次元データ全方位撮影画像を撮影位置と最も近いと判定するようにしてもよい。なお、方位情報は完全一致の場合に限定せず、所定の範囲の方位のずれは３次元データ全方位撮影画像の近傍で撮影された可能性があるものとして抽出するようにしてもよい。

対象画像位置特定部１５は、最も一致度の高い３次元データ全方位撮影画像と対象画像データとの間のずれ量、ずれ方向などから対象画像データの撮影された位置を特定する機能を有する。ずれ量は、例えば、撮影画像中の特徴点（オブジェクト、マーカーなど）が平面画像に投影された場合のずれによって所定撮影位置からの差分（距離・方向）を判断する。このとき、特徴点が観察される方位情報のずれを利用することもできる。３次元データ全方位撮影画像の撮影位置を示す座標データを用い、さらにずれ量、ずれ方向等を考慮した演算を行って、対象画像データの撮影位置を特定してその座標データを得る。このときの座標データの取得方法は、全方位撮影画像から特定方向の撮影画像を生成してエピポーラ幾何によって撮影時のカメラ位置を特定するものであってもよい。

記憶部１６は、位置特定装置１０において必要なデータを記憶させておく機能を有する。例えば、３次元データ全方位撮影処理部１２で撮影した複数の３次元データ全方位撮影画像や、対象画像データ取得部１３で取得した対象画像データなどが記憶されている。

次に、本発明に係る位置特定装置１０における位置特定処理の流れについて説明する。図２は、本発明に係る位置特定装置１０における位置特定処理の流れを表したフローチャート図である。前提として、位置特定を行いたい場所についての３次元データが登録されており、この３次元データ内の複数の所定箇所で全方位カメラによる撮影を行ったものと同等の３次元データ全方位撮影画像を複数記憶させてある。この図２において、位置特定処理は、先ず、対象画像データを取得することによって開始される（ステップＳ０１）。対象画像データは、大規模な建設現場における作業員のヘルメットに取り付けられた全方位カメラや、ドローンのような無人飛行体に取り付けられた全方位カメラによって撮影されて、例えば、無線通信によって送信され、これを位置特定装置１０において取得する。全方位カメラを搭載した機器が地磁気センサも有していて、方位情報を併せて取得している場合には、対象画像データに方位情報を付加した状態で位置特定装置１０に送信するようにしてもよい。次に、取得した対象画像データと複数の３次元データ全方位撮影画像とを比較して最も近似した３次元データ全方位撮影画像を特定する（ステップＳ０２）。そして、最も近似した３次元データ全方位撮影画像と対象画像データとの間のずれ量、ずれ方向（方位情報に基づく特徴点の見える方位のずれ）等を考慮して演算を行うことにより、対象画像データの撮影位置を特定して座標データを取得する（ステップＳ０３）。取得した座標データを撮影位置の情報を必要とするものへ送信して処理を終了する。

以上のように、本発明に係る位置特定装置１０によれば、位置を特定したい箇所において全方位カメラによって撮影された対象画像データを、３次元データの所定の点において全方位カメラで撮影して得た３次元データ全方位撮影画像と比較することで位置特定を行うので、全方位の情報が含まれた全方位撮影画像を対比して位置特定を行うので一度の対比で位置特定をすることが可能となる。本発明は、例えば、大規模な建設工事現場等において作業員が現在位置を把握するために利用したり、ドローンによって撮影した箇所の特定などに利用したりすることができる。

［第２の実施の形態］
前記第１の実施の形態においては、対象画像データ取得部１３において取得する対象画像データの撮影された季節・天候・時間帯などの撮影条件については考慮せずに対象画像データ比較処理部１４において３次元データ全方位撮影処理部１２で撮影した画像と比較を行っていた。しかし、撮影季節・天候・時間帯によっては同一地点であっても画像が一致しないと判定されるおそれがある。そこで、３次元データ登録部１１で登録可能な３次元データ上では、撮影季節・天候・時間帯などの撮影条件を変更することで３次元データ内において撮影季節・天候・時間帯を反映させることを可能とし、この撮影季節・天候・時間帯などの撮影条件を調整した３次元データ内で３次元データ全方位撮影処理部１２における撮影を行うことで、撮影季節・天候・時間帯を実際の対象画像データの撮影条件と一致させることが可能となる。また、撮影季節・天候・時間帯などの撮影条件の異なる３次元データ全方位撮影画像を予め複数用意しておき、対象画像データの撮影条件に基づいて最も撮影条件の近いものを選択して比較処理を行うようにしてもよい。

［第３の実施の形態］
前記第１及び第２の実施の形態においては、３次元データ登録部１１において３次元ＣＡＤソフト等を利用して作成された３次元データを登録し、その３次元データ内において全方位カメラを利用して撮影した場合と同等の３次元データ全方位撮影画像を得るようにしていたが、これに限定されるものではない。例えば、位置特定を行いたい場所において予め全方位撮影画像を撮影して撮影場所の位置情報と併せて位置特定装置１０に登録する実撮影画像登録部を設け、対象画像データ取得部１３において取得した対象画像データを実撮影画像登録部で登録した実撮影画像とを対象画像データ比較処理部１４において比較して一致度を判定し、最も一致度の高い実撮影画像の撮影位置情報に基づいて、ずれ量、ずれ方向を考慮して対象画像位置特定部１５において撮影位置を特定するようにしてもよい。すなわち、位置特定用画像登録部として機能するものとして、前記第１及び第２の実施の形態においては３次元データ登録部１１及び３次元データ全方位撮影処理部１２を採用していたが、この第３の実施の形態においては、位置特定用画像登録部として実撮影画像登録部を採用しているものであり、その他の位置特定のための各機能については、前記第１及び第２の実施の形態と同様である。なお、実撮影画像を撮影する全方位カメラを搭載した機器が地磁気センサを備えている場合には、実撮影画像を撮影するとともに地磁気センサによって方位情報も取得して、実撮影画像に方位情報を付加するようにすることで、より位置特定が容易となる。

［第４の実施の形態］
前記第１乃至第３の実施の形態においては、全方位カメラによる撮影画像を対象画像データ取得部１３において取得して位置特定を行うものとして説明を行ったが、必ずしも全方位カメラによる撮影画像である必要はなく、例えば、通常の撮影画像や広角撮影による撮影画像であっても、撮影方向の情報を併せて取得することができれば、対象画像データ比較処理部１４において、比較対象の全方位撮影画像における所定の撮影方向とだけ比較処理を行って位置特定を行うことが可能となる。

［第５の実施の形態］
前記第１乃至第３の実施の形態において、位置特定を行いたい無人飛行体や作業員は、位置特定のための対象画像データを撮影した後も、移動している可能性がある。特に、無人飛行体の場合には移動量も大きくなる可能性がある。そこで、移動体に加速度センサならびにジャイロセンサを備えるようにし、ジャイロセンサによって移動体の傾きや方向を取得すると同時に、加速度センサによって測定した加速度に基づいて、対象画像データを撮影した後の移動量を求め、最後に撮影を行った場所からの移動量について計算を行って現在位置を特定するようにしてもよい。

［第６の実施の形態］
前記第１乃至第５の実施の形態においては、画像同士を比較して位置特定を行う場合について説明を行ったが、撮影した対象画像データから位置特定に用いる３次元オブジェクトの空間レイアウト構成を抽出して、これを３ＤＣＡＤ等の３次元データと照合して位置特定をする位置特定装置２０であってもよい。

図３に示すのは、本発明に係る位置特定装置２０の構成を表したブロック図である。この図３に示すように、位置特定装置２０は、３次元データ登録部２１と、対象画像データ取得部２２と、３次元オブジェクト抽出部２３と、データ照合処理部２４と、対象画像位置特定部２５と、履歴情報記憶部２６とを具備している。なお、位置特定装置２０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、位置特定装置２０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとし、必要であればさらにＧＰＵ（Graphics Processing Unit：画像処理装置）を具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の位置特定装置２０として機能させるためにプログラムよって各種処理が実行されることはいうまでもない。

３次元データ登録部２１は、３ＤＣＡＤを含む３次元空間の設計が可能な設計手段によって作成された３次元データを登録する機能を有する。３次元データはどのような設計手段で作成したものであってもよいが、少なくとも、３次元データの仮想空間内において対象となる３次元オブジェクトと一致する箇所が存在するかを検索可能なものである必要がある。本例における位置特定の手法は、３ＤＣＡＤを用いて仮想空間内に位置特定を行いたい特定の建物や建設途中の建造物について構造を表現した３次元データを作成しておき、３次元データと対象オブジェクトを照合して特定の建物や建設途中の建造物の内部における位置を特定するものである。よって、予め３次元データを高精度で作成しておく必要がある。また、３次元データは、仮想空間内において方位の情報を保持しており、３次元データの各オブジェクトについても方位の情報を付加することが可能であるものとする。

対象画像データ取得部２２は、位置特定を行いたい箇所で全方位カメラで撮影された対象画像データを取得する機能を有するものである。例えば、大規模な建設現場における作業員のヘルメットに取り付けられた全方位カメラや、ドローンのような無人飛行体に取り付けられた全方位カメラによって撮影されたものを対象画像データとして取得する。また、この対象画像データ取得部２２においては、連続する少なくとも２地点以上の対象画像データを取得する必要がある。２地点以上とする理由は、対象物に対して異なる視点からの２つ以上の撮影画像が存在する場合に初めて対象物の３次元形状を抽出することが可能となるからである。位置特定処理の開始を指示してから２地点で撮影を行う構成であってもよいし、所定間隔で常に対象画像データを取得しておいて位置特定処理の開始が指示された段階で直近の２地点での対象画像データを利用する構成であってもよい。なお、全方位カメラとして説明を行うが、広角カメラや通常のカメラであってもよい。また、対象画像データの取得の際に、撮影カメラの移動速度、移動角度、移動方向、高度遷移などの各種情報も同時に取得しておくことが好ましい。また、全方位カメラを搭載した機器が地磁気センサを備えている場合には、対象画像データを撮影するとともに地磁気センサによって方位情報も取得して、対象画像データに方位情報を付加するようにしてもよい。

３次元オブジェクト抽出部２３は、対象画像データ取得部２２において取得した２以上の対象画像データに基づいて対象物の空間レイアウト構成を特定して３次元オブジェクトを抽出する機能を有する。同一対象物に対する異なる２方向からの撮影画像を用いることで、対象物の立体的な形状を特定することができ、これを３次元データと照合可能な空間レイアウト構成として取得する。具体的には、画像から特徴点を抽出し、特徴点の連続として対象物の外形を取得し、これを異なる２方向からの撮影画像について特徴点の抽出処理を行うことで、複数の特徴点の３次元空間内へのプロット画像として取得することで、３次元オブジェクトの空間レイアウト構成を特定することが可能となる。なお、この特徴点の連続したプロット画像は、そのまま３ＤＣＡＤ等の３次元データと照合することとしてもよいし、特徴点の連続したプロット画像から線分で構成された３次元オブジェクトに変換を行ってから３次元データと照合を行うものであってもよい。また、この３次元オブジェクト抽出部２３において抽出する３次元オブジェクトは、１つであってもよいし、複数の３次元オブジェクトを抽出した上で、適宜照合に利用するものであってもよい。また、対象画像データに方位情報が含まれている場合には、空間レイアウト構成を特定した個々の３次元オブジェクトに対して方位情報を付加するようにしてもよい。

データ照合処理部２４は、３次元オブジェクト抽出部２３で抽出した３次元オブジェクトを３次元データ登録部２１で登録した３次元データと照合して、一致箇所を抽出する機能を有する。照合処理の手法はどのようなものであってもよいが、対象画像データから抽出した３次元オブジェクトが複数存在する場合には、複数の３次元オブジェクトを用いて一致箇所を抽出するようにしてもよい。また、照合処理において、完全一致の場合のみならず、形状が近似する箇所についても抽出するようにしてもよい。また、３次元オブジェクトに対して方位情報が付加されている場合には、３次元オブジェクトの形状のみならず方位情報についても照合を行うことで、より候補を絞ることが可能となる。すなわち、３次元オブジェクトの形状が一致しても方位情報が全く異なる場合には候補から外すことが可能となる。

対象画像位置特定部２５は、データ照合処理部２４で抽出した一致箇所の情報を用いて対象画像データが撮影された位置を特定する機能を有する。３次元オブジェクトを３次元データと照合した際に、一致箇所が１つであった場合にはこれをもって対象画像データの撮影位置を特定することができる。しかし、例えば、同じレイアウト構成のフロアを複数有する高層ビル内で位置特定を行いたいような場合や、建造物における柱の形状など、一致箇所が複数抽出される場合も当然に考えられる。その場合には、当該対象画像データから抽出した３次元オブジェクトのみでは位置を特定できないため、後述する履歴情報記憶部２６に記憶された過去に位置特定処理を行った際の履歴情報を用いて、その履歴情報における位置からの撮影カメラの移動方向、移動速度、高度遷移等の情報を併せて利用することで、対象画像データの撮影位置を複数の候補の中から１つに特定する。

履歴情報記憶部２６は、過去に位置特定処理を行った際の履歴情報を記憶する機能を有する。対象画像データを取得して位置特定処理を行う場合、対象画像データを撮影した際に併せて取得された撮影カメラの移動速度、移動角度、移動方向、高度遷移などの各種情報や、対象画像データから抽出した３次元オブジェクトの情報、これに基づいて特定された撮影位置の情報などが、履歴情報として記憶される。これらの履歴情報を有することにより、例えば、履歴情報を参照することで、現在の撮影場所が、前回の位置情報を取得した場所から所定の移動速度で１分しか経過していないという条件が加われば、３次元オブジェクトの一致だけでは特定できなかった撮影場所を一つに特定できるなど、履歴情報を利用することで撮影場所を特定できる可能性がある。

次に、本例の位置特定装置２０における位置特定処理の流れについて説明を行う。図４は、本発明に係る位置特定装置２０における位置特定処理の流れを表したフローチャート図である。位置特定処理を開始した場合、図４に示すように、先ず、少なくとも２地点以上の位置で撮影された対象画像データを取得する（ステップＳ２１）。撮影の２地点は移動距離の条件であってもよいし、所定の時間間隔で撮影する条件であってもよい。少なくとも２以上の対象画像データに基づいて、照合に用いる３次元オブジェクトの空間レイアウト構成を抽出する（ステップＳ２２）。抽出する３次元オブジェクトは１つであってもよいし複数であってもよい。そして、抽出した３次元オブジェクトの空間レイアウト構成を３ＤＣＡＤ等の３次元データと照合する（ステップＳ２３）。

ステップＳ２３における照合の結果、一致箇所が１つであった場合（ステップＳ２４−Ｎ）、３次元データとの一致箇所から撮影場所を特定する（ステップＳ２５）。そして、対象画像データにおける３次元オブジェクトの映り方などの周辺情報から撮影カメラの詳細な位置を特定して（ステップＳ２７）、位置特定処理を終了する。

ステップＳ２３における照合の結果、一致箇所が複数存在した場合（ステップＳ２４−Ｙ）、履歴情報を参照して、過去に位置特定処理を行った際の履歴情報、特に前回位置特定処理を行った際の履歴情報と、その位置特定を行った場所からの移動速度、移動方向、経過時間などの周辺情報と併せて処理することで、複数の候補の中から撮影場所を１つに特定する（ステップＳ２６）。そして、対象画像データにおける３次元オブジェクトの映り方などの周辺情報から撮影カメラの詳細な位置を特定して（ステップＳ２７）、位置特定処理を終了する。

以上のように、本例の位置特定装置２０によれば、近接する２地点以上の位置で撮影された２以上の対象画像データから３次元オブジェクトの空間レイアウト構成を抽出し、これを３ＤＣＡＤ等で作成した撮影場所を含む全体構造を表した３次元データと照合することで撮影位置を特定可能とし、照合の結果複数の候補が存在する場合には履歴情報を参照して撮影場所を特定するようにしたので、同じレイアウト構成からなる３次元オブジェクトが複数存在するような環境下においても、適切に撮影位置を特定することが可能となる。すなわち、予め全体構造を表した３次元データと抽出した３次元オブジェクトとの一致状況と履歴情報を併せて利用することで、高層ビル内を自動で巡回するドローンが現在位置を特定するような状況や、建築途中の建造物内において作業員が現在位置を特定したい状況など、同じレイアウトが存在することで現在位置の特定が難しいような状況においても適切に現在位置を特定することが可能となる。

すなわち、この第６の実施の形態における位置特定装置２０は、撮影された対象画像データに基づいて対象画像の撮影位置を特定する位置特定装置であって、３次元ＣＡＤを含む３次元空間の設計が可能な設計手段によって作成された３次元データを登録する３次元データ登録部と、位置を特定したい箇所近傍において少なくとも２地点以上の位置で撮影された２以上の対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部において取得した２以上の対象画像データに基づいて対象物の空間レイアウト構成を特定して３次元オブジェクトを抽出する３次元オブジェクト抽出部と、前記３次元オブジェクト抽出部で抽出した３次元オブジェクトを前記３次元データ登録部で登録した３次元データと照合して一致箇所を抽出するデータ照合処理部と、前記データ照合処理部で抽出した一致箇所の情報を用いて対象画像データが撮影された位置を特定する対象画像位置特定部とを具備したことを特徴とする。

また、この第６の実施の形態における位置特定装置２０は、過去に位置特定処理を行った際の履歴情報を記憶する履歴情報記憶部を具備してなり、前記対象画像位置特定部は、一致箇所の情報が複数存在する場合には、前記履歴情報記憶部に記憶された履歴情報と、その履歴情報における位置特定を行った場所からの移動速度、移動方向、経過時間などの周辺情報と併せて処理して、複数の候補の中から撮影場所を１つに特定するようにしたことを特徴とする。

また、この第６の実施の形態における位置特定装置２０は、前記３次元データ登録部は、仮想空間全体及び仮想空間に配置された個々の３次元オブジェクトに対して方位情報を付加して登録する機能を有し、前記対象画像データ取得部は、地磁気センサで取得した方位情報を対象画像データに付加する機能を有し、前記３次元オブジェクト抽出部は、３次元オブジェクトを抽出する際に方位情報を付加する機能を有し、前記データ照合処理部は、前記３次元オブジェクト抽出部で抽出した３次元オブジェクトを前記３次元データ登録部で登録した３次元データと照合する際に、方位情報についても照合して、一致箇所を抽出するようにしたことを特徴とする。

前記第１乃至第６の実施の形態においては、位置特定装置１０又は２０として記載したが、同様の機能を備えたサーバ装置を設け、撮影カメラ側からサーバ装置に対象画像データを送信して位置特定処理をサーバ装置で行い、特定した位置情報を撮影カメラ側で受信するという構成であってもよい。

１０ 位置特定装置
１１ ３次元データ登録部
１２ ３次元データ全方位撮影処理部
１３ 対象画像データ取得部
１４ 対象画像データ比較処理部
１５ 対象画像位置特定部
１６ 記憶部
２０ 位置特定装置
２１ ３次元データ登録部
２２ 対象画像データ取得部
２３ ３次元オブジェクト抽出部
２４ データ照合処理部
２５ 対象画像位置特定部
２６ 履歴情報記憶部

Claims (8)

1. 撮影された対象画像データに基づいて対象画像の撮影位置を特定する位置特定装置であって、
   撮影位置において全方位を撮影した位置特定用画像をその撮影位置情報と併せて登録する位置特定用画像登録部と、
   位置を特定したい箇所において撮影された対象画像データを取得する対象画像データ取得部と、
   前記対象画像データと複数の前記位置特定用画像とを比較して、最も近似する位置特定用画像を特定する対象画像データ比較処理部と、
   前記最も近似する位置特定用画像の撮影位置に基づいて前記対象画像データの撮影位置を特定する対象画像位置特定部と
   を備えた位置特定装置。
2. 前記位置特定用画像登録部は、
   ３次元ＣＡＤを含む３次元空間の設計が可能な設計手段によって作成された３次元データを登録する３次元データ登録部と、
   前記３次元データの所定の点において全方位カメラで撮影して３次元データ全方位撮影画像を得る３次元データ全方位撮影処理部とからなり、
   ３次元データ全方位撮影画像を前記位置特定用画像として使用する
   請求項１記載の位置特定装置。
3. 前記位置特定用画像登録部は、
   位置特定を行いたい場所の所定の点において予め全方位カメラで撮影して実撮影画像を得て、撮影位置情報と共に登録する実撮影画像登録部からなり、
   実撮影画像を前記位置特定用画像として使用する
   請求項１記載の位置特定装置。
4. 前記対象画像データ比較処理部は、前記対象画像データと複数の前記位置特定用画像とのそれぞれの画像の中から位置特定に用いるオブジェクトを複数抽出し、オブジェクトの一致度に基づいて最も近似する位置特定用画像を特定するようにした
   請求項１から請求項３の何れかに記載の位置特定装置。
5. 前記対象画像位置特定部は、最も近似する位置特定用画像と前記対象画像データのずれ量に基づいて前記対象画像データの撮影位置を特定する
   請求項１から請求項４の何れかに記載の位置特定装置。
6. 対象画像データを撮影する撮影する主体の移動量を取得する移動量取得手段を有しており、
   前記対象画像位置特定部で特定された直近の撮影位置からの移動量に基づいて撮影する主体の現在の位置を特定可能とした
   請求項１から請求項５の何れかに記載の位置特定装置。
7. 前記位置特定用画像として、同一の撮影位置において異なる撮影条件の画像を複数登録しておき、
   対象画像データ比較処理部では、撮影条件に基づいて比較する位置特定用画像を決定するようにした
   請求項１から請求項６の何れかに記載の位置特定装置。
8. 前記位置特定用画像登録部は、位置特定用画像に方位情報を付加して登録するようにし、
   前記対象画像データ取得部は、地磁気センサで取得した方位情報を対象画像データに付加して取得するようにし、
   前記対象画像データ比較処理部は、最も近似する位置特定用画像を特定する際、位置特定用画像の方位情報と対象画像データの方位情報の一致度を併せて用いるようにした
   請求項１から請求項７の何れかに記載の位置特定装置。

Images