JP2003263104A - 撮像情報認識システム - Google Patents

撮像情報認識システム

Info

Publication number
JP2003263104A
JP2003263104A JP2002065371A JP2002065371A JP2003263104A JP 2003263104 A JP2003263104 A JP 2003263104A JP 2002065371 A JP2002065371 A JP 2002065371A JP 2002065371 A JP2002065371 A JP 2002065371A JP 2003263104 A JP2003263104 A JP 2003263104A
Authority
JP
Japan
Prior art keywords
image
information
provider
simulated
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002065371A
Other languages
English (en)
Inventor
Shoji Yoshikawa
章二 吉河
Katsuhiko Yamada
克彦 山田
Masashi Yamaguchi
真史 山口
Akihito Takeya
章仁 竹家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002065371A priority Critical patent/JP2003263104A/ja
Priority to US10/230,251 priority patent/US7305149B2/en
Publication of JP2003263104A publication Critical patent/JP2003263104A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 画像提供者に過大な負担をかけることなく、
画像提供者の正確な撮像情報を得ることが可能となる撮
像情報認識システムを提供する。 【解決手段】 画像照合センタ２は通信装置２１と処理
装置２２とメモリ装置２３とを有し、上記処理装置２２
は、地理情報データベース３に通信ネットワーク４を介
してアクセスし、画像提供者から送信された撮像画像と
付加情報とに基づいて地理情報データベース３より適切
な地理情報を抽出し、画像提供者から見えると想定され
る模擬画像を模擬生成する。さらに、この模擬画像と撮
像画像との照合を通じて画像提供者の撮像位置及び撮像
姿勢を推定し、推定した画像提供者の撮像位置及び撮像
姿勢を画像提供者に通信ネットワーク４を介して返信す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、撮像情報認識シ
ステムに関するものであり、詳しくは、画像提供元が取
得した撮像画像と地理情報データベースに基づく画像と
の照合により、画像提供元の正確な撮像情報を取得する
撮像情報認識システムに関するものである。なお、上記
撮像情報とは、画像提供者元が取得した撮像画像の撮像
位置、撮像姿勢等の内の少なくとも１つを指すものであ
る。
【０００２】
【従来の技術】撮像情報認識システムの基盤となる地理
情報データベースには、地図という三次元の地理空間上
に道路、橋、建物といった構造物の特徴や居住者の名前
や年齢などの属性、さらに土地利用状況にいたるまで、
地理情報が高層的に重ね合わされている。この地理情報
データベースの一部分をなす地図データベースと目印画
像データベースとを利用すると、車両に搭載したカメラ
で周囲の画像を撮影し、その画像を目印画像データベー
スと照合することで当該車両の現在位置を推定すること
が可能になる。例えば、図６は従来の撮像情報認識シス
テムを示す図であり、地図上の場所と現実世界の場所と
を照合する目印画像照合装置を示すブロック構成図であ
る。図６において、１０１は車両の周囲の画像を撮影す
る画像撮影部、１０２は当該車両の現在位置を推定する
現在位置推定部、１０３は目印画像を格納する目印画像
データベースシステム、１０４は画像撮影部１０１によ
って撮影された画像と、現在位置推定部１０２によって
推定された推定現在位置に関連する目印画像とを照合す
る画像照合部、１０５は地図照合部、１０６は地図デー
タベースシステム、１０７は経路計画部、１０８，１０
９は入力部である。上記従来の撮像情報認識システム
は、画像照合部１０４における照合結果にしたがって地
図上の推定現在位置を修正するものである。
【０００３】
【発明が解決しようとする課題】従来の撮像情報認識シ
ステムである上記目印画像照合装置は以上のように構成
されており、見る方向によって目印の見え方が異なるた
め、目印画像データベースに含まれる目印であっても必
ずしも照合できるとは限らないし、また見え方によらず
目印画像と照合できるようにデータベースを構築すると
そのサイズが巨大になって実用性が失われる恐れがあっ
た。また、この目印画像照合装置に代表される従来の撮
像情報認識システムでは、画像撮影から照合までの装置
一式を画像提供者が準備する必要があり、特に画像照合
や地図照合には大きな計算機負荷がかかることからその
装置が高価かつ大型のものになり、画像提供者にとって
負担が重いという問題があった。
【０００４】この発明は上記のような問題点を解消する
ためになされたもので、画像提供者に過大な負担をかけ
ることなく、画像提供者の正確な撮像情報を得ることが
可能となる撮像情報認識システムを提供することを目的
とするものである。
【０００５】
【課題を解決するための手段】本発明の撮像情報認識シ
ステムは、通信ネットワークを通じて画像提供元から撮
像画像と上記撮像画像に関する付加情報とを受信する受
信手段、受信した撮像画像に関する上記付加情報を基に
地理情報データベースより地理情報を抽出して上記画像
提供元から見えると想定される模擬画像を模擬生成し、
上記模擬画像と上記画像提供元から受信した上記撮像画
像との照合結果に応じて上記撮像画像の撮像位置または
撮像姿勢を推定する処理手段、及び推定された撮像位置
または撮像姿勢を上記画像提供元に送信する送信手段を
備えたものである。
【０００６】また、本発明の撮像情報認識システムは、
上記処理手段が、受信した撮像画像に関する付加情報を
基に地理情報データベースより地理情報を抽出し、画像
提供元から見えると想定される複数の模擬画像を模擬生
成する手段と、上記複数の模擬画像と上記撮像画像との
照合を行う手段と、上記複数の模擬画像と上記撮像画像
との一致度が最大となる模擬画像における位置情報また
は姿勢情報を各々上記撮像画像の撮像位置または撮像姿
勢と推定する手段とを備えたものである。
【０００７】また、本発明の撮像情報認識システムは、
上記処理手段が、受信した撮像画像に関する付加情報を
基に地理情報データベースより地理情報を抽出し、画像
提供元から見えると想定される模擬画像を模擬生成する
手段と、上記模擬画像と上記撮像画像との照合を行う手
段と、上記模擬画像と上記撮像画像との一致度が所定値
以上になるまで、設定回数以下の回数、上記模擬画像の
生成と照合を繰り返す手段と、上記模擬画像と上記撮像
画像との一致度が所定値以上のときの上記模擬画像にお
ける位置情報または姿勢情報を各々上記撮像画像の撮像
位置または撮像姿勢と推定する手段とを備えたものであ
る。
【０００８】また、本発明の撮像情報認識システムは、
上記構成の撮像情報認識システムにおいて、撮像画像ま
たは付加情報の追加送信を画像提供元に要求する手段を
有するものである。
【０００９】
【発明の実施の形態】実施の形態１．以下、本発明の実
施の形態１を図を用いて説明する。図１はこの発明の実
施の形態１による撮像情報認識システム（位置／姿勢認
識システム）を説明する図であり、画像提供者と画像照
合センタと地理情報データベースとの全体的な関係を表
す構成図である。図１において、１は画像提供者（画像
提供元）、２は画像照合センタ、３は地理情報データベ
ース、４は通信ネットワークである。画像提供者１と画
像照合センタ２と地理情報データベース３とは通信ネッ
トワーク４を介して情報交換できる状態になっている。
【００１０】画像提供者１は自分の周囲の景観や建物等
の映像を撮像画像として取得し、後述の付加情報とあわ
せて画像照合センタ２に通信ネットワーク４を介して送
信する。画像照合センタ２は、画像提供者１から撮像画
像と共に送信された付加情報を基に地理情報データベー
ス３に通信ネットワーク４を介してアクセスし、地理情
報データベース３より適切な地理情報を抽出して画像提
供者１から見えると想定される周囲の景観や建物等の映
像を模擬画像として模擬生成する。さらに、画像照合セ
ンタ２は、模擬生成されたこの模擬画像と画像提供者１
から送信された撮像画像との照合を通じて画像提供者１
の撮像位置と撮像姿勢（撮像方向）等を推定し、推定し
た画像提供者の撮像位置と撮像姿勢等を画像提供者１に
通信ネットワーク４を介して返信する。
【００１１】ここで、通信ネットワーク４とは、インタ
ーネット、イントラネット、公衆電話回線などに代表さ
れる有線あるいは無線の通信ネットワークの総称であ
る。地理情報データベース３とは、ＧＩＳ（Ｇｅｏｐｇ
ｒａｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ
ｓ）に代表される、実社会を地理空間上での情報として
コンピュータで表現した電子情報のことである。また、
画像は静止画像と動画像の総称である。
【００１２】撮像画像と共に送信される付加情報には、
少なくとも画像提供者の概略の位置がわかる情報が含ま
れ、画像提供者１が直接入力する位置情報の他に、画像
提供者１が撮像画像を送信した日時、画像提供者１がＰ
ＨＳや携帯電話のような局所的な無線送信装置を使用す
る場合にはその無線を受信した基地局の住所など、画像
提供者１がデータを送信するという行為に伴って間接的
に発生する位置情報も含まれる。
【００１３】また、画像照合センタ２が画像提供者１に
返信する情報には、推定した画像提供者の撮像位置の
他、推定した画像提供者の撮像姿勢や、画像提供者１に
とって有益と思われる画像を補助画像として含めてもよ
い。送信される補助画像の例として、画像提供者１の周
囲の景観や建物等のズームイン模擬画像、あるいはズー
ムアウト模擬画像、画像提供者１から目的地が見えると
想定される場合には目的地を含む模擬画像、目的地が見
えないと想定される場合には目的地への経路の手がかり
となる目印を含む模擬画像などがある。
【００１４】図２は、図１における画像提供者１と通信
ネットワーク４との関係をさらに詳細に示す図である。
画像提供者１の内部は、画像撮影部１１、入力装置１
２、出力装置（表示装置）１３、処理装置１４、通信装
置１５に分かれている。画像提供者１は画像撮影部１１
を使用して自分の周囲の景観や建物等を撮影する。ま
た、画像提供者１は入力装置１２を使用して画像照合セ
ンタ２にアクセスするためのユーザ情報、あるいは画像
照合センタ２が撮像画像を照合する際に参考になる画像
取得時の状況などの付加情報を入力する。得られた撮像
画像および付加情報は処理装置１４により通信装置１５
を介して通信ネットワーク４に送信される。さらに、処
理装置１４は通信装置１５を介して通信ネットワーク４
経由で画像照合センタ２からの画像提供者１に送られて
くる情報を受信し、表示装置１３に表示する。画像提供
者１は、表示装置１３の表示内容によっては、再び画像
撮影部１１を使用して周囲の画像などの追加の画像を取
得したり、入力装置１２を使用して周囲の状況や自分が
移動したい目的地などの追加の情報を入力したりした
後、処理装置１４により通信装置１５を介して通信ネッ
トワーク４に再送信する。
【００１５】図３は、図１における画像照合センタ２と
通信ネットワーク４との関係を示す図である。画像照合
センタ２の内部は、通信装置２１、処理装置２２、メモ
リ装置２３に分かれている。画像照合センタ２におい
て、通信装置２１はオペレータ（図示せず）の指示ある
いはプログラムの命令に従うなどして通信ネットワーク
４を介して画像提供者１からの撮像画像と付加情報とを
受信する。処理装置２２は、受信した付加情報を基に、
メモリ装置２３内部の地理情報データベース、あるいは
必要に応じて通信装置２１を介して通信ネットワーク４
経由で外部の地理情報データベース３にアクセスして、
メモリ装置２３内部の地理情報データベース、あるいは
外部の地理情報データベース３に格納された地理情報を
抽出し、上記画像提供者１から見えると想定される模擬
画像を模擬生成する。さらに、この模擬画像と画像提供
者１から受信した撮像画像との照合を行い、照合結果に
応じて上記撮像画像の撮像位置、撮像姿勢等を推定す
る。推定結果は通信装置２１を介して通信ネットワーク
４経由で画像提供者１に送信される。送信される推定結
果は画像提供者１が画像を撮影した撮像位置と撮像姿勢
の両方、あるいはいずれか一方としてもよい。照合に際
して、付加情報、例えば、撮影した位置や撮影方向の概
略値や撮影時刻、カメラ特性などが利用できるときは、
それらを利用することで照合の確度を高めることができ
る。
【００１６】次に、本実施の形態の撮像情報認識システ
ムにおける画像照合センタの動作について、図４のフロ
ーチャートを基にさらに詳細に説明する。まず、ステッ
プＳＴ１において、通信ネットワークを介して画像提供
者からの撮像画像と付加情報とを受信する。前述したよ
うに、撮像画像と共に送信される付加情報には少なくと
も画像提供者の概略の位置がわかる情報が含まれ、ステ
ップＳＴ２では、受信した付加情報に含まれる情報を基
に、撮像位置と撮像姿勢（撮像方向）の推定値を複数個
設定する。ステップＳＴ３では、地理情報データベース
から、ステップＳＴ２で設定された複数の撮像位置と撮
像姿勢との推定値に対する地理情報を抽出する。ステッ
プＳＴ４では、設定された複数の撮像位置と撮像姿勢と
の推定値における組み合わせを複数ケース設定する。ス
テップＳＴ５では、複数ケースの組み合わせに対して、
それぞれ、画像提供者における撮像装置の視野に含まれ
ると想定される周囲の景観や建物の模擬画像を模擬生成
する。ステップＳＴ６では、複数ケースの組み合わせに
対して、それぞれ模擬生成された複数の模擬画像と、画
像提供者から受信した撮像画像とを照合する。ステップ
ＳＴ７では、複数の模擬画像と撮像画像との一致度をそ
れぞれ計算する。ステップＳＴ８では、一致度が最大と
なる模擬画像を選定し、この模擬画像に対応する撮像位
置と撮像姿勢との推定値を、画像提供者の撮像位置と撮
像姿勢と推定して、ステップＳＴ９において、選定され
た上記推定値を画像提供者に通信ネットワーク４を介し
て返信する。
【００１７】以上のように、本実施の形態においては、
画像を撮像する画像撮影部と、撮像画像の照合、及び撮
像画像の撮像位置の推定を行う画像処理部とを分離して
通信ネットワークで接続し、画像照合などの処理を画像
照合センタで実行し、画像提供者は画像を画像照合セン
タに送信すれば自分の位置及び姿勢を返信してもらえる
ようにしたため、画像提供者が準備しなければならない
装置を最小限にできるという効果がある。また、画像照
合センタでは地理情報データベースより適切な地理情報
を抽出して画像提供者から見えると想定される周囲の景
観や建物等の模擬画像を模擬生成し、この模擬画像と画
像提供者から受信した撮像画像との照合を行うようにし
たため、目印となる建物を画像提供者の視点から見た場
合の画像が地理情報データベースにおいて画像として存
在しなくても照合が可能であるという効果がある。ま
た、模擬画像を生成する際に、撮像位置と撮像姿勢との
推定値を複数個設定して複数の模擬画像を生成し、一致
度が最大となる模擬画像を選定するようにしたので、照
合した模擬画像の中で最善の推定値を返信できる効果が
ある。
【００１８】なお、上記実施の形態では、撮像位置と撮
像姿勢との推定値を複数個設定して撮像位置と撮像姿勢
とを推定し、推定された撮像位置と撮像姿勢との両方を
送信するようにしたが、撮像位置と撮像姿勢とのいずれ
かのみ送信するようにしてもよい。また、撮像位置のみ
複数の推定値を設定して撮像位置のみを推定し、送信す
るようにしてもよい。また、撮像姿勢のみ複数の推定値
を設定して撮像姿勢のみを推定し、送信するようにして
もよい。
【００１９】実施の形態２．上記実施の形態１では撮像
位置と撮像姿勢との推定値を複数個設定し、設定された
複数の撮像位置と撮像姿勢との推定値の組み合わせに対
して複数の模擬画像を生成して、これら複数の模擬画像
と撮像画像とを照合するようにしたが、模擬画像と撮像
画像とがマッチングするまで、撮像位置と撮像姿勢との
推定値を設定し直して逐次模擬画像を生成し、画像提供
者の撮像位置と撮像姿勢とを推定するようにしてもよ
い。本実施の形態２はこのような撮像情報認識システム
（位置／姿勢認識システム）を示すものであり、撮像情
報認識システムの構成は図１〜図３に示すものと同じで
ある。
【００２０】図５は本実施の形態２による撮像情報認識
システムにおける画像照合センタの動作を説明するフロ
ーチャートである。図５において、ステップＳＴ１１で
は、通信ネットワークを介して画像提供者からの撮像画
像と付加情報とを受信する。前述したように、撮像画像
と共に送信される付加情報には少なくとも画像提供者の
概略の位置がわかる情報が含まれ、ステップＳＴ１２で
は、受信した付加情報に含まれる情報を基に、撮像位置
と撮像姿勢との推定値の初期値を設定する。ステップＳ
Ｔ１３では、地理情報データベースから、ステップＳＴ
１２で設定された撮像位置と撮像姿勢との推定値の初期
値に対する地理情報を抽出する。ステップＳＴ１４で
は、抽出された地理情報を基に、画像提供者における撮
像装置の視野に含まれると想定される周囲の景観や建物
等の映像を模擬した模擬画像を生成する。ステップＳＴ
１５では、模擬生成された模擬画像と、画像提供者から
受信した撮像画像とを照合し、ステップＳＴ１６で模擬
画像と撮像画像との一致度を計算する。ステップＳＴ１
７では、一致度が所定の閾値Ａより大きいか否かを判定
し、小さければステップＳＴ１８、１９に進み、撮像位
置と撮像姿勢との推定値の初期値を再設定して（あるい
は再設定された撮像位置と撮像姿勢との推定値を再設定
して）一致度が所定の閾値Ａより大きくなるまで、所定
の設定回数（閾値Ｃ）以下の回数、ステップＳＴ１３〜
１７の動作を繰り返す。ステップＳＴ１７で一致度が所
定の閾値Ａより大きければ、ステップＳＴ２０で一致度
が所定の閾値Ｂより大きいか否かを判定する。ステップ
ＳＴ２０で一致度が所定の閾値Ｂより小さければ、ステ
ップＳＴ２１、２２に進み、設定または再設定された撮
像位置と撮像姿勢との推定値を微調整して一致度が所定
の閾値Ｂより大きくなるまで、所定の微調整回数（閾値
Ｄ）以下の回数、ステップＳＴ１４〜２０の動作を繰り
返す。ステップＳＴ２０で一致度が所定の閾値Ｂより大
きければ、ステップＳＴ２３において、このときの模擬
画像に対応する撮像位置と撮像姿勢との推定値を、画像
提供者の撮像位置と撮像姿勢とみなして、推定された上
記推定値を補助情報（例えば模擬画像）とともに画像提
供者１に通信ネットワーク４を介して返信する。なお、
ステップＳＴ１８で再設定回数が閾値Ｃより大きけれ
ば、ステップＳＴ２４で、一致する模擬画像が見つから
なかったという照合結果を補助情報（例えばそのときの
模擬画像）とともに画像提供者１に通信ネットワーク４
を介して返信する。
【００２１】以上のように、本実施の形態においては、
模擬画像を生成する際に、模擬画像と撮像画像とがマッ
チングするまで、撮像位置と撮像姿勢との推定値を設定
し直して逐次模擬画像を生成し、画像提供者の撮像位置
と撮像姿勢とを推定するようにしたので、実施の形態１
のものよりも、より正確な撮像位置と撮像姿勢との推定
値を返信することができる効果がある。
【００２２】なお、上記実施の形態では、撮像位置と撮
像姿勢との推定値を逐次設定し直して撮像位置と撮像姿
勢とを推定し、撮像位置と撮像姿勢との両方を送信する
ようにしたが、撮像位置と撮像姿勢とのいずれかのみ送
信するようにしてもよい。また、画像提供者１に送信す
る情報には補助情報がなくても良い。また、撮像位置の
み推定値を設定し直して撮像位置のみを推定し、送信す
るようにしてもよい。また、撮像姿勢のみ推定値を設定
し直して撮像姿勢のみを推定し、送信するようにしても
よい。
【００２３】また、上記実施の形態１，２において、撮
像画像そのものが不鮮明であったり付加情報が不十分で
あったりして照合が困難な場合には、照合が困難である
ことを画像提供者１に通知するだけでなく、その理由と
照合を容易にするために必要な追加情報、例えば遠景、
近景、左右の位置の画像の取得等を指示したり、撮像方
向の指示、目印の有無、目印の特徴の表示等を指示した
りして、追加の撮像画像や取得状況に関する追加の情報
などを画像提供者１に要求し、追加情報の提供を促すよ
うにするとよい。画像提供者１がこのような追加情報を
再送信し、それを基に画像照合センタ２が再照合するこ
とを繰り返すことにより、より確実に画像の照合が可能
となる。
【００２４】さらに、画像提供者１が画像照合センタ２
の調査員や地球観測センタの職員である場合や、送信す
る画像の一部に画像提供者１の所有物が含まれている場
合のように、画像提供者１から送信される情報の信頼度
が非常に高い場合には、地理情報データベース４で生成
した模擬画像との差分を更新すべき箇所として抽出し、
地理情報データベース４にデータベースの更新要求と更
新内容とを通信ネットワーク４経由で送信するようにし
てもよい。特に人工衛星のように定期的に観測画像が入
手できる場合には、以上の処理を自動化するとよい。
【００２５】
【発明の効果】以上のように、この発明によれば、通信
ネットワークを通じて画像提供元から撮像画像と上記撮
像画像に関する付加情報とを受信する受信手段、受信し
た撮像画像に関する上記付加情報を基に地理情報データ
ベースより地理情報を抽出して上記画像提供元から見え
ると想定される模擬画像を模擬生成し、上記模擬画像と
上記画像提供元から受信した上記撮像画像との照合結果
に応じて上記撮像画像の撮像位置または撮像姿勢を推定
する処理手段、及び推定された撮像位置または撮像姿勢
を上記画像提供元に送信する送信手段を備えたので、画
像提供元が準備しなければならない装置を最小限にでき
るという効果がある。また、目印画像が地理情報データ
ベースにおいて画像として存在しなくても照合が可能で
あるため、見る方向を変えた目印画像が予め構築された
地理情報データベースを使用しなくても撮像情報を得る
ことが可能となる。
【００２６】また、本発明によれば、上記処理手段が、
受信した撮像画像に関する付加情報を基に地理情報デー
タベースより地理情報を抽出し、画像提供元から見える
と想定される複数の模擬画像を模擬生成する手段と、上
記複数の模擬画像と上記撮像画像との照合を行う手段
と、上記複数の模擬画像と上記撮像画像との一致度が最
大となる模擬画像における位置情報または姿勢情報を各
々上記撮像画像の撮像位置または撮像姿勢と推定する手
段とを備えたので、照合した中で最善の推定値を返信で
きる効果がある。
【００２７】また、本発明によれば、上記処理手段が、
受信した撮像画像に関する付加情報を基に地理情報デー
タベースより地理情報を抽出し、画像提供元から見える
と想定される模擬画像を模擬生成する手段と、上記模擬
画像と上記撮像画像との照合を行う手段と、上記模擬画
像と上記撮像画像との一致度が所定値以上になるまで、
設定回数以下の回数、上記模擬画像の生成と照合を繰り
返す手段と、上記模擬画像と上記撮像画像との一致度が
所定値以上のときの上記模擬画像における位置情報また
は姿勢情報を各々上記撮像画像の撮像位置または撮像姿
勢と推定する手段とを備えたので、より正確な推定値を
返信できる効果がある。
【００２８】また、本発明によれば、上記構成の撮像情
報認識システムにおいて、撮像画像または付加情報の追
加送信を画像提供元に要求する手段を有するので、より
確実に画像の照合が可能となり、より正確な推定値を返
信することが可能となる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による撮像情報認識
システムを説明する図である。
【図２】 この発明の実施の形態１に係わる画像提供元
の構成を示す図である。
【図３】 この発明の実施の形態１に係わる画像照合セ
ンタの構成を示す図である。
【図４】 この発明の実施の形態１に係わる画像照合セ
ンタの動作を示すフローチャートである。
【図５】 この発明の実施の形態２に係わる画像照合セ
ンタの動作を示すフローチャートである。
【図６】 従来の撮像情報認識システムを示すブロック
構成図である。
【符号の説明】
１ 画像提供者、２ 画像照合センタ、３ 地理情報デ
ータベース、４ 通信ネットワーク、１１，１０１ 画
像撮影部、１２ 入力装置、１３ 出力装置（表示装
置）、１４，２２ 処理装置、１５ 通信装置、２１
通信装置、２３メモリ装置、１０２ 現在位置推定部、
１０３ 目印画像データベースシステム、１０４ 画像
照合部、１０５ 地図照合部、１０６ 地図データベー
スシステム、１０７ 経路計画部、１０８，１０９ 入
力部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 29/00 Ｇ０９Ｂ 29/00 Ａ ５Ｌ０９６ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ // Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｄ (72)発明者 山口 真史 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 竹家 章仁 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 2C032 HB03 HB25 HB31 HC11 HC23 HD03 HD13 HD30 5B050 AA09 BA15 BA17 CA08 EA18 EA27 GA08 5B057 AA16 AA20 BA02 BA30 DA07 DB02 DC08 DC34 DC36 5B075 ND02 ND06 NK06 PP28 PQ12 PQ32 PR06 UU14 5C054 CH02 DA01 DA07 DA09 FC03 FC11 GB12 GB14 GB16 5L096 BA04 CA02 CA22 DA02 FA67 FA69 HA08 JA03 JA09 JA24

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 通信ネットワークを通じて画像提供元か
    ら撮像画像と上記撮像画像に関する付加情報とを受信す
    る受信手段、受信した撮像画像に関する上記付加情報を
    基に地理情報データベースより地理情報を抽出して上記
    画像提供元から見えると想定される模擬画像を模擬生成
    し、上記模擬画像と上記画像提供元から受信した上記撮
    像画像との照合結果に応じて上記撮像画像の撮像位置ま
    たは撮像姿勢を推定する処理手段、及び推定された撮像
    位置または撮像姿勢を上記画像提供元に送信する送信手
    段を備えたことを特徴とする撮像情報認識システム。
  2. 【請求項２】 処理手段は、受信した撮像画像に関する
    付加情報を基に地理情報データベースより地理情報を抽
    出し、画像提供元から見えると想定される複数の模擬画
    像を模擬生成する手段と、上記複数の模擬画像と上記撮
    像画像との照合を行う手段と、上記複数の模擬画像と上
    記撮像画像との一致度が最大となる模擬画像における位
    置情報または姿勢情報を各々上記撮像画像の撮像位置ま
    たは撮像姿勢と推定する手段とを備えたことを特徴とす
    る請求項１記載の撮像情報認識システム。
  3. 【請求項３】 処理手段は、受信した撮像画像に関する
    付加情報を基に地理情報データベースより地理情報を抽
    出し、画像提供元から見えると想定される模擬画像を模
    擬生成する手段と、上記模擬画像と上記撮像画像との照
    合を行う手段と、上記模擬画像と上記撮像画像との一致
    度が所定値以上になるまで、設定回数以下の回数、上記
    模擬画像の生成と照合を繰り返す手段と、上記模擬画像
    と上記撮像画像との一致度が所定値以上のときの上記模
    擬画像における位置情報または姿勢情報を各々上記撮像
    画像の撮像位置または撮像姿勢と推定する手段とを備え
    たことを特徴とする請求項１記載の撮像情報認識システ
    ム。
  4. 【請求項４】 撮像画像または付加情報の追加送信を画
    像提供元に要求する手段を有することを特徴とする請求
    項１ないし３のいずれかに記載の撮像情報認識システ
    ム。
JP2002065371A 2002-03-11 2002-03-11 撮像情報認識システム Pending JP2003263104A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002065371A JP2003263104A (ja) 2002-03-11 2002-03-11 撮像情報認識システム
US10/230,251 US7305149B2 (en) 2002-03-11 2002-08-29 Image pickup information recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002065371A JP2003263104A (ja) 2002-03-11 2002-03-11 撮像情報認識システム

Publications (1)

Publication Number Publication Date
JP2003263104A true JP2003263104A (ja) 2003-09-19

Family

ID=27784967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002065371A Pending JP2003263104A (ja) 2002-03-11 2002-03-11 撮像情報認識システム

Country Status (2)

Country Link
US (1) US7305149B2 (ja)
JP (1) JP2003263104A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035476A1 (ja) * 2004-09-27 2006-04-06 Mitsubishi Denki Kabushiki Kaisha 位置特定サーバ及び移動体端末
JP2009065324A (ja) * 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 画像提供装置、画像提供方法及び画像提供プログラム
WO2011145482A1 (ja) * 2010-05-17 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、移動端末及び端末位置特定方法
JP2013185871A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法
KR20140130467A (ko) * 2012-02-10 2014-11-10 아이시스 이노베이션 리미티드 센서를 위치판단하는 방법 및 관련된 장치
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US9152081B2 (en) 2011-07-14 2015-10-06 Canon Kabushiki Kaisha Developer accommodating container, process cartridge, electrophotographic image forming apparatus
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
JP2016103268A (ja) * 2009-08-24 2016-06-02 サムスン エレクトロニクス カンパニー リミテッド モバイル機器及びモバイル機器と情報を送受信するサーバ
WO2020137069A1 (ja) * 2018-12-28 2020-07-02 株式会社Ｎｔｔドコモ 位置推定システム
WO2021144874A1 (ja) * 2020-01-15 2021-07-22 日本電信電話株式会社 撮影範囲推定装置、撮影範囲推定方法およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092976B2 (ja) * 2002-08-05 2008-05-28 ソニー株式会社 ガイドシステム、コンテンツサーバ、及び情報処理プログラム
WO2007113956A1 (ja) * 2006-03-31 2007-10-11 Murata Kikai Kabushiki Kaisha 移動体位置の推定装置と推定方法及び推定プログラム
TW200834040A (en) * 2007-02-02 2008-08-16 Mitac Int Corp Dioramic navigation apparatus
US8898179B2 (en) * 2008-03-21 2014-11-25 Trimble Navigation Limited Method for extracting attribute data from a media file
US8782564B2 (en) * 2008-03-21 2014-07-15 Trimble Navigation Limited Method for collaborative display of geographic data
TWI386626B (zh) * 2008-07-07 2013-02-21 Wistron Corp 用於一導航系統中的圖資更新裝置及相關導航系統
US20110285591A1 (en) * 2010-05-19 2011-11-24 Palm, Inc. Correlating contextual data and position data to improve location based services
CN104699850B (zh) * 2015-04-03 2018-06-01 北京国电经纬工程技术有限公司 三维地理信息的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218955A (ja) * 1996-02-14 1997-08-19 Hitachi Ltd 位置認識方法及び装置
JPH1166355A (ja) * 1997-08-26 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 変形ラベル型景観ラベリング装置およびシステム
JP2001034632A (ja) * 1999-07-23 2001-02-09 Fuji Photo Film Co Ltd 画像検索方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208750A (en) * 1987-06-17 1993-05-04 Nissan Motor Co., Ltd. Control system for unmanned automotive vehicle
US4947094A (en) * 1987-07-23 1990-08-07 Battelle Memorial Institute Optical guidance system for industrial vehicles
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5025261A (en) * 1989-01-18 1991-06-18 Sharp Kabushiki Kaisha Mobile object navigation system
JP2810152B2 (ja) * 1989-10-13 1998-10-15 株式会社日立製作所 ポイントパターンマッチング方法
US5155683A (en) * 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
US5245422A (en) * 1991-06-28 1993-09-14 Zexel Corporation System and method for automatically steering a vehicle within a lane in a road
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5414462A (en) * 1993-02-11 1995-05-09 Veatch; John W. Method and apparatus for generating a comprehensive survey map
US5621807A (en) * 1993-06-21 1997-04-15 Dornier Gmbh Intelligent range image camera for object measurement
US5793310A (en) * 1994-02-04 1998-08-11 Nissan Motor Co., Ltd. Portable or vehicular navigating apparatus and method capable of displaying bird's eye view
AU690693B2 (en) * 1994-05-19 1998-04-30 Geospan Corporation Method for collecting and processing visual and spatial position information
US5848373A (en) * 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
US5525883A (en) * 1994-07-08 1996-06-11 Sara Avitzour Mobile robot location determination employing error-correcting distributed landmarks
IT1271241B (it) * 1994-10-04 1997-05-27 Consorzio Telerobot Sistema di navigazione per robot mobile autonomo
US5848374A (en) * 1995-03-06 1998-12-08 Nippon Telegraph And Telephone Corporation Map information processing method and apparatus for correlating road location on a road network map
US6236940B1 (en) * 1995-09-08 2001-05-22 Prolink, Inc. Display monitor for golf cart yardage and information system
US6249241B1 (en) * 1995-09-21 2001-06-19 The United States Of America As Represented By The Secretary Of The Navy Marine vessel traffic system
JP3658659B2 (ja) * 1995-11-15 2005-06-08 カシオ計算機株式会社 画像処理装置
DE19613386A1 (de) * 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
US6067367A (en) * 1996-10-31 2000-05-23 Yamatake-Honeywell Co., Ltd. Moving direction measuring device and tracking apparatus
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6084989A (en) * 1996-11-15 2000-07-04 Lockheed Martin Corporation System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system
US6029106A (en) * 1996-11-22 2000-02-22 Case Corporation Global position correction for the electronic display of field maps
US5938709A (en) * 1996-11-22 1999-08-17 Case Corporation Panning display of GPS field maps
US5881969A (en) * 1996-12-17 1999-03-16 Raytheon Ti Systems, Inc. Lock-on-after launch missile guidance system using three dimensional scene reconstruction
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6024655A (en) * 1997-03-31 2000-02-15 Leading Edge Technologies, Inc. Map-matching golf navigation system
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
US6064335A (en) * 1997-07-21 2000-05-16 Trimble Navigation Limited GPS based augmented reality collision avoidance system
US6542086B2 (en) * 1997-09-22 2003-04-01 Siemens Aktiengesellschaft Docking system for airport terminals
JPH11271074A (ja) 1998-03-20 1999-10-05 Fujitsu Ltd 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
US6157875A (en) * 1998-07-17 2000-12-05 The United States Of America As Represented By The Secretary Of The Navy Image guided weapon system and method
US6161071A (en) * 1999-03-12 2000-12-12 Navigation Technologies Corporation Method and system for an in-vehicle computing architecture
US6813395B1 (en) 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
US6377210B1 (en) * 2000-02-25 2002-04-23 Grey Island Systems, Inc. Automatic mobile object locator apparatus and method
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US6804524B1 (en) * 2000-11-21 2004-10-12 Openwave Systems Inc. System and method for the acquisition of automobile traffic data through wireless networks
EP1308694B1 (en) * 2001-11-01 2015-04-22 Nissan Motor Company Limited Navigation system, data server, travelling route establishing method and information providing method
US7155336B2 (en) * 2004-03-24 2006-12-26 A9.Com, Inc. System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
US7323982B2 (en) * 2004-11-05 2008-01-29 Wirelesswerx International, Inc. Method and system to control movable entities
US7259668B2 (en) * 2005-07-12 2007-08-21 Qwest Communications International Inc. Mapping the location of a mobile communications device systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218955A (ja) * 1996-02-14 1997-08-19 Hitachi Ltd 位置認識方法及び装置
JPH1166355A (ja) * 1997-08-26 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 変形ラベル型景観ラベリング装置およびシステム
JP2001034632A (ja) * 1999-07-23 2001-02-09 Fuji Photo Film Co Ltd 画像検索方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035476A1 (ja) * 2004-09-27 2006-04-06 Mitsubishi Denki Kabushiki Kaisha 位置特定サーバ及び移動体端末
JP2009065324A (ja) * 2007-09-05 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> 画像提供装置、画像提供方法及び画像提供プログラム
JP2016103268A (ja) * 2009-08-24 2016-06-02 サムスン エレクトロニクス カンパニー リミテッド モバイル機器及びモバイル機器と情報を送受信するサーバ
WO2011145482A1 (ja) * 2010-05-17 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、移動端末及び端末位置特定方法
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US9152081B2 (en) 2011-07-14 2015-10-06 Canon Kabushiki Kaisha Developer accommodating container, process cartridge, electrophotographic image forming apparatus
KR20140130467A (ko) * 2012-02-10 2014-11-10 아이시스 이노베이션 리미티드 센서를 위치판단하는 방법 및 관련된 장치
JP2015508163A (ja) * 2012-02-10 2015-03-16 アイシス イノベーション リミテッド センサの位置を推定する方法及び関連装置
US9576206B2 (en) 2012-02-10 2017-02-21 Oxford University Innovation Limited Method of locating a sensor and related apparatus
KR102053802B1 (ko) 2012-02-10 2019-12-09 옥스포드 유니버시티 이노베이션 리미티드 센서를 위치판단하는 방법 및 관련된 장치
JP2013185871A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法
WO2020137069A1 (ja) * 2018-12-28 2020-07-02 株式会社Ｎｔｔドコモ 位置推定システム
JPWO2020137069A1 (ja) * 2018-12-28 2021-10-14 株式会社Ｎｔｔドコモ 位置推定システム
JP7085646B2 (ja) 2018-12-28 2022-06-16 株式会社Ｎｔｔドコモ 位置推定システム
WO2021144874A1 (ja) * 2020-01-15 2021-07-22 日本電信電話株式会社 撮影範囲推定装置、撮影範囲推定方法およびプログラム
JPWO2021144874A1 (ja) * 2020-01-15 2021-07-22
JP7243867B2 (ja) 2020-01-15 2023-03-22 日本電信電話株式会社 撮影範囲推定装置、撮影範囲推定方法およびプログラム

Also Published As

Publication number Publication date
US7305149B2 (en) 2007-12-04
US20030169903A1 (en) 2003-09-11

Similar Documents

Publication Publication Date Title
JP2003263104A (ja) 撮像情報認識システム
WO2011118282A1 (ja) 世界座標系データベースを利用したサーバ及び端末
JP2023017849A (ja) 複合現実システムのための位置特定の決定
KR101260576B1 (ko) Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
CN106663338A (zh) 信息处理装置、信息处理方法和程序
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
JP2019020889A (ja) ダイナミックマップ更新装置、ダイナミックマップ更新方法、ダイナミックマップ更新プログラム
TW201229962A (en) Augmenting image data based on related 3D point cloud data
CN104335649A (zh) 基于图像匹配的确定智能手机位置和姿态的方法和系统
JP2013507677A (ja) 実環境視像における仮想情報の表示方法
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
CN116934848B (zh) 数据处理方法、装置、设备以及介质
EP4455612A1 (en) Information processing device, information processing program, and information processing method
EP4622363A1 (en) Positioning method and apparatus, electronic device, computer-readable storage medium, and computer program product
US20140247966A1 (en) Determining GPS Coordinates for Images
JP5837404B2 (ja) 画像処理装置、画像処理方法
WO2011096343A1 (ja) 撮影位置提案システム、撮影位置提案装置、撮影位置提案方法、及び撮影位置提案用プログラム
KR20150077607A (ko) 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
JP2015005220A (ja) 情報表示装置及び情報表示方法
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
WO2006043319A1 (ja) 端末及びサーバ
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051025