JP2008170930A - 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム - Google Patents

地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム Download PDF

Info

Publication number
JP2008170930A
JP2008170930A JP2007106460A JP2007106460A JP2008170930A JP 2008170930 A JP2008170930 A JP 2008170930A JP 2007106460 A JP2007106460 A JP 2007106460A JP 2007106460 A JP2007106460 A JP 2007106460A JP 2008170930 A JP2008170930 A JP 2008170930A
Authority
JP
Japan
Prior art keywords
image
information
image data
shooting
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007106460A
Other languages
English (en)
Other versions
JP4210309B2 (ja
Inventor
Kazuo Oda
和夫 織田
Satoshi Nakayama
聡 中山
Hideyuki Kanehara
秀幸 兼原
Nobuyuki Mizutani
信之 水谷
Tomoyasu Ota
智康 太田
Hideto Sato
秀人 佐藤
Jun Yagome
淳 谷米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IDU KK
Asia Air Survey Co Ltd
Original Assignee
IDU KK
Asia Air Survey Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IDU KK, Asia Air Survey Co Ltd filed Critical IDU KK
Priority to JP2007106460A priority Critical patent/JP4210309B2/ja
Priority to PCT/JP2007/071583 priority patent/WO2008072429A1/ja
Publication of JP2008170930A publication Critical patent/JP2008170930A/ja
Application granted granted Critical
Publication of JP4210309B2 publication Critical patent/JP4210309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくため、一貫した撮影計画、及び画像収集・管理を行い、得られた画像データを表示するシステムを提供する。
【解決手段】地図データと切り出し画像データを格納する記憶装置と、地図データから地図を表示する地図表示手段と、切り出し画像データから、地図上に撮影位置を表示する撮影位置表示手段と、切り出し画像データの画像を表示する撮影画像表示手段と、地図データから、指定された起点から終着点までの経路を探索する経路探索連動手段と、切り出し画像データから、特定の画像を検索する画像検索手段とを含む。
【選択図】 図1

Description

本発明は、地理的環境を把握するための画像データを、たとえば道路走行や上空飛行によって撮影して収集し、必要な地理的範囲や画像の解像度・画像データ量に応じて抽出・加工し、地理座標と関連付けて空間的および時間的に管理し、地図と連動させて表示させる地理情報関連付き画像データ表示システムに関するものである。
情報技術の高度化および大容量通信網の整備に伴い、インターネット、カーナビゲーション、携帯電話などの表示媒体において写真や動画像などの大容量データベースが容易に扱えるようになった。
これに伴い、地理情報システム(GIS)やインターネット上での地図検索サイトにおいて、地理属性として画像を利用することで、実際の風景をデフォルメなく正確に利用者に伝えるニーズが多くなってきている。
特定の道路から撮影した街並み映像を撮影し、道路や河川の維持管理に使用する技術は開発されている(例えば、特許文献1参照)。
この技術では、道路等線上の地物で得られた画像は、道路中心線など1次元的な地物の上に、その地物上に指定された始点からの距離と関連付けて管理される。
また、実際に撮影した画像ではなく、人工的に作成されたCG画像を、部分的にグラフ構造を持つ道路と関連させて管理する技術もある(例えば、特許文献2参照)。最近では、実際の画像を表示する技術が開発されている(例えば、特許文献3参照)。
特許3099103号公報 特開平6−83937号公報 特開2005−3752号公報
本発明では、グラフ構造をした道路ネットワークの周辺環境を撮影して得られた画像データと周辺地図を含めた地理情報とを関連付けて構成されたデータを表示することを目的とするものである。
従来の技術では、1箇所の地図情報と関連付けて管理できる画像は1種類のみであったため、季節や時間帯が異なる複数の画像から選択して表示することができなかった。
つまり、季節や時間帯が異なる時期に撮影した画像を同時に管理したり、見たい季節や時間帯の画像をその中から選択して表示することができなかった。
したがって、1箇所の地図情報と複数の画像を関連付けて構成されたデータを用いて、条件指定や検索によって、閲覧したい条件を満たす最適な画像を地図と共に表示することが必要である。
また、画像の検索では、大規模なデータベースの中では大量の画像ファイルの中から探索を行うため、高速な検索方法が必要となる。既存の地理情報と組み合わせて利用することを可能とするため、たとえば任意の点(たとえばビル)を選んだとき、その点の座標の近傍の座標を属性として持つ周辺の画像を検索し、その画像の進行方向を基点に方位角を計算し、対象となるビルを前面に表示できることが必要である。
さらに、高度な画像の検索方法として、場所による検索だけでなく、画像のもつ意味的な検索が行える、すなわち写っている対象の内容による検索が必要である。
例えば、公園付近の画像・大店舗付近の画像等、地理的な内容に対応する画像を検索することが必要である。
本発明の地理情報関連付き画像データ表示システムは、所定領域の、グラフ構造をした路線ネットワークの周辺環境を撮影して得られた画像データと該路線ネットワークの地理情報及び前記画像データとを関連付けて構成された地理情報関連付き画像データとを格納する記憶装置と、前記路線ネットワーク及び該路線ネットワークの近傍の地物の地図を画面に表示する地図表示手段と、前記地理情報関連付き画像データに含まれる撮影位置情報を用いて、前記画面に表示された前記地図上に全ての撮影位置を表示する撮影位置表示手段と、前記地図上に表示された前記撮影位置が選択されると、該選択された撮影位置に関連付けられている前記地理情報関連付き画像データに含まれる画像を前記画面に表示する撮影画像表示手段とを含むことを要旨とする。
本発明では、グラフ構造をした道路ネットワーク(図17に示すような、交差点をノード・交差点間の道路中心線を示す連続線分をリンクとするネットワーク情報)の周辺環境を撮影して得られた複数の画像データと周辺地図を含めた地理情報とを関連付けて構成されたデータを用いて、地図と連動させながら、該当する地点に対応する画像を表示することができる。
グラフ構造として道路ネットワークを利用する場合は、ノードとして交差点もしくはそれに類するもの(道路の末端・道路属性が変更される点(橋の末端やトンネルの末端))、リンクとしてノード間を結ぶ道路中心線と解釈してもよい。
また、道路などの地図情報と画像を関連付け、場所を表す地理属性として画像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる。
さらに、季節や時間帯が異なる複数の画像を1箇所の地図情報と関連付けて管理できるため、利用者が必要とする時期や時間の状況に最も近い画像を提供することができる。
本実施の形態は、道路などの地図情報と画像を関連付けることで、たとえば、不動産取引のためのマンションや店舗などの物件情報や、町の名所、駅から対象不動産物件や店舗への経路環境表示、商店街の広告活動、消防や警察など緊急通報における位置特定と周辺状況把握、道路河川管理における現地把握など、場所を表す地理属性として映像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる地理情報関連付き画像データ表示システムである。
また、対象とする町を面的に、かつ広範囲でデータを取得してサービスを行えば、利用者は調べたい任意の場所を自由に選択することができる。また、たとえば季節別や多時期で撮影したもの画像を用意すれば、町の変遷・環境変化の提供も可能となる地理情報関連付き画像データ表示システムである。
これらのニーズに対して不特定多数の利用者に情報を提供する手段としては、ウェブ配信を利用することで、多くの活用が可能となる。
映像データベースを地図に関連づけて表示検索するには、従来の2次元地理座標としての管理ではなく、映像の撮影された点(撮影地点)、撮影された方向、撮影された時間(季節)などの多次元時空間情報をメタデータとして管理することにより、利用者に必要な情報を検索し提供することが可能となる。
このような映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。
更に、同じ箇所を1回の撮影だけでなく、複数の時期に撮影したものを利用することができれば、利用者の希望する状態の画像、たとえば季節や時刻などを指定した画像の提供が可能になる。たとえば、撮影年度の異なる画像が利用できれば、特定の地区の経年変化を調査することが可能となる。また、「桜の時期の画像がみたい」「紅葉時の画像がみたい」といった、街並みや観光道路などを利用者の見たい状態で見ることが可能となる。
広い道路の場合は、走行路線に近い側の建物はよく映るが、対向車線側の建物はあまりよく映らない場合がある。すなわち、沿線の画像をよりよく表現するために往復撮影する必要が生じる。往復撮影した場合も、走行方向とともに上記複数時期撮影の場合と同様に管理すればよい。
また、画像に付与された付属情報(撮影方位など)を利用して、特定の地物が写っている画像を、大量画像データの中から検索し、その位置を表示することが可能となるシステムである。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
本発明の実施の形態による地理情報関連付き画像データ表示システム100は、図1及び図22に示すように、地理表示手段101、撮影位置表示手段102、撮影画像表示手段103、経路探索連動手段104、画像検索手段105、及び地図データ108と切り出し画像データf4を格納する記憶装置106から構成される。
地理表示手段101は、記憶装置106に格納された地図データ108を読み込み、スクロール・縮尺切り替え・表示項目切り替え・表示色切替などを行いながら、地図を表示する。
撮影位置表示手段102は、地理表示手段101によって表示した地図に、記憶装置106に格納された切り出し画像データf4(画像ファイル、画像ファイルの付属情報(画像取得座標・画像取得方位・画像取得リンクID・取得リンク内での順番・画像取得カメラ情報(撮影高等))・リンクのグラフ構造(各ノードに接続するリンクのIDのリストを含む)から、図23に示すように画像の撮影位置(地図上の画像取得座標)を描画する。ユーザはこの描画位置をマウスクリック等で指定し、所望の撮影地点の撮影画像を表示させる。
撮影画像表示手段103は、画像表示部と画像連続表示部から構成される。
画像表示部は、図23に示すように、地理表示手段101に表示された撮影位置表示手段102の撮影位置のひとつをマウス操作等で指定したとき、その撮影位置に最も近い画像の切り出し画像データの画像ファイル付属情報の画像取得座標を用いて検索し、その最も近い画像ファイルを読み出して表示する。
指定中の撮影位置のフレーム画像をそのまま表示する単純表示のほか、図25に示すように、格納されている画像が全周画像(周囲360度が撮影され、正距投影図法(縦が鉛直角・横が水平角に線形に投影される図法)で撮影された画像の場合は、撮影中心から任意のカメラパラメータ(カメラの向き・焦点距離(画角))で撮影した画像をCG処理等の手段によって合成して表示する。このような表示方法をカメラパラメータ指定表示を行う。
さらに、地図データ108に注記データ(地図上の地物の名称・地物の種類、その地図上の位置座標の組合せからなるデータ)が含まれる場合は、図24に示すように、切り出し画像データf4に含まれる画像取得座標と画像取得方位、及び地図データ108)に含まれる注記表示位置から、画像取得座標からみた注記データを付与した対象物の方位を算出し、表示した画像内の対応する方位の位置に注記データを描画する。
また、画像連続表示部は、同じリンクIDを持つ画像を、取得リンク内の撮影順番に従って昇順若しくは逆順に順次表示することにより、あたかも移動しているように連続して表示し、動画とする。連続表示は、移動方向指定ボタンと一時停止ボタンで制御することができる。移動方向指定ボタンは、同一経路と対応付けられた画像データの進行方向に応じた記号として表示される。また、移動速度を移動速度指定ボックスで指定することが可能である。
上記画像連続表示で取得リンク内の順番の最初もしくは最後になった場合は、連続表示を打ち切り、経路選択を行う。経路選択では、ます画像データに含まれる画像ファイルの付属情報から最後に表示した側のノードIDを調べる。次に切り出し画像データに含まれるグラフ構造を調べ、そのノードに接続するリンクを検索する。さらに、切り出し画像データに含まれる画像取得リンクIDを調べることにより、そのリンクを撮影した画像データが存在する場合は、画像に表示されている各経路上に矢印やクリックボタン等を描画し、次にどの経路の画像を表示するかを指定させる。
経路探索連動手段104は、地図データ108に含まれる道路ネットワークを用い、指定された起点座標から終着点座標までの経路を探索し、地理表示手段101によって表示した地図に経路を表示するとともに、その経路に対応する切り出し画像データf4が存在する部分については、地理表示手段101によって表示した地図に画像の画像取得座標の撮影位置も描画する。
なお、経路探索連動手段104は、経路探索のときは、経路上の全ての画像取得座標の撮影位置のみを描画し、それ以外は描画しない。このとき、経路上の撮影位置が選択された場合は、他の撮影位置は他とは異なる色で描画する。
前述の道路ネットワークとは、例えば走行軌跡パターン、道路の形状、幅等を含む。
グラフ構造のネットワークは、道路、線路、海路、管路、空路、坑道等があり、総称して路線ネットワークと称する場合もある。
さらに、起点から終着点までの画像を順次描画する。
画像検索手段105は、地図データ108に含まれる施設名等を含む注記データを用いて、撮影されている対象物の画像を検索する。注記データには地図に描画する注記文字列・注記表示位置・注記種類が含まれているものとする。
画像検索は、図26のフローチャートに示した手順で行う。
ステップS200:注記データと画像の照合
各注記データについて、その注記が最もよく映っていると判定される撮影されている画像を探索しておく。典型的には、注記データの注記表示位置に最も近い撮影位置座標を有する画像ファイルを引当て、この画像ファイルを有する切り出し画像データの画像ファイル付属情報を用いて検索し、選択しておく。ただし、定められた基準(たとえば距離のしきい値)を満たす画像がない場合は、注記データに対応する画像なしとする。
ステップS201:キーワード入力
検索したい対象の名称や種類などを含むキーワードを入力する。地物の種類としては、公共施設・公園・交差点名などが挙げられる。また、キーワードは地物名称の全部もしくは一部(新宿駅を調べたい場合は、「新宿」など)を指定する。
ステップS202:注記データ検索
上記のキーワードに対応する注記データを検索する。このとき、ステップS200で対応する画像が選択された注記のみを対象とする。キーワードとの照合は注記文字列もしくは注記種類を対象に行う。
ステップS203:注記候補選択
複数の注記がキーワードと照合した場合は、それらを画面に表示し、ユーザが選択する。
ステップS204:画像表示
ユーザが選択した注記に対応した画像を、画像ファイルを切り出し画像データから読み出し、コンピュータ画面の画像表示部に表示する。
つづいて、記憶装置106に格納される地図データ108と切り出し画像データf4について説明する。
地図データ108には、道路等のネットワークデータf0と、背景地図と、地図上に存在する対象物に付与された注記データと、地図記号データが含まれる。
地図データ108は、専用に作成したデータではなく、ナビゲーションシステム用などに用いるために作成された一般的なデータであって構わない。
一方、切り出し画像データf4には、画像ファイルと、画像ファイル付属情報、およびグラフ構造情報からなる。画像ファイル付属情報は、各画像ファイルについて画像取得座標と、画像取得方位と、画像取得リンクIDと、撮影開始側のノードIDと、撮影終了がわのノードIDと、撮影開始側から数えた撮影順番と、取得した画像に対応付けられるグラフ構造情報及び画像取得カメラ情報(撮影高など)が含まれる。
リンクのグラフ構造は、画像が取得されたリンクの接続関係を示すもので、データに含まれる各ノードについて、ノードIDと、そのノードに接続するリンクのリンクIDのリストからなる。
また、画像の取得方位とは、撮影時のカメラの中心軸の方位である。
画像が全周画像の場合は、撮影地点から見た全周囲画像の中心が対応する方位である。
画像取得リンクIDとは、グラフ構造として道路ネットワークを利用する場合は、画像を撮影した道路中心のIDに対応する。
また、ノードとは、例えば道路の交差点、行き止まり等を特定するための座標点のことであり、リンクは各ノードを繋いだベクトルでリンクの始点の座標、終点の座標、リンクの方向、リンクの道路幅等のデータを含んでいる。
切り出し画像データf4は、後述する地理情報関連付き画像データ管理システム10によって作成されるデータである。
地理情報関連付き画像データ表示システム100は、コンピュータ上で単独で動作するプログラムでもよい。また、切り出し画像データf4をデータサーバ、地図データ108をクライアントもしくはデータサーバに配したインターネット上でのシステムとして実現してもよい。
次に、地理情報関連付き画像データ表示システム100で利用する切り出し画像データf4を作成する地理座標関連付き画像データ管理システム10について説明する。
地理座標関連付き画像データ管理システム10は、図1に示すように、画像撮影サブシステム20、画像データ編集サブシステム30、画像データ管理サブシステム40、及び画像データ管理サブシステム40に接続された記憶装置50から構成される。
まず、画像撮影サブシステム20は、画像センサ22を接続し、地図リンクに沿った周辺環境を撮影した画像を撮影時刻とともに収集画像データd1として収集する画像データ収集手段24と、ハイブリッド型位置センサ23を接続し、画像の撮影位置座標を座標計測時刻とともに収集画像属性情報d2として収集する位置データ収集手段25とを搭載した移動手段を含む。
ここで地図リンクとは、たとえば、図17に示したグラフ構造を持つ2点間(1つの交差点から次の交差点まで)の道路をいう。便宜上、1点を始点、もう1点を終点と記すが、始点から終点というリンクの方向性を意味するものではない。
また、移動手段とは、地図リンクに沿って飛行して上空から撮影するための航空機や、地図リンクの道路を走行する車両21をいう。
つづいて、画像データ編集サブシステム30は、地図リンクを表示する地図データ表示手段31と、画像データ収集手段24によって収集した画像データを表示する画像データ表示手段32と、撮影時刻及び座標計測時刻(GPS時刻)から地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段33と、画像データから一定間隔ごとにデータを間引く画像間引き手段34と、実撮影管理情報登録手段35とを含む。
さらに、画像データ管理サブシステム40は、画像撮影サブシステム20による撮影計画を管理する撮影計画手段41と、画像データ編集サブシステム30により編集された収集画像データd1と収集画像属性情報d2を取り込む撮影情報取り込み手段42と、記憶装置50に記録された情報から、指定された条件に適合した情報を抽出するデータ抽出手段44と、記憶装置50への情報の登録、記憶装置50からの情報の削除、及び記憶装置50の情報の印刷を行う管理手段43を含む。
記憶装置50は、地図リンクの情報を記録するグラフ構造データベース51と、画像センサ22の情報を記録するカメラ情報データベース52と、撮影計画の情報を記録する計画・実撮影情報データベース53と、撮影情報取り込み手段42によって取り込まれた収集画像データd1及び収集画像属性情報d2をそれぞれ記録する収集画像データベース55及び収集画像属性情報データベース56と、図15に示すように地図リンクごとに各データベースの情報を関連付ける管理情報を記録するリンク関連情報データベース54とを含む。
画像撮影サブシステム20、画像データ編集サブシステム30、及び画像データ管理サブシステム40の各サブシステム間のデータのやり取りは、ディスクなどの携帯型記憶媒体を介して行うものとするが、各サブシステムにデータ通信手段を設けて、有線または無線データ通信によって行うことができる。
(画像撮影サブシステム20)
次に、画像撮影サブシステム20の各手段について詳細に説明する。なお、ここでは、移動手段の例として車両21をあげて説明するが、車両21に限るものではない。
画像撮影サブシステム20は、図12に示したように、本発明の実施の形態で用いる地図リンクに沿った周辺画像を撮影することを目的としたサブシステムである。
まず、画像データ収集手段24は、画像センサ22として車両21に取り付けられた1台ないし同期をとった複数台のカメラを使って、地図リンクである道路を走行しながら画像を撮影する。この際、次に説明する位置情報との同期を取るため、ハイブリッド型位置センサ23で検知される全地球無線測位システム(GPS)から送信される時刻を、時系列で得られる各画像フレームに付与して、収集画像データd1として一時メモリ26に記録していく。
なお、時刻は、検知したGPS時刻と画像撮影サブシステム20が搭載されているコンピュータのクロックを利用し、1/1000秒単位で各画像フレームに付与される。
次に、位置データ収集手段25は、同じ車両21に取り付けられたGPSとその他のセンサ(ジャイロ・車速センサ)と組み合わせたハイブリッド型位置センサ23を使って、GPSから得られる位置情報(座標)、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報を収集する。さらに、これらの情報にGPS時刻を付与して収集画像属性情報d2として一時メモリ26に記録していく。
位置データ収集手段25に、ハイブリッド型位置センサ23から得られる車速が0のときは、画像データ収集手段24に対して画像データ収集を行わないように命令する処理を設けて、停止中の撮影をやめることもできる。これにより、信号や渋滞などで停止状態になった場合に、画像データの記録を一時停止し、データ収集容量を節約することができる。
収集された収集画像データd1と収集画像属性情報d2は、図16に示すようにそれぞれ共通のGPS時刻を利用した時刻情報を付与しているため、付与された時刻を媒介として位置と画像を対応付けることができる。
またカメラの方位は、車両21に相対的なカメラの相対方位と車両21方位から求めることができる。相対方位はあらかじめ計測しておくものとする。普通は画像データの収集周期の方が短いため、各画像フレームにおける位置・速度・方位などは前後の時刻の位置・速度・方位を内挿することによって得られる。
一時メモリ26に記録された収集画像データd1と収集画像属性情報d2は、一次撮影情報インポートファイルf1として、ディスクなどの携帯型記憶媒体に出力して、次の画像データ編集サブシステム30に入力される。
なお、位置データ収集手段25は、後述する画像データ管理サブシステム40の撮影計画手段41によって作成され、後述する撮影情報エクスポートファイルf3として携帯型記憶媒体に出力された撮影計画情報d0に含まれるリンクの形状及び情報を読み込み、ハイブリッド型位置センサ23から得られる位置情報をコンピュータの画面に重畳表示する。これにより、作業者が収集対象のどの地図リンクのデータ収集を行ったかがわかる。
(画像データ編集サブシステム30)
次に、画像データ編集サブシステム30の各手段について詳細に説明する。
画像データ編集サブシステム30は、図3に示したように、画像撮影サブシステム20によって収集され、一次撮影情報インポートファイルf1として出力された収集画像データd2を、本発明の実施の形態で用いるために編集し、後述する画像データ管理サブシステム40の撮影計画手段41によって作成され、撮影情報エクスポートファイルf3として出力されたリンク情報の形状情報を用いて、道路ネットワークなどグラフ構造を持つ地図情報との関係付けを行い、最適化することを目的としたサブシステムである。
まず、地図データ表示手段31は、図4に示すように、入力情報として、画像撮影サブシステム20にから出力される一次撮影情報インポートファイルf1は後述する物理画像データベースと同じ構造を有する。一次撮影情報インポートファイルf1を構成する収集画像属性情報d2に含まれる時系列位置情報と、撮影情報エクスポートファイルf3に含まれる地図情報からリンク形状を表示する。時系列位置情報は点列として、またリンク形状は連続線分として表示される。
次に、画像データ表示手段32は、図5に示すように、一次撮影情報インポートファイルf1の収集画像データd1を表示する。画像を表示すると、画像収集位置が地図データ表示手段31で表示された地図の中に、記号で表示される。また、画像データは時系列的に前後に順次表示を切り替えることができる。
次に、リンク始終点通過時刻登録手段33は、地図データ表示手段31により表示された図4に示す地図上でマウス選択したリンク、もしくは順次的に選択された選択中のリンクの始点および終点に対応する通過時刻を指定し、登録する。通過時刻は、一次撮影情報インポートファイルf1の収集画像属性情報d2に含まれる時系列位置情報を用いて、その始点もしくは終点に対応する時系列位置の時刻から指定する方法と、一次撮影情報インポートファイルf1の収集画像データd1に付与された画像撮影時刻から指定する方法がある。リンクの始点および終点の通過時刻は、撮影日時、撮影に使用したカメラ情報キーID、および格納する画像の物理保管場所(ハードディスクのボリューム名など)等の各情報とともに撮影計画エクスポートファイルと同様の形式で実撮影結果情報d3に保存される。
時系列位置から指定する方法には、リンクの始点もしくは終点に対応する時系列位置をマウス等で指定するマニュアル指定方法と、自動的に指定する自動指定方法がある。
自動指定方法では、リンクの始点もしくは終点に最も近い時系列位置を探索するということで達成される。自動車のナビゲーションシステムに使われているマップマッチング技術、すなわち位置だけでなく進行方向やスピードなどを勘案して自分の進んでいる経路に自動的に対応付ける技術を用いてもよい。この際は、必ずしも最も近い点を選択するとは限らない。
画像撮影時刻から指定する方法では、リンクの始点は終点の時刻に対応する収集画像データd1を画像表示画面に表示する。画像に撮影されている道路や交差点の様子を見て、オペレータが交差点などで位置がずれていると判断された場合は、時系列画面を操作することによって時系列的に前もしくは後の画像を表示させ、オペレータが判断した交差点の位置の画像の撮影時刻をリンクの始点もしくは終点の通過時刻として修正登録できる。
リンク始終点通過時刻登録手段33で登録されたリンクの始点通過時刻が終点通過時刻よりも前の場合は、画像が該当のリンク上を始点から終点に向かって走行しながら撮影されたと判断される。逆に始点通過時刻が終点通過時刻よりも後の場合は、該当のリンク上を終点から始点に向かって走行しながら撮影された画像であると判断される。
リンク始終点通過時刻登録手段33で登録されたリンクの始点および終点の通過時刻は、二次撮影情報インポートファイルf2に出力される。
最後に、画像間引き手段34は、データ容量を少なくすることを目的として、一次撮影情報インポートファイルf1の収集画像データd1を移動距離などに応じて間引く。間引きの方法の一例として、図6に示すように、次のような方法がある。一つのフレームを起点に、起点フレームからi番目のフレームの距離を、各フレームごとに次の式で計算する。
〔数1〕
L[0]=0.0;
L[i]=L[i−1] + (v[i−1]+v[i])/2*(t[i]−t[i−1]);
ここで、v[i]:i番目のフレームの速度(メートル/秒)
t[i]:i番目のフレームの時刻(秒)
間引き間隔をdとして、dのn倍(nは整数)に最も近い距離をL[jn]とする。jn以外のフレームは間引く。間引き後の画像フレームも時刻情報をつけておけば、データベースの他の部分に影響を与えず画像を間引くことができる。
例えば、時速10kmで走行する車から毎秒15フレームで撮影する場合、10kmの区間で54000枚の画像が取得される。これを1m置きに間引くとすると、10000枚となり、データ量を5分の1以下に抑えることができる。
このように、人間の視覚上問題のない程度まで画像フレーム数を間引くことで、データ量を削減することができ、保存するのに必要なメモリ量が少なく済むため、システムを安価にできる。さらに、画像表示処理すべきデータ量が少なければ、表示処理速度も向上し、コンピュータなどの表示装置の負担が軽減できる。
メモリの低価格化やコンピュータの処理能力向上によって、データ量を削減する必要がない場合には、画像間引き手段34は、特に具備する必要はない。
実撮影管理情報登録手段35は、後述する計画・実撮影情報データベースに登録する実撮影時の属性情報(撮影地区情報・作業実施者等)を入力し、実撮影管理情報d4に入力する。
(画像データ管理サブシステム40)
次に、画像データ管理サブシステム40の各手段について詳細に説明する。
画像データ管理サブシステム40は、図7に示したように、撮影すべき場所や撮影に使用する機材などの計画・進捗管理から、実際に撮影され、編集された収集画像データd1の管理、及び利用者の要求条件にあった収集画像データd1を切り出して提供するまでに必要なデータ群を一括管理することを目的としたサブシステムである。
まず、撮影計画手段41は、図8に示すように、画面表示部411、リンク選択部412、カメラ情報入力部414、撮影計画情報入力部413、及び撮影情報エクスポートファイル作成部415から構成される。
画面表示部411は、記憶装置50に記録されているグラフ構造データベース51のノードおよびリンクをコンピュータの画面に表示する。
リンク選択部412は、画面表示部411によって表示されたリンクの内、撮影を計画するリンクを選択し、決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。
例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。
カメラ情報入力部414は、入力された撮影に用いるカメラの情報を、カメラ情報データベース52として記憶装置50に記録する。この際、自動または任意に指定したカメラ情報キーIDを付与して、個々のカメラ情報を識別できるようにする。
撮影計画情報入力部413は、撮影地区(リンク選択部412で選択されたリンク群)、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーIDなど、入力された撮影計画の情報を計画・実撮影情報データベース53として記憶装置50に記録する。この際、自動または任意に指定した撮影計画キーIDを付与して、個々の撮影計画を識別できるようにする。
撮影計画IDを自動的に生成する場合は、作成日時とカメラ情報キーIDを組み合わせたものなどにして、IDの重複が起こらないようにする。
撮影情報エクスポートファイル作成部415は、リンク選択部412で選択されたリンクと撮影計画情報入力部413で入力された情報を組合せ、図15に示す形式でリンク関連情報として、記憶装置50内のリンク関連情報データベース54に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルf3として、携帯型記憶媒体に出力する。
次に、撮影情報取り込み手段42は、図9に示すように、実撮影管理情報記録部421と画像データ記録部422からなる。
実撮影管理情報記録部421は、画像データ編集サブシステム30から二次撮影情報インポートファイルf2として入力された、撮影時の撮影者などの実撮影管理情報d3を、実撮影キーIDを付与して計画・実撮影情報データベース53に記録する。
実撮影IDは、撮影日時と使用したカメラ情報キーIDを組み合わせたものなどにして、IDの重複が起こらないようにする。
さらに、撮影されたリンクに関する撮影情報、すなわち撮影日時、撮影に使用したカメラ情報キーID、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所(ハードディスクのボリューム名など)等の各情報を格納した実撮影結果情報d3を、撮影情報エクスポートファイル作成部415によってリンクキーIDごとに作成され保存されているリンク関連情報データベース54の、該当するリンクキーIDの部分に更新する。
また、画像データ記録部422は、画像データ編集サブシステム30から二次撮影情報インポートファイルf2として入力された収集画像データd1と収集画像属性情報d2を、それぞれ収集画像データベース55と収集画像属性情報データベース56に記録する。
管理手段43は、図10に示すように、ネットワーク登録部431、印刷部432、メンテナンス部433から構成される。
ネットワーク登録部431は、外部で作成・配布される道路ネットワークデータを読み込んで、グラフ構造データベース51に登録する。
印刷部432は、記憶装置50に記録されている各データベースの情報をプリンタにて印刷する。
メンテナンス部433は、記憶装置50に記録されている各データベースの定期的なバックアップを実施したり、不要データ(撮影を行わなくなった撮影計画情報など)の削除などを行う。また、撮影計画情報d0と実撮影管理情報d3が反映されているリンク関連情報データベース54内の作業進捗コードを検索することで、撮影がどの程度進んでいるかを集計する。
最後に、データ抽出手段44は、図11に示すように、抽出条件入力部441、グラフ構造情報抽出部442、リンク関連情報抽出部443、収集画像データ抽出部444、及び収集画像属性情報抽出部554からなる。
抽出条件入力部441は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件には、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等がある。
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
グラフ構造情報抽出部442は、グラフ構造データベース51から、抽出条件入力部441で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。
さらに、抽出されたリンクIDとその両端のノードIDを調べ、各ノードに接続するリンクIDをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。
リンク関連情報抽出部443は、上記で抽出されたリンクのIDに対応するリンクについて、リンク関連情報データベース54から抽出する。さらに、その中から抽出条件入力部441で入力された撮影属性条件に適合するリンクの情報を抽出する。
収集画像データ抽出部444は、収集画像データベース55から、抽出条件入力部441で入力された条件に適合する情報を抽出する。
つまり、収集画像データ抽出部444は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーIDで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
また、画像取得リンクID、撮影開始側のノードID、撮影集両側のノードID、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
収集画像属性情報抽出部445は、収集画像属性情報データベース56から、抽出条件入力部441で入力された条件に適合する情報を抽出する。
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報画像ファイル属性として格納する。
以上によって切り出された情報は切り出し画像データf4として出力される。これには、画像ファイル・画像ファイル付属情報、リンクのグラフ構造が含まれる。
なお、リンクの切り出しに当たっては、次の方法で切り出すことができる。
・位置的条件の指定(地理メッシュや行政区域による切り出し):コンピュータ画面インターフェース上のマウス指定もしくはマウスによる領域指定で、切り出すリンクを選択することができる。また、あらかじめ行政区域等の外周多角形内を登録しておき、ユーザが指定する区域に対応する外周多角形内のリンクを抽出してもよい。
例えば、東京都の区市町村境をポリゴンとして別途作成しておき、それを外部ファイルとして磁気ディスク上に保存しておき、必要時にそのファイルを指定してポリゴンを読み出せば、マウスでポリゴン入力する代替として利用することが可能である。
・リンク属性的条件の指定(道路種別・道路幅等):撮影に必要なリンクの種別を指定し、グラフ構造データベース51に格納されている情報を参照すれば、そのリンクの種別に該当するものを抽出することができる。
・撮影属性的条件の指定:リンク関連情報データベース54に含まれる撮影日・撮影時刻情報を参照することにより、画像の撮影時期を指定し、抽出することができる。
一方、各リンクに対応する画像は、リンク関連情報データベース54に記述されている情報に基づいて抽出される。すなわち、抽出するリンクのリンクキーIDに対応するレコードに記述されている記憶装置50の保管場所に記録されている収集画像データベース55から、カメラ情報キーIDに記述されているカメラで撮影し、且つ画像フレームについている時刻が始点通過時刻から終点通過時刻の間のものを抽出すればよい。
切り出された画像データには、次のものを含むことが可能である。
・ 画像ファイル
・ 画像ファイル属性情報
・画像取得座標(各フレームの緯度経度)
・画像取得方位(画像中心の方位)
・ 画像取得リンクID(画像を撮影した道路中心線のID)
・ 撮影開始側のノードID
・ 撮影終了側のノードID
・ 撮影順番
・ 画像取得カメラ情報(撮影高等)
・リンクのグラフ構造
・ 各ノードIDについて、そのノードに接続するリンクIDのリスト
(記憶装置50内の各データベース)
つづいて、記憶装置50内に記録される各データベースについて説明する。
本発明の実施の形態で用いられるデータベースは、図1に示したように、大別すると、グラフ構造を持つ地物情報と撮影された画像の関係を管理する画像情報データベース50aと、実際に撮影した画像とその付属情報を格納する物理画像データベース50bの2つのグループに分けられる。
画像情報データベース50aには、グラフ構造を格納するグラフ構造データベース51、撮影に使用するカメラ等撮影に付属的な情報を格納するカメラ情報データベース52、撮影計画や実際に撮影したときの情報を格納する各リンクに対応する計画・実撮影情報データベース53、リンクごとに上記の情報及び撮影された画像を関連付けるリンク関連情報データベース54の4つが属する。
グラフ構造データベース51は、図12に示すようなグラフ構造を持つ地物情報を格納するものである。地理情報として道路ネットワークを使用する場合は、グラフ構造のノードとして交差点、リンクとして交差点をつなぐ道路中心線が対応する。
グラフ構造データベース51内では、図12に示すように、各ノードは地理座標によって定義され、ノードキーIDで識別される。各リンクは両端の地理座標(またはノードキーID)とリンクの形状によって定義され、リンクキーIDで識別される。なお、リンク(道路中心線)の両端はノード(交差点)につながっており、リンクの始点と終点の交差点を示すノードキーIDが各リンクに付与されている。これによって、ノードとリンクの接合関係、すなわちネットワーク構造が明らかになる。
グラフ構造データベース51内では、ノードやリンクには付属情報をつけることができる。たとえば、道路ネットワークの場合、交差点であれば交差点名、リンクであれば道路幅や規制情報(一方通行など)の情報を付与することができる。
次に、カメラ情報データベース52には、図13に示すように、撮影するカメラや搭載する車、カメラ高さなどの機器情報が格納され、カメラ情報キーIDで識別される。
計画・実撮影情報データベース53には、図14に示すように、各リンクに対応する撮影計画情報d0や実撮影管理情報が記録される。すなわち、作業者、作業に使われたカメラのカメラ情報キーID,画像の撮影日などである。各撮影計画や実撮影管理情報は、それぞれ撮影計画キーID,実撮影キーIDで識別される。
リンク関連情報データベース54は、図15に示すように、リンクキーID、撮影計画キーID、実撮影キーID、撮影状況を示す作業進捗コード(計画済み、撮影済、編集済、撮影不可等)、撮影日、撮影に使用したカメラ情報キーID、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所(ハードディスクのボリューム名など)等の一連の情報を有するテーブル構造を持つ。
撮影計画後は、撮影が予定されるリンクに対して、リンクキーID,撮影計画キーID,使用が予定されるカメラ情報キーIDなど、実撮影に関連しない項目のみが設定されたレコードが記録される。この際、作業進捗コードは未撮影となる。
撮影後は、実撮影キーID,撮影日時、撮影に使用したカメラ情報キーIDが格納され、作業進捗コードが更新される。
リンク関連情報データベース54は、図15の斜線部に示すように、同じリンクキーIDを持つレコードを複数持つことができるテーブルになっている。このため、一つのリンクキーIDに対して複数の撮影結果を格納することが可能である。
物理画像データベースには、図16に示すように、収集画像データベース55と収集画像属性情報データベース56が属する。
収集画像データベース55は、実際に時系列的に撮影された一連の画像とともに、各画像の収集に使われた撮影カメラ情報(カメラ情報キーID)と、撮影年月日、撮影時刻も記録される。
収集画像属性情報データベース56は、撮影時の位置、撮影時の速度、撮影方向、撮影年月日、撮影時刻(GPS時刻)、撮影カメラなどの情報が格納される。
収集画像データベース55の情報と収集画像属性情報データベース56の情報は、それぞれ時刻情報を持つので、その時刻情報によって、互いに関連付けられる。
なお、本発明の実施の形態では、上記のデータベースを記憶する記憶装置50を1台のみ図示しているが、記憶装置50を1台に限定するものではない。物理画像データベース50bは、大量の画像データを格納するために、画像情報データベース50aとは物理的に異なる記憶媒体に格納しても構わない。実際には、100ギガバイト以上の大容量ハードディスクに分割して格納される。
本発明の実施の形態におけるデータベース構造では、一つのリンクに対して複数時期の画像を同時に蓄積することができる。
次に、本発明の実施の形態による地理情報関連付き画像データ管理システムにおける手順を図18〜21図を用いて説明する。
(データの登録)
ステップS100:画像データ管理サブシステム40の管理手段43によって、外部の道路ネットワークデータf0からリンク情報をグラフ構造データベース51に登録する。
(撮影計画)
ステップS101:画像データ管理サブシステム40の撮影計画手段41の画面表示部411によって、グラフ構造データベース51のリンク情報から、リンクのグラフ構造を表示する。
ステップS102:画像データ管理サブシステム40の撮影計画手段41のリンク選択部412によって、表示されたリンクのグラフ構造から、撮影対象とするリンクを選択する。
ステップS103:画像データ管理サブシステム40の撮影計画手段41のカメラ情報入力部414によって、撮影に使用するカメラに関する情報をカメラ情報データベース52に登録する。
ステップS104:画像データ管理サブシステム40の撮影計画手段41の撮影計画情報入力部413によって、抽出した撮影対象リンクについて、撮影計画を立案し、計画・実撮影情報データベース53に入力する。
ステップS105:画像データ管理サブシステム40の撮影計画手段41の撮影情報エクスポートファイル作成部415によって、撮影計画情報d0を撮影情報エクスポートファイルf3に出力する。
(撮影実施)
ステップS106:画像撮影サブシステム20に撮影情報エクスポートファイルf3の情報の中のリンク形状を読み込み、撮影すべきリンクを表示する。
ステップS107:実際に移動手段(車両21)によってリンクの道路を走行しながら、画像を撮影し、画像撮影サブシステム20の画像データ収集手段24によって、撮影時刻を付与した収集画像データd1を収集する。
ステップS108:また、画像撮影サブシステム20の位置データ収集手段25によって、GPS時刻を付与した収集画像属性情報d2を収集する。
ステップS109:画像撮影サブシステム20は、収集画像データd1と収集画像属性情報d2を実撮影結果情報とともに一次撮影情報インポートファイルf1に出力する。
(画像データ編集)
ステップS110:画像データ編集サブシステム30に、撮影情報エクスポートファイルf3と一次撮影情報インポートファイルf1を入力する。
ステップS111:実撮影管理情報を登録する。
ステップS112:画像データ編集サブシステム30の地図データ表示手段31によって、地図データを表示する。
ステップS113:画像データ編集サブシステム30の画像データ表示手段32によって、地図データ上で指定したリンクについて収集された画像を表示する。
ステップS114:表示された収集画像データd1や、その収集画像属性情報d2から時刻情報を得て、画像データ編集サブシステム30のリンク始終点通過時刻登録手段33によって、該当リンクの始点と終点の通過時刻を記録する。
ステップS115:さらに、画像データ編集サブシステム30の画像間引き手段34によって、必要に応じて、収集画像データd1から画像を間引き、データ量を削減する。
ステップS116:編集を終えた情報を二次撮影情報インポートファイルf2に出力する。
(情報記録・更新)
ステップS117:画像データ管理サブシステム40に、二次撮影情報インポートファイルf2の情報を入力する。
ステップS118:画像データ管理サブシステム40の撮影情報取り込み手段42によって、実撮影情報データを計画・実撮影情報データベース53に記録する。
ステップS119:画像データ管理サブシステム40の撮影情報取り込み手段42によって、リンク関連情報データベース54の情報を更新する。
(データ抽出)
ステップS120:画像データ管理サブシステム40のデータ抽出手段44によって、利用者の要求条件に従って、リンク関連情報データベース54の情報を元に収集画像データベース55からデータを抽出し、リンク情報とともに、切り出し画像データf4として出力する。
(表示)
ステップS121:本発明の地理情報関連付き画像データ表示システム100は、切り出し画像データf4と市販の地図データによって、地図と指定したリンク(道路)の周辺画像を表示する。
以上に説明した地理情報関連付き画像データ管理システムによって、以下の効果が得られ、作成された切り出し画像データを地理情報関連付き画像データ表示システム100で読み込むことで、利用者の要求に対応した現地の画像を表示することができる。
すなわち、画像撮影サブシステム20と連携していることで、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を管理することができる。
また、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成できるので、その撮影計画に基づいて、複数の車両21を用いて撮影作業を平行して行えるようになり、広域の画像を大量に収集することができる。
カメラ情報データベース52として撮影に使用したカメラ情報(カメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報)を一元的に管理しているので、撮影した画像を用いて後から計測を行うことができる。
リンク関連情報データベース54のデータ構造により、実際に撮影した画像を、Y字路や5差路以上の交差点、立体交差などがある複雑な道路ネットワークなどのグラフ構造を持つ地図情報と関連付けて管理することができる。
また、同じリンクに複数の種類の画像を関連付けて管理することができるため、撮影した季節や時間帯が異なる画像を利用者の要求に合わせて提供できる。
さらに、実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを、次の条件を指定して切り出すことができる。
・地理空間的な切り出し(地理メッシュや行政区域による切り出し)
・リンクの種別による切り出し(道路種別・道路幅等)
・画像の撮影時期による切り出し
本発明の実施の形態を説明するために各図において示した各サブシステムの手段や保持するデータの配置は、あくまでも例示であって、本発明の機能を実現するために限定したものでない。よって、本発明の機能が実現可能な範囲において、種々の処理手段の配置の組み合わせが考え得ることは言うまでもない。
以下に地理情報関連付き画像データ表示システム100について詳細に説明するが前段として、一次撮影情報インポートファイルf1、二次撮影情報インポートファイルf2、切り出し画像データf4等について説明を補充する。
図1、図2、図3、図7の一次撮影情報インポートファイルf1には、時刻付きの画像収集データd1及び収集画像属性情報d2が含まれている。この収集画像属性情報d2は、GPSから得られる位置情報(座標)、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報、GPSの時刻等からなる。
撮影位置表示手段102は、切り出しデータf4の収集画像属性情報d2を読み込み、この時系列情報(画像取得座標)を、図28に示すように記号(例えば丸印:以下撮影位置)で表示することが可能である。
図31を用いて説明する。図31(a)は、車が速くなったりおそくなったりしながら一定時間間隔で撮影されたとき撮影位置を示している。
図31(b)は、このときの一次撮影情報インポートファイルf1に記憶されている一定間隔で撮影された収集画像データd1(撮影時刻付き)を距離軸(座標)に配列したことを示している。
この配列は、図1の地図データ表示手段31が例えば収集画像データd1の時刻を有する収集画像属性情報d2の画像取得座標を読み込み、この画像取得座標を距離軸(X−Y座標系で定義されたメモリ)に割付ける。
このとき、画像間引き手段34が関与している。
画像間引き手段34は、図31(c)に示すように、人間の視覚上問題のない程度の間引き間隔d(距離)を撮影開始点から順次、距離軸に設定し、この間引き間隔d毎に、図31(b)の距離軸に対して垂線を引いたときに、収集画像データd1の画像取得座標(撮影位置)が存在するかどうかを判断し、存在する場合はその画像取得座標(撮影位置)を図31(d)に示すように距離軸に代表撮影地点(単純に撮影位置ともいう)として割付けると共に、この割付けられた画像取得座標(撮影位置)に関連する収集画像データd1及び収集画像属性情報d2のみを抽出して二次撮影情報インポートファイルf2に記憶する。
この抽出は例えば時刻をキーとして抽出する。すなわち、図31(b)の太線(代表撮影地点)の個所を撮影した時刻の収集画像データd1及び収集画像属性情報d2のみが抽出される。
一方、リンク始終点通過時刻登録手段33は距離軸に代表撮影地点が定義されると、これらの代表撮影地点の位置情報を有する収集画像属性データd2の時刻を有する実撮影結果情報d3を撮影情報エクスポートファイルf3から抽出して二次撮影情報インポートファイルf2に記憶する。
さらに、実撮影管理情報登録手段35は、代表撮影地点が定義されると、これらの代表撮影地点の画像取得座標(撮影位置)を有する収集画像属性データd2の時刻を有する実撮影管理情報d4(撮影地区情報、作業実施者情報等)を撮影情報エクスポートファイルf3から抽出して二次撮影情報インポートファイルf2に記憶する。
つまり、二次撮影情報インポートファイルf2には、各代表撮影地点の収集画像データd1、収集画像属性情報d2、実撮影結果情報d3、実撮影管理情報d4等が記憶される。
そして、画像データ管理サブシステム40の撮影情報取り込み手段42の実撮影管理情報記録部421は、二次撮影情報インポートファイルf2の実撮影管理情報d3に実撮影キーIDを付与して計画・実撮影情報データベース53に記録する。
さらに、画像データ記録部422は、二次撮影情報インポートファイルf2の収集画像データd1と収集画像属性情報d2を、それぞれ収集画像データベース55と収集画像属性情報データベース56に記録する。また、実撮影管理情報d4は計画・実撮影情報データベース53に記憶される。
また、データ抽出手段44は、図11に示すように、抽出条件入力部441、グラフ構造情報抽出部442、リンク関連情報抽出部443、収集画像データ抽出部444、及び収集画像属性情報抽出部554からなり、
抽出条件入力部441は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件は空間的な切り出し条件とも称し、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等があり、この領域内の各種情報(画像ファイル、属性情報等)を切り出し画像データと称している。
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
グラフ構造情報抽出部442は、グラフ構造データベース51から、抽出条件入力部441で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。
さらに、抽出されたリンクIDとその両端のノードIDを調べ、各ノードに接続するリンクIDをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。
リンク関連情報抽出部443は、上記で抽出されたリンクのIDに対応するリンクについて、リンク関連情報データベース54から抽出する。さらに、その中から抽出条件入力部441で入力された撮影属性条件に適合するリンクの情報を抽出する。
収集画像データ抽出部444は、収集画像データベース55から、抽出条件入力部441で入力された条件に適合する情報を抽出する。
収集画像データ抽出部444は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーIDで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
また、画像取得リンクID、撮影開始側のノードID、撮影集両側のノードID、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
収集画像属性情報抽出部445は、収集画像属性情報データベース56から、抽出条件入力部441で入力された条件に適合する情報を抽出する。
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報画像ファイル属性として格納する。
すなわち、データ抽出手段44は切り出し条件(領域:エリア)の図31(d)に示す代表撮影地点に対応する全ての切り出し画像データf4(グラフ構造情報、リンク関連情報、画像ファイル、画像ファイル属性情報・・)を記憶装置106に記憶する(図31(f)参照)。
この切り出し画像データf4を用いて以下に説明するようにして、地図、画像ファイルを地理情報関連付き画像データ表示システム100が表示する。
図27は地理情報関連付き画像データ表示システム100をより具体的にした構成図である。
図27に示すように、地理情報関連付き画像データ表示システム100は、記憶装置106、地理表示手段101、撮影位置表示手段102、撮影画像表示手段103の他に、進行方向印表示手段107、地図上撮影方向表示手段110、注記データ・登録表示手段109等を備えている。
前述の記憶装置106には地図データ108及び切り出し画像データf4の他に注記データ関連情報f6等が記憶されている。
この注記データ関連情報f6は注記データ・登録表示手段109によって予め登録しておくことが好ましい。
前述の地図データ108は、階層構造にされているのが好ましい。例えば背景地図の界、ネットワーク情報の界、注記データの界、地図記号データの界等の階層構造とされている。そして、注記データは、地物の名称であり、この名称が注記データの界の座標に関連付けられている。
さらに、記憶装置106には切り出し条件の領域内の複数の切り出し画像データf4が記憶されている。これらの切り出し画像データf4にはIDコードが付与されているのが好ましい。また、より具体的には、図29に示すデータの構成となっている。
さらに、物理画像データベースは、より具体的には図30に示すデータ構成となっている。
地理表示手段101は、切り出し条件の領域(表示範囲)が入力されると、この領域内の背景地図、ネットワーク情報、注記データ、地図記号を重ね表示する。このとき、ネットワークデータの道路の近傍の注記データのみを抽出して表示させてもよい。
注記データ・登録表示手段109は、図24に示すように、注記データをコンピュータ画面の画像に表示する機能を有している。
この注記データの表示を実現させるために注記データ・登録表示手段109は、地図データの注記データの座標(例えば注記データの中央の文字の座標)から一定距離内に存在する画像取得座標を検索し、これらの画像取得座標のうちで、注記データに最も近い画像取得座標を検索する。そして、この画像取得座標を有する切り出し画像データのIDを、その注記データ及び注記データの座標等と共に注記データ関連情報f6として記憶装置106に予め登録する。
例えば、図33(a)に示すように、ネットワークデータf0が道路の場合に、画像取得座標がGa、Gb・・・と存在し、注記データがCa、Cb・・・と存在する場合は、注記データCa、Gb・・・の座標に最も近い距離にある画像取得座標を有する切り出し画像データを順次検索する。そして、検索した切り出し画像データの画像取得座標から注記データの座標に対する方位を、それぞれ求める。この方位はカメラ中心から何度(この角度をθkとする)になるかで示す。
そして、注記データ、Gb・・・毎に、最も近い画像取得座標を有する切り出し画像データのIDを対応させると共に、方位θk及び画像取得座標等を対応させる(図33(b))。
このIDにリンク付けされている画像ファイルの画像は、360度のパノラマ画像であり、カメラ中心に対応する画像の中心位置はカメラ中心(0度)である。このカメラ中心からθkの方位で、目線の高さとなる位置に注記データの画像上の座標を求める。つまり、注記データを表示させるための界(X−Y座標系:パノラマ画像の座標系に対応する)を定義したメモリを備え、このメモリ上の注記データの座標(画像上の注記データ表示位置という)を定義する。
すなわち、注記データ関連情報f6は、近接の切り出し画像データのIDと注記データ表示位置と方向(θk)と注記データの文字等からなる。
地理情報手段101は、入力された切り出し条件の領域に対応する地図データを記憶装置106から読み出して、コンピュータ画面に表示する。この地図データは、背景地図、注記データ、地図記号データ等からなる。
撮影位置表示手段102は、記憶装置106に保存されている全ての切り出し画像データf4の画像取得座標を抽出し、この座標に対応する画面の地図上の位置(例えば道路上の撮影地点)に画像取得座標(撮影位置)を示す記号(撮影位置記号という)を表示させる(図23、図24を参照)。
すなわち、切り出し条件の領域に存在する全ての撮影位置記号が表示されることになるからオペレータは、地図上のどこに画像があるかを一目で判断できる。
そして、これらの撮影位置記号のいずれかをオペレータがマウス等で指定すると、撮影位置表示手段102は、その指定された撮影位置記号を別の記号で表示する(例えば十字、二重丸、異なる色)。
地図上進行方向印表示手段107は、画面の地図上の撮影位置記号が指定されると、この撮影位置記号に対応する座標を有する画像の撮影順番が、同一リンク内の開始番号もしくは終了番号になっているかどうかを判定する。
開始番号もしくは終了番号になっている場合は、交差点と判定する。交差点と判定した場合は、そのリンクの交差点IDに関連付けられている接続リンクIDを読み込む。
そして、交差点の座標から検索した接続リンクID上にある交差点近傍の画像の座標を読み込み、交差点に接続する全てのリンクの方位Hi(3差路又は4差路、・・)を求め、これらの方位に従って、リンクに矢印を表示する(図28参照)。
一方、撮影画像表示手段103は、コンピュータ画面の撮影位置記号が選択されると、この撮影位置記号の画像取得座標を有する切り出し画像データの画像ファイルを抽出し、この画像ファイルからオペレータが入力した表示範囲の画像を画面に表示する。
前述の切り出し画像データの画像ファイルは、360度のパノラマ画像である。このため、オペレータは、例えば撮影方向を中心として左右50度程度の表示範囲を指定する。
この表示範囲の画像ファイルの画像をコンピュータ画面に表示(図28参照)すると共に、表示範囲及び撮影方向を地図上撮影方向表示手段110に知らせる。
地図上画像表示方向表示手段110は、撮影方向と表示範囲が知らせられると、コンピュータ画面の地図上の画像取得座標(撮影位置)から撮影方向を中心として表示範囲(撮影方向から現在の表示範囲、上記の場合は左右50度)の角度方向にポリゴンを生成し、このポリゴンをコンピュータ画面の地図に重ね表示させる(図28の地図表示範囲の扇形参照)。
また、画像上進行方向印表示手段107は、交差点からの撮影方向の撮影範囲に含まれる接続リンク(道路)の方位を求める。
この接続リンクの方位は、角度で定義される。例えば、図32(a)に示すように、撮影方位をカメラ中心(0度)にした場合は、カメラ中心から道路kaの中心線の方位はθpであり、道路kbの中心線の方位はθiで定義できる。
このθpの方位とθiの方位を表示範囲の中心(0度)から定め、道路上の位置当たりとなる画面上の位置に三角形のポリゴン(透けている)を三次元的に表示する(図32(c))。
このポリゴンが選択すると、その選択方向の道路の撮影位置の画像ファイルを撮影画像表示手段103が順次抽出して表示範囲に従って表示する。
一方、注記データ登録・表示手段109は、指定の注記(○○マンション、○○病院、○○市役所・・)を読み、表示中の画像のIDと、注記データ関連情報f6に登録されている画像データのIDが一致するとき、その近い注記データを地図データから抽出する。
次に、抽出した注記データをコンピュータ画面の画像に表示する。
この注記データの表示は、コンピュータ画面の道路上の撮影位置記号が撮影位置に移動してきたとき、この画像取得座標(撮影位置)を有する注記データ関連情報f6を引当てる。そして、引き当てた注記データ関連情報f6の注記データ表示位置及び方向に従ってコンピュータ画面上に注記データの文字列を表示する(図24参照)。
従って、コンピュータ画面を見ているだけで、目的のものを直ぐに見つけることができる。
なお、上記実施の形態では、切り出し画像データfiが生成されると、この切り出し画像データfiを表示するとしたが、画像には顔、ナンバープレート等のプライバシイにかかわる画像も存在している。このようなプライバシイに関わる画像に対して、ガウスフィルタ等でぼかす処理を施して切り出し画像データfiとし記憶装置106に記憶させてもよい。これによって、表示部には、プライバシィに関わる画像はぼやけて表示されることになる。
地図情報関連付け画像データ管理システムと表示システムの構成図である。 画像撮影サブシステムの構成図である。 画像データ編集サブシステムの構成図である。 地図データ表示手段により表示される地図である。 画像データ表示手段路面により表示される画像である。 画像間引き手段による画像間引きの方法を示す図である。 画像データ管理サブシステムの構成図である。 撮影計画手段の構成図である。 撮影情報取り込み手段の構成図である。 管理手段の構成図である。 データ抽出手段の構成図である。 グラフ構造データベースの構造図である。 カメラ情報データベースの構造図である。 計画・実撮影情報データベースの構造図である。 リンク関連情報データベースの構造図である。 物理画像データベースの構造図である。 グラフ構造を持つ地物を示す図である。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 地図情報関連付け画像データ表示システムの構成図である。 地図情報関連付け画像データ表示システムの表示画面例である。 地図情報関連付け画像データ表示システムの表示画面の注記オーバレイ表示例である。 地図情報関連付け画像データ表示システムの表示画面例である。 地図情報関連付け画像データ表示システムの画像検索のフローチャートである。 地理情報関連付き画像データ表示システム100をより具体的にした構成図である。 撮影位置及び対応する画像を同時表示する説明図である。 切り出し画像データのより具体的な構成を説明図である。 物理画像データベースのより具体的な構成を説明する説明図である。 本実施の形態の間引きと、撮影位置の表示、切り出しデータの登録の説明図である。 進行方向印表示手段を説明する説明図である。 注記データの画像への表示を説明する説明図である。
符号の説明
10 地理座標関連付き画像データ管理システム
20 画像撮影サブシステム
21 車両(移動手段)
22 画像センサ
23 ハイブリッド型位置センサ
24 画像データ収集手段
25 位置データ収集手段
30 画像データ編集サブシステム
31 地図データ表示手段
32 画像データ表示手段
33 リンク始終点通過時刻登録手段
34 画像間引き手段
40 画像データ管理サブシステム
41 撮影計画手段
42 撮影情報取り込み手段
43 管理手段
44 データ抽出手段
50 記憶装置
50a 画像情報データベース
50b 物理画像データベース
51 グラフ構造データベース
52 カメラ情報データベース
53 計画・実撮影情報データベース
54 リンク関連情報データベース
55 収集画像データベース
56 収集画像属性情報データベース
100 地理情報関連付き画像データ表示システム
101 地図表示手段
102 撮影位置表示手段
103 撮影画像表示手段
104 経路探索連動手段
105 画像検索手段
106 記憶装置
108 地図データ
d0 撮影計画情報
d1 収集画像データ
d2 収集画像属性情報
d3 実撮影結果情報
f1 一次撮影情報インポートファイル
f2 二次撮影情報インポートファイル
f3 撮影情報エクスポートファイル
f4 切り出し画像データ
本発明は、移動体に全周囲撮影カメラ、GPSを有するハイブリット型の位置センサを搭載して進行路を移動したときに一定時間毎に撮影し、前記位置センサの情報を基にして得られた撮影位置、全周囲撮影カメラの撮影方向、撮影年月日及び撮影時間帯と共に得た複数の全周囲画像情報の中から撮影地点の全周囲画像を画面に表示すると共に、前記撮影地点の範囲を含む地図とを前記画面に連動表示する地理情報関連付き画像データ表示システムにおいて、
前記地図上の前記進行路のID番号と該進行路とベクトル情報と前記進行路の両端のノードのIDコードとを含むリンク情報及び前記ノードに繋がる前記進行路のID番号を含むノード情報を有する路線ネットワーク並びに、前記全周囲画像と、該全周囲画像毎に前記撮影位置と前記撮影方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のID番号とを含む画像付属情報とが関連付けられて記憶され、かつ前記地図を記憶した記憶装置と、
前記全周囲画像毎の画像付属情報を読み込み、これらの画像付属情報に含まれる前記撮影位置をそれぞれ抽出し、これらを前記地図上の対応する位置に表示する手段と、
前記地図上に前記撮影位置が指定されると、該指定された撮影位置を有する前記画像付属情報及び、該画像付属情報に関連付けている前記全周囲画像を前記記憶装置から読み込む手段と、
前記読み込まれた全周囲画像を前記地図の表示領域とは異なる画像表示領域に表示する画像表示手段と、
前記読み込まれた画像付属情報の前記進行路のID番号を有する全ての画像付属情報の撮影順番を読み込み、これらの撮影順番に基づいて昇順又は逆順に、これらの画像付属情報に関連付けられている前記全周囲画像を順次読み込んで、これを前記画像表示領域に連続表示する撮像画像表示手段と、
前記撮影順番が前記両端のいずれかの端の番号の場合は、前記撮像画像表示手段の連続表示を停止させ、該停止させたときに表示されている全周囲画像に関連付けられている前記画像付属情報の前記ID番号を有する前記進行路の前記いずれかの端の前記ノードのIDコードを検索し、このIDコードに関連するノードに接続する全て進行路のID番号を検索し、該検索したこれらの進行路の方向を読み込む手段と、
前記読み込んだ全ての進行路の方向毎に、その方向と前記撮影方向とに基づいて前記画面の全周囲画像に表示されている前記進行路を、選択させるための進行路選択ポリゴンの表示位置をそれぞれ求めて、これらの表示位置に前記進行路選択ポリゴンを表示する手段と、
前記進行路選択ポリゴンが選択されたとき、該進行路選択ポリゴンに関連付けられた前記リンク情報の前記ID番号を有する画像付属情報を前記撮像画像表示手段に読み込みさせる手段と
を備えたことを要旨とする。
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報として格納する。
本発明は、移動体に全周囲撮影カメラ、GPSを有するハイブリット型の位置センサを搭載して進行路を移動したときに一定時間毎に撮影し、前記位置センサの情報を基にして得られた撮影位置、全周囲撮影カメラの撮影中心方向、撮影年月日及び撮影時間帯と共に得た複数の全周囲画像情報の中から撮影地点の全周囲画像を第1の全周囲画像として抽出し、この第1の全周囲画像を、所定の表示範囲でコンピュータグラフィックで画面に表示すると共に、前記撮影地点の範囲を含む地図とを前記画面に連動表示する地理情報関連付き画像データ表示システムにおいて、
前記地図上の前記進行路のID番号と該進行路とベクトル情報と前記進行路の両端のノードのIDコードとを含むリンク情報及び前記ノードに繋がる前記進行路のID番号を含むノード情報を有する路線ネットワーク並びに、該路線ネットワークにおける前記第1の全周囲画像と、該第1の全周囲画像毎に前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のID番号とを含む画像付属情報とが関連付けられて記憶され、かつ前記地図を記憶した記憶装置と、
前記第1の全周囲画像毎の画像付属情報を読み込み、これらの画像付属情報に含まれる前記撮影位置をそれぞれ抽出し、これらを前記地図上の対応する位置に表示する手段と、
前記地図上に前記撮影位置が指定されると、該指定された撮影位置を有する前記画像付属情報及び、該画像付属情報に関連付けている前記第1の全周囲画像を前記記憶装置から読み込む手段と、
前記読み込まれた第1の全周囲画像を前記地図の表示領域とは異なる画像表示領域に第2の全周囲画像として前記所定の表示範囲で前記コンピュータグラフィックにより表示する画像表示手段と、
連続表示の指示に伴って、前記読み込まれた画像付属情報の前記進行路のID番号を有する全ての画像付属情報の撮影順番を読み込み、これらの撮影順番に基づいて昇順又は逆順に、これらの画像付属情報に関連付けられている前記第1の全周囲画像を順次読み込んで、該読み込み毎にこれを前記画像表示領域に前記所定の表示範囲で前記コンピュータグラフィックにより第3の全周囲画像として連続表示させる撮像画像表示手段と、
前記撮影順番が前記両端のいずれかの端の番号の場合は、前記撮像画像表示手段の連続表示を停止させ、該停止させたときに表示されている前記第3の全周囲画像を第4の全周囲画像とし、この第4の全周囲画像に関連付けられている前記画像付属情報の前記ID番号を有する前記進行路の前記いずれかの端の前記ノードのIDコードを検索し、このIDコードに関連するノードに接続する全て進行路のID番号を検索し、該検索したこれらの進行路の道路中心の方向を読み込む手段と、
前記読み込んだ全ての進行路の道路中心の方向毎に、その方向と前記撮影中心方向とに基づいて前記第4の全周囲画像上における前記撮影中心方向からの、前記読み込んだ全ての進行路の道路中心の方向毎の方位を求め、前記第4の全周囲画像上に、これらの方位毎に前記進行路を選択させるための進行路選択ポリゴンの表示位置を道路上となる所定の高さで求め、これらの表示位置に前記進行路選択ポリゴンを前記第4の全周囲画像上に合成した第5の全周囲画像を得て、この第5の全周囲画像を前記所定の表示範囲で前記コンピュータグラフィックにより表示させる手段と、
前記前記進行路選択ポリゴンが選択されたとき、該進行路選択ポリゴンに関連付けられた前記リンク情報の前記ID番号を有する画像付属情報を前記撮像画像表示手段に読み込みさせる手段と
を備えたことを要旨とする。

Claims (8)

  1. 所定領域の、グラフ構造をした路線ネットワークの周辺環境を撮影して得られた画像データと該路線ネットワークの地理情報及び前記画像データとを関連付けて構成された地理情報関連付き画像データとを格納する記憶装置と、
    前記路線ネットワーク及び該路線ネットワークの近傍の地物の地図を画面に表示する地図表示手段と、
    前記地理情報関連付き画像データに含まれる撮影位置情報を用いて、前記画面に表示された前記地図上に全ての撮影位置を表示する撮影位置表示手段と、
    前記地図上に表示された前記撮影位置が選択されると、該選択された撮影位置に関連付けられている前記地理情報関連付き画像データに含まれる画像を前記画面に表示する撮影画像表示手段
    とを含むことを特徴とする地理情報関連付き画像データ表示システム。
  2. 前記地図データを用いて、指定された起点から終着点までの経路を探索し、該経路を前記地図上に表示するとともに、該経路に対応する画像を前記画面に表示する経路探索連動手段をさらに含むことを特徴とする請求項1に記載の地理情報関連付き画像データ表示システム。
  3. 特定の対象物の注記データを前記地理情報から検索し、該注記データの地図上の位置から方位を求め、該方位及び予め設定されている高さに前記注記データを前記画像上に重ね表示する手段と
    をさらに含むことを特徴とする請求項1または2に記載の地理情報関連付き画像データ表示システム。
  4. 前記撮影画像表示手段は、画像表示部と画像連続表示部を具備することを特徴とする請求項1ないし3のいずれか1項に記載の地図情報関連付け画像データ表示システム。
  5. 前記画像表示部は、フレーム画像をそのまま表示する単純表示と、格納されている画像が全周画像の場合は、撮影中心から任意のカメラパラメータで撮影した画像を合成して表示するカメラパラメータ指定表示を行うことを特徴とする請求項4に記載の地図情報関連付け画像データ表示システム。
  6. 前記撮影位置が交差点を示しているかどうかを判定し、交差点を示している場合は、これらの交差点に接続されている分岐路の方位を求め、この方位を進行の選択方向として前記画像上の所定の高さの位置に、前記分岐路を選択させるための矢印ポリゴンを重ね表示する手段と
    を有することを表示する請求項1乃至5のいずれかに記載の地図情報関連付け画像データ表示システム。
  7. 前記矢印ポリゴンは、
    前記画像を表示したときは、該表示範囲を撮影したカメラの中心軸からの角度で定義し、該表示範囲内に存在する前記交差点からの分岐路の前記方位のみを求めて、この方位に対応する前記表示範囲の画像上に表示することを特徴とする請求項6記載の地図情報関連付き画像データ表示システム。
  8. 前記記憶手段の画像データは、特定の領域の画像データがぼかし処理が施されていることを特徴とする請求項1乃至7のいずれかに記載の地図情報関連付き画像データ表示システム。
JP2007106460A 2006-12-12 2007-04-13 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム Active JP4210309B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007106460A JP4210309B2 (ja) 2006-12-12 2007-04-13 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム
PCT/JP2007/071583 WO2008072429A1 (ja) 2006-12-12 2007-11-06 地理情報関連付き画像データ表示システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006334926 2006-12-12
JP2006334926 2006-12-12
JP2007106460A JP4210309B2 (ja) 2006-12-12 2007-04-13 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム

Publications (2)

Publication Number Publication Date
JP2008170930A true JP2008170930A (ja) 2008-07-24
JP4210309B2 JP4210309B2 (ja) 2009-01-14

Family

ID=39699040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007106460A Active JP4210309B2 (ja) 2006-12-12 2007-04-13 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム

Country Status (1)

Country Link
JP (1) JP4210309B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044651A (ja) * 2008-08-14 2010-02-25 Internatl Business Mach Corp <Ibm> 複数画像間の関係付けおよび切り替え表示をするための方法、プログラム、および装置
WO2012014837A1 (ja) * 2010-07-30 2012-02-02 ブラザー工業株式会社 画像提供システム、画像表示装置、画像表示プログラムおよび画像表示方法
JPWO2013099472A1 (ja) * 2011-12-27 2015-04-30 ソニー株式会社 サーバ、クライアント端末、システム、および記録媒体
JP2016110639A (ja) * 2014-12-05 2016-06-20 株式会社リコー サービスシステム、情報処理装置、サービス提供方法
JP2019067416A (ja) * 2012-12-04 2019-04-25 任天堂株式会社 情報処理システム及び表示方法
JP2019144501A (ja) * 2018-02-23 2019-08-29 トヨタ自動車株式会社 地図生成システム
JP2020022152A (ja) * 2018-07-24 2020-02-06 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
US10791267B2 (en) 2014-12-05 2020-09-29 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
JP2020161052A (ja) * 2019-03-28 2020-10-01 株式会社トプコン 圃場情報管理装置、圃場情報管理システム、圃場情報管理方法及び圃場情報管理プログラム
WO2023233866A1 (ja) * 2022-06-02 2023-12-07 古野電気株式会社 船舶情報共有装置、船舶情報共有方法、及び船舶情報共有システム
US12075167B2 (en) 2018-07-24 2024-08-27 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835152B1 (ko) * 2012-06-18 2018-04-19 현대엠엔소프트 주식회사 지상 레이저 측량 데이터를 이용한 차량 통과 제한높이 데이터베이스 구축 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044651A (ja) * 2008-08-14 2010-02-25 Internatl Business Mach Corp <Ibm> 複数画像間の関係付けおよび切り替え表示をするための方法、プログラム、および装置
WO2012014837A1 (ja) * 2010-07-30 2012-02-02 ブラザー工業株式会社 画像提供システム、画像表示装置、画像表示プログラムおよび画像表示方法
JP2012034216A (ja) * 2010-07-30 2012-02-16 Brother Ind Ltd 画像提供システム、画像表示装置、および画像表示プログラム
JPWO2013099472A1 (ja) * 2011-12-27 2015-04-30 ソニー株式会社 サーバ、クライアント端末、システム、および記録媒体
JP2019067416A (ja) * 2012-12-04 2019-04-25 任天堂株式会社 情報処理システム及び表示方法
US10791267B2 (en) 2014-12-05 2020-09-29 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
JP2016110639A (ja) * 2014-12-05 2016-06-20 株式会社リコー サービスシステム、情報処理装置、サービス提供方法
US11310419B2 (en) 2014-12-05 2022-04-19 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
US11889194B2 (en) 2014-12-05 2024-01-30 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
JP2019144501A (ja) * 2018-02-23 2019-08-29 トヨタ自動車株式会社 地図生成システム
JP7115869B2 (ja) 2018-02-23 2022-08-09 トヨタ自動車株式会社 地図生成システム
JP2020022152A (ja) * 2018-07-24 2020-02-06 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
JP7346830B2 (ja) 2018-07-24 2023-09-20 株式会社リコー 通信端末、プログラム、表示方法、記録媒体、システム
US12075167B2 (en) 2018-07-24 2024-08-27 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
JP2020161052A (ja) * 2019-03-28 2020-10-01 株式会社トプコン 圃場情報管理装置、圃場情報管理システム、圃場情報管理方法及び圃場情報管理プログラム
JP7365783B2 (ja) 2019-03-28 2023-10-20 株式会社トプコン 圃場情報管理システム、圃場情報管理システムの制御方法及び圃場情報管理システムの制御プログラム
WO2023233866A1 (ja) * 2022-06-02 2023-12-07 古野電気株式会社 船舶情報共有装置、船舶情報共有方法、及び船舶情報共有システム

Also Published As

Publication number Publication date
JP4210309B2 (ja) 2009-01-14

Similar Documents

Publication Publication Date Title
JP4210309B2 (ja) 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム
US12050109B2 (en) Systems and method for using visual landmarks in initial navigation
JP3432212B2 (ja) 画像処理装置及び方法
JP5290493B2 (ja) ナビゲーションシステムに使用するための地理的データベースの情報を収集する方法
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
JP5351371B2 (ja) ナビゲーションシステム
US11590989B2 (en) Training data generation for dynamic objects using high definition map data
CN105973236A (zh) 室内定位或导航方法、装置以及地图数据库生成方法
JP2011238242A (ja) ナビゲーション及びインスペクションシステム
KR101180415B1 (ko) 모바일 매핑 시스템을 이용한 도로대장 구축 시스템
JP2007121528A (ja) 地図作成更新システムおよび地図作成更新方法
EP4202833A1 (en) Method, apparatus, and system for pole extraction from a single image
JP5883723B2 (ja) 3次元画像表示システム
WO2008072429A1 (ja) 地理情報関連付き画像データ表示システム
JP2008243185A (ja) 地理座標関連付き画像データ管理システム
JP4068656B1 (ja) 地理情報関連付け画像データ管理システムおよび地理情報関連付け画像データ管理プログラム
EP4202835A1 (en) Method, apparatus, and system for pole extraction from optical imagery
JPH11211486A (ja) ナビゲーション装置
JP6509546B2 (ja) 画像検索システム及び画像検索方法
KR20090018296A (ko) 도로변 파노라마 영상 기반 정보 서비스 방법
JP7412118B2 (ja) 台帳作成システム
JP2023144527A (ja) 作業現場情報収集システム及び作業現場情報検索システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081024

R150 Certificate of patent or registration of utility model

Ref document number: 4210309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250