JP2013137653A

JP2013137653A - 画像データベースシステム

Info

Publication number: JP2013137653A
Application number: JP2011288233A
Authority: JP
Inventors: Zhiyuan Tang; 志遠湯
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2013-07-11
Anticipated expiration: 2031-12-28
Also published as: JP6007495B2

Abstract

【課題】端末装置と通信網を介してつながったサーバーからなる画像データベースシステムにおいて、サーバーから端末への撮影指示信号の遅れ等で発生する必要な場所で画像が取得されない事態を防ぎ、データベースシステムとしての安定性を向上させる。
【解決手段】画像データベースシステムを、画像の撮影機会を判断する手段を有し、判断結果に基づいて画像の撮影を実行する端末装置１０と、端末装置１０から通信網２０を介して受信する画像を画像の撮影条件応じて分類したデータベース３４が構築されたサーバー３０とで構成する。端末装置１０が画像の撮影機会を判断する手段を有することにより、必要な画像が揃った安定性の高いデータベースシステムを構築できる。
【選択図】図１

Description

本発明は画像データベースおよびそれを利用するための端末装置からなるデータベースシステムに関する技術であり、特にカーナビゲーションシステム等の端末装置を用いて利用する画像データベースシステムに関するものである。

最新の画像情報等をデータベースとして保存し、最新情報を共有して利用する方法の検討が盛んに行われている。例えば、自動車の運転時に用いられるカーナビゲーションシステムを想定した分野では、特許文献１のような技術がある。

特許文献１記載の端末装置は、位置測定手段と、車両の前または後方を撮影可能な撮影手段と、撮影した画像をサーバーへ送信する手段と、サーバーから送られてくる画像を受信し、その画像を表示する手段を有する。また、端末装置から送られてくる画像を管理し、端末装置から要求される撮影要否の判断を行い、端末装置での撮影を制御するサーバーについても示されている。

これらの端末装置とサーバーおよび通信手段を用いて特許文献１では以下のような技術を示している。車が走行中に端末装置は自車の位置情報の取得と撮影地点情報の比較を常時行って撮影該当地点かを判断する。撮影地点と判断された場合はサーバーに対して撮影タイミングかの確認を行う。確認要求を受けたサーバーは、他車が実施した前回の撮影からの時間等から撮影の要否を判断し、必要と判断した場合には撮影要求を発行する。撮影要求を受けた端末装置は撮影を行い、画像をサーバーに送信する。画像を受信したサーバーはデータベースに保存するとともに撮影情報を更新する。また、同じ地点を後から通る他車の端末装置はサーバーに対して画像の要求を行い、サーバーが端末装置に対して画像を送信する。その結果、後続の車両の端末装置では実際にその地点に到達する前に、最新の画像の確認が可能となる。

特開２００５−４４８０号公報

しかしながら、特許文献１に開示された技術には次のような課題がある。

端末装置が各々の地点で画像データを取得するにあたって、端末装置は自車位置が撮影箇所にあるかを判断した後に、通信手段を用いてサーバーに対して撮影要否の判断要求を実施する。サーバーは条件に合致するかを判断し、合致する場合は端末装置に対して撮影要求を送信する。この際、サーバーからの撮影要求を受信しない限り、端末装置は撮影を実行しない。そのため、サーバーから端末装置への送信信号にエラーが生じて繰り返し再送信する場合や、サーバーから端末装置へ送信信号が到達しなかった場合には、撮影箇所を通過する前に撮影要求の受信ができないことがある。その結果、本来、必要であった箇所の画像データが得られないことになる。トンネル内や山岳地帯など電波の到達しにくい場所や地域や、交通量が多く回線が込み合うような地域では特に送受信に支障が出る可能性が高くなる。これらのことより、特許文献１の技術では最新の画像によるデータベースを構築する際の安定性に欠ける。

上記の課題を解決するため、本発明の画像データベースシステムは、画像の撮影機会を判断する手段を有し、判断結果に基づいて画像の撮影を実行する端末装置と、端末装置から通信網を介して受信する画像を画像の撮影条件に応じて分類したデータベースが構築されたサーバーを備えている。

本発明によれば、画像の取得が必要な地点において画像が取得されない事態を回避できる。また、通信回線の負荷の低減と通信の効率化が高まり、通信に対応するサーバーの負荷も軽減が出来る。その結果、必要な画像が欠けることなく安定した画像データベースの構築と利用が実現できる。

本発明の実施形態でのシステム構成概要図である。本発明の第１の実施形態のフロー図である。本発明の実施形態におけるデータベースの項目の例を示す図である。本発明の実施形態での位置決定に関する例を示す図である。本発明の実施形態での撮影位置の例を示す図である。本発明の第１の実施形態のフロー図である。本発明の第２の実施形態のフロー図である。本発明の第２の実施形態のフロー図である。本発明の第３の実施形態のフロー図である。本発明の第４の実施形態のシステム構成図である。

本発明の第１の実施形態について図１を参照して詳細に説明する。本システムは車側端末１０と、通信網２０と、地域データサーバー３０からなる。車側端末１０は、表示部１１、位置認識部１２、カメラ１３、制御部１４、送受信部１５、画像記憶部１６、位置情報記憶部１７、操作部１８と、それらをつなぐ接続部１９を備えている。

表示部１１は、地図情報、画像データの表示や、操作手順、設定項目の表示などを行う。表示部１１の表示装置としては、液晶ディスプレイや有機ＥＬディスプレイ等を用いる。また、ディスプレイ前面にタッチパネルを設置して、表示画面への操作メニューの表示と組み合わせ、操作部１８の役割を一部または全体にわたって兼ねることがある。位置認識部１２は全地球位置把握システム（GPS）を用いて自車の位置の認識を行い、位置情報を提供する。位置認識部１２では電子コンパスおよび加速度センサーなどを併用して移動方向と移動量を認識し位置の測定精度を上げることもある。カメラ１３は車の前方に搭載され、車の進行方向の画像を広角で撮影する。カメラ１３としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いて電子画像を取得する。また、夜間走行時の画像取得のため赤外線カメラを用いることもある。制御部１４は、単数または複数のマイクロプロセッサーやメモリからなり、車側端末１０で行われる各動作の制御や撮影位置情報等の決定処理、画像の処理、一時保管等を行う。制御部１４はカーナビゲーション機能での経路の検索や、検索結果の表示の制御を担うことがある。送受信部１５は、通信網２０を介して、地域データサーバー３０へのデータの送信および地域データサーバー３０からのデータの受信を行う。画像記憶部１６にはカメラ１３で撮影した画像やサーバーから受信した画像データが保存される。位置情報記憶部１７は位置認識部１２が取得した自車の位置情報や、送受信部１５が受信した撮影位置情報、撮影予定の位置情報等を保存する。操作部１８は、目的地の設定や経路の選択、各機能の設定を行う。操作部１８の一部またはすべてが表示部１１と一体化している場合がある。操作部１８に音声認識方式を用いることもある。接続部１９は、車側端末１０を構成するカメラ１３や制御部１４等の各部位をケーブルで接続しており、各部位の間での制御信号や情報の伝達を行う。車側端末１０を構成している各部位は１つの筐体内で接続部１９によって接続されていてもよく、車の各部分に分散して設置されたものを接続部１９で接続していてもよい。接続部１９にはケーブルを用いた有線での接続だけでなく、無線方式や有線と無線方式の組み合わせが用いられることもある。

通信網２０は車側端末１０と地域データサーバー３０間の情報の伝達を行う。通信網２０は車側端末１０と基地局の間の無線通信網および基地局から地域データサーバー３０を結ぶ通信網などからなる。車側端末１０と基地局の間の無線通信網には通信量や使用地域に応じた方式を用いる。例えば、第３．５世代通信システムであるＨＳＰＡ(High Speed Packet Access)規格に従った通信やＬＴＥ（Long Term Evolution）方式を用いる。地域によって切り替えられるように１つの端末を複数の通信規格に対応させる場合もある。基地局と地域データサーバー３０間の通信網は光回線や無線回線、または、それらの組み合わせにより構築される。基地局と地域データサーバー３０間の通信網の途中にインターネットが使用されることもある。

地域データサーバー３０は、送受信部３１と、画像メモリ３２と、制御部３３と、位置および画像データベース３４を備えている。送受信部３１は通信網２０を介して車側端末１０からのデータの受信および、車側端末１０へ向けたデータの送信を行う。画像メモリ３２はサーバーが受信した画像データを一時的に保存する。制御部３３は送受信部３１より受信した画像データに付加されたデータを処理し、画像データ、位置情報等を位置および画像データベース３４に記録する。端末などの要求に応じてまたは設定に応じて位置および画像データベース３４から画像データや撮影位置情報を車側端末１０へ送信する指示を行う。位置および画像データベース３４は、撮影地点の位置情報、撮影地点で撮影された写真を保存、管理するデータベースである。図２に位置および画像データベース３４のデータテーブルの例を示す。図２に示すように、位置および画像データベース３４のデータテーブルは経度４１、緯度４２、タイムスタンプ４３、方向４４、画像４５の５つのデータ項目によって構成されている。経度４１と緯度４２はそれぞれ事前にデータベースに設定された撮影地点の経度と緯度である。タイムスタンプ４３は画像撮影時の日付、時間である。方向４４は画像撮影時の車の方向を記録する。方向を項目に含むことにより、実際に視認される状況により近い画像を得ることができる。また、経度４１、緯度４２、タイムスタンプ４３、方向４４の項目を撮影条件とよぶ。また、車側端末１０において、画像に付加された撮影条件などの情報をメタデータとよぶ。画像４５は経度４１、緯度４２、タイムスタンプ４３、方向４４を項目として分類され、位置および画像データベース３４のデータテーブルに追加される。また、必要に応じてその他の項目が追加されていることもある。データベースの管理は一定の地域ごとに行われ、データベース間は相互に接続されており、利用者側は地域の分け方を意識せずに使用することができる。地域の分け方は都道府県単位や全国をいくつかのブロックに分けてブロック単位の設定でもよい。地域データベースサーバは必要に応じて、地図データベースや道路情報データベースと連携されることがある。

本実施形態での経度と緯度はデータベースに事前に設定された情報である。その設定ルールの例を、図３を用いて説明する。

図３に示すように交差点ａと交差点bの２つの交差点が存在するとする。交差点ａの地点Ｐと交差点ｂの地点Ｓの間の距離ＰＳが９００ｍ以内の場合で、距離ＰＳが３０の倍数のときは３０ｍ間隔で撮影地点を設定する。距離ＰＳが３０の倍数以外のときは次の通りとする。まず、距離ＰＳをメートル単位にした後に距離ＰＳを３０で割り、商Ｘと余りＹを求める。余りＹを２等分し、交差点aの地点Ｐおよび交差点ｂの地点Ｓから最も近い撮影地点を（Ｙ÷２）ｍの地点に設定する。交差点aの地点Ｐおよび交差点ｂの地点Ｓから各々最も近い撮影地点の間に挟まれた他の撮影地点は３０ｍ間隔で設定する。例えば、交差点の間の距離ＰＳが５００ｍのとき、交差点ｂの地点Ｓから交差点aの地点Ｐに向かうとする。５００ｍを３０で割ると商Ｘが１６、余りＹが２０となる。このとき、２０を２で割ると１０になるので、交差点aの地点Ｐおよび交差点ｂの地点Ｓから最も近い撮影地点を、地点Ｐおよび地点Ｓから１０ｍの位置に設定する。また、それ以外の区間は３０ｍ間隔で撮影位置を設定する。すなわち、最初の撮影地点が交差点ｂの地点Ｓから１０ｍに設定され、それに続く測定地点を３０ｍ間隔となり、最後の測定地点から交差点aの地点Ｐまでの距離が１０ｍとなる。この方法で決定することにより、情報の充実が重要である交差点近傍で間隔がもっとも狭くなり、データとしての有効性が増す。

交差点ａの地点Ｐと交差点ｂの地点Ｓの間の距離ＰＳが９００ｍより大きく、かつ、１１００ｍ以内のときは次の通りとする。交差点ａの地点Ｐから３００ｍを地点Ｑ、交差点ｂ地点Ｓから３００ｍの地点を地点Ｒとする。各々の交差点から３００ｍまでの区間、すなわちＰＱ間およびＲＳ間は３０ｍ間隔で撮影をする。各々の交差点から３００ｍの地点で挟まれた区間ＱＲでは、その区間の距離ＱＲを１０で割った距離を間隔とした撮影位置を設定する。交差点間ＰＳの距離が１０００ｍのとき、区間ＱＲの距離は４００ｍとなる。４００ｍを１０で割って求められる４０ｍを区間ＱＲでの撮影間隔とする。

交差点ａの地点Ｐと交差点ｂの地点Ｓの間の距離ＰＳが１１００ｍより大きく、かつ、１６００ｍ以内のときは次の通りとする。交差点ａの地点Ｐから３００ｍを地点Ｑ、交差点ｂ地点Ｓから３００ｍの地点を地点Ｒとした際の各々の交差点から３００ｍまでの区間、すなわちＰＱ間およびＲＳ間は３０ｍ間隔で撮影をする。各々の交差点から３００ｍの地点で挟まれた区間ＱＲでは５０ｍ間隔で撮影する。５０ｍ以下となる端数は中央の区間の間隔を長くして設定する。区間ＰＳの距離が１１９０ｍのとき区間ＱＲの距離は５９０となる。区間ＱＲを５０ｍ間隔で撮影した場合、４０ｍとなる区間が存在する。その際は最中央部に端数分を足して設定する。区間ＱＳの場合は最中央部が９０ｍ間隔となり、それ以外の区間を５０ｍで設定する。

距離ＰＳが１１００ｍより大きく、かつ、１６００ｍ以内のときは、次のように撮影地点を設定しても良い。まず、区間ＱＲで生じる端数分を２で割った距離を、交差点aの地点Ｐおよび交差点ｂの地点Ｓから最近傍での撮影地点までの距離として設定する。次にその距離分を３００ｍに加えることにより地点Ｑと地点Ｒを区間の中央よりに各々移動して設定し、移動した後の地点Qと地点Rの間に５０ｍ間隔の撮影位置を設置する。

交差点ａの地点Ｐと交差点ｂの地点Ｓの間の距離ＰＳが１６００ｍより大きいときは次の通りとする。交差点ａの地点Ｐから３００ｍを地点Ｑ、交差点ｂの地点Ｓから３００ｍの地点を地点Ｒとする。各々の交差点から３００ｍまでの区間、すなわちＰＱ間およびＲＳ間は３０ｍ間隔で撮影をする。各々の交差点から３００ｍの地点で挟まれた区間ＱＲでは、その区間の距離ＱＲを２０で割った距離を間隔とした撮影位置を設定する。交差点間ＰＳの距離が１８００ｍのとき、区間ＱＲの距離は１２００ｍとなる。１２００ｍを２０で割って求められる６０ｍを区間ＱＲでの撮影間隔とする。

交差点aと交差点bの距離ＰＳが３０ｍ以下のときは、区間ＰＳの中央部に撮影地点を設定する。

本実施形態での交差点のように個別の撮影位置の決定の際に、基準となる地点を基準点とよぶ。

以上の設定により交差点近傍で撮影地点の間隔が狭く、それ以外の地点では間隔をやや広く設定される。つまり、隣接する２つの基準点にはさまれる区間において、一方の基準点に最も近い撮影地点間の距離は、同じ基準点にはさまれる他の隣接する２つの撮影位置間の距離より、距離が小さいか、同じ距離となり、大きくなることはない。また、隣接する２つの基準点にはさまれる領域の中間地点にあたる地点を間に含む隣接する２つの撮影地点間の距離は、同じ隣接する２つの基準点にはさまれる区間にある他の隣接する２つの撮影地点間の距離よりも大きいか、同距離であり、小さくはならない。

これらの結果、充実した情報が必要な地点の近傍ではデータが多くなり、それ以外の部分ではデータ数が少なくなる。情報の重要性に応じてデータ数の適正化をはかることにより、通信回線や端末への負荷が低減でき効率が向上し、データの充実による利便性との両立が実現できる。

上記例では交差点は撮影地点に含んでいないが、交差点も撮影地点に加えても良い。また、図３は隣接する２つの交差点を基準点とする例を示したが、基準点となる交差点は信号機を有する交差点としても良い。信号機のある交差点を基準点とした場合の撮影地点のイメージを図４に示した。図４では信号機５８の近くで、丸印として示された撮影地点の間隔が狭くなっている。図４の５９は丸印として示された撮影地点の１つを指している。市街地では交差点の数が多いが、右左折等を頻繁に行うような情報として重要性の高い交差点には信号機が設置されていることが多い。基準点となる交差点を信号機のある交差点とすることで、データの数を適正化できるため通信量等の削減や処理の負荷の低減により効率化できる。

方向４４は次のように定義される。車の進行方向をＡ、車が元いた位置をＢとすると、方向４４はＢ→Ａと表記する。例えば、車が道路に沿って南から北に向かって進んでいるときは、方向４４は南→北とする。実際の道路は南北や東西に平行ではないので進んでいる方向および進んでいる方向の反対側と東西南北の各方位とを比べた際に、なす角度がもっとも小さくなる方位を、方向４４を決める際に用いる。北北東から南南西に向かって進んでいるときは進行方向である南南西は西よりも南に近い。また、車がやって来た方向、すなわち、進行方向と反対側の北北東は東より北に近い。よってこの場合は、方向４４を北→南とする。

上記の例では４方位で示したが、東西南北の各方位の間を２分割した８方位（北、北東、東、南東、南、南西、西、北西）、さらに２分割した１６方位を、方向４４を指す方位としてもよい。実際の方位と最も近い方向を指す方位で表記するのは４方位の場合と同様である。また、方位を文字で示さず対応した数字やアルファベット等の記号で置き換えてデータ項目としても良い。さらには、撮影点とその１つ前の撮影点の緯度と経度の数値の差として方向４４を記録しても良い。

次に第１の実施形態の動作について図５を用いて説明する。図５は車側端末１０で画像データが取得され、画像情報データベース３４に画像データが分類されて保存される動作を示している。

地域データサーバー３０の位置および画像データベース３４に設定された撮影位置情報を、地域データサーバー３０から通信網２０を介して一定地域に対してブロードキャストで送信する（ステップ７１）。

地域内のある車が走行を開始するとする。車側端末１０の操作部１８にて目的地が設定される（ステップ６１）と車側端末１０の制御部１４が走行ルートを決定する。通信網２０を介して、地域データサーバー３０から送信されている撮影位置情報が受信され（ステップ６２）、位置情報記憶部１７に記憶される。制御部１４は自車の走行ルートと撮影位置情報を比較し、走行ルート上にある撮影位置の緯度と経度を走行ルートに記録する（ステップ６３）。位置認識部１２は走行中に提供する自車の位置を認識し（ステップ６４）、制御部１４は目的地に着いたかの判定を行う（ステップ６５）。目的地に着いていないときは、制御部１４はルート変更の操作がされていないか判定する（ステップ６６）。ルート変更の操作がなされていないとき、制御部１４は走行ルートに記録された撮影位置と自車の位置を比較し、一致する場合はカメラに対して撮影指示を出す（ステップ６７）。ステップ６７で撮影位置と自車位置が一致しない場合は、ステップ６４に戻る。制御部１４から撮影指示を受けたカメラ１３は撮影を実行し（ステップ６８）、撮影された画像は画像記憶部１６に保存される。保存された画像データには制御部１４によって撮影時の位置情報とタイムスタンプおよび車の方向が画像に追加される。保存されたデータは送受信部１５から通信網２０を介して地域データサーバー３０に送られる（ステップ６９）。これらの動作はステップ６５で自車が目的地に到達したと判定されるまで繰り返される。サーバーとの通信が出来なかった場合は、所定の回数または時間、通信が繰り返される。所定の回数や時間の条件を越えた場合は、一度、通信を止め次の撮影地点での送信の際に、再度、次の撮影地点での画像とともに送信を試みられる。

ステップ６６でルート変更が検出された場合には、決定された変更後の走行ルートと撮影位置情報を比較し、走行ルート上にある撮影位置の緯度と経路を走行ルートに再度記録する（ステップ６３）。画像の撮影や地域データサーバーへの送信等は変更が無かった場合と同様に行う。

地域データサーバー３０において、車側端末１０から通信網２０を介して送られてきた画像データが受信され（ステップ７２）、画像メモリ３２に保存される。制御部３３は画像データを解析し、撮影時の位置情報とタイムスタンプおよび車の方向を読み出す。画像と読み出した情報は、位置および画像データベース３４のデータテーブルに、緯度４１、経度４２、タイムスタンプ４３、方向４４、画像４５を項目として追加される（ステップ７３）。

次に車側端末１０で位置および画像情報データベース３４上のデータを利用する際の動作について図６を用いて説明する。ある車が走行を開始する際に、車側端末１０の操作部１８にて目的地が設定される（ステップ８１）。地域データサーバー３０から撮影位置情報が送信され（ステップ９１）、通信網２０を介して車側端末１０により受信される（ステップ８２）。目的地に応じて車側端末１０が決定している走行ルートに撮影位置情報を記憶する（ステップ８３）。車側端末１０の位置認識部１２は自車の位置を認識し（ステップ８４）、制御部１４は目的地に到達したかの判定を行う（ステップ８５）。目的地に到達していない場合は、制御部はルート変更の操作がされていないかを判定する（ステップ８６）。制御部１４は撮影位置情報と自車の位置情報を比較し（ステップ８７）、一致した場合は自車の位置の画像データ、もしくは自車の位置から一定範囲の区間に含まれる撮影位置の画像データを地域データサーバー３０へ要求する（ステップ８８）。自車の位置から一定範囲の区間とは、例えば、現在、自車が存在する撮影位置を決定するのに用いられた２つの交差点間の範囲のうち、まだ、自車が通過していない範囲として設定できる。また、一定範囲の区間は現時点の自車位置の３つ先の撮影地点までの区間などとしても設定することもできる。一定範囲の区間のデータを要求するのは、これから向かう地点の情報を前もって確認するという画像データベース利用の目的のため、現時点での自車位置より先の画像を車側端末１０で表示できるようにするためである。画像の要求を受けた地域データサーバー３０は位置および画像データベース３４の中に画像がある場合は、タイムスタンプが最も新しい画像を送信し（ステップ９２）、保存されているデータが無い場合には画像が無いことを返答する。画像を受信した車側端末１０は画像データを保存し、設定条件によって自動的または個別操作毎に画像を表示する（ステップ８９）。

ステップ８７で撮影位置情報と自車の位置情報が一致しない場合には、ステップ８４に戻り、位置認識部により１２により位置情報が取得される。また、ステップ８６でルート変更を検出した際はステップ８３に戻り、変更後の撮影位置情報が走行ルートに記憶される。ステップ８９で画像の表示までが完了すると、ステップ８４に戻り位置情報の取得が行われる。これらの動作はステップ８５で目的地への到達が確認されるまで繰り返される。

車側端末１０から地域データサーバー３０への画像データの要求において、走行ルートと撮影位置情報の比較を実施して、自車の現在の位置を含む交差点間よりも、先の区間にあるデータを要求することもある。これにより、遠方にある走行予定ルート上の画像情報を確認することができるようになり利便性が向上する。

第１の実施形態の技術を用いると地域データサーバー３０に構築された位置および画像データベース３４に収納された最新の画像データを、車側端末１０の表示部１１で確認することができるようになる。本実施形態では撮影位置情報を元に車側端末が撮影要否を判断するため、撮影の機会を逃すことが無い。その結果、最新の画像データベースとしての安定性が向上する。また、車側端末１０から地域データサーバー３０への撮影要否の確認が不要なため、通信量が少なくなり通信網２０の混雑の抑制による通信効率の向上が実現できる。地域データサーバー３０の負荷も撮影要否の確認が無いことにより低減される。

次に第２の実施形態について図７を用いて説明する。図７は第２の実施形態において、車側端末１０で画像データが取得され、画像情報データベース３４に画像データが分類されて保存される動作を示している。第1の実施形態では撮影位置情報を地域データサーバー３０から送信し、撮影位置情報を基に車側端末１０が撮影のタイミングを判断し、撮影を実施していた。第２の実施形態では基準点となる交差点位置と撮影位置の決定基準である撮影位置基準を地域データサーバーが送信し、受信した車側端末側で基準点と撮影位置基準から撮影位置を決定し、その撮影位置を基に車側端末が撮影を実行する。第２の実施形態のおける車側端末、通信網、地域データサーバーの構成は、第１の実施形態と同様であり、以下の説明では図１も参照する。

車が走行を開始する際に目的地が設定される（ステップ１０１）。地域データサーバー３０からは位置および画像データベース３４に保存されている基準点となる交差点情報と撮影位置基準が送信される（ステップ１１１）。基準点である交差点情報とは、撮影位置を決定する際に基準となる交差点の位置情報である。撮影位置基準は基準点となる交差点情報を基に具体的な撮影地点を決めるための基準となる情報を指す。第１の実施形態の場合の交差点間の距離に応じた撮影間隔の基準が撮影位置基準に相当する。車側端末１０は地域データサーバー３０から基準点の交差点情報と撮影位置基準を受信すると（ステップ１０２）、基準点と設定位置基準に従って個別の撮影位置を決定する（ステップ１０３）。決定された撮影位置情報は走行ルートに記録される（ステップ１０４）。車側端末１０の位置認識部１２は現在位置の把握を行う（ステップ１０５）。次に制御部１４は目的地到達の有無の判断を行い（ステップ１０６）。目的地に到達していないときは、制御部１４はルート変更有無の判断を行う（ステップ１０７）。ルート変更が無いとき、制御部１４は現在位置と撮影位置情報の撮影位置を比較する（ステップ１０８）。現在位置と撮影位置が一致しないときは、ステップ１０５に戻り自車位置の認識を行う。現在位置と撮影位置が一致する場合はカメラ１３で画像を撮影する（ステップ１０９）。撮影された画像には車側端末１０により撮影条件が付加され、車側端末１０から地域データサーバー３０に画像が送信される（ステップ１１０）。車側端末１０からの画像を受信した地域データサーバー３０（ステップ１１２）は、画像ファイルを撮影条件ともに位置および画像データベース３４に保存する（ステップ１１３）。位置および画像データベース３４の項目は第１の実施形態と同じである。車側端末はステップ１１０で画像の送信を終えると、ステップ１０５の自車位置の認識に戻る。これらの動作はステップ１０６で目的地への到達が判定されるまで繰り返される。

第２の実施形態での位置および画像データベース３４の画像の利用について、図８を用いて説明する。走行を開始する際に車側端末１０で目的地が入力されると（ステップ１２１）、地域データサーバー３０から送信されている基準点となる交差点情報および撮影位置情報を車側端末１０が受信する（ステップ１３１およびステップ１２２）。車側端末１０は基準点となる交差点情報および撮影位置情報から撮影位置を決定し（ステップ１２３）、撮影位置情報を走行ルートに記憶する（ステップ１２４）。車側端末１０の制御部１４は現在位置を把握し（ステップ１２５）、目的地到達の有無の判断を行う（ステップ１２６）。目的地に到達していないときは、制御部１４はルート変更の有無の判断を行う（ステップ１２７）。ルート変更を検出した場合は、ステップ１２３に戻り、変更後のルートの撮影位置情報が走行ルートに再度記憶される。ステップ１２７でルート変更を検出しない場合、車側端末１０の制御部１４は撮影位置と自車位置が一致するか判定する（ステップ１２８）。一致しないときは、ステップ１２５に戻り、自車の位置の取得が再度行われる。撮影位置と自車位置が一致した場合には走行ルート上でまだ通過していない撮影位置の緯度、経度の位置情報と方向データを地域データサーバー３０に送り、画像を要求する（ステップ１２９）。画像を要求する範囲は第１の実施形態と同様とする。地域データサーバー３０は位置および画像データベース３４の中から、車側端末１０からの要求にあった画像を送信する（ステップ１３２）。車側端末１０は地域データサーバー３０から受信した画像を保存し、自動またはユーザの選択操作により車側端末１０の表示部１１に表示する（ステップ１３０）。ステップ１３０で画像の表示を完了すると、ステップ１２５に戻り自車の位置情報の取得が行われる。これらの動作はステップ１２６で目的地への到達が検出されるまで繰り返される。

第２の実施形態では地域データサーバー３０から車側端末１０へ、基準となる交差点情報と撮影位置基準が送信され、個別の撮影地点の撮影位置情報は送信されない。すべての撮影位置についての撮影位置情報が地域データサーバー３０から車側端末３４へ送られる場合と比べると送受信されるデータが減り通信量が少なくなる。よって、通信網の負荷を減らすことができる。また、通信量が減ることにより通信手段の選択肢が広がり、より安定性の高い通信手段を用いることもできる。さらには、高速回線を大量のデータを扱う他の機能に回すことが可能となり、車側端末１０の高機能化につなげることができる。

また、基準点と撮影位置基準から車側端末１０が個別の撮影位置を決定する方法は、地域あたりのデータ量が少ないため、より広域の基準点と撮影位置基準のデータを地域データサーバー３０から車側端末１０へと送りやすい。よって、遠方の目的地であっても事前に撮影位置を確認することが容易になる。山岳地域など電波状況の悪い地域を認識してデータをあらかじめ取得しておくことにより、必要時に通信が出来ずにデータが無いという事態を避けることが出来て、情報利用の利便性が向上する。

次に第３の実施形態について図９を用いて説明する。図９は第３の実施形態において、車側端末１０で画像データが取得され、画像情報データベース３４に画像データが分類されて保存される動作を示している。また、車側端末、通信網、地域サーバーの構成は第１の実施形態と同様とし、図１も用いて説明する。

本実施形態では目的地の設定（ステップ１４１）からカメラによる撮影（ステップ１４８）およびステップ１６１は第１の実施形態でのステップ６１から６８およびステップ７１と同様に実施される。車側端末１０にて画像が取得されると（ステップ１４８）、車側端末１０は一定の送信基準を満たしているかの判断を行う（ステップ１４９）。一定の送信基準は、例えば、基準点となる２点の交差点間の撮影位置での撮影が全ての終わりその区間の画像データの取得が完了したときとする。また、時間単位、枚数単位としてもよいし、トンネルの出口などで送信の要否を確認することを送信基準として設定にしてもよい。送信基準を満たしていないときは、車側端末１０で撮影情報と画像の一時保存を続け、ステップ１４４に戻り画像の取得を続ける。ステップ１４９で一定の条件を満たしていると判定されたときは、車側端末１０は保存している画像データの緯度、経度の位置情報、タイムスタンプ、方向のデータを地域データサーバー３０に送信する（ステップ１５０）。地域データサーバー３０は送られてきた緯度、経度の位置情報、タイプスタンプ、方向とデータテーブルを比較し（ステップ１６２）、車側端末１０が保存している画像が位置および画像データベース３４の中の画像より新しい場合には、送信を要求し、データベースより古い等で送信不要な場合は不要である回答を車側端末に送る（ステップ１６３）。画像の送信を要求された車側端末１０は（ステップ１５１）、要求された画像データを地域データサーバー３０へ送信する１３２（ステップ１５２）。地域データサーバー３０は車側端末１０より画像データを受信し（ステップ１６４）、画像データに付加された緯度、経度の位置情報、タイムスタンプ、方向の情報を基に画像を位置および画像データベース３４のデータテーブルに追加する（ステップ１６５）。車側端末１０はステップ１５２までの動作を完了すると、ステップ１４４に戻り位置情報の取得を行う。これらの動作はステップ１４５で目的地への到着を検出するまで繰り返される。

第１の実施形態および第２の実施形態では撮影した画像はその度に送信を行い、送信が不可であった場合には、次の撮影地点等で送信が可能であることを検出した段階で送信を行っていた。一方、第３の実施形態では、一定のデータ数毎に、必要な撮影データのみを車側端末からサーバーに送信することにより通信量の低減が可能となる。また、本実施形態では、撮影の度に通信回線を使用する必要が無いため、通信回線を他のリアルタイム性の優先度が高い機能へ使用し、他の機能で使用していないときに本実施形態に必要な通信を行うことも可能となる。通信量の低減と通信タイミングの適正化により、車側端末の機能強化や利便性の向上につなげることができる。また、山岳地帯やトンネル地域などであらかじめ電波状況の良否がわかっている地域では、電波状況の悪い地域に入る前と、良い地域に出た地点情報をあらかじめ送信の要否を確認する条件として設定しておき、そのタイミングにあわせて送信することもできる。また、これらは画像データの受信に関しても同様の方法で実施できる。

第３の実施形態で示した、車側端末側１０から地域データサーバー３０に画像データの要否を確認してから送信する方式は、第１の実施形態や第２の実施形態と組み合わせても良い。この場合は、データごとに画像データの要否の確認が行われる。また、第２の実施形態で示した撮影位置の決定方法と第３の実施形態の一定のデータ単位毎にデータが送信される方法やそのデータ送信前に送信の要否を確認する方法と組み合わせてもよい。

撮影位置決定の基準点の設定に関して、第１の実施形態の記載では交差点や信号機の設置された交差点を基準点にする例を示したが、交差点以外の箇所に基準点を設定しても良い。郊外においては、信号の無い交差点で右左折車線が存在することもあり、右左折車線の存在をあらかじめデータベースに設定しておき、基準点とすることもできる。さらには、道路の合流地点や、分岐地点、自動車専用道路や有料道路の出入り口、インターチェンジや料金所付近を基準点としてもよく、また、トンネルの出入り口、峠の最高点付近、登坂車線の前後、急なカーブ等を基準点として設定しておいても良い。事故や工事等の情報を基に撮影基準点を設定することもできる。

目的地の設定後に位置情報データを受信してそのデータを基に撮影位置を決定したが、車の始動直後等では前回の使用時に保存したデータを基に決定し、撮影位置を通過する際に撮影を実施してもよい。車を始動する際の周辺情報は前回の車の使用時のデータが残っており、大きく変化することはないため、それらのデータを用いて撮影した画像も有用であることが多い。この場合は、時間経過後に最新情報を受信した際に、最新のデータを基に撮影位置を再決定する。最新情報を待たずに撮影位置判断等をすることにより、目的地の設定直後に位置情報データが得られなかった際にも撮影を実行して画像データを収集することができる。また、前回、車を使用した際に地域データサーバー３０から取得していた画像を、地域データサーバーとの通信が行われていないときに暫定的に使用することもできる。

第１から第３の実施形態では目的地の設定後に取得した撮影位置情報、または、基準点と撮影位置基準を基に撮影位置の決定を行っているが、車側端末１０は目的地の設定の有無に関わらず、撮影位置情報や、基準点と撮影位置基準を受信できる状態にしておいても良い。目的地の設定時に実際の最新の位置情報データが得られなかったとしても、最新に近い状態の撮影位置情報や、基準点と撮影位置基準を基に撮影位置を決定しデータの収集を開始することができる。

また、走行中の目的地の設定の有無に関わらず、画像データの収集が実行される設定を設けていてもよい。この場合、ブロードキャスト等で配信され車側端末１０に保存している撮影位置情報と自車位置を比較して、一致した場合に撮影する。また自車で撮影位置を決定する方式の際の基準点は直近に通過した基準交差点と同じ道路上にある次の基準交差点のように設定して位置を決定しデータの収集を行う。撮影地点がデータベースに従っていれば良いため、目的地の設定の有無に関わらず画像データの収集を行っても、データベース構築には貢献できる。通勤用車両や店舗等への運搬をしている車両は日常的に同一箇所を同時刻帯に通過することが多く、目的地の設定無しの場合にもデータを集めることにより、データベースの充実化ができる。また、利用者が設定しなくても良いため利便性が向上する。画像利用においても、目的地の設定の有無に関わらず、同一道路上にある次の交差点付近の状況をサーバーから自動でダウンロードして表示する等の機能を設けてもよい。

緯度、経度、方向の一致するデータは最新の画像ファイルのみ車側端末１０へ送信する例を示したが、緯度、経度、方向が一致するデータを複数送信しても良い。時刻の異なる複数の画像を有することによって、時刻ごとの比較によって、画像内に何らかの事象が移っていた際に、一時的なものか継続しているものかの判断材料として利用することができる。複数の画像の設定は最新のものから時刻の連続したものでもよく、一定時間ごとなどでもよい。また、一定時刻の画像ファイルと最新のファイルなどの組み合わせでもよい。夜間などは最新の画像だけの収集では細部の識別が困難となることがある。昼間の時刻のファイルをデータと夜間の最新データの両方を利用可能とすることにより、状況判断がしやすくなるため情報の利便性が向上する。

撮影位置情報や基準点および撮影位置基準はブロードキャストにて地域データサーバー３０から車側端末１０に送信される例を示したが、ブロードキャストでなく個別に通信を実施してもよい。また、ブロードキャストの場合はＦＭ多重放送等の通信手段を用いることもできる。

１台の車が情報の収集と利用の両方を実施できる形態を示したが、情報を収集するだけの車、情報を利用するだけの車、情報の収集と利用の両方を行う車が混在しても良い。例えば定期路線バス、高速バスなどにカメラおよび車側端末１０を設置してデータ収集機能を持たせ、一般車両用の端末は画像利用に特化しても良い。定期路線バス、高速バスなどは頻繁に同一箇所を通過するため、それらの車に画像データの収集用のカメラ、端末を設置し撮影位置情報に応じたデータの収集を行うことによりほぼリアルタイムの画像データを収集することが可能である。この場合、撮影位置情報や画像データの送受信はバスの停留所等でまとめて行ってもよい。特定箇所において短距離で通信すればよく、通信手段の選択肢が広がり、高速大容量データを安定して送受信することもできる。これら混在化により通信回線網の利用効率が向上するとともに、画像の利用だけの場合は、より簡易的な端末での利用が可能となるため利便性が向上する。

また、カメラを制御している端末で画像確認が出来る機能は無くともよく、撮影位置情報に基づいた画像の撮影および撮影情報を利用してデータベースを構築し、別の場所に端末を設置して収集された画像を使用することも出来る。

自動車を利用して、自動車に設置された車側端末等を利用して道路状況の情報を得る例を示したが、自動車での利用に限定されるものではない。例えば自転車等に前方を撮影できるように小型カメラを設置しポータブルナビゲーションシステム等と組み合わせても利用することができる。また、道路上だけでなく、港湾、工場、公園、学校、スポーツ施設、娯楽施設、公共施設等の構内の屋内外の情報を得るために利用してもよい。工場等では工場敷地内の通路および周辺状況データの収集だけでなく、工場内建屋内で使用される自動搬送車（AGV）の前方等に設置されたカメラと端末とサーバーおよび通信設備を設置し、通路の角や特定設備などに撮影基準点を設定して、工場内の最新の状況を確認するデータベースを構築することも出来る。また、移動手段の自動の有無は問わず利用が可能である。例えば一定ルートを通る清掃作業で、手押しの清掃用カートの前方などにカメラを設置しても良い。

次に第４の実施形態について図１０を参照して説明する。図１０は第４の実施形態におけるデータベースシステムの構成を示したものである。本データベースシステムは端末装置１７１と、端末装置１７１と通信網１７２を介して接続されているサーバー１７３と、サーバー上に構築されたデータベース１７５からなる。端末装置１７１は画像の撮影機会の判断手段１７４を有している。また、端末装置１７１は撮影機会の判断結果に基づいて画像の撮影を実行する。データベース１７５には、通信網１７２を介して端末装置１７１から受信した画像が、撮影条件に応じて分類されている。

本実施形態の構成のデータベースシステムを用いると、画像の取得が必要な地点において画像が取得されない事態を回避できる。また、通信回線の負荷の低減と通信の効率化が高まり、通信に対応するサーバーの負荷の軽減も出来る。その結果、必要な画像が欠けることなく安定した画像データベースの構築と利用が実現できる。

本発明は、自動車等に搭載された端末装置を用いて構築された最新の道路状況等の画像データベースから、最新画像を入手し閲覧することが可能なカーナビゲーションシステム等に利用できる。

１０車側端末
１１表示部
１２位置認識部
１３カメラ
１４制御部
１５送受信部
１６画像記憶部
１７位置情報記憶部
１８操作部
１９接続部
２０通信網
３０地域データサーバー
３１送受信部
３２画像メモリ
３３制御部
３４位置および画像データベース
４１緯度に関するデータ項目
４２経度に関するデータ項目
４３日時に関するデータ項目
４４方向に関するデータ項目
４５画像データ
５１交差点
５２交差点上の地点
５３交差点から３００ｍの地点
５４交差点から３００ｍの地点
５５交差点上の地点
５６交差点
５８交差点に設置された信号機
５９撮影地点
６１−６９車側端末の各動作
７１−７３地域データサーバーの各動作
８１−８９車側端末の各動作
９１−９２地域データサーバーの各動作
１０１−１１０車側端末の各動作
１１１−１１３地域データサーバーの各動作
１２１−１３０車側端末の各動作
１３１−１３２地域データサーバーの各動作
１４１−１５２車側端末の各動作
１６１−１６５地域データサーバーの各動作
１７１端末装置
１７２通信網
１７３サーバー
１７４撮影機会の判断手段
１７５データベース

Claims

画像の撮影機会を判断する手段を有し、前記判断結果に基づいて画像の撮影を実行する端末装置と、前記端末装置から通信網を介して受信する画像を画像の撮影条件に応じて分類したデータベースが構築されたサーバーからなることを特徴とするデータベースシステム。
前記サーバーは、前記データベースに保存された画像を、通信網を介して前記端末装置へ送信する手段を有することを特徴とする請求項１記載のデータベースシステム。
前記画像の撮影機会の判断が、前記端末装置が撮影位置と現在位置を比較することで行われ、前記比較において現在位置と撮影位置が一致した時に前記端末装置により撮影機会と判断されることを特徴とする請求項１または２いずれか記載のデータベースシステム。
前記撮影条件が画像の撮影された日時と経度と緯度と画像データを取得した方向を項目としていることを特徴とする請求項１から３いずれか記載のデータベースシステム。
隣接する２つの所定の基準点の一方の基準点に最も近い連続する２つの撮影位置の間の距離が、前記隣接する２つの基準点に挟まれた区間の中間地点を間に含む２つの隣接した撮影位置間の距離以下となるように撮影位置が設定され、前記撮影位置に基づいて取得された画像が撮影条件と対応づけられていることを特徴とする請求項１から４いずれか記載のデータベースシステム。
前記データベースにおいて、隣接する２つの基準点の一方の基準点に最も近い撮影位置を含む連続する２つの撮影位置間の距離が、前記隣接する２つの基準点の間にある他の隣接する撮影地点間の距離よりも大きくならないように撮影地点が設定されていることを特徴とする請求項１から５いずれか記載のデータベースシステム。
現在位置の測定手段と、情報の送受信手段と、画像の撮影手段有と、前記送受信手段により受信した撮影位置と前記現在位置の測定手段により得られた現在位置を基にして画像取得の機会を判断する手段と、前記判断結果に基づいて前記画像撮影手段を制御して画像の撮影をする手段と、前記画像を前記送受信手段により送信する手段を有することを特徴とする端末装置。
前記送受信手段により画像を受信する手段と、前記画像を表示する手段を有すること特徴とする請求項７に記載の端末装置。
目的地を設定する手段と、位置測定手段により得た現在位置から前記目的地までの経路を表示する手段と、経路上の位置と受信した画像の撮影位置情報を比較する手段と、前記比較において位置情報が一致した画像を表示する手段を有することを特徴とする請求項８記載の端末装置。
撮影位置情報をサーバーが送信し、送信された撮影位置情報を受信した端末装置が撮影位置情報と端末装置の位置の比較を実施し、撮影位置情報と端末装置の位置情報が一致した場合には画像の撮影を端末装置が判断して実行し、端末装置は撮影された画像に撮影情報データが添付されて送信し、送信された画像を取得したサーバーが撮影情報データを元に画像を保存することを特徴としたデータベースシステムの構築方法。
撮影情報データが経度と緯度と画像データを撮影した方向と画像を撮影した日時データからなることを特徴とする請求項１０記載のデータベースシステムの構築方法。