JP2012103258A - Information display device and information acquisition device - Google Patents
Information display device and information acquisition device Download PDFInfo
- Publication number
- JP2012103258A JP2012103258A JP2011262040A JP2011262040A JP2012103258A JP 2012103258 A JP2012103258 A JP 2012103258A JP 2011262040 A JP2011262040 A JP 2011262040A JP 2011262040 A JP2011262040 A JP 2011262040A JP 2012103258 A JP2012103258 A JP 2012103258A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- image
- vehicle
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、道路周辺に存在する対象物に関する情報を提供するシステムに関する。 The present invention relates to a system for providing information about an object existing around a road.
車両に搭載したカメラにより車両前方の画像を撮影し、その撮影画像に経路案内情報を合成して表示装置に表示するナビゲーション装置が提案されている。例えば特許文献1に記載のカーナビゲーション装置は、車両に搭載したカメラを用いて周辺の画像を撮影し、画像処理により撮影画像中の特徴物を抽出し、その特徴物を利用した経路案内を行う。
A navigation device has been proposed in which an image in front of a vehicle is captured by a camera mounted on the vehicle, route guidance information is combined with the captured image and displayed on a display device. For example, the car navigation device described in
一方、カーナビゲーション装置や歩行者が所持する携帯端末などにサーバとの通信機能を設け、カーナビゲーション装置などが撮影した周辺画像をサーバにアップロードして、多数の利用者の利用できるようにするシステムが提案されている。例えば、特許文献2は、上記のようにしてサーバに収集された画像を利用して、携帯端末装置へ道案内を提供する手法を記載している。 On the other hand, a system in which a car navigation device or a portable terminal possessed by a pedestrian has a communication function with a server, and a peripheral image captured by the car navigation device or the like is uploaded to the server so that it can be used by many users Has been proposed. For example, Patent Document 2 describes a method for providing route guidance to a mobile terminal device using images collected in a server as described above.
しかし、特許文献1は、撮影画像から抽出した特徴物を自車の経路案内に利用することしか記載していない。一方、特許文献2は、利用者が撮影した画像自体をサーバへ集めて利用することしか記載していない。
However,
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、地図データに含まれないような道路周辺の対象物の情報を抽出し、他の利用者に提供することにより、他の利用者の走行を支援することを目的とする。 Examples of the problems to be solved by the present invention include those described above. SUMMARY OF THE INVENTION An object of the present invention is to support the traveling of other users by extracting information on objects around the road that are not included in map data and providing the information to other users.
請求項1に記載の発明は、情報表示装置であって、撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得手段と、地図情報が記憶された記憶手段から当該地図情報を取得する地図情報取得手段と、取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に表示する表示手段と、を備えることを特徴とする。
The invention according to
請求項7に記載の発明は、地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示方法であって、撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、前記記憶手段から地図情報を取得する地図情報取得工程と、取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に前記表示手段に表示する表示工程と、を有することを特徴とする。 The invention according to claim 7 is an information display method executed by an information display device comprising storage means storing map information, photographing means, and display means, wherein the moving object is photographed by the photographing means An object included in the map information based on the actual image acquisition step of acquiring a real image in the traveling direction, the map information acquisition step of acquiring map information from the storage means, and the acquired real image and map information And a display step of displaying on the display means such that the objects not included are distinguishable in the actual image.
請求項8に記載の発明は、地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示プログラムであって、撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、前記記憶手段から地図情報を取得する地図情報取得工程と、取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に前記表示手段に表示する表示工程と、を前記情報表示装置に実行させることを特徴とする。 The invention according to claim 8 is an information display program executed by an information display device including a storage unit storing map information, an imaging unit, and a display unit, and is a moving body imaged by the imaging unit An object included in the map information based on the actual image acquisition step of acquiring a real image in the traveling direction, the map information acquisition step of acquiring map information from the storage means, and the acquired real image and map information And a display step of displaying on the display means such that the objects not included in the real image can be distinguished from each other in the actual image.
1 サーバ
2 車両
5 ネットワーク
11 サーバDB
12、22 制御部
13、23 通信部
20 ナビゲーション装置
21 地図DB
24 画像処理部
25 表示装置
26 入力部
27 カメラ
1 server 2 vehicle 5
12, 22
24
本発明の1つの好適な実施形態では、情報表示装置は、現在位置を示す情報を取得する現在位置取得手段と、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得手段と、撮影手段により撮影された実画像を取得する実画像取得手段と、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示手段と、を備える。 In one preferred embodiment of the present invention, the information display device includes a current position acquisition unit that acquires information indicating a current position, and an object that acquires object information including position information and feature information based on the current position. An information acquisition unit; an actual image acquisition unit that acquires an actual image captured by the imaging unit; and an object corresponding to the acquired object information is emphasized in the actual image based on the position information and the feature information. Display means for displaying.
上記の情報表示装置は、GPSなどを利用して現在位置を取得する。また、情報表示装置は、オブジェクト情報を記憶したサーバなどから、位置情報及び特徴情報を含むオブジェクト情報を、現在位置に基づいて取得する。さらに、情報表示装置は、カメラなどを利用して実画像を取得する。そして、表示手段は、取得したオブジェクト情報に該当するオブジェクトを実画像中で強調した状態で表示装置などに表示する。これにより、情報表示装置は、他の利用者がサーバに提供したオブジェクト情報を取得し、そのオブジェクトを実画像中で強調して表示することができる。よって、利用者は、地図データに含まれていないようなオブジェクトを、走行中の目印や経路案内における案内情報として利用することができる。 The information display device acquires the current position using GPS or the like. Further, the information display device acquires object information including position information and feature information from a server or the like that stores the object information based on the current position. Furthermore, the information display device acquires a real image using a camera or the like. Then, the display means displays the object corresponding to the acquired object information on a display device or the like in an emphasized state in the actual image. Thereby, the information display apparatus can acquire object information provided to the server by other users and display the object with emphasis in the actual image. Therefore, the user can use objects that are not included in the map data as guide information for traveling landmarks and route guidance.
上記の情報表示装置の一態様では、前記情報表示装置は移動体に搭載され、前記オブジェクト情報は、前記移動体又は前記移動体とは異なる他の移動体が取得した実画像を解析することにより生成される。この態様では、情報表示装置は例えば車両などの移動体に搭載され、他の移動体が実画像の解析により生成したオブジェクト情報を取得して利用することができる。 In one aspect of the information display device, the information display device is mounted on a moving body, and the object information is obtained by analyzing a real image acquired by the moving body or another moving body different from the moving body. Generated. In this aspect, the information display device is mounted on a moving body such as a vehicle, for example, and can acquire and use object information generated by an analysis of the actual image by another moving body.
上記の情報表示装置の他の一態様は、オブジェクトの特徴を入力する入力手段をさらに備え、前記表示手段は、前記取得したオブジェクト情報に該当するオブジェクトのうち、前記入力手段により入力された特徴に該当するオブジェクトを強調して表示する。この態様では、情報表示装置の利用者が入力した特徴に合致するオブジェクトが実画像中で強調表示される。よって、利用者が求めているオブジェクトを識別しやすい状態で表示することができる。 Another aspect of the information display device further includes an input unit that inputs a feature of an object, and the display unit includes a feature input by the input unit among objects corresponding to the acquired object information. Highlight the relevant object. In this aspect, an object that matches the feature input by the user of the information display device is highlighted in the actual image. Therefore, the object that the user is seeking can be displayed in a state where it can be easily identified.
上記の情報表示装置の他の一態様では、前記オブジェクト情報取得手段は、前記オブジェクト情報を記憶する記憶手段を有するサーバ装置に、前記現在位置を含むリクエスト情報を送信するリクエスト送信手段と、前記記憶手段に記憶されたオブジェクト情報のうち、前記送信された現在位置を示す情報に基づいて前記サーバ装置により特定されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする。この態様では、現在位置を基準としてサーバ装置により特定されたオブジェクトが提供され、実画像中で強調表示される。 In another aspect of the information display device, the object information acquisition unit includes a request transmission unit that transmits request information including the current position to a server device that includes a storage unit that stores the object information; Means for acquiring object information specified by the server device from the server device based on the transmitted information indicating the current position among the object information stored in the device. In this aspect, the object specified by the server device with the current position as a reference is provided and highlighted in the actual image.
上記の情報表示装置の他の一態様では、前記情報表示装置は移動体に搭載され、前記オブジェクト情報取得手段は、移動体を特定する移動体特定情報を前記サーバ装置へ送信する移動体特定情報送信手段と、前記記憶手段に記憶されたオブジェクト情報のうち、前記移動体特定情報により特定される移動体により生成されたオブジェクト情報を前記サーバ装置から取得する手段と、を備える。この態様では、利用者は、オブジェクト情報の提供主を特定することにより、ある利用者により提供されたオブジェクト情報を確実に取得することができる。 In another aspect of the information display device, the information display device is mounted on a mobile object, and the object information acquisition unit transmits the mobile object specifying information for specifying the mobile object to the server device. Transmitting means; and means for obtaining, from the server device, object information generated by a moving body specified by the moving body specifying information among the object information stored in the storage means. In this aspect, the user can reliably acquire the object information provided by a certain user by specifying the provider of the object information.
本発明の他の実施形態では、情報表示装置によって実行される情報表示方法は、現在位置を示す情報を取得する現在位置取得工程と、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得工程と、撮影手段により撮影された実画像を取得する実画像取得工程と、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示工程と、を有する。 In another embodiment of the present invention, an information display method executed by an information display device includes a current position acquisition step of acquiring information indicating a current position, and object information including position information and feature information as the current position. An object information acquisition step acquired based on the image, an actual image acquisition step of acquiring an actual image captured by the imaging means, and an object corresponding to the acquired object information based on the position information and the feature information. And a display step for emphasizing the display.
この方法によっても、情報表示装置は、他の利用者がサーバに提供したオブジェクト情報を取得し、そのオブジェクトを実画像中で強調して表示することができる。よって、利用者は、地図データに含まれていないようなオブジェクトを、走行中の目印や経路案内における案内情報として利用することができる。 Also by this method, the information display device can acquire object information provided to the server by other users and display the object with emphasis in the actual image. Therefore, the user can use objects that are not included in the map data as guide information for traveling landmarks and route guidance.
本発明の他の実施形態では、コンピュータを備える情報表示装置において実行される情報表示プログラムは、現在位置を示す情報を取得する現在位置取得手段、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得手段、撮影手段により撮影された実画像を取得する実画像取得手段、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示手段、として前記コンピュータを機能させる。 In another embodiment of the present invention, an information display program executed in an information display device including a computer includes current position acquisition means for acquiring information indicating a current position, object information including position information and feature information, Object information acquisition means for acquiring based on position, real image acquisition means for acquiring a real image taken by the photographing means, and an object corresponding to the acquired object information based on the position information and the feature information The computer is caused to function as display means for emphasizing the display.
このプログラムをコンピュータ上で実行することにより、上記の情報表示装置を実現することができる。なお、このプログラムは、記憶媒体に記憶した状態で好適に取り扱うことができる。 By executing this program on a computer, the above information display apparatus can be realized. This program can be suitably handled in a state stored in a storage medium.
本発明の他の実施形態では、情報取得装置は、実画像を撮影する撮影手段と、現在位置を取得する現在位置取得手段と、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成手段と、を備える。 In another embodiment of the present invention, the information acquisition device includes position information based on an image capturing unit that captures a real image, a current position acquisition unit that acquires a current position, and the acquired current position and the captured actual image. And object information generation means for generating object information including feature information and storing the object information in a storage unit.
上記の情報取得装置は、カメラなどにより実画像を撮影するとともに、GPSなどを利用して現在位置を取得する。そして、現在位置及び実画像に基づいて、オブジェクト情報を生成する。これにより、情報取得装置は、地図データに含まれていないようなオブジェクトについても特徴情報などを含むオブジェクト情報を生成することができる。 The information acquisition apparatus captures a real image with a camera or the like, and acquires a current position using a GPS or the like. Then, object information is generated based on the current position and the actual image. Thereby, the information acquisition apparatus can generate object information including feature information and the like even for objects that are not included in the map data.
上記の情報取得装置の一態様では、前記オブジェクト情報生成手段は、画像処理により前記実画像に含まれるオブジェクトを抽出し、当該オブジェクトの特徴を抽出して前記特徴情報とする特徴情報生成手段と、前記現在位置に基づいて、前記オブジェクトの位置を算出して前記位置情報とする位置情報生成手段と、を備える。この態様では、オブジェクトの特徴を示す特徴情報と、オブジェクトの位置を示す位置情報とが生成され、オブジェクト情報に含められる。 In one aspect of the information acquisition device, the object information generation unit extracts an object included in the real image by image processing, extracts a feature of the object, and uses the feature information generation unit as the feature information. Position information generating means for calculating the position of the object based on the current position and using it as the position information. In this aspect, feature information indicating the feature of the object and position information indicating the position of the object are generated and included in the object information.
上記の情報取得装置の他の一態様では、前記オブジェクト情報生成手段は、画像処理により前記実画像に含まれるオブジェクトを抽出し、当該オブジェクトの特徴を抽出して前記特徴情報とする特徴情報生成手段と、前記現在位置及び進行方向を前記位置情報とする位置情報生成手段と、を備える。この態様では、オブジェクトの特徴を示す特徴情報に加え、情報取得装置の位置及び進行方向が位置情報としてオブジェクト情報に含められる。オブジェクト情報を取得したサーバなどは、情報取得装置の現在位置及び進行方向に基づいて、オブジェクトの位置を算出することができる。 In another aspect of the information acquisition device, the object information generation unit extracts an object included in the real image by image processing, extracts a feature of the object, and uses the feature information generation unit as the feature information And position information generating means using the current position and the traveling direction as the position information. In this aspect, in addition to the feature information indicating the feature of the object, the position and the traveling direction of the information acquisition device are included in the object information as the position information. The server or the like that has acquired the object information can calculate the position of the object based on the current position and the traveling direction of the information acquisition device.
上記の情報取得装置の他の一態様では、前記情報取得装置は移動体に搭載され、前記オブジェクト情報は、当該オブジェクト情報を生成した移動体を特定する移動体特定情報を含む。この態様では、オブジェクト情報を生成した移動体の特定情報がオブジェクト情報に含められるので、オブジェクト情報を利用する側は、オブジェクト情報を生成した移動体を特定してオブジェクト情報を取得することが可能となる。 In another aspect of the information acquisition device, the information acquisition device is mounted on a mobile object, and the object information includes mobile object identification information that specifies the mobile object that generated the object information. In this aspect, since the identification information of the mobile object that generated the object information is included in the object information, the side using the object information can acquire the object information by specifying the mobile object that generated the object information. Become.
本発明の他の実施形態では、情報取得装置により実行される情報取得方法は、実画像を撮影する撮影工程と、現在位置を示す情報を取得する現在位置取得工程と、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成工程と、を有する。この方法によっても、地図データに含まれていないようなオブジェクトについても特徴情報などを含むオブジェクト情報を生成することができる。 In another embodiment of the present invention, the information acquisition method executed by the information acquisition apparatus includes a shooting process of shooting a real image, a current position acquisition process of acquiring information indicating the current position, and the acquired current position and shooting. An object information generating step of generating object information including position information and feature information based on the actual image and storing the object information in a storage unit. Also by this method, it is possible to generate object information including feature information for objects that are not included in the map data.
本発明の他の実施形態では、コンピュータを備える情報取得装置により実行される情報取得プログラムは、実画像を撮影する撮影手段、現在位置を示す情報を取得する現在位置取得手段、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成手段、として前記コンピュータを機能させる。 In another embodiment of the present invention, an information acquisition program executed by an information acquisition device including a computer includes an imaging unit that captures a real image, a current position acquisition unit that acquires information indicating a current position, an acquired current position, and Based on the photographed real image, object information including position information and feature information is generated, and the computer is caused to function as object information generating means for storing in the storage unit.
このプログラムをコンピュータ上で実行することにより、上記の情報提供装置を実現することができる。なお、このプログラムは、記憶媒体に記憶した状態で好適に取り扱うことができる。 By executing this program on a computer, the information providing apparatus can be realized. This program can be suitably handled in a state stored in a storage medium.
以下、図面を参照して本発明の好適な実施例について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[システム構成]
図1に、本発明の実施例に係る情報提供システムの概略構成を示す。なお、以下に説明する実施例は、本発明を車両のナビゲーション装置に適用した例である。
[System configuration]
FIG. 1 shows a schematic configuration of an information providing system according to an embodiment of the present invention. In addition, the Example described below is an example which applied this invention to the navigation apparatus of the vehicle.
図1に示すように、情報提供システムは、サーバ1と、複数の車両2により構成される。サーバ1は、本実施例により利用者に提供される情報を管理する役割を有し、ネットワーク5を通じて複数の車両2と通信可能に構成されている。ネットワーク5の一例はインターネットである。なお、図1においては説明の便宜上2つの車両を示しているが、実際には多数の車両2がサーバ1と通信することになる。
As shown in FIG. 1, the information providing system includes a
サーバ1は、サーバデータベース(以下、データベースを「DB」と記す。)11と、制御部12と、通信部13とを備える。サーバDB11は、地図情報と、複数の車両からアップロードされたオブジェクト情報とを記憶している。なお、オブジェクト情報については後述する。
The
制御部12は、車両2が生成したオブジェクト情報をネットワーク5を介して受信し、サーバDB11へ記憶する。また、制御部12は、車両からのリクエストに応じて、サーバDB11内からオブジェクト情報を抽出し、リクエストを行った車両2へネットワーク5を介して送信する。
The
通信部13は、複数の車両2との間で、ネットワーク5を介してオブジェクト情報やリクエストを送受信するための通信処理を実行する。
The
車両2は、カメラ27と、ナビゲーション装置20とを備える。カメラ27は、車両2に搭載され、通常は車両2の進行方向を撮影する位置に設置される。なお、カメラ27が撮影する画像は、動画であっても、静止画であってもよい。カメラ27は、撮影した画像の画像データをナビゲーション装置20へ出力する。
The vehicle 2 includes a
ナビゲーション装置20は、地図DB21と、制御部22と、通信部23と、画像処理部24と、表示装置25と、入力部26と、を備える。地図DB21は、ナビゲーション装置20による地図表示や経路案内などの処理に必要な地図情報を記憶している。
The
通信部23は、ネットワーク5を通じてサーバ1と通信するための通信処理を実行する。通常、通信部23は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ1と通信する。但し、本実施例では、通信の方法は特定のものに限定されない。
The
画像処理部24は、カメラ27が取得した撮影画像の画像データを取得し、画像認識処理及び画像解析処理(以下、まとめて「画像処理」とも呼ぶ。)を実行して、撮影画像に含まれるオブジェクトを特定するとともに、オブジェクトの特徴情報を生成する。
The
表示装置25は、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。入力部26は、例えば表示装置25上に設けられたタッチパネルなどにより構成され、利用者による指定、指示などの入力を受け取る。
The
制御部22は、ナビゲーション装置20による表示や経路案内などのナビゲーション実行時に各構成要素を制御するほか、後述するオブジェクト情報の生成、アップロード処理などを実行する。
The
ナビゲーション装置20は、撮影画像を利用したナビゲーションを実行する。具体的には、ナビゲーション装置20は、車両2の走行中にカメラ27により進行方向前方の画像を撮影し、撮影画像を表示装置25に表示する。これに加えて、ナビゲーション装置20は、その現在位置の周辺にあるオブジェクトに関連する情報を撮影画像に合成して表示装置25に表示する。なお、「オブジェクト」とは、撮影画像に含まれる建物などの構造物、道路案内標識、看板などの各種の対象物を指す。また、ルート案内の実行中であれば、ナビゲーション装置20は、交差点の右左折などの案内情報を撮影画像上に合成して表示装置25に表示する。なお、以下の説明では、カメラ27により撮影された画像を「撮影画像」と呼び、撮影画像に上記のような情報を合成して生成され、表示装置25に表示される画像を「表示画像」と呼ぶ。
The
撮影画像を利用したナビゲーションの例を図3を参照して説明する。図3(a)に撮影画像の例を示し、図3(b)に表示画像の例を示す。カメラ27が図3(a)に示す撮影画像を取得した場合、ナビゲーション装置20は、地図DB21に記憶された地図情報を参照し、現在位置の周辺にあるオブジェクトを検索する。いま、図3(a)に示す撮影画像51中の建物の名称が「Xビル」であり、交差点名称が「Y交差点」であるという情報が地図DB21に記憶された地図情報に含まれているとすると、ナビゲーション装置20は、図3(b)に示すように、表示画像52において吹き出し41、42により、それらの名称を表示する。なお、図3(a)の例では、撮影画像51中の3つの看板43〜45は地図DB21中の地図情報には含まれていないため、図3(b)において吹き出しによる表示は行われない。
An example of navigation using captured images will be described with reference to FIG. FIG. 3A shows an example of a captured image, and FIG. 3B shows an example of a display image. When the
以上の構成において、制御部22は本発明の現在位置取得手段、オブジェクト情報取得手段、移動体特定情報送信手段、リクエスト送信手段、位置情報生成手段及び特徴情報生成手段として機能する。また、表示装置25は表示手段として機能し、入力部26は入力手段として機能する。
In the above configuration, the
[情報提供処理]
次に、本実施例による情報提供処理について説明する。情報提供処理は、車両2がサーバ1へオブジェクト情報をアップロードする処理(アップロード処理)と、車両2がサーバ1からオブジェクト情報をダウンロードする処理(ダウンロード処理)とを含む。
[Information provision processing]
Next, information providing processing according to the present embodiment will be described. The information providing process includes a process in which the vehicle 2 uploads object information to the server 1 (upload process) and a process in which the vehicle 2 downloads object information from the server 1 (download process).
なお、以下の説明においては、便宜上、サーバ1へオブジェクト情報を提供する車両を「アップロード車両2a」と呼び、サーバ1からオブジェクト情報を取得する車両を「ダウンロード車両2b」と呼ぶ。但し、車両2は基本的に全て同様に構成され、1つの車両2はアップロード処理を行うときにはアップロード車両として動作し、ダウンロード処理を行うときにはダウンロード車両として動作する。つまり、物理的に構成が異なるアップロード専用車両とダウンロード専用車両が存在するというわけではない。
In the following description, for convenience, a vehicle that provides object information to the
図2において、まず、アップロード車両2aは、走行中にカメラ27を用いて進行方向の画像を撮影し、撮影画像中に含まれるオブジェクトに関するオブジェクト情報を生成してサーバ1へ送信する(ステップS1)。これがアップロード処理に相当する。
In FIG. 2, the upload vehicle 2a first captures an image in the traveling direction using the
いま、アップロード車両2aが走行中に撮影した撮影画像が図3(a)であるとすると、ナビゲーション装置20は、撮影画像の画像認識処理により、3つの看板43、44及び45を1つのオブジェクトとして抽出する。また、ナビゲーション装置20は、画像解析処理により各看板43〜45の大きさ、色、看板の表示内容(看板に描かれた文字、記号など)を解析し、看板43〜45の特徴情報を生成する。いま、看板43の矢印の背景が赤色であり、看板45の背景が白であると仮定すると、ナビゲーション装置20は3枚の看板43〜45からなるオブジェクトに対して「大型看板」、「赤色部分」、「白色全体」、「矢印」、「GS」、「Cafe」などの特徴を特徴情報として生成する。
Now, assuming that the photographed image taken while the upload vehicle 2a is traveling is FIG. 3A, the
なお、この処理は、主として画像処理部24が既知の手法を用いて実行することができる。例えば、画像処理部24は、撮影画像の輝度、色などに基づいて、撮影画像中の所定割合以上の面積を有する領域をオブジェクトとして抽出することができる。また、当該オブジェクトの構成領域の大きさ、色などを分析したり、予め用意された文字、記号などのテンプレートとのマッチングを行ったりすることにより、オブジェクトの特徴情報を生成することができる。なお、本実施例では、オブジェクトの抽出及び特徴情報を生成のためのアルゴリズムは特定のものに限定されるものではない。
This process can be executed mainly by the
こうしてオブジェクトが抽出され、その特徴情報が生成されると、ナビゲーション装置20は、オブジェクト情報を生成する。オブジェクト情報の例を図4(a)に示す。オブジェクト情報は、オブジェクト位置情報と、特徴情報と、車両IDとを含む。
When the object is extracted in this way and the feature information is generated, the
オブジェクト位置情報は、オブジェクトの位置を示す情報であり、緯度及び経度で示される。ナビゲーション装置20は、撮影画像を撮影した時点におけるアップロード車両2aの現在位置及び進行方向を取得し、それらに基づいて、オブジェクトの位置を算出する。オブジェクトの位置情報の算出方法はいくつか考えられる。最も単純な方法は、車両の現在位置から進行方向へ所定距離移動した地点をオブジェクトの位置と決定する方法である。本実施例のナビゲーション装置20では、上記のように、撮影画像を利用したナビゲーションを行うため、一般的に撮影画像が車両2の前方の所定距離(例えば10〜30m程度)の位置を中心に撮影するようにカメラ27の方向や倍率などが設定される。よって、10〜30m程度の所定距離を予め決定し、単純にアップロード車両2aの現在位置から進行方向に所定距離だけ移動した地点をオブジェクトの位置と決定することができる。また、他の方法としては、カメラ27の撮影範囲(画角)、ズーム度合いなどの設定値と、撮影画像中のオブジェクトの位置、大きさなどに基づいて、アップロード車両2aの現在位置とオブジェクトとの距離を算出し、現在位置、進行方向及びその距離からオブジェクトの位置を算出することもできる。なお、本実施例では、アップロード車両2aの現在位置に基づいてオブジェクトの位置を決定する手法は、特定の手法に限定されるものではない。
The object position information is information indicating the position of the object, and is indicated by latitude and longitude. The
特徴情報は、前述のように、撮影画像の解析により得られる、オブジェクトの特徴を示す情報である。車両IDは、車両2を識別するIDであり、車両毎に一意に付与される。 As described above, the feature information is information indicating the feature of the object obtained by analyzing the captured image. The vehicle ID is an ID for identifying the vehicle 2 and is uniquely assigned to each vehicle.
ナビゲーション装置20は、位置情報、特徴情報及び車両IDを含むオブジェクト情報を生成し、サーバ1へ送信する。なお、ナビゲーション装置20は、アップロード車両2aの走行中に繰り返し撮影画像を取得し、上記のようにオブジェクト情報を生成してサーバ1へアップロードする。具体的に、ナビゲーション装置20は、所定時間毎又は所定距離毎に画像を撮影してオブジェクト情報を生成してもよい。また、ナビゲーション装置20は、地図DB21に記憶されている地図情報に基づいて、交差点、建物が集中している地点など、有益な情報として利用できるオブジェクトが存在する可能性の高い地点で画像を撮影してオブジェクト情報を生成するようにしてもよい。
The
ナビゲーション装置20は、撮影画像からオブジェクトを抽出する際に、予め決められた抽出レベルに従う。「抽出レベル」とは、撮影画像に含まれる多数のもの(以下、「撮影物」と呼ぶ。)のうち、オブジェクトとして抽出するものの基準を示す。例えば、抽出レベルとしては、撮影物の大きさ、色、形状、文字・記号を含むか否か、撮影画像中の位置などを予め規定することができる。抽出レベルを低く設定すれば、多数のオブジェクトが抽出されるが、その分、それほど重要でない撮影物もオブジェクトとして抽出されることになり、ナビゲーション装置20による画像処理の負荷やサーバ1で記憶するデータ量が不必要に増大するという不具合がある。よって、抽出レベルを適切なレベルに設定する必要がある。実際には、抽出レベルの設定により、1の撮影画像から複数のオブジェクトが抽出される場合もあり、1つもオブジェクトが抽出されない場合もある。
The
撮影画像から抽出されたオブジェクトが、地図DB21に記憶された地図情報に既に含まれている場合もある。例えば、図3(b)の例で説明したように、「Xビル」は地図DB21中の地図情報に含まれているが、図3(a)に示す撮影画像51の画像処理によってオブジェクトとして抽出される。この場合、地図情報に含まれているオブジェクトについては重複した情報となるため、1つの方法としては、ナビゲーション装置20は地図情報に含まれているオブジェクトについてオブジェクト情報の生成を行わないこととしてもよい。また、別の方法としては、地図情報に含まれているオブジェクトであっても、オブジェクト情報を生成しサーバ1へアップロードすることとしてもよい。通常、地図情報に含まれているオブジェクトであっても、その外観上の特徴までは地図情報には含まれていない場合が多い。この点、撮影画像の画像処理により得られたオブジェクトの特徴情報は、そのオブジェクトの外観上の特徴を示すものであり、地図情報に含まれている情報とは別に利用価値がある場合があるからである。
The object extracted from the captured image may already be included in the map information stored in the
ナビゲーション装置20において、利用者がオブジェクトのジャンルを限定できるようにしてもよい。例えば、撮影物としては建物、看板、道路標識などが撮影されるが、そのうちの看板のみをオブジェクトとして抽出するように利用者が設定してもよい。
In the
図2に戻り、アップロード車両2aからオブジェクト情報が送信されると、サーバ1はこれを受信し、サーバDB11に記憶する(ステップS2)。多数の車両2からオブジェクト情報を取得することにより、サーバDB11には、通常の地図情報には含まれないオブジェクトについても、オブジェクト情報が蓄積されていく。図4(c)はサーバDB11内のオブジェクト情報の例を示す。図示のように、各オブジェクト情報は、位置情報に含まれるオブジェクトの位置及び車両IDに対応付けられた形で特徴情報が記憶される。同一の地点で複数のアップロード車両2aからオブジェクト情報がアップロードされれば、同一の位置について、異なる車両IDを有する複数のオブジェクト情報が記憶されることになる。
Returning to FIG. 2, when the object information is transmitted from the upload vehicle 2a, the
ダウンロード車両2bの利用者は、現在位置周辺のオブジェクト情報を取得したい場合、サーバ1へリクエスト情報を送信することによりリクエストを行う(ステップS3)。図4(b)に例示するように、リクエスト情報は、リクエストを行うダウンロード車両2bの現在位置情報と進行方向情報とを含む。 When the user of the download vehicle 2b wants to acquire object information around the current position, the user makes a request by transmitting request information to the server 1 (step S3). As illustrated in FIG. 4B, the request information includes current position information and traveling direction information of the download vehicle 2b that makes the request.
サーバ1は、ダウンロード車両2bからリクエスト情報を受信すると、サーバDB11を参照し、リクエスト情報に含まれる現在位置情報及び進行方向情報に基づいて、オブジェクト情報を抽出し、ダウンロード車両2bへ送信する(ステップS4)。基本的には、サーバ1は、リクエスト情報に含まれる現在位置情報及び進行方向情報に基づいて、ダウンロード車両2bの現在位置から進行方向へ所定距離以内に存在するオブジェクトのオブジェクト情報を抽出する。この際、サーバ1は、ダウンロード車両2bが走行している道路上にあるオブジェクト、及び、その道路から所定距離以内に存在するオブジェクトのみを抽出することとしてもよい。これは、道路から離れたオブジェクトを提供してもあまり有益とは言えないからである。
When the
また、サーバ1は、進行方向には数km以内、それ以外の方向には数百m以内に存在するオブジェクトを抽出するというように、オブジェクトを抽出する範囲を進行方向に広く、それ以外の方向には狭く設定してもよい。また、サーバ1は、ダウンロード車両2bの現在位置が交差点の手前である場合には、その交差点において進行可能な全方向へ所定距離以内に存在するオブジェクトを全て抽出することとしてもよい。
Further, the
ダウンロード車両2bは、リクエスト情報に対応するオブジェクト情報をサーバ1から受信する(ステップS5)。そして、ダウンロード車両2bは、受信したオブジェクト情報に含まれる特徴情報を利用して、表示画像中の対応するオブジェクトを強調表示する(ステップS6)。 The download vehicle 2b receives the object information corresponding to the request information from the server 1 (step S5). Then, the download vehicle 2b highlights the corresponding object in the display image using the feature information included in the received object information (step S6).
ダウンロード車両2bのナビゲーション装置20は、前述のように、撮影画像を利用したナビゲーションを実行している。よって、ナビゲーション装置20は、受信したオブジェクト情報中の特徴情報を用いて、表示画像中の対応するオブジェクトを強調して表示する。例えば、アップロード車両2aが図4(a)に例示するオブジェクト情報をサーバ1にアップロードし、図3(a)に示す地点に近づいたダウンロード車両2bがリクエストを発して図4(a)に例示するオブジェクト情報を受信したと仮定する。この場合、ナビゲーション装置20は図5(a)に例示する表示画像53を表示装置25に表示する。
As described above, the
図3(b)に示す表示画像52と比較すると理解されるように、図5(a)の表示画像53においては、3枚の看板43〜45からなるオブジェクトが破線47により強調表示されている。さらに、その特徴情報である「大型看板」、「3枚看板」、「矢印」などの文字を示す吹き出し46により、3枚の看板43〜45からなるオブジェクトが強調表示されている。なお、強調表示の手法としては、図5(a)のようにオブジェクトを示す破線を表示する、吹き出しを表示することの他、オブジェクトを指し示す矢印を表示する、表示画像中におけるオブジェクトの表示色を部分的又は全体的に変更する、などの種々の方法を採用することができる。即ち、強調表示は、撮影画像中のオブジェクトが表示されている状態で、さらにそのオブジェクトを強調するために追加の表示を行う手法と、撮影画像中のオブジェクトの輝度、色などを変化させて強調する手法とを含む。
As understood from comparison with the
なお、本実施例では、サーバ1はアップロード車両2aが生成したオブジェクト情報をサーバDB11に記憶するのであって、アップロード車両2aが撮影した画像を受信して記憶するわけではない。また、ダウンロード車両2bは、カメラ27により撮影した撮影画像をベースにして、サーバ1から取得したオブジェクト情報を利用してオブジェクトを強調表示するのであって、サーバ1から画像自体を取得するわけではない。よって、サーバ1が記憶するデータ量が必要以上に膨大となることはなく、車両2とサーバ1との通信データ量も少ない。
In this embodiment, the
また、本実施例では、ダウンロード車両2bは、経路案内中であるか否かを問わず、オブジェクト情報をサーバ1から取得することができる。ダウンロード車両2bは、経路案内中でない場合でも、取得したオブジェクト情報を利用して対応するオブジェクトを強調表示することができる。また、ダウンロード車両2bは、経路案内中である場合は、取得したオブジェクト情報の特徴情報を経路案内(例えば右左折の指示)に利用することもできる。
In this embodiment, the download vehicle 2b can acquire object information from the
[オブジェクト指定]
次に、ダウンロード車両2bにおけるオブジェクト指定について説明する。上記のステップS6において、ダウンロード車両2bは、サーバ1からダウンロードしたオブジェクト情報を利用して表示画像におけるオブジェクトの強調表示を行う。この際、ダウンロード車両2bにおいて、利用者がオブジェクトを指定できるように構成することができる。なお、このオブジェクト指定機能は必須機能ではなく、オプション機能とすることが好ましい。
[Object specification]
Next, object specification in the download vehicle 2b will be described. In step S <b> 6, the download vehicle 2 b uses the object information downloaded from the
具体的には、利用者は、ダウンロード車両2bのナビゲーション装置20の入力部26を用いてオブジェクトのジャンル、特徴などを指定する。ダウンロード車両2bは、サーバ1から受信したオブジェクト情報のうち、利用者が指定したジャンルや特徴に合致するオブジェクトを強調表示する。
Specifically, the user uses the
例えば、利用者がオブジェクトのジャンルとして「看板」を指定した場合、ダウンロード車両2bは、サーバ1からダウンロードしたオブジェクト情報のうち、看板に関連する特徴情報を有するオブジェクトを抽出し、強調表示を行う。また、利用者がオブジェクトの特徴情報として「看板」、「GS」を指定した場合、ダウンロード車両2bは、サーバ1からダウンロードしたオブジェクト情報から、これらの特徴情報を含むオブジェクト情報を抽出し、例えば図5(b)に示すように、「看板」、「GS」を含む吹き出し48による強調表示を行う。
For example, when the user designates “signboard” as the genre of the object, the download vehicle 2b extracts the object having the characteristic information related to the signboard from the object information downloaded from the
このように、ダウンロード車両2bにおいてオブジェクトを指定可能とすると、ダウンロード車両2bの利用者は、他人から聞いた特徴に基づいて、その特徴に該当するオブジェクトを容易に発見できるようになる。例えば、友人宅を訪問する場合に、「C駅を超えたら、ガソリンスタンドの看板を右に曲がる」と聞いた場合、その利用者は、C駅を通過したあたりでサーバ1へリクエストを送信し、その際のリクエスト情報にオブジェクト指定情報として「看板」、「GS」を含める。すると、ダウンロード車両2bは、サーバ1からダウンロードしたオブジェクト情報のうち、特徴情報に「看板」、「GS」が含まれるものを抽出し、図5(b)に例示するようにそのオブジェクトを強調表示する。これにより、利用者は、友人に聞いた情報に基づいて、該当するオブジェクトを容易に見つけることができる。
As described above, when an object can be specified in the download vehicle 2b, the user of the download vehicle 2b can easily find an object corresponding to the feature based on the feature heard from another person. For example, when visiting a friend's house, if the user hears "If you exceed station C, turn the gas station sign to the right", the user sends a request to
なお、上記のように、利用者がオブジェクトの指定を行った場合には、ダウンロード車両2bは、指定に該当するオブジェクトのみを強調表示し、他のオブジェクトに関する強調表示を行わないようにしてもよい。また、ダウンロード車両は、指定に該当するオブジェクトのみでなく、他のオブジェクトも強調表示してもよい。その場合には、ダウンロード車両2bは、指定に該当するオブジェクトが他のオブジェクトよりも目立つように、高い強調度合いで強調表示することが好ましい。 As described above, when the user designates an object, the download vehicle 2b may highlight only the object corresponding to the designation, and may not perform highlighting regarding other objects. . Further, the download vehicle may highlight not only the object corresponding to the designation but also other objects. In that case, it is preferable that the download vehicle 2b is highlighted with a high degree of emphasis so that the object corresponding to the designation stands out from the other objects.
[アップロード処理]
次に、アップロード処理について詳しく説明する。図6は、アップロード処理のフローチャートである。アップロード処理のうちアップロード車両2a側の処理は、アップロード車両2aの制御部22が、予め用意されたプログラムを実行し、画像処理部24などを制御することにより実現される。また、サーバ1側の処理は、サーバの制御部12が予め用意されたプログラムを実行することにより実現される。
[Upload process]
Next, the upload process will be described in detail. FIG. 6 is a flowchart of the upload process. Of the upload processing, the processing on the upload vehicle 2a side is realized by the
なお、図6におけるステップ番号は、図2におけるステップ番号と関連付けされている。例えば、図6におけるステップS1−1、S1−2などは、図2におけるステップS1の処理に含まれる。 Note that the step numbers in FIG. 6 are associated with the step numbers in FIG. For example, steps S1-1 and S1-2 in FIG. 6 are included in the process of step S1 in FIG.
車両2がアップロード処理を実行するか否かは、基本的に利用者の設定により決まる。利用者がアップロード処理を実行するように設定している場合には、制御部22は、アップロード処理を実行する。
Whether or not the vehicle 2 executes the upload process is basically determined by the setting of the user. When the user is set to execute the upload process, the
まず、制御部22は、利用者からの入力により抽出レベルを設定する(ステップS0−1)。前述のように、抽出レベルとは、撮影画像に含まれる撮影物のうち、オブジェクトとして抽出するものの基準を示す。例えば、利用者は、抽出レベルとして撮影物の大きさ、色、形状、文字・記号を含むか否かなどを設定する。
First, the
次に、制御部22は、利用者からの入力によりジャンルを設定する(ステップS0−2)。即ち、利用者は、必要に応じて、抽出すべきオブジェクトのジャンルを設定する。例えば、利用者は、ジャンルとして「建物」、「看板」、「道路標識」などを設定することができる。
Next, the
次に、制御部22はカメラ27を制御して車両前方の撮影画像を撮影させ、画像処理部24はカメラ27から撮影画像を取得し、画像処理を行ってオブジェクトを抽出する(ステップS1−1)。
Next, the
次に、制御部22は、ナビゲーション装置20の自立センサやGPS受信機の出力に基づいて、車両2の現在位置及び進行方法を取得し、それらに基づいて、抽出されたオブジェクトの位置情報を算出する(ステップS1−2)。
Next, the
次に、画像処理部24は、オブジェクトの特徴情報を生成し(ステップS1−3)、制御部22は、車両IDを取得する(ステップS1−4)。なお、車両IDは車両に唯一に付与されたIDであり、通常はナビゲーション装置20に記憶されている。
Next, the
そして、制御部22は、オブジェクト位置情報、特徴情報及び車両IDを含むオブジェクト情報を生成し(ステップS1−5)、通信部23によりサーバ1へ送信する(ステップS1−6)。
And the
サーバ1では、制御部12は通信部13を通じてオブジェクト情報を受信し(ステップS2−1)、サーバDB11へ記憶する(ステップS2−2)。こうして、アップロード処理は終了する。多数の車両2がアップロード車両2aとして動作し、サーバ1へオブジェクト情報をアップロードすることにより、図4(c)に示すようにサーバDB11には多数の地点のオブジェクト情報が蓄積されていく。
In the
[ダウンロード処理]
次に、ダウンロード処理について詳しく説明する。図7は、ダウンロード処理のフローチャートである。ダウンロード処理のうちダウンロード車両2b側の処理は、ダウンロード車両2bの制御部22が、予め用意されたプログラムを実行し、表示部25などを制御することにより実現される。また、サーバ1側の処理は、サーバの制御部12が予め用意されたプログラムを実行することにより実現される。なお、図7におけるステップ番号も図2におけるステップ番号と関連付けされている。
[Download process]
Next, the download process will be described in detail. FIG. 7 is a flowchart of the download process. Of the download process, the process on the download vehicle 2b side is realized by the
まず、ダウンロード車両2bの制御部22は、サーバ1へリクエスト情報を送信する(ステップS3)。リクエスト情報は、図4(b)に示すように、ダウンロード車両2bの現在位置及び進行方向を含む。
First, the
サーバ1では、通信部13がリクエスト情報を受信する(ステップS4−1)。そして、制御部12がサーバDB11を参照して、ダウンロード車両2bの現在位置周辺のオブジェクト情報を抽出し(ステップS4−2)、通信部13を通じてダウンロード車両2bへ送信する(ステップS4−3)。
In the
ダウンロード車両2bでは、通信部23がサーバ1からオブジェクト情報を受信する(ステップS5−1)。また、制御部22が自車のカメラ27を制御して車両前方を撮影し、撮影画像を取得する(ステップS6−1)。
In the download vehicle 2b, the
次に、制御部22は、利用者によりオブジェクトの指定がなされたか否かを判定する(ステップS6−2)。オブジェクトの指定がなされた場合(ステップS6−2;Yes)、制御部22はその指定内容を取得し(ステップS6−3)、指定内容に該当するオブジェクトを抽出する(ステップS6−4)。そして、制御部22は、サーバ1から受信したオブジェクトであって、撮影画像に含まれるものを強調表示する(ステップS6−5)。なお、ステップS6−2でオブジェクトの指定がなされた場合には、その指定に合致するオブジェクトのみが強調表示される。こうして、ダウンロード処理が終了する。
Next, the
[変形例1]
上記のダウンロード処理において、ダウンロード車両2bは、オブジェクト情報の提供を受ける車両を特定することができる。具体的には、図8(a)に示すように、リクエスト情報に車両ID又はグループIDを含める。なお、グループIDとは、予め決められた複数の車両により構成されたグループを識別するIDであり、1つのグループIDには、そのグループを構成する複数の車両のIDが対応付けられている。
[Modification 1]
In the above download process, the download vehicle 2b can specify the vehicle that receives the object information. Specifically, as shown in FIG. 8A, the request information includes a vehicle ID or a group ID. In addition, group ID is ID which identifies the group comprised by the predetermined some vehicle, and ID of the some vehicle which comprises the group is matched with one group ID.
サーバ1は、車両IDを含むリクエスト情報を受信した場合、サーバDB11を参照し、その車両IDが示す車両からアップロードされたオブジェクト情報を抽出する。また、サーバ1は、グループIDを含むリクエスト情報を受信した場合、そのグループIDに属する車両IDが示す車両からアップロードされたオブジェクト情報を抽出する。これにより、ダウンロード処理を実行する利用者は、取得するオブジェクト情報の提供主を、ある特定の利用者又はある特定のグループ員に限定することができる。
When the
なお、車両ID又はグループIDを含むリクエスト情報を受信した場合、サーバ1は、それらIDに合致する車両からのオブジェクト情報のみをダウンロード車両2bへ送信することとしてもよいが、それらに加えて他のオブジェクト情報もダウンロード車両2bへ送信することとしてもよい。
In addition, when the request information containing vehicle ID or group ID is received, the
[変形例2]
上記の実施例では、アップロード処理において、アップロード車両2aは、オブジェクト情報に含める位置情報として、オブジェクト位置情報、即ちオブジェクト自身の位置情報を生成していた。その代わりに、アップロード車両2aは、図8(b)に示すように、自車の位置を示す車両位置情報と進行方向情報をオブジェクト情報に含めてサーバ1へ送信してもよい。その場合、サーバ1は、オブジェクト情報に含まれる車両位置情報と進行方向情報に基づいてオブジェクト位置情報を算出し、サーバDB11に記憶すればよい。
[Modification 2]
In the above embodiment, in the upload process, the upload vehicle 2a generates object position information, that is, position information of the object itself, as position information to be included in the object information. Instead, as shown in FIG. 8B, the upload vehicle 2a may include the vehicle position information indicating the position of the own vehicle and the traveling direction information included in the object information and transmit it to the
[変形例3]
上記のオブジェクト指定においては、ダウンロード車両2bが、サーバ1から受信したオブジェクト情報のうち、指定に合致するオブジェクトを抽出して強調表示を行っている。その代わりに、ダウンロード車両2bからのリクエスト情報にオブジェクト指定を含めることとしてもよい。この場合、ダウンロード車両2bは、図8(c)に例示するように、オブジェクト指定情報を含むリクエスト情報をサーバ1へ送信する。サーバ1は、リクエスト情報に含まれるオブジェクト指定情報に合致するオブジェクト情報のみをダウンロード車両2bへ送信する。
[Modification 3]
In the above object designation, the download vehicle 2b extracts and highlights an object that matches the designation from the object information received from the
[変形例4]
上記のダウンロード処理においては、リクエスト情報中にリクエスト車両2bの現在位置及び進行方向が含まれる。これに加えて、ダウンロード車両2bが経路案内中である場合には、図8(d)に示すように、リクエスト情報中に案内経路を示す案内経路情報を含めてサーバ1へ送信することとしてもよい。この場合、サーバ1は、リクエスト情報に含まれる案内経路情報によりダウンロード車両2bのその後の走行ルートがわかるので、その走行ルートに沿って存在するオブジェクトを抽出してダウンロード車両2bへ送信することができる。よって、ダウンロード車両2bは、案内経路に沿った有益なオブジェクト情報を取得することが可能となる。
[Modification 4]
In the above download process, the current position and the traveling direction of the request vehicle 2b are included in the request information. In addition to this, when the download vehicle 2b is in route guidance, as shown in FIG. 8 (d), the request information including guidance route information indicating the guidance route may be transmitted to the
本発明は、撮影画像に含まれるオブジェクトに関する情報を撮影画像と合成して表示することにより利用者に情報を提供する車載用ナビゲーション装置や端末装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an in-vehicle navigation device or a terminal device that provides information to a user by combining and displaying information about an object included in a captured image with the captured image.
Claims (9)
地図情報が記憶された記憶手段から当該地図情報を取得する地図情報取得手段と、
取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に表示する表示手段と、を備えることを特徴とする情報表示装置。 Real image acquisition means for acquiring a real image of the moving direction of the moving body imaged by the imaging means;
Map information acquisition means for acquiring the map information from the storage means in which the map information is stored;
An information display device comprising: a display unit configured to display an object included in the map information and an object not included in the actual image in a distinguishable manner based on the acquired real image and map information. .
ネットワークを介して、前記現在位置周辺に位置し、前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、を備え、
前記表示手段は、前記オブジェクト情報取得手段によって取得されたオブジェクト情報に該当するオブジェクトを前記実画像にて強調表示することを特徴とする請求項1に記載の情報表示装置。 Current position acquisition means for acquiring information indicating the current position of the mobile body;
Object information acquisition means for acquiring object information related to an object that is located around the current position and is not included in the map information via a network,
The information display apparatus according to claim 1, wherein the display unit highlights an object corresponding to the object information acquired by the object information acquisition unit in the real image.
前記オブジェクト情報は、前記移動体又は前記移動体とは異なる他の移動体が取得した実画像を解析することにより生成されることを特徴とする請求項2に記載の情報表示装置。 The information display device is mounted on a moving body,
The information display apparatus according to claim 2, wherein the object information is generated by analyzing a real image acquired by the moving body or another moving body different from the moving body.
前記表示手段は、前記取得されたオブジェクト情報に該当するオブジェクトのうち、前記入力手段により入力された特徴に該当するオブジェクトを強調して表示することを特徴とする請求項2又は3に記載の情報表示装置。 An input means for inputting the characteristics of the object;
4. The information according to claim 2, wherein the display unit highlights and displays an object corresponding to the feature input by the input unit among objects corresponding to the acquired object information. Display device.
前記オブジェクト情報を記憶する記憶部を有するサーバ装置に、前記現在位置を含むリクエスト情報を送信するリクエスト送信手段と、
前記記憶部に記憶されたオブジェクト情報のうち、前記リクエスト情報に基づいて前記サーバ装置により特定されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする請求項2乃至4のいずれか一項に記載の情報表示装置。 The object information acquisition means
Request transmission means for transmitting request information including the current position to a server device having a storage unit for storing the object information;
5. The device according to claim 2, further comprising: means for acquiring, from the server device, object information specified by the server device based on the request information among the object information stored in the storage unit. The information display device according to any one of the above.
前記オブジェクト情報取得手段は、
移動体を特定する移動体特定情報を前記サーバ装置へ送信する移動体特定情報送信手段と、
前記記憶部に記憶されたオブジェクト情報のうち、前記移動体特定情報により特定される移動体により生成されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする請求項5に記載の情報表示装置。 The information display device is mounted on a moving body,
The object information acquisition means
Mobile body specifying information transmitting means for transmitting mobile body specifying information for specifying a mobile body to the server device;
The object information generated by the mobile body specified by the mobile body specifying information among the object information stored in the storage unit is provided from the server device. The information display device described.
撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、
前記記憶手段から地図情報を取得する地図情報取得工程と、
取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に前記表示手段に表示する表示工程と、を有することを特徴とする情報表示方法。 An information display method executed by an information display device comprising storage means for storing map information, photographing means, and display means,
An actual image acquisition step of acquiring an actual image of the moving direction of the moving object imaged by the imaging means;
A map information acquisition step of acquiring map information from the storage means;
A display step of displaying an object included in the map information and an object not included in the actual image on the display means so as to be distinguishable in the actual image based on the acquired real image and map information. How to display information.
撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、
前記記憶手段から地図情報を取得する地図情報取得工程と、
取得された実画像と地図情報とに基づいて、当該地図情報に含まれるオブジェクトと含まれないオブジェクトとを前記実画像において区別可能に前記表示手段に表示する表示工程と、を前記情報表示装置に実行させることを特徴とする情報表示プログラム。 An information display program executed by an information display device comprising storage means for storing map information, photographing means, and display means,
An actual image acquisition step of acquiring an actual image of the moving direction of the moving object imaged by the imaging means;
A map information acquisition step of acquiring map information from the storage means;
Based on the acquired real image and map information, a display step for displaying on the display means an object included in the map information and an object not included in the real image so as to be distinguishable in the real image. An information display program characterized by being executed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262040A JP5520279B2 (en) | 2011-11-30 | 2011-11-30 | Information display device and information acquisition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262040A JP5520279B2 (en) | 2011-11-30 | 2011-11-30 | Information display device and information acquisition device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011546352A Division JP4945703B1 (en) | 2010-11-10 | 2010-11-10 | Information display device and information acquisition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012103258A true JP2012103258A (en) | 2012-05-31 |
JP5520279B2 JP5520279B2 (en) | 2014-06-11 |
Family
ID=46393791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011262040A Active JP5520279B2 (en) | 2011-11-30 | 2011-11-30 | Information display device and information acquisition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5520279B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014074627A (en) * | 2012-10-03 | 2014-04-24 | Denso Corp | Navigation system for vehicle |
JP2020091760A (en) * | 2018-12-07 | 2020-06-11 | 株式会社メルカリ | Information processing program, information processing method, and information processing device |
JP7302389B2 (en) | 2019-09-02 | 2023-07-04 | 株式会社アイシン | Superimposed image display device and computer program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316886A (en) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | Weather information delivery system, server device therefor, and weather information delivery control program used in the server device |
JP2006038558A (en) * | 2004-07-26 | 2006-02-09 | Denso Corp | Car navigation system |
JP2010067275A (en) * | 1998-10-19 | 2010-03-25 | Sony Corp | Information processing terminal, information processing system, and information processing method |
-
2011
- 2011-11-30 JP JP2011262040A patent/JP5520279B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010067275A (en) * | 1998-10-19 | 2010-03-25 | Sony Corp | Information processing terminal, information processing system, and information processing method |
JP2005316886A (en) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | Weather information delivery system, server device therefor, and weather information delivery control program used in the server device |
JP2006038558A (en) * | 2004-07-26 | 2006-02-09 | Denso Corp | Car navigation system |
Non-Patent Citations (1)
Title |
---|
JPN6011065618; NARZT W., et al.: 'Pervasive Information Acquisition for Mobile AR-Navigation Systems' Mobile Computing Systems and Applications, 2003. Proceedings. Fifth IEEE Workshop on , 2003, IEEE * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014074627A (en) * | 2012-10-03 | 2014-04-24 | Denso Corp | Navigation system for vehicle |
JP2020091760A (en) * | 2018-12-07 | 2020-06-11 | 株式会社メルカリ | Information processing program, information processing method, and information processing device |
JP7232030B2 (en) | 2018-12-07 | 2023-03-02 | 株式会社メルカリ | Information processing program, information processing method, and information processing apparatus |
JP7302389B2 (en) | 2019-09-02 | 2023-07-04 | 株式会社アイシン | Superimposed image display device and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5520279B2 (en) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558957B (en) | Selecting a vehicle loading position | |
JP5921320B2 (en) | Display system, portable device, in-vehicle device, and program | |
JP5901779B2 (en) | How to move data from image database map service into assist system | |
CN103335657B (en) | A kind of method and system based on image capture and recognition technology example of enhanced navigational functionality | |
JP4909451B1 (en) | Information display apparatus and control method | |
JP6025433B2 (en) | Portable navigation device | |
CN107015246B (en) | Navigation assistance method and terminal based on scene sharing | |
JP2017515101A (en) | Apparatus and method for providing information data relating to vehicle periphery objects of a vehicle contained in a video image stream | |
KR20110032765A (en) | Apparatus and method for providing service using a sensor and image recognition in portable terminal | |
EP2820379A1 (en) | Visual ocr for positioning | |
JP2011247831A (en) | In-vehicle display device, display method and information display system | |
KR20100124947A (en) | Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology | |
CN105030491B (en) | A kind of blind-guiding method and blind guiding system | |
CN106525065A (en) | Electronic map navigation method and device | |
US20130317735A1 (en) | Method and apparatus for associating panoramic images with routing information | |
JP2016053880A (en) | On-vehicle system, information processing method, and computer program | |
JP5520279B2 (en) | Information display device and information acquisition device | |
JP4945703B1 (en) | Information display device and information acquisition device | |
JP2016045678A (en) | Price display system, price determination apparatus, display device, price determination method, and price determination program | |
JP2013225275A (en) | Three-dimensional image display system | |
CN106462628B (en) | System and method for automatically pushing location-specific content to a user | |
JP2013036930A (en) | Navigation device and navigation system comprising the same | |
JP4800252B2 (en) | In-vehicle device and traffic information presentation method | |
JP2014089605A (en) | Image file classification system | |
JP2017096635A (en) | Destination setting system, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5520279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |