JP2011079338A - ナビゲーション装置 - Google Patents
ナビゲーション装置 Download PDFInfo
- Publication number
- JP2011079338A JP2011079338A JP2008021184A JP2008021184A JP2011079338A JP 2011079338 A JP2011079338 A JP 2011079338A JP 2008021184 A JP2008021184 A JP 2008021184A JP 2008021184 A JP2008021184 A JP 2008021184A JP 2011079338 A JP2011079338 A JP 2011079338A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- processing unit
- range
- enlargement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
- G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Mathematical Physics (AREA)
- Educational Technology (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ecology (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
【課題】画面の多くのエリアにユーザにとって有用な情報を表示できるナビゲーション装置を提供する。
【解決手段】前方を撮影するカメラ7と、カメラで撮影された前方の映像を取得する映像取得部8と、映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部16と、拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部14と、映像合成処理部で合成された映像を表示する表示部10を備えている。
【選択図】図1
【解決手段】前方を撮影するカメラ7と、カメラで撮影された前方の映像を取得する映像取得部8と、映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部16と、拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部14と、映像合成処理部で合成された映像を表示する表示部10を備えている。
【選択図】図1
Description
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像を用いて案内する技術に関する。
従来、ナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、実写映像を用いた交差点での経路誘導に関して、誘導する道路に沿って矢印を表示する技術が開示されている。
ところで、運転者に提示する映像の中で、運転行動を行うために有用な部分は画面の一部だけであることが多い。例えば、交差点の経路誘導を行う場合は、交差点の周囲の映像は有用であるが、上空の映像は不要である。しかしながら、上述した特許文献1および特許文献2に開示された技術では、撮影した映像を単純に提示しているので、不要な情報が多いという問題があった。
このような問題に対処するために、特許文献3は、車載カメラによるモニタ画面に対する運転者の注目を、常に車両進行方向に向けさせ、それ以外の撮像画像に対する注目度を低下させる車両周辺監視装置を開示している。この車両周辺監視装置は、車両の車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、撮像画像の一部を鮮鋭化するAエリアと、撮像画像の残りの部分を非鮮鋭化するBエリアとに分けてモニタ画面に表示する。この構成により、モニタ画面を見る運転者は、Aエリアの表示画像に注視し、Bエリアへの注目度は低下する。
しかしながら、特許文献3に開示された技術では、表示される映像の大きさは変わらないので、ユーザにとって有用な情報が少ないエリアが画面の大半を占めるという問題がある。
この発明は、上述した問題を解消するためになされたものであり、その課題は、画面の多くのエリアにユーザにとって有用な情報を表示できるナビゲーション装置を提供することにある。
この発明に係るナビゲーション装置は、上記課題を解決するために、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部と、拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、映像合成処理部で合成された映像を表示する表示部を備えている。
この発明に係るナビゲーション装置によれば、カメラで撮影することにより得られた映像の一部を切り取って拡大または縮小して画面に表示するように構成したので、ユーザにとって有用な情報を、画面の多くのエリアに表示できる。
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置の構成を示すブロック図である。なお、以下では、ナビゲーション装置の一例として、車両に搭載されるカーナビゲーション装置を例に挙げて説明する。ナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置の構成を示すブロック図である。なお、以下では、ナビゲーション装置の一例として、車両に搭載されるカーナビゲーション装置を例に挙げて説明する。ナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から読み出した地図データから取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍のレーン情報といった道路データの他、道路周辺の施設のデータなどを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現され、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、ナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。
また、ナビゲーション制御部9は、地図データベース5から読み出した地図データに基づき生成した地図、映像取得部8から取得した映像データによって示される映像または自己の内部の映像合成処理部14(詳細は後述する)で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における種々の処理によって生成された表示データは、表示部10に送られる。
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14、表示決定部15および拡大縮小処理部16を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお、地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から読み出した地図データから、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物(この発明の「案内対象物」に対応する)の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像を拡大縮小処理部16(詳細は後述する)で伸縮した後の実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせたコンテンツ合成映像を生成する。この映像合成処理部14によって生成されたコンテンツ合成映像は、実写案内図データとして表示決定部15に送られる。
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、および、入力操作部6から送られてくる操作データに基づき表示部10の画面に表示する内容を決定する。案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータ、つまり、案内表示生成部13から送られてくる地図案内図データまたは映像合成処理部14から送られてくる実写案内図データは、表示データとして表示部10に送られる。
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
拡大縮小処理部16は、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の一部を切り取って拡大または縮小する。この拡大縮小処理部16で拡大または縮小された映像を表す映像データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態1に係るナビゲーション装置の動作を説明する。このナビゲーション装置では、自車の移動に応じて、自車周辺の地図に自車位置を示す図形(自車マーク)を組み合わせた地図案内図としての自車周辺地図と、実写案内図としてのコンテンツ合成映像とを生成し、これらを表示部10に表示する。地図案内図としての自車周辺地図を生成する処理は周知であるので説明を省略し、以下では、実写案内図としてのコンテンツ合成映像を生成する処理を、図2に示すフローチャートを参照しながら説明する。このコンテンツ合成映像作成処理は、主として映像合成処理部14で実行される。
コンテンツ合成映像作成処理では、まず、自車位置方位および映像が取得される(ステップST11)。すなわち、映像合成処理部14は、位置方位計測部4から自車位置方位データを取得するとともに、その時点で映像取得部8において生成された映像データを該映像取得部8から取得する。
次いで、コンテンツ生成が行われる(ステップST12)。すなわち、映像合成処理部14は、地図データベース5から読み出した地図データから自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報には、例えば、ユーザに右左折を指示して目的地へ誘導したい場合には、交差点の名称文字列、交差点の座標、経路誘導矢印の座標などが含まれる。また、自車周辺の有名なランドマークを案内したい場合には、そのランドマークの名称文字列、ランドマークの座標、ランドマークに関する歴史または見所、営業時間などといったランドマークに関する情報の文字列または写真などが含まれる。なお、コンテンツ情報は、上述した以外に、自車周辺の道路ネットワークの個々の座標と各道路の一方通行または進入禁止などといった交通規制情報、車線数などの情報といった地図情報そのものであってもよい。このステップST12で行われるコンテンツ生成処理については、後に、さらに詳細に説明する。
なお、コンテンツ情報の座標値は、例えば、緯度および経度のように、地上で一意に決定される座標系(以下、「基準座標系」という)で与えられる。このステップST12の処理によって、ユーザに提示したいコンテンツと、その総数aが確定する。
次いで、コンテンツ総数aが取得される(ステップST13)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツの総数aを取得する。次いで、カウンタの内容iが初期化される(ステップST14)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iが、ステップST13で取得したコンテンツ総数a以上になったかどうかを調べる。このステップST15において、全てのコンテンツ情報の合成処理が終了していない、つまり合成済みコンテンツ数iがコンテンツ総数a未満であることが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST17)。すなわち、映像合成処理部14は、ステップST11で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST16で取得したコンテンツ情報を表示すべき基準座標系における映像上の位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
次いで、映像合成処理が行われる(ステップST18)。すなわち、映像合成処理部14は、ステップST11で取得した映像上の、ステップST17で計算された位置に、ステップST16で取得したコンテンツ情報によって示される図形、文字列またはイメージなどといったコンテンツを合成する。
次いで、カウンタの内容iがインクリメントされる(ステップST19)。すなわち、映像合成処理部14は、カウンタの内容をインクリメント(+1)する。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
上記ステップST15において、全てのコンテンツ情報の合成処理が終了した、つまり合成済みコンテンツ数iがコンテンツ総数a以上になったことが判断されると、次いで、伸縮処理が実行される(ステップST20)。このステップST20で行われる伸縮処理の詳細は、後述する。その後、コンテンツ合成映像作成処理は終了する。
なお、上述したコンテンツ合成映像作成処理では、映像合成処理部14は、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した対象の上にコンテンツを合成するように構成することもできる。
また、コンテンツ合成映像作成処理では、先にコンテンツ情報を映像上に重畳し、その後、伸縮処理するように構成したが、先に伸縮処理を実行し、その後、伸縮処理が実行された映像上にコンテンツ情報を重畳するように構成することもできる。
次に、上述したコンテンツ合成映像作成処理(図2参照)のステップST12で行われるコンテンツ生成処理の詳細を、図3に示すフローチャートを参照しながら説明する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、ナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、収集するコンテンツの種類が決定される(ステップST22)。収集するコンテンツの種類は、例えば図4に示すように、案内する状況に応じて変化する。映像合成処理部14は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、ナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、コンテンツの収集が行われる(ステップST23)。すなわち、映像合成処理部14は、ステップST21で決定した範囲内に存在するコンテンツであって、ステップST22で決定した種類のコンテンツを、地図データベース5または他の処理部などから収集する。その後、シーケンスは、コンテンツ合成映像作成処理にリターンする。
次に、上述したコンテンツ合成映像作成処理(図2参照)のステップST20で行われる伸縮処理の詳細を、図5に示すフローチャートおよび図6に示す説明図を参照しながら説明する。
伸縮処理では、まず、案内対象物の画像上の情報が計算される(ステップST31)。すなわち、拡大縮小処理部16は、映像取得部8から映像合成処理部14を介して送られてくる映像データによって示される映像(以下、「元画像」という)上に存在する案内対象物(ランドマークまたは交差点など)の画像の幅width[pixel]、高さheight[pixel]および中心点(center_x,center_y)[pixel]を決定する。具体的には、拡大縮小処理部16は、図6(a)に示すような元画像に対して画像認識を行い、図6(b)に示すような元画像内に存在する案内対象物の範囲を計算し、その範囲の最大幅をwidth、最大高さをheight、最大幅を持つ水平位置と最大高さが交わる点を中心点(center_X,center_y)とする。ここで、画像認識は、元画像のエッジを抽出して地図データベース6から得られる自車の周囲の地図データと比較するなどの方法により行うことができる。なお、画像認識は、上述した方法に限らず、他の方法を用いて行うこともできる。
次いで、元画像の範囲が設定される(ステップST32)。すなわち、拡大縮小処理部16は、図6(c)に太線で示すように、拡大縮小処理の対象とする元画像の範囲を決定する。この範囲は、例えば以下の条件を満たす範囲とすることができる。
center_x−width/2<x座標<center_x+width/2
center_y−height/2<y座標<center_y+height/2
center_x−width/2<x座標<center_x+width/2
center_y−height/2<y座標<center_y+height/2
なお、上述した範囲に加えて、周囲の10[pixel]も範囲とするといったように、ナビゲーション装置の製造者またはユーザが任意に範囲の大きさを制御するように構成することもできる。また、映像合成処理部14で重畳したコンテンツが範囲内に含まれるように範囲を拡大するといった処理を行うように構成することもできる。
次いで、倍率が決定される(ステップST33)。すなわち、拡大縮小処理部16は、拡大縮小処理を行う際の倍率を決定する。この倍率は、例えば縦2倍・横2倍といったように、ナビゲーション装置の製造者またはユーザが任意に定めるように構成できる。また、拡大後の画像が表示部10の画面全体の大きさになるように倍率を定めることもできる。なお、倍率は、縦横等倍でなくてもよいし、上半分は縦1.1倍、下半分は縦1.2倍といったように一部の倍率を変化させるように構成することもできる。
次いで、拡大縮小処理が行われる(ステップST34)。すなわち、拡大縮小処理部16は、ステップST32で決定した範囲と、ステップST33で決定した倍率を用いて、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の拡大縮小処理を行う。この拡大縮小処理部16で拡大または縮小された画像を表す映像データは、映像合成処理部14に送られる。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。これにより、図6(d)に示すように、ステップST32で決定された範囲が拡大されて表示部10の画面に表示される。
なお、上述した伸縮処理のステップST31では、画像認識を行って案内対象物の画像上の幅、高さおよび中心点を決定するように構成したが、位置方位計測部4から送られてくる自車位置方位データと地図データベース6から取得した自車の周辺の地図データとを用いて、透視変換と呼ばれる座標変換を行うことにより案内対象物の画像上の幅、高さおよび中心点を計算するように構成することもできる。また、画像認識と透視変換とを組み合わせて使用して案内対象物の画像上の幅、高さおよび中心点を決定するように構成することもできる。
さらに、上述した伸縮処理のステップST31およびステップST32の処理では、案内対象物の画像上の幅、高さおよび中心点を用いて拡大縮小処理の対象とする元画像の範囲を定めるように構成したが、案内対象物の画像上の幅、高さおよび中心点を用いず、例えば元画像の中心を中心とする一辺が100[pixel]の正方形といったように、カーナビゲーション装置の製造者またはユーザが任意に定めた範囲を拡大縮小処理の対象とする元画像の範囲とするように構成することもできる。
以上説明したように、この発明の実施の形態1に係るナビゲーション装置によれば、余計な情報の少ない、換言すれば、ユーザにとって有用な情報を、画面の多くのエリアに表示してユーザに提示することができる。例えば、案内するランドマークが画面に小さく写っている場合、ランドマークの周囲のみが拡大して表示されるので、ランドマーク以外の情報を抑制し、ユーザにとって有用なランドマークを画面の多くのエリアを使用して表示できる。
実施の形態2.
この発明の実施の形態2に係るナビゲーション装置の構成は、拡大縮小処理部16の機能を除き、図1に示した実施の形態1に係るナビゲーション装置の構成と同じである。拡大縮小処理部16は、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を修正して拡大または縮小する。
この発明の実施の形態2に係るナビゲーション装置の構成は、拡大縮小処理部16の機能を除き、図1に示した実施の形態1に係るナビゲーション装置の構成と同じである。拡大縮小処理部16は、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を修正して拡大または縮小する。
次に、上記のように構成される、この発明の実施の形態2に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理(図5参照)を除き、実施の形態1に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図7および図8に示すフローチャートおよび図9に示す説明図を参照しながら説明する。なお、実施の形態1に係るナビゲーション装置の伸縮処理(図5参照)と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
伸縮処理では、まず、案内対象物の画像上の情報が計算される(ステップST31)。次いで、元画像の範囲が設定される(ステップST32)。このステップST32の処理により、例えば、図9(a)に太枠で示すように、拡大縮小処理を行う元画像の範囲が決定される。
次いで、元画像の範囲が修正される(ステップST41)。すなわち、拡大縮小処理部16は、案内対象物が好適な範囲内に存在するように、ステップST32で設定した元画像の範囲を修正する。このステップST41で実行される元画像の範囲を修正する処理の詳細を、8に示すフローチャートを参照しながら説明する。
元画像の範囲を修正する処理では、まず、案内対象物の範囲が取得される(ステップST51)。すなわち、拡大縮小処理部16は、伸縮処理のステップST31と同様の処理にて、元画像に対して画像認識を行い、元画像内に存在する案内対象物の範囲を計算し、その範囲の最大幅、最大高さおよび最大幅を持つ水平位置と最大高さが交わる中心点を求める。ここで、画像認識は、元画像のエッジを抽出して地図データベース6から得られる自車の周囲の地図データと比較するなどの方法により行うこともできる。なお、画像認識は、上述した方法に限らず、他の方法を用いて行うこともできる。
次いで、案内対象物を表示する範囲が決定される(ステップST52)。すなわち、拡大縮小処理部16は、案内対象物を表示する範囲を決定する。この範囲は、ナビゲーション装置の製造者またはユーザがあらかじめ定めておくように構成することができる。案内対象物を表示する範囲は、例えば、左端または上端といった点または線で指定するように構成できるし、画像内の矩形などといった範囲で指定するように構成することもできる。
次いで、元画像の範囲が修正される(ステップST53)。すなわち、拡大縮小処理部16は、ステップST51で取得した案内対象物の範囲が、ステップST52で決定した範囲内になるように元画像の範囲を修正する。この修正は、例えば、以下の方法で行うことができる。
(1)案内対象物の中心点が指定された位置または範囲に納まるように、図9(a)に示すような元画像の範囲を、図9(b)に示すように移動させる。なお、図9(b)に示す例では、元画像の範囲を左側に移動させた例を示している。
(2)案内対象物の中心点が指定された位置または範囲に納まるように、図9(a)に示すような元画像の範囲を、図9(c)に示すように拡大し、または、図9(d)に示すように縮小する。
(3)上記(1)と(2)を組み合わせる。
(1)案内対象物の中心点が指定された位置または範囲に納まるように、図9(a)に示すような元画像の範囲を、図9(b)に示すように移動させる。なお、図9(b)に示す例では、元画像の範囲を左側に移動させた例を示している。
(2)案内対象物の中心点が指定された位置または範囲に納まるように、図9(a)に示すような元画像の範囲を、図9(c)に示すように拡大し、または、図9(d)に示すように縮小する。
(3)上記(1)と(2)を組み合わせる。
この元画像の範囲を修正する処理が終了すると、シーケンスは、伸縮処理にリターンする。伸縮処理では、次いで、倍率が決定される(ステップST33)。次いで、拡大縮小処理が行われる(ステップST34)。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。これにより、ステップST32において、図9(a)に示すように決定された範囲が、ステップST41において、図9(b)、図9(c)または図9(d)に示すように修正されて表示部10の画面に表示される。
以上説明したように、この発明の実施の形態2に係るナビゲーション装置によれば、案内対象物が所望の範囲内に存在するように、移動、拡大または縮小する元画像の範囲を変化させるように構成したので、案内対象物が常に一定の場所に存在する映像をユーザに提示することができ、案内が見やすくなる。
実施の形態3.
図10は、この発明の実施の形態3に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態1に係るナビゲーション装置のナビゲーション制御部9に案内対象物距離計算部17が追加されるとともに、拡大縮小処理部16が拡大縮小処理部16aに変更されて構成されている。
図10は、この発明の実施の形態3に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態1に係るナビゲーション装置のナビゲーション制御部9に案内対象物距離計算部17が追加されるとともに、拡大縮小処理部16が拡大縮小処理部16aに変更されて構成されている。
案内対象物距離計算部17は、位置方位計測部4から送られてくる自車位置方位データと、地図データベース5から取得した地図データを用いて、自車と案内対象物まで距離を計算する。この案内対象物距離計算部17で計算される距離は、自車から案内対象物まで直線距離、または、自車から案内対象物までの経路の距離のいずれであってもよい。この案内対象物距離計算部17で計算された距離は、拡大縮小処理部16aに送られる。
拡大縮小処理部16aは、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を、案内対象物距離計算部17から送られてくる距離に応じて変更して拡大または縮小する。この拡大縮小処理部16aで拡大または縮小された映像を表す映像データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態3に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理(図5参照)を除き、実施の形態1に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図11に示すフローチャートおよび図12に示す説明図を参照しながら説明する。なお、図5のフローチャートに示した実施の形態1に係るナビゲーション装置の伸縮処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
伸縮処理では、まず、案内対象物の画像上の情報が計算される(ステップST31)。次いで、案内対象物までの距離が計算される(ステップST61)。すなわち、案内対象物距離計算部17は、位置方位計測部4から送られてくる自車位置方位データと、地図データベース5から取得した地図データを用いて、自車と案内対象物まで距離を計算し、拡大縮小処理部16aに送る。
次いで、元画像の範囲が設定される(ステップST62)。すなわち、拡大縮小処理部16aは、実施の形態1に係る伸縮処理(図5参照)のステップST32と同様の処理により、拡大縮小処理を行う元画像の範囲を決定し、その後、案内対象物距離計算部17から送られてくる、自車から案内対象物までの距離d[m]に応じて元画像の範囲を変更する。
例えば、拡大縮小処理部16aは、映像合成処理部14から送られてくる拡大縮小処理を行う元画像の範囲を、以下の倍率で拡大する。
d≦150の場合 倍率=(200−d)[%]
d>150の場合 倍率=50[%]
d≦150の場合 倍率=(200−d)[%]
d>150の場合 倍率=50[%]
次いで、倍率が決定される(ステップST33)。次いで、拡大縮小処理が行われる(ステップST34)。すなわち、拡大縮小処理部16aは、ステップST62で決定した範囲と、ステップST33で決定した倍率を用いて、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の拡大縮小処理を行う。この拡大縮小処理部16aで拡大または縮小された画像を表す画像データは、映像合成処理部14に送られる。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。
これにより、図12(a)に示すような元画像に対し、自車から案内対象物までの距離が大きい場合は、図12(b)に示すように、拡大縮小処理の対象とする元画像の範囲が決定され、自車から案内対象物までの距離が小さい場合(案内対象物に近い場合)は、図12(c)に示すように、拡大縮小処理の対象とする元画像の範囲が決定されて元画像の一部(案内対象物が含まれる部分)が拡大されて表示部10の画面に表示される。
以上説明したように、この発明の実施の形態3に係るナビゲーション装置によれば、案内対象物までの距離に応じて、拡大または縮小する元画像の範囲を変化させるように構成したので、自車位置から案内対象物までの距離に応じて、不要な情報を抑制する方法を変えることができる。例えば、案内対象物が交差点であるときに、交差点に近づいたときには横長な範囲を拡大するといった表示が可能になる。
実施の形態4.
図13は、この発明の実施の形態4に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態1に係るナビゲーション装置のナビゲーション制御部9に走行状況判断部18が追加されるとともに、拡大縮小処理部16が拡大縮小処理部16bに変更されて構成されている。
図13は、この発明の実施の形態4に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態1に係るナビゲーション装置のナビゲーション制御部9に走行状況判断部18が追加されるとともに、拡大縮小処理部16が拡大縮小処理部16bに変更されて構成されている。
走行状況判断部18は、自車の走行状況を判断する。走行状況には、(1)誘導経路に沿って行われる右左折の方向などといった案内に関係するもの、(2)道路を走行する側(日本では左側通行、アメリカでは右側通行など)または車線数などといった道路の状況に関するもの、(3)自車が走行しているレーンなどといったリアルタイムに変化する状況に関するものが含まれる。
拡大縮小処理部16bは、映像取得部8から映像合成処理部14を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を、走行状況判断部18から送られてくる走行状況に応じて決定し、あるいは、走行状況に応じて変更して拡大または縮小する。この拡大縮小処理部16bで切り取られ、あるいは、拡大または縮小された映像を表す映像データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態4に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理(図5参照)を除き、実施の形態1に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図14に示すフローチャート、図15および図16に示す説明図を参照しながら説明する。なお、実施の形態1に係るナビゲーション装置の伸縮処理(図5参照)と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
伸縮処理では、まず、走行状況が取得される(ステップST71)。すなわち、拡大縮小処理部16bは、走行状況判断部18から走行状況を取得する。
次いで、元画像の範囲が修正される(ステップST72)。すなわち、拡大縮小処理部16bは、ステップST71で取得した走行状況を元に元画像の範囲を切り出す。この場合、切り出した元画像の範囲を、さらに拡大または縮小するように修正することもできる。修正は、例えば、図15に示すような、走行状況と元画像の修正方法を対応付けた表を用いて行うことができる。図15において、画面上のx[m]分とは、図2に示すフローチャートのステップST17の透視変換といった方法を用いて計算された左右方向のX[m]のことを意味する。
次いで、倍率が決定される(ステップST33)。次いで、拡大縮小処理が行われる(ステップST34)。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。
走行状況を元に元画像の範囲を修正することにより、図16に示すような、拡大または縮小する範囲を道路に応じて設定することができる。例えば、修正前の元画像の範囲が元画像の中心を切り出す範囲であった場合を考える。ナビゲーション装置の地図データベース5に格納されている道路データは、道路の中心線と幅で構成されていることが多いため、単純に元画像の中心を切り出した場合は、図16の(a)に示すように左に偏った、右端の道路が見えない画像をユーザに提示することになる。この場合、走行する側が判明していれば、固定幅だけ範囲をずらすことにより、図16の(b)に示すように多少は道路の中心に近い画像を切り出すことができる。さらに、車線数を考慮することにより、図16の(c)に示すように、より道路の中心に近い画像を切り出すことができる。さらに、走行レーンを考慮することにより、図16の(d)のように、さらに道路の中心に近い画像を切り出すことができる。
以上説明したように、この発明の実施の形態4に係るナビゲーション装置によれば、切り出しまたは拡大縮小処理の対象とする元画像の範囲を、運転状況(曲がろうとしている方向、走行する側(日本では左側、アメリカでは右側)など)に合わせて変化させることができるので、ユーザに提示する映像の範囲を、道路に応じて決定できる。また、切り出し、拡大または縮小する元画像の範囲を、自車が走行しているレーンに応じて変化させることができるので、ユーザに提示する映像の範囲を、道路に応じて決定できる。
なお、上述した実施の形態1〜実施の形態4においては、この発明のナビゲーション装置の一例として車両に適用されるカーナビゲーション装置を例に挙げて説明したが、この発明に係るナビゲーション装置は、カーナビゲーション装置に限らず、カメラを備えた携帯電話器、飛行機などの移動体などにも適用することができる。
1 GPSレシーバ、2 車速センサ、3 方位センサ、4 位置方位計測部、5 地図データベース、6 入力操作部、7 カメラ、8 映像取得部、9 ナビゲーション制御部、10 表示部、11 目的地設定部、12 経路計算部、13 案内表示生成部、14、 映像合成処理部、15 表示決定部、16、16a、16b 拡大縮小処理部、17 案内対象物距離計算部、18 走行状況判断部。
Claims (5)
- 前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
前記映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部と、
前記拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、
前記映像合成処理部で合成された映像を表示する表示部
とを備えたナビゲーション装置。 - 拡大縮小処理部は、案内対象物が所定の範囲内に存在するように、映像取得部で取得された映像の一部を切り取る範囲を修正して拡大または縮小する
ことを特徴とする請求項1記載のナビゲーション装置。 - 地図データを保持する地図データベースと、
現在位置を計測する位置方位計測部と、
前記位置方位計測部で計測された現在位置から案内対象物までの距離を前記地図データベースから読み出した地図データに基づき計算する案内対象物距離計算部とを備え、
拡大縮小処理部は、前記案内対象物距離計算部で計算された距離に応じて、映像取得部で取得された映像の一部を切り取る範囲を変更して拡大または縮小する
ことを特徴とする請求項1記載のナビゲーション装置。 - 前方を撮影するカメラと、
前記カメラで撮影された前方の映像を取得する映像取得部と、
自己の走行状況を判断する走行状況判断部と、
前記映像取得部で取得された映像のうちの前記走行状況判断部で判断された走行状況に応じた範囲の映像を切り出し、該切り出した映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、
前記映像合成処理部で合成された映像を表示する表示部
とを備えたナビゲーション装置。 - 前記走行状況判断部で判断される走行状況は、運転状況または走行しているレーンを含む
ことを特徴とする請求項4記載のナビゲーション装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021184A JP2011079338A (ja) | 2008-01-31 | 2008-01-31 | ナビゲーション装置 |
PCT/JP2008/003361 WO2009095966A1 (ja) | 2008-01-31 | 2008-11-18 | ナビゲーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021184A JP2011079338A (ja) | 2008-01-31 | 2008-01-31 | ナビゲーション装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011079338A true JP2011079338A (ja) | 2011-04-21 |
Family
ID=40912337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008021184A Pending JP2011079338A (ja) | 2008-01-31 | 2008-01-31 | ナビゲーション装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011079338A (ja) |
WO (1) | WO2009095966A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103502055A (zh) * | 2011-11-08 | 2014-01-08 | 松下电器产业株式会社 | 信息显示处理装置 |
WO2022176267A1 (ja) * | 2021-02-18 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 表示制御装置および表示制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1183510A (ja) * | 1997-09-08 | 1999-03-26 | Nissan Motor Co Ltd | 画像再生装置 |
JP2000338864A (ja) * | 1999-05-31 | 2000-12-08 | Fujitsu Ten Ltd | ナビゲーション装置 |
JP2007094045A (ja) * | 2005-09-29 | 2007-04-12 | Matsushita Electric Ind Co Ltd | ナビゲーション装置、ナビゲート方法および車両 |
-
2008
- 2008-01-31 JP JP2008021184A patent/JP2011079338A/ja active Pending
- 2008-11-18 WO PCT/JP2008/003361 patent/WO2009095966A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103502055A (zh) * | 2011-11-08 | 2014-01-08 | 松下电器产业株式会社 | 信息显示处理装置 |
CN103502055B (zh) * | 2011-11-08 | 2016-04-13 | 松下知识产权经营株式会社 | 信息显示处理装置 |
WO2022176267A1 (ja) * | 2021-02-18 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 表示制御装置および表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2009095966A1 (ja) | 2009-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4959812B2 (ja) | ナビゲーション装置 | |
WO2009084135A1 (ja) | ナビゲーション装置 | |
JP4293917B2 (ja) | ナビゲーション装置及び交差点案内方法 | |
JP4741023B2 (ja) | ナビゲーション装置 | |
JP4731627B2 (ja) | ナビゲーション装置 | |
JP4921462B2 (ja) | カメラ情報を有するナビゲーションデバイス | |
JP4895313B2 (ja) | ナビゲーション装置およびその方法 | |
WO2009084126A1 (ja) | ナビゲーション装置 | |
WO2009084129A1 (ja) | ナビゲーション装置 | |
JP3266236B2 (ja) | 車載用ナビゲーション装置 | |
JP2009020089A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
JPWO2008044309A1 (ja) | ナビゲーションシステム、携帯端末装置および経路案内方法 | |
JP2008309529A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
JP2008058240A (ja) | ナビゲーション装置および交差点拡大図の描画方法 | |
JP2008128827A (ja) | ナビゲーション装置およびナビゲーション方法ならびにそのプログラム | |
JP4339178B2 (ja) | 駐車場空きスペース案内装置及び駐車場空きスペース案内方法 | |
US9086293B2 (en) | Navigation device and control method for displaying detour | |
JPWO2006109527A1 (ja) | ナビゲーション装置およびナビゲーション方法 | |
JP2008145364A (ja) | 経路案内装置 | |
JP2007206014A (ja) | ナビゲーション装置 | |
JP5067847B2 (ja) | 車線認識装置及びナビゲーション装置 | |
WO2009095966A1 (ja) | ナビゲーション装置 | |
JP2009250714A (ja) | 道路案内表示装置および道路案内表示方法 | |
JP2008002965A (ja) | ナビゲーション装置およびその方法 | |
CN115917255A (zh) | 基于视觉的位置和转弯标记预测 |