(画像表示装置が搭載された車両内部の説明)
まず、この発明の実施例1にかかる画像表示装置が搭載された車両内部について説明する。図3は、この発明の実施例1にかかる画像表示装置が搭載された車両内部の一例を示す説明図である。図3において、たとえば運転席シート311および助手席シート312の周囲には、図1における表示部105としてのモニタ302aおよび音声出力部の音声出力装置としてのスピーカ304が設けられている。また、助手席シート312には、後部座席シート313への搭乗者に向けて、表示部105としてのモニタ302bが設けられている。
また、車両の天井部314の車内ミラー315には、たとえば車両の前方を撮影する図1における撮影部107としての撮影装置(カメラ)317が設けられている。さらに、左右のサイドミラー316には、たとえば車両の後方を撮影する図1における撮影部107としての撮影装置(カメラ)317と、車両の側方を撮影する図1における撮影部107としての撮影装置(カメラ)318とが設けられている。画像表示処理装置300(300a,300b)は、これらのモニタ302(302a,302b)と、スピーカ304と、撮影装置317,318とを備えている。なお、撮影装置317は、車両の前方および後方を撮影できる構造であれば、車両のどの位置に設けられていてもよい。また、この画像表示装置300(300a,300b)は、車両に対して着脱可能な構造を備えていてもよい。
(画像表示装置のハードウェア構成)
つぎに、この発明の実施例1にかかる画像表示装置のハードウェア構成について説明する。図4は、この発明の実施例1にかかる画像表示装置のハードウェア構成の一例を示すブロック図である。なお、以降において、既に説明した部分と重複する箇所は同一の符号を附して説明を省略する。
図4において、画像表示装置300は、上述したように、たとえば着脱自在な状態で車両に搭載されており、ナビゲーション制御部400と、ユーザ操作部(リモコン,タッチパネル)406と、画像回路407と、表示画面(ディスプレイ)408と、記録媒体(HD,DVDなど)409と、記録媒体デコード部(ドライブ)410と、案内音出力部411と、スピーカ412と、案内音生成部413と、通信部414と、経路探索部415と、経路誘導部416と、音声処理部417と、画像処理部418と、画像入出力インタフェース(I/F)419と、撮影部(カメラ)420と、取得部430と、を備え、地図情報などのデータベース442(以下、「DB」とする)を含んで構成されている。
ナビゲーション制御部400は、たとえば画像表示装置300全体の制御を司り、制御プログラムなどにしたがって各種の演算処理を実行することによって、画像表示装置300が備える各部を統括的に制御する。ナビゲーション制御部400は、CPU(Central Processing Unit)401と、RAM(Random Access Memory)402と、ROM(Read Only Memory)403と、メモリ404と、クロック405と、を含む構成となっている。このナビゲーション制御部400は、たとえばマイクロコンピュータなどによって実現することができる。
ナビゲーション制御部400のCPU401は、たとえば所定の演算処理を実行する。RAM402は、いわゆる可変的な情報を書き換え自在に記憶し、CPU401のワークエリアとして機能する。このRAM402は、たとえば電源OFFによって記憶された情報が消去される揮発性のメモリであってもよいし、バッテリなどによってバックアップされることによる不揮発性のメモリであってもよい。
ROM403は、たとえばブートプログラムなどの、いわゆる固定的な情報を記憶している。ここでは、具体的には画像表示装置300の基本処理プログラムを記憶している。このROM403に記憶されたデータは、ユーザの操作によって書き換えることは可能であるが、電源OFFによって消去されることはないものとする。
メモリ404は、道路標識画像や広告看板画像などの経路誘導画像や演算処理結果などの各種情報を記憶する。このメモリ404は、具体的にはナビゲーション制御部400に対して固定的あるいは着脱可能なフラッシュメモリであり、その代わりにあるいはフラッシュメモリに加えてHD(Hard Disk)、光ディスク(CD−ROM(CD−R、CD−RW)、MO(Magneto−Optical disk)、DVD(Digital Versatile Disk)などの着脱可能な記録媒体であってもよい。また、クロック405は、画像表示装置300の現在時刻に関する情報を計時して記憶する。
ナビゲーション制御部400は、たとえばナビゲーションの機能に関する車両の経路誘導に際し、後述する取得部430のGPS437によって取得された車両の現在地点に関する情報(現在地点情報)と、記録媒体409から記録媒体デコード部410を通じて得られた地図情報や、サーバ441からネットワーク440を介してあるいはDB442から得られた地図情報とに基づいて、地図上のどの位置を車両が走行しているかなどを算出し、算出結果を画像回路407を通じて表示画面408へ出力する。
このナビゲーション制御部400は、上記の経路誘導に際し、後述する経路探索部415、経路誘導部416、および案内音生成部413の間で車両の経路誘導に関する情報の入出力をおこない、その結果得られる情報を表示画面408および案内音出力部411へ出力する。
ユーザ操作部406は、たとえば文字、数値、各種指示など、ユーザによって入力操作された入力情報をナビゲーション制御部400に対して出力する。ユーザ操作部406の構成としては、たとえば物理的な押下げ/非押下げを検出する押しボタン式スイッチ、タッチパネル、キーボード、ジョイスティック、トラックボール、リモコン、その他画像表示装置300に備えられた各種入力操作検出スイッチ類などの公知の各種形態によって構成されたり、これらの組み合わせによって構成されたりして、その機能を実現する。
このユーザ操作部406は、その他にも、たとえば画像表示装置300の外部からの音声を入力するマイクロフォンなどの音声入力装置を用いて、音声によって入力操作による情報の入力を受け付ける形態としてもよい。このように、車両の運転者などのユーザは、ユーザ操作部406の形態に応じて、適宜入力操作をおこなうことで画像表示装置300に対して情報を入力することができる。
なお、このユーザ操作部406への入力操作によって入力される入力情報としては、たとえばナビゲーションの機能に関しては、目的地点の指定に関する情報などが挙げられる。具体的には、たとえば上述したように画像表示装置300が車載のナビゲーション装置などに備えられている場合には、この車両の運転者や搭乗者などのユーザが到達目標とする目的地点が指定され、この目的地点がナビゲーション装置に設定される。
また、ユーザ操作部406によって入力される入力情報としては、たとえば表示画面408上における画像表示処理に関しては、表示される道路標識画像や広告看板画像などの経路誘導画像の選択や表示に関する情報などが挙げられる。具体的には、たとえば車両のユーザが所望とする経路誘導画像が選択され、所望とする表示形態(経路誘導画像の表示位置など)や表示タイミングで表示されるように経路誘導画像が画像表示装置300に設定される。
ここで、たとえばユーザ操作部406の形態として、タッチパネルを採用する場合、このタッチパネルは、たとえば表示画面408上に積層して使用される。この場合、表示画面408における経路誘導画像や地図画像などの表示タイミングと、タッチパネル(ユーザ操作部406)に対するユーザの操作タイミングおよびその位置座標とを管理することによって、ユーザの入力操作によって入力された入力情報を認識する。
このように、ユーザ操作部406の形態として、表示画面408に積層配置されたタッチパネルを採用することにより、ユーザ操作部406の形態を大型化することなく、多くの情報入力を画像処理装置300に対しておこなうことができるようになる。なお、このタッチパネルとしては、たとえば抵抗膜式、感圧式などの公知の各種タッチパネルを採用することができる。
画像回路407は、たとえば後述する記録媒体409などから読み出された地図情報や、画像処理部418から出力された画像情報などに基づいて、経路誘導画像やナビゲーションのための地図画像などを表示画面408上で最適に表示するように描画処理をおこない、処理した画像情報を表示画面408に出力する。
この画像回路407は、具体的には、たとえば表示画面408全体の制御をおこなうグラフィックコントローラと、表示画面408上に表示される即時表示可能な画像や文字などの画像情報を一時的に保持(記憶)するVRAM(Video RAM)などのバッファメモリと、グラフィックコントローラから出力される情報に基づいて、表示画面408上での画像表示処理を制御する制御IC(Integrated Circuit)やGPU(Graphics Processing Unit)などによって構成される。
表示画面408は、たとえばCRT(Cathode Ray Tube)、TFT(Thin Film Transistor)液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ、プラズマディスプレイなどを含むものである。表示画面408は、具体的には、たとえば図示しない画像I/Fや画像I/Fに接続された画像表示用の専用ディスプレイ装置などによって構成することができる。この表示画面408には、たとえばアイコン、カーソル、メニュー、ウィンドウあるいは文字や画像などの各種情報が表示される。また、表示画面408には、上述したように画像回路407からの画像情報に基づく道路標識画像や広告看板画像などの経路誘導画像や地図画像などが表示される。
記録媒体409は、各種制御プログラムや各種情報を、たとえばコンピュータに読み取り可能な状態で記録する。記録媒体409は、記録媒体デコード部410による各種情報の書き込みを受け付けるとともに、書き込まれた各種情報を不揮発に記録する。この記録媒体409は、たとえば上述したHDによって実現することができる。
なお、この記録媒体409は、上記HDに限るものではなく、HDに代えてあるいはHDに加えて各種の光ディスク(DVDやCD(Compact Disk))など、記録媒体デコード部410に対して着脱可能な構造を有するとともに可搬性を有するメディアを記録媒体409として用いてもよい。そして、記録媒体409は、上記DVDやCDに限るものではなく、CD−ROM(CD−R、CD−RW)、MO、メモリカードなどの記録媒体デコード部410に対して着脱可能な構造であり可搬性を有するメディアを利用することもできる。
ここで、記録媒体409には、たとえば本発明を実現する画像表示プログラム、ナビゲーションプログラム、各種の画像情報や音声情報および地図情報などが記録されている。画像情報は、たとえば道路標識あるいは広告看板を表現した画像や地図情報を表現した画像をあらわす二次元配列の値をいい、音声情報は、たとえば楽曲などの音声(音楽)を再生するための情報をいう。また、地図情報は、地図情報に含まれている情報として、たとえば建物、河川、地表面などの地物(フィーチャ)をあらわす背景情報と、道路の形状をあらわす道路形状情報とを有しており、表示画面408において二次元または三次元に描画される情報をいう。
背景情報は、背景の形状をあらわす背景形状情報と、背景の種別をあらわす背景種別情報とを有する。背景形状情報は、たとえば地物の代表点、ポリライン、ポリゴン、地物の座標などを示す情報を含む。背景種別情報は、たとえば地物の名称、住所、電話番号などを示すテキスト情報、建物や河川などの地物の種別を示す種別情報などを含む。
道路形状情報は、複数のノードおよびリンクを有する道路ネットワークに関する情報である。ノードは、三叉路、十字路、五叉路などの複数の道路が交差する交差点に関する情報である。リンクは、ノード間を連結する道路を示す情報である。このリンクには、曲線道路の表現を可能とする形状補完点を有するものもある。また、道路形状情報は、交通条件情報を有する。この交通条件情報は、交差点の特徴、各リンクの長さ(距離)、車幅、進行方向、通行禁止、道路種別などを示す情報である。
なお、上記交通条件情報には、たとえば道路標識情報が含まれる。道路標識とは、たとえば公安委員会や道路管理者などによって設置され、交通規制などを示す表示板のことをいい、具体的には本標識と補助標識とが含まれる。この本標識には、たとえば規制標識、指示標識、警戒標識および案内標識が含まれる。
ここで、規制標識は、特定の交通方法を禁止したり、特定の交通方法にしたがって通行するように指示したりする標識である。また、指示標識は、特定の交通方法が可能であることや、道路交通上決められた場所などを指示する標識である。また、警戒標識は、道路上の危険や注意すべき状況などをあらかじめ道路利用者に通知して注意を促す標識である。さらに、案内標識は、地点の名称、方面、距離などを示して交通の便宜を図ろうとする標識である。
また、補助標識は、規制標識などの本標識の意味を補足するために、本標識の下方などに設置され、規制の理由を示したり、規制が適用される時間、曜日、自動車の種別などを特定したりする標識である。なお、案内標識には、交通規則で定められたものの他、名所旧跡、博物館、美術館、遊園地、ゴルフ場などの案内標識が含まれる。
また、背景情報には、たとえば道路構造物情報が含まれる。道路構造物とは、たとえば道路を跨ぐ部材や走行レーンを覆う部材、橋梁、路面(道路舗装)、トンネルなどの構造物をいい、信号機や道路白線、電柱などが含まれる。さらに、背景情報には、たとえば広告看板情報が含まれるとよい。広告看板とは、たとえば道路上あるいは道路周辺に設けられた広告看板をいい、具体的には電柱などに設けられた施設案内看板や道路沿いに設置された地名案内看板などの看板が含まれる。このように、この実施例1では、これら道路標識情報、道路構造物情報、および広告看板情報は、地図情報に関連付けられて含まれているとよい。
ここで、交差点の特徴としては、たとえば三叉路や五叉路などの複雑な形状の交差点、浅い角度で道路が分岐する形状の交差点、目的地点周辺の交差点、高速道路の出入口やジャンクション、経路逸脱率の高い交差点などが挙げられる。経路逸脱率は、たとえば過去の走行履歴から算出することが可能である。そして、道路種別とは、たとえば高速道路、有料道路、一般道路などが挙げられる。
なお、本実施例1では、たとえば画像情報や地図情報などを記録媒体409に記録するようにしたが、これに限るものではない。画像情報や地図情報などは、たとえばナビゲーション制御部400内に設けられたメモリ404などの記憶装置に記憶されてもよいし、画像表示装置300のハードウェアと一体的に設けられているものに限って記録されているものではなく、画像表示装置300の外部に設けられていてもよい。外部に設けられている場合、たとえば後述する通信部414を介して外部の記憶装置や、ネットワーク440を介して外部のサーバ441などと情報通信をおこない、画像情報や地図情報などを取得するようにしてもよい。また、後述するDB442に蓄積された画像情報や地図情報を利用するようにしてもよい。
記録媒体デコード部410は、記録媒体409に対する各種情報の読み取り/書き込み(リード/ライト)の制御をおこなう。記録媒体409として、たとえばHDを用いた場合には、記録媒体デコード部410は、HDD(Hard Disk Drive)となる。同時に、記録媒体409として、DVDあるいはCD(CD−R、CD−RWを含む)を用いた場合には、記録媒体デコード部410は、DVDドライブあるいはCDドライブなどのドライブ装置となる。
また、書き込み可能かつ着脱可能な記録媒体409として、CD−ROM(CD−R、CD−RW)、MO、メモリカードなどを利用する場合には、各種記録媒体409への書き込みや、各種記録媒体409に記録された情報の読み出しが可能な専用のドライブ装置などを、記録媒体デコード部410として適宜用いるようにすればよい。
案内音出力部411は、たとえば接続されたスピーカ412への出力を制御することによって、ナビゲーションの案内音を再生する。このスピーカ412は、一つあるいは複数から構成される。具体的に、案内音出力部411は、たとえば音声出力用のスピーカ412に接続される図示しない音声I/Fによって実現することができる。より具体的には、音声I/Fは、たとえばディジタル音声信号のD/A変換をおこなうD/Aコンバータと、D/Aコンバータから出力されるアナログ音声信号を増幅する増幅器と、アナログ音声信号のA/D変換をおこなうA/Dコンバータとから構成することができる。
スピーカ412は、案内音出力部411から出力されるナビゲーションの案内音や、後述する音声処理部417から出力される音声を再生(出力)する。なお、たとえばこのスピーカ412の代わりにあるいはこのスピーカ412とともにヘッドフォンなどを設け、車両内部全体が出力される案内音の音声の音場とならないように、案内音や音声の出力形態を適宜変更するようにしてもよい。
案内音生成部413は、種々のパターンに対応したトーンと音声の情報を生成する。すなわち、後述する経路誘導部416で生成された経路誘導情報に基づいて、案内ポイントに対応した仮想音源の設定と音声ガイダンス情報の生成をおこない、これらをナビゲーション制御部400を介して案内音出力部411へ出力する。また、案内音生成部413は、ナビゲーションに際し、たとえば表示画面408に表示される画像にあわせて車両を誘導するような音声ガイダンス情報の生成をおこなってもよい。
通信部414は、たとえば図示しない通信回線を通じてネットワーク440に接続され、このネットワーク440を介して外部のサーバ441などと接続される。そして、通信部414は、ネットワーク440と画像表示装置300とのインタフェースを司り、画像表示装置300に対する各種情報の入出力を制御する。通信部414は、たとえばモデムやLANアダプタなどで構成してもよい。ここで、この通信部414が通信インタフェース(I/F)の機能を備える場合は、たとえばリモートコントロール機器などの他の機器と画像表示装置300との間で各種情報の送受信をおこなう。
この場合、通信部414における各種情報の送受信は、たとえば、有線、無線を問わずおこなわれる。この実施の形態の通信部414は、たとえば携帯電話機のように、図示しない基地局を介して通信サーバと通信をおこなう通信モジュールであってもよく、他のナビゲーション装置や情報端末などとの間で直接無線通信をおこなう通信モジュールであってもよい。
なお、ここで、通信部414による無線通信とは、通信の媒体となるワイヤ線を使用せずに、電波や赤外線、超音波などを用いておこなわれる通信のことをいう。無線通信を可能とする規格には、たとえば無線LAN(Local Area Network)、IrDA(Infrared Data Association)、HomeRF(Home Radio Frequency)、BlueToothなどの各種の技術があるが、この実施例1においては公知の各種の無線通信技術を利用することができる。なお、各種情報の転送速度などの面からは無線LANを好ましい一例として用いることができ、たとえばコストなどの面からは赤外線通信を好ましい一例として用いることができる。
また、通信部414は、たとえば渋滞や交通規制などの道路交通情報を、定期的にあるいは不定期に受信してもよい。通信部414による道路交通情報の受信は、具体的には、VICS(Vehicle Information and Communication System)センターから道路交通情報が配信されたタイミングでおこなってもよいし、VICSセンターに対して定期的に道路交通情報配信を要求することでおこなってもよい。また、通信部414は、たとえばAM/FMチューナ、TVチューナ、VICS/ビーコンレシーバ、およびその他の通信機器として実現することが可能である。
なお、公知の技術であるため詳細な説明を省略するが、「VICS」とは、VICSセンターで編集、処理された渋滞や交通規制などの道路交通情報をリアルタイムに送信し、カーナビゲーション装置などの車載機器に文字・図形で表示する情報通信システムである。このVICSセンターで編集、処理された道路交通情報(VICS情報)をナビゲーション装置に伝達する方式としては、各道路上に設定された「ビーコン」と「FM多重放送」を利用する方式とがある。
ここで、「ビーコン」には、主に高速道路で使用される「電波ビーコン」と、主要な一般道路で使用される「光ビーコン」とがある。また、「FM多重放送」を利用する場合には、広域エリアの道路交通情報を受信することが可能となる。なお、「ビーコン」を利用する場合には、自車の現在地点位置を元にした直近の道路の詳細な情報など、自車が位置する場所において、必要な道路交通情報を受信することが可能となる。そして、通信部414は、たとえば図示しない他の画像表示装置との間での通信方式と、画像情報あるいは地図情報や道路交通情報を受信するための通信方式とが異なる場合には、それぞれの通信方式に対応した複数の通信手段を備えていてもよい。
経路探索部415は、取得部430のGPS437によって取得される車両の現在地点情報と、ユーザによってユーザ操作部406から入力される目的地点の指定に関する情報とに基づいて、たとえば現在地点から目的地点までの最適な経路を算出する。経路誘導部416は、たとえば経路探索部415によって探索された経路(誘導経路)に関する情報、あるいは通信部414によって受信した経路情報と、取得部430のGPS437によって取得された現在地点情報と、たとえば記録媒体409から記録媒体デコード部410を経由して得られた地図情報とに基づいて、リアルタイムな経路誘導情報の生成をおこなう。
なお、地図情報は、上述したように通信部414を介して外部のサーバ441などから取得したものであってもよいし、DB442から取得したものであってもよい。経路誘導部416で生成された経路誘導情報は、ナビゲーション制御部400および画像回路407を介して表示画面408へ出力される。
音声処理部417は、記録媒体デコード部410を通じて記録媒体409から得られる音声情報や、ナビゲーション制御部400を通じて通信部414から得られる音声情報などの選択をおこない、選択した音声情報の再生処理をおこなう。また、音声処理部417は、DB442のような記憶装置に格納された音声情報の再生処理をおこなってもよい。さらに、音声処理部417は、たとえばユーザ操作部406がマイクロフォンなどの音声入力装置によって構成された場合、入力された音声に対して所定の音声変換処理を施して対応する入力情報を生成し、ナビゲーション制御部400によって生成した入力情報を認識可能となるように音声処理をおこなってもよい。
この音声処理部417で再生される音声情報は、たとえば音楽の楽曲を構成する音声情報や効果音などの音声情報が挙げられる。音声処理部417における再生処理には、たとえばスピーカ412から出力される音声が形成する音場の制御などが含まれる。また、この音声処理部417は、画像表示装置300が車載のナビゲーション装置などに備えられ、AM/FMチューナやTVチューナを備える場合には、たとえばラジオやテレビの音声などを再生するようにしてもよい。
また、音声処理部417は、たとえばスピーカ412から出力される音声の出力を制御する。具体的には、選択され再生処理される音声情報に基づいて、音声の音量の調整やイコライジング処理、音像定位処理などをおこない、音声の出力状態を制御する。この音声処理部417による音声の出力の制御は、たとえばユーザ操作部406からの入力操作やナビゲーション制御部400による制御によっておこなわれる。
画像処理部418は、画像表示装置300が備えられた車載のナビゲーション装置における画像処理全般をおこなう。画像処理部418は、具体的には、たとえば通信部414および後述する画像入出力I/F419を介して取得された画像情報や、記録媒体409から画像入出力I/F419を介して、あるいは撮影部420から画像入出力I/F419を介して取得された画像情報の画像処理をおこなう。この画像処理部418は、具体的には、上述した画像回路407のようにCPAUなどによって構成される。
ここで、画像処理部418による画像処理としては、具体的には、たとえば画像入出力I/F419を介して撮影部420から取得した車両の後方の経路誘導画像を用いて、車両のユーザが車両の前方を見ながら表示画面408において車両の後方の経路誘導画像を最適な状態で視認することができるようにするなどの画像処理をおこなうことが挙げられる。
より具体的には、画像処理部418は、たとえば画像入出力I/F419を介して撮影部420から取得した車両の後方の経路誘導画像を左右反転する左右反転処理をおこなう。そして、画像処理部418は、左右反転した経路誘導画像の中から、文字に関する画像を特定する特定処理をおこなう。さらに、画像処理部418は、特定した文字に関する画像を反転して経路誘導画像を生成する反転・生成処理をおこなう。こうして、画像処理部418は、取得した経路誘導画像に画像処理を施す。
また、画像処理部418は、上述した画像処理とともに、ナビゲーション制御部400と連携して、たとえば地図情報の中から、道路標識情報や広告看板情報に関する画像を参照し、取得した経路誘導画像と比較検証して画像の識別・認識処理をおこなってもよい。この場合(たとえば、識別・認識処理した経路誘導画像が『右左折案内標識・距離300m』を示す情報などを含む場合)、ナビゲーション制御部400は、識別・認識処理された経路誘導画像に基づいて、DB442などからその経路誘導画像が示す情報を取得して表示画面408に表示するようにしてもよい。なお、画像処理部418は、たとえばナビゲーション制御部400からの制御命令にしたがって上記画像処理を自動的におこなってもよい。
ここで、画像処理部418は、たとえばディジタルスチルカメラ(DSC)やディジタルビデオカメラ(DVC)などの外部の撮影装置によって撮影された画像情報を、外部の記録媒体などを通じて画像入出力I/F419から取得し、取得した画像情報に基づいて表示画面408に表示する画像などを生成してもよい。このため、画像処理部418は、たとえばDSP(Digital Signal Processor)の機能を有する構成であってもよい。なお、上記経路誘導画像は、道路上に描かれている(存在する)すべての情報に関する画像のうち、特に車両の経路を誘導する情報の画像をいい、具体的には、たとえば「地点の名称」を示す文字に関する画像、「地点の方向」を示す矢印に関する画像、「地点の距離」を示す数字に関する画像、「道路の形状」を示すラインに関する画像などが挙げられる。
画像入出力I/F419は、たとえば通信部414、外部の記録媒体、および後述する撮影部420などから画像処理部418に対して入出力される画像情報の入出力処理をおこなう。この画像入出力I/F419は、具体的には、たとえば上記DSCやDVCなどが撮影した画像を格納する記録媒体409からの画像情報や、DSCやDVCなどに格納された画像をUSB(Universal Serial Bus)、IEEE1394(Institute of Electrical and Electronic Engineers 1394)および赤外線などの通信によって通信部414から入力される画像情報や、撮影部420によって撮影された車両の後方の経路誘導画像などの画像情報を画像処理部418に出力し、画像処理部418から出力される画像情報を記録媒体409や通信部414に出力する。
なお、画像入出力I/F419は、たとえば記録媒体409との間で画像情報の入出力をおこなう場合は、記録媒体409のリード/ライトを直接制御するコントローラの機能を有してもよい。また、画像入出力I/F419は、たとえば通信部414との間で画像情報の入出力をおこなう場合は、通信部414での通信を直接制御する通信コントローラの機能を有してもよい。
撮影部420は、たとえば図3における車両に搭載された撮影装置(カメラ)317,318や、上述したDSCおよびDVCなどの外部の撮影装置などにより構成され、C−MOSあるいはCCDなどの光電変換素子を有し、車両の周囲の映像を撮影する。この実施例1において、この撮影部420は、具体的には、たとえば車両の後方の経路誘導画像を撮影する。撮影部420は、画像表示装置300と有線または無線で接続され、常時あるいはナビゲーション制御部400からの撮影命令により、たとえば車両の後方の経路誘導画像を撮影する。この撮影部420によって撮影された経路誘導画像は、画像入出力I/F419を介して画像処理部418に入力される。
取得部430は、たとえば画像表示装置300が備えられた車載のナビゲーション装置で用いられる各種情報を取得する。取得部430は、速度センサ431と、傾斜角センサ432と、加速度センサ433と、角速度センサ434と、横G(Gravity)センサ435と、ジャイロセンサ436と、GPS437とを含む構成となっている。各センサ431〜436は、車両の挙動に関する情報(挙動情報)を取得する。挙動情報は、たとえば車両の速度情報、傾斜角情報、加速度情報、角速度情報、横G情報および進行方向情報などが挙げられる。
速度センサ431は、車両のトランスミッションの出力側シャフトから車速を検出し、速度情報を出力する。傾斜角センサ432は、車両の路面上での傾斜角度を検出し、傾斜角情報を出力する。加速度センサ433は、車両の加速度を検出し、加速度情報を出力する。角速度センサ434は、車両のコーナリングの際の角速度を検出し、角速度情報と相対方位情報とを出力する。横Gセンサ435は、車両のコーナリングの際に遠心力によって発生する外向きの力(重力)である横Gを検出し、横G情報を出力する。ジャイロセンサ436は、車両の進行方向を検出する。
その他、車両の挙動情報としては、走行距離情報も含まれる。走行距離情報は、たとえば図示しない走行距離センサによって、車輪の回転に伴って出力される所定周期のパルス信号のパルス数をカウントすることで、車輪1回転あたりのパルス数を算出し、その1回転あたりのパルス数に基づく走行距離の情報である。
取得部430のGPS437は、たとえば人工衛星からの電波を受信することによって、画像表示装置300が搭載された車両の現在地点情報(緯度経度情報)を取得する。ここで、現在地点情報は、上述したように人工衛星からの電波を受信し、人工衛星との幾何学的位置を求める情報であり、地球上どこでも計測可能である。なお、取得部430は、図示しないGPSアンテナなどの受信装置を備えて構成されている。
ここで、このGPS(Global Positioning System)とは、4つ以上の人工衛星からの電波を受信することによって、地上での位置を正確に求めるシステムのことである。ここでは、公知の技術であるため、GPSについての説明は省略する。GPS437は、たとえば人工衛星から受信した電波を復調するチューナや、復調した情報に基づいて現在地点を算出する演算回路などによって構成することができる。
なお、人工衛星からの電波としては、1.57542GHzの搬送波で、C/A(Coarse and Access)コードおよび航法メッセージが乗っているL1電波などを用いておこなわれる。これにより、画像表示装置300が搭載された車両の現在地点(緯度および経度)を検知する。
DB442は、たとえばナビゲーション制御部400と直接的に接続され、上述した背景形状情報、背景種別情報、道路構造物情報、および広告看板情報を含む背景情報と、道路標識情報を有する交通条件情報を含む道路形状情報とを備える地図情報や、各種画像情報などを記憶する。このDB442は、外部のサーバ441などに備えられ、ナビゲーション制御部400と通信部414を介した通信により間接的に接続されていてもよい。
なお、図1における入力部101は、具体的には、たとえば画像入出力I/F419によってその機能を実現し、第1の反転部102、特定部103、第2の反転部104、および消去部106は、たとえばナビゲーション制御部400および画像処理部418によってその機能を実現する。また、図1における表示部105は、具体的には、たとえば画像回路407および表示画面408によってその機能を実現し、撮影部107は、たとえば撮影部420によってその機能を実現する。
(画像表示装置の画像表示処理手順)
つぎに、この実施例1にかかる画像表示装置の画像表示処理手順について説明する。図5は、この発明の実施例1にかかる画像表示装置の画像表示処理手順の一例を示すフローチャートである。ここでは、経路誘導画像として、方面・距離を示す案内標識画像を用いた表示処理について説明する。
具体的に、図5に示す処理は、たとえば図4に示したナビゲーション制御部400のRAM402、ROM403、メモリ404、記録媒体409などに記憶(記録)されたプログラムをCPU401が実行し、画像表示装置300の各部とともに処理をおこなうことによって実現する。なお、以降において、主に図4を参照しながら説明をおこなうが、既に説明した部分と重複する箇所は同一の符号を附して説明を省略する。
図5において、まず、画像表示装置300のナビゲーション制御部400によって、画像入出力I/F419を通じて画像処理部418に対し、たとえば撮影部420により撮影された車両の後方の案内標識画像を入力する(ステップS501)。このステップS501において、画像処理部418に対して入力された案内標識画像を画像表示装置300の表示画面408に表示した場合、具体的には、たとえば図6および図7に示すようなものとなる。
図6は、この発明の実施例1にかかる画像表示装置が表示した画像の一例を示す説明図である。また、図7は、この発明の実施例1にかかる画像表示装置が表示した画像の一部を拡大して示す説明図である。図6において、表示画面408には、ナビゲーションに関する各種情報を表示するナビ表示エリア601と、案内標識画像を表示する画像表示エリア602とが設けられている。ナビ表示エリア601には、地図情報に基づいて画像回路407によって描画処理された建物や地表物を立体的に表現する二次元画像が表示され、画像表示エリア602には、案内標識画像650が表示されている。図7は、この画像表示エリア602を拡大して示したものである。
いま仮に、車両の進行方向に『霞ヶ関』があり、車両の進行方向と反対方向に『赤坂』、車両の進行方向右側に『銀座』があるとすると、図7に示すように、画像表示エリア602に表示されている案内標識画像650は、撮影部420によって車両の後方の案内標識画像、すなわち車両の進行方向とは反対の方向へ進む対向車に向けて表示される案内標識画像をそのまま表示したものであるため、このままの状態で画像表示エリア602に表示すると上下、左右の方面がそれぞれ反対に表示されてしまう。したがって、画像表示装置300によって、案内標識画像650に画像処理を施したうえで画像表示エリア602に表示する必要がある。ここでは、まず、左右の方面について画像処理を施す場合について説明する。
図5に戻り、ステップS501において、車両の後方の案内標識画像650を入力したら、画像処理部418によって、案内標識画像650を左右反転する(ステップS502)。こうして、案内標識画像650を左右反転したら、画像処理部418によって、左右反転した案内標識画像650の中から、文字に関する画像として方面表示文字画像を特定する(ステップS503)。このステップS502における左右反転処理およびステップS503における特定処理は、公知の画像処理技術を用いておこなわれるため、ここでは説明を省略する。なお、こうして左右反転処理され特定処理された案内標識画像650は、たとえば図8に示すようなものとなる。
図8は、この発明の実施例1にかかる画像表示装置が画像処理した案内標識画像の一例を示す説明図である。図8において、画像表示装置300によって、左右反転処理された案内標識画像850では、たとえば画像表示エリア602において、左右方向を示す矢印の位置が反転して表示される。また、方面表示文字画像851,852である『赤坂』、『銀座』がそれぞれ反転して表示される。なお、方面表示文字画像851,852は、案内標識画像850上で、たとえば方面表示文字画像851,852をそれぞれ囲む所定範囲領域の画像として特定されてもよい。
図5に戻り、ステップS503において、方面表示文字画像851,852を特定したら、画像処理部418によって、特定した方面表示文字画像851,852を反転する(ステップS504)。このステップS504における方面表示文字画像反転処理は、ここでは、少なくとも車両の進行方向に対して左右の方面を表示する方面表示文字画像についておこなわれればよい。
図9は、この発明の実施例1にかかる画像表示装置が画像処理した案内標識画像の一例を示す説明図である。図9において、画像表示装置300によって、方面表示文字画像851,852のうち、少なくとも方面表示文字画像852が反転処理された案内標識画像950では、方面表示文字画像851は『赤坂』という文字を反転した状態で表示されるが、方面表示文字画像852は『銀座』という文字を正しくあらわした状態で表示される。なお、方面表示文字画像851は『赤坂』という文字を正しくあらわした状態で表示されてもよい。
図5に戻り、ステップS504において、特定した方面表示文字画像852を反転したら、ナビゲーション制御部400によって、画像処理部418により案内標識画像950内の車両の進行方向に関する画像としての進行方向関連画像を消去するか否かを判定する(ステップS505)。
すなわち、このステップS505においては、画像表示装置300によって、たとえばステップS504において、『赤坂』という文字が反転したままの方面表示文字画像851と、『銀座』という文字が正しくあらわされた方面表示文字画像852とが含まれる案内標識画像950(図9を参照)を表示画面408に表示してもよいが、この場合、車両のユーザにとっては紛らわしい表示(方面およびその方向が誤った表示)となるおそれがある。このため、このステップS505においては、反転したままの方面表示文字画像851および方面表示文字画像851によってあらわされる方面を示す矢印画像853(図9を参照)を含む進行方向関連画像を消去するか否かを判定する。
ステップS505において、進行方向関連画像を消去すると判定した場合(ステップS505:Yes)は、画像処理部418によって、たとえば案内標識画像950内の方面表示文字画像851および矢印画像853を含む進行方向関連画像を消去し(ステップS506)、進行方向関連画像を消去した案内標識画像950を表示画面408に表示する(ステップS507)。
図10は、この発明の実施例1にかかる画像表示装置が画像処理した案内標識画像の一例を示す説明図である。図10において、画像表示装置300によって、ステップS506の処理によって進行方向関連画像が消去され、ステップS507の処理によって表示画面408に表示された案内標識画像1050では、『銀座』という文字を正しくあらわした方面表示文字画像852および方面表示文字画像852によってあらわされる方面を示す矢印画像854が表示される。
一方、ステップS505において、進行方向関連画像を消去しないと判定した場合(ステップS505:No)は、ナビゲーション制御部400によって、画像処理部418により進行方向関連画像を案内標識画像950内の対称となる位置に表示するか否かを判定する(ステップS508)。進行方向関連画像を案内標識画像950内の対称となる位置に表示しないと判定した場合(ステップS508:No)は、画像処理部418によって、たとえばステップS504において方面表示文字画像852が反転処理された案内標識画像950(図9を参照)の進行方向関連画像に含まれる反転した『赤阪』という文字をあらわす方面表示文字画像851に対して反転処理を施し、ステップS507に移行して案内標識画像を表示画面に表示する。
図11は、この発明の実施例1にかかる画像表示装置が表示した画像の一例を示す説明図である。図11において、表示画面408の画像表示エリア602には、『赤阪』、『銀座』という文字をあらわす文字方面表示文字画像851,852に対して、これらの文字が正しく表示されるように反転処理を施した案内標識画像950が表示されている。しかし、図6を用いて説明した場合と同様に、たとえば車両の進行方向に『霞ヶ関』があり、車両の進行方向と反対方向に『赤坂』、車両の進行方向右側に『銀座』があるとすると、画像表示エリア602に表示されている案内標識画像950では、このままの状態であると上下の方面がそれぞれ反対に表示されてしまう。このため、ステップS508において進行方向関連画像を案内標識画像950内の対称となる位置に表示するか否かを判定する必要がある。
図5に戻り、ナビゲーション制御部400によって、進行方向関連画像を案内標識画像950内の対称となる位置に表示すると判定した場合(ステップS508:Yes)は、画像処理部418および映像回路407によって、進行方向関連画像を案内標識画像950内の対称となる位置に表示した案内標識画像を表示画面408に表示する(ステップS509)。これにより、本フローチャートによる一連の処理を終了する。
図12は、この発明の実施例1にかかる画像表示装置が表示した画像の一例を示す説明図である。図12において、ステップS509の処理によって、図示しない表示画面408の画像表示エリア602には、『赤阪』、『銀座』という文字が正しくあらわされるとともに、『赤阪』、『銀座』の方面が正しくあらわされた案内標識画像1250が表示されている。このように表示すれば、車両の後方の案内標識画像を利用して情報表示をおこなうことができ、車両のユーザの利便性を向上させることができる。
以上説明したように、この発明の実施例1にかかる画像表示装置は、車両の後方の案内標識画像を違和感なく表示することができる。このため、車両の後方の案内標識画像を利用して情報表示をおこなうことができるとともに、車両のユーザの利便性を向上させることができる。
つぎに、この発明の実施例2にかかる画像表示装置について説明する。実施例1にかかる画像表示装置では、車両の後方の経路誘導画像として、案内標識画像を表示することができる構成とした。一方、実施例2にかかる画像示装置では、車両の後方の経路誘導画像として、電柱の広告看板画像を表示することができる構成を採用する。なお、実施例2のハードウェア構成については、実施例1と同様であるため、以下の説明においては図4と同様の符号用い、図示および説明は省略するとともに、既に説明した部分と重複する箇所は同一の符号を附すこととする。
(画像表示装置の画像表示処理手順)
以下、この発明の実施例2にかかる画像表示装置の画像表示処理手順について説明する。図13は、この発明の実施例2にかかる画像表示装置の画像表示処理手順の一例を示すフローチャートである。上述したように、ここでは、経路誘導画像として、施設案内の広告看板画像を用いた表示処理について説明する。
具体的に、図13に示す処理は、たとえば図4に示したナビゲーション制御部400のRAM402、ROM403、メモリ404、記録媒体409などに記憶(記録)されたプログラムをCPU401が実行し、画像表示装置300の各部とともに処理をおこなうことによって実現する。
図13において、まず、画像表示装置300のナビゲーション制御部400によって、画像入出力I/F419を通じて画像処理部418に対し、たとえば撮影部420により撮影された車両の後方の電柱の広告看板画像を入力する(ステップS1301)。このステップS1301において、画像処理部418に対して入力された広告看板画像を画像表示装置300の表示画面408に表示した場合、具体的には、たとえば図14および図15に示すようなものとなる。
図14は、この発明の実施例2にかかる画像表示装置が表示した画像の一例を示す説明図である。また、図15は、この発明の実施例2にかかる画像表示装置が表示した画像の一部を拡大して示す説明図である。図14において、表示画面408には、ナビゲーションに関する各種情報を表示するナビ表示エリア1401と、広告看板画像を表示する画像表示エリア1402とが設けられている。ナビ表示エリア1401には、地図情報に基づいて画像回路407によって描画処理された建物や地表物を立体的に表現する二次元画像が表示され、画像表示エリア1402には、広告看板画像1450が表示されている。図15は、この画像表示エリア1402を拡大して示したものである。
いま仮に、車両の通過した後方200m左側に『○○医院』があるとすると、図14に示すように、画像表示エリア1402に表示されている広告看板画像1450は、撮影部420によって車両の後方の広告看板画像、すなわち車両の進行方向とは反対の方向へ進む対向車に向けて表示される広告看板画像をそのまま表示したものであるため、このままの状態で画像表示エリア1402に表示すると、広告内容や案内方向がそれぞれ異なって表示されてしまうことが考えられる。したがって、画像表示装置300によって、広告看板画像1450に画像処理を施したうえで画像表示エリア1402に表示する必要がある。
なお、この実施例2において、画像表示処理をおこなう電柱の広告看板については、たとえば各自治体の条例などによって、電柱における広告看板などが設置できる位置に制限が設けられている。このため、広告看板画像1450を撮影部420によって撮影する際には、これらの制限情報に基づいて、ナビゲーション制御部400によって、あらかじめ撮影部420による撮影範囲を設定しておけば、精度のよい広告看板画像1450の取得(入力)をおこなうことができる。
この場合、上記制限情報などは、たとえば通信部414を介して外部のサーバ441などから取得するとともに、取得部430のGPS437からの現在地点情報を用いて、車両の実際の走行地域において制限情報を適宜参照しながら広告看板画像1450の撮影をおこなうとよい。なお、制限情報の取得方式は、通信部414を介して外部のサーバ441から取得することに限られるものではない。
図13に戻り、ステップS1301において、車両の後方の広告看板画像1450を入力したら、画像処理部418によって、広告看板画像1450を左右反転する(ステップS1302)。こうして、広告看板画像1450を左右反転したら、画像処理部418によって、左右反転した広告看板画像1450の中から、文字および矢印に関する画像として文字画像および矢印画像を特定する(ステップS1303)。このステップS1302における左右反転処理およびステップS1303における特定処理は、公知の画像処理技術を用いておこなわれるため、ここでは説明を省略する。なお、こうして左右反転処理され特定処理された広告看板画像1450は、たとえば図16に示すようなものとなる。
図16は、この発明の実施例2にかかる画像表示装置が画像処理した広告看板画像の一例を示す説明図である。図16において、画像表示装置300によって、左右反転処理された広告看板画像1650は、たとえば画像表示エリア1402において、『○○医院』を示す文字画像1651、『この先』を示す文字画像1652、『200m』を示す文字画像1653、『右折』を示す文字画像1654、および矢印画像1655が反転して表示される。なお、これら文字画像1651〜1654および矢印画像1655は、広告看板画像1450上で、たとえば文字画像1651〜1654および矢印画像1655をそれぞれ囲む所定範囲領域の画像として特定されてもよい。
図13に戻り、ステップS1303において、文字画像1651〜1654および矢印画像1655を特定したら、画像処理部418によって、特定した文字画像1651〜1654および矢印画像1655のうちの所定画像を反転あるいは変更する(ステップS1304)。このステップS1304において、反転/変更される所定画像は、たとえばあらかじめ画像表示装置300に設定された文字あるいは矢印を含む画像や、画像処理部418によって画像認識した場合に、反転/変更しなければ意味が通じないあるいは整合性がとれない画像などである。このステップS1304における反転/変更処理は、この実施例2においては、つぎのようにおこなわれる。
図17は、この発明の実施例2にかかる画像表示装置が画像処理した広告看板画像の一例を示す説明図である。図17において、画像表示装置300によって、『○○医院』を示す文字画像1651(図16を参照)は反転処理され、『○○医院』という文字を正しくあらわした状態の文字画像1751として画像表示エリア1402に表示される。また、『この先』を示す文字画像1652(図16を参照)は変更処理され、『後方』を示す文字画像1752として画像表示エリア1402に表示される。
さらに、『200m』を示す文字画像1653(図16を参照)は反転処理され、『200m』を示す文字画像1753として画像表示エリア1402に表示される。また、『右折』を示す文字画像1654(図16を参照)は変更処理され、『左折』を示す文字画像1754として画像表示エリア1402に表示される。また、矢印画像1655(図16を参照)はそのまま矢印画像1755として表示エリア1402に表示される。このようにして文字画像1751〜1754および矢印画像1755が表示された広告看板画像1750が生成される。
図13に戻り、ステップS1304において、所定画像を反転/変更処理したら、画像処理部418および映像回路407によって、所定画像を反転/変更した広告看板画像1750を表示画面408に表示する(ステップS1305)。これにより、本フローチャートによる一連の処理を終了する。
なお、図示および説明は省略するが、たとえば上記『200m』を示す文字画像1753(図17を参照)を、取得部430の各センサ431〜436からの信号や車両の現在地点情報などに基づいて、車両の走行状況に応じて適宜変更(たとえば、『250m』、『300m』などと変更)して表示するようにしてもよい。また、車両の後方の広告看板画像が複数入力された場合に、画像表示エリア1402に表示する各広告看板画像に対し、数字などの識別子を付加して表示するようにして、ユーザ操作部406からの入力操作(直接入力操作や音声入力操作)に伴う入力情報によって、画像表示エリア1402に表示する広告看板画像を適宜切り替えるようにしてもよい。
以上説明したように、この発明の実施例2にかかる画像表示装置は、車両の後方の電柱などの広告看板画像を違和感なく表示することができる。このため、車両の後方の広告看板画像を利用して情報表示をおこなうことができるとともに、車両のユーザの利便性を向上させることができる。
(その他)
なお、図示および詳細な説明は省略するが、この実施例1および実施例2の画像表示装置300では、つぎのような画像表示をおこなうこともできる。すなわち、画像表示装置300は、たとえば見落した広告看板画像や道路標識画像をユーザに表示するのが、通常の車両のバックミラーで見るのと同様にカメラなどで撮影した画像を反転するものである。この場合、表示画面408上に表示される広告看板画像や道路標識画像が示す情報(文字画像や矢印画像など)の内容が認識できる状態では、表示した広告看板画像や道路標識画像を反転するのではなくそのまま表示する。
また、既に車両がその広告看板設置位置や道路標識設置位置を通りすぎて広告看板や道路標識の裏側しか表示画面408では認識できない場合(広告看板や道路標識の裏側しか撮影できない場合)には、画像処理部418などによって、その裏側の広告看板画像や道路標識画像に数値(あるいは数値とともに認識した画像、もしくは数値と共にアイコン)などの識別子を表示する。
また、画像表示装置300は、広告看板画像や道路標識画像内での矢印画像を画像認識した場合は、車の進行方向に基づいて、補正した矢印画像を表示することができ、たとえば広告看板画像や道路標識画像を、拡大表示あるいは切り出し表示もしくは記録装置などへの記録などをおこなう場合に、音声やリモコンなどでその動作を指定して実現することができる。この場合、これらの画像を表示しすぎることを回避するために、道路標識画像の画像表示については通常のナビゲーション画面においてのみ表示するようにしてもよい。
また、画像表示装置300は、たとえば上記のように数値などの識別子により広告看板画像や道路標識画像に相当する情報を選択指定できるようにしたことにより、音声やリモコンで簡単に見落した広告看板や道路標識の情報を確認することができる。したがって、たとえば旅行に行くときは、温泉地案内とかのローカルな広告看板などの情報を表示画面408に表示することもできる。上述したように、この画像表示装置300のユーザは、音声入力やリモコン入力で画像の表示切り替えや選択指示をおこなうことができる。
この場合、表示画面408上においては、車両の後方の広告看板画像や道路標識画像を複数表示する場合に、各画像の表示領域を擬似的に分割(たとえば、表示画面408を四分割)して表示するようにしてもよい。このようにすれば、情報の選択指定をおこないやすくすることができる。
また、電柱などに設置された広告看板の広告看板画像においても、上記実施例1で説明したことと同様に画像表示をすることができる。同様に、道路上に設置された案内標識の道路標識画像においても、上記実施例2で説明したことと同様に画像表示をすることができる。また、撮影部420をステレオカメラなどにより構成すれば、経路誘導画像との距離を測定して画像表示に用いることもできる。この場合、経路誘導画像が複数あっても、各経路誘導画像までの距離を測定することが可能となるので、より良好かつ精細な画像表示をおこなうことができる。なお、ステレオカメラによる距離測定は、公知の技術であるため、ここでは説明を省略する。
以上のように、この発明にかかる画像表示装置、画像表示方法、画像表示プログラム、および記録媒体によれば、車両の後方の経路誘導画像を違和感なく表示することができる。このため、車両の後方の道路標識画像や広告看板画像などの経路誘導画像を利用して情報表示をおこなうことができるとともに、車両のユーザの利便性を向上させることができるという効果を奏する。
なお、本実施の形態で説明した画像表示方法は、あらかじめ用意されたプログラムを画像表示装置に組み込まれたコンピュータやパーソナル・コンピュータなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。