JP2005212709A - 車両運転支援システム - Google Patents

Abstract

【課題】本発明は、複数のカメラを装備し、それらのカメラから得られる画像を処理することにより車両内外の状況を運転者や同乗者が把握し、自然に快適、安全、楽しい運転を可能とする車両運転支援システムを提供する。
【解決手段】本発明による支援システムは、車両内外の映像情報、走行状態、運転環境の情報入力手段５、それらの情報を処理する処理装置１，２，３および処理結果を表示する出力手段４を備えている。マルチモーダル提示情報選択制御部３により情報提示における提示情報の表現メディア、画像の解像度、画像表示画面の大きさ、提示速度、情報提示タイミング、音像定位方向のいずれかまたは複数を選択し制御する。
【選択図】図１

Description

本発明は、複数のカメラを装備し、それらのカメラから得られる画像を処理することにより車両内外の状況を運転者や同乗者が把握し、自然に快適、安全、楽しい運転を可能とする車両運転支援システムに関する。

自動車、オートバイ、自転車などの車両の高機能化と多機能化が進んでいる。これらの車両は日常生活に密着した必需品となり、いわば日用品となるにつれて、クルマをもっと魅力的かつ安全にし、多様なユーザの多様な要求を満たすように様々な形態の車両が開発され、多様な機能やサービスの開発が期待されるようになってきた。

パソコンや携帯電話、あるいは家電機器と同様に、マルチメディア、マルチモーダル化が進み、ＤＶＤや超高品質のオーディオ、音声認識、音声合成、音声対話、車両内外とユーザに関わる有線・無線のネットワークが装備されて、多様なユーザの多様な要求にこたえるべく、従来型のテレビ、電話、コンピュータ、オーディオ機器の開発にとどまらず、様々なエンターテイメントや情報サービス機能が提供されるようになってきた。
静止画が簡単に撮れるデジタルスチルカメラやビデオカメラが、携帯電話やＰＤＡやパソコンに搭載されるようになり、様々な応用が生まれるようになり、ビジネスチャンスも拡大している。

このような情報通信が進化する環境下で車両の電子化やデジタル化やネットワーク化が進展し、車両には多数のコンピュータが搭載され、カーオーディオやカーナビに加えて、様々なカメラや画像表示デバイスが搭載されてきた。車両の走行や運行に関するセンサやアクチュエータを含む機器システムのデジタル化とマルチモーダル化も進み、車両は人間（運転者）と共生する巨大かつ複雑なユビキタスコンピューティングシステムに進化していると言える。

このような車両に関わる情報のデジタル化とマルチメディア・マルチモーダル情報処理システムが高度化するにつれて、多数の遍在するコンピュータが使われ、ユーザの多様性と多様な要求に答えるために、膨大な計算が車両において行うことが可能となった。この方向は増大する一方であり、車両を魅力的に進化させることが望まれている。

その一方で車両の運転システムの特徴は、事故防止などの、安全、安心が重要視されることにある。しかしながら、安全かつ安心な運転を実現するには、現状の車両の機器システムの使いやすい設計だけではなく、運転している周囲の状況や、運転者の様々な心の状況や身体的な状況に応じた運転支援が必要とされている。しかしながら、そのような運転支援を実現するのにはコストがかかるので実用化が進んでいない。エンターテイメントやカーナビ機器のように普及させるような、気の利いた運転支援システムの実現が望まれている。

したがって、本発明の目的は、車両自体が車両内外の状況を包括的に把握し、運転者や同乗者の意図や状況に応じて適切なモダリティ（視聴覚や触覚などの感覚器のこと）で車両の各種機能を利用できる車両の運転支援システムを提供することにある。
さらに詳しく言えば本発明の目的は、複数のカメラを設けた車両における、ドライビング・アシスト、同乗者・アシスト、コミュニケーション・アシスト等の支援を状況または、環境に応じて提供できる運転支援システムを提供することにある。

前記目的を達成するために、本発明による請求項１記載の支援システムは、
車両内外の映像情報、走行状態、または運転環境の情報を処理する処理装置の処理結果を表示する車両の運転支援システムにおいて、
車両外部の外界状況を認識判断する手段と、
走行速度や走行方向などの車両運行状態、温度、騒音レベル、湿度、明るさなどに関する車両内部状況を認識判断する手段と、
運転者あるいは同乗者に関する乗車人間状況を認識判断する手段と、
前記車両の外部と内部、および、乗車人間状況の認識判断結果を総合的に判断する車両状況判断部での車両状況判断結果に基づき、外界情報と外界状況認識判断結果とを動的に変化させて運転者へ情報提示する出力手段と、
情報提示における提示情報の表現メディア、画像の解像度、画像表示画面の大きさ、提示速度、情報提示タイミング、音像定位方向のいずれかまたは複数を選択し制御するためのマルチモーダル提示情報選択制御部と、
を有することを特徴とする。

本発明による請求項２記載の支援システムは、
第１項記載の車両運転支援システムにおいて、
前記車両の運行状況，車両外部状況，車両内部状況，および乗車人間状況の情報のいずれかまたは複数を蓄積する手段を有することを特徴とする。

本発明による請求項３記載の支援システムは、
第１項記載の車両運転支援システムにおいて、
複数のカメラから得られた画像情報を処理し、車両周囲の画像を合成して、運転者および同乗者に提示する手段を有することを特徴とする。

本発明による請求項４記載の支援システムは、
第１項記載の車両運転支援システムにおいて、
車両および人間の認識判断結果に基づいて、車載運転支援システムの運転支援モードを制御する手段を有することを特徴とする。

本発明による請求項５記載の支援システムは、
第４項記載の車両運転支援システムにおいて、
通常走行、高速走行、夜間運転、雨天運転、急停車、急減速、後ろ向き走行などの走行モードを決定する手段と、
車両の乗車人数、追い越しや駐車などの運転意図、運転者や同乗者の疲労度、車両内のオーディオ出力のレベルに係わる運転モードを決定する手段を有し、
これらのモード情報を用いて、外界状況の提示を変化させることを特徴とする。

本発明による請求項６記載の支援システムは、
第１項記載の車両運転支援システムにおいて、
車両運行時の目的地を入力する手段を有し、
運転者あるいは同乗者の移動目的が仕事、買い物、観光などである車両運転目的を入力する手段を有し、
前記目的地情報と車両運転目的情報を用いて、
複数のカメラの制御や外界情報の提示を変化させることを特徴とする。

本発明による請求項７記載の支援システムは、
第１項記載の車両運転支援システムにおいて、
車両内にも乗車人間の情報を入力するためのカメラとマイクとを具備することを特徴とする。

本発明による請求項８記載の支援システムは、
第７項記載の車両運転支援システムにおいて、
車両内部の乗車人間と車両外部の人間とが互いにオンライン通信する手段を有し、
両者がオンライン通信している場合、相手の車両を自車両のカメラで捕らえたことを検知する手段と、相手車両を映し出す手段を有することを特徴とする。

本発明による車両運転支援システムにより、運転者は運転の状況や運転の目的、さらには、運転者の意図状況に応じた、車両の外界状況を自然に把握できるので、安全・安心な運転が可能となり、また、運転者の運転能力を増幅させることが可能となる。さらには、車両運転中に得られる、画像情報を様々な用途に活用できるので、車両運転をより豊かにエキサイティングにすることが可能となる。
さらに、具体的にいうと、本発明による支援システムでは運転者のサラウンディング感覚を増幅する全周囲あるいは半周囲の視覚補完システム "サラウンドビジョン" を実現できる。これは通常の、フロントガラスや側面の窓ガラスを通し、また、車両前方にあるフェンダーミラーや室内のバックミラー、あるいは、後方の窓ガラスを経由した車両周囲の視覚的情報を同時に見ることができ、さらに、これまで死角となっていた車両の周囲の視覚的情報をも複数のカメラを利用して入力し、計算機処理して加工処理および適切な提示を行うことにより、サラウンディング感覚を付与するものである。

請求項２記載のシステムでは過去の状況をＲＡＭやＲＯＭ等の記憶手段に蓄積することができるから、この情報を次の車両運転の情報の生成等に利用できる。請求項３記載のシステムでは、フロントパネル等に全周の情報をわかりやすく表示できる。請求項４記載のシステムでは、運転支援モードを利用者の主観的な判断により選択できるから快適な運転支援を提供できる。請求項５記載のシステムでは、運転モードに適した運転支援が可能となる。請求項６記載のシステムでは、運転目的に応じた情報のみを提供できる。請求項７記載のシステムでは、車内の人間等の情報をカメラとマイクで取得し、その状況に対応する支援が可能となる。請求項８記載のシステムでは、車両の外とのコミュニケーションが可能となる。

本発明による支援システムは、車両自体が車両内外の状況を包括的に把握し、運転者や同乗者の意図や状況に応じて適切なモダリティで車両の各種機能を利用できる点が特徴である。言い換えると、本発明で扱う運転支援システムは、複数のカメラを具備した車両における、同乗者・アシスト、コミュニケーション・アシストを含む。また狭義のドライビング・アシストの実施形態として（ "サラウンドビジョン" ）を実施できる。
これは通常の、フロントガラスや側面の窓ガラスを通し、また、車両前方にあるフェンダーミラーや室内のバックミラー、あるいは、後方の窓ガラスを経由した車両周囲の視覚的情報を同時に見ることができ、さらに、これまで死角となっていた車両の周囲の視覚的情報をも複数のカメラを利用して入力し、計算機処理して加工処理および適切な提示を行うことにより、サラウンディング感覚を付与するものである。

図１は本発明による支援システムの基本構成を概略的に示すブロック図である。
複数のカメラ（図２および図５参照）から得られる車両の外部（外界）の視覚情報（画像情報）は、車外状況情報処理部１に送られて、画像情報の編集・加工や認識処理など様々な処理がなされる。ここで、使用されるカメラ群（Ａ）（図２参照）は通常のカメラ，距離情報があわせて取得可能なカメラのいずれであっても良い。それらのセンサ群５の出力は車外状況情報処理部１，車内状況情報処理部２に入力される。車内状況情報処理部２は、車両運行状況認識判断部２ａ、車両内部状況認識判断部２ｂ、乗車人間状況認識判断部２ｃから構成されている。

図２は本発明による支援システムのセンサ、プロセッサ、ディスプレイ等の配置を略図的に示した斜視図である。図２に示すように本発明の支援システムを構成する主な構成要素はカメラ群（Ａ）（図１のセンサ群５に相当）、サテライトプロセッサ群（Ｂ）（図１の１に相当）、セントラルプロセッサ（Ｃ）（図１の３に相当）、ディスプレイ群（Ｄ）（図１の４に相当）である。
この実施例では車外状況情報処理部１をサテライトプロセッサ（Ｂ）で、残りをセントラルプロセッサ（Ｃ）に配置するものとして説明する。図３は、本発明による支援システムのハードウエア構成を示すブロック図である。システムバス接続に関しバスアービタ，コンフィギュレーション用ＲＯＭ，作業用ＲＡＭ動作用電源等が一般に必要であるが、詳述しない。図において、３３の部分は車外情報処理部、３２の部分はセントラルプロセッサ（Ｃ）に相当し、ディスプレイやカメラ等は入出力３１としてまとめて示してある。なお、３３の車外情報処理部には道路面の白線や物体の検出のための認識部専用ハードウェア３３ａを設けてある。

図５は、本発明による支援システムにおける、複数のイメージセンサ（カメラ）の配置を示す斜視図である。複数のイメージセンサは車内外に配置される。
図においてカメラ５１により車内の情報が入力され、カメラ５２，５３は車外の情報を取得するために配置されている。カメラの光軸はリモートコントロールにより調整可能である。

図６は、表示手段４の一部を構成するフロントパネル４ｃの表示例を示す斜視図である。
例えば、運転中に、車外状況情報処理部１で、歩行者や犬や猫の検出が自動的に行われた場合、サラウンド画像に対して、犬や猫や歩行者の、位置や方向や行動（動作）を認識判断し、音声で「進行方向の右前方に犬が走っています」、「斜め後方に老人の歩行者がいます」「クルマの横で酔っ払いがふらついています」などと、テキスト音声合成で伝える。また、検出された「犬」や「老人」などを色や明るさを強調して表示したり、点滅させたり、デフォルメさせたりすることができる。さらに、複数のスピーカの指向性を制御して、運転者の「気づき」の能力を向上させることも可能である。
さらに、車両の走行速度と走行位置や走行方向など車両運行状況認識判断部２ａ（図１）で把握することにより、フロントのサラウンド画像の表示領域を、前方１８０度、２４０度、２７０度、３６０度など、あるいは、右前方、後方など、種々変更させることができる。

図４は、本発明による支援システムの基本となる流れを示してある。
（ステップ１） 車体に配置したカメラ群のうち隣接するもの同士の画像をサテライトプロセッサ（Ｂ）に送る。各サテライトプロセッサ（Ｂ）の車外状況情報処理部１では隣接カメラの画像から対応点を検出し、両眼視差の原理を用いて各画素の奥行き (すなわち距離情報) を算出し、各画素をボクセル空間にマッピングする。距離情報が取得可能なカメラの場合は、このステップは省略可能である。

（ステップ２） ステップ１）で用意した各サテライトのボクセル空間はカメラの向きに応じた独立な座標系を持つ。サラウンドビジョン生成に際し、複数のボクセル空間をひとつのグローバル座標系に貼り合わせるために視点変換を行うが、この視点をセントラルプロセッサ（Ｃ）が決定する。視点位置の決定は平均的なドライバーの頭部位置に固定しておく。
なお、カメラで捉えたドライバーの実際の動きを車内状況情報処理部２で解析のうえ、頭部や眼球の動きに応答させることもできる。また、車内状況情報処理部２において車速等の車両情報を考慮し、車庫入れ等の低速時は応答角を誇張，定速走行時は誇張を抑制するなど、応答の加減を調整することもできる。

（ステップ３） 定まった視点を各サテライトプロセッサ（Ｂ）に送り返し、各サテライトの車外状況情報処理部１で、各自が持つボクセル空間の座標変換を分散して行う。各サテライトはセントラルプロセッサ（Ｃ）から与えられた視点と既知のカメラ位置とのずれを考慮して視点変換を行う。
（ステップ４） サテライトプロセッサ（Ｂ）で分散して行った視点変換結果をシステムバスを通じ再びセントラルプロセッサ（Ｃ）に送り返す。各サテライトから送られてくる複数のボクセル空間は、視点変換により統一座標系をもつ部分空間をなしているから、これらを張り合わせることでドライバー座標系のグローバルなボクセル空間が完成する。

（ステップ５） グローバルなボクセル空間を平面の画像に変換し、ドライバーを囲む複数のディスプレイに表示する。これは、グローバルなボクセル空間を各ディスプレイ平面に射影することによりなされる。
（ステップ６） 射影により得られた平面画像を各ディスプレイに対して送ることでサラウンド画像を提示する。

図７は、本発明による支援システムのバックギアの操作に関連し、車両の後方を表示する場合の流れ図である。
車の基本機能である、選択したギアの情報を活用して、車両運転状況を的確に把握し、クルマ後部のリアカメラのスイッチをオンにし、リアカメラ画像をそのままフロントやバックミラーの画面に表示するとともに、エッジ検出やオプティカルフロー計算を行う。障害物の発見などの処理を行う。また、同様に、ブレーキをかけた時の情報も同様に活用できる。
バック撮像用カメラ５３（図５）からの映像を解析し、移動障害物と静止障害物を検出する。
バックギアの操作（ステップ７００）に関連し次のステップを実行する。
形状や色、大きさ情報から障害物を特定する（ステップ７０２〜７０７）。
移動障害物に関しては、人や動物などが含まれるため緊急性を有するものはブレーキをかけて停止を促す（ステップ７０８→ステップ７１３）。
車の後方に配置したマイク（センサの一種）から音声を取り込み分析し、声から動物を検出する（ステップ７１０〜ステップ７１２）。
動物を検出した場合もブレーキをかけて停止を促す（ステップ７１３）。
最終的な提示画像は２つの領域に分けて合成し、カメラ画像と距離に応じた障害物アイコンを提示する（ステップ７１４）。
映像は車両後方に設置したモニタに提示する（ステップ７１５）。
さらには、フロントのサラウンド画像を複数種類用意したり、フロントガラスに映し出したり、サイドミラーやバックミラーと分散協調的に提示することも可能である。

図８は、図７の流れに関連してリアカメラの動作とその映像の表示の例を示す説明図である。表示は後方の複数画面のディスプレイで行う。
画面左側はリアカメラからの映像，右側は距離に応じて障害物をアイコンで提示する。なお、前方のディスプレイで行うことも可能である。
図９は、リアカメラ映像の表示の他の例を示す説明図である。
図９に示すように、各種障害物や周囲の状況をデフォルメして表示したり、音声合成などするのも効果的である。このような各種提示が次世代運転支援で実現できる。

図１０は、通常走行モードに関連する合成画像の表示を説明するための流れ図である。
高速走行や、追い越しや追い抜かれ状況に関する処理を説明している。関係する車両と自車両の速度や、関係や、距離の計測、把握、判断が重要である。その状況判断によって、各種情報提示を変化させると効果的である。
図１１は、図１０に関連して説明した通常走行モードで走行中の後方の他の車両等との関連の例を示す平面図である。
このような少し複雑な状況下においても、複数のカメラ情報処理を基本として、パターン認識や各種コンピュータビジョンの技術（分散協調視覚技術）により、車外状況を把握できる。このような技術は既に利用可能な状況にあるので、車両の状況をマルチモーダル・クルージング・ビークルが把握し、その状況に応じて、必要な車外の外界画像処理を行なう。

図１２は、図１１の例における後方車両の表示例を示す。緊急車両の検出例であり、方向と距離と緊急車両の種類と、周囲の車両の状況を把握したり、認識判断することで、運転支援に活用できる。この場合は、音量を大きくして、音声メッセージを入れたり、救急車のサイレンを合成して鳴らしたり、退避すべきかどうか、道路に左端に緊急で幅寄せして退避するとの指示を出すこともできる。

図１０を参照して、通常走行モード時における、後方から車両接近がある場合の情報提示について説明する（ステップ８０１）。
左右後方に設置したカメラ（図２，図５）からの画像を解析し、接近車両を検出する（
左 ステップ８０２〜８０５，右 ステップ８０７〜８１０）。
速度と距離を測定しカメラ画像にアノテーションを付与する。
左カメラ映像をモニタの左に、右カメラ映像をモニタの右に提示する（ステップ８０６，８１１，８１７）。
緊急車両はマイクから収集した音声を解析し発見する（ステップ８１２〜８１６）。
緊急車両は図１２に示すように、モニタ上に重畳し大げさに提示する（ステップ８１６，８１７）。

図１３は、本発明による支援システムの実施例のマルチモーダルクルージングビークルの各種センサ情報やデータ処理の流れの概観を説明する図である。
処理の流れの方向（上から下）に沿って処理手段等を配列してある。なお各部を図１に対応させて数字を付してある。
センサ群５の車外センサとして、車外用のカメラ（イメージセンサ）５ａ複数組と、マイク５ｂがある。走行状態等を検出する車体センサとして、車体速度センサ５ｃ、ギアシフト位置検出センサ５ｄ、操舵各方向指示器関連センサ５ｅが設けられている。
また車内センサとして、運転者等検出カメラ５ｆ、マイク５ｇがある。それらの検出出力はマルチモーダルプロセッサ（図１の、１，２，３相当）の処理部で図の上から下に順次処理されて、対応する表示手段４の車外向け表示手段４ｅ、車体に関連する出力手段４ｄ，車内の出力手段４ｃ等で出力される。なお、車外向けデバイス４ｅは、請求項８記載の支援システムを形成するときに用いられる。

図１４は、前記構成をさらに簡略化した実施例を示すブロック図である。
図１に示した基本構成に対応する数字を付してある。ただし出力手段は表示のみに限っている。センサ群５として全周囲カメラ，２眼カメラ（測距用）およびハンドル・ブレーキ・アクセル等の位置情報を取得するセンサを準備している。これらのセンサから得られた情報についてはオプティカルフローの情報処理技術を用いて動きを予測したり、距離情報、運転状況の情報を獲得し、画像および認識結果を合成して画像変換部により画像に変換し、表示手段４に表示する。

図１５は、本発明による支援システムを請求項６に規定するように移動目的等にしたがって、運用する実施形態を説明するためのブロック図である。図１８はその実施形態における流れ図である。目的地・目的入力部１５０１、現在位置取得部１５０２、提示手段決定部１５０３、カメラ制御部１５０４、および提示映像生成部１５０５で実現できる。目的地および目的入力部１５０１は、車両運行時の目的地を入力する手段と、運転者あるいは同乗者の移動目的を入力する手段を備えている。移動目的は例えば仕事、買い物、観光などである。

次に主として図１８を参照してさらに説明する。図１８は目的が仕事、目的地が初めて訪れる場所である場合の画像生成に関する流れ図である。
（ステップ１８００〜１８０１） 図１５における目的地・目的入力部１５０１において、目的が仕事であり、目的地に初めて訪れる場合であるかを調べる。
（ステップ１８０２） 現在位置取得部１５０２から得られる自車両の位置情報から、目的地に到達したかを検出しシステムの実行および終了を判断する。
（ステップ１８０３） 位置情報の履歴または方位センサなどから車両の運行が右左折時であるかを検出する。
（ステップ１８０４） 位置情報と目的地・目的情報をもとに提示手段決定部１５０３において決定した提示手段に従い、カメラ制御部１５０４により、車両外部に設置したカメラから右左折時周辺の画像を撮影し、画像解析により特徴を抽出する。
（ステップ１８０５） 提示映像生成部１５０５で得られるカメラ映像とステップ１８０４で得た特徴を合わせて記録する。
（ステップ１８０７） ステップ１８０５で蓄積した映像と特徴を合成し、映像コンテンツとして記録する。

図２１、図２２は前述の実施形態に関連するインタフェースである。図２１は目的地を中心とした、図２２は目的を中心とした入力インタフェースを示している。
目的地入力では、例えばナビゲーションシステムにおいてカーソルを特定の場所や建物に合わせることで、コンビニエンスストアであれば「買い物」「散歩」などの目的候補がボタンとして画面に表示され、同時に音声により選択枝が読み上げられる。表示されたボタンを押す、または音声で目的を発話することで入力を完了する。
目的入力では、例えば、目的に応じて木構造のメニューを画面に表示する。目的により分類されたメニューを選択していくことで、自車両から近い対象がモニタ上に三角マークで指示され、選択または音声により選択することで入力を完了する。
音声による入力では、目的地を先に言えば目的地中心、目的を先に言えば目的中心インタフェースに自動的にスイッチし、自然発話に近い入力が行える機能も有する。

図１６は、本発明による支援システムを請求項７に規定するようにカメラとマイクを用いた同乗者のコンテンツ作成支援に関するブロック図である。図１９は流れ図である。
（ステップ１９００） 図１６における車内用マイク１６０１ｂから得た音声を音声解析部１６０２ｂで解析し、同乗者による音声コマンドを検出する。
（ステップ１９０１） マイクの位置からステップ１９００でコマンドを発した同乗者を特定する。
（ステップ１９０２） 車内用カメラ１６０１ａの映像を画像解析部１６０２ａで処理し、同乗者の顔を獲得する。
（ステップ１９０３） ステップ１９０２で撮影した顔画像を画像解析部１６０２ａで解析し、視線方向を検出する。乗車人間用入力情報判断部１６０３において視線インタフェースとして認識する。
（ステップ１９０４） カメラ位置とステップ１９０３で検出した視線方向から、対象者が見ている風景が映るようにカメラを制御する。
（ステップ１９０５） ステップ１９０４で制御したカメラから得られる映像をコンテンツとして記録する。
（ステップ１９０６〜１９０７） 対象者の終了コマンドを検出すると終了する。

図１７は、本発明による支援システムを請求項８に規定するように車両内外の通信支援に関する実施形態におけるブロック図である。図２０は流れ図である。
（ステップ２０００） 図１７におけるネットワーク接続検出部１７０１で、オンライン登録をしている車両位置を検索する。
（ステップ２００１） 通信相手位置・情報取得部１７０２ａにおいて獲得した相手車両位置および自車両位置取得部１７０２ｂから獲得した自車両位置から近くを走行中の車両を判断する。
（ステップ２００２） ステップ２００１で発見した車両にアクセスし、通信相手位置・情報取得部１７０２ａから相手車両の色や形状を含む車両情報を獲得する。
（ステップ２００３） ステップ２００１で発見した相手車両位置を乗車人間に音声で通知する。
（ステップ２００４） カメラ制御部１７０３において、車両に搭載したカメラをステップ２００１で検出した相手車両位置に向ける。
（ステップ２００５) ステップ２００２で獲得した車両情報を元にステップ２００４で獲得したカメラ映像から相手車両を特定する。
（ステップ２００６） カメラ映像処理部１７０４において、ステップ２００５で獲得した相手車両映像を画像処理し、提示映像生成部１７０５で生成した映像を、車内に設置したモニタで乗車人間に映像を提示する。

図２３は自車両前方に、ネットワーク機能を有する自転車で走行する対象を発見したときのインタフェース例である。
ステップ２００４で獲得されたカメラ画像を図２４ａとすると、ステップ２００５で獲得した対象情報を活用し、同乗人間に分かりやすいように画像処理を施す。例えば図２４ａの画像のエッジを強調しグレースケールに変換する。検出した対象を元画像から抽出し、変換した画像上に重ね合わせ対象を線で囲み図２４ｂを生成する。

本発明による支援システムは以上のように構成されているので、自動車運転者の運転支援に広く利用できる。自動車産業において、製造当初から本発明による支援システムを搭載することにより、車体の価値を向上させることができる。

本発明による支援システムの基本構成を概略的に示すブロック図である。 本発明による支援システムのセンサ、プロセッサ、ディスプレイ等の配置を略図的に示した斜視図である。 本発明による支援システムのハードウエア構成を示すブロック図である。 本発明による支援システムの基本流れ図である。 本発明による支援システムにおける、複数のイメージセンサの配置を示す斜視図である。 フロントパネルの表示例を示す斜視図である。 本発明による支援システムのバックギアの操作に関連する流れ図である。 リアカメラの動作とその映像の表示の例を示す説明図である。 リアカメラ映像の表示の他の例を示す説明図である。 通常走行モードに関連する合成画像の表示に関連する流れ図である。 図１０に関連して説明した通常走行モードに関連して、走行中の後方の他の車等との関連の例を示す平面図である。 図１１の例における後方車両の表示例を示す。 本発明による支援システムの実施例であるマルチモーダルクルージングビークルの各種センサ情報やデータ処理の流れの概観を説明する略図である。 本発明によるマルチモーダル運転支援システムを簡略化した実施例を示すブロック図である。 本発明によるマルチモーダル運転支援システムを運転の目的等に応じて支援するシステムを形成したときの実施例を示すブロック図である。 本発明によるマルチモーダル運転支援システムを車内の人間の情報に応じて支援するシステムを形成したときの実施例を示すブロック図である。 本発明によるマルチモーダル運転支援システムを車内外の人間の情報に応じて支援するシステムを形成したときの実施例を示すブロック図である。 図１５に示した支援システムの動作を説明するための流れ図である。 図１６に示した支援システムの動作を説明するための流れ図である。 図１７に示した支援システムの動作を説明するための流れ図である。 図１５に示した支援システムのインタフェースである。 図１５に示した支援システムのインタフェースである。 図１７に示した支援システムのインタフェースである。 図１７に示した支援システムのインタフェースである。 図１７に示した支援システムのインタフェースである。

符号の説明

１ 車外状況情報処理部
２ 車内状況情報処理部
３ マルチモーダル提示情報選択制御部（セントラルプロセッサ）
４ 出力手段（ディスプレイ，スピーカ等の表示手段）
５ 入力手段（カメラ，マイク等のセンサ群）

Claims (8)

1. 車両内外の映像情報、走行状態、または運転環境の情報を処理する処理装置の処理結果を表示する車両の運転支援システムにおいて、
   車両外部の外界状況を認識判断する手段と、
   走行速度や走行方向などの車両運行状態、温度、騒音レベル、湿度、明るさなどに関する車両内部状況を認識判断する手段と、
   運転者あるいは同乗者に関する乗車人間状況を認識判断する手段と、
   前記車両の外部と内部、および、乗車人間状況の認識判断結果を総合的に判断する車両状況判断部での車両状況判断結果に基づき、外界情報と外界状況認識判断結果とを動的に変化させて運転者へ情報提示する出力手段と、
   情報提示における提示情報の表現メディア、画像の解像度、画像表示画面の大きさ、提示速度、情報提示タイミング、音像定位方向のいずれかまたは複数を選択し制御するためのマルチモーダル提示情報選択制御部と、
   を有することを特徴とする車両運転支援システム。
2. 第１項記載の車両運転支援システムは、
   前記車両の運行状況，車両外部状況，車両内部状況，および乗車人間状況の情報のいずれかまたは複数を蓄積する手段を有することを特徴とする車両運転支援システム。
3. 第１項記載の車両運転支援システムは、
   複数のカメラから得られた画像情報を処理し、車両周囲の画像を合成して、運転者および同乗者に提示する手段を有することを特徴とする車両運転支援システム。
4. 第１項記載の運転支援システムは、
   車両および人間の認識判断結果に基づいて、車載運転支援システムの運転支援モードを制御する手段を有することを特徴とする車両運転支援システム。
5. 第４項記載の車両運転支援システムは、
   通常走行、高速走行、夜間運転、雨天運転、急停車、急減速、後ろ向き走行などの走行モードを決定する手段と、
   車両の乗車人数、追い越しや駐車などの運転意図、運転者や同乗者の疲労度、車両内のオーディオ出力のレベルに係わる運転モードを決定する手段を有し、
   これらのモード情報を用いて、外界状況の提示を変化させることを特徴とする車両運転支援システム。
6. 第１項記載の車両運転支援システムは、
   車両運行時の目的地を入力する手段を有し、
   運転者あるいは同乗者の移動目的が仕事、買い物、観光などである車両運転目的を入力する手段を有し、
   前記目的地情報と車両運転目的情報を用いて、
   複数のカメラの制御や外界情報の提示を変化させることを特徴とする車両運転支援システム。
7. 第１項記載の車両運転支援システムは、
   車両内にも乗車人間の情報を入力するためのカメラとマイクとを具備することを特徴とする車両運転支援システム。
8. 第７項記載の車両運転支援システムは、
   車両内部の乗車人間と車両外部の人間とが互いにオンライン通信する手段を有し、
   両者がオンライン通信している場合、相手の車両を自車両のカメラで捕らえたことを検知する手段と、相手車両を映し出す手段を有することを特徴とする車両運転支援システム。

Images