JP2008123215A - 運転支援装置、運転支援方法、及び、プログラム - Google Patents

Abstract

【課題】車両のドライバーの運転操作を分かりやすく且つ低コストで支援する。
【解決手段】運転支援装置１００において、画像処理部１０３はカメラ１２１による撮影画像データ内に切り出し領域を設定して切り出し画像データを抽出する。制御部１０７は距離測定器によって測定された他車両の位置や速度に基づいて自車両後方の危険度を示す情報を生成する。画像処理部１０３は切り出し画像データと危険度を示す情報とをモニター１２３に出力する。受付部１０５が自車両の進路が変更する旨の通知を受け付けると、画像処理部１０３は切り出し領域を自車両の進路が変更する向きに移動させる。
【選択図】図１

Description

この発明は、車両のドライバーの運転操作を分かりやすく且つ低コストで支援するために好適な運転支援装置、運転支援方法、及び、プログラムに関する。

走行中のドライバーにとって自車の周囲を走行する他車や障害物等に関する情報を的確に把握することは安全運転のためにとても重要なことである。そのためドライバーの運転を支援するための様々な装置が開発されている。例えば、特許文献１には、自車の後方を走行する車両の接近度合いをドライバーに伝える装置が開示されている。これによれば、装置は後方車両の接近度合い（リスクポテンシャル）をバーを使ったインジケーターの画像で表示し、リスクが高いほどバーの数や大きさを大きくするので、ドライバーはインジケーターの画像を見て自車の後方のリスクを把握できる。

また、自車が車線変更する際にドライバーの運転操作を支援するための装置も提供されている。例えば、特許文献２には、自車と隣接車線を走行する他車とのスピード差が小さい場合でも車線変更しやすいように支援する装置が開示されている。これによれば、装置は車線変更の際に適した車間距離やスピード等を算出するので、ドライバーは表示された加減速操作及び車線変更操作の案内に従って運転できる。
特許文献３には、ドライバーのウインカー操作を検出すると車線変更を支援する表示を行う装置が開示されている。これによれば、装置はウインカー操作を検出すると自車の左右後方の走行環境情報を表示するセグメントの輝度や色を変えるので、ドライバーは表示の変化を見て危険度を把握できる。
特許文献４には、後側方映像をドライバーにタイミング良く提供することで車線変更を支援する装置が開示されている。これによれば、装置はドライバーによる具体的な車線変更指示がなくても前方車両との相対関係に基づいて２画面の後側方映像を提供するので、ドライバーは必要に応じてこの映像を参考に車線変更操作ができる。
特許文献５には、後側方映像にガイド線を重ねて表示することで車線変更を支援する装置が開示されている。これによれば、装置は右左折や車線変更をすべきでない距離、注意が必要な距離、問題がない距離等をガイド線で表示するので、ドライバーはこのガイド線を見て適切な運転操作ができる。
特許文献６には、自車後方を広範囲に写すことができる装置が開示されている。これによれば、装置はハンドルの操作やウインカーの操作に応じてアクチュエーターでカメラの角度を変えるので、ドライバーは特に注意すべき方向の映像を確認しながら運転操作できる。
特開２００５−１４５２９２号公報 特開２００６−３２４７２７号公報 特開２００２−０７４５９６号公報 特開２００５−１４１４８４号公報 特開２００６−０５１８５０号公報 特開２００２−２０４４４６号公報

しかしながら、上記のような従来技術では、ドライバーが画面のインジケーター、操作の案内、セグメント、ガイド線などを見てスピードや進路を瞬時に判断することは実際には容易ではなかったり、アクチュエーターあるいは複数のカメラが必要なためコストが高くついてしまったりする問題を抱えていた。

この発明は、上記実情に鑑みてなされたものであり、車両のドライバーの運転操作を分かりやすく且つ低コストで支援するために好適な運転支援装置、運転支援方法、及び、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る運転支援装置は、
自車両の後方を撮影するカメラと、
当該自車両の運転状況を示す情報の入力を受け付ける受付部と、
前記カメラで撮影されて得られた撮影画像データから、所定領域の画像データを抽出する抽出部と、
前記抽出部により抽出された画像データを出力する出力部と、
を備え、
前記抽出部は、前記受付部が受け付けた当該運転状況を示す情報に基づいて、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
ことを特徴とする。

当該自車両の周辺の他車両の位置と速度を測定する測定部と、
前記測定部により測定された当該位置と当該速度に基づいて、当該自車両が進路変更する際の危険度を示す情報を生成する生成部と、
をさらに備え、
前記出力部は、前記生成部により生成された当該危険度を示す情報と、前記抽出部により抽出された画像データとを出力してもよい。

当該撮影画像データから、当該自車両が走行する道路上の道路標示を識別し、当該自車両が当該道路標示から所定距離範囲内にある場合、当該自車両が当該道路標示から所定距離範囲内にある旨を通知する通知部をさらに備え、
前記受付部は、当該自車両の運転状況を示す情報として、当該通知部による通知を含む情報を受け付け、
前記抽出部は、当該通知が示す当該道路標示がある向きに当該所定領域を移動させてもよい。

当該他車両の種類を判別するための情報と、ユーザに報知する情報とを記憶する記憶部をさらに備え、
前記生成部は、前記記憶部に記憶された当該他車両の種類を判別するための情報に基づいて当該他車両の種類を判別し、判別結果に応じて当該ユーザに報知する情報を選択し、当該自車両が進路変更する際の危険度を示す情報を生成してもよい。

前記生成部は、前記抽出部により抽出された画像データにおける、当該自車両からの実際の距離を示す図形を配置する位置を求め、当該図形と当該位置を含む情報を、当該危険度を示す情報として生成してもよい。

前記生成部は、前記抽出部により抽出された画像データに当該図形を複数配置し、前記測定部により測定された当該他車両の速度が大きければ大きいほど、当該図形を配置する間隔を広くしてもよい。

前記受付部は、当該自車両の運転状況を示す情報として、当該自車両の方向指示器がどの方向を指しているかを示す情報を含む方向指示情報の入力を受け付け、
前記抽出部は、当該方向指示情報が示す向きに当該所定領域を移動させてもよい。

前記受付部は、当該自車両の運転状況を示す情報として、当該自車両の速度を示す情報と、加速度を示す情報と、エンジンの回転速度を示す情報と、ブレーキをかけた旨を示す情報と、のうち少なくとも１つ以上を含む運転情報の入力を受け付け、
前記抽出部は、当該運転情報に基づいて、当該所定領域を移動させる、ことができる。

前記受付部は、当該自車両の運転状況を示す情報として、道案内情報と、位置情報と、交通情報と、気象情報と、道路情報と、のうち少なくとも１つ以上を含む運転情報の入力を受け付け、
前記抽出部は、当該運転情報に基づいて、当該所定領域を移動させてもよい。
ことを特徴とする、請求項２に記載の運転支援装置。

上記目的を達成するため、本発明の第２の観点に係る運転支援方法は、
自車両の後方を撮影する撮影ステップと、
前記撮影ステップにより撮影されて得られた撮影画像データから所定領域の画像データを抽出する抽出ステップと、
前記抽出ステップにより抽出された画像データを出力する出力ステップと、
を備え、
前記抽出ステップは、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
ことを特徴とする。

上記目的を達成するため、本発明の第３の観点に係るプログラムは、コンピュータを、
自車両の運転状況を示す情報の入力を受け付ける受付部、
当該コンピュータに接続されたカメラで撮影されて得られた撮影画像データから、所定領域の画像データを抽出する抽出部、
前記抽出部により抽出された画像データを出力する出力部、
として機能させ、
前記抽出部は、前記受付部が受け付けた当該自車両の運転状況を示す情報に基づいて、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
ことを特徴とする。

この発明によれば、車両のドライバーの運転操作を分かりやすく且つ低コストで支援するために好適な運転支援装置、運転支援方法、及び、プログラムを提供することができる。

（実施形態１）
本発明の実施形態について説明する。以下の説明では、ドライバーが運転中に自車両の後方などを確認しながら車線変更する場面を想定して説明する。ただし、これは一例に過ぎず、本発明の範囲を限定するものではない。

図１は、本実施形態の運転支援装置１００の構成を示す図である。本図に示すように、運転支援装置１００は、撮影部１０１、測定部１０２、画像処理部１０３、音声処理部１０４、受付部１０５、記憶部１０６、制御部１０７、システムバス１０８を備える。

図２は、撮影部１０１によって取得されて、画像処理部１０３による後述する画像処理の対象となる画像データ（以下、「撮影画像データ２０１」と呼ぶ）の一例を示す図である。

撮影部１０１は、自車両の後方を撮影するカメラ１２１から撮影画像データ２０１を取得して、画像処理部１０３に入力する。典型的には、この撮影画像データ２０１はリアルタイムの動画像のデータである。本実施形態では、このカメラ１２１が撮影する画像の範囲は、自車両のルームミラーとサイドミラーで映っている範囲に相当する。カメラ１２１は自車両の後方に固定された魚眼カメラである。例えば、カメラ１２１は、自車両後方のナンバープレート付近や後部ガラス付近に設置される。より広範囲の画像を得るためには魚眼カメラが適しているが、他の形態のカメラを採用することも可能である。カメラ１２１による撮影方向は所定方向に固定されているが、状況に応じて可変にしてもよい。また、撮影倍率は所定倍率に固定されているが、状況に応じて可変にしてもよい。カメラ１２１による撮影画像データ２０１は、画像処理部１０３により所定の画像処理が施された後、モニター１２３に表示される。

測定部１０２は、自車両の後方に存在する他車両の位置を測定する距離測定器１２２から距離データを取得し、また、自車両と他車両との相対速度を測定する。例えば、距離測定器１２２は、所定波長の電磁波や超音波を発信してその反射波を測定することにより対象物までの距離を測定するレーダーである。測定部１０２は、測定した距離データ及び／又は相対速度を制御部１０７に入力する。測定部１０２が測定する対象物は後方を走行する他車両に限らず、建物などの固定物、障害物、通行人などの場合もある。測定部１０２は、撮影部１０１によって取得された複数の撮影画像データ２０１の差分情報から画像データの動きベクトルを取得し、それにより自車両に対する他車両の相対速度を検出してもよい。

画像処理部１０３は、撮影部１０１により取得された撮影画像データ２０１を、制御部１０７や画像処理部１０３が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０３が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０３に接続されるモニター１２３へ出力される。これにより、各種の画像表示が可能となる。例えば、画像処理部１０３は、撮影画像データ２０１の全部、又は、このうち所定の一部領域を切り出した画像データ（以下、「切り出し画像データ２０２」と呼ぶ）の映像をモニター１２３に出力する。また、画像処理部１０３は、この撮影画像データ２０１や切り出し画像データ２０２に運転支援用の様々なデータ（以下、「運転支援データ」と呼ぶ）を合成した映像をモニター１２３に出力する。ドライバーは、モニター１２３に映し出された映像を随時見ることができる。ここで、撮影部１０１により取得された撮影画像データ２０１のうち、ビデオ信号に乗せる領域を、撮影部１０１が備えるディジタルシグナルプロセッサ (Digital Signal Processor; DSP、図示せず）が設定するように構成してもよい。

なお、運転支援装置１００は、カーナビゲーションシステム、道路交通情報通信システム、テレビジョン受信装置（いずれも図示せず）などの外部装置とケーブルや無線で互いに接続されていてもよい。そして、画像処理部１０３は、これらの外部装置などから入力される動画像・静止画像を画像処理して出力してもよい。また、これらのような他のシステム・装置と、モニター１２３を共用した構成を採用してもよい。

例えば、図２は、自車両が片側２車線道路の左側車線を走行しているときの撮影画像データ２０１の例であり、カメラ１２１によって撮影された全体画像である。例えば、この撮影画像データ２０１には、路面に描かれた道路標示２１１、側壁２１２のほか、後方の右側車線を走行する他車両２１３などが写っている。ここでは、道路標示２１１とは、通常白色や黄色で路面に描かれたライン（中央線、側線など）を指す。モニター１２３には、カメラ１２１で撮影された映像がリアルタイムで出力される。ただし、モニター１２３の画質、画素数、カラー数、フレーム数などは本発明によって限定されない。本図に示した撮影画像データ２０１は一例に過ぎない。

音声処理部１０４は、制御部１０７の制御により、記憶部１０６に予め記憶された警告音・案内音声などの音声データをＤ／Ａ（Digital/Analog）コンバータ（図示せず）で変換して所定の再生プログラムで再生し、スピーカー１２４から音声を出力する。音声処理部１０４は、カーナビゲーションシステム、道路交通情報通信システム、テレビジョン受信装置などの外部装置から入力される音声を出力してもよい。また、これらのような他のシステム・装置と、スピーカー１２４を共用した構成を採用してもよい。

なお、運転支援装置１００は、自車両の後方で発せられた音を集音するマイクロフォンを更に備え、このマイクロフォンで集音した音声データをスピーカー１２４から出力するように構成することもできる。これにより、運転支援装置１００は、画像だけでなく音声もドライバーに伝達できるので、よりユーザーフレンドリーなインターフェイスを提供できる。

受付部１０５は、ユーザー（ドライバーや助手席の人など）による操作パネル１２５からの指示入力を受け付けて、この指示入力に対応する制御信号を制御部１０７に入力する。例えば、この操作パネル１２５は、運転支援装置１００の主電源ボタン、画質調整や音量調整を行うためのボタンなど、運転支援装置１００に各種の指示を与えるための入力インターフェイスを備える。

また、受付部１０５は、自車両の運転状況を示す情報１５１の入力を受け付けて、対応する制御信号を制御部１０７に入力する。例えば、この自車両の運転状況を示す情報１５１とは、（ａ）カーナビゲーションシステム、道路交通情報通信システムなどから入力される道案内（ナビゲーション）情報、位置情報、交通情報、気象情報、道路情報などの制御信号、（ｂ）自車両に備え付けられた速度計、加速度計、制動装置などから入力される自車両の速度データ、加速度データ、ブレーキ信号、（ｃ）方向指示器（ウインカー）から入力される方向指示信号、などである。なお、受付部１０５は、これら（ａ）〜（ｃ）に例示したものの全部あるいは一部を含むデータを受け付けるように構成してもよい。例えば、道路の傾斜具合や自車の左右・前後の傾き具合を測定する傾きセンサからの入力などを受け付けるように構成してもよい。

記憶部１０６は、測定部１０２により測定された位置や速度のデータ、制御部１０７により得られた後述する運転支援データ、運転支援装置１００全体を制御するためのオペレーティングシステム（ＯＳ）、各種制御プログラムなどを記憶する。例えば、記憶部１０６は、ハードディスク装置、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどから構成される。

制御部１０７は、例えばＣＰＵ（Central Processing Unit）やＥＣＵ（Electoronic Control Unit）から構成され、ＲＯＭに記憶されたＯＳや制御プログラムに従って、運転支援装置１００全体の制御を行う。制御部１０７は、制御の必要に応じて、各部に制御信号およびデータを送信、または、各部から応答信号およびデータを受信する。制御部１０７は、自車両の後方の状況に基づいてドライバーに運転を支援するための情報を提供する処理（以下、「運転支援処理」と呼ぶ）を行うが、詳細は後述する。

システムバス１０８は、撮影部１０１、測定部１０２、画像処理部１０３、音声処理部１０４、受付部１０５、記憶部１０６、制御部１０７との間で命令やデータを転送するための伝送経路である。

なお、運転支援装置１００は、これらの各部のほか、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）ドライブ、ＤＶＤ−ＲＯＭ（Digital Versatile Disc-Read Only Memory）ドライブ、ＧＰＳ（Global Positioning System）送受信機、携帯電話等の通信機能、ＥＴＣ（Electronic Toll Collection）システムなどをさらに備える（あるいはこれらに接続される）こともできる。また、本実施形態では、自車両の後方を撮影するカメラ１２１を１つだけ備えているが、複数のカメラで複数の方向を撮影できるように構成することも可能である。

次に、運転支援装置１００の上述した各部が協働して行う運転支援処理について説明する。図３は、運転支援処理を説明するためのフローチャートである。以下の説明では、特に断りのない限り、カメラ１２１は常に映像を撮影しており撮影部１０１は撮影画像データ２０１を取得するものとする。また、この運転支援処理は、ドライバーが自車両のエンジンをかけた後など運転中に実行される。以下詳述する。

まず、測定部１０２は、制御部１０７の制御により、自車両の周辺の他車両２１３の位置と、自車両に対する他車両２１３の相対速度を測定し（ステップＳ３０１）、得られた位置と相対速度を示す情報を制御部１０７に入力する。あるいは、記憶部１０６の所定の記憶領域にこれらの情報を記憶して、制御部１０７が任意のタイミングで読み出すようにしてもよい。本実施形態では、他車両２１３とは、自車両の後方を走行する自動車等であり、自車両の真後ろに同じ車線を走行するものもあれば、走行車線の隣り（追い越し車線、登坂車線など）の車線を走行するものもある。また、自車両の後方の路側付近を走行するバイク、自転車等の軽車両でもよい。

具体的には、画像処理部１０３は、図４（ａ）に示すような、カメラ１２１によって撮影された撮影画像データ２０１を画像解析して他車両２１３を判別する。例えば、画像処理部１０３は、一般に広く用いられているパターンマッチングや空間周波数などを用いた手法により、撮影画像データ２０１の中から他車両２１３に相当する画像部分を判別し、他車両２１３を識別する。そして、測定部１０２は、識別した他車両２１３が存在する方向を求める。また、測定部１０２は、運転支援装置１００が備えた距離測定用のレーダーから発射された電磁波あるいは超音波の波長、その反射波が到達する時間、自車両の速度等に基づいて、識別した他車両２１３までの距離と相対速度を求める。これにより、測定部１０２は、後方を走行する他車両２１３の位置と相対速度を得ることができる。

なお、他車両２１３の位置を示す情報のうち、方向は、精密な情報である必要はなく、例えば「同じ車線を走行している」「右隣（あるいは左隣）の車線を走行している」「２車線右隣（あるいは左隣）を走行している」などのような、おおよその情報が得られればよい。他車両２１３あるいは自車両がどの車線を走行しているのかを判別するためには、撮影画像データ２０１に含まれる道路標示２１１に相当する画像部分の位置、形状、大きさ等をパターンマッチングすればよい。

次に、受付部１０５は、制御部１０７の制御により、自車両の運転状況を示す情報１５１の入力を受け付ける（ステップＳ３０２）。

例えば、自車両の運転状況を示す情報１５１は、自車両が路面の白線などの道路標示２１１を跨ぐ旨の通知である。すなわち、画像処理部１０３は、一般に用いられるパターンマッチング等の手法により路面に描かれた白線などの道路標示２１１を識別し、この道路標示２１１が自車両の跨ぐ位置にあるか否かを判別し、跨ぐと判別された場合には、自車両の進路が道路標示２１１を跨ぐ旨の通知を受付部１０５に通知する。あるいは、自車両が実際に道路標示２１１を跨いだり踏んだりしなくても、道路標示２１１から所定距離以内に接近している旨を通知するようにしてもよい。

このように、画像処理部１０３は、自車両が走行する道路上の道路標示２１１を識別し、自車両が道路標示２１１から所定距離範囲内にある場合、道路標示２１１から所定距離範囲内にある旨を通知する通知部、としても機能する。

制御部１０７は、受付部１０５が受け付けた運転状況を示す情報１５１に基づいて、自車両の進路に変更があるか否かを判断する（ステップＳ３０３）。例えば、自車両の進路が道路標示２１１を跨ぐ旨の通知を受付部１０５が受け付けた場合に、受付部１０５はこの通知を受け取った旨を制御部１０７に入力し、制御部１０７は自車両の進路に変更があると判断する。

自車両の進路に変更があると判断された場合（ステップＳ３０３；ＹＥＳ）、画像処理部１０３は、撮影画像データ２０１の一部に設定した切り出し領域４０１を変更する（ステップＳ３０４）。そして、画像処理部１０３は、図４（ｂ）に示すように、撮影画像データ２０１から切り出し領域４０１に含まれる画像データを切り出し画像データ２０２として抽出する（ステップＳ３０５）。

すなわち、画像処理部１０３は、所定の矩形領域を切り出し領域４０１として定めておき、この切り出し領域４０１に含まれる画像データを切り出し画像データ２０２として抽出する。画像処理部１０３は、切り出し領域４０１の位置を任意に変更できる。

例えば、画像処理部１０３は、自車両が道路標示２１１を跨ぐと判別すると、道路標示２１１を跨ぐ向きを、自車両の進路の変更する向きと判断する。自車両が進行方向に向かって右側（あるいは左側）に進路が変わる場合、自車両は右側（あるいは左側）の道路標示２１１を跨ぐことになる（言い換えれば、撮影画像データ２０１は自車両が右側（あるいは左側）の道路標示２１１を跨ぐような画像となる）ので、自車両の進路の変更する向きは右側（あるいは左側）であると判断できる。そして、画像処理部１０３は、図５（ａ）に示すように、カメラ１２１で撮影されて得られた撮影画像データ２０１のうち、自車両の進路の変更する向きに切り出し領域４０１を移動させる。このとき、移動した切り出し領域４０１に対応する切り出し画像データ２０２は、図５（ｂ）のようになる。

ここで、切り出し領域４０１の移動の仕方には様々なバリエーションが考えられる。本実施形態では、画像処理部１０３は、自車両の進路の変更する向きに徐々に連続的に移動させる。すなわち、モニター１２３に映し出される映像の向き（カメラ視線の向き）は、自車両の進路の変更する向きに徐々に移っていき、途中でコマ落ちのように非連続的に途切れることがない。これにより、ユーザーはモニター１２３の映し出す映像がどの向きの映像なのか見失うことがない。

また、画像処理部１０３は、自車両の進路の変更量が大きいほど、切り出し領域４０１を移動させる量を大きくする。すなわち、画像処理部１０３は、撮影画像データ２０１に含まれる道路標示２１１に対応する画像の移動量が大きいほど、切り出し領域４０１の移動量を大きくする。

また、画像処理部１０３は、自車両の進路の変更する速さが大きいほど、切り出し領域４０１を移動させる速さを大きくする。すなわち、画像処理部１０３は、撮影画像データ２０１に含まれる道路標示２１１に対応する画像の単位時間あたりの移動量が大きいほど、切り出し領域４０１の単位時間あたりの移動量を大きくする。これによって、自車両の進路がゆっくりと変わっていく場合にはモニター１２３の映像の向き（カメラ視線の向き）はゆっくりと変わり、進路が急に変わる場合には映像の向きは素早く変わる。運転支援装置１００は運転状況に応じてユーザーに有益な情報を提供できる。

また、画像処理部１０３は、切り出し領域４０１が撮影画像データ２０１からはみ出さない位置を移動の限界位置とする。すなわち、図５（ａ）において、切り出し領域４０１を示す矩形の左端が、撮影画像データ２０１の左端より左側にならないように移動させる。右端、上端、下端についても同様である。

さらには、画像処理部１０３は、自車両の進路の変更する向きと合わせて他の要素を考慮して、切り出し領域４０１の移動方向、形状、拡大率（縮小率）、解像度などを変えても良い。例えば、後方に認識した他車両２１３の速度（あるいは自車両に対する他車両２１３の相対速度）が大きいほど、切り出し領域４０１の形状や大きさを変えて切り出し画像データ２０２の範囲を変えることもできる。これにより、接近する他車両２１３と自車両との距離間隔が分かりやすいようにフレキシブルに表示させることができる。

なお、切り出し領域４０１の形状は矩形に限られず他の形状であってもよい。

このように、画像処理部１０３は、撮影画像データ２０１から切り出し画像データ２０２を抽出する抽出部としても機能する。

一方、ステップＳ３０３で、自車両の進路に変更がないと判断された場合（ステップＳ３０３；ＮＯ）、運転支援装置１００はステップＳ３０４の処理を行わない。すなわち、画像処理部１０３は切り出し領域４０１の位置などを変化させない。本実施形態では、運転支援装置１００は、車線変更が終わったときに進路変更なし（ステップＳ３０３；ＮＯ）と判断して、切り出し領域４０１を基準位置に戻すように移動させる。

ここで、基準位置とは、自車両の進路に変更がない状態、言い換えれば、運転支援装置１００の電源が投入された直後のデフォルト位置であり、画像処理部１０３が予め設定したホームポジションである。なお、画像処理部１０３は、切り出し領域４０１をホームポジションに戻す際にも、徐々に連続的に移動させ、映像が途中でコマ落ちのように非連続的にならないようにする。

画像処理部１０３は、設定した切り出し領域４０１に含まれる画像データを、切り出し画像データ２０２として抽出する（ステップＳ３０５）。

次に、制御部１０７は、自車両が進路変更する際の危険度を示す情報（運転支援データ）を求める（ステップＳ３０６）。

詳細には、制御部１０７は、切り出し画像データ２０２における所定の点の自車両からの距離を計算し、自車両からの距離の目安となる線（以下、「危険度目安線」と呼ぶ）６０１の位置を求める。危険度目安線６０１は、ユーザーにとって自車両が車線変更や進路変更する際にどの程度危険か（安全か）を示す情報（運転支援データ）となる。例えば、図６（ａ）に示すように、制御部１０７は、切り出し画像データ２０２に位置関係がきちんとおさまるように危険度目安線６０１（図中では６０１Ａ、６０１Ｂ、６０１Ｃと表記）を引く位置を決める。典型的には、制御部１０７は、自車両の最後部から所定の距離間隔（例えば１０メートル間隔など）で、切り出し画像データ２０２内の点と実際の距離とを対応させて、図６（ｂ）に示すような危険度目安線６０１をモニター１２３に表示する位置を決める。

また、制御部１０７は、自車両に対する他車両２１３の相対速度に応じて、危険度目安線６０１を引く位置を変える。すなわち、相対速度が大きい場合には自車両付近まで到達するまでの時間が短くなるため、危険度目安線６０１の間隔を広くし、相対速度が小さい場合には危険度目安線６０１の間隔を狭くする。

本実施形態では、制御部１０７は、複数の危険度目安線６０１の位置を求め、最も自車両に近い危険度目安線６０１（図６（ａ）では６０１Ａ）の色を赤にして太めの線状の図形にする。さらに、自車両から遠ざかるにつれて色を赤色／黄色／青色のように色分けし、且つ、線の太さをだんだんと細くしていく。また、制御部１０７は、測定部１０２によって測定された他車両２１３の位置や速度（相対速度）に応じて危険度のレベルを判定し、判定結果によって危険度目安線６０１を強調して表示するように制御する。

なお、運転支援データである危険度目安線６０１の数、色、形状、長さ、太さ、大きさ、距離間隔などを任意に変更した実施形態を採用することも可能であるが、このような変形例も本発明の範囲に含まれる。また、危険度目安線６０１を点滅させたり色を時間毎に変えたりしてもよい。また、画像処理部１０３が危険度目安線６０１を含む画像を出力するとともに、音声処理部１０４がスピーカー１２４から警告音・お知らせ音声などを再生するように構成してもよい。

運転支援データは危険度目安線６０１に限られず、他の情報も含めることができる。例えば、図６（ｃ）に示すように、それぞれの危険度目安線６０１に対応づけて実際の距離の目安を表す文字情報等を加えることもできる。

応用例として、制御部１０７は、後方から他車両２１３が接近してくる場合、その他車両の推定速度や、自車両付近まで到達するであろう推定時間なども計算し、危険度目安線６０１と合わせて運転支援データとすることもできる。

他の応用例として、画像処理部１０３は、後方に他車両２１３が接近している場合、記憶部１０６に予め記憶された様々な車両の車種や車体の大きさなどを判別できるデータを元に、パターンマッチングなどの画像処理の手法により他車両の車種や車体などを判別し、制御部１０７は、画像処理部１０３によって判別された車種や車体などの情報も運転支援データの１つとして用いることもできる。例えば、画像処理部１０３は、後方から接近してくる他車両を、バイクなどの軽車両／普通車両／トラックなどの大型車両、のように分類して、制御部１０７は、この分類結果を運転支援データの１つとすることができる。例えば、図６（ｄ）に示すように、車種の分類と、その車種の他車両２１３が接近する場合にユーザーに報知する情報６０２を、記憶部１０６が予め記憶し、制御部１０７はこの情報を元に運転支援データを生成する。分類の仕方は任意であり、ユーザーに報知する情報６０２を文字や画像により出力してもよいし、音声等により出力してもよい。このようにすれば、判別した車種によって、バイクなら「巻き込み注意」、大型車なら「視界悪化に注意」などのように、ユーザーに提供できる情報を状況によって相応しい内容に変えることができる。提供する情報の内容は任意に変更してよい。車種や車体などを判別する手法はこれに限られない。

このようにして制御部１０７は、自車両の後方への距離間隔をユーザーが得やすいように支援するために有用な運転支援データを生成する。すなわち、制御部１０７は、測定部１０２により測定された情報に基づいて自車両が進路変更する際の危険度を示す情報を生成する生成部として機能する。

そして、画像処理部１０３は、切り出し画像データ２０２と、制御部１０７がステップＳ３０６で求めた運転支援データ（危険度を示すデータ）とを出力する（ステップＳ３０７）。すなわち、画像処理部１０３は、危険度を示す情報と切り出し画像データ２０２とを出力する出力部として機能する。例えば、画像処理部１０３は、図６（ａ）に示すような画像をモニター１２３に出力する。これにより、ユーザーは、自車両の後方の映像と共に、安全運転のために有用な運転支援データを参照しながら、危険を回避して運転することができる。

このように、本実施形態によれば、運転支援装置１００は、車両のドライバーの運転操作を支援するために有用な情報を提供することができる。なお、本実施形態では、自車両が車線変更する際に本発明を適用したケースを説明したが、これは一例に過ぎず、本発明の内容を限定するものではない。車線変更を行わない運転時などでも、同様の運転支援処理を行うことができることは言うまでもない。

なお、本実施形態では、測定部１０２は自車両の後方を走行する他車両の位置・相対速度を測定しているが、自車両が後退している場合には、後方に存在する障害物、固定物、通行人などの位置や速度を測定してもよい。この場合にも、同様の運転支援処理を行ってドライバーに安全運転のために有益な情報を提供することができる。例えば、自車両をバックさせるときに、後方の障害物等を避けて後退するために有用な情報をドライバーに提供できる。

（実施形態２）
次に、本発明のその他の実施形態について説明する。本実施形態では、危険度を示す情報（運転支援データ）の提供の仕方が異なる。その他の構成は上述の実施形態と同様であるため、共通部分については同じ参照番号を用い、重複する部分の説明は省略する。

図７は、本実施形態において、画像処理部１０３が生成する切り抜き画像データ２０２と運転支援データの例である。本図のように、運転支援データは、危険度目安領域７０１（図中では７０１Ａ、７０１Ｂ、７０１Ｃと表記）を含む。危険度目安領域７０１は、危険度目安線６０１と同様に、自車両からの距離の目安となる情報であり、形状は矩形である。制御部１０７は、自車両の最後部から所定の距離間隔（例えば１０メートル間隔など）で、切り出し画像データ２０２内の点と実際の距離とを対応させ、距離範囲によっていくつかの領域に分け、それぞれの領域を危険度目安領域７０１とする。例えば、自車両の最後部から実際の距離がＬ１までの領域を危険度目安領域７０１Ａ、距離がＬ１からＬ２までの領域を危険度目安領域７０１Ｂ、というように分ける。また、制御部１０７は、測定部１０２によって測定された他車両２１３の位置や速度（相対速度）に応じて危険度のレベルを判定し、判定結果によって危険度目安領域７０１を強調して表示するように制御する。そして、画像処理部１０３は、それぞれの危険度目安領域７０１に異なる表示色を対応させ、切り出し画像データ２０２と合成してモニター１２３に映し出す画像データを生成する。

また、制御部１０７は、自車両に対する他車両２１３の相対速度に応じて、危険度目安領域７０１を分ける位置を変える。すなわち、相対速度が大きい場合には危険度目安領域７０１を分ける位置の間隔を広くし、相対速度が小さい場合には危険度目安領域７０１を分ける位置の間隔を狭くしてもよい。

なお、それぞれの危険度目安領域７０１の表示の仕方はこれに限られない。例えば、危険度目安領域７０１の数、色、形状、長さ、大きさ、距離間隔などを任意に変更した実施形態を採用することも可能であるが、このような変形例も本発明の範囲に含まれる。また、危険度目安領域７０１を点滅させたり色を時間毎に変えたりしてもよい。画像処理部１０３が危険度目安領域７０１を含む画像を出力するとともに、音声処理部１０４がスピーカー１２４から警告音・お知らせ音声などを再生するように構成してもよい。

（実施形態３）
次に、本発明のその他の実施形態について説明する。本実施形態では、受付部１０５が自車両の運転状況を示す情報１５１として受け付ける情報の内容が上述の実施形態と異なる。以下詳述する。

受付部１０５は、自車両に取り付けられた方向指示器（ウインカー）から入力される方向指示信号を、自車両の運転状況を示す情報１５１として受け付ける（ステップＳ３０２）。

そして、制御部１０７は、受付部１０５が受け付けた方向指示信号に基づいて、自車両の進路に変更があるか否かを判断する（ステップＳ３０３）。例えば、自車両の方向指示器が右側（あるいは左側）への進路変更を示す場合に、受付部１０５はこの方向指示信号を受け取った旨を制御部１０７に入力し、制御部１０７は自車両の進路が右側（あるいは左側）に変更されると判断する。

受付部１０５が方向指示信号を受け付けたときに、上述の運転支援処理を開始するように構成することもできる。

なお、その他の構成は上述の実施形態と同様であるため、重複する部分の説明は省略する。

また、受付部１０５は、運転支援装置１００と互いに接続されたカーナビゲーションシステム、道路交通情報通信システムなどから入力される道案内（ナビゲーション）情報、位置情報、交通情報、気象情報、道路情報などの制御信号を、自車両の運転状況を示す情報１５１として受け付けてもよい。そして、制御部１０７は、受付部１０５が受け付けた制御信号に基づいて、自車両の進路に変更があるか否かを判断するように構成してもよい。また、受付部１０５がこれらの制御信号を受け付けたときに、上述の運転支援処理を開始するように構成することもできる。

例えば、カーナビゲーションシステム等による道案内情報が、所定時間以内に自車両が右左折すべき旨の情報を示している場合、制御部１０７は自車両の進路に変更があると判断することができる。画像処理部１０３が切り抜き画像データ２０２を移動させる向きは、自車両から右左折すべき旨の情報の示す向きであることが望ましい。

例えば、カーナビゲーションシステム等による位置情報が、高速道路等の出入り口（インターチェンジ）、料金所、検札所、合流地点、分岐地点（ジャンクション）、休憩所（サービスエリアやパーキングエリア）、バス停、信号機、交差点などの所定の道路施設・道路ポイントから自車両が所定距離以内の位置にある旨の情報を示している場合、制御部１０７は自車両の進路に変更があると判断することができる。この場合、制御部１０７は、自車両の進路に変更がある可能性があり、これによって自車両の進路に変更があるとみなして、上述の運転支援処理を行うことができる。画像処理部１０３が切り抜き画像データ２０２を移動させる向きは、自車両からこれらの道路施設・道路ポイントに近い向きであることが望ましい。

例えば、道路交通情報通信システム等による交通情報が、ある地点で道路工事、交通事故、交通渋滞等がある旨の情報を示している場合、制御部１０７は自車両の進路に変更がある（あるいは変更の可能性がある）と判断することができる。画像処理部１０３が切り抜き画像データ２０２を移動させる向きは、道路工事、交通事故、交通渋滞等がある旨の情報の示す向きであることが望ましい。

例えば、道路交通情報通信システム等による気象情報が、走行中の地域が雨、雪、霧などで視界が良くない旨の情報を示している場合、制御部１０７は自車両の進路に変更がある（あるいは変更の可能性がある）と判断することができる。

例えば、自車両が走行している道路の車線数（２車線、３車線など）や、複数の車線が合流する位置などといった、道路交通情報通信システム等による道路情報が、走行中の車線数に増減がある旨、あるいは合流や分岐等がある旨の情報を示している場合、制御部１０７は自車両の進路に変更がある（もしくは変更の可能性がある）と判断することができる。

また、受付部１０５は、自車両に備え付けられた速度計、加速度計、エンジンなどの回転速度計、制動装置（ブレーキ）などから入力される自車両の速度データ、加速度データ、回転速度データ、ブレーキ信号などを、自車両の運転状況を示す情報１５１として受け付けてもよい。そして、制御部１０７は、受付部１０５が受け付けた速度データ、加速度データ、回転速度データ、ブレーキ信号に基づいて、自車両の進路に変更があるか否かを判断するように構成してもよい。また、受付部１０５がこれらの制御信号を受け付けたときに、上述の運転支援処理を開始するように構成することもできる。

本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。

例えば、図８は、モニター１２３に映し出される画面８００の構成例である。モニター１２３には、切り出し画像データ２０２と運転支援データである危険度目安線６０１（危険度目安領域７０１でもよい）とを合成した画像データを表示する情報表示領域８０１と、切り出し領域４０１に対応する視野範囲８０５を示す視野表示領域８０２と、メッセージ表示領域８０３とがある。このように、モニター１２３に映し出された映像が自車両８０４からどのアングルで写したものなのかを視野表示領域８０２で表示することにより、ユーザーはモニター１２３の映し出す映像がどの向きの映像なのか見失うことがない。なお、本図は一例に過ぎず、画面８００の構成は自由に変更してよい。

上述した実施形態では、カメラ１２１は自車両後方のナンバープレート付近や後部ガラス付近に設置されるとしたが、設置場所はこれに限られない。例えば、サイドミラー付近にカメラ１２１を設置して自車両後方を撮影するようにしてもよい。この場合、運転中のドライバーのいる側と反対側のサイドミラー付近にカメラ１２１を設置して、ドライバーにとって死角になりやすい方向の映像を撮影しやすくすることが望ましい。

上述した実施形態では、画像処理部１０３は自車両の進路に変更があると判断した場合に切り出し領域４０１を移動させるが、受付部１０５に接続された操作パネル１２５のユーザーによる操作に基づいて移動させてもよい。例えば、自車両の進路の変更に関わらず、受付部１０５がユーザーからモニター１２３に映し出される表示アングルを変更する旨の指示を受け付けて、指示された向きに画像処理部１０３が切り出し領域４０１を変更してもよい。

上述した実施形態では、カメラ１２１は常に後方画像を撮影しているが、撮影するタイミングを任意に変えてもよい。例えば、ステップＳ３０３で自車両の進路に変更があると判別されたときに、カメラ１２１で撮影を開始するようにしてもよい。

上述した実施形態では、測定部１０２は自車両に対する他車両２１３の相対速度を測定しているが、他車両２１３の絶対速度を測定するようにしてもよい。

運転支援装置１００を装置の全部又は一部として動作させるためのプログラムを、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

以上説明したように、この発明によれば、車両のドライバーの運転操作を分かりやすく且つ低コストで支援するために好適な運転支援装置、運転支援方法、及び、プログラムを提供することができる。

運転支援装置の構成を説明するための図である。 カメラで撮影された画像データの例である。 運転支援処理を説明するためのフローチャートである。 （ａ）カメラで撮影された撮影画像データと切り出し領域の例を示す図である。（ｂ）切り出し画像データの例である。 （ａ）カメラで撮影された撮影画像データと切り出し領域の例を示す図である。（ｂ）切り出し画像データの例である。 （ａ）切り出し画像データと危険度を示す情報を合成した画像データの例である。（ｂ）危険度を示す運転支援データの例である。（ｃ）危険度を示す運転支援データの例である。（ｄ）ユーザーに報知する情報の例である。 切り出し画像データと危険度を示す情報を合成した画像データの例である。 モニターに映し出される画面の構成例である。

符号の説明

１００ 運転支援装置
１０１ 撮影部
１０２ 測定部
１０３ 画像処理部（抽出部、出力部）
１０４ 音声処理部
１０５ 受付部（通知部）
１０６ 記憶部
１０７ 制御部（生成部）
１０８ システムバス
１２１ カメラ
１２２ 距離測定器
１２３ モニター
１２４ スピーカー
１２５ 操作パネル
１５１ 運転状況を示す情報
２０１ 撮影画像データ
２０２ 切り出し画像データ
４０１ 切り出し領域（所定領域）
６０１ 危険度目安線（危険度を示す情報）
６０２ ユーザーに報知する情報
７０１ 危険度目安領域（危険度を示す情報）
８００ 画面
８０１ 情報表示領域
８０２ 視野表示領域
８０３ メッセージ表示領域
８０４ 自車両
８０５ 視野範囲

Claims (11)

1. 自車両の後方を撮影するカメラと、
   当該自車両の運転状況を示す情報の入力を受け付ける受付部と、
   前記カメラで撮影されて得られた撮影画像データから、所定領域の画像データを抽出する抽出部と、
   前記抽出部により抽出された画像データを出力する出力部と、
   を備え、
   前記抽出部は、前記受付部が受け付けた当該運転状況を示す情報に基づいて、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
   ことを特徴とする運転支援装置。
2. 当該自車両の周辺の他車両の位置と速度を測定する測定部と、
   前記測定部により測定された当該位置と当該速度に基づいて、当該自車両が進路変更する際の危険度を示す情報を生成する生成部と、
   をさらに備え、
   前記出力部は、前記生成部により生成された当該危険度を示す情報と、前記抽出部により抽出された画像データとを出力する、
   ことを特徴とする、請求項１に記載の運転支援装置。
3. 当該撮影画像データから、当該自車両が走行する道路上の道路標示を識別し、当該自車両が当該道路標示から所定距離範囲内にある場合、当該自車両が当該道路標示から所定距離範囲内にある旨を通知する通知部をさらに備え、
   前記受付部は、当該自車両の運転状況を示す情報として、当該通知部による通知を含む情報を受け付け、
   前記抽出部は、当該通知が示す当該道路標示がある向きに当該所定領域を移動させる、
   ことを特徴とする、請求項２に記載の運転支援装置。
4. 当該他車両の種類を判別するための情報と、ユーザに報知する情報とを記憶する記憶部をさらに備え、
   前記生成部は、前記記憶部に記憶された当該他車両の種類を判別するための情報に基づいて当該他車両の種類を判別し、判別結果に応じて当該ユーザに報知する情報を選択し、当該自車両が進路変更する際の危険度を示す情報を生成する、
   ことを特徴とする、請求項２に記載の運転支援装置。
5. 前記生成部は、前記抽出部により抽出された画像データにおける、当該自車両からの実際の距離を示す図形を配置する位置を求め、当該図形と当該位置を含む情報を、当該危険度を示す情報として生成する、
   ことを特徴とする、請求項２に記載の運転支援装置。
6. 前記生成部は、前記抽出部により抽出された画像データに当該図形を複数配置し、前記測定部により測定された当該他車両の速度が大きければ大きいほど、当該図形を配置する間隔を広くする、
   ことを特徴とする、請求項５に記載の運転支援装置。
7. 前記受付部は、当該自車両の運転状況を示す情報として、当該自車両の方向指示器がどの方向を指しているかを示す情報を含む方向指示情報の入力を受け付け、
   前記抽出部は、当該方向指示情報が示す向きに当該所定領域を移動させる、
   ことを特徴とする、請求項２に記載の運転支援装置。
8. 前記受付部は、当該自車両の運転状況を示す情報として、当該自車両の速度を示す情報と、加速度を示す情報と、エンジンの回転速度を示す情報と、ブレーキをかけた旨を示す情報と、のうち少なくとも１つ以上を含む運転情報の入力を受け付け、
   前記抽出部は、当該運転情報に基づいて、当該所定領域を移動させる、
   ことを特徴とする、請求項２に記載の運転支援装置。
9. 前記受付部は、当該自車両の運転状況を示す情報として、道案内情報と、位置情報と、交通情報と、気象情報と、道路情報と、のうち少なくとも１つ以上を含む運転情報の入力を受け付け、
   前記抽出部は、当該運転情報に基づいて、当該所定領域を移動させる、
   ことを特徴とする、請求項２に記載の運転支援装置。
10. 自車両の後方を撮影する撮影ステップと、
    前記撮影ステップにより撮影されて得られた撮影画像データから所定領域の画像データを抽出する抽出ステップと、
    前記抽出ステップにより抽出された画像データを出力する出力ステップと、
    を備え、
    前記抽出ステップは、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
    ことを特徴とする運転支援方法。
11. コンピュータを、
    自車両の運転状況を示す情報の入力を受け付ける受付部、
    当該コンピュータに接続されたカメラで撮影されて得られた撮影画像データから、所定領域の画像データを抽出する抽出部、
    前記抽出部により抽出された画像データを出力する出力部、
    として機能させ、
    前記抽出部は、前記受付部が受け付けた当該自車両の運転状況を示す情報に基づいて、当該自車両の進路の変更する向きに、当該撮影画像データ内の当該所定領域を移動させる、
    ことを特徴とするプログラム。

Images