JP2004127182A - 車両用周辺監視装置 - Google Patents
車両用周辺監視装置 Download PDFInfo
- Publication number
- JP2004127182A JP2004127182A JP2002294020A JP2002294020A JP2004127182A JP 2004127182 A JP2004127182 A JP 2004127182A JP 2002294020 A JP2002294020 A JP 2002294020A JP 2002294020 A JP2002294020 A JP 2002294020A JP 2004127182 A JP2004127182 A JP 2004127182A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- vehicle
- departure
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】画像処理を行う画像処理ユニットの構成の簡単に、かつ、安価にすることができる車両用周辺監視装置を提供する。
【解決手段】画像処理ユニット２２は、自車両に搭載されたカメラ１０によって撮像された画像を複数種の画像処理して、複数種の車両周辺の監視を行う。画像処理ユニット２２内のＣＰＵ２２Ａは、自車両の走行状態に応じて、複数種の車両周辺監視のうち、何れか１つを選択し、選択された監視による画像処理を行わせ、選択されなかった監視による画像処理を停止させる。
【選択図】 図１
【解決手段】画像処理ユニット２２は、自車両に搭載されたカメラ１０によって撮像された画像を複数種の画像処理して、複数種の車両周辺の監視を行う。画像処理ユニット２２内のＣＰＵ２２Ａは、自車両の走行状態に応じて、複数種の車両周辺監視のうち、何れか１つを選択し、選択された監視による画像処理を行わせ、選択されなかった監視による画像処理を停止させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、車両用周辺監視装置に係わり、特に、車両に搭載された撮像手段が撮像した画像を画像処理することにより、周辺監視を行う車両用周辺監視装置に関する。
【０００２】
【従来の技術】
例えば、高速道路などの道路を走行中に運転者が、自車両に接近してくる他車両（接近物）を見落として走行していると、これが原因となり大事故につながる可能性が極めて高い。
【０００３】
そこで、従来より、このような問題を解決するための技術として、車両に搭載されたカメラなどの撮像手段が撮像した画像を画像処理して、自車両に近づいてくる接近物を検出し、検出した接触物との接触の危険性があるか否かを判断する接近物監視を行う車両用周辺監視装置が知られている。接触物の検出としては、特許文献１に記載されたオプティカルフロー式や、カメラを２台用いたステレオ式のものなどさまざまなものが提案されている。
【０００４】
また、車両の運転は常に安定した心身にて行われることが望まれるが、近年、道路網の発達や余暇の増加などによって車両を運転する人たちが増えてきている関係で、自己の体調不良や睡眠不足を自覚しながらもこれを軽視してハンドルを握ることが多くなってきている。このような体調を無視した運転や、長時間の連続運転が行われると、運転者の疲労が蓄積して集中力が低下することによって、事故を引き起こす可能性が高くなる。
【０００５】
特に、高速道路での運転は、ハンドル操作が単調となり、運転者が居眠りを始める可能性が高まる。運転者の居眠りは、車線逸脱の原因となり重大事故を引き起こす恐れがある。
【０００６】
そこで、従来より、このような問題を解決するための技術として、車両に搭載されたカメラなどの撮像手段が撮像した画像を画像処理して、自車線の両側に位置する白線を検出し、検出した白線に基づき、車線逸脱の可能性があるか、若しくは、車線逸脱しているかを判断する逸脱監視を行う車両用周辺監視装置が知られている。
【０００７】
【特許文献１】
特開平７−５０７６９号公報
【特許文献２】
特開２０００−１１２９８公報
【０００８】
【発明が解決しようとする課題】
ところで、上述した接近物監視及び逸脱監視は共に、車両が前進しているときに（主に高速道路で）、その機能を発揮すべきものである。また、車両が前進しているとき、その機能を発揮すべきものは、接近物監視及び逸脱監視以外にも考えられる。そこで、これらの機能を同時に発揮させる方法として、複数の画像処理ユニットを搭載する方法と、１つの画像処理ユニットによって複数の画像処理を並列に行わせる方法とがある。
【０００９】
しかしながら、複数の画像処理ユニットを搭載する方法は、複数の画像処理用マイクロコンピュータ（μＣＯＭ）及び複数の画像一時格納メモリが必要になってしまう。画像一時格納メモリは複数の画像処理用μＣＯＭで兼用する可能性もあるが、読み出し、書き込みのタイミングを複数の画像処理用μＣＯＭ間で調整する必要が生じる。
【００１０】
また、１つの画像処理ユニットによって複数の画像処理を並列に行わせる方法は、処理速度が低下してリアルタイム性や精度を損なう恐れがある。それを避けるために、より高精度の画像処理用μＣＯＭを採用した場合、そのμＣＯＭ自体が高価であったり、高速度動作のための電磁障害が生じる危険性が高いという問題点があった。
【００１１】
そこで、本発明は、上記のような問題点に着目し、画像処理を行う画像処理ユニットの構成の簡単に、かつ、安価にすることができる車両用周辺監視装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、前記自車両の走行状態に応じて、前記複数の監視手段のうち、何れか１つを選択する選択手段と、前記選択手段により選択された監視手段による画像処理を行わせ、前記選択されなかった監視手段による画像処理を停止させる第１制御手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００１３】
請求項１記載の発明によれば、自車両に搭載された撮像手段によって撮像された画像を画像処理して、車両周辺の監視を行う監視手段が、複数備えられている。選択手段が、自車両の走行状態に応じて、複数の監視手段のうち、何れか１つを選択する。第１制御手段が、選択手段により選択された監視手段による画像処理を行わせ、選択されなかった監視手段による画像処理を停止させる。従って、複数の監視手段のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、車両の走行状態に応じて最も必要となる監視手段による画像処理を行うことができ、しかも、同時に複数の監視手段による画像処理を行わせることがなくなる。
【００１４】
請求項２記載の発明は、請求項１記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、前記選択手段は、自車両が前進中であり、かつ、方向指示灯がオンしているとき、前記接近監視手段を選択し、前記自車両が前進中であり、かつ、前記方向指示灯がオフしているとき、前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００１５】
請求項２記載の発明によれば、複数の監視手段として、接近監視手段及び逸脱監視手段を含む。ところで、接近物を見落として車線変更を行うことは非常に危険である。また、自車線を直進しているときは、ハンドル操作が単調となり、車線逸脱の可能性が高まる。以上のことに着目し、選択手段が、自車両が前進中であり、かつ、方向指示灯がオンしているとき、接近監視手段を選択し、自車両が前進中であり、かつ、方向指示灯がオフしているとき、逸脱監視手段を選択する。従って、接近物を見落としてはならない車線変更時には接近監視手段による画像処理を行わせることができ、車線逸脱の可能性が高まる自車線直進時には逸脱監視手段による画像処理を行わせることができる。
【００１６】
請求項３記載の発明は、請求項２記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両の後退支援を行うための画像処理を行う後退監視手段をさらに含み、前記選択手段は、ギアがリバースに入っているとき、前記後退監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００１７】
請求項３記載の発明によれば、複数の監視手段として、後退監視手段をさらに含む。選択手段は、ギアがリバースに入っているとき、後退監視手段を選択する。従って、後退時には、後退監視手段による画像処理を行わせることができる。
【００１８】
請求項４記載の発明は、請求項２又は３記載の車両用周辺監視装置であって、前記選択手段は、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記接近監視手段を選択する選択動作を行うことを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項４記載の発明によれば、選択手段は、逸脱監視手段を選択した後、その逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、接近監視手段を選択する選択動作を行う。従って、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。
【００２０】
請求項５記載の発明は、請求項４記載の車両用周辺監視装置であって、前記選択手段は、前記選択動作を行った後に、前記ステアリング角が旋回状態から直進状態に戻ったことに応じて、再び前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００２１】
請求項５記載の発明によれば、選択手段が、選択動作を行った後に、ステアリング角が旋回状態から直進状態に戻ったことに応じて、再び逸脱監視手段を選択する。従って、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて接近監視手段が選択された後に、ステアリング角が旋回状態から直進状態に戻る、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができる。
【００２２】
請求項６記載の発明は、請求項４記載の車両用周辺監視装置であって、前記逸脱監視手段の画像処理結果に基づき、前記車両の横方向移動量を検出する横方向移動量検出手段と、前記選択動作が行われる直前の前記横方向移動量に基づき、車線変更が完了するまでの完了時間を推定する推定手段とをさらに備え、前記選択手段は、前記選択動作を行った後、前記推定した完了時期が経過すると、再び前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００２３】
請求項６記載の発明によれば、横方向移動量検出手段が、逸脱監視手段の画像処理結果に基づき、車両の横方向移動量を検出する。推定手段が、選択動作が行われる直前の横方向移動量に基づき、車線変更が完了するまでの完了時間を推定する。選択手段が、選択動作を行った後、推定した完了時期が経過すると、再び逸脱監視手段を選択する。従って、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて、接近監視手段が選択された後に、推定した完了時間が経過する、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができる。
【００２４】
請求項７記載の発明は、請求項２又は３記載の車両用周辺監視装置であって、前記選択手段が、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記第１制御手段による制御を停止させる制御停止手段と、前記第１制御手段による制御停止中に、前記逸脱監視手段及び前記接近監視手段による画像処理を時分割に行わせ、かつ、前記逸脱監視手段による画像処理頻度が前記接近監視手段による画像処理頻度より低くなるように画像処理を行わせる第２制御手段と、前記第２制御手段による制御中に、前記逸脱監視手段により、逸脱の危険性がない、若しくは、逸脱していないと判断できる監視結果が得られると、前記第１制御手段による制御を開始させる制御開始手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００２５】
請求項７記載の発明によれば、制御停止手段が、逸脱監視手段を選択した後、その逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、第１制御手段による制御を停止させる。第２制御手段が、第１制御手段による制御停止中に、逸脱監視手段及び接近監視手段による画像処理を時分割に行わせ、かつ、逸脱監視手段による画像処理頻度が接近監視手段による画像処理頻度より低くなるように画像処理を行わせる。制御開始手段が、第２制御手段による制御中に、逸脱監視手段により、逸脱の危険性がない、若しくは、逸脱していないと判断できる監視結果が得られると、第１制御手段による制御を開始させる。
【００２６】
従って、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。しかも、第２制御手段による制御中、逸脱監視手段により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、方向指示灯の点灯なしでの車線変更が完了すると、接近監視手段及び逸脱監視手段の両者による監視が行われている状態から、逸脱監視手段のみが行われている状態に戻ることができる。
【００２７】
請求項８記載の発明は、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、前記撮像手段が撮像した１枚の画像を複数の領域に分割する分割手段と、前記自車両の走行状態に応じて、前記複数の領域を前記複数の監視手段に割り振り、前記監視手段に、前記割り振られた領域について画像処理を行わせる第３制御手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００２８】
請求項８記載の発明によれば、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う監視手段が複数備えられている。分割手段が、撮像手段が撮像した１枚の画像を複数の領域に分割する。第３制御手段が、自車両の走行状態に応じて、複数の領域を複数の監視手段に割り振り、監視手段に、割り振られた領域について画像処理を行わせる。従って、１枚の画像を分割した別々の領域について画像処理が行われるため、２つの監視手段による画像処理を同時に行う場合でも、監視手段毎に専用の画像一時格納メモリを用意する必要がない。
【００２９】
請求項９記載の発明は、請求項８記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、前記制御手段は、方向指示灯がオンしているとき、左右ある方向指示灯のうち、オンしている側にある前記領域を前記接近監視手段に割り振り、オンしている側と反対側にある前記領域を前記逸脱監視手段に割り振ることを特徴とする車両用周辺監視装置に存する。
【００３０】
請求項９記載の発明によれば、複数の監視手段として、接近監視手段及び逸脱監視手段を含む。車線変更するときは、左右方向指示灯のうち、オンしている側、つまり、回転方向側の接近物を検出すればよいことに着目し、左右方向指示灯のうち、オンしている側にある領域を接近監視手段に割り振り、オンしている側と反対側にある領域を逸脱監視手段に割り振る。従って、方向指示灯がオンしていて、接近監視を行う必要がある場合であっても、回転方向と反対側については逸脱監視を行うことができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。同図において、カメラ１０（撮像手段）は、レンズ１０Ａにより規定される画角範囲の画像をイメージプレーン１０Ｂ上に結像させる。カメラ１０は、イメージプレーン１０Ｂに結像された画像を、例えば、ｍ行ｎ列の画素データに変換して、画像入力部２１を介して、マイクロコンピュータ（μＣＯＭ）２２に出力する。
【００３２】
上記μＣＯＭ２２は、制御プログラムに従って動作するＣＰＵ２２Ａと、このＣＰＵ２２Ａの制御プログラム及び予め与えられる設定値などを保持するＲＯＭ２２Ｂと、ＣＰＵ２２Ａの演算実行時に必要なデータを一時的に保持するＲＡＭ２２Ｃとを有している。μＣＯＭ２２内のＣＰＵ２２Ａは、上述した画素データを一時的に格納する記憶部２３を用いて、周辺監視のための画像処理を実行する。上記記憶部２３は、第１〜第３フレームメモリ２３Ａ〜２３Ｃの３つのフレームメモリを有している。
【００３３】
また、ＣＰＵ２２Ａは、入力インタフェース（Ｉ／Ｆ）２４を介して、ギア位置検出センサ３０、車速センサ４０、ターンシグナル検出センサ５０と接続されている。ギア位置検出センサ３０は、車両のギア機構に取り付けられていて、ギア位置に応じたギア信号を出力する。
【００３４】
車速センサ４０は、車両のトランスミッション機構に取り付けられ、車両が単位距離走行する毎にパルスを出力する。また、ターンシグナル検出センサ５０は、車両のターンシグナル機構に取り付けられていて、運転者が車両を左右側に転回させる際に操作するターンシグナル（＝ウインカ）スイッチがオンするとシグナルオン信号を出力する。
【００３５】
また、ＣＰＵ２２Ａは、出力インタフェース（Ｉ／Ｆ）２５を介して、表示器６０及びスピーカ７０と接続されている。この表示器６０及びスピーカ７０を用いて、ＣＰＵ２２Ａは、車両周辺に関する情報を運転者に報知する。また、上述した画像入力部２１、画像処理用のμＣＯＭ２２、記憶部２３、入力Ｉ／Ｆ２４及び出力Ｉ／Ｆ２５が画像処理ユニット２２を構成している。
【００３６】
上述した構成の車両用周辺監視装置の動作について、以下説明する。
まず、ＣＰＵ２２Ａは、ギア位置検出センサ３０から出力されるギア信号に基づき、ギア位置を検出すると共に、車速センサ４０から出力されるパルスに基づき、車速を検出する。この結果、ギア位置がパーキング、リバース、ニュートラル以外であり、かつ、車速が閾値以上であれば、ＣＰＵ２２Ａは、車両が前進していると判断して、前進時監視処理を行う。
【００３７】
次に、上述した前進時監視処理におけるＣＰＵ２２Ａの処理手順を、図２を参照して以下説明する。
まず、ＣＰＵ２２Ａは、ターンシグナル検出センサ５０からシグナルオン信号が出力されていないとき、ターンシグナル（方向指示灯）がオフしている、つまり、運転者に自車線直進の意志があると判断して（ステップＳ１でＮ）、逸脱監視手段として働き、逸脱監視処理を行う（ステップＳ２）。
【００３８】
以下、逸脱監視処理におけるＣＰＵ２２Ａの動作を説明する。まず、ＣＰＵ２２Ａは、カメラ１０から供給される、例えば、図３に示す画素データを、第１フレームメモリ２３Ａに記憶する。図３に示す画像データは、道路１２０、道路１２０上に描かれた白線１２１〜１２５及び道路１２０の両脇に立設された壁１２６が、画面上における水平方向中心位置にて消失する画素データとなっている。
【００３９】
そして、ＣＰＵ２２Ａは、第１フレームメモリ２３Ａに記憶された画素データから自車線の両側に位置する白線を検出する白線検出を行う。具体的には、図３に示す画像の画素データに関し、そのｍ行ｎ列の画素の輝度値Ｉｍ、ｎを図３における水平方向に走査する。
【００４０】
そして、隣接する画素の輝度値Ｉｍ、ｍ＋１との差が所定輝度値以上のとき、輝度値Ｉｍ、ｎ＝１とし、所定輝度値以下のとき、輝度値Ｉｍ、ｎ＝０として、図４に示すような撮像画像上のエッジ部分のみの画像である微分画像を生成し、生成した微分画像を第１フレームメモリ２３Ａに上書きする。
【００４１】
微分画像が生成されると、この微分画像に対して図５に示すような基準線ＶＳＬを設定する。この基準線ＶＳＬは、微分画像上の水平方向における中心位置であって上下方向に、微分画像を縦断するように設定される。つまり、基準線ＶＳＬは、自車両が走行している自車線の白線１２２及び１２３によって区切られた車両の水平方向の中心に設定される。
【００４２】
基準線ＶＳＬが設定されると、自車両が走行すべき路線上の自車線の両側に位置する一対の白線１２２及び１２３を構成するエッジ点の探索を行う。この白線１２２及び１２３を構成するエッジ点の探索は、図５に示す画面の下端に位置する水平ラインＨ（ＬＯ）から上側に向かって行われる。すなわち、基準線ＶＳＬ上であって最下端の点Ｐ（ＳＯ）から、水平方向両端部に向けてエッジ点の検索を行う。そして、この探索により、基準線ＶＳＬの左側に存在する白線１２２のエッジを構成する点Ｐ（ＬＯ）及び基準線ＶＳＬの右側に存在する白線１２３のエッジを構成する点Ｐ（ＲＯ）が取得される。
【００４３】
続いて、最下端より２番目に位置する点Ｐ（Ｓ１）から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶＳＬの左側に存在する白線１２２のエッジを構成する点Ｐ（Ｌ１）及び基準線ＶＳＬの右側に存在する白線１２３のエッジを構成する点Ｐ（Ｒ１）が取得される。
【００４４】
このような処理を微分画像における上方に向けて順次エッジ点を抽出する。このとき、後続を走行する他車両を構成するエッジ点Ｐ（Ｌ（ｍ＋２））、Ｐ（Ｒ（ｍ＋２））、Ｐ（Ｌ（ｍ＋４））及びＰ（Ｒ（ｍ＋４））も抽出してしまうので、この抽出したエッジ点からさらに同一の直線上にあるもののみを抽出する。この結果、撮像画像において、自車両が走行すべき路面上の自車両の両側に位置する一対の白線１２２及び１２３を構成するエッジ点のみを抽出して、第１フレームメモリ２３Ａに上書きすることができる。
【００４５】
次に、ＣＰＵ２２Ａは、上述したように逸脱監視処理により検出した白線１２２及び１２３の位置に基づき、逸脱の危険性があるか、若しくは、逸脱しているかを判断する（ステップＳ３）。逸脱の危険性がある、若しくは、逸脱していると判断した場合（ステップＳ３でＹ）、ＣＰＵ２２Ａは、表示器６０及びスピーカ７０を用いて、その旨を運転者に報知する逸脱報知処理を行った後（ステップＳ４）、ステップＳ１に戻る。一方、逸脱の危険性がない、若しくは、逸脱していないと判断した場合（ステップＳ３でＮ）、ＣＰＵ２２Ａは、直ちにステップＳ１に戻る。
【００４６】
これに対して、ターンシグナル検出センサ５０からシグナルオン信号が出力されているとき、ＣＰＵ２２Ａは、ターンシグナルがオンしている、つまり、運転者に車線変更の意志があると判断して（ステップＳ１でＹ）、接近監視手段として働き、接近監視処理を行う（ステップＳ５）。
【００４７】
以下、オプティカルフロー方式を一例とした、接近監視処理におけるＣＰＵ２２Ａの動作について説明する。まず、ＣＰＵ２２Ａは、カメラ１０から出力された時間ｔにおける画素データを第１フレームメモリ２３Ａに記憶させる。さらに、時間Δｔ時間後に、時間ｔ＋Δｔに撮像された撮像画像の画素データを第２フレームメモリ２３Ｂに記憶させる。つまり、第１、第２フレームメモリ２３Ａ、２３Ｂには、所定時間Δｔ毎に撮像された画素データが順次記録される。
【００４８】
そして、第１フレームメモリ２３Ａに記憶されている画素データに関し、上述した逸脱監視処理と同様に白線を検出して、第３フレームメモリ２３Ｃに記憶させる。次に、ＣＰＵ２２Ａは、検出された白線１２２及び１２３の近似線を延長させて、その交点をＦＯＥとして設定する（図６参照）。ＦＯＥが設定されるとＣＰＵ２２Ａは、接近物を検出するためオプティカルフローを求める。
【００４９】
以下、オプティカルフローを求める手順を図６を参照して説明する。まず始めに第１フレームメモリ２３Ａに記憶されている時間ｔでの画素データにおいて、着目する１点に対し、この着目する１点を中心として上述したように設定したＦＯＥから放射線の方向（すなわちＦＯＥと着目する１点を結ぶ方向）に細長い窓を設定する（図６（ａ））。
【００５０】
次に、第２フレームメモリ２３Ｂに記憶されている時間ｔ＋Δｔでの画素データにおいて、窓をＦＯＥから放射線状の方向に一点づつ移動しながら、時間ｔで窓を構成する各画素について、該各画素に対応した時間ｔ＋Δｔでの窓を構成する各画素との輝度差の絶対値を求める。つまり、時間ｔでの画素Ｐ（図６（ａ））に対応した時間ｔ＋Δｔでの画素Ｑ（図６（ｂ））との輝度差の絶対値を求める。この求めた輝度差の総和が最小になったときの窓の移動量が、着目する一点のオプティカルフローとして求められる。
【００５１】
以上のような処理を画素データの全ての点において繰り返し行うことにより、画素データのオプティカルフローを求めることができる。求めたオプティカルフローは、第３フレームメモリ２３Ｃ内に上書きされ、接近監視処理を終了する。
【００５２】
次に、ＣＰＵ２２Ａは、求めたオプティカルフローに基づき、接近物との接触の危険性があるか否かの判断を行う（ステップＳ６）。求めたオプティカルフローの方向がＦＯＥに向かう方向ならば近接車線を走行する他車両又は後続を走行する他車両が自車線の速度より遅く、自車線から離れていく方向を示しており、反対にオプティカルフローの方向がＦＯＥに対して発散する方向である場合は自車線に接近していることを示す。
【００５３】
従って、ＣＰＵ２２Ａは、ＦＯＥから発散する方向のオプティカルフローの長さが所定の長さを超えたとき他車両が自車両に急接近しているとして（ステップＳ６でＹ）、表示器６０及びスピーカ７０を用いてその旨を運転者に伝える（ステップＳ７）。
【００５４】
なお、ＣＰＵ２２Ａは、定期的に、ギア位置検出センサ３０から出力されるギア信号に基づき、ギア位置を検出すると共に、車速センサ４０から出力されるパルスに基づき、車速を検出する。この結果、ギア位置がパーキング、リバース、ニュートラルであるか、または、車速が閾値未満であれば、上述した車両が前進していないと判断し、直ちに上記前進時監視処理を終了する。
【００５５】
以上の動作によれば、ＣＰＵ２２Ａは、自車両が前進中であり、かつ、ターンシグナルがオンしているような走行状態のとき、接近監視処理及び逸脱監視処理のうち、接近監視処理を選択し、接近監視処理を行わせると共に、逸脱監視処理を停止させている。また、自車両が前進中であり、かつ、ターンシグナルがオフしているような走行状態のとき、逸脱監視処理を選択し、逸脱監視処理を行わせると共に、接近監視処理を停止させている。このことから、ＣＰＵ２２Ａが、監視手段、選択手段及び第１制御手段として働くことが明らかである。
【００５６】
以上のように、逸脱監視処理及び接近監視処理のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、同時に２つの監視手段による画像処理を行わせることがなくなり、画像処理のリアルタイム性を向上することができる。また、２つのμＣＯＭを用いて２つの監視手段による画像処理を同時に行う必要も、各監視処理専用のフレームメモリを設ける必要がなく、画像処理ユニットの構成を簡単に、かつ、安価にすることができる。
【００５７】
また、接近物を見落としてはならない車線変更時には接近監視処理を行わせ、車線逸脱の可能性が高まる自車線直進時には逸脱監視処理を行わせることができる。このため、車両の走行状態に応じて適切な画像処理を行わせることができる。
【００５８】
なお、上述した実施形態では、車両前進時における監視処理について説明した。さらに、ギア位置がリバースになっているとき、ＣＰＵ２２Ａを後退監視手段として働かせ、後退支援を行うための画像処理を行わせることも考えられる。後退支援のための画像処理としては、カメラ１０が撮像した画像に、予測進路を重畳したりする処理などが考えられる。
【００５９】
また、上述した実施形態では、ターンシグナルのオンに応じて、監視処理の選択を逸脱監視処理から接近監視処理に切り替え、逸脱監視処理を停止して、接近監視処理を開始していた。しかしながら、ターンシグナルなしで車線変更を行ってしまう運転者もまれにいる。この場合、後続車に車線変更の意志が伝わらないため、後続車などの接近物を見落としたまま車線変更するとより一層危険である。
【００６０】
そこで、逸脱監視処理を行った結果、逸脱の危険性があるか、若しくは、逸脱していると判断された場合に、ターンシグナルなしで車線変更を行ってしまう恐れがあると判断して、ターンシグナルがオフであっても、接近監視処理を選択して、接近監視処理を開始すると共に、逸脱監視処理を停止することも考えられる。
【００６１】
この場合、ＣＰＵ２２Ａの処理手順としては、図７に示すフローチャートをステップＳ４とステップＳ１との間に挿入すれる形となる。つまり、ターンシグナルがオフであって（ステップＳ１でＮ）、逸脱監視処理を行った結果（ステップＳ２）、ＣＰＵ２２Ａが、逸脱の危険性がある、若しくは、逸脱していると判断して（ステップＳ３）、逸脱報知処理を行った後（ステップＳ４）、ターンシグナルなしで車線変更を行ってしまう恐れがあるとして、ステップＳ５と同様に接近監視処理を行う（ステップＳ８）。
【００６２】
この接近画像処理を行った結果、他車両が自車両に急接近していると判断した場合（ステップＳ９でＹ）、接近報知処理を行った後（ステップＳ１０）、ステップＳ１１に進み、自車両に急接近してくる他車両がないと判断した場合（ステップＳ９でＮ）、接近報知処理を行わず直ちにステップＳ１１に進む。
【００６３】
ステップＳ１１では、ターンシグナルなしでの車線変更が完了したか否かを判断し、完了していない場合（ステップＳ１１でＮ）、ステップＳ８に戻り、接近監視処理が繰り返される。これに対して、完了している場合（ステップＳ１１でＹ）、ステップＳ１に戻り、ここでターンシグナルオフと判断され（ステップＳ１でＮ）、ステップＳ２に進んで、接近監視処理から逸脱監視処理に切り替わる。
【００６４】
ＣＰＵ２２Ａは、ターンシグナルなしでの車線変更が完了したことを判断する方法としては以下に示す方法が考えられる。
まず、ステアリング角に応じた信号を出力する舵角センサとＣＰＵ２２Ａを接続することができれば、ステアリング角を監視して、ステアリング角が旋回状態から直進状態に戻ったことに応じて、車線変更が完了したと判断することが考えられる。
【００６５】
また、ＣＰＵ２２Ａを横方向移動量算出手段として働かせ、ステップＳ２の逸脱監視処理が行われた後、その逸脱監視処理によって検出された白線位置から車両の横方向の移動量を算出する横方向移動量算出処理を行わせる。さらに、ＣＰＵ２２Ａを推定手段として働かせ、ステップＳ４の逸脱報知処理が行われる直前に算出された横方向移動量に基づき、車線変更が完了するまでの完了時間を推定させる。そして、ステップＳ８に進んでから推定した完了時間が経過したことに応じて、車線変更が完了したと判断することが考えられる。
【００６６】
また、ターンシグナルなしの車線変更が行われる場合の対策として、さらに、図８に示すフローチャートをステップＳ４とステップＳ１との間に挿入すれる形が考えられる。つまり、ステップＳ４の逸脱報知処理を行った後、ターンシグナルなしで車線変更を行ってしまう恐れがあるとして、ステップＳ５と同様に接近監視処理を行う（ステップＳ１２）。
【００６７】
この接近画像処理を行った結果、他車両が自車両に急接近していると判断した場合（ステップＳ１３でＹ）、接近報知処理を行った後（ステップＳ１４）、ステップＳ１５に進み、自車両に急接近してくる他車両がないと判断した場合（ステップＳ１３でＮ）、接近報知処理を行わず直ちにステップＳ１５に進む。
【００６８】
ステップＳ１５においては、ＣＰＵ２２Ａは、ステップＳ１２の接近監視処理が１０回連続して繰り返されたか否かを判断し、１０回連続して繰り返されていなければ（ステップＳ１５でＮ）、再びにステップＳ１２に戻る。一方、１０回連続して繰り返されていれば（ステップ１５でＹ）、次に、上述した図２のステップＳ４と同様に逸脱監視処理を行う（ステップＳ１６）。
【００６９】
次に、ＣＰＵ２２Ａは、上述したように逸脱監視処理により検出した白線１２２及び１２３の位置に基づき、逸脱の危険性があるか、若しくは、逸脱しているかを判断する（ステップＳ１７）。逸脱の危険性がある、若しくは、逸脱していると判断した場合（ステップＳ１７でＹ）、ＣＰＵ２２Ａは、また、車線変更が完了していないと判断して、再びステップＳ１２に戻る。一方、逸脱の危険性がない、若しくは、逸脱していないと判断した場合（ステップＳ１７でＮ）、ＣＰＵ２２Ａは、車線変更が完了したと判断して、ステップＳ１に戻る。そして、ステップＳ１でターンシグナルオフと判断され（ステップＳ１でＮ）、ステップＳ２に進んで、逸脱監視処理のみが繰り返し行われる。
【００７０】
以上のように、ＣＰＵ２２Ａを制御停止手段、第２制御手段、制御開始手段として働かせることにより、方向指示灯の点灯なしで車線変更しようとしても、接近監視処理を行わせることができる。しかも、ステップＳ１２〜Ｓ１７の動作が行われている間、逸脱監視処理により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、ターンシグナルの点灯なしでの車線変更が完了すると、接近監視処理及び逸脱監視処理の両者による監視が時分割で行われ、かつ、接近監視処理による画像処理頻度＞逸脱監視処理による画像処理頻度となる状態から、逸脱監視処理のみが行われている状態に戻ることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７１】
また、上述した実施形態では、ターンシグナルがオンしているときは、接近監視処理による画像処理のみが行われていた。しかしながら、接近監視処理は、画像データ全体を画像処理する必要はなく、ターンシグナルが出されているサイドと反対側は、逸脱監視処理にを行ってもよい。具体的には、ＣＰＵ２２Ａを分割手段として働かせ、画像データを基準線ＶＳＬを中心とした右サイド領域と左サイド領域とに分割する。
【００７２】
さらに、ＣＰＵ２２Ａを第３制御手段として働かせ、右側のターンシグナルがオンしていれば、右側サイド領域を接近監視処理に、左側サイド領域を逸脱監視処理に割り振り、割り振られた領域について各々画像処理を行わせる。また、左側のターンシグナルがオンしていれば、左側サイド領域を接近監視処理に、右側サイド領域を逸脱監視処理に割り振る。
【００７３】
ただし、上述した接近監視処理において、ＦＯＥは、画像全体を画像処理して検出した白線に基づき設定していた。このため、画像全体を処理領域としなけらばならない。そこで、このように分割した右サイド領域または左サイド領域について画像処理を行う場合は、ＦＯＥを画像処理によらず設定する方法（例えば、予め定めるなど）や、ＦＯＥを用いないでオプティカルフローを検出する方法とる必要がある。
【００７４】
また、上述した実施形態では、接近監視処理としてオプティカルフロー方式を例に挙げて説明していたが、この場合に限らず画像処理を行って接近物の監視を行うものであれば何でもよい。さらに、上述した実施形態では、監視処理として、接近監視処理、逸脱監視処理、後退監視処理を例に挙げて説明していたが、この場合に限らず画像処理を行って車両周辺の監視を行うものであれば何でもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、複数の監視手段のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、車両の走行状態に応じて最も必要となる監視手段による画像処理を行うことができ、しかも、同時に複数の監視手段による画像処理を行わせることがなくなるので、各種監視手段として画像処理ユニットを用いた場合、画像処理ユニットの構成を簡単に、かつ、安価にすることができる車両用周辺監視装置を得ることができる。
【００７６】
請求項２記載の発明によれば、接近物を見落としてはならない車線変更時には接近監視手段による画像処理を行わせることができ、車線逸脱の可能性が高まる自車線直進時には逸脱監視手段による画像処理を行わせることができるので、車両の走行状態に応じて適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７７】
請求項３記載の発明によれば、後退時には、後退監視手段による画像処理を行わせることができるので、車両の走行状態に応じて適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７８】
請求項４記載の発明によれば、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７９】
請求項５記載の発明によれば、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて接近監視手段が選択された後に、ステアリング角が旋回状態から直進状態に戻る、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８０】
請求項６記載の発明によれば、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて、接近監視手段が選択された後に、推定した完了時間が経過する、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８１】
請求項７記載の発明によれば、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。しかも、第２制御手段による制御中、逸脱監視手段により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、方向指示灯の点灯なしでの車線変更が完了すると、接近監視手段及び逸脱監視手段の両者による監視が行われている状態から、逸脱監視手段のみが行われている状態に戻ることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８２】
請求項８記載の発明によれば、１枚の画像を分割した別々の領域について画像処理が行われるため、２つの監視手段による画像処理を同時に行う場合でも、監視手段毎に専用の画像一時格納メモリを用意する必要がないので、各種画像処理手段として画像処理ユニットを用いた場合、画像処理ユニットの構成を簡単に、かつ、安価にすることができる車両用周辺監視装置を得ることができる。
【００８３】
請求項９記載の発明によれば、方向指示灯がオンしていて、接近監視を行う必要がある場合であっても、回転方向と反対側については逸脱監視を行うことができるので、車両の走行状態に応じて適切な領域について適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の車両用周辺監視装置の一実施の形態を示すブロック図である。
【図２】図１に示すＣＰＵ２２Ａの前進時監視処理における処理手順を示すフローチャートである。
【図３】カメラ１０で撮像された画像を説明するための図である。
【図４】図３に示す画像の画像処理により生成された微分画像を説明するための図である。
【図５】白線を検出するための動作を説明する図である。
【図６】オプティカルフローを検出するための動作を説明するための図である。
【図７】図１に示すＣＰＵ２２Ａの前進監視処理における処理手順の一部を示すフローチャートである。
【図８】図１に示すＣＰＵ２２Ａの前進監視処理における処理手順の一部を示すフローチャートである。
【符号の説明】
１０ カメラ（撮像手段）
２２Ａ ＣＰＵ（監視手段、選択手段、第１制御手段、接近監視手段、逸脱監視手段、後退監視手段、横方向移動量検出手段、推定手段、制御停止手段、第２制御手段、制御開始手段、分割手段、第３制御手段）
【発明の属する技術分野】
この発明は、車両用周辺監視装置に係わり、特に、車両に搭載された撮像手段が撮像した画像を画像処理することにより、周辺監視を行う車両用周辺監視装置に関する。
【０００２】
【従来の技術】
例えば、高速道路などの道路を走行中に運転者が、自車両に接近してくる他車両（接近物）を見落として走行していると、これが原因となり大事故につながる可能性が極めて高い。
【０００３】
そこで、従来より、このような問題を解決するための技術として、車両に搭載されたカメラなどの撮像手段が撮像した画像を画像処理して、自車両に近づいてくる接近物を検出し、検出した接触物との接触の危険性があるか否かを判断する接近物監視を行う車両用周辺監視装置が知られている。接触物の検出としては、特許文献１に記載されたオプティカルフロー式や、カメラを２台用いたステレオ式のものなどさまざまなものが提案されている。
【０００４】
また、車両の運転は常に安定した心身にて行われることが望まれるが、近年、道路網の発達や余暇の増加などによって車両を運転する人たちが増えてきている関係で、自己の体調不良や睡眠不足を自覚しながらもこれを軽視してハンドルを握ることが多くなってきている。このような体調を無視した運転や、長時間の連続運転が行われると、運転者の疲労が蓄積して集中力が低下することによって、事故を引き起こす可能性が高くなる。
【０００５】
特に、高速道路での運転は、ハンドル操作が単調となり、運転者が居眠りを始める可能性が高まる。運転者の居眠りは、車線逸脱の原因となり重大事故を引き起こす恐れがある。
【０００６】
そこで、従来より、このような問題を解決するための技術として、車両に搭載されたカメラなどの撮像手段が撮像した画像を画像処理して、自車線の両側に位置する白線を検出し、検出した白線に基づき、車線逸脱の可能性があるか、若しくは、車線逸脱しているかを判断する逸脱監視を行う車両用周辺監視装置が知られている。
【０００７】
【特許文献１】
特開平７−５０７６９号公報
【特許文献２】
特開２０００−１１２９８公報
【０００８】
【発明が解決しようとする課題】
ところで、上述した接近物監視及び逸脱監視は共に、車両が前進しているときに（主に高速道路で）、その機能を発揮すべきものである。また、車両が前進しているとき、その機能を発揮すべきものは、接近物監視及び逸脱監視以外にも考えられる。そこで、これらの機能を同時に発揮させる方法として、複数の画像処理ユニットを搭載する方法と、１つの画像処理ユニットによって複数の画像処理を並列に行わせる方法とがある。
【０００９】
しかしながら、複数の画像処理ユニットを搭載する方法は、複数の画像処理用マイクロコンピュータ（μＣＯＭ）及び複数の画像一時格納メモリが必要になってしまう。画像一時格納メモリは複数の画像処理用μＣＯＭで兼用する可能性もあるが、読み出し、書き込みのタイミングを複数の画像処理用μＣＯＭ間で調整する必要が生じる。
【００１０】
また、１つの画像処理ユニットによって複数の画像処理を並列に行わせる方法は、処理速度が低下してリアルタイム性や精度を損なう恐れがある。それを避けるために、より高精度の画像処理用μＣＯＭを採用した場合、そのμＣＯＭ自体が高価であったり、高速度動作のための電磁障害が生じる危険性が高いという問題点があった。
【００１１】
そこで、本発明は、上記のような問題点に着目し、画像処理を行う画像処理ユニットの構成の簡単に、かつ、安価にすることができる車両用周辺監視装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、前記自車両の走行状態に応じて、前記複数の監視手段のうち、何れか１つを選択する選択手段と、前記選択手段により選択された監視手段による画像処理を行わせ、前記選択されなかった監視手段による画像処理を停止させる第１制御手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００１３】
請求項１記載の発明によれば、自車両に搭載された撮像手段によって撮像された画像を画像処理して、車両周辺の監視を行う監視手段が、複数備えられている。選択手段が、自車両の走行状態に応じて、複数の監視手段のうち、何れか１つを選択する。第１制御手段が、選択手段により選択された監視手段による画像処理を行わせ、選択されなかった監視手段による画像処理を停止させる。従って、複数の監視手段のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、車両の走行状態に応じて最も必要となる監視手段による画像処理を行うことができ、しかも、同時に複数の監視手段による画像処理を行わせることがなくなる。
【００１４】
請求項２記載の発明は、請求項１記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、前記選択手段は、自車両が前進中であり、かつ、方向指示灯がオンしているとき、前記接近監視手段を選択し、前記自車両が前進中であり、かつ、前記方向指示灯がオフしているとき、前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００１５】
請求項２記載の発明によれば、複数の監視手段として、接近監視手段及び逸脱監視手段を含む。ところで、接近物を見落として車線変更を行うことは非常に危険である。また、自車線を直進しているときは、ハンドル操作が単調となり、車線逸脱の可能性が高まる。以上のことに着目し、選択手段が、自車両が前進中であり、かつ、方向指示灯がオンしているとき、接近監視手段を選択し、自車両が前進中であり、かつ、方向指示灯がオフしているとき、逸脱監視手段を選択する。従って、接近物を見落としてはならない車線変更時には接近監視手段による画像処理を行わせることができ、車線逸脱の可能性が高まる自車線直進時には逸脱監視手段による画像処理を行わせることができる。
【００１６】
請求項３記載の発明は、請求項２記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両の後退支援を行うための画像処理を行う後退監視手段をさらに含み、前記選択手段は、ギアがリバースに入っているとき、前記後退監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００１７】
請求項３記載の発明によれば、複数の監視手段として、後退監視手段をさらに含む。選択手段は、ギアがリバースに入っているとき、後退監視手段を選択する。従って、後退時には、後退監視手段による画像処理を行わせることができる。
【００１８】
請求項４記載の発明は、請求項２又は３記載の車両用周辺監視装置であって、前記選択手段は、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記接近監視手段を選択する選択動作を行うことを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項４記載の発明によれば、選択手段は、逸脱監視手段を選択した後、その逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、接近監視手段を選択する選択動作を行う。従って、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。
【００２０】
請求項５記載の発明は、請求項４記載の車両用周辺監視装置であって、前記選択手段は、前記選択動作を行った後に、前記ステアリング角が旋回状態から直進状態に戻ったことに応じて、再び前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００２１】
請求項５記載の発明によれば、選択手段が、選択動作を行った後に、ステアリング角が旋回状態から直進状態に戻ったことに応じて、再び逸脱監視手段を選択する。従って、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて接近監視手段が選択された後に、ステアリング角が旋回状態から直進状態に戻る、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができる。
【００２２】
請求項６記載の発明は、請求項４記載の車両用周辺監視装置であって、前記逸脱監視手段の画像処理結果に基づき、前記車両の横方向移動量を検出する横方向移動量検出手段と、前記選択動作が行われる直前の前記横方向移動量に基づき、車線変更が完了するまでの完了時間を推定する推定手段とをさらに備え、前記選択手段は、前記選択動作を行った後、前記推定した完了時期が経過すると、再び前記逸脱監視手段を選択することを特徴とする車両用周辺監視装置に存する。
【００２３】
請求項６記載の発明によれば、横方向移動量検出手段が、逸脱監視手段の画像処理結果に基づき、車両の横方向移動量を検出する。推定手段が、選択動作が行われる直前の横方向移動量に基づき、車線変更が完了するまでの完了時間を推定する。選択手段が、選択動作を行った後、推定した完了時期が経過すると、再び逸脱監視手段を選択する。従って、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて、接近監視手段が選択された後に、推定した完了時間が経過する、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができる。
【００２４】
請求項７記載の発明は、請求項２又は３記載の車両用周辺監視装置であって、前記選択手段が、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記第１制御手段による制御を停止させる制御停止手段と、前記第１制御手段による制御停止中に、前記逸脱監視手段及び前記接近監視手段による画像処理を時分割に行わせ、かつ、前記逸脱監視手段による画像処理頻度が前記接近監視手段による画像処理頻度より低くなるように画像処理を行わせる第２制御手段と、前記第２制御手段による制御中に、前記逸脱監視手段により、逸脱の危険性がない、若しくは、逸脱していないと判断できる監視結果が得られると、前記第１制御手段による制御を開始させる制御開始手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００２５】
請求項７記載の発明によれば、制御停止手段が、逸脱監視手段を選択した後、その逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、第１制御手段による制御を停止させる。第２制御手段が、第１制御手段による制御停止中に、逸脱監視手段及び接近監視手段による画像処理を時分割に行わせ、かつ、逸脱監視手段による画像処理頻度が接近監視手段による画像処理頻度より低くなるように画像処理を行わせる。制御開始手段が、第２制御手段による制御中に、逸脱監視手段により、逸脱の危険性がない、若しくは、逸脱していないと判断できる監視結果が得られると、第１制御手段による制御を開始させる。
【００２６】
従って、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。しかも、第２制御手段による制御中、逸脱監視手段により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、方向指示灯の点灯なしでの車線変更が完了すると、接近監視手段及び逸脱監視手段の両者による監視が行われている状態から、逸脱監視手段のみが行われている状態に戻ることができる。
【００２７】
請求項８記載の発明は、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、前記撮像手段が撮像した１枚の画像を複数の領域に分割する分割手段と、前記自車両の走行状態に応じて、前記複数の領域を前記複数の監視手段に割り振り、前記監視手段に、前記割り振られた領域について画像処理を行わせる第３制御手段とを備えたことを特徴とする車両用周辺監視装置に存する。
【００２８】
請求項８記載の発明によれば、自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う監視手段が複数備えられている。分割手段が、撮像手段が撮像した１枚の画像を複数の領域に分割する。第３制御手段が、自車両の走行状態に応じて、複数の領域を複数の監視手段に割り振り、監視手段に、割り振られた領域について画像処理を行わせる。従って、１枚の画像を分割した別々の領域について画像処理が行われるため、２つの監視手段による画像処理を同時に行う場合でも、監視手段毎に専用の画像一時格納メモリを用意する必要がない。
【００２９】
請求項９記載の発明は、請求項８記載の車両用周辺監視装置であって、前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、前記制御手段は、方向指示灯がオンしているとき、左右ある方向指示灯のうち、オンしている側にある前記領域を前記接近監視手段に割り振り、オンしている側と反対側にある前記領域を前記逸脱監視手段に割り振ることを特徴とする車両用周辺監視装置に存する。
【００３０】
請求項９記載の発明によれば、複数の監視手段として、接近監視手段及び逸脱監視手段を含む。車線変更するときは、左右方向指示灯のうち、オンしている側、つまり、回転方向側の接近物を検出すればよいことに着目し、左右方向指示灯のうち、オンしている側にある領域を接近監視手段に割り振り、オンしている側と反対側にある領域を逸脱監視手段に割り振る。従って、方向指示灯がオンしていて、接近監視を行う必要がある場合であっても、回転方向と反対側については逸脱監視を行うことができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。同図において、カメラ１０（撮像手段）は、レンズ１０Ａにより規定される画角範囲の画像をイメージプレーン１０Ｂ上に結像させる。カメラ１０は、イメージプレーン１０Ｂに結像された画像を、例えば、ｍ行ｎ列の画素データに変換して、画像入力部２１を介して、マイクロコンピュータ（μＣＯＭ）２２に出力する。
【００３２】
上記μＣＯＭ２２は、制御プログラムに従って動作するＣＰＵ２２Ａと、このＣＰＵ２２Ａの制御プログラム及び予め与えられる設定値などを保持するＲＯＭ２２Ｂと、ＣＰＵ２２Ａの演算実行時に必要なデータを一時的に保持するＲＡＭ２２Ｃとを有している。μＣＯＭ２２内のＣＰＵ２２Ａは、上述した画素データを一時的に格納する記憶部２３を用いて、周辺監視のための画像処理を実行する。上記記憶部２３は、第１〜第３フレームメモリ２３Ａ〜２３Ｃの３つのフレームメモリを有している。
【００３３】
また、ＣＰＵ２２Ａは、入力インタフェース（Ｉ／Ｆ）２４を介して、ギア位置検出センサ３０、車速センサ４０、ターンシグナル検出センサ５０と接続されている。ギア位置検出センサ３０は、車両のギア機構に取り付けられていて、ギア位置に応じたギア信号を出力する。
【００３４】
車速センサ４０は、車両のトランスミッション機構に取り付けられ、車両が単位距離走行する毎にパルスを出力する。また、ターンシグナル検出センサ５０は、車両のターンシグナル機構に取り付けられていて、運転者が車両を左右側に転回させる際に操作するターンシグナル（＝ウインカ）スイッチがオンするとシグナルオン信号を出力する。
【００３５】
また、ＣＰＵ２２Ａは、出力インタフェース（Ｉ／Ｆ）２５を介して、表示器６０及びスピーカ７０と接続されている。この表示器６０及びスピーカ７０を用いて、ＣＰＵ２２Ａは、車両周辺に関する情報を運転者に報知する。また、上述した画像入力部２１、画像処理用のμＣＯＭ２２、記憶部２３、入力Ｉ／Ｆ２４及び出力Ｉ／Ｆ２５が画像処理ユニット２２を構成している。
【００３６】
上述した構成の車両用周辺監視装置の動作について、以下説明する。
まず、ＣＰＵ２２Ａは、ギア位置検出センサ３０から出力されるギア信号に基づき、ギア位置を検出すると共に、車速センサ４０から出力されるパルスに基づき、車速を検出する。この結果、ギア位置がパーキング、リバース、ニュートラル以外であり、かつ、車速が閾値以上であれば、ＣＰＵ２２Ａは、車両が前進していると判断して、前進時監視処理を行う。
【００３７】
次に、上述した前進時監視処理におけるＣＰＵ２２Ａの処理手順を、図２を参照して以下説明する。
まず、ＣＰＵ２２Ａは、ターンシグナル検出センサ５０からシグナルオン信号が出力されていないとき、ターンシグナル（方向指示灯）がオフしている、つまり、運転者に自車線直進の意志があると判断して（ステップＳ１でＮ）、逸脱監視手段として働き、逸脱監視処理を行う（ステップＳ２）。
【００３８】
以下、逸脱監視処理におけるＣＰＵ２２Ａの動作を説明する。まず、ＣＰＵ２２Ａは、カメラ１０から供給される、例えば、図３に示す画素データを、第１フレームメモリ２３Ａに記憶する。図３に示す画像データは、道路１２０、道路１２０上に描かれた白線１２１〜１２５及び道路１２０の両脇に立設された壁１２６が、画面上における水平方向中心位置にて消失する画素データとなっている。
【００３９】
そして、ＣＰＵ２２Ａは、第１フレームメモリ２３Ａに記憶された画素データから自車線の両側に位置する白線を検出する白線検出を行う。具体的には、図３に示す画像の画素データに関し、そのｍ行ｎ列の画素の輝度値Ｉｍ、ｎを図３における水平方向に走査する。
【００４０】
そして、隣接する画素の輝度値Ｉｍ、ｍ＋１との差が所定輝度値以上のとき、輝度値Ｉｍ、ｎ＝１とし、所定輝度値以下のとき、輝度値Ｉｍ、ｎ＝０として、図４に示すような撮像画像上のエッジ部分のみの画像である微分画像を生成し、生成した微分画像を第１フレームメモリ２３Ａに上書きする。
【００４１】
微分画像が生成されると、この微分画像に対して図５に示すような基準線ＶＳＬを設定する。この基準線ＶＳＬは、微分画像上の水平方向における中心位置であって上下方向に、微分画像を縦断するように設定される。つまり、基準線ＶＳＬは、自車両が走行している自車線の白線１２２及び１２３によって区切られた車両の水平方向の中心に設定される。
【００４２】
基準線ＶＳＬが設定されると、自車両が走行すべき路線上の自車線の両側に位置する一対の白線１２２及び１２３を構成するエッジ点の探索を行う。この白線１２２及び１２３を構成するエッジ点の探索は、図５に示す画面の下端に位置する水平ラインＨ（ＬＯ）から上側に向かって行われる。すなわち、基準線ＶＳＬ上であって最下端の点Ｐ（ＳＯ）から、水平方向両端部に向けてエッジ点の検索を行う。そして、この探索により、基準線ＶＳＬの左側に存在する白線１２２のエッジを構成する点Ｐ（ＬＯ）及び基準線ＶＳＬの右側に存在する白線１２３のエッジを構成する点Ｐ（ＲＯ）が取得される。
【００４３】
続いて、最下端より２番目に位置する点Ｐ（Ｓ１）から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶＳＬの左側に存在する白線１２２のエッジを構成する点Ｐ（Ｌ１）及び基準線ＶＳＬの右側に存在する白線１２３のエッジを構成する点Ｐ（Ｒ１）が取得される。
【００４４】
このような処理を微分画像における上方に向けて順次エッジ点を抽出する。このとき、後続を走行する他車両を構成するエッジ点Ｐ（Ｌ（ｍ＋２））、Ｐ（Ｒ（ｍ＋２））、Ｐ（Ｌ（ｍ＋４））及びＰ（Ｒ（ｍ＋４））も抽出してしまうので、この抽出したエッジ点からさらに同一の直線上にあるもののみを抽出する。この結果、撮像画像において、自車両が走行すべき路面上の自車両の両側に位置する一対の白線１２２及び１２３を構成するエッジ点のみを抽出して、第１フレームメモリ２３Ａに上書きすることができる。
【００４５】
次に、ＣＰＵ２２Ａは、上述したように逸脱監視処理により検出した白線１２２及び１２３の位置に基づき、逸脱の危険性があるか、若しくは、逸脱しているかを判断する（ステップＳ３）。逸脱の危険性がある、若しくは、逸脱していると判断した場合（ステップＳ３でＹ）、ＣＰＵ２２Ａは、表示器６０及びスピーカ７０を用いて、その旨を運転者に報知する逸脱報知処理を行った後（ステップＳ４）、ステップＳ１に戻る。一方、逸脱の危険性がない、若しくは、逸脱していないと判断した場合（ステップＳ３でＮ）、ＣＰＵ２２Ａは、直ちにステップＳ１に戻る。
【００４６】
これに対して、ターンシグナル検出センサ５０からシグナルオン信号が出力されているとき、ＣＰＵ２２Ａは、ターンシグナルがオンしている、つまり、運転者に車線変更の意志があると判断して（ステップＳ１でＹ）、接近監視手段として働き、接近監視処理を行う（ステップＳ５）。
【００４７】
以下、オプティカルフロー方式を一例とした、接近監視処理におけるＣＰＵ２２Ａの動作について説明する。まず、ＣＰＵ２２Ａは、カメラ１０から出力された時間ｔにおける画素データを第１フレームメモリ２３Ａに記憶させる。さらに、時間Δｔ時間後に、時間ｔ＋Δｔに撮像された撮像画像の画素データを第２フレームメモリ２３Ｂに記憶させる。つまり、第１、第２フレームメモリ２３Ａ、２３Ｂには、所定時間Δｔ毎に撮像された画素データが順次記録される。
【００４８】
そして、第１フレームメモリ２３Ａに記憶されている画素データに関し、上述した逸脱監視処理と同様に白線を検出して、第３フレームメモリ２３Ｃに記憶させる。次に、ＣＰＵ２２Ａは、検出された白線１２２及び１２３の近似線を延長させて、その交点をＦＯＥとして設定する（図６参照）。ＦＯＥが設定されるとＣＰＵ２２Ａは、接近物を検出するためオプティカルフローを求める。
【００４９】
以下、オプティカルフローを求める手順を図６を参照して説明する。まず始めに第１フレームメモリ２３Ａに記憶されている時間ｔでの画素データにおいて、着目する１点に対し、この着目する１点を中心として上述したように設定したＦＯＥから放射線の方向（すなわちＦＯＥと着目する１点を結ぶ方向）に細長い窓を設定する（図６（ａ））。
【００５０】
次に、第２フレームメモリ２３Ｂに記憶されている時間ｔ＋Δｔでの画素データにおいて、窓をＦＯＥから放射線状の方向に一点づつ移動しながら、時間ｔで窓を構成する各画素について、該各画素に対応した時間ｔ＋Δｔでの窓を構成する各画素との輝度差の絶対値を求める。つまり、時間ｔでの画素Ｐ（図６（ａ））に対応した時間ｔ＋Δｔでの画素Ｑ（図６（ｂ））との輝度差の絶対値を求める。この求めた輝度差の総和が最小になったときの窓の移動量が、着目する一点のオプティカルフローとして求められる。
【００５１】
以上のような処理を画素データの全ての点において繰り返し行うことにより、画素データのオプティカルフローを求めることができる。求めたオプティカルフローは、第３フレームメモリ２３Ｃ内に上書きされ、接近監視処理を終了する。
【００５２】
次に、ＣＰＵ２２Ａは、求めたオプティカルフローに基づき、接近物との接触の危険性があるか否かの判断を行う（ステップＳ６）。求めたオプティカルフローの方向がＦＯＥに向かう方向ならば近接車線を走行する他車両又は後続を走行する他車両が自車線の速度より遅く、自車線から離れていく方向を示しており、反対にオプティカルフローの方向がＦＯＥに対して発散する方向である場合は自車線に接近していることを示す。
【００５３】
従って、ＣＰＵ２２Ａは、ＦＯＥから発散する方向のオプティカルフローの長さが所定の長さを超えたとき他車両が自車両に急接近しているとして（ステップＳ６でＹ）、表示器６０及びスピーカ７０を用いてその旨を運転者に伝える（ステップＳ７）。
【００５４】
なお、ＣＰＵ２２Ａは、定期的に、ギア位置検出センサ３０から出力されるギア信号に基づき、ギア位置を検出すると共に、車速センサ４０から出力されるパルスに基づき、車速を検出する。この結果、ギア位置がパーキング、リバース、ニュートラルであるか、または、車速が閾値未満であれば、上述した車両が前進していないと判断し、直ちに上記前進時監視処理を終了する。
【００５５】
以上の動作によれば、ＣＰＵ２２Ａは、自車両が前進中であり、かつ、ターンシグナルがオンしているような走行状態のとき、接近監視処理及び逸脱監視処理のうち、接近監視処理を選択し、接近監視処理を行わせると共に、逸脱監視処理を停止させている。また、自車両が前進中であり、かつ、ターンシグナルがオフしているような走行状態のとき、逸脱監視処理を選択し、逸脱監視処理を行わせると共に、接近監視処理を停止させている。このことから、ＣＰＵ２２Ａが、監視手段、選択手段及び第１制御手段として働くことが明らかである。
【００５６】
以上のように、逸脱監視処理及び接近監視処理のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、同時に２つの監視手段による画像処理を行わせることがなくなり、画像処理のリアルタイム性を向上することができる。また、２つのμＣＯＭを用いて２つの監視手段による画像処理を同時に行う必要も、各監視処理専用のフレームメモリを設ける必要がなく、画像処理ユニットの構成を簡単に、かつ、安価にすることができる。
【００５７】
また、接近物を見落としてはならない車線変更時には接近監視処理を行わせ、車線逸脱の可能性が高まる自車線直進時には逸脱監視処理を行わせることができる。このため、車両の走行状態に応じて適切な画像処理を行わせることができる。
【００５８】
なお、上述した実施形態では、車両前進時における監視処理について説明した。さらに、ギア位置がリバースになっているとき、ＣＰＵ２２Ａを後退監視手段として働かせ、後退支援を行うための画像処理を行わせることも考えられる。後退支援のための画像処理としては、カメラ１０が撮像した画像に、予測進路を重畳したりする処理などが考えられる。
【００５９】
また、上述した実施形態では、ターンシグナルのオンに応じて、監視処理の選択を逸脱監視処理から接近監視処理に切り替え、逸脱監視処理を停止して、接近監視処理を開始していた。しかしながら、ターンシグナルなしで車線変更を行ってしまう運転者もまれにいる。この場合、後続車に車線変更の意志が伝わらないため、後続車などの接近物を見落としたまま車線変更するとより一層危険である。
【００６０】
そこで、逸脱監視処理を行った結果、逸脱の危険性があるか、若しくは、逸脱していると判断された場合に、ターンシグナルなしで車線変更を行ってしまう恐れがあると判断して、ターンシグナルがオフであっても、接近監視処理を選択して、接近監視処理を開始すると共に、逸脱監視処理を停止することも考えられる。
【００６１】
この場合、ＣＰＵ２２Ａの処理手順としては、図７に示すフローチャートをステップＳ４とステップＳ１との間に挿入すれる形となる。つまり、ターンシグナルがオフであって（ステップＳ１でＮ）、逸脱監視処理を行った結果（ステップＳ２）、ＣＰＵ２２Ａが、逸脱の危険性がある、若しくは、逸脱していると判断して（ステップＳ３）、逸脱報知処理を行った後（ステップＳ４）、ターンシグナルなしで車線変更を行ってしまう恐れがあるとして、ステップＳ５と同様に接近監視処理を行う（ステップＳ８）。
【００６２】
この接近画像処理を行った結果、他車両が自車両に急接近していると判断した場合（ステップＳ９でＹ）、接近報知処理を行った後（ステップＳ１０）、ステップＳ１１に進み、自車両に急接近してくる他車両がないと判断した場合（ステップＳ９でＮ）、接近報知処理を行わず直ちにステップＳ１１に進む。
【００６３】
ステップＳ１１では、ターンシグナルなしでの車線変更が完了したか否かを判断し、完了していない場合（ステップＳ１１でＮ）、ステップＳ８に戻り、接近監視処理が繰り返される。これに対して、完了している場合（ステップＳ１１でＹ）、ステップＳ１に戻り、ここでターンシグナルオフと判断され（ステップＳ１でＮ）、ステップＳ２に進んで、接近監視処理から逸脱監視処理に切り替わる。
【００６４】
ＣＰＵ２２Ａは、ターンシグナルなしでの車線変更が完了したことを判断する方法としては以下に示す方法が考えられる。
まず、ステアリング角に応じた信号を出力する舵角センサとＣＰＵ２２Ａを接続することができれば、ステアリング角を監視して、ステアリング角が旋回状態から直進状態に戻ったことに応じて、車線変更が完了したと判断することが考えられる。
【００６５】
また、ＣＰＵ２２Ａを横方向移動量算出手段として働かせ、ステップＳ２の逸脱監視処理が行われた後、その逸脱監視処理によって検出された白線位置から車両の横方向の移動量を算出する横方向移動量算出処理を行わせる。さらに、ＣＰＵ２２Ａを推定手段として働かせ、ステップＳ４の逸脱報知処理が行われる直前に算出された横方向移動量に基づき、車線変更が完了するまでの完了時間を推定させる。そして、ステップＳ８に進んでから推定した完了時間が経過したことに応じて、車線変更が完了したと判断することが考えられる。
【００６６】
また、ターンシグナルなしの車線変更が行われる場合の対策として、さらに、図８に示すフローチャートをステップＳ４とステップＳ１との間に挿入すれる形が考えられる。つまり、ステップＳ４の逸脱報知処理を行った後、ターンシグナルなしで車線変更を行ってしまう恐れがあるとして、ステップＳ５と同様に接近監視処理を行う（ステップＳ１２）。
【００６７】
この接近画像処理を行った結果、他車両が自車両に急接近していると判断した場合（ステップＳ１３でＹ）、接近報知処理を行った後（ステップＳ１４）、ステップＳ１５に進み、自車両に急接近してくる他車両がないと判断した場合（ステップＳ１３でＮ）、接近報知処理を行わず直ちにステップＳ１５に進む。
【００６８】
ステップＳ１５においては、ＣＰＵ２２Ａは、ステップＳ１２の接近監視処理が１０回連続して繰り返されたか否かを判断し、１０回連続して繰り返されていなければ（ステップＳ１５でＮ）、再びにステップＳ１２に戻る。一方、１０回連続して繰り返されていれば（ステップ１５でＹ）、次に、上述した図２のステップＳ４と同様に逸脱監視処理を行う（ステップＳ１６）。
【００６９】
次に、ＣＰＵ２２Ａは、上述したように逸脱監視処理により検出した白線１２２及び１２３の位置に基づき、逸脱の危険性があるか、若しくは、逸脱しているかを判断する（ステップＳ１７）。逸脱の危険性がある、若しくは、逸脱していると判断した場合（ステップＳ１７でＹ）、ＣＰＵ２２Ａは、また、車線変更が完了していないと判断して、再びステップＳ１２に戻る。一方、逸脱の危険性がない、若しくは、逸脱していないと判断した場合（ステップＳ１７でＮ）、ＣＰＵ２２Ａは、車線変更が完了したと判断して、ステップＳ１に戻る。そして、ステップＳ１でターンシグナルオフと判断され（ステップＳ１でＮ）、ステップＳ２に進んで、逸脱監視処理のみが繰り返し行われる。
【００７０】
以上のように、ＣＰＵ２２Ａを制御停止手段、第２制御手段、制御開始手段として働かせることにより、方向指示灯の点灯なしで車線変更しようとしても、接近監視処理を行わせることができる。しかも、ステップＳ１２〜Ｓ１７の動作が行われている間、逸脱監視処理により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、ターンシグナルの点灯なしでの車線変更が完了すると、接近監視処理及び逸脱監視処理の両者による監視が時分割で行われ、かつ、接近監視処理による画像処理頻度＞逸脱監視処理による画像処理頻度となる状態から、逸脱監視処理のみが行われている状態に戻ることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７１】
また、上述した実施形態では、ターンシグナルがオンしているときは、接近監視処理による画像処理のみが行われていた。しかしながら、接近監視処理は、画像データ全体を画像処理する必要はなく、ターンシグナルが出されているサイドと反対側は、逸脱監視処理にを行ってもよい。具体的には、ＣＰＵ２２Ａを分割手段として働かせ、画像データを基準線ＶＳＬを中心とした右サイド領域と左サイド領域とに分割する。
【００７２】
さらに、ＣＰＵ２２Ａを第３制御手段として働かせ、右側のターンシグナルがオンしていれば、右側サイド領域を接近監視処理に、左側サイド領域を逸脱監視処理に割り振り、割り振られた領域について各々画像処理を行わせる。また、左側のターンシグナルがオンしていれば、左側サイド領域を接近監視処理に、右側サイド領域を逸脱監視処理に割り振る。
【００７３】
ただし、上述した接近監視処理において、ＦＯＥは、画像全体を画像処理して検出した白線に基づき設定していた。このため、画像全体を処理領域としなけらばならない。そこで、このように分割した右サイド領域または左サイド領域について画像処理を行う場合は、ＦＯＥを画像処理によらず設定する方法（例えば、予め定めるなど）や、ＦＯＥを用いないでオプティカルフローを検出する方法とる必要がある。
【００７４】
また、上述した実施形態では、接近監視処理としてオプティカルフロー方式を例に挙げて説明していたが、この場合に限らず画像処理を行って接近物の監視を行うものであれば何でもよい。さらに、上述した実施形態では、監視処理として、接近監視処理、逸脱監視処理、後退監視処理を例に挙げて説明していたが、この場合に限らず画像処理を行って車両周辺の監視を行うものであれば何でもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、複数の監視手段のうち、車両の走行状態に応じて選択した１つを行わせ、それ以外を停止させることによって、車両の走行状態に応じて最も必要となる監視手段による画像処理を行うことができ、しかも、同時に複数の監視手段による画像処理を行わせることがなくなるので、各種監視手段として画像処理ユニットを用いた場合、画像処理ユニットの構成を簡単に、かつ、安価にすることができる車両用周辺監視装置を得ることができる。
【００７６】
請求項２記載の発明によれば、接近物を見落としてはならない車線変更時には接近監視手段による画像処理を行わせることができ、車線逸脱の可能性が高まる自車線直進時には逸脱監視手段による画像処理を行わせることができるので、車両の走行状態に応じて適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７７】
請求項３記載の発明によれば、後退時には、後退監視手段による画像処理を行わせることができるので、車両の走行状態に応じて適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７８】
請求項４記載の発明によれば、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００７９】
請求項５記載の発明によれば、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて接近監視手段が選択された後に、ステアリング角が旋回状態から直進状態に戻る、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８０】
請求項６記載の発明によれば、選択手段の選択動作によって、方向指示灯の点灯なしでの車線変更に応じて、接近監視手段が選択された後に、推定した完了時間が経過する、つまり、車線変更が完了すると、再び逸脱監視手段を選択することができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８１】
請求項７記載の発明によれば、方向指示灯の点灯なしで車線変更しようとしても、接近監視手段による画像処理を行わせることができる。しかも、第２制御手段による制御中、逸脱監視手段により、逸脱の危険性がない、もしくは、逸脱していないと判断できる監視結果が得られる、つまり、方向指示灯の点灯なしでの車線変更が完了すると、接近監視手段及び逸脱監視手段の両者による監視が行われている状態から、逸脱監視手段のみが行われている状態に戻ることができるので、車両の走行状態に応じて、より一層適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【００８２】
請求項８記載の発明によれば、１枚の画像を分割した別々の領域について画像処理が行われるため、２つの監視手段による画像処理を同時に行う場合でも、監視手段毎に専用の画像一時格納メモリを用意する必要がないので、各種画像処理手段として画像処理ユニットを用いた場合、画像処理ユニットの構成を簡単に、かつ、安価にすることができる車両用周辺監視装置を得ることができる。
【００８３】
請求項９記載の発明によれば、方向指示灯がオンしていて、接近監視を行う必要がある場合であっても、回転方向と反対側については逸脱監視を行うことができるので、車両の走行状態に応じて適切な領域について適切な画像処理を行わせることができる車両用周辺監視装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の車両用周辺監視装置の一実施の形態を示すブロック図である。
【図２】図１に示すＣＰＵ２２Ａの前進時監視処理における処理手順を示すフローチャートである。
【図３】カメラ１０で撮像された画像を説明するための図である。
【図４】図３に示す画像の画像処理により生成された微分画像を説明するための図である。
【図５】白線を検出するための動作を説明する図である。
【図６】オプティカルフローを検出するための動作を説明するための図である。
【図７】図１に示すＣＰＵ２２Ａの前進監視処理における処理手順の一部を示すフローチャートである。
【図８】図１に示すＣＰＵ２２Ａの前進監視処理における処理手順の一部を示すフローチャートである。
【符号の説明】
１０ カメラ（撮像手段）
２２Ａ ＣＰＵ（監視手段、選択手段、第１制御手段、接近監視手段、逸脱監視手段、後退監視手段、横方向移動量検出手段、推定手段、制御停止手段、第２制御手段、制御開始手段、分割手段、第３制御手段）
Claims (9)
- 自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、
前記自車両の走行状態に応じて、前記複数の監視手段のうち、何れか１つを選択する選択手段と、
前記選択手段により選択された監視手段による画像処理を行わせ、前記選択されなかった監視手段による画像処理を停止させる第１制御手段と
を備えたことを特徴とする車両用周辺監視装置。 - 請求項１記載の車両用周辺監視装置であって、
前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、
前記選択手段は、自車両が前進中であり、かつ、方向指示灯がオンしているとき、前記接近監視手段を選択し、前記自車両が前進中であり、かつ、前記方向指示灯がオフしているとき、前記逸脱監視手段を選択する
ことを特徴とする車両用周辺監視装置。 - 請求項２記載の車両用周辺監視装置であって、
前記複数の監視手段としては、前記自車両の後退支援を行うための画像処理を行う後退監視手段をさらに含み、
前記選択手段は、ギアがリバースに入っているとき、前記後退監視手段を選択する
ことを特徴とする車両用周辺監視装置。 - 請求項２又は３記載の車両用周辺監視装置であって、
前記選択手段は、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記接近監視手段を選択する選択動作を行う
ことを特徴とする車両用周辺監視装置。 - 請求項４記載の車両用周辺監視装置であって、
前記選択手段は、前記選択動作を行った後に、前記ステアリング角が旋回状態から直進状態に戻ったことに応じて、再び前記逸脱監視手段を選択する
ことを特徴とする車両用周辺監視装置。 - 請求項４記載の車両用周辺監視装置であって、
前記逸脱監視手段の画像処理結果に基づき、前記車両の横方向移動量を検出する横方向移動量検出手段と、
前記選択動作が行われる直前の前記横方向移動量に基づき、車線変更が完了するまでの完了時間を推定する推定手段とをさらに備え、
前記選択手段は、前記選択動作を行った後、前記推定した完了時期が経過すると、再び前記逸脱監視手段を選択する
ことを特徴とする車両用周辺監視装置。 - 請求項２又は３記載の車両用周辺監視装置であって、
前記選択手段が、前記逸脱監視手段を選択した後、当該逸脱監視手段により、逸脱の危険性がある、若しくは、逸脱していると判断できる監視結果が得られると、前記第１制御手段による制御を停止させる制御停止手段と、
前記第１制御手段による制御停止中に、前記逸脱監視手段及び前記接近監視手段による画像処理を時分割に行わせ、かつ、前記逸脱監視手段による画像処理頻度が前記接近監視手段による画像処理頻度より低くなるように画像処理を行わせる第２制御手段と、
前記第２制御手段による制御中に、前記逸脱監視手段により、逸脱の危険性がない、若しくは、逸脱していないと判断できる監視結果が得られると、前記第１制御手段による制御を開始させる制御開始手段と
を備えたことを特徴とする車両用周辺監視装置。 - 自車両に搭載された撮像手段が撮像した画像を画像処理して、車両周辺の監視を行う複数の監視手段と、
前記撮像手段が撮像した１枚の画像を複数の領域に分割する分割手段と、
前記自車両の走行状態に応じて、前記複数の領域を前記複数の監視手段に割り振り、前記監視手段に、前記割り振られた領域について画像処理を行わせる第３制御手段と
を備えたことを特徴とする車両用周辺監視装置。 - 請求項８記載の車両用周辺監視装置であって、
前記複数の監視手段としては、前記自車両に近づいてくる接近物との接触の危険性があるか否かを判断するための画像処理を行う接近監視手段と、前記自車線からの逸脱の危険性があるか否か、若しくは、自車線から逸脱しているか否かを判断するための画像処理を行う逸脱監視手段とを含み、
前記制御手段は、方向指示灯がオンしているとき、左右ある方向指示灯のうち、オンしている側にある前記領域を前記接近監視手段に割り振り、オンしている側と反対側にある前記領域を前記逸脱監視手段に割り振る
ことを特徴とする車両用周辺監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294020A JP2004127182A (ja) | 2002-10-07 | 2002-10-07 | 車両用周辺監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294020A JP2004127182A (ja) | 2002-10-07 | 2002-10-07 | 車両用周辺監視装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004127182A true JP2004127182A (ja) | 2004-04-22 |
Family
ID=32284756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002294020A Withdrawn JP2004127182A (ja) | 2002-10-07 | 2002-10-07 | 車両用周辺監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004127182A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
| JP2007320024A (ja) * | 2006-06-01 | 2007-12-13 | Samsung Electronics Co Ltd | 移動ロボットの遠隔操縦のための衝突防止システム、装置及び方法 |
| US7597322B2 (en) | 2006-08-23 | 2009-10-06 | Canon Kabushiki Kaisha | Conveyance apparatus, control method therefor, and printing apparatus |
| JP2010514037A (ja) * | 2006-12-20 | 2010-04-30 | ジェマルト エスアー | 分散環境でのデータの管理方法および機器 |
| JP2010187413A (ja) * | 2010-05-21 | 2010-08-26 | Yazaki Corp | 車両用表示装置 |
-
2002
- 2002-10-07 JP JP2002294020A patent/JP2004127182A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
| JP2007320024A (ja) * | 2006-06-01 | 2007-12-13 | Samsung Electronics Co Ltd | 移動ロボットの遠隔操縦のための衝突防止システム、装置及び方法 |
| US7853372B2 (en) | 2006-06-01 | 2010-12-14 | Samsung Electronics Co., Ltd. | System, apparatus, and method of preventing collision of remote-controlled mobile robot |
| JP2012045706A (ja) * | 2006-06-01 | 2012-03-08 | Samsung Electronics Co Ltd | 移動ロボットの遠隔操縦のための衝突防止装置及び方法 |
| US7597322B2 (en) | 2006-08-23 | 2009-10-06 | Canon Kabushiki Kaisha | Conveyance apparatus, control method therefor, and printing apparatus |
| US7762548B2 (en) | 2006-08-23 | 2010-07-27 | Canon Kabushiki Kaisha | Conveyance apparatus, control method therefor, and printing apparatus |
| JP2010514037A (ja) * | 2006-12-20 | 2010-04-30 | ジェマルト エスアー | 分散環境でのデータの管理方法および機器 |
| JP2010187413A (ja) * | 2010-05-21 | 2010-08-26 | Yazaki Corp | 車両用表示装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5421072B2 (ja) | 接近物体検知システム | |
| US10798319B2 (en) | Camera device and method for capturing a surrounding region of a vehicle in a situation-adapted manner | |
| JP4287532B2 (ja) | 車両用後側方監視装置 | |
| KR101328363B1 (ko) | 차선 일탈 방지 지원 장치, 구분선 표시 방법, 프로그램 | |
| JP4855158B2 (ja) | 運転支援装置 | |
| EP1962254B1 (en) | In-vehicle apparatus for recognizing running environment of vehicle | |
| JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
| JP2001233150A (ja) | 車両用危険判断装置及び、車両用周辺監視装置 | |
| JP6045889B2 (ja) | 車載用制御装置 | |
| JP2015139128A (ja) | 車両用周辺監視装置 | |
| JP2008217693A (ja) | 顔向き警告装置、顔向き警告装置の警告方法 | |
| JP2010281781A (ja) | 走行車線検出装置 | |
| JP2005182753A (ja) | 車両運転支援装置 | |
| JP4930432B2 (ja) | 車両用周辺監視装置 | |
| JP2000276697A (ja) | 車両用周辺監視装置 | |
| JPH0981757A (ja) | 車両位置検出装置 | |
| JP2004127182A (ja) | 車両用周辺監視装置 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP3290318B2 (ja) | 車載用画像処理装置、車載用道路監視装置及び車両制御装置 | |
| JP2000251199A (ja) | 車両用後側方監視装置 | |
| JP2007022134A (ja) | 車両用車線維持支援装置 | |
| JP4088288B2 (ja) | 車両用周辺監視装置 | |
| JP2005339286A (ja) | 交差点における停止車両の発進状態計測装置 | |
| JP6976298B2 (ja) | 車両用周囲監視装置および車両用周囲監視方法 | |
| JPH08221698A (ja) | 車両用障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |