JP2010103810A - 車載用監視装置 - Google Patents

Abstract

【課題】高い精度での目標物の選定を可能とする車載用監視装置を提供すること。
【解決手段】車載用監視装置１０は、車両Ｃに搭載され広角な視野とされた第１撮像光学系１４と、第１撮像光学系１４を介した物体距離を車両Ｃの近い領域とする位置に配置され第１撮像光学系１４を介して近い領域の画像データを取得するための第１撮像素子１５と、第１撮像光学系１４の視野の内方の一部分を拡大するように撮像可能に車両Ｃに搭載された第２撮像光学系１６と、第２撮像光学系１６を介した物体距離を車両Ｃから離間する領域とする位置に配置され第２撮像光学系１６を介して離間する領域の画像データを取得するための第２撮像素子１７と、第１撮像素子１５および第２撮像素子１７により取得された画像データにおける目標物の選定を行うべく画像データを解析する制御解析部と、を備える。
【選択図】図２

Description

本発明は、自動車等の車両の運転者を支援すべく当該車両の周辺の映像を取得する車載用監視装置に関する。

従来、自動車等の車両では、運転者を支援するために車両の周辺の映像を取得する車載用監視装置を用いることが考えられている（例えば、特許文献１参照）。この従来の車載用監視装置では、運転者の支援としてオートライト制御を行うものであり、車両の進行方向の映像をカメラで撮像して画像データとして取得可能とされている。この車載用監視装置では、取得した画像データを適宜解析することにより、車両の進行方向とその進行方向における明るさを検出し、その検出結果に基づいて当該車両に設けられたライトを点灯すべく、その点灯制御のための制御機構へと検出結果を出力する。これにより、上記した車載用監視装置の搭載された車両では、走行している道路の状況に適合するように自動的にライトが点灯されることとなる。
特開２００６−３６０４８号公報

ここで、従来の車載用監視装置では、進行方向の映像に基づく画像データを用いるものであることから、ライトの点灯を走行している道路の状況に適合させるには、車両の進行方向における明るさの検出のために当該画像データを解析して目標物を選定する必要がある。

ところが、車載用監視装置では、画像データを取得するカメラが、運転者を適切に支援できるように広い視野に設定されていることから、当該画像データにおける目標物の占有率が小さくなるので、画像データで見た目標物の分解能が低くなってしまい、目標物を選定することが困難となる。このことは、車両から目標物までの距離が広がるほど顕著となる。

本発明は、上記の問題に鑑みて為されたもので、高い精度での目標物の選定を可能とする車載用監視装置を提供することを目的としている。

上記課題を解決するため、請求項１に係る発明は、車両に搭載され該車両の周辺を広域に渡り撮像すべく広角な視野とされた第１撮像光学系と、該第１撮像光学系を介した物体距離を前記車両の近い領域とする位置に配置され前記第１撮像光学系を介して前記近い領域の画像データを取得するための第１撮像素子と、前記第１撮像光学系の視野の内方の一部分を拡大するように撮像可能に前記車両に搭載された第２撮像光学系と、該第２撮像光学系を介した物体距離を前記車両から離間する領域とする位置に配置され前記第２撮像光学系を介して前記離間する領域の画像データを取得するための第２撮像素子と、前記第１撮像素子および前記第２撮像素子により取得された前記画像データにおける目標物の選定を行うべく前記画像データを解析する制御解析部と、を備えることを特徴とする。

請求項２に係る発明は、車両に搭載され該車両の周辺を広域に渡り撮像すべく広角な視野とされた第１撮像光学系と、該第１撮像光学系を介した物体距離を前記車両の近い領域とする位置に配置され前記第１撮像光学系を介して前記近い領域の画像データを取得するための第１撮像素子と、前記第１撮像光学系の視野の内方の一部分を拡大するように撮像可能に前記車両に搭載された第２撮像光学系と、該第２撮像光学系を介した物体距離を前記車両から離間する領域とする位置に配置され前記第２撮像光学系を介して前記離間する領域の画像データを取得するための第２撮像素子と、前記第１撮像素子により取得された前記画像データに映像処理を施して広角画像データを生成するとともに前記第２撮像素子により取得された前記画像データに映像処理を施して望遠画像データを生成する画像処理部と、前記広角画像データおよび前記望遠画像データにおける目標物の選定を行うべく前記広角画像データおよび前記望遠画像データを解析する制御解析部と、を備えることを特徴とする。

請求項３に係る発明は、請求項２に記載の車載用監視装置であって、前記制御解析部は、前記目標物として、前記広角画像データおよび前記望遠画像データにおいて明るさを検出するのに適切な領域を選定し、前記広角画像データおよび前記望遠画像データに基づいて前記領域の光量を求めることを特徴とする。

請求項４に係る発明は、請求項３に記載の車載用監視装置であって、前記制御解析部は、前記広角画像データに基づく光量から前記近い領域が明るいと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が明るいと判断すると、前記車両のライトを消灯させる制御信号を出力し、前記広角画像データに基づく光量から前記近い領域が暗いと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が暗いと判断すると、前記ライトを点灯させる制御信号を出力し、前記広角画像データに基づく光量からの前記近い領域の明暗の判断と前記望遠画像データに基づく光量から前記離間する領域の明暗の判断とが異なる場合、前記ライトの現状の状態を維持するべく制御信号を出力する、ことを特徴とする。

請求項５に係る発明は、請求項４に記載の車載用監視装置であって、前記制御解析部は、前記広角画像データおよび前記広角画像データにおける前記目標物として対向車両または先行車両を合わせて選定するものとし、前記ライトを点灯させる制御信号を出力する際、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定できなかった場合には、前記ライトをハイビームとして点灯させる制御信号を生成して出力し、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定した場合には、前記ライトをロービームとして点灯させる制御信号を生成して出力する、ことを特徴とする。

請求項６に係る発明は、請求項４または請求項５に記載の車載用監視装置であって、前記第１撮像光学系は、搭載された前記車両のフロントガラスを介して前記車両の前方を撮像可能とされており、前記制御解析部は、前記広角画像データにおける前記目標物として前記フロントガラスに付着した雨滴を合わせて選定するものとし、該雨滴を選定した場合には、前記車両のワイパーを駆動させる制御信号を生成して出力する、ことを特徴とする。

請求項７に係る発明は、請求項２ないし請求項６のいずれか１項に記載の車載用監視装置であって、前記第１撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる広角画像データを取得すべく対を為して前記車両に設けられ、前記第２撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる望遠画像データを取得すべく対を為して前記車両に設けられ、前記制御解析部は、一対の前記第１撮像光学系の視差に基づいて前記広角画像データにおける任意の個所までの距離を求めるとともに、一対の前記第２撮像光学系の視差に基づいて前記応援画像データにおける任意の個所までの距離を求める、ことを特徴とする。

本発明に係る車載用監視装置では、ピントの合う位置が車両の近傍位置に設定され広角な視野の第１撮像光学系により車両の近傍の領域の画像データを取得することができるとともに、ピントの合う位置が車両から離間した位置に設定され第１撮像光学系の視野内の一部分の視野の第２撮像光学系により車両の近傍の画像データと同時刻の車両から離間する領域の画像データを同時に取得することができるので、両画像データをそれぞれ画像解析することにより、車両の近傍位置と離間位置との双方の情報を適切に取得することができる。

車両に搭載され該車両の周辺を広域に渡り撮像すべく広角な視野とされた第１撮像光学系と、該第１撮像光学系を介した物体距離を前記車両の近い領域とする位置に配置され前記第１撮像光学系を介して前記近い領域の画像データを取得するための第１撮像素子と、前記第１撮像光学系の視野の内方の一部分を拡大するように撮像可能に前記車両に搭載された第２撮像光学系と、該第２撮像光学系を介した物体距離を前記車両から離間する領域とする位置に配置され前記第２撮像光学系を介して前記離間する領域の画像データを取得するための第２撮像素子と、前記第１撮像素子により取得された前記画像データに映像処理を施して広角画像データを生成するとともに前記第２撮像素子により取得された前記画像データに映像処理を施して望遠画像データを生成する画像処理部と、前記広角画像データおよび前記望遠画像データにおける目標物の選定を行うべく前記広角画像データおよび前記望遠画像データを解析する制御解析部と、を備えることとすると、ピントの合う位置が車両の近傍位置に設定され広角な視野の第１撮像光学系により広角画像データを取得することができるとともに、ピントの合う位置が車両から離間した位置に設定され第１撮像光学系の視野内の一部分の視野の第２撮像光学系により当該広角画像データと同時刻の望遠画像データを同時に取得することができるので、広角画像データと望遠画像データとをそれぞれ画像解析することにより、車両の近傍位置と離間位置との双方の情報を適切に取得することができる。

上記した構成に加えて、前記制御解析部は、前記目標物として、前記広角画像データおよび前記望遠画像データにおいて明るさを検出するのに適切な領域を選定し、前記広角画像データおよび前記望遠画像データに基づいて前記領域の光量を求めることとすると、車両に近い広角な領域と、車両から離間する領域と、の双方の光量をより適切に求めることができる。

上記した構成に加えて、前記制御解析部は、前記広角画像データに基づく光量から前記近い領域が明るいと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が明るいと判断すると、前記車両のライトを消灯させる制御信号を出力し、前記広角画像データに基づく光量から前記近い領域が暗いと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が暗いと判断すると、前記ライトを点灯させる制御信号を出力し、前記広角画像データに基づく光量からの前記近い領域の明暗の判断と前記望遠画像データに基づく光量から前記離間する領域の明暗の判断とが異なる場合、前記ライトの現状の状態を維持するべく制御信号を出力することとすると、車両に近い領域の明暗と、車両から離間する領域との明暗との組み合わせによりライトを点灯および消灯させることができるので、昼間の走行であってガード下や橋の下やスリットトンネルの下を通過する際に一瞬だけ点灯させてしまうことや、夜間やトンネル内の走行であって極めて明るい光源の近傍を通過する際に一瞬だけ消灯させてしまうことを防止することができる。これは、例えば、自車両の近傍（離間した前方であっても同じである）のみの光量を検知する構成である場合、昼間の走行であってガード下や橋の下やスリットトンネルの下を通過する際には一瞬だけ点灯させてしまったり、夜間やトンネル内の走行であって極めて明るい光源の近傍を通過する際に一瞬だけ消灯させたりしてしまう虞があることによる。

上記した構成に加えて、前記制御解析部は、前記広角画像データおよび前記広角画像データにおける前記目標物として対向車両または先行車両を合わせて選定するものとし、前記ライトを点灯させる制御信号を出力する際、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定できなかった場合には、前記ライトをハイビームとして点灯させる制御信号を生成して出力し、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定した場合には、前記ライトをロービームとして点灯させる制御信号を生成して出力することとすると、夜間やトンネル内の走行の際に、運転者の前方視野を大幅に拡大し安全性を大きく向上させるためのハイビームを、運転者に煩わしい切り換え操作を求めることなく、最大限に活用させることができる。

上記した構成に加えて、前記第１撮像光学系は、搭載された前記車両のフロントガラスを介して前記車両の前方を撮像可能とされており、前記制御解析部は、前記広角画像データにおける前記目標物として前記フロントガラスに付着した雨滴を合わせて選定するものとし、該雨滴を選定した場合には、前記車両のワイパーを駆動させる制御信号を生成して出力することとすると、雨が降ってきたときのようにフロントガラスに雨滴が付着した際、運転者に煩わしい切り換え操作を求めることなく、当該雨滴を払拭することができ、運転者に良好な視界を確保させることができる。

上記した構成に加えて、前記第１撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる広角画像データを取得すべく対を為して前記車両に設けられ、前記第２撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる望遠画像データを取得すべく対を為して前記車両に設けられ、前記制御解析部は、一対の前記第１撮像光学系の視差に基づいて前記広角画像データにおける任意の個所までの距離を求めるとともに、一対の前記第２撮像光学系の視差に基づいて前記応援画像データにおける任意の個所までの距離を求めることとすると、広角画像データにおける任意の個所までの距離を検知することができ、その中の望遠画像データに相当する領域については、より高い分解能で任意の個所までの距離を検知することができる。このため、距離測定の分解能を確保しつつ距離測定のレンジを広げることができ、より高い精度で目標物を選定することができる。

以下に、本発明に係る車載用監視装置の実施の形態を図面を参照しつつ説明する。

まず、本発明に係る車載用監視装置１０の基本的な概念について説明する。図１は、車載用監視装置１０の概略的な構成を示す説明図であり、図２は、車載用監視装置１０の概略的な構成を示すブロック図であり、図３は、車載用監視装置１０における撮像機構１１の構成を概略的に示す説明図である。また、図４は、撮像機構１１における二つの撮像光学系１４、１６の視野を説明するために車両の側方から見た模式的な説明図であり、図５は、二つの撮像光学系１４、１６の視野を説明するために車両の上方から見た模式的な説明図であり、図６は、二つの撮像光学系１４、１６の視野を説明するためにそれぞれにより取得された画像データの関係性を示す模式的な説明図であり、（ａ）は第１撮像光学系１４の視野を示し、（ｂ）は第２撮像光学系１６の視野を示している。

車載用監視装置１０は、図１および図２に示すように、車両Ｃに搭載されており、撮像機構１１と制御解析部１２と表示装置１３とを備える。

撮像機構１１は、車両Ｃの周辺の映像を取得するためのカメラであり、この図１および図２の例では、車両Ｃの前方の映像を撮像可能とされている（図４ないし図６参照）。撮像機構１１は、第１撮像光学系１４と、第１撮像素子１５と、第２撮像光学系１６と、第２撮像素子１７と、画像処理部１８とを有する。

第１撮像光学系１４および第２撮像光学系１６は、図２および図３に示すように、少なくとも１つ以上のレンズ（図２では１つのみ図示している。）が適宜組み合わされ、それぞれが鏡筒１４ａ、１６ａ（図３参照）に保持されて構成されている。第１撮像光学系１４は、前方の映像を第１撮像素子１５の受光面に結像するように設けられ、第２撮像光学系１６は、前方の映像を第２撮像素子１７の受光面に結像するように設けられている。

この第１撮像光学系１４は、図４ないし図６に示すように、車両Ｃの前方であって、車両Ｃに近い領域を広域に渡り撮像すべく広角な視野とされている。これに対し、第２撮像光学系１６は、第１撮像光学系１４の視野の内方であって、その部分的な領域を拡大するように撮像可能とされている。この第１撮像光学系１４は、第２撮像光学系１６に比較して、焦点距離が短く設定されており、低い光学倍率とされている。逆に、第２撮像光学系１６は、第１撮像光学系１４に比較して焦点距離が長く設定されており、高い分解能を有している。すなわち、第１撮像光学系１４は、第２撮像光学系１６に比較して、物体距離（被写体距離）が短くなるように光学的な設定および第１撮像素子１５の受光面まで像距離が設定されており、第２撮像光学系１６は、第１撮像光学系１４に比較して、物体距離（被写体距離）が長くなるように光学的な設定および第２撮像素子１７の受光面まで像距離が設定されている。このため、第１撮像光学系１４は、第２撮像光学系１６に比較して広い視野で車両Ｃの前方を撮像可能であり、第２撮像光学系１６は、第１撮像光学系１４に比較して狭い視野ではあるが拡大した被写体像として取得することができる。

具体的には、この例では、第１撮像光学系１４は、運転者の視野に適合するように車両Ｃの直進方向で見て前方に位置する矩形状の領域を視野とするように設定され、第２撮像光学系１６は、第１撮像光学系１４の視野において、その一部分を切り取るように、略中央の高さ位置でかつ車両Ｃの直進方向よりもやや右よりに位置する矩形状の領域を視野とするように設定されている。また、図５に示すように、第１撮像光学系１４は、車両Ｃから前方側に５〜３０ｍくらいの領域に対してピントが合うように設定されている。また、第２撮像光学系１６は、車両Ｃから前方側に２０〜１００ｍくらいの領域に対してピントが合うように設定されている。

第１撮像光学系１４からの映像光が受光面に結像される第１撮像素子１５および第２撮像光学系１６からの映像光が受光面に結像される第２撮像素子１７は、受光面に結像された被写体像を電気信号（画像データ）に変換して出力するものであり、ＣＣＤやＣＭＯＳ型イメージセンサ等で構成することができる。この第１撮像素子１５および第２撮像素子１７は、ベイヤー配列を構成するように各領域に色フィルタ（ＲＧＢ、ＣＹＭ等）が設けられている。このため、第１撮像素子１５および第２撮像素子１７は、電気信号（画素データ）として、色フィルタ（ＲＧＢ、ＣＹＭ等）に応じたベイヤー配列のデジタルデータである画素データの集合で構成される画像データ（以下、後述する映像処理演算が施された画像データと区別して生画像データという。）を画像処理部１８へ出力する。

画像処理部１８は、入力された生画像データにベイヤー補間やノイズ除去や歪み補正演算等の映像処理演算を施して画像データを生成するものであり、この画像データを制御解析部１２へ出力する。

このため、撮像機構１１では、車両Ｃの前方側の近傍位置の広角な画像データ（以下、広角画像データという。）を出力することができるとともに、その広角画像データに重複する部分的な個所であって広角画像データよりも高い分解能の画像データ（以下、望遠画像データという。）を出力することができる。撮像機構１１では、第１撮像素子１５と第２撮像素子１７との動作を同期させており、広角画像データと望遠画像データとが互いに等しい時刻におけるものとされている。

この例では、撮像機構１１は、図示は略すが車両Ｃのルームミラーの近傍に設けられており、第１撮像光学系１４と第２撮像光学系１６とが車両Ｃの左右方向に並列されている。このため、この例では、撮像機構１１は、車両ＣのフロントガラスＦＧ（図１参照）越しに広角画像データおよび望遠画像データを取得することができ、より運転者の目線に近い画像データを取得することができる。なお、撮像機構１１は、搭載される車両Ｃの周辺の映像を第１撮像光学系１４および第２撮像光学系１６により、広角画像データおよびその視野内の望遠画像データとして取得することができるものであれば、フロントガラスＦＧを経ずに前方の映像を取得するものであっても、側方または後方の映像を画像データとして取得するものであってもよく、この例に限定されるものではない。側方または後方の映像を画像データとして取得するものである場合、例えば、自車両（車両Ｃ）に対して危険を及ぼす可能性のある物体の接近を運転者に認知させる等の支援に用いることが考えられる。

この撮像機構１１すなわち画像処理部１８から広角画像データおよび望遠画像データが入力される制御解析部１２は、車両Ｃの運転者の支援のために、広角画像データと望遠画像データとをそれぞれ解析し、この解析結果を適宜反映させた画像データを表示装置１３へと出力するとともに、解析結果に応じた制御信号を出力可能とされている。この制御解析部１２は、ＣＰＵが内蔵された画像処理専用のＭＰＵで構成され、制御プログラムにより動作が制御されている。制御解析部１２は、広角画像データおよび望遠画像データにおける目標物の選定、例えば、走行している道路の白線検知、障害物の動作検知等を行うことができ、これらの検知に応じて各種制御を行う。

詳細には、例えば、白線検知の場合、制御解析部１２は、広角画像データ（望遠画像データも同様）の微分処理を行い、縦方向や斜め方向に輝度値に差を有する境界（エッジ）が現れた微分画像を生成し、エッジ点を検索する等の処理を行うことにより、白線を検知することができる。なお、画像データに基づく白線検知の方法は、上記したもの以外であってもよく、公知の技術を種々採用することができる。

また、例えば、障害物の動作検知の場合、制御解析部１２は、広角画像データ（望遠画像データも同様）において時間的に相前後する２つの画像データから、同一点の移動をオプティカルフローとして検出することにより、障害物の動作、例えば、自車両以外の車両の接近等の動向を検知することができる。なお、画像データに基づく障害物の動作検知の方法は、上記したもの以外であってもよく、公知の技術を種々採用することができる。

上述した以外にも、制御解析部１２は、広角画像データおよび望遠画像データを適宜解析することにより、光量検出等を行うことができるが、この具体例については後に詳述する。

制御解析部１２では、第１撮像光学系１４および第２撮像光学系１６の光学的な設定から、広角画像データにおける車両Ｃに対する位置関係および望遠画像データにおける車両Ｃに対する位置関係を判断することができる。換言すると、撮像機構１１では、車両Ｃに対する広角画像データの位置関係と、車両Ｃに対する望遠画像データの位置関係とが、運転者を支援する観点から適切なものとなるように、第１撮像光学系１４および第２撮像光学系１６の光学的な特性が設定されている。このように、撮像機構１１では、広角画像データが車両Ｃの前方の近傍位置を広角に取得したものであり、望遠画像データが狭い視野ではあるが車両Ｃの前方の望遠位置を取得したものであることから、選定した目標物が、望遠画像データに存在する（この場合、低い分解能ではあるが広角画像データにも存在する）ものであるのか、広角画像データのみに存在するものであるのか、により、当該目標物の車両Ｃに対するおおまかな位置関係を把握することが可能である。

これは、例えば、図５に示すように、対向車線を走行している車両Ｃｏが車両Ｃから離間した位置Ｐ１にいる場合、車両Ｃｏは第２撮像光学系１６の視野（撮像領域）内に位置することから、第２撮像光学系１６により取得される望遠画像データに車両Ｃｏが含まれることとなる。このとき、車両Ｃｏは、第１撮像光学系１４の視野（撮像領域）内にも位置していることから、低い分解能である（若干ピントがずれる可能性もある）が、第１撮像光学系１４により取得される広角画像データにも含まれる。

車両Ｃｏが第２撮像光学系１６の撮像領域よりも車両Ｃ側に接近してくると、第２撮像光学系１６により取得される望遠画像データとしては車両Ｃｏを捕らえることができないが、第１撮像光学系１４により取得される広角画像データとしては車両Ｃｏを捕らえることができる（位置Ｐ２の車両Ｃｏ参照）。

車両Ｃｏが第１撮像光学系１４の撮像領域よりも車両Ｃ側に接近してくると、第１撮像光学系１４により取得される広角画像データとしても車両Ｃｏを捕らえることができなくなる（位置Ｐ３の車両Ｃｏ参照）。

このことを勘案することにより、制御解析部１２では、撮像機構１１からの広角画像データおよび望遠画像データに基づいて、対向車線を走行する車両Ｃｏが、第１撮像光学系１４の視野に位置する離間位置、第２撮像光学系１６の視野のみに位置する中間位置、第１撮像光学系１４および第２撮像光学系１６の視野に入らない近接位置、のいずれであるかを容易に判断することができる。なお、この目標物の位置判断は、対向車線を走行する車両Ｃｏに限定されるものではない。

また、撮像機構１１では、第２撮像光学系１６の視野に存在するものは第１撮像光学系１４の視野にも存在することから、第２撮像光学系１６の視野内であれば、広角画像データとして捕らえられた目標物（上記した例では車両Ｃｏ）を分解能の高い望遠画像データとしても捕らえることができる。このため、制御解析部１２では、分解能の高い第２撮像光学系１６による望遠画像データを解析することにより、車両Ｃから離間した位置に存在する目標物を、高い精度で容易に選定することができる。

さらに、制御解析部１２では、第１撮像光学系１４により得られる広角画像データに基づいて車両Ｃの前方側の近傍の情報を高い精度で得ることができるとともに、第２撮像光学系１６により得られる望遠画像データに基づいて車両Ｃの前方側の離間位置の情報を高い精度で得ることができる。

この制御解析部１２から解析結果が適宜反映された画像データが入力される表示装置１３は、液晶ディスプレイ等であり、動作状態とされている際に画像データが入力されることにより当該画像データに基づく映像を表示する。

ここで、車載用監視装置１０では、上述したように、撮像機構１１（画像処理部１８）が広角画像データと望遠画像データという、同一の時刻であって視野およびピントの合う位置（物体距離）の異なる二種類の画像データを同時に制御解析部１２へと出力するものである。この広角画像データおよび望遠画像データは、それぞれが第１撮像素子１５または第２撮像素子１７を介して取得されたものであり、それぞれが表示装置１３の表示画面の全体を使って表示可能なデータ量で構成されている。このため、制御解析部１２は、広角画像データおよび望遠画像データのうちのいずれか一方を表示装置１３へ出力するか、広角画像データと望遠画像データとを合成処理した画像データを表示装置１３へ出力する。この例では、制御解析部１２は、車両Ｃに搭載されている車速センサ（図示せず）からの情報に基づいて、低速走行時（例えば時速３０ｋｍ未満）には広角画像データを表示装置１３へ出力し、高速走行時（例えば時速３０ｋｍ以上）には望遠画像データを表示装置１３へ出力するものとされている。

このように、本発明に係る車載用監視装置１０では、ピントの合う位置が車両Ｃの近傍位置に設定され広角な視野の第１撮像光学系１４により広角画像データを取得することができるとともに、ピントの合う位置が車両Ｃから離間した位置に設定され第１撮像光学系１４の視野内の一部分の視野の第２撮像光学系１６により当該広角画像データと同時刻の望遠画像データを同時に取得することができるので、広角画像データと望遠画像データとをそれぞれ画像解析することにより、車両Ｃの近傍位置と離間位置との双方の情報を適切に取得することができる。このため、車載用監視装置１０では、近傍位置の適切な情報と、その近傍位置と同じ視野に含まれる離間位置の適切な情報と、に基づいて運転者の支援のための制御を行うことができる。

詳細には、例えば、制御解析部１２が、第１撮像光学系１４による広角画像データのみに基づいて運転者の支援のための制御を行う構成であると、車両Ｃから離間した位置に目標物が存在する場合、当該目標物が広角画像データに含まれていてもすなわち第１撮像光学系１４の視野に入っていても、当該広角画像データ内での当該目標物の占有率が低いことから、分解能が低くなってしまう。また、車両Ｃから離間した位置の目標物は、第１撮像光学系１４の視野に入っていても、当該第１撮像光学系１４ではピントが合わずに当該広角画像データでは適切な画像データとして取得することができない虞もある。このため、制御解析部１２が、広角画像データを解析しても、車両Ｃから離間した位置の当該目標物を適切に選定することができなくなってしまう。

これに対し、本発明に係る車載用監視装置１０では、広角画像データを取得する際、それと同時刻の望遠画像データを同時に取得している。このため、車載用監視装置１０では、車両Ｃから離間した位置の目標物であっても、望遠画像データを解析することにより適切に選定することができる。このため、この車載用監視装置１０では、車両Ｃの近傍位置の広角な領域における目標物を適切に選定することができるとともに、車両Ｃから離間した位置の目標物を適切に選定することができる。

また、車載用監視装置１０では、望遠画像データが、広角画像データの視野の一部分を拡大したものに相当することから、制御解析部１２が、望遠画像データと広角画像データとをそれぞれ解析し、双方の解析結果を視野に応じて関連させることにより、望遠画像データに基づいて適切に選定した目標物を、広角画像データの解析結果に反映させることができる。

よって、本発明に係る車載用監視装置１０は、高い精度で目標物を選定することができる。このため、車載用監視装置１０は、運転者をより適切に支援することができる。

次に、本発明に係る車載用監視装置１０による運転者の支援制御の具体例について説明する。図７は、車載用監視装置１０によるオートライト制御を行うためのブロック図であり、図８は、制御解析部１２におけるライト制御の流れを示すフローチャートである。

車載用監視装置１０は、実施例１では、制御解析部１２がライト駆動部２０に接続されている。ライト駆動部２０は、制御解析部１２から出力されたライト制御信号により動作が制御され、車両Ｃの前照灯（ヘッドライト）ＨＬやテールランプＴＬ（図１参照）としてのライト（図７では単一のライト２１として示しており、それに対応して単一のライト駆動部２０として示している。）を点灯および消灯させるために動作するドライバである。このため、制御解析部１２は、ライト駆動部２０へとライト制御信号を出力することにより、ライト２１を適宜点灯および消灯させることができる。このライト２１を自動的に点灯および消灯させる動作を、（運転者の操作に寄らず）自動的に行うことをオートライト制御という。

制御解析部１２は、ライト制御信号の生成のために、広角画像データに基づいて車両Ｃの周辺の光量（以下、周辺光量という）を検知するとともに、望遠画像データに基づいて車両Ｃの前方であって車両Ｃから離間した位置の光量（以下、前方光量という）を検知する。

この画像データに基づく光量の検知は、各画素データにおける輝度値の平均を求めることにより画面輝度情報を光量情報として扱うことで行うことができる。ここで、単に平均値を求めるだけであれば、撮像機構１１の画像処理部１８により映像処理演算が施された広角画像データおよび望遠画像データに基づいて周辺光量および前方光量を検知してもよく、第１撮像素子１５および第２撮像素子１７から出力された生画像データから周辺光量および前方光量を検知してもよい。この場合、周辺光量および前方光量が広角画像データおよび望遠画像データにおける目標物となる。このような構成であっても、広角画像データと、その視野の一部分を拡大した望遠画像データとに基づいて周辺光量および前方光量を検知することができることから、車両Ｃの周辺および車両Ｃから離間する前方位置の明るさをより適切に判断することができる。

この実施例１では、制御解析部１２は、光量の検知結果をより適切なものとするために、撮像機構１１の画像処理部１８により映像処理演算が施された広角画像データおよび望遠画像データを解析することにより、目標物として、明るさを検出するのに適切な領域、例えば、空が映される領域や地面が映される領域等を検出する。この後、制御解析部１２は、検出した領域を形成する各画素データにおける輝度値の平均値から光量を検知する。

ここで、広角画像データおよび望遠画像データでは、これらを取得するための第１撮像光学系１４および第２撮像光学系１６の車両Ｃにおける設置位置により、基本的な構図（走行条件や地形等によるばらつきはある）すなわち基本的に空が映される領域や基本的に地面が映される領域等がわかっている。制御解析部１２は、その構図に加えて、画像内の特徴点、含まれている色の要素等を元に、連続的に撮像された画像データの中から、明るさを検出するのに適切な領域を検出する。この実施例１では、制御解析部１２は、広角画像データおよび望遠画像データにおいて、空が映されていることが予測される領域もしくは地面（走行面）の上方に位置する空間が映される領域に相当する各画素データから光量を検知する。これは、走行している車両Ｃを取り巻く雰囲気の明るさに応じてライト２１の点灯制御を行うことが、運転者に良好な視界を確保させる観点から運転者を適切に支援できることによる。

次に、制御解析部１２におけるライト制御の流れを、図８に示すフローチャートに沿って述べる。制御解析部１２では、上記したように、周辺光量と前方光量とを検知できることから、双方の光量に基づいてライト２１を点灯および消灯させるように、ライト制御を行うすなわちライト制御信号を生成する。この図８のフローチャートは、オートライト制御が実行されている間は繰返し行われるものである。このオートライト制御の実行は、図示を略す操作部への操作によりＯＮ／ＯＦＦの切り換えが可能とされていてもよく、常に実行するものであってもよい。

ステップＳ１では、制御解析部１２は、撮像機構１１の画像処理部１８に対して広角画像データおよび望遠画像データの出力を促し、当該両画像データを取得して、ステップＳ２へ移行する。

ステップＳ２では、制御解析部１２は、取得した広角画像データおよび望遠画像データのそれぞれを解析し、目標物として、明るさを検出するのに適切な領域としての空が映されていることが予測される領域もしくは地面（走行面）の上方に位置する空間が映される領域を検出する。当該領域を検出したら、ステップＳ３へ移行する。

ステップＳ３では、制御解析部１２は、広角画像データにおける当該領域の各画素データから周辺光量を検知するとともに、望遠画像データにおける当該領域の各画素データから前方光量を検知する。周辺光量および前方光量を検知したら、ステップＳ４へ移行する。

ステップＳ４では、制御解析部１２は、周辺光量が第１所定値よりも低くかつ前方光量が第２所定値よりも低いものであるか否かを判断する。ここでいう第１所定値とは、広角画像データから得られる周辺光量において、当該広角画像データとして取得された領域の雰囲気がライトを点灯させる必要があると判断できる値である。また、第２所定値とは、望遠画像データから得られる前方光量において、当該望遠画像データとして取得された領域の雰囲気がライトを点灯させる必要があると判断できる値である。このため、第１所定値と第２所定値とは、等しいものであってもよく、異なるものであってもよく、第１撮像光学系１４および第２撮像光学系１６の光学的な特性に応じて決定すればよい。両条件を満たす場合すなわち周辺光量が第１所定値よりも低くかつ前方光量が第２所定値よりも低いものである場合、ライト２１を点灯させる条件が整ったものと判断できることからステップＳ５へ移行し、両条件を満たさない場合ステップＳ６へ移行する。

ステップＳ５では、制御解析部１２は、ライト２１を点灯させる条件が整ったものと判断したことから、ライト２１を点灯させる旨のライト制御信号を生成し、このライト制御信号をライト駆動部２０へと出力する。このため、車両Ｃでは、ライト駆動部２０によりライト２１が点灯される。なお、既にライト２１が点灯されている場合は、引き続き点灯状態が維持されることとなる。

ステップＳ６では、制御解析部１２は、周辺光量が第１所定値よりも高くかつ前方光量が第２所定値よりも高いものであるか否かを判断する。両条件を満たす場合すなわち周辺光量が第１所定値よりも高くかつ前方光量が第２所定値よりも高いものである場合、ライト２１を消灯させる条件が整ったものと判断できることから、ステップＳ７へ移行し、両条件を満たさない場合ステップＳ８へ移行する。

ステップＳ７では、制御解析部１２は、ライト２１を消灯させる条件が整ったものと判断したことから、ライト２１を消灯させる旨のライト制御信号を生成し、このライト制御信号をライト駆動部２０へと出力する。このため、車両Ｃでは、ライト駆動部２０によりライト２１が消灯される。なお、既にライト２１が消灯されている場合は、引き続き消灯状態が維持されることとなる。

ステップＳ８では、制御解析部１２は、ライト２１の現状の制御状態（ステップＳ８に至る直前の状態すなわちこのフローチャートを開始した状態）を維持する制御を行う。すなわち、制御解析部１２は、ライト２１を点灯させる旨のライト制御信号を出力していた場合には当該ライト制御信号を引き続き出力し、ライト２１を消灯させる旨のライト制御信号を出力していた場合には当該ライト制御信号を引き続き出力する。

このため、実施例１の車載用監視装置１０によるオートライト制御下では、車両Ｃのライト２１が以下のように動作する。

周辺光量および前方光量の各々が上記所定値よりも少ない場合には、ライト２１が点灯される。このような状況は、車両Ｃの周辺が暗くかつ車両Ｃから離間する前方位置が暗いことを意味することから、例えば、夜間の走行であったりトンネル内の走行であったりすることが想定されるので、ライト２１を点灯させることが望ましく適切に運転者を支援していることとなる。

逆に周辺光量および前方光量の各々が上記所定値よりも多い場合には、ライト２１が消灯される。このような状況は、車両Ｃの周辺が明るくかつ車両Ｃから離間する前方位置が明るいことを意味することから、例えば、昼間の走行であることが想定されるので、ライト２１を消灯させることが望ましく適切に運転者を支援していることとなる。

周辺光量と前方光量との各々における上記所定値との比較結果が異なる場合（一方が所定値を越えて他方が所定値よりも少ない場合）、ライト２１は現状の状態を維持される、すなわち点灯されている場合は点灯のままであり、消灯されている場合は点灯されない。このような状況は、車両Ｃの周辺と車両Ｃから離間する前方位置とのいずれか一方のみが明るく他方が暗いことを意味するため、例えば、次に列挙するようなことが想定される。

昼間の走行であって、ガード下や橋の下等を通過するときは、先ず離間する前方位置だけが暗くなり、その後周辺だけが暗くなる。このような場面では、基本的に車両Ｃは明るい雰囲気に取り囲まれていることから、既にステップＳ６からステップＳ７へと至りライト２１が消灯されている状況下であって、前方光量もしくは周辺光量の一方のみが一時的に暗くなったものであるから、ライト２１を消灯させたままとすることが望ましく、適切に運転者を支援していることとなる。

夜間やトンネル内の走行であって、極めて明るい光源の近傍を通過するときは、先ず離間する前方位置だけが明るくなり、その後周辺だけが明るくなる。このような場面では、基本的に車両Ｃは暗い雰囲気に取り囲まれていることから、既にステップＳ４からステップＳ５へと至りライト２１が点灯されている状況下であって、前方光量もしくは周辺光量の一方のみが一時的に明るくなったものであるから、ライト２１を点灯させたままとすることが望ましく、適切に運転者を支援していることとなる。

このように、実施例１の車載用監視装置１０によるオートライト制御下では、前方光量と周辺光量との双方の状態に応じてライト２１の点灯制御を行うことから、昼間の走行であってガード下や橋の下やスリットトンネルの下を通過する際に一瞬だけ点灯させてしまうことや、夜間やトンネル内の走行であって極めて明るい光源の近傍を通過する際に一瞬だけ消灯させてしまうことを防止することができる。これは、例えば、自車両の近傍（離間した前方であっても同じである）のみの光量を検知する構成である場合、昼間の走行であってガード下や橋の下やスリットトンネルの下を通過する際には一瞬だけ点灯させてしまったり、夜間やトンネル内の走行であって極めて明るい光源の近傍を通過する際に一瞬だけ消灯させたりしてしまう虞があることによる。

また、車載用監視装置１０では、第１撮像光学系１４により取得した広角画像データを解析して明るさを検出するのに適切な領域を検出し、当該領域から周辺光量を検知するので、車両Ｃの周辺の明るさを適切に検知することができる。加えて、車載用監視装置１０では、第２撮像光学系１６により取得した望遠画像データを解析して明るさを検出するのに適切な領域を検出し、当該領域から前方光量を検知するので、車両Ｃから離間する前方位置の明るさも適切に検知することができる。このように、第１撮像光学系１４では、適切な車両Ｃの周辺の明るさと、適切な車両Ｃから離間する前方位置の明るさと、に基づいてライト２１の点灯制御を行うことができるので、運転者に煩わしい切り換え操作を求めることなく、より適切に運転者を支援することができる。

さらに、車載用監視装置１０では、広角画像データおよび望遠画像データにおける空や空間の明るさに基づいて周辺光量および前方光量を検知しているので、例えば、対向車両のハイビームや道路脇に設置された反射鏡からの反射光等のように、極めて明るい光源が道路脇等にあった場合であっても、周辺光量や前方光量を誤って検知することを防止することができる。

なお、実施例１では、制御解析部１２は、広角画像データおよび望遠画像データにおいて、明るさを検出するのに適切な領域の光量が所定の値以上であるか否かを判断することにより、車両Ｃの周辺および車両Ｃから離間する前方位置の明るさを判断していたが、広角画像データに基づいて車両Ｃの周辺の明るさを判断しかつ望遠画像データに基づいて車両Ｃから離間する前方位置の明るさを判断するものであればよく、実施例１に限定されるものではない。例えば、制御解析部１２は、広角画像データおよび望遠画像データにおいて、目標物として、空が映される領域および地面が映される領域を検出し、それぞれの光量を検知し、双方の光量のコントラストを見ることで、車両Ｃの周辺および車両Ｃから離間する前方位置の明るさを判断することもできる。

次に、本発明に係る車載用監視装置１０による運転者の支援制御の他の具体例について説明する。図９は、車載用監視装置１０によるオートライト制御を行うためのブロック図である。

車載用監視装置１０は、実施例２では、制御解析部１２がライト駆動部２０´に接続されている。実施例２のライト駆動部２０´は、車両Ｃの前照灯（ヘッドライト）ＨＬを点灯および消灯させるために動作するドライバである。この前照灯ＨＬは、ロービーム用ランプ２１ａとハイビーム用ランプ２１ｂとを有しており、ライト駆動部２０´により両ランプ２１ａ、２１ｂが点灯および消灯される。すなわち、実施例２の車載用監視装置１０は、オートライト制御においてロービームとハイビームとの切り換え制御も行う例である。

この実施例２でも、制御解析部１２が、ライト制御信号の生成のために、広角画像データに基づいて周辺光量を検知するとともに、望遠画像データに基づいて前方光量を検知することは実施例１と同様である。

実施例２では、制御解析部１２は、広角画像データおよび望遠画像データを解析する際、目標物として、空が映されていることが予測される領域と走行面が映されていることが予測される領域とを検出し、空が映されていることが予測される領域の光量に対して走行面が映されていることが予測される領域の光量が極めて高い場合、夜間やトンネル内の走行であって対向車線を走行する車両（ヘッドライトを点灯させている）が存在するものと判断する。なお、この夜間やトンネル内の走行での対向車線を走行する車両の検知は、上述した障害物の動作検知と光量検知との双方を組み合わせることにより行うものであってもよく、実施例２に限定されるものではない。また、実施例２では、制御解析部１２は、上述した障害物の動作検知を用いて、自らの車両Ｃが走行している車線の先方を走行する車両の検知を行う。

実施例２では、制御解析部１２は、実施例１のオートライト制御に加えて、夜間やトンネル内の走行であって、車両Ｃの先方を走行する車両が存在するもしくは対向車線を走行する車両が存在するものと判断した場合、ロービーム用ランプ２１ａを点灯させる旨のライト制御信号をライト駆動部２０´へ出力する。また、制御解析部１２は、夜間やトンネル内の走行であって、車両Ｃの先方を走行する車両が存在せず、かつ対向車線を走行する車両が存在しないものと判断した場合、ハイビーム用ランプ２１ｂを点灯させる旨のライト制御信号をライト駆動部２０´へ出力する。

これにより、実施例２の車載用監視装置１０によるオートライト制御下では、夜間やトンネル内の走行の際に、運転者の前方視野を大幅に拡大し安全性を大きく向上させるためのハイビームを、運転者に煩わしい切り換え操作を求めることなく、最大限に活用させることができる。

なお、制御解析部１２は、夜間やトンネル内の走行であって、車両Ｃの先方を走行する車両が存在するもしくは対向車線を走行する車両が存在するものと判断した場合であっても、当該車両が極めて遠くに位置する等により当該車両の運転者をハイビームにより眩惑しないと判断できるときは、ハイビーム用ランプ２１ｂを点灯させる旨のライト制御信号をライト駆動部２０´へ出力する構成であってもよい。このような判断は、例えば、上述したように、制御解析部１２では、撮像機構１１からの広角画像データおよび望遠画像データに基づいて、対向車線を走行する車両Ｃｏが、第１撮像光学系１４の視野に位置する離間位置、第２撮像光学系１６の視野のみに位置する中間位置、第１撮像光学系１４および第２撮像光学系１６の視野に入らない近接位置、のいずれであるかを容易に判断することができることから、当該車両が離間位置であるときはハイビームとし、当該車両が中間位置であるときはロービームとし、当該車両が近接位置であるときは再びハイビームとする、ものとすれば容易に行うことができる。また、当該判断は、後述するように、広角画像データおよび望遠画像データを解析することにより、自車両から当該車両までの距離を測定し、この距離に基づいて行うこともできる。

次に、本発明に係る車載用監視装置による運転者の支援制御の他の具体例について説明する。図１０は、車載用監視装置１０´によるオートワイパー制御を行うためのブロック図であり、図１１は、広角画像データとして取得されたフロントガラスＦＧ（図１参照）に付着した雨滴Ｒを模式的に示す説明図である。

車載用監視装置１０´は、実施例３では、制御解析部１２がワイパー駆動部３０に接続されている。ワイパー駆動部３０は、ワイパーモータ３１を駆動させるために動作するドライバである。このワイパーモータ３１は、図示は略すがワイパーアームの先端に取り付けられたワイパーブレードを、車両ＣのフロントガラスＦＧ（図１参照）等の払拭面に沿って往復動させるべくワイパーアームを揺動させるものである。このため、実施例３では、制御解析部１２は、ワイパー駆動部３０へとワイパー制御信号を出力することにより、ワイパーモータ３１すなわちワイパーブレード（図示せず）を適宜往復動させることができる。このワイパーブレード（図示せず）を往復動させたり停止させたりする動作がワイパーを駆動することであり、このワイパーの駆動を、（運転者の操作に寄らず）自動的に行うことをオートワイパー制御という。

車載用監視装置１０´では、第１撮像光学系１４´が、車両ＣのフロントガラスＦＧ（図１参照）に対してピントが合うように設定されている。このため、車載用監視装置１０´では、広角画像データとしてフロントガラスＦＧ（図１参照）に付着した雨滴Ｒ（図１１参照）も取得することができる。

制御解析部１２は、ワイパー制御信号の生成のために、目標物として、広角画像データに基づいて車両ＣのフロントガラスＦＧ（図１参照）に付着した雨滴Ｒ（図１１参照）を検出する。この広角画像データに基づく雨滴Ｒの検出は、例えば、図１１に示すように、雨滴Ｒを含む広角画像データをフィルタ処理（平均値フィルタ）して、ノイズを除去するとともに、画像上の強エッジ領域のエッジ抽出を行い、そのエッジ抽出された領域について２値化処理等を施すことにより、行うことができる。なお、広角画像データに基づく雨滴Ｒの検出は、その他の公知の画像処理技術を種々採用することができる。

制御解析部１２は、雨滴Ｒの検出した場合、ワイパーブレード（図示せず）を適宜往復動させるべくワイパーモータ３１を駆動する旨のワイパー制御信号をワイパー駆動部３０へ出力する。このとき、制御解析部１２は、雨滴Ｒの単位面積辺りの検出量や検出した雨滴Ｒの大きさ等に応じて、ワイパーモータ３１の動作速度を変化させるように、生成するワイパー制御信号を変化させるものとすることができる。

これにより、実施例３の車載用監視装置１０´によるオートワイパー制御下では、雨が降ってきたときのようにフロントガラスＦＧ（図１参照）に雨滴Ｒ（図１１参照）が付着した際、運転者に煩わしい切り換え操作を求めることなく、当該雨滴Ｒを払拭することができ、運転者に良好な視界を確保させることができる。

なお、実施例３の車載用監視装置１０´では、第１撮像光学系１４´が、車両ＣのフロントガラスＦＧ（図１参照）に対してピントが合うように設定されていたが、制御解析部１２が、目標物として、広角画像データに基づいてフロントガラスＦＧ（図１参照）に付着した雨滴Ｒ（図１１参照）の検出が可能であれば、フロントガラスＦＧではなく車両Ｃの前方側の近傍位置にピントが合うように設定されていてもよく、実施例３に限定されるものではない。すなわち、広角画像データに基づく映像を表示装置１３に表示させた際、その映像において運転者等が雨滴を視認することができなくてもよい。

次に、本発明に係る車載用監視装置の他の例について説明する。図１２は、車載用監視装置１０４の構成を説明するためのブロック図であり、図１３は、車載用監視装置１０４における四つの撮像光学系１４Ｒ、１６Ｒ、１４Ｌ、１６Ｌの視野を説明するためにそれぞれにより取得された画像データの関係性を示す模式的な説明図であり、（ａ）は第１撮像光学系１４Ｌの視野を示し、（ｂ）は第２撮像光学系１６Ｌの視野を示し、（ｃ）は第１撮像光学系１４Ｒの視野を示し、（ｄ）は第２撮像光学系１６Ｒの視野を示している。

実施例４の車載用監視装置１０４は、自らの車両Ｃ（以下、自車両Ｃともいう。）から、取得した画像データの任意の個所までの距離の検知が可能とされたものである。この車載用監視装置１０４では、撮像機構１１４が、左右で対を為すように二つのレンズブロック４０Ｒ、４０Ｌを有する構成とされている。両レンズブロック４０Ｒ、４０Ｌは、車載用監視装置１０と同様の第１撮像光学系および第２撮像光学系を有している。以下では、レンズブロック４０Ｒに設けられたものを第１撮像光学系１４Ｒおよび第２撮像光学系１６Ｒとし、レンズブロック４０Ｌに設けられたものを第１撮像光学系１４Ｌおよび第２撮像光学系１６Ｌとする。この両レンズブロック４０Ｒ、４０Ｌにおける、第１撮像光学系と第２撮像光学系との関係は、車載用監視装置１０と同様であることから、詳細な説明は省略する。また、レンズブロック４０Ｒとレンズブロック４０Ｌとでは、互いに略等しいレンズ構成とされ略等しい光学特性とされている。

この撮像機構１１４では、図１３に示すように、同一の被写体に対して、レンズブロック４０Ｒが右側から撮像可能であり、レンズブロック４０Ｌが左側から撮像可能であるように、左右で対を為す構成とされている。詳細には、第１撮像光学系１４Ｒと第１撮像光学系１４Ｌとが、車両Ｃの前方であって、車両Ｃに近い領域を広域に渡り撮像すべく広角な視野を互いに重複させるべく互いの光軸が交差するように位置設定されており、それぞれピントの合う位置が等しくされている。また、第２撮像光学系１６Ｒと第２撮像光学系１６Ｌとが、車両Ｃの前方であって、車両Ｃから離間した領域を撮像する狭い視野を互いに重複させるべく互いの光軸が交差するように位置設定されており、それぞれピントの合う位置が等しくされている。換言すると、車両Ｃの前方であって車両Ｃに近い広域な領域を、第１撮像光学系１４Ｒが右側から撮像可能でありかつ第１撮像光学系１４Ｌが左側から撮像可能である。同様に、車両Ｃから離間した狭い視野の領域を、第２撮像光学系１６Ｒが右側から撮像可能でありかつ第２撮像光学系１６Ｌが左側から撮像可能である。これにより、第１撮像光学系１４Ｒと第１撮像光学系１４Ｌとは、互いが設置された位置における間隔に基づく視差のみが異なる広角画像データを取得することができ（図１３（ａ）および（ｃ）参照）、第２撮像光学系１６Ｒと第２撮像光学系１６Ｌとは、互いが設置された位置における間隔に基づく視差のみが異なる望遠画像データを取得することができる（図１３（ｂ）および（ｄ）参照）。実施例４では、互いの視差が水平方向のみに生じるように、レンズブロック４０Ｒとレンズブロック４０Ｌとの位置関係が設定されている。

レンズブロック４０Ｒでは、第１撮像光学系１４Ｒに対応して第１撮像素子１５Ｒが設けられ、第２撮像光学系１６Ｒに対応して第２撮像素子１７Ｒが設けられている。第１撮像素子１５Ｒが取得した生画像データは、画像処理部１８４により映像処理演算が施されて右側広角画像データ（図１３（ｃ）参照）とされ、この右側広角画像データが制御解析部１２４へと出力される。また、第２撮像素子１７Ｒが取得した生画像データは、画像処理部１８４により映像処理演算が施されて右側望遠画像データ（図１３（ｄ）参照）とされ、この右側望遠画像データが制御解析部１２４へと出力される。

同様に、レンズブロック４０Ｌでは、第１撮像光学系１４Ｌに対応して第１撮像素子１５Ｌが設けられ、第２撮像光学系１６Ｌに対応して第２撮像素子１７Ｌが設けられている。第１撮像素子１５Ｌが取得した生画像データは、画像処理部１８４により映像処理演算が施されて左側広角画像データ（図１３（ａ）参照）とされ、この左側広角画像データが制御解析部１２４へと出力される。また、第２撮像素子１７Ｌが取得した生画像データは、画像処理部１８４により映像処理演算が施されて左側望遠画像データ（図１３（ｂ）参照）とされ、この左側望遠画像データが制御解析部１２４へと出力される。

次に、車載用監視装置１０４すなわち制御解析部１２４における測距処理方法について説明する。この説明では、右側広角画像データ（図１３（ｃ）参照）と左側広角画像データ（図１３（ａ）参照）とを用いて広角画像データにおける測距処理について述べ、同様の処理を行う望遠画像データについては省略する。

制御解析部１２４は、取得した右側広角画像データおよび左側広角画像データをメモリ（図示せず）に一旦格納し、当該メモリから右側広角画像データおよび左側広角画像データの有効領域を切り出す。その後、制御解析部１２４は、切り出した有効領域の右側広角画像データにおける微小領域Ｓｒ１に注目するとともに、切り出した有効領域の左側広角画像データにおいて微小領域Ｓｒ１と同一番地に相当する微小領域Ｓｌ１に注目し、標本化位置のずれの推定演算を行う。この標本化位置のずれの推定演算は公知の技術であることから、詳細な説明は省略する。

これにより、微小領域内での被写体の視差δ（０、０）を算出する。この手法によると画像の水平方向ｘ、垂直方向ｙそれぞれにつき視差を算出できるが、実施例４の場合、上述したように視差は水平方向にのみ生じるため、ここでは水平方向の視差のみを算出すればよい。なお視差δは、各撮像素子１５Ｒ、１７Ｒ、１５Ｌ、１７Ｌの画素単位（ピクセル）で求められる。撮像機構１１（自車両Ｃ）から被写体までの距離Ａと視差δとの間には、次式（１）の関係が成り立つ。なお、式（１）では、第１撮像光学系１４Ｒと第１撮像光学系１４Ｌとの間隔をＢとし、第１撮像光学系の焦点距離（上述したように、１４Ｒと１４Ｌとでは互いに等しい）をｆとし、撮像素子の画素サイズ（上述したように、１５Ｒと１５Ｌとでは互いに等しい）をｐとしている。

Ａ＝Ｂ・ｆ／（δ・ｐ） ・・・・・・・・・・・（１）
このため、式（１）に算出した視差δを代入することで、注目した微小領域における被写体距離Ａを求めることができる。

その後、制御解析部１２４は、注目する微小領域を、微小領域Ｓｒ２および微小領域Ｓｌ２へとずらして視差δを算出する。制御解析部１２４は、このように注目する微小領域の位置を、右側広角画像データおよび左側広角画像データの有効領域の全体を走査するようにずらしていき、その総ての微小領域の視差δを算出し、それぞれの被写体距離Ａを求める。

制御解析部１２４は、被写体距離Ａを求めた総ての微小領域を合成することにより、右側広角画像データおよび左側広角画像データに基づく距離画像（図示せず）を生成する。当該距離画像により、制御解析部１２４は、自車両Ｃから、当該広角画像データにおける任意の個所までの距離、例えば、図１３（ａ）および（ｃ）において、自車両Ｃの前方を走行している車両Ｃｐまでの距離と、対向車線を走行している車両Ｃｏまでの距離とを、分離してほぼ同時に知ることができる。

制御解析部１２４は、上述したように、右側望遠画像データ（図１３（ｄ）参照）と左側望遠画像データ（図１３（ｂ）参照）とに基づいて、自車両Ｃから、当該望遠画像データにおける任意の個所までの距離を知ることができる。

このため、車載用監視装置１０４すなわち制御解析部１２４では、自車両Ｃから、広角画像データにおける任意の個所までの距離を検知することができるとともに、広角画像データの一部分を拡大した望遠画像データにおける任意の個所までの距離を検知することができる。すなわち、車載用監視装置１０４では、広角画像データにおける任意の個所までの距離を検知することができ、その中の望遠画像データに相当する領域については、より高い分解能で任意の個所までの距離を検知することができる。これにより、車載用監視装置１０４では、距離測定の分解能を確保しつつ距離測定のレンジを広げることができ、より高い精度で目標物を選定することができる。

このように、本発明に係る車載用監視装置では、より高い精度で目標物を選定することができる。このため、本発明に係る車載用監視装置では、上述したように、車両前方・周辺光量に応じてヘッドライトまたはテールランプ等のライトの点灯・消灯の制御、雨滴検出に応じたワイパー制御、車両の周辺の監視を行うべく用いることに大変有用である。

また、この車載用監視装置では、光量センサを用いることなくオートライト制御を行うことを可能とし、雨滴センサを用いることなくオートワイパー制御を行うことを可能とするとともに、白線の検知、障害物の動作の検知、および自車両Ｃから取得した画像データの任意の個所までの距離の検知が可能であり、それぞれをより適切に行うことができる。このように、高い性能を確保しつつ複数の機能を単一の車載用監視装置に具備させることができ、低コスト化を図ることができるとともに、設置スペースの削減を図ることができる。

なお、上記した各例では、撮像機構１１の画像処理部１８から２つの画像データを取得した制御解析部１２が、白線検知、障害物の動作の検知、および自車両Ｃから取得した画像データの任意の個所までの距離の検知、加えて、オートライト制御（光量検知）、オートワイパー制御（雨滴検知）等のいずれかを行うものとされていたが、これらの検知、各制御のすべてまたはいずれかを組み合わせて行う構成としてもよい。この場合、各検知および各制御に応じて制御解析部を有する構成であってもよく、単一の制御解析部で各検知および各制御を一括して行う構成であってもよい。

また、上記した各例では、第１撮像光学系１４と第２撮像光学系１６とが固定されていたが、第１撮像光学系１４および第２撮像光学系１６の光軸方向を搭載された車両Ｃのステアリング操作に合わせて変更するものであってもよく、広角とされた第１撮像光学系１４は固定としつつその視野の一部分を拡大する視野の第２撮像光学系１６の光軸方向を搭載された車両Ｃのステアリング操作に合わせて変更するものであってもよく、上記した各例に限定されるものではない。

さらに、上記した各例では、第２撮像光学系１６は、第１撮像光学系１４の視野において、略中央の高さ位置でかつ車両Ｃの直進方向よりもやや右よりに位置する矩形状の領域を視野とするように設定されていたが、これは日本のように左側通行とされている場合の対向車線を望遠画像データとして取得することを意図したものであり、上記した各例に限定されるものではない。第２撮像光学系１６は、第１撮像光学系１４の視野の一部を拡大するような視野とされていれば、例えば、第１撮像光学系１４の視野における中央に位置されていても左寄りに位置されていてもよい。

上記した各例では、第１撮像光学系１４と第２撮像光学系１６とが、車両Ｃの左右方向に並列されていたが、上下方向に並列させるものであってもよい。この場合、第１撮像光学系１４は、第２撮像光学系１６の上方に位置させることが望ましい。これは、以下のことによる。近い方の撮像光学系（焦点距離が短い）は、車両の前方であって車両の近傍位置の映像を取得するものであることから、例えば、セダンタイプの車両に搭載する場合、フロントガラスよりもボンネットが前方へと突出されているため、ボンネットに阻害されずに車両前方の地面（走行面）の映像を取得する観点から、車両においてより高い位置に設けることが望ましいことによる。

以上、本発明を実施例に基づき詳述してきたが、この具体的な構成に限らず、本発明の趣旨を逸脱しない程度の設計的変更は、本発明の技術的範囲に含まれる。

車載用監視装置の概略的な構成を示す説明図である。 車載用監視装置の概略的な構成を示すブロック図である。 車載用監視装置における撮像機構の構成を概略的に示す説明図である。 撮像機構における二つの撮像光学系、の視野を説明するために車両の側方から見た模式的な説明図である。 二つの撮像光学系、の視野を説明するために車両の上方から見た模式的な説明図である。 二つの撮像光学系、の視野を説明するためにそれぞれにより取得された画像データの関係性を示す模式的な説明図であり、（ａ）は第１撮像光学系の視野を示し、（ｂ）は第２撮像光学系の視野を示している。 車載用監視装置によるオートライト制御を行うためのブロック図である。 制御解析部におけるライト制御の流れを示すフローチャートである。 車載用監視装置によるオートライト制御を行うためのブロック図である。 車載用監視装置によるオートワイパー制御を行うためのブロック図である。 広角画像データとして取得されたフロントガラスに付着した雨滴を模式的に示す説明図である。 実施例４の車載用監視装置の構成を説明するためのブロック図である。 実施例４の車載用監視装置における四つの撮像光学系の視野を説明するためにそれぞれにより取得された画像データの関係性を示す模式的な説明図であり、（ａ）は左側の第１撮像光学系の視野を示し、（ｂ）は左側の第２撮像光学系の視野を示し、（ｃ）は右側の第１撮像光学系の視野を示し、（ｄ）は右側の第２撮像光学系の視野を示している。

符号の説明

１０、１０´、１０４ 車載用監視装置
１１、１１４ 撮像機構
１２、１２４ 制御解析部
１４ 第１撮像光学系
１５ 第１撮像素子
１６ 第２撮像光学系
１７ 第２撮像素子
１８、１８４ 画像処理部
２１ ライト
２１ａ ロービーム用ランプ
２１ｂ ハイビーム用ランプ
Ｃ 車両
ＦＧ フロントガラス
Ｒ 雨滴
δ 視差

Claims (7)

1. 車両に搭載され該車両の周辺を広域に渡り撮像すべく広角な視野とされた第１撮像光学系と、
   該第１撮像光学系を介した物体距離を前記車両の近い領域とする位置に配置され前記第１撮像光学系を介して前記近い領域の画像データを取得するための第１撮像素子と、
   前記第１撮像光学系の視野の内方の一部分を拡大するように撮像可能に前記車両に搭載された第２撮像光学系と、
   該第２撮像光学系を介した物体距離を前記車両から離間する領域とする位置に配置され前記第２撮像光学系を介して前記離間する領域の画像データを取得するための第２撮像素子と、
   前記第１撮像素子および前記第２撮像素子により取得された前記画像データにおける目標物の選定を行うべく前記画像データを解析する制御解析部と、を備えることを特徴とする車載用監視装置。
2. 車両に搭載され該車両の周辺を広域に渡り撮像すべく広角な視野とされた第１撮像光学系と、
   該第１撮像光学系を介した物体距離を前記車両の近い領域とする位置に配置され前記第１撮像光学系を介して前記近い領域の画像データを取得するための第１撮像素子と、
   前記第１撮像光学系の視野の内方の一部分を拡大するように撮像可能に前記車両に搭載された第２撮像光学系と、
   該第２撮像光学系を介した物体距離を前記車両から離間する領域とする位置に配置され前記第２撮像光学系を介して前記離間する領域の画像データを取得するための第２撮像素子と、
   前記第１撮像素子により取得された前記画像データに映像処理を施して広角画像データを生成するとともに前記第２撮像素子により取得された前記画像データに映像処理を施して望遠画像データを生成する画像処理部と、
   前記広角画像データおよび前記望遠画像データにおける目標物の選定を行うべく前記広角画像データおよび前記望遠画像データを解析する制御解析部と、を備えることを特徴とする車載用監視装置。
3. 前記制御解析部は、前記目標物として、前記広角画像データおよび前記望遠画像データにおいて明るさを検出するのに適切な領域を選定し、前記広角画像データおよび前記望遠画像データに基づいて前記領域の光量を求めることを特徴とする請求項２に記載の車載用監視装置。
4. 前記制御解析部は、前記広角画像データに基づく光量から前記近い領域が明るいと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が明るいと判断すると、前記車両のライトを消灯させる制御信号を出力し、
   前記広角画像データに基づく光量から前記近い領域が暗いと判断するとともに前記望遠画像データに基づく光量から前記離間する領域が暗いと判断すると、前記ライトを点灯させる制御信号を出力し、
   前記広角画像データに基づく光量からの前記近い領域の明暗の判断と前記望遠画像データに基づく光量から前記離間する領域の明暗の判断とが異なる場合、前記ライトの現状の状態を維持するべく制御信号を出力する、ことを特徴とする請求項３に記載の車載用監視装置。
5. 前記制御解析部は、前記広角画像データおよび前記広角画像データにおける前記目標物として対向車両または先行車両を合わせて選定するものとし、前記ライトを点灯させる制御信号を出力する際、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定できなかった場合には、前記ライトをハイビームとして点灯させる制御信号を生成して出力し、前記広角画像データおよび前記広角画像データからは前記対向車両および前記先行車両が選定した場合には、前記ライトをロービームとして点灯させる制御信号を生成して出力する、ことを特徴とする請求項４に記載の車載用監視装置。
6. 前記第１撮像光学系は、搭載された前記車両のフロントガラスを介して前記車両の前方を撮像可能とされており、
   前記制御解析部は、前記広角画像データにおける前記目標物として前記フロントガラスに付着した雨滴を合わせて選定するものとし、該雨滴を選定した場合には、前記車両のワイパーを駆動させる制御信号を生成して出力する、ことを特徴とする請求項４または請求項５に記載の車載用監視装置。
7. 前記第１撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる広角画像データを取得すべく対を為して前記車両に設けられ、
   前記第２撮像光学系は、互いが設置された位置における間隔に基づく視差のみが異なる望遠画像データを取得すべく対を為して前記車両に設けられ、
   前記制御解析部は、一対の前記第１撮像光学系の視差に基づいて前記広角画像データにおける任意の個所までの距離を求めるとともに、一対の前記第２撮像光学系の視差に基づいて前記応援画像データにおける任意の個所までの距離を求める、ことを特徴とする請求項２ないし請求項６のいずれか１項に記載の車載用監視装置。
   

Images