JP2010118767A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数の運転支援装置に用いられるパラメータを、一つのカメラシステムの撮像情報から求める。
【解決手段】車載のイメージセンサ１０により撮像された撮像情報に基づいて、車両の走行を支援する複数の運転支援装置２００に用いられるパラメータをそれぞれ求める画像処理システム１００であって、パラメータを求める運転支援装置２００に応じて、撮像する際のフレームを定義するとともに、この定義されたフレームのフィールド中においてイメージセンサ１０のシャッタの入切を２回以上実行させるとともに、フレームに属する撮像情報に基づいて、運転支援装置２００のパラメータを取得する制御装置２０を有する。運転支援装置２００のパラメータは、たとえば、車線逸脱警報装置２１０のレーンマーカ情報、ナイトビジョン装置２００の車両周囲の映像情報、ハイビーム切換装置２２０の障害物情報、オートライト２４０装置の車両周囲の照度である。
【選択図】 図１

Description

本発明は、移動体の周囲の撮像情報から運転支援機能に用いられるパラメータを求める画像処理装置及び画像処理方法に関する。

単一のカメラにおいて、平面認識用のシャッタ制御と立体物検出用のシャッタ制御をフレーム毎に切り換えることにより、単一のカメラの撮像情報に基づいて立体物検出及び白線認識といった複数の検出処理を行う技術が知られている（特許文献１参照）。

特開２００７−３０６２７２号公報

しかしながら、従来の技術では、フレーム単位でシャッタ制御を切り換えるため、検出処理ごとに常に最適な撮像情報を得ることが難しいという問題があった。

本発明は、移動体の各運転支援機能に応じて定義されたフレームのフィールド中にシャッタの入切を２回以上実行し、このフレームに属する撮像情報に基づいて、このフレームに対応する運転支援機能に用いられる各パラメータを取得することにより上記課題を解決する。

本発明によれば、各運転支援機能に適した条件で定義されたフレームの撮像情報からパラメータを取得するので、各運転支援機能に適したパラメータを取得することができる。

図面に基づいて、本実施形態に係る画像処理システム１００について説明する。本実施形態においては、移動体としての車両に搭載された画像処理システム１００を含み、その車両の運転を支援する運転支援システム１０００を例にして説明する。ちなみに、本実施形態の画像処理システム１００は、車両のほか、二輪車、飛行機、船舶その他の移動する物体（移動体）に搭載することができる。この場合、運転支援システム１０００は、これら各移動体の走行、飛行、航行などの運転を支援する。

図１に示すように、運転支援システム１０００は、イメージセンサ１０と画像処理システム１００とを含むカメラシステム３００と、各運転支援装置２００（２１０〜２４０）と、を有する。画像処理システム１００を含むカメラシステム３００と各運転支援装置２００（２１０〜２４０）とは、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行う。

そして、本実施形態の画像処理システム１００は制御装置２０を備える。この制御装置２０は、車載のイメージセンサ１０により撮像された撮像情報に基づいて、車両の走行を支援する複数の運転支援装置２００に用いられるパラメータをそれぞれ求める。

図１に示すように、画像処理システム１００の制御装置２０は、本実施形態に係る画像処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory ）２２と、このＲＯＭ２２に格納されたプログラムを実行することで、画像処理システム１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）２１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）２３と、を備える。なお、動作回路としては、ＣＰＵ（Central Processing Unit）２１に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

また、図１に例示するカメラシステム３００は、イメージセンサ１０と、画像処理システム１００とを含む。本実施形態のイメージセンサ１０は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)、ＣＣＤ(Charge Coupled Device)その他の撮像素子を有する。イメージセンサ１０は、光を電荷に変換し、この電荷を電気信号に変換し、画像処理システム１００へ送出する。

図２にカメラシステム３００の設置例を示す。図２に示すように、本実施形態では車両の進行方向の前方を撮像するように、カメラシステム３００の受光面を車両の進行方向に向けて設置する。また、カメラシステム３００は、撮像制御及び本実施形態の画像処理を行う画像処理システム１００を内蔵する。もちろん、画像処理システム１００を車両コントローラ４００などに内蔵させ、イメージセンサ１０と物理的に別体として構成してもよい。

次に、画像処理システム１００の制御装置２０が備える処理機能について説明する。制御装置２０は、各運転支援装置２００に応じて定義されたフレームのフィールド中において撮像手段のシャッタの入切を２回以上実行させる撮像制御機能と、フレームに属する撮像情報に基づいて、そのフレームに対応する運転支援装置２００のパラメータを取得するパラメータ取得機能とを有する。そして、制御装置２０は、各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、上述した画像処理システム１００の制御装置２０が実現する機能についてそれぞれ説明する。

まず、画像処理システム１００の撮像制御機能について説明する。画像処理システム１００は、撮像する際のフレームを運転支援装置２００の機能に応じて予め定義する。具体的に、画像処理システム１００は、運転支援装置２００ごとに、各運転支援機能に適したフレームレート、又は各運転支援機能に適したフレーム時間を定義する。

ここで、各運転支援装置２００について説明する。図１に示すように、本実施形態の運転支援システム１０００は、車線逸脱警報装置２１０と、ナイトビジョン装置２２０と、ハイビーム切換装置２３０と、オートライト装置２４０等の運転支援装置２００を備える。なお、各運転支援装置２００に用いられる（入力値となる）パラメータは、その機能に応じて予め定義される。なお、運転支援装置２００は、図１に示すものに限定されず、任意に選択し、用いることができる。

ここで、各運転支援装置２００について説明する。

まず、車線逸脱警報装置２１０は、運転中に自車両がレーンマーカで定義された移動誘導線（移動体が車両の場合は車線）を逸脱する可能性が所定値以上となった場合に警告を行う機能を備えた装置である。具体的に、本実施形態の車線逸脱警報装置２１０は、カメラシステム３００により取得された道路上のレーンマーカ情報を用いて、レーンマーカ情報から導かれた車線（移動誘導線）の位置と自車両の位置とを比較し、自車両の位置と車線の位置との位置関係が予め定義された逸脱関係に含まれる場合は、自車両が車線を逸脱する可能性が高いとして乗員に警告を行う。つまり、車線逸脱警報装置２１０のパラメータは、道路上の撮像情報に基づいて得られるレーンマーカ情報である。このレーンマーカ情報には、車線の有無、車線の位置、車線態様の識別情報（連続車線若しくは断続車線、又は白線若しくは黄線）その他の車線（移動誘導線）に関する情報を含む。

また、警告は、車両に搭載されたスピーカ５００を介して、警告音の発生又は警告テキストの読み上げにより行う。さらに、警告は、ディスプレイ６００を介した点滅画像の表示などの視覚的な刺激により行うことができる。なお、自車両の位置は、ナビゲーション装置９００のＧＰＳ（Global Positioning System）９０１の測位機能により検出することができる。

また、ナイトビジョン装置２２０は、車両周囲の撮像映像をディスプレイに表示する機能を備えた装置である。具体的に、本実施形態のナイトビジョン装置２２０は、カメラシステム３００で撮像した車両の進行方向前方の映像を車載のヘッドアップディスプレイ７００に表示する。つまり、ナイトビジョン装置２２０のパラメータは、車両周囲の撮像情報に基づいて得られる映像情報である。この映像情報には、車両前方の映像、車両後方を含む。映像情報は、ヘッドアップディスプレイ７００により、車両のフロントウィンドウの所定領域に表示される。

さらに、ハイビーム切換装置２３０は、車両周囲に障害物の存否に応じてヘッドライト８００のロービーム／ハイビームの切り換える機能を備えた装置である。具体的に、本実施形態のハイビーム切換装置２３０は、カメラシステム３００で撮像した障害物情報に基づいて、所定の障害物が存在する場合はヘッドライト８００をロービームに切り換え、所定の障害物が存在しない場合はヘッドライト８００をハイビームに切り換える。つまり、ハイビーム切換装置２３０のパラメータは、車両周囲の撮像情報に基づいて得られる障害物情報である。この障害物情報には、障害物（歩行者、立体物、移動物、固定物を含む）の有無情報、障害物（歩行者、立体物、移動物、固定物を含む）の位置情報などを含む。

さらにまた、オートライト装置２４０は、車両周囲の照度が所定値未満である場合はヘッドライト８００を点灯する（オンにする）機能を備えた装置である。具体的に、本実施形態のオートライト装置２４０は、車両周囲の照度がヘッドライト８００の照射を必要とする所定値未満である場合は、ヘッドライト８００を自動的に点灯する。つまり、オートライト装置２４０のパラメータは、車両周囲の撮像情報に基づいて得られる照度情報である。なお、本例における照度とは、平面状の物体に照射された光の明るさを評価するための情報である。本実施形態では、照度を直接求めるのではなく、予め定義した基準照度に対して、観測された照度が高い又は低いといった評価を取得する。具体的に、本実施形態の制御装置２０は、ヘッドライト８００の照射が必要となる基準照度を予め定義し、撮像情報から得られた照度が基準照度未満であるか否かを評価し、この評価結果をパラメータとして取得する。

本実施形態の制御装置２０は、上述した運転支援装置２００の機能やパラメータに応じて、撮像時のフレームを定義する。図３は、運転支援装置２００の運転支援機能Ａに応じて定義されたフレームの一例を示す。特に限定されないが、制御装置２０は、入切されるシャッタに応じてフレームを定義することが好ましい。たとえば、制御装置２０は、フレームの時間（間隔）が、運転支援装置２００ごとに定義したシャッタスピードよりも長い時間となるように、又はそのフレーム中において入切されるシャッタに要する時間よりも長い時間となるように、フレームの時間又はフレームレートを定義する。

図３に示す例では、１秒間のフレーム数を３０フレームとする。さらに、本例ではインターレース方式を採用するため、１フレームを奇数フィールドと偶数フィールドとに分け、１秒間のフィールド数を６０フィールドとする。

そして、制御装置２０は、この定義されたフレームのフィールド中においてイメージセンサ１０のシャッタの入切を２回以上実行させる。インターレース方式を採用し、奇数フィールドと偶数フィールドの２回に分けて撮像を行い、１フレーム（１コマ）を構成する場合は、１フレーム内でシャッタを２回切ることになる。従って１秒間に３０フレームのNTSCビデオ信号であれば、１フレーム約33.3msec内に約16.6msec間隔で２回シャッタを切ることになる。

ところで、一般に用いられるシャッタは、さらに高速の1/60〜1/数千秒のシャッタ速度でシャッタを切ることができる。

このため、本実施形態の制御装置２０は、定義されたフレームのフィールド（奇数フィールド及び偶数フィールド）中においてイメージセンサ１０のシャッタの入切を２回以上実行させる。つまり、制御装置２０は、フィールド中において２以上の撮像情報を取得する。これを、フレームを単位に考えると、制御装置２０は、定義されたフレーム中においてイメージセンサ１０のシャッタの入切を４回以上実行させ、フレーム中において４以上の撮像情報を取得する。

図３に示す例では、フレームのフィールド（奇数フィールド及び偶数フィールド）中においてイメージセンサ１０のシャッタの入切を４回実行する。図３に示す例において、制御装置２０は、１フィールド中において４つの撮像情報を取得する。本例において、フレームを単位に考えると、制御装置２０は、定義されたフレーム中においてイメージセンサ１０のシャッタの入切を８回実行させ、８つの撮像情報を取得する。なお、本例では、ＮＴＳＣ方式のインターレーススキャン方式を採用した場合を例に説明したが、１回で撮像情報を読み出すプログレッシブスキャン方式（ノンインターレーススキャン方式）を採用する場合、フィールドが特殊な操作をする方式でも同様である。

また、制御装置２０は、運転支援装置２００に応じて、シャッタのシャッタスピードを固定値又は可変値とする。ちなみに、本実施形態のカメラシステム３００は、電子シャッタを採用し、イメージセンサ１０からら電子的にデータを読み込む速さによってシャッタスピードを制御する。もちろん、この電子シャッタとともにメカニカルシャッタを採用することもできる。

ここで可変値のシャッタスピードは、撮像環境に応じて変化する値である。本実施形態の制御装置２０は、撮像環境に応じた適正露出に基づいて算出された最適シャッタスピードを設定するプログラムオート機能を有する。プログラムオート機能は、周囲の光の量や被写体に照射されている光の量、設定されているＩＳＯ感度などの撮像環境に応じてシャッタスピードを判断し、そのシャッタスピードを設定する。このとき、絞り値についても考慮し、撮像環境に応じてシャッタスピードと絞り値の最適な組み合わせ判断し、その絞り値とシャッタスピードを設定してもよい。

本例のプログラムオート機能は、明るいところや、高速で移動する物体を撮像する場合はシャッタ速度を速くし、暗い所や、動きの遅い物体又は静止物体を撮像する場合はシャッタ速度を遅くするようにシャッタ速度を制御する。

このように、プログラムオート機能によれば、シャッタスピードを撮像環境に応じて変化させることができるため、入力値である受光量を制御して出力値を安定させ、人が見やすい映像を作り出すことができる。

他方、固定値のシャッタスピードは、撮像環境応じて変化させることなく、常に一定の値である。つまり、撮像環境に応じて入力値である受光量を変化させない。これにより、ある撮像環境における受光量をそのまま取得することができる。シャッタスピードを固定値にすることにより、カメラシステム３００を単純な光量センサとして利用することができる。つまり、カメラシステム３００は、予め定義された基準値に対して、受光量（入力値）が基準値よりも大きいか又は小さいかを判断し、その結果を得ることができる。

このように、パラメータを求める運転支援装置２００に応じて、シャッタスピードを固定値又は可変値に切り替えることにより、撮像環境の影響が排除された人が見やすい映像を取得しつつ、撮像環境が反映されたそのままの情報をも得ることができる。これにより、各運転支援装置２００のパラメータを求めるのに適した撮像情報を得ることができる。

本実施形態の制御装置２０は、シャッタスピードと運転支援装置２００の機能（運転支援機能）とを、予め対応づけて記憶する。シャッタスピードと運転支援装置２００の機能との対応関係の一例を図４に示す。図４に示すように、本対応関係は、運転支援装置２００の機能Ａ〜Ｌごとにシャッタスピードが可変値又は固定値であるかを定義する。また、本対応関係は、運転支援装置２００の機能Ａ〜Ｌごとにそのセンシング周期を定義する。

また、運転支援装置２００の機能Ａ〜Ｌごとにセンサ要件を付記するが、図４の対応関係に示すように、映像系のセンサ要件の場合はシャッタスピードを可変値とし、照度系のセンサ要件の場合はシャッタスピードを固定値とすることが好ましい。ここで、映像系のセンサは、レーンマーカ情報、車両周囲の映像情報、障害物情報などの映像情報が抽出される処理が行われる撮像情報を取得する機能が求められ、照度系のセンサは、車両周辺の照度などの環境情報が抽出される処理が行われる撮像情報を取得する機能が求められる。

本実施形態において、特に限定されないが、取得するパラメータが周辺の照度情報である場合、そのシャッタスピードは固定値とする。つまり、オートライト装置２４０に用いられるパラメータ（車両周囲の照度）を取得する際には、オートライト装置２４０に対応づけられたフレームのフィールド中のシャッタスピードを固定値とする。

また、本実施形態において、特に限定されないが、取得するパラメータがレーンマーカ情報、障害物情報、車両周辺の映像情報である場合、シャッタスピードは可変値とする。つまり、車線逸脱警報装置２１０に用いられるパラメータ（レーンマーカ情報）を取得する際には、車線逸脱警報装置２１０に対応づけられたフレームのフィールド中のシャッタスピードを可変値とする。また、ナイトビジョン装置２２０に用いられるパラメータ（車両周囲の映像情報）を取得する際には、ナイトビジョン装置２００に対応づけられたフレームのフィールド中のシャッタスピードを可変値とする。また、ハイビーム切換装置２３０に用いられるパラメータ（障害物情報）を取得する際には、ハイビーム切換装置２３０に対応づけられたフレームのフィールド中のシャッタスピードを可変値とする。

ところで、一の車両に複数の運転支援装置２００が搭載されている場合は、各運転支援装置２００に応じたパラメータをそれぞれ求める必要がある。この場合、すべての運転支援装置２００ごとにカメラやセンサを設けることは、コストを高めるとともに、ハードウェアを車載する際のレイアウトやシステムの構築が難しい。

このため、本実施形態の運転支援システム１００は、１台のカメラシステム３００により複数の運転支援装置２００に用いられるパラメータをそれぞれ求める。つまり、本実施形態では、一台のカメラシステム３００により、運転支援装置２００のすべてのセンサとして機能させる。具体的には、一台のカメラシステム３００により、図４に示す各機能Ａ〜Ｌに対応づけられたシャッタスピードで撮像情報を取得する。

図５は、１のフィールドに属する撮像情報から複数の運転支援装置２００に用いられるパラメータを求める場合の概念図である。つまり、図５に示すように、一のフィールド中において、異なる運転支援装置２００のパラメータを求めるために、シャッタの入切を複数回行う。図５に示す例では、車線逸脱警報装置２１０に用いられるパラメータを取得するための撮像（シャッタの入切）と、ナイトビジョン装置２２０に用いられるパラメータを取得するための撮像（シャッタの入切）と、ハイビーム切換装置２３０に用いられるパラメータを取得するための撮像（シャッタの入切）と、オートライト装置２４０に用いられるパラメータを取得するための撮像（シャッタの入切）とが行われる。もちろん、具体的な図示はしないが、その他の運転支援装置のパラメータを取得するための撮像（シャッタの入切）を含めることも可能である。

図６は、フレーム１及びフレーム２に含まれるフィールドを時分割し、各運転支援装置２００の機能Ａ〜Ｌに応じてシャッタスピードを定義した、割り付け例を示す図である。図６に示す例では、１フィールド中にシャッタを５回、つまり１フレーム中にシャッタを１０回入切し、各機能に応じた１０つの撮像情報を取得する。

また、図６に示すように、本実施形態の制御装置２０は、１フレーム又は１フィールド中に、固定値のシャッタスピード及び可変値のシャッタスピードでシャッタの入切を実行する。つまり、１フレームに属する撮像情報は、固定値のシャッタスピードで撮像された撮像情報と可変値のシャッタスピードで撮像された撮像情報の両方を含む。

さらに、本実施形態の制御装置２０は、１フレーム又は１フィールド中に、互いに異なる固定値のシャッタスピードでシャッタの入切を実行する。つまり、１フレームの属する撮像情報は、一の固定値のシャッタスピードで撮像された撮像情報と他の固定値のシャッタスピードで撮像された撮像情報の両方を含む。

このように、本実施形態の制御装置２０は、１のフレームで固定値のシャッタスピードで撮像された撮像情報及び可変値のシャッタスピードで撮像された撮像情報を取得するので、異なる運転支援機能に適した撮像情報を１のフレームから取得することができる。つまり、一のカメラシステム３００を用いて、同時に複数の運転支援機能に適した撮像情報を取得することができる。

なお、特に限定されないが、パラメータがレーンマーカ情報、車両周囲の映像情報、障害物情報などの映像系のパラメータを得るためのシャッタの入切は、連続して実行されることが好ましい。たとえば、図６に示す機能Ａ又は機能Ｂのように、奇数フィールドと偶数フィールドにおいて連続して撮像情報を取得できるように、シャッタの入切を割り付けることが好ましい。

さらに、制御装置２０は、イメージセンサ１０により得られた撮像情報のうち、予め運転支援装置２００の種別が対応づけられたフレームに属する撮像情報に基づいて、そのフレームに対応する運転支援機能のパラメータを取得する。

制御装置２０は、車線逸脱警報装置２１０と対応づけられたフレームに属する撮像情報に基づいて、道路上のレーンマーカ情報をパラメータとして取得する。このレーンマーカ情報は、自車両が車線を逸脱する可能性の有無を判断する基準となる、車線の有無、車線の位置、車線の態様（連続又は断続）車線の色その他の車線に関する情報を含む。

また、制御装置２０は、ナイトビジョン装置２２０と対応づけられたフレームに属する撮像情報に基づいて、車両の進行方向前方の映像情報をパラメータとして取得する。この映像情報は、車両周囲の状態を乗員に示すための車両前方の映像、車両後方の映像、車両左右側の映像を含む。

さらに、制御装置２０は、ハイビーム切換装置２３０と対応づけられたフレームに属する撮像情報に基づいて、障害物情報をパラメータとして取得する。この障害物情報は、障害物（歩行者、立体物、移動物、固定物を含む）の有無情報、障害物（歩行者、立体物、移動物、固定物を含む）の位置情報を含む。

さらにまた、制御装置２０は、オートライト装置２４０と対応づけられたフレームに属する撮像情報に基づいて、照度情報をパラメータとして取得する。この照度情報は、カメラシステム３００により取得された照度がヘッドライト８００の照射が必要となる基準照度未満であるか否かの評価情報を含む。

制御装置２０は、取得したパラメータを、そのパラメータが用いられる各運転支援装置２００に送出する。

そして、パラメータを受信した各運転支援装置２００は、上述したように、受信したパラメータに基づいて運転支援処理を実行し、求めた運転支援情報を乗員に向けて出力する。

続いて、図７のフローチャート図に基づいて、本実施形態の運転支援システム１０００の制御手順を説明する。

図７に示すように、Ｓ１０１〜Ｓ１０７のフローは、画像処理システム１００を含むカメラシステム３００が実行する制御手順であり、Ｓ１１０〜Ｓ１１２は、各運転支援装置２００が実行する制御手順である。

以下、各処理を説明する。

まず、運転支援システム１０００が起動され、制御処理が開始されると、ステップＳ１０１において、制御装置２０は、求めるべきパラメータを特定するため、利用する運転支援装置２００の識別情報を取得する（Ｓ１０１）。利用する運転支援装置２００は車両ごとに予め定義してもよいし、暦（平日又は休日、曜日）、時刻、乗員ＩＤ、走行道路に応じて決定してもよい。たとえば、車両に搭載されたすべての運転支援装置２００を利用すると定義してもよいし、高速道路などの自動車専用道路以外の道路を自車両が走行する場合にのみ、ハイビーム切換装置２３０を利用すると定義してもよいし、所定時間帯にのみナイトビジョン装置２２０を利用すると定義してもよい。

続いて、ステップＳ１０２において、制御装置２０は、パラメータを求める運転支援装置２００に適したフレームを定義するため、取得した運転支援装置２００の識別情報に応じてフレームを定義する（Ｓ１０２）。この場合、運転支援装置２００の識別情報とフレームとを対応づけた対応関係を予め定義し、この対応関係を参照してフレームを定義する。このとき、運転支援装置２００の識別情報とシャタスピードとを対応づけた対応関係を参照してもよい。

また、ステップＳ１０３において、制御装置２０は、パラメータを求める運転支援装置２００に適したシャッタスピードを求めるため、取得した運転支援装置２００の識別情報に応じてシャッタスピードを決定する（Ｓ１０３）。この場合、運転支援装置２００の識別情報とシャッタスピードとを対応づけた対応関係（図４参照）を予め定義し、この対応関係を参照してシャッタスピードを定義する。

さらに、ステップＳ１０４において、制御装置２０は、決定したシャッタスピードでイメージセンサ１０のシャッタを複数回入切し、撮像情報を読み込む（Ｓ１０４）。これにより、１フィールド中で２回以上シャッタを入切し、２以上の撮像情報を取得する。つまり、２以上の運転支援装置２００に適した撮像情報を、一のフィールドから取得する。

続く、ステップＳ１０５において、制御装置２０は、シャッタの入切ごとに撮像情報を取得する（Ｓ１０５）。シャッタの入切は運転支援装置２００（又は運転支援装置の機能）と対応づけることができるので、取得した撮像情報と運転支援装置２００と対応づけることができる。

ステップＳ１０６において、制御装置２０は、取得した撮像情報に基づいて各運転支援装置２００に用いられるパラメータをそれぞれ取得する（Ｓ１０６）。取得した撮像情報は、いずれの運転支援装置２００のパラメータを求めるためのものであるかを識別可能であるため、制御装置２０は、各撮像情報に基づいて、利用する各運転支援装置２００のパラメータを求める
ステップＳ１０７において、制御装置２０は、取得した各パラメータを、それが用いられる運転支援装置２００へ向けて、それぞれ送出する（Ｓ１０７）。

続くステップ群は、運転支援装置２００の処理となる。ステップＳ１１０において、各運転支援装置２００（２１０〜２４０）は、受信した各パラメータに基づいて運転支援処理をそれぞれ実行する（Ｓ１１０）。

各運転支援処理の終了後、Ｓ１１１において、各運転支援装置２００（２１０〜２４０）は、運転支援処理の結果（運転支援情報）を出力する（Ｓ１１１）。

Ｓ１１２において、アクセサリスイッチ（ＡＣＣスイッチ）がオフされたか否かを判断する。スイッチがオフされたら処理を終了し（Ｓ１１２でＹｅｓ）、スイッチがオフされなければ、ステップＳ１０４以降の処理を実行する（Ｓ１１２でＮｏ）。

本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。

本実施形態の画像処理システム１００によれば、予め運転支援装置２００に応じて定義されたフレームに属する撮像情報に基づいて、運転支援装置２００に用いられるパラメータを取得するため、運転支援装置２００ごとに最適なパラメータを取得することができる。

また、本実施形態の画像処理システム１００によれば、複数の運転支援装置２００に用いられる撮像情報を一つのカメラシステム３００により取得することができる。つまり、本実施形態の画像処理システム１００は、パラメータを求める運転支援装置２００に応じて、撮像する際のフレームを定義するとともに、その定義されたフレームのフィールド中においてイメージセンサ１０のシャッタの入切を２回以上実行させて、２つ以上の撮像情報を取得するため、複数の運転支援装置２００に適した撮像情報を一つのカメラシステム３００により取得することができる。このように、一つのカメラシステム３００で複数の運転支援装置２００に用いられる撮像情報を取得するため、コストの低減、部品数の低減、センサ設置の工程を省くことができる。

また、本実施形態の画像処理システム１００によれば、各運転支援装置２００に応じてシャッタの入切回数を設定することにより、運転支援装置２００のパラメータに適した撮像条件で撮像情報を取得することができる。

さらに、シャッタスピードを運転支援装置２００に応じて固定値又は可変値とすることにより、求めるパラメータに応じた撮像条件で撮像された撮像情報を取得することができる。

シャッタスピードを固定値とする場合は、ある撮像環境における受光量が反映された撮像情報を得ることができ、シャッタスピードを可変値とする場合は、入力値である受光量を制御して出力値を安定させた、人が認識しやすい映像を作り出すことができる。

言い換えると、固定のシャッタスピードで撮像された撮像情報のみから運転支援装置２００のパラメータを求めると、周囲の光の量や被写体に照射されている光の量、設定されているＩＳＯ感度などの撮像環境に応じた人が見やすい撮像情報を得ることは難しいが、本実施形態のように、シャッタスピードを可変値に切り換えることによって、入力値である受光量を制御して出力値を安定させた、人が見やすい映像を作り出すことができる。また、可変のシャッタスピードで撮像された撮像情報のみから運転支援装置２００のパラメータを求めると、入力値が受光量に応じて変更されてしまい、環境の変化が反映された撮像情報を得ることは難しいが、本実施形態のように、シャッタスピードを固定値に切り換えることによって、ある撮像環境における受光量が反映された撮像情報を得ることができる。

つまり、本実施形態の画像処理システム１００は、利用する運転支援装置２００の機能に応じて、シャッタスピードを固定値又は可変値に切り換えるため、環境に応じて受光量を制御した撮像情報と受光量を制御することなく環境の変化が反映された撮像情報との両方を取得することができる。

また、求めるパラメータが照度情報である場合は、シャッタスピードを固定値とすることにより、車外の明るさの変化が反映された（調整されていない）撮像情報に基づいて、運転支援装置２００に適したパラメータを求めることができる。

さらに、求めるパラメータがレーンマーカ情報、車両周囲の映像情報、障害物情報である場合、シャッタスピードを可変値とすることにより、車外の環境の変化が排除された（受光量が制御された）撮像情報に基づいて、運転支援装置２００に適したパラメータを求めることができる。

そして、求めるパラメータが照度情報である場合は、この照度情報を、照度に応じてヘッドライトをオンするオートライト装置２４０に利用させる。これにより、オートライト装置２４０は、車外の環境の変化が反映された撮像情報から求められた照度情報に基づいて、オートライト機能を実現することができる。

また、求めるパラメータがレーンマーカ情報である場合は、このレーンマーカ情報を、走行中に自車両が車線を逸脱する可能性が所定値以上となった場合に警告を行う車線逸脱警報装置２１０に利用させる。これにより、車外の環境の変化が排除された（受光量が制御された）撮像情報から求められたレーンマーカ情報に基づいて、車線逸脱警報機能を実現することができる。

さらに、求めるパラメータが映像情報である場合は、この映像情報を、車両周囲の映像をディスプレイに表示するナイトビジョン装置２２０に利用させる。これにより、車外の環境の変化が排除された（受光量が制御された）撮像情報から求められた人が見やすい映像情報に基づいて、ナイトビジョン機能を実現することができる。

さらにまた、求めるパラメータが障害物情報である場合は、この障害物情報を、車両周囲に障害物が存在するか否かに応じてヘッドライトのロービーム／ハイビームの切り換えを行うハイビーム切換装置２３０に利用させる。これにより、車外の環境の変化が排除された（受光量が制御された）撮像情報から求められた障害物情報に基づいて、ハイビーム切換機能を実現することができる。

また、カメラシステム３００の制御装置２０が、シャッタスピードを可変値とする際に、撮像環境に応じた適正露出に基づいて算出された最適なシャッタスピードを設定するプログラムオート機能を有する場合は、映像系の撮像情報と環境系の撮像情報とを最適な撮像条件で取得することができる。つまり、プログラムオート機能を備えた本実施形態のカメラシステム３００は、周囲の光の量や被写体に照射されている光の量、設定されているＩＳＯ感度などの撮像環境に応じた人が見やすい撮像情報を取得することができるとともに、車外の環境の変化がそのまま反映された撮像情報をも得ることができ、複数の運転支援装置２００のすべての機能に適した撮像情報を得ることができる。また、新たな運転支援装置２００を追加する場合も、その運転支援装置２００に適した撮像情報を得ることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る画像処理装置の一態様として画像処理システム１００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係る画像処理装置の一態様として、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３を含む制御装置２０を備えた画像処理システム１００を一例として説明したが、これに限定されるものではない。

また、本明細書では、本願発明に係る撮像制御手段とパラメータ取得手段とを有する画像処理装置の一態様として、撮像制御機能とパラメータ取得機能とを実現する制御装置２０を備えた画像処理システム１００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本願発明に係る撮像手段を有する画像処理装置の一態様として、イメージセンサ１０を備えるカメラシステム３００を説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本願発明に係る移動体の運転支援機能の一態様として、車線逸脱警報装置２１０により、走行中に自車両が車線を逸脱する可能性が所定値以上となった場合に警告を行う機能と、ナイトビジョン装置２２０により、車両周囲の撮像映像をディスプレイに表示する機能と、ハイビーム切換装置２３０により、車両周囲に障害物の存否に応じてヘッドライト８００のロービーム／ハイビームの切り換える機能と、オートライト装置２４０による、車両周囲の照度が所定値未満である場合はヘッドライト８００をオンする機能を例にして説明するが、本発明の運転支援機能はこれに限定されるものではない。

本実施形態の画像処理システムを含む運転支援システムのブロック構成図である。 カメラシステムの設置例を示す図である。 運転支援装置に応じたフレームの定義処理、シャッタスピードの決定処理を説明するための図である。 シャッタスピードと運転支援装置２００の機能との対応関係の一例を示す図である。 １のフィールドに属する撮像情報から複数の運転支援装置２００に用いられるパラメータを求める場合の概念図である。 フィールドを時分割し、各運転支援装置２００の機能に応じてシャッタスピード及びフレームを定義した、シャッタ入切の割り付け例を示す図である。 本実施形態の運転支援システムの処理を説明するためのフローチャート図である。

符号の説明

１０００…運転支援システム
３００…カメラシステム
１０…イメージセンサ
１００…画像処理システム
２０…イメージセンサ
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２００…運転支援装置
２１０…車線逸脱警報装置
２２０…ナイトビジョン装置
２３０…ハイビーム切換装置
２４０…オートライト装置
４００…車両コントローラ
５００…スピーカ
６００…ディスプレイ
７００…ヘッドアップディスプレイ
８００…ヘッドライト
９００…ナビゲーション装置

Claims (7)

1. 移動体に搭載された撮像手段により撮像された撮像情報に基づいて、前記移動体の運転を支援する複数の運転支援機能に用いられるパラメータをそれぞれ求める画像処理装置であって、
   前記パラメータを求める運転支援機能に応じて、前記撮像する際のフレームを定義するとともに、前記定義されたフレームのフィールド中において前記撮像手段のシャッタの入切を２回以上実行させる撮像制御手段と、
   前記フレームに属する撮像情報に基づいて、前記各運転支援機能のパラメータを取得するパラメータ取得手段と、を有する画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記シャッタのシャッタスピードは、前記パラメータを求める運転支援機能に応じて、固定値又は可変値である画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記パラメータが照度情報である場合、前記シャッタスピードは固定値である画像処理装置。
4. 請求項２又は３に記載の画像処理装置において、
   前記パラメータがレーンマーカ情報、移動体周囲の映像情報、又は移動体周囲の障害物情報である場合、前記シャッタスピードは撮像環境に応じて変化する可変値である画像処理装置。
5. 請求項３又は４に記載の画像処理装置において、
   前記運転支援機能は、前記照度情報に基づいて、移動体周囲の照度が所定値未満である場合はヘッドライトをオンするオートライト機能、前記レーンマーカ情報に基づいて、運転中に移動体がレーンマーカで定義された移動誘導線を逸脱する可能性が所定値以上となった場合に警告を行う移動誘導線逸脱警報機能、前記移動体周囲の映像情報に基づいて、移動体周囲の映像をディスプレイに表示するナイトビジョン機能、又は前記移動体周囲の障害物情報に基づいて、移動体周囲に障害物の存否に応じてヘッドライトのロービーム／ハイビームの切り換えを行うハイビーム切換機能の何れか一以上を含む画像処理装置。
6. 請求項２〜５の何れか一項に記載の画像処理装置において、
   前記撮像制御手段は、前記シャッタスピードを可変値とする際に、撮像環境に応じた適正露出に基づいて算出されたシャッタスピードを設定する機能を有する画像処理装置。
7. 移動体の運転を支援する複数の運転支援機能に応じて定義された、撮像時におけるフレームのフィールド中にシャッタの入切を２回以上実行し、前記フレームに属する撮像情報に基づいて、前記運転支援機能のパラメータを取得する画像処理方法。

Images