JP2017092752A - 撮像システム - Google Patents

Abstract

【課題】撮像画像が不鮮明な状態を解消する処理において、不必要な電力消費を抑制する技術を提供する。
【解決手段】カメラ１０は、車両のガラス越しに車外を撮像する。画像処理部２４は、カメラ１０が撮像した撮像画像が鮮明であるか否かを判定する。画像処理部２４が、撮像画像が不鮮明であることを判定した場合に、制御部２６は、昇温部１８を作動させてガラス領域を昇温させる。昇温部１８が作動してから所定時間経過するまでに、撮像画像が不鮮明な状態が解消しなければ、制御部２６は、所定時間経過時に昇温部１８の作動を停止して、以後の昇温部１８の作動を禁止する。
【選択図】図２

Description

本発明は、車両に搭載される撮像システムに関する。

従来より、車室内にカメラを設置し、ガラス越しに車両外部（車外）を撮像するシステムが知られている。車両に搭載される運転支援システムは、車載カメラがガラス越しに撮像した画像から車両周囲の歩行者や車両を検出し、運転者に対して警報を出力するなどの運転支援処理を実施する。車載カメラの撮像範囲に含まれるガラス領域が曇っていると、車載カメラが車外を良好に撮像できないため、運転支援システムは、撮像画像にもとづいた運転支援処理を中止しなければならない。そのためガラスの曇りを防止または除去して、車載カメラが車外を良好に撮像できるようにすることが好ましい。

特許文献１は、車両のガラス越しに車外を撮像する撮像システムを開示する。特許文献１に開示される撮像システムでは、車載カメラの撮像範囲に含まれるガラス領域に、ガラスを昇温させる熱線が設けられており、車載カメラの撮像画像にもとづいてガラスに曇りが生じたことを判断すると、熱線を発熱させてガラスの曇りを除去する。一方で、ガラスの曇りが生じていないときには、熱線の作動を防止して不必要な電力を消費しないようにしている。

特開２００４−１１２３２９号公報

ガラスに曇りが生じたことを判定するために、たとえば専用の曇り検出用センサを設けることも可能であるが、特許文献１に開示されるように、撮像画像が不鮮明であることを検出することでガラスの曇りを判定する手法を採用すると、専用のセンサを設ける必要がなく低コスト化を実現できる。しかしながら、この手法によると、車両走行中にガラスに泥などの汚れが付着した場合においても、撮像画像が不鮮明であることが検出される。特許文献１による技術では、撮像画像が不鮮明な状態にあることが検出されている間、熱線を作動し続けるが、ガラスを温めても付着した汚れは除去されないため、不必要な電力を消費する。

本発明はこうした状況に鑑みてなされたものであり、その目的は、撮像画像が不鮮明な状態を解消する処理において、不必要な電力消費を抑制する技術を提供することにある。

上記課題を解決するために、本発明のある態様の車両に搭載される撮像システムは、車両のガラス越しに車外を撮像するカメラと、少なくともカメラの撮像範囲に含まれるガラスの領域を昇温するための昇温部と、カメラが撮像した撮像画像が鮮明であるか否かを判定する画像処理部と、画像処理部が、撮像画像が不鮮明であることを判定した場合に、昇温部を作動させてガラスの領域を昇温させる制御部と、を備える。昇温部が作動してから所定時間経過するまでに撮像画像が不鮮明な状態が解消しなければ、制御部は、所定時間経過時に昇温部の作動を停止して、以後の昇温部の作動を禁止する。

この態様によると、昇温部が作動してから所定時間経過するまでに撮像画像が不鮮明な状態が解消されない場合に、撮像画像が不鮮明であることが、ガラスの曇りや着氷が原因ではなく、ガラスの汚れが原因である可能性が高いため、以後の昇温部の作動を禁止することで、不必要な電力消費を抑制できる。

画像処理部は、撮像画像が不鮮明な状態が解消したか否かを判定する機能を有する。画像処理部が、昇温部が作動してから所定時間経過時に撮像画像が不鮮明な状態が解消していないことを判定すると、制御部は、以後の昇温部の作動を禁止する。これにより、不必要な電力消費を抑制できる。

画像処理部は、撮像画像が不鮮明な状態が解消したか否かを判定する機能を有する。画像処理部が、昇温部が作動してから所定時間経過前に撮像画像が不鮮明な状態が解消したことを判定すると、制御部は、所定時間経過後の昇温部の作動を禁止しない。昇温部の作動により撮像画像が鮮明になったことで、所定時間経過後においても昇温部を作動可能とすることで、効果的にガラスの曇りや着氷の発生を防止または取り除くことができる。

昇温部の作動禁止中に、画像処理部が、撮像画像が不鮮明な状態が解消したことを判定すると、制御部は、昇温部の作動禁止を解除してよい。ガラスの汚れが除去された場合に、制御部は、すみやかに昇温部を作動可能な状態に復帰することで、その後、ガラスに曇りや着氷が生じた場合に、昇温部を作動させて、ガラスの曇りや着氷を取り除くことが可能となる。

本発明によれば、撮像画像が不鮮明な状態を解消する処理において、不必要な電力消費を抑制する技術を提供する。

車両に搭載される撮像システムを示す図である。 処理装置の構成を示す図である。 （ａ）および（ｂ）は、カメラによる撮像画像の例を示す図である。 撮像状態判定処理のフローチャートを示す図である。 昇温制御のフローチャートの一例を示す図である。 昇温制御におけるタイミングチャートの一例を示す図である。 昇温制御におけるタイミングチャートの別の例を示す図である。 昇温制御のフローチャートの別の例を示す図である。

図１は、車両に搭載される撮像システム１を示す。実施例の撮像システム１は、カメラ１０、昇温部１８および処理装置２０を備える。カメラ１０は車両内に取り付けられ、車両２のガラス越しに車外を撮像する。図１に示す例では、カメラ１０はフロントガラス１２越しに車両２の前方を撮像する。カメラ１０は撮像素子１３を備え、単眼カメラ、ステレオカメラ、赤外カメラとして構成されてよい。なおカメラ１０は、撮像素子１３以外に、レーザセンサなどの物体検出センサを備えてもよい。カメラ１０の筐体は、撮像素子１３の光軸１４が車両前方を向くように、フロントガラス１２、バックミラーまたは車室天井などに取り付けられる。

カメラ１０は車外を周期的に撮像して、撮像画像を処理装置２０に供給する。撮像範囲１５は、撮像素子１３の左右方向の視野角を表現し、撮像領域１６は、カメラ１０の撮像範囲１５に含まれるフロントガラス１２の領域、つまり撮像素子１３により撮像されるフロントガラス１２の領域を示す。

昇温部１８が、少なくとも撮像領域１６を昇温するために撮像領域１６の周囲に設けられる。たとえば昇温部１８は、電力の供給を受けて発熱する熱線であってよい。昇温部１８である熱線は、フロントガラス１２の内面に形成されてもよく、またフロントガラス１２の内部に形成されてもよい。また昇温部１８である熱線は、撮像領域１６の周囲ではなく、透明素材により撮像領域１６の内側に形成されてもよい。なお昇温部１８は、カメラ１０側に設けられてもよく、たとえばカメラ１０のフードに設けられる熱線であってもよく、また撮像領域１６に対して熱風を供給する構成であってもよい。

図２は、処理装置２０の構成を示す。処理装置２０は、撮像画像取得部２２、画像処理部２４および制御部２６を備える。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

撮像画像取得部２２は、カメラ１０で周期的に撮像された撮像画像を取得し、画像処理部２４に供給する。画像処理部２４は、カメラ１０が撮像した撮像画像が鮮明であるか否かを判定する機能をもつ。フロントガラス１２の撮像領域１６は、撮像素子１３により撮像されるため、撮像領域１６が曇っていたり、また着氷していたりすると、撮像素子１３は、良好に外部を撮像できず、撮像画像は不鮮明となる。

実施例において、カメラ１０により取得された撮像画像は、運転支援システムによる運転支援処理に利用される。画像処理部２４は、運転支援処理のために、撮像画像から、車両や人などの物体を検出する機能をもつ。具体的に画像処理部２４は、撮像画像に含まれるエッジや角などを特徴点として検出し、テンプレートマッチングを利用して撮像画像に含まれる物体を検出する。なお画像処理部２４は、時間的に連続する複数の撮像画像において特徴点をトラッキングして、物体と自車両との速度差などの情報を検出してもよい。このような情報をもとに、運転支援システムは、検出された物体と自車両との衝突可能性を判定し、運転者に対して警報を出力するなどの運転支援処理を実施する。なお構造物などの静止物の特徴点は複数の撮像画像における差分から抽出するため、画像処理部２４が特徴点を検出するためには、車両２が所定の速度（たとえば５ｋｍ／ｈ）以上で走行していることが好ましい。

図３（ａ）および図３（ｂ）は、カメラ１０による撮像画像の例を示す。図３（ａ）に示す撮像画像１０ａは良好に撮像されており、画像処理部２４は、撮像画像１０ａを画像解析して特徴点を検出し、撮像画像に含まれる物体を検出する。一方で図３（ｂ）に示す撮像画像１０ｂは良好に撮像されておらず、画像処理部２４は、撮像画像１０ｂから好適に特徴点を検出できない。

実施例の画像処理部２４は、撮像画像から好適に特徴点を検出できない場合に、撮像画像が不鮮明であることを判定する。たとえば画像処理部２４は、図３（ａ）および図３（ｂ）に示すように撮像画像を複数の領域に分割し、特徴点を検出できた分割領域と、特徴点を検出できなかった分割領域を特定する。この例では撮像画像を２５（５×５）個の領域に分割している。図３（ａ）の撮像画像１０ａは良好に撮像されているため、画像処理部２４は、撮像画像１０ａの全ての分割領域で特徴点を検出する。一方、図３（ｂ）の撮像画像１０ｂは良好に撮像されておらず、画像処理部２４は、撮像画像１０ｂのいくつかの分割領域で特徴点を検出できない。実施例の画像処理部２４は、特徴点を検出できた分割領域の数と、特徴点を検出できなかった分割領域の数とに応じて、撮像画像が鮮明であるか、不鮮明であるかを判定する。

画像処理部２４は、複数の分割領域のうち、第１の所定の割合（Ｒｕ％）以上の分割領域で特徴点が検出できなければ、撮像画像が不鮮明であることを判定してよい。たとえば特徴点を検出できない領域数が総数の５０％以上である場合に、画像処理部２４は、撮像画像が不鮮明であることを判定する。撮像画像が不鮮明であることを判定すると、画像処理部２４は、不鮮明フラグを「オン」に設定する。

この例では、分割領域の総数が２５個であるため、１３個以上の分割領域で特徴点が検出できなければ、画像処理部２４は、撮像画像が不鮮明であることを判定する。一方で、特徴点を検出できない領域数が総数の５０％より少ない場合、つまり特徴点を検出できない領域数が１２個以下である場合、画像処理部２４は、撮像画像が鮮明であることを判定する。

画像処理部２４は、撮像画像が不鮮明な状態にあることを判定した後、不鮮明な状態が解消したか否かを判定する。画像処理部２４は、撮像画像を分割した複数の分割領域のうち、特徴点を検出できない分割領域が第２の所定の割合（Ｒｌ％）以下であれば、撮像画像が不鮮明な状態が解消したことを判定してよい。このように画像処理部２４は、撮像画像が鮮明であるか否かを判定する機能と、撮像画像が不鮮明な状態が解消したか否かを判定する機能とを有し、以下では、この機能による処理を「撮像状態判定処理」と呼ぶ。撮像状態判定処理において、撮像画像が不鮮明な状態にあることを判定するための第１の所定の割合を示す判定閾値Ｒｕと、撮像画像が不鮮明な状態が解消したことを判定するための第２の所定の割合を示す判定閾値Ｒｌとを比較すると、Ｒｕ＞Ｒｌに設定される。

たとえばＲｌとＲｕとを等しく設定した場合、ガラスの状態に変化がないにもかかわらず、撮像状態判定処理の判定結果にハンチングが生じることがある。そのためＲｕ＞Ｒｌと設定して、撮像状態判定処理の判定結果を安定させることが好ましい。たとえば特徴点を検出できない領域数が分割領域総数の３０％以下である場合に、画像処理部２４は、撮像画像が不鮮明な状態が解消したことを判定する。撮像画像が不鮮明な状態が解消したことを判定すると、画像処理部２４は、不鮮明フラグを「オフ」に設定する。

図４は、撮像状態判定処理のフローチャートを示す。撮像状態判定処理は、実施条件が成立している場合に（Ｓ１０のＹ）実行される。この実施条件は、少なくとも車両２のスタートスイッチが操作されてＩＧ（イグニッション）オンとなっていることを含む。また上記したように画像処理部２４による特徴点の検出は、車両２が所定の速度（たとえば５ｋｍ／ｈ）以上で走行しているときに好適に実行されるため、撮像状態判定処理は、ＩＧオンであり且つ車両２の速度が所定速度（たとえば５ｋｍ／ｈ）以上となったときに実施されてもよい。不鮮明フラグは、初期状態で「オフ」に設定されている。

不鮮明フラグがオフに設定されている場合（Ｓ１２のＹ）、画像処理部２４は、撮像画像が鮮明であるか否かを判定する（Ｓ１４）。ここで画像処理部２４が、複数の分割領域のうち、第１の所定の割合（Ｒｕ％）以上の分割領域で特徴点を検出できなければ、撮像画像が不鮮明であることを判定し（Ｓ１４のＮ）、第１の所定の割合以上の分割領域で特徴点を検出できれば、撮像画像が鮮明であることを判定する（Ｓ１４のＹ）。撮像画像が不鮮明であることを判定すると、画像処理部２４は、不鮮明フラグをオンに設定する（Ｓ１６）。なお画像処理部２４は、時間的に連続する複数枚の撮像画像において、特徴点を検出できない分割領域の割合が第１の所定の割合（Ｒｕ％）以上であることを連続して検出した場合に、撮像画像が不鮮明であることを判定してもよい。

不鮮明フラグがオンに設定されている場合（Ｓ１２のＮ）、画像処理部２４は、撮像画像が不鮮明な状態が解消したか否かを判定する（Ｓ１８）。ここで画像処理部２４が、分割領域の総数に対して、特徴点を検出できない分割領域数が第２の所定の割合（Ｒｌ％）以下であれば、撮像画像が不鮮明な状態が解消したことを判定し（Ｓ１８のＹ）、特徴点を検出できない分割領域数が第２の所定の割合（Ｒｌ％）よりも多ければ、撮像画像が不鮮明な状態が解消してないことを判定する（Ｓ１８のＮ）。撮像画像が不鮮明な状態が解消したことを判定すると、画像処理部２４は、不鮮明フラグをオフに設定する（Ｓ２０）。なお画像処理部２４は、時間的に連続する複数枚の撮像画像において、特徴点を検出できない分割領域の割合が第２の所定の割合（Ｒｌ％）以下であることを連続して検出した場合に、撮像画像が不鮮明な状態が解消したことを判定してもよい。

撮像状態判定処理は、実施条件が成立しなくなるまで（Ｓ１０のＮ）実施される。この撮像状態判定処理は、撮像画像にもとづいた運転支援処理のために周期的に実施されており、たとえば１秒以下の周期で実施されてよい。なお撮像状態判定処理は、撮像画像から物体を検出する処理とあわせて実施されてよい。撮像画像が不鮮明な状態にあることが判定されて、不鮮明フラグがオンに設定されている間は、撮像画像にもとづいた運転支援処理が中止される必要がある。

制御部２６は、画像処理部２４から、撮像画像が鮮明であるか否かの判定結果を通知される。画像処理部２４は、所定の周期で実施した撮像状態判定処理の判定結果、すなわち不鮮明フラグのフラグ値を、制御部２６に通知する。なお不鮮明フラグのフラグ値は、所定のメモリ（図示せず）に保持され、制御部２６が、画像処理部２４による撮像状態判定周期に同期して、メモリに保持されたフラグ値を参照してもよい。制御部２６は、不鮮明フラグのフラグ値を常時監視している。

一般にガラスの曇りは、車外の気温が低い場合に、ガラス近傍の空気温度が下がり、ガラス近傍の空気に含まれる水分がガラス面に放出されることにより生じる。そのためガラスの曇りが生じた場合には、制御部２６が昇温部１８を作動させて撮像領域１６を昇温させることで、撮像領域１６の曇りはすみやかに除去される。なおガラスに着氷が生じた場合にも、制御部２６が昇温部１８を作動させることで、撮像領域１６の氷は除去される。昇温部１８が熱線である場合、制御部２６は、熱線を通電して発熱させる。昇温部１８の作動時間を、曇りや着氷を除去するのに十分な第１の所定時間（たとえば３分）に設定しておくことで、昇温部１８の作動を停止するまでの間に、撮像領域１６の曇りや着氷は除去され、カメラ１０が鮮明な画像を撮像できるようになる。

なお外気温が低温でない場合であっても、雨天時など車両内の湿度が高い場合に、ガラスに曇りが生じることがある。そのため実施例では、撮像画像が不鮮明であることを判定した場合、つまり不鮮明フラグがオフからオンに変更された場合に、制御部２６が、トリップ中の状況がガラス曇りを生じやすい状況であることを判定して、昇温部１８の作動、非作動を周期的に繰り返すように昇温部１８を制御する。制御部２６が、第１の所定時間の作動と第２の所定時間の非作動とを交互に繰り返すように昇温部１８を制御することで、撮像領域１６の曇りを防止でき、また常時作動する場合と比較して電力消費を低減できる。制御部２６による昇温部１８の制御を、以下では「昇温制御」と呼ぶ。たとえば制御部２６は、昇温部１８の作動と非作動とを３分ごとに切り替えるように制御してもよい。

しかしながら、撮像領域１６のガラス外面に汚れが付着したことに起因して、画像処理部２４が、撮像画像が不鮮明であることを判定している場合には、撮像領域１６を昇温しても汚れは除去されないため、撮像画像が不鮮明な状態は解消しない。そこで昇温部１８を第１の所定時間作動しても、カメラ１０が鮮明な画像を撮像できるようになっていなければ、ガラスに曇りや着氷が生じていたのではなく、ガラスが汚れている可能性が高い。そのため昇温部１８が作動してから第１所定時間（たとえば３分）経過するまでに、撮像画像が不鮮明な状態が解消しなければ、制御部２６は、第１所定時間経過時に昇温部１８の作動を停止して、以後の昇温部１８の作動を禁止する。これにより、不必要に昇温部１８を作動して、無駄な電力を消費する状況を回避できる。このとき制御部２６は、作動禁止フラグを「オン」に設定し、作動禁止フラグがオンの間は、昇温部１８を作動できないようにする。なお作動禁止フラグは、初期状態では「オフ」に設定されており、作動禁止フラグが「オン」に設定されると、制御部２６は作動禁止フラグが「オフ」に変更されるまで、昇温部１８を作動することはない。

なお撮像領域１６のガラス外面の汚れは、たとえば運転者がワイパーを動かすことで拭き取られることがある。汚れが拭き取られると、カメラ１０が鮮明な画像を撮像するため、画像処理部２４は、撮像画像からエッジや角などの特徴点を好適に検出できるようになる。そのため昇温部１８の作動禁止中に、画像処理部２４が、撮像画像が不鮮明な状態が解消したことを判定すると、画像処理部２４は不鮮明フラグを「オフ」に設定し、制御部２６は、不鮮明フラグが「オン」から「オフ」に遷移したことを受けて、作動禁止フラグを「オフ」に設定する。作動禁止フラグがオフになると、制御部２６は、昇温部１８の作動禁止を解除し、つまりは昇温部１８を作動可能な状態に復帰する。

図５は、制御部２６による昇温制御のフローチャートの一例を示す。この昇温制御は、車両２のスタートスイッチが操作されてＩＧ（イグニッション）オンとなったときに開始される。なお昇温制御は、ＩＧオンであり、且つ車両２の速度が所定速度（たとえば５ｋｍ／ｈ）以上となったときに開始されてもよい。この所定速度は、画像処理部２４による特徴点検出処理が実施できる速度に設定されることが好ましい。

制御部２６は、不鮮明フラグのフラグ値を監視し、具体的には不鮮明フラグが「オフ」から「オン」に遷移するか否かを監視する（Ｓ３０）。Ｓ３０における監視は、不鮮明フラグがオフの間（Ｓ３０のＮ）継続する。不鮮明フラグがオンになると（Ｓ３０のＹ）、制御部２６は作動禁止フラグがオンに設定されているか否かを判定する（Ｓ３２）。作動禁止フラグがオフに設定されていれば（Ｓ３２のＮ）、制御部２６は昇温部１８を作動させて（Ｓ３４）、フロントガラス１２の撮像領域１６を昇温させる。制御部２６は、第１の所定時間が経過するまで（Ｓ３６のＮ）、昇温部１８を作動させる。

昇温部１８を作動後、第１の所定時間が経過すると（Ｓ３６のＹ）、制御部２６は、昇温部１８の作動を停止する（Ｓ３８）とともに、第１の所定時間経過時の不鮮明フラグのフラグ値を参照する（Ｓ４０）。Ｓ４０のステップは、以後の昇温部１８の作動可否を判定する作動可否判定処理である。なお画像処理部２４による撮像状態判定処理と、制御部２６による昇温制御は、同一クロックにもとづいて実施されている。撮像状態判定処理は周期的に実施されており、撮像状態判定処理で判定結果が生成されるタイミングで、第１の所定時間の経過を判定するステップ（Ｓ３６のＹ）、Ｓ３８のステップおよびＳ４０のステップが実行される。したがって制御部２６が参照する不鮮明フラグのフラグ値は、第１の所定時間経過時に画像処理部２４により判定された結果を表している。ここで不鮮明フラグがオフに設定されている場合、すなわち画像処理部２４が、昇温部１８が作動してから第１の所定時間経過時に撮像画像が鮮明であることを判定している場合（Ｓ４０のＮ）、制御部２６は、ガラス曇りが好適に除去されたために、作動禁止フラグを「オフ」のまま変更せず、昇温部１８を作動可能な状態を維持する。

一方、不鮮明フラグがオンに設定されている場合、すなわち画像処理部２４が、昇温部１８が作動してから第１の所定時間経過時に撮像画像が不鮮明な状態が解消していないことを判定している場合（Ｓ４０のＹ）、制御部２６は、作動禁止フラグをオンに設定して、以後の昇温部１８の作動を禁止する（Ｓ４２）。昇温部１８を第１所定時間作動しても、撮像画像が不鮮明な状態が解消していない場合には、撮像領域１６が泥などにより汚れていると考えられる。撮像領域１６が汚れている場合、昇温部１８を作動させても、汚れは除去されないため、制御部２６は、作動禁止フラグをオンに設定して、以後の昇温部１８の作動を禁止することで、無駄な電力消費を抑制する。

制御部２６は、昇温部１８の作動を停止してから、第２の所定時間が経過するまで（Ｓ４４のＮ）、昇温部１８を非作動とする。第２の所定時間が経過すると（Ｓ４４のＹ）、終了条件が成立していなければ（Ｓ４６のＮ）、Ｓ３２に戻り、終了条件が成立していれば（Ｓ４６のＹ）、制御部２６による昇温制御は終了される。Ｓ４６における終了条件は、たとえばイグニッションオフとされたことであってよい。なお図５に示すフローチャートにおいて、Ｓ４６はＳ４４の後のステップとして便宜上示しているが、Ｓ４６の終了条件判定は、昇温制御の開始後、常に実施されており、終了条件の成立が判定されると、制御部２６による昇温制御は終了される。

Ｓ３２に戻り、制御部２６は作動禁止フラグがオンに設定されているか否かを判定する。作動禁止フラグがオフに設定されていれば（Ｓ３２のＮ）、制御部２６は、Ｓ３４〜Ｓ４４までの処理を実施し、つまり昇温部１８を第１所定時間作動して撮像領域１６を昇温させ、第２所定時間、昇温部１８を非作動とする制御を繰り返す。

一方、作動禁止フラグがオンに設定されていれば（Ｓ３２のＹ）、制御部２６は、昇温部１８を作動しない。制御部２６は、不鮮明フラグのフラグ値を監視し、具体的には不鮮明フラグが「オン」から「オフ」に遷移するか否かを監視する（Ｓ５０）。Ｓ５０における監視は、不鮮明フラグがオンの間（Ｓ５０のＮ）継続する。不鮮明フラグがオフになると（Ｓ５０のＹ）、制御部２６は、作動禁止フラグをオフに設定する（Ｓ５２）。つまり昇温部１８の作動禁止中に、画像処理部２４が、撮像画像が不鮮明な状態が解消したことを判定すると、制御部２６は、昇温部１８の作動禁止を解除する。これにより制御部２６は、昇温部１８を作動可能な状態に復帰する。

実施例において、昇温部１８の作動、非作動を交互に繰り返す昇温制御は、不鮮明フラグがオフからオンに変更されて（Ｓ３０のＹ）、トリップ中の状況がガラス曇りを生じやすい状況にあることが判定されることで実施される。そのため作動禁止フラグがオンに設定されると、撮像画像が不鮮明になっている原因が、ガラス外面に付着した汚れであることが分かり、トリップ中の状況がガラス曇りを生じやすい状況にあるかは不明となる。そのため制御部２６は、作動禁止フラグをオンからオフに変更した後は、再度、Ｓ３０の不鮮明フラグの監視処理を実施して、トリップ中の状況がガラス曇りを生じやすい状況であるか判定する。以上の昇温制御は、終了条件が成立するまで（Ｓ４６のＹ）実施される。

図６および図７は、昇温制御におけるタイミングチャートを示す。図６は、昇温部１８の作動開始から第１所定時間内に、鮮明な撮像画像を取得できるようになったときのタイミングチャートを示し、図７は、昇温部１８の作動開始から第１所定時間内に、撮像画像が不鮮明な状態が解消しなかったときのタイミングチャートを示す。

図６のタイミングチャートについて説明する。時間ｔ１で、画像処理部２４が、撮像画像が不鮮明であることを判定し、不鮮明フラグをオンに設定する。不鮮明フラグがオンになることで、制御部２６は昇温部１８を作動させる。時間ｔ２で、画像処理部２４が、撮像画像が不鮮明な状態が解消したことを判定し、不鮮明フラグをオフに設定する。制御部２６は、第１所定時間（ｔ３−ｔ１）の間、昇温部１８を作動させ、時間ｔ３で、昇温部１８の作動を停止する。制御部２６は、第２所定時間（ｔ４−ｔ３）の間、昇温部１８を非作動とし、時間ｔ４以後、昇温部１８の作動、非作動を周期的に繰り返す昇温制御を実施する。

図６に示すタイミングチャートにおいて、撮像領域１６を昇温したことにより、時間ｔ２で撮像画像が不鮮明な状態が解消し、したがって作動禁止フラグはオンとならず、制御部２６は、時間ｔ４以後、昇温部１８を作動できる。

図７のタイミングチャートについて説明する。時間ｔ１で、画像処理部２４が、撮像画像が不鮮明であることを判定し、不鮮明フラグをオンに設定する。不鮮明フラグがオンになることで、制御部２６は昇温部１８を作動させる。制御部２６は、第１所定時間（ｔ３−ｔ１）の間、昇温部１８を作動させ、時間ｔ３で、昇温部１８の作動を停止する。時間ｔ３の時点で、不鮮明フラグはオンに設定されており、昇温部１８を第１所定時間作動させても、撮像画像が不鮮明な状態は解消していないため、制御部２６は、作動禁止フラグをオンに設定する。作動禁止フラグがオンになると、昇温部１８の作動が禁止されるため、時間ｔ３以後、制御部２６は、昇温制御を中止する。

その後、時間ｔ６で、フロントガラス１２の汚れがワイパーによって拭き取られると、画像処理部２４は、撮像画像が不鮮明な状態が解消したことを判定し、不鮮明フラグをオフに設定する。これにより制御部２６は、作動禁止フラグをオフに設定し、したがって時間ｔ６以後は、制御部２６が、昇温部１８を作動可能な状態に復帰する。このように昇温部１８の作動禁止中に、画像処理部２４が、撮像画像が不鮮明な状態の解消を判定すると、制御部２６は、昇温部１８の作動禁止を解除して、昇温部１８を作動可能な状態となる。このように撮像領域１６の汚れが除去された後は、制御部２６が、昇温部１８の作動禁止を解除することで、その後、撮像画像が不鮮明となった場合に、昇温部１８を好適に作動させることができる。

図８は、制御部２６による昇温制御のフローチャートの別の例を示す。図５に示すフローチャートと比較すると、図５におけるＳ４０の作動可否判定処理が、図８では、Ｓ４０ａに変更されている点で相違しており、その他のステップに変更はない。

図８に示す昇温制御において、制御部２６は、昇温部１８を第１所定時間作動して、停止した後、昇温部１８を作動していた第１所定時間内に、不鮮明フラグがオフになったことがあるか否かを判定する（Ｓ４０ａ）。つまり制御部２６は、昇温部１８を作動してから第１所定時間が経過するまでに、画像処理部２４が、撮像画像が不鮮明な状態が解消したことを判定したことがあるか否かを判定する。上記したように画像処理部２４による撮像状態判定処理と、制御部２６による昇温制御は同一クロックにもとづいて実施され、第１の所定時間が経過するまで（Ｓ３６のＮ）の間に、撮像状態判定処理は所定の周期で実施されている。制御部２６は、第１の所定時間が経過するまで（Ｓ３６のＮ）の間、撮像状態判定処理の判定結果を、判定結果が生成されるクロックのタイミングで参照して、不鮮明フラグがオフになったか否かを判定する。たとえば第１所定時間が経過したか否かの判定処理は、撮像状態判定処理の周期と同じ周期で実施されてよく、制御部２６は、第１の所定時間が経過したか否かの判定のたびに（Ｓ３６のＮ）、不鮮明フラグのフラグ値を確認してもよい。不鮮明フラグがオフになれば、制御部２６は、オフになったことを示す情報をメモリ（図示せず）に記憶する。第１の所定時間の経過を判定したときに（Ｓ３６のＹ）、制御部２６は、オフになったことを示す情報がメモリに記憶されているか確認し、これにより不鮮明フラグがオフになったことがあるか否かを判定してもよい。このようにして制御部２６は、第１の所定時間が経過するまでに、不鮮明フラグがオフのときがあったか否かを判定する（Ｓ４０ａ）。

ここで画像処理部２４が、昇温部１８が作動してから第１所定時間の経過前に撮像画像が不鮮明な状態が解消したことを判定していれば（Ｓ４０ａのＹ）、制御部２６は、作動禁止フラグを「オフ」のまま変更せず、昇温部１８を作動可能な状態を維持して、第１所定時間経過後の昇温部１８の作動を禁止しない。これは昇温部１８の作動中に少なくとも一度は撮像画像が鮮明になったため、撮像画像が不鮮明であった原因が、ガラス汚れではなく、ガラスの曇りや着氷であったことが判断されるためである。

一方、画像処理部２４が、昇温部１８が作動してから第１所定時間の経過前に撮像画像が不鮮明な状態が解消したことを判定していなければ（Ｓ４０ａのＮ）、制御部２６は、作動禁止フラグを「オン」に設定する（Ｓ４２）。昇温部１８の作動中、一度も不鮮明フラグがオフになっていなければ、撮像画像が不鮮明である原因が、ガラス汚れであることが判断されるため、制御部２６は、以後の昇温部１８の作動を禁止して、昇温制御を中止する。

以上、昇温部１８が作動してから第１所定時間が経過するまでに、撮像画像が不鮮明な状態が解消しなければ、制御部２６が、第１所定時間経過後の昇温部１８の作動を禁止することを説明した。なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例でも説明したように、ガラスの曇りは、外気温が低い場合に、ガラス近傍の空気に含まれる水分がガラス面に放出されることにより生じる。そこで車両２は、外気温を測定する温度センサを有し、制御部２６は、温度センサにより測定された外気温が所定の温度以下の低温の場合に、ガラス曇りが生じやすい状況にあることを判断して、昇温部１８を昇温制御してもよい。この場合であっても、作動禁止フラグがオフに設定されていれば、制御部２６は、昇温部１８の作動を禁止する。

実施例では、カメラ１０が車両前方を撮像するように車両２に取り付けられた例を示したが、他の方向、たとえば車両後方、車両側方を撮像するようにカメラ１０が車両２に取り付けられてもよい。

１・・・撮像システム、２・・・車両、１０・・・カメラ、１２・・・フロントガラス、１８・・・昇温部、２０・・・処理装置、２２・・・撮像画像取得部、２４・・・画像処理部、２６・・・制御部。

Claims (4)

1. 車両に搭載される撮像システムであって、
   車両のガラス越しに車外を撮像するカメラと、
   少なくとも前記カメラの撮像範囲に含まれるガラスの領域を昇温するための昇温部と、
   前記カメラが撮像した撮像画像が鮮明であるか否かを判定する画像処理部と、
   前記画像処理部が、撮像画像が不鮮明であることを判定した場合に、前記昇温部を作動させて前記ガラスの領域を昇温させる制御部と、を備え、
   前記昇温部が作動してから所定時間経過するまでに撮像画像が不鮮明な状態が解消しなければ、前記制御部は、所定時間経過時に前記昇温部の作動を停止して、以後の前記昇温部の作動を禁止する、
   ことを特徴とする撮像システム。
2. 前記画像処理部は、撮像画像が不鮮明な状態が解消したか否かを判定する機能を有し、
   前記画像処理部が、前記昇温部が作動してから所定時間経過時に撮像画像が不鮮明な状態が解消していないことを判定すると、前記制御部は、以後の前記昇温部の作動を禁止する、
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記画像処理部は、撮像画像が不鮮明な状態が解消したか否かを判定する機能を有し、
   前記画像処理部が、前記昇温部が作動してから所定時間経過前に撮像画像が不鮮明な状態が解消したことを判定すると、前記制御部は、所定時間経過後の前記昇温部の作動を禁止しない、
   ことを特徴とする請求項１に記載の撮像システム。
4. 前記昇温部の作動禁止中に、前記画像処理部が、撮像画像が不鮮明な状態が解消したことを判定すると、前記制御部は、前記昇温部の作動禁止を解除する、ことを特徴とする請求項１または２に記載の撮像システム。

Images