JP2012228916A

JP2012228916A - 車載カメラシステム

Info

Publication number: JP2012228916A
Application number: JP2011097330A
Authority: JP
Inventors: Mizuki Suzumura; 瑞己鈴村; Keishun Nakada; 圭俊中田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-04-25
Filing date: 2011-04-25
Publication date: 2012-11-22

Abstract

【課題】車室内外の環境条件によって車両の窓ガラスに生じる曇りを的確に判定可能な車載カメラシステムを提供する。
【解決手段】本発明に係る車載カメラシステム（１）は、車両の窓ガラス（２）に生じる曇りを検知するものであり、画像処理装置（６）は、窓ガラス（２）を介して車室外を撮像する撮像装置（３）で撮像した画像から窓ガラスに曇りが生じているか否かを判定し、曇りが生じていると判定された場合は、車室内温度センサ（４）及び車室外温度センサ（９）で計測した温度に基づいて窓ガラスのうち車室内外のいずれ側に曇りが生じているかを判定することを特徴とする。
【選択図】図１

Description

本発明は、車両の窓ガラスに生じる曇りを検知するための車載カメラシステムの技術分野に関する。

自動車を含む各種車両では、車室内外の空気中に含まれる水蒸気が結露し、窓ガラスが曇ることがある。曇りの発生条件は、車室内外の環境条件（温度や湿度など）に依存しており、様々である。曇りが窓ガラスに発生すると車両の運行上の妨げになるため、従来は、例えば車両に搭載されたデフロスターやワイパーをドライバーの操作によって可動することで、曇りの除去（デミスト操作）を行っていた。近年、このようなデミスト操作を自動化することによって、ドライバーの運転負担の軽減を図る技術が開発されている。

このようなデミスト操作の自動化に関する技術として、車室内外に温度センサや湿度センサ、結露センサなどの各種センサ類を設置し、それらの検出値から曇りの発生条件を満たしているか否かを判定して、窓ガラス上の曇りの有無を推測するものがある。例えば特許文献１では、温度センサで車室内外の温度を検出することに加え、湿度センサで窓ガラス内面の相対湿度を取得することにより、曇りの有無を判断している。また特許文献２では、湿度センサにより車室内の湿度が所定値以上である場合に曇りが生じたと判定している。また特許文献３では、車室内外の温度センサに加えて、更に結露センサを設置することによって曇りの発生を判定している。また、特許文献４には、湿度センサによって検出された車室内の湿度に基づいて湿度変化の急峻度を算出し、デミスト処理を段階的に変化させる技術が開示されている。

特開平１−２６９６４６号公報実開平４−９２４６８号公報実開平５−１４８７号公報実開平５−４２６９６号公報

しかしながら、上記背景技術では、設置した様々なセンサの検出値を曇りの発生条件と照らし合わせて曇りの有無を推測しているに過ぎず、実際にガラスの曇りそのものを直接的に検知しているわけではない。そのため、実際の曇りの発生状況との間にズレが生じる場合がある。また、判定に必要なセンサとして温度センサ以外に、湿度センサや結露センサなど様々な検出手段が必要となり、装置構成が複雑になってしまうという問題もある。更に、上記技術では車室内の曇りについてはある程度の可能性で検出できる場合もあるが、車室外（すなわち窓ガラスの外側）に発生する曇りについては、検出することができない。

本発明は上記問題点に鑑みなされたものであり、車両の窓ガラスに生じる曇りを精度よく判定可能な車載カメラシステムを提供することを目的とする。

本発明に係る車載カメラシステムは上記課題を解決するために、車室内及び車室外の温度を計測するための車室内温度センサ及び車室外温度センサを備えた車両に搭載される車載カメラシステムにおいて、車室内に設置され前記車両の窓ガラスを介して車室外を撮像する撮像装置と、前記撮像装置から出力された画像を処理解析する画像処理装置と、前記車室内温度センサ及び車室外温度センサの計測結果、及び前記撮像装置によって撮像された画像を前記画像処理装置に送信する通信手段とを備え、前記画像処理装置は、前記通信手段から受信した画像から前記窓ガラスに曇りが生じているか否かを判定し、曇りが生じていると判定された場合は、前記通信手段から受信した前記車室内温度センサ及び車室外温度センサの計測結果に基づいて、前記窓ガラスの車室内外のいずれ側に曇りが生じているかを判定することを特徴とする。

本発明によれば、撮像装置で撮影した画像に基づいて窓ガラスに生じた曇りを直接的に検知できるので、専らセンサ類の検出値に頼った間接的な従来の手法に比べて、より確実に曇りの有無を判定することができる。特に、車室内外に設置された温度センサによって窓ガラスの内側と外側における温度差を取得することにより、窓ガラスのいずれの面が曇っているのかを含めた正確な判定が可能となる。

前記画像処理装置は、前記車室内温度センサの計測温度が前記車室外温度センサの計測温度より高い場合に、前記窓ガラスのうち車室内側に曇りが生じていると判定し、前記車両に搭載された曇り除去手段を作動させるように指示するとよい。この態様によれば、曇り除去手段を自動的に作動させることにより、車室内に生じた曇りを除去し、ドライバーの運転負担を軽減することができる。このような曇り除去手段を動作させるための指示は、画像処理装置に含まれたコントロール手段である制御部から出力される制御によって行うとよい。尚、この曇り除去手段としては、例えばデフロスターや電熱線によるデフォッカー、外気導入装置等を用いることができる。

一方、前記画像処理装置は、前記車室外温度センサの計測温度が前記車室内温度センサの計測温度より高い場合に、前記窓ガラスのうち車室外側に曇りが生じていると判定し、車両に搭載されたワイパーを作動させるように指示するとよい。この態様によれば、ワイパーを自動的に作動させることにより、車室外に生じた曇りを除去し、ドライバーの運転負担を軽減することができる。このようなワイパーを動作させるための指示は、画像処理装置に含まれたコントロール手段である制御部から出力される制御によって行うとよい。

前記画像処理装置は、前記通信手段から受信した画像のうち周囲に比べてコントラストの高い領域を抽出し、該抽出した領域の画像に基づいて前記窓ガラスに曇りが生じているか否かを判定してもよい。一般的に、撮像装置によって撮像した画像全体のコントラストが低い場合には、曇りの有無の判定精度が低下することが予想される。本態様では、このような場合であっても、撮像した画像のうち周囲に比べてコントラストの高い領域を特定して抽出し、このコントラストの高い領域の画像に基づいて曇りの有無を判定することにより、正確に曇りの有無を判定することができる。

例えば、前記画像処理装置は、前記画像の輝度について作成したヒストグラム分布に基づいて前記曇りが生じているか否かを判定するとよい。この場合、前記画像処理装置は、前記作成したヒストグラム分布が特定の輝度に集中する場合に、前記曇りが生じていると判定するとよい。一般的に曇りが生じていない窓ガラスを介して撮像した画像には、様々なもの（風景や物、人など）が写っているため、広い分布を有するヒストグラムが得られる。一方、曇りが生じている窓ガラスを介して撮像した画像には、曇りによってこれら写り込んでいたものが霞み、ヒストグラムの分布が特定の輝度に集中するように狭くなる（つまり、標準偏差が小さくなる）。このような性質に鑑み、本態様では撮像した画像について画素毎の輝度のヒストグラム分布を作成し、その分布の広がりが狭くなって特定の輝度に集中した場合に曇りが生じたと判定することで、精度のよい曇り検知ができる。

また、前記画像処理装置は、前記画像に含まれるエッジの強度に基づいて前記曇りの有無を判定してもよい。上述したように、曇りが生じていない窓ガラスを介して撮像した画像には様々なもの（風景や物、人など）がクリアに写っているが、曇りが生じると写り込んでいたものが霞んでエッジのクリア度合いが低下する。この態様では、撮像した画像に含まれるエッジの強度（鮮明さ）に基づいて曇りの有無を判定することで、精度の高い検知が可能となる。

本発明に係る車載カメラシステムの全体構成を示すブロック図である。本発明に係る車載カメラシステムの動作を手順毎に示すフローチャート図である。窓ガラスにおける曇りの有無に対応した撮像画像のヒストグラム分析結果を示すグラフ図である。撮像部によって撮像された画像の一例を示す模式図である。撮像部によって撮像された画像の他の例を示す模式図である。

図１は、本発明に係る車載カメラシステム１の全体構成を示すブロック図である。車載カメラシステム１は図不示の車両に搭載されており、車室内側（すなわち、窓ガラス２より車室内側）には窓ガラス２を介して車室外側を撮像可能に配置された撮像装置３、車室内の温度を検知するための車室内温度センサ４、車載カメラシステム１内の各種データの送受信を行う通信手段５、該通信手段５から受け取った各種データを記憶・演算・判断することによって画像処理を行う画像処理装置６、該画像処理装置６の処理結果に応じて窓ガラス２の車室内側に付着した曇り（水分等）を除去可能なデフロスター７、画像処理装置６の処理結果を出力するための出力部８が配置されており、車室外側には、外気温を検知するための車室外温度センサ９、窓ガラス２の車室外側に付着した曇り（水分等）を除去するためのワイパー１０が設置されている。

撮像装置３は車室内に設置されており、車両の窓ガラス２を介して車室外を撮像可能な車載カメラである。撮像装置３の車室内における配置は、車室外を的確に撮像可能な位置であり、且つ、ドライバーの運転への支障が少なく、良好な画像が撮像可能な位置（例えばフロントウィンドウ越しに撮像する場合には、バックミラーの裏側など）に取り付けられている。

車室内温度センサ４及び車室外温度センサ９は、それぞれ車室内外の温度を検出するための温度検出手段であり、例えばサーミスタ素子や熱電対素子などの温度センサである。好ましくは、車室内温度センサ４及び車室外温度センサ９は、窓ガラス２の内側及び外側近辺に配置されることにより、窓ガラス２の表面近傍の温度を正確に検知できるように配置されていることが理想的であるが、車室内外の代表的な温度（例えば平均温度）を取得可能なように配置されていてもよい。この場合、窓ガラス２の表面近傍の温度をより正確に取得するために、車室内外の代表的な温度（例えば平均温度）に対して補正を行うようにしてもよい。

尚、本発明に係る車載カメラシステム１では、必ずしも独自にこれらの温度センサ４及び９を設ける必要はなく、車両に空調用のために予め設けられている温度センサをそのまま使用して温度情報を取得するようにしてもよい。

通信手段５は、撮像装置３、車室内温度センサ４及び車室外温度センサ９からの情報を取得して画像処理装置６に送信すると共に、画像処理部５における処理結果を取得することによって、車両各部に対して然るべき指令を送信する。

画像処理装置６は、画像処理に必要な各種データを記憶するための記憶部６ａ、該記憶部６ａに記憶した各種データを解析する演算部６ｂ、該演算部６ｂにおける解析結果に基づいて曇りの有無の判定や車両各部に対する指令内容を判断する判断部６ｃを含んでなる。記憶部６ａは、通信手段５を介して取得した各種情報（すなわち撮像装置３で撮像した画像、車室内温度センサ４及び車室外温度センサ９で取得した車室内外の温度に関するデータなど）を、画像処理装置６で解析するために一時的に記憶するメモリである。尚、本発明の画像処理装置６は、車両制御を統括するＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔｏｒＥｎｇｉｎｅＣｏｎｔｒｏｌＵｎｉｔ）に所定のプログラムをインストールして、ＥＣＵと兼用して実現してもよい。

通信手段５は画像処理装置６での処理結果に基づいて、車両の各部に対して出力信号を送信する。出力部８は、画像処理装置６における処理を受信して、その処理結果（曇りの有無など）について出力する。この出力部８はディスプレイなどの視覚的に認識可能なデバイスでもよいし、アラームなどの聴覚的に報知するデバイスであってもよい。

本実施例では、通信手段５からの指令によって動作可能な部位として、窓ガラス２の内側に曇りが生じている場合に作動させることにより曇りを除去可能なデフロスター７と、窓ガラス２の外側に曇りが生じている場合に作動させることにより曇りを除去可能なワイパー１０とを例示しているが、曇りの除去手段がこれらに限られないのは言うまでもない。

次に図２を参照して、上述の車載カメラシステム１の具体的な動作内容について説明する。図２は、本発明に係る車載カメラシステム１の動作を手順毎に示すフローチャート図である。

まず、撮像装置３にて窓ガラス２を介して車室側を撮像することにより、画像を取得する（ステップＳ１０１）。取得した画像は通信手段５を介して画像処理装置６に送られ、記憶部６aに一時的に格納された後、演算部６ｂ及び判断部６ｃにて画像処理・判定を行い、窓ガラス２における曇りの有無を検知する（ステップＳ１０２）。ステップＳ１０２の検知の結果、窓ガラス２に曇りがあると判定された場合（ステップＳ１０３：ＹＥＳ）、画像処理装置６は通信手段５を介して、車室内温度センサ４及び車室外温度センサ９によって検出した車室内外の温度（以下、車室内温度を「Ｔｉｎ」、車室外温度を「Ｔｏｕｔ」と称する）を取得する（ステップＳ１０４）。

続いて、画像処理装置６は車室内温度Ｔｉｎが車室外温度Ｔｏｕｔより高いか否かを判定する（ステップＳ１０５）。車室内温度Ｔｉｎが車室外温度Ｔｏｕｔより高い場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０２で検知した曇りは車室内の大気中に含まれる水蒸気等が窓ガラスの内側表面にて外側から冷やされて結露して生じたものと判定する（ステップＳ１０６）。続いて、画像処理装置６は車室内に生じた曇りを除去すべく、通信手段５を介して、デフロスター７に制御信号を送信して駆動する（ステップＳ１０７）。

一方、車室内温度Ｔｉｎが車室外温度Ｔｏｕｔ以下である場合（ステップＳ１０５：ＮＯ）、ステップＳ１０２で検知した曇りは、車室外の大気中に含まれる水蒸気等が窓ガラスの外側表面にて内側から冷やされて結露して生じたものと判定する（ステップＳ１０８）。そして、画像処理装置６は車室外に生じた曇りを除去すべく、通信手段５を介して、ワイパー１０に制御信号を送信して駆動する（ステップＳ１０９）。

このように曇りが検知された場合には、温度センサ４，９からの検出値に基づいて窓ガラス２のどちらの面に曇りが生じているかを判定し、その結果に応じてデフロスター７やワイパー１０を駆動することによって、曇りを自動的に除去する。一方、ステップＳ１０３において曇りが無いと判定された場合には、ステップＳ１０４乃至Ｓ１０９の処理は実行されないので、処理負担を効果的に軽減することができる。このような一連の処理は、一定又は不定の周期で繰り返されることによって、窓ガラスに曇りが生じることによってドライバーの運転操作に支障がないように、管理されている。

続いて、上記ステップＳ１０２及びＳ１０３で言及した曇りの検知及び判定の具体的内容について、説明する。図３は、窓ガラス２における曇りの有無に対応した撮像画像のヒストグラム分析結果を示すグラフ図である。ここで、図３（ａ）及び（ｂ）は、それぞれ、窓ガラス２に曇りが発生していない正常時と曇りが生じている結露時において、撮像装置３で取得した画像の輝度分布を画素毎に統計処理して得られるヒストグラム分布である。尚、このヒストグラムの出力値は「０」が黒色、「２５５」が白色の２５６階調で表示されている。

まず図３（ａ）に示すように、窓ガラス２に曇りがない正常時には、窓ガラス２を介して撮像される画像には任意の物体が含まれているため、その輝度分布も特定値に偏ることなく、広い輝度範囲に亘って分布している。一方、窓ガラス２に結露が生じると、窓ガラスに付着した水滴によって曇りが生じ、撮像した画像は全体的に白色に近づくように変化する（画像のコントラストが低下する）。そのため、図３（ｂ）に示すように、曇りが生じた状態（結露時）に撮像装置３で得られた画像の輝度分布は、特定の輝度値に標準偏差σのバラツキをもつように、集中した分布を有する。

一般的に窓ガラスに曇りが生じる場合、その曇りの濃さは時間の経過に従って、次第に増加していく（コントラストが次第に低下していく）。そのため、撮像装置３で経時的に画像を取得してヒストグラムを作成していくと、得られるヒストグラムは、図３（ａ）のように広い分布を持っている状態から、図３（ｂ）のように特定の輝度に分布が集中する状態に遷移していく（つまり標準偏差σが次第に小さくなっていく）。このとき、ドライバーの運転操作に問題ならないレベルの曇りであれば、曇り除去を行う必要はないが、曇りが所定レベル以上に達すると除去動作を行う必要がある。そこで、画像処理装置６は得られたヒストグラムに対して、その標準偏差σを算出し、得られた標準偏差σが所定値以下になった場合に、図２のステップＳ１０３にて曇りが生じたと判定するようにするとよい。これにより、ヒストグラムの輝度分布のバラツキが所定値より小さくなる程度に達した場合に、除去すべき曇りが発生したと判定することができる。

このように本発明では、撮像装置３で取得した画像をヒストグラム解析することによって、直接的に曇りを検知できるので、背景技術のように専ら温度センサや湿度センサで得た検出値に基づいて曇りの有無を間接的に推測する場合に比べて、高い精度で曇りを検知できる。

ここで、図４は、撮像装置３によって撮像された画像２０の一例を示す模式図である。この例では、撮像した画像の大部分が道路２１によって占められている。道路２１は一般的に黒色であるため、このような画像を全体的に見た場合、コントラストは低くなる。この場合、窓ガラス２に結露の生じていない正常時の画像に基づいて、図３に示したようなヒストグラムを作成しても、黒色の道路２１が占める画素数が多いため、標準偏差σが小さく算出されてしまう。そのため、正常時であるにもかかわらず、標準偏差が小さい分だけ、曇りの検知精度が低下してしまうおそれがある（つまり、図３（a）と（ｂ）との差が少なくなる）。

このような場合、取得した画像２０からコントラストが高い領域を部分的に抽出し、当該抽出した一部の画像に基づいて、曇りの検知を行うとよい。具体的には、図４で点線２２で囲んで示すように、道路のセンターライン２３や歩道との境界ライン２４が含まれる画像を抽出して検知を行うとよい。一般的に、このようなセンターライン２３や境界ライン２４は白色であり、黒色のアスファルト２１に対して高いコントラストを有している。

図５は、撮像装置３によって撮像された画像の他の例を示す模式図である。この画像３０では、車室内に設けられた撮像装置３の配置を、その撮像範囲に自車のボンネット３１が写り込むように設定している。そして、図５で点線３２で囲んで示すように、ボンネット３１と黒色のアスファルト２１とのコントラストの高い境界領域に基づいて曇りの検知を行うとよい。このような境界領域もまた高いコントラストを有しているため、画像全体でコントラストが低い状況であっても、当該境界領域に基づいて検知を行うことによって、検知精度の低下を抑えることができる。

図４や図５を参照して説明したように、画像全体からコントラストの高い領域を部分的に抽出して曇り検知を行うことで、検知精度の低下を抑制することができる。このように画像全体から抽出する領域は、ドライバーや同乗者などの人間が出力部８を兼ねたタッチパネルなどの入力手段を介して選択するようにしてもよいし、撮像装置３で取得した画像から画像処理装置６においてコントラストが高い領域を自動的に選択するようにしてもよい。

また、画像処理装置６は、図４及び図５で示したように、画像に映し出された各物体のエッジの強度に基づいて曇りの有無を判定してもよい。上述したように、曇りが生じていない窓ガラスを介して撮像した画像には様々なもの（風景や物、人など）がクリアに写っているが、曇りが生じると写り込んでいたものが霞んでエッジのクリア度合いが低下する。そのため、エッジの鮮明さに対して予め閾値を設けておき、撮像した画像から検出したエッジの鮮明さとの大小を比較することによって曇りの有無を判定してもよい。

以上説明したように、本発明に係る車載カメラシステム１によれば、撮像装置３で撮影した画像に基づいて窓ガラスに生じた曇りを直接的に検知できるので、専らセンサ類の検出値に頼った間接的な従来の手法に比べて、より確実に曇りの有無を判定することができる。特に、車室内外に設置された車室内温度センサ４及び車室外温度センサ９によって窓ガラス２の内側と外側における温度差を取得することにより、窓ガラス２のいずれの面が曇っているのかを含めた正確な判定が可能となる。

本発明は、車両の窓ガラスに生じる曇りを検知するための車載カメラシステムに利用可能である。

１車載カメラシステム
２窓ガラス（フロントウィンドウ）
３撮像装置
４車室内温度センサ
５通信手段
６画像処理装置
６ａ記憶部
６ｂ演算部
６ｃ判断部
７デフロスター
８出力部
９車室外温度センサ
１０ワイパー

Claims

車室内及び車室外の温度を計測するための車室内温度センサ及び車室外温度センサを備えた車両に搭載される車載カメラシステムにおいて、
車室内に設置され前記車両の窓ガラスを介して車室外を撮像する撮像装置と、
前記撮像装置から出力された画像を処理解析する画像処理装置と、
前記車室内温度センサ及び車室外温度センサの計測結果、及び前記撮像装置によって撮像された画像を前記画像処理装置に送信する通信手段と
を備え、
前記画像処理装置は、前記通信手段から受信した画像から前記窓ガラスに曇りが生じているか否かを判定し、曇りが生じていると判定された場合は、前記通信手段から受信した前記車室内温度センサ及び車室外温度センサの計測結果に基づいて、前記窓ガラスの車室内外のいずれ側に曇りが生じているかを判定することを特徴とする車載カメラシステム。
前記画像処理装置は、前記車室内温度センサの計測温度が前記車室外温度センサの計測温度より高い場合に、前記窓ガラスのうち車室内側に曇りが生じていると判定し、前記車両に搭載された曇り除去手段を作動させるように指示することを特徴とする請求項１に記載の車載カメラシステム。
前記画像処理装置は、前記車室外温度センサの計測温度が前記車室内温度センサの計測温度より高い場合に、前記窓ガラスのうち車室外側に曇りが生じていると判定し、車両に搭載されたワイパーを作動させるように指示することを特徴とする請求項１に記載の車載カメラシステム。
前記画像処理装置は、前記通信手段から受信した画像のうち周囲に比べてコントラストの高い領域を抽出し、該抽出した領域の画像に基づいて前記窓ガラスに曇りが生じているか否かを判定することを特徴とする請求項１から３のいずれか一項に記載の車載カメラシステム。
前記画像処理装置は、前記画像の輝度について作成したヒストグラム分布に基づいて前記曇りが生じているか否かを判定することを特徴とする請求項１から４のいずれか一項に記載の車載カメラシステム。
前記画像処理装置は、前記作成したヒストグラム分布が特定の輝度に集中する場合に、前記曇りが生じていると判定することを特徴とする請求項５に記載の車載カメラシステム。
前記画像処理装置は、前記画像に含まれるエッジの強度に基づいて前記曇りの有無を判定することを特徴とする請求項１から４のいずれか一項に記載の車載カメラシステム。