JP2013258677A - カメラ映像の反射光除去装置及び方法 - Google Patents

Abstract

【課題】車両前方映像の認識誤謬を最小にするとともに、より容易にカメラ映像の反射光を除去することができるカメラ映像の反射光除去装置及び方法を提供する。
【解決手段】車両のウィンドシールド及びカメラレンズにそれぞれ配置され、反射光を通過させるフィルタうち何れか一つのオン又はオフ動作を制御する制御信号を、一定周期ごとにウィンドシールド又はカメラレンズに配置されたフィルタへ出力するフィルタ制御部、フィルタがオン又はオフされるあいだ、撮影された映像を獲得する映像獲得部、カメラを介し撮影された映像のうちフィルタがオフされた状態で撮影された一般映像から、フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する差映像生成部、及び差映像のブラード（ｂｌｕｒｒｅｄ）映像に基づき差映像で反射映像に該当する領域を補正して最終映像を獲得する差映像補正部を含む。
【選択図】図１

Description

本発明は、カメラ映像の反射光除去装置及び方法に係り、より詳しくは、車両のウィンドシールド（ｗｉｎｄｓｈｉｅｌｄ）内側に備えられる前方カメラから撮影される映像で、ウィンドシールドによる反射光を除去する装置及び方法に関する。

外部の光はウィンドシールドを通過して車両の内部へ入射されることになり、外部から車両の内部へ入射される光は、ダッシュボードに反射してウィンドシールドに現われる。
一方、車両の前方を撮影するカメラはウィンドシールド内側に備えられ、車両の内部でウィンドシールドを通過して前方の映像を撮影することになる。したがって、ウィンドシールドに反射光が現われることになれば、ウィンドシールドに現われた反射光までそのまま撮影され、カメラを介して撮影される映像に反射光が現われることになる。もちろん、曇り日には反射光が弱く現われることがあるが、日差しの強い天気には反射光により撮影映像上で実際外部の状況がまともに現われないこともあり得る。この場合、当該撮影映像を車線認知システムなどに適用する場合は、反射光により認識率が落ちるか、誤認識される場合が発生することになる。

特開平９−８３８７９号公報

本発明の目的は、車両のウィンドシールド内側に備えられる前方カメラから撮影される映像で、ウィンドシールドによる反射光を除去して前方映像の認識誤謬を最小にするカメラ映像の反射光除去装置及び方法を提供することにある。
本発明の他の目的は、カメラとウィンドシールドのフィルタのうち何れか一つをオン／オフさせて撮影された映像等の差映像を補正するものであって、より容易にカメラ映像の反射光を除去することができるようにしたカメラ映像の反射光除去装置及び方法を提供することにある。

本発明に係るカメラ映像の反射光除去装置は、車両のウィンドシールド及びカメラレンズにそれぞれ配置され、反射光を通過させるフィルタうち何れか一つのオン又はオフ動作を制御する制御信号を、一定周期ごとに前記ウィンドシールド又は前記カメラレンズに配置されたフィルタへ出力するフィルタ制御部、前記フィルタ制御部からの制御信号に従い前記フィルタがオン又はオフされる間、前記車両のウィンドシールド方向に設けられたカメラを介して撮影された映像を獲得する映像獲得部、前記カメラを介して撮影された映像のうち前記フィルタがオフされた状態で撮影された一般映像から、前記フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する差映像生成部、及び前記差映像のブラード（ｂｌｕｒｒｅｄ）映像に基づき前記差映像で前記反射映像に該当する領域を補正して最終映像を獲得する差映像補正部を含むことを特徴とする。

前記差映像補正部は、前記ブラード映像から明度レベルを検出し、前記差映像で前記反射映像に該当する領域の明度レベルを補正することを特徴とする。

前記差映像補正部は、前記差映像で前記反射映像に該当する領域に対し穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ）することを特徴とする。

前記差映像補正部は、前記反射映像からエッジ領域を検出し、検出された前記エッジ領域に基づき前記差映像で前記反射映像に該当する領域を認識することを特徴とする。

また、本発明に係るカメラ映像の反射光除去方法は、車両のウィンドシールド及びカメラレンズにそれぞれ配置され、反射光を通過させるフィルタのうち何れか一つのオン又はオフ動作を制御する制御信号を、一定周期ごとに前記ウィンドシールド又は前記カメラレンズに配置されたフィルタへ出力する段階、前記制御信号に従い前記フィルタがオン又はオフされるあいだ、前記車両のウィンドシールド方向に設けられたカメラを介して撮影された映像を獲得する段階、一周期のあいだ前記カメラを介して撮影された映像のうち、前記フィルタがオフされた状態で撮影された一般映像で、前記フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する段階、及び前記差映像のブラード映像に基づき、前記差映像で前記反射映像に該当する領域を補正して最終映像を獲得する段階、を含むことを特徴とする。

前記最終映像を獲得する段階は、前記ブラード映像から明度レベルを検出し、前記反射映像に該当する領域に対する明度レベルを補正する段階を含むことを特徴とする。

前記最終映像を獲得する段階は、前記差映像で前記反射映像に該当する領域に対し穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ）する段階を含むことを特徴とする。

前記最終映像を獲得する段階は、前記反射映像からエッジ領域を検出する段階を含み、検出された前記エッジ領域に基づき前記差映像で前記反射映像に該当する領域を認識することを特徴とする。

本発明によると、車両のウィンドシールド内側に備えられる前方カメラとウィンドシールドに配置されたフィルタのうち何れか一つをオン／オフさせて撮影された映像等の差映像を補正するものであって、より容易にカメラ映像でウィンドシールドによる反射光を除去することができ、カメラ映像の反射光を除去することにより当該映像を介した認識誤謬を最小にすることができるメリットがある。
さらに、本発明は反射光を最小にするための遮蔽幕を必要としないので、遮蔽幕がないことにより運転者がより広い視野を確保することができ、遮蔽幕によるウィンドシールド又はループなどのデザインに制約がないので、車両製造時により多様なデザインを適用することができるメリットがある。

本発明に係るカメラ映像の反射光除去装置が適用された車両を示した図である。 本発明に係るカメラ映像の反射光除去装置の構成を示したブロック図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。 本発明に係るカメラ映像の反射光除去方法に関する映像獲得動作の流れを示したフローチャートである。 本発明に係るカメラ映像の反射光除去方法に関する動作の流れを示したフローチャートである。

以下、図面を参照して本発明の実施例を詳細に説明する。
図１は、本発明に係るカメラ映像の反射光除去装置が適用された車両を示した図である。
図１に示すように、本発明に係るカメラ映像の反射光除去装置（以下、「反射光除去装置」と称する）１００を通じてカメラ５を介し撮影される映像の反射光を除去するため、予め車両１のウィンドシールド（ｗｉｎｄｓｈｉｅｌｄ）３とカメラ５のレンズにフィルタが配置される。ここで、車両１のウィンドシールド３に配置されたフィルタ（以下、「第１フィルタ」と称する）及びカメラ５のレンズに配置されたフィルタ（以下、「第２フィルタ」と称する）は、ウィンドシールド３上の反射光を検出するための偏光フィルタ（ｐｏｌａｒｉｚｉｎｇ ｆｉｌｔｅｒ）であるのが好ましい。

反射光除去装置１００は第１フィルタ又は第２フィルタに連結され、第１フィルタ又は第２フィルタのオン／オフ動作を制御し、カメラ５を介して撮影された映像を獲得する。好ましくは、反射光除去装置１００は第２フィルタのオン／オフ動作を制御するものとするが、これに限定されるものではない。但し、以下の実施例では第２フィルタのオン／オフ動作を制御することを例として説明する。
このとき、反射光除去装置１００はフィルタをオフ（ｏｆｆ）させた状態で一般映像を獲得し、一定周期ごとにフィルタにオン（ｏｎ）させて一般映像に対応する反射映像を獲得することになる。したがって、反射光除去装置１００は一般映像と反射映像を介してカメラ５により撮影された映像の反射光を除去することになる。
ここに、反射光除去装置１００の具体的な構成は、図２を参照して説明する。

図２は、本発明に係るカメラ映像の反射光除去装置の構成を示したブロック図である。
図２に示す通り、本発明に係る反射光除去装置１００は、制御部１１０、フィルタ制御部１２０、映像獲得部１３０、差映像生成部１４０、差映像補正部１５０、最終映像処理部１６０及び貯蔵部１７０を含む。このとき、制御部１１０は反射光除去装置１００の各部の動作を制御する。
フィルタ制御部１２０は第２フィルタと連結され、第２フィルタへ制御信号を出力する。このとき、フィルタ制御部１２０により出力される制御信号は第２フィルタのオン／オフ動作を制御する信号である。

一方、フィルタ制御部１２０は既設定された周期に伴い第２フィルタの動作をオン／オフさせる。このとき、フィルタ制御部１２０は通常は第２フィルタをオフさせ、既設定された周期ごとに一回ずつ第２フィルタをオンさせる。
例えば、フィルタ制御部１２０は第１周期が始まる時点に第２フィルタをオフさせ、第１周期の終了時点に到逹すれば第２フィルタをオンさせる。再び第２周期が始まると第２フィルタをオフさせ、第２周期の終了時点に到逹すれば第２フィルタをオンさせる。
したがって、第２フィルタは既設定された周期ごとに一回ずつオンされ、偏光のみを通過させる。

映像獲得部１３０は、車両に備えられたカメラを介して撮影される映像を獲得する。ここで、カメラは車両のウィンドシールド方向に設けられたものにする。このとき、映像獲得部１３０は第２フィルタのオン／オフ動作に従い一般映像と反射映像を獲得することになるが、第２フィルタがオンされた状態では一般映像を、フィルタがオフされた状態では反射映像を獲得することになる。
差映像生成部１４０は、カメラを介して撮影された一般映像と反射映像を利用して差映像を生成する。このとき、差映像生成部１４０は一周期のあいだカメラを介して撮影された映像のうち、第２フィルタがオフされた状態で撮影された一般映像から、第２フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する。

差映像補正部１５０は、差映像生成部１４０により生成された差映像を補正して最終映像を獲得する。このとき、差映像補正部１５０は差映像を補正するのに参考となる参考映像であって、差映像に対するブラード映像を生成する。差映像補正部１５０は差映像のブラード映像から明度レベルを検出して差映像の明度レベルを補正する。
勿論、差映像補正部１５０は差映像全体の明度レベルを補正するものではなく、差映像で反射映像に該当する領域を補正する。この場合、差映像補正部１５０は反射映像のエッジを検出し、反射映像のエッジ情報に基づき差映像で反射映像に該当する領域を感知する。したがって、差映像補正部１５０は差映像で反射映像のエッジ（ｅｄｇｅ）の内部領域を補正することで最終映像を獲得することになる。

一方、差映像補正部１５０は反射映像のエッジの内部領域に対して穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ）をさらに行うことができる。
最終映像処理部１６０は、差映像補正部１５０により獲得された最終映像を貯蔵部１７０に貯蔵するか、カメラ撮影映像を基づくシステムに提供することができる。
図３ないし図９は、本発明に係るカメラ映像の反射光除去装置の動作を説明する例示図である。
先ず、図３は車両前方の実際の形状を現わしたものであり、図４は車両内側に備えられたカメラを介し撮影された前方映像を現わしたもので、第２フィルタがオフされた状態で撮影した一般映像である。図４に示す映像は車両前方の実際の形状と類似はするものの、カメラがウィンドシールドを介して前方の形状を撮影するためにウィンドシールド上の反射光がそのまま撮影映像に現われることになる。

この場合、運転者が前方状況を確認するには大きく問題にはならないが、前方カメラの映像に基づき動作するセンサなどで反射光が含まれた映像を利用する場合、認識率が低下する。
図５は図４と同様に、車両内側に備えられたカメラを介し撮影された前方映像を現わしたもので、図５は第２フィルタがオンされた状態で撮影した反射映像である。言い換えれば、第２フィルタがオンされると他の光は第１フィルタ及び第２フィルタにより遮断され、ウィンドシールドに反射された光のみ通過されるため、この場合カメラにより撮影された映像はウィンドシールドの反射光のみを含むことになる。

図６は、図４の一般映像で図５の反射映像を除去した差映像を現わすものである。図７は、図６の差映像をブラーリング（ｂｌｕｒｒｉｎｇ）したブラード映像を現わしたものである。図７のブラード映像は、反射映像に該当する領域に対する明度レベルが残りの領域に対する明度レベルと明らかに差があるため、ブラード映像の明度レベルの情報を検出して差映像を補正するのに適用する。
図８は、図５の反射映像から検出されたエッジ領域を現わしたものである。図８に示す反射映像のエッジは追って差映像補正時に穴埋めをするのに適用される。

図９は、図６の差映像で図８のエッジ領域に対し図７のブラード映像から抽出された明度レベルに応じて明度を補正し、穴埋めを行い獲得された最終映像を現わしたものである。図９に示すように、図４の一般映像に比べて反射光が多く除去されたことを確認することができる。この場合、カメラを介し撮影された前方映像で反射光を最大限除去することにより前方映像を利用するセンシング装置に適用するとき、認識誤謬及び誤差を最小にすることができる。

以下、前記のように構成される本発明に係るカメラ映像の反射光除去装置の動作流れをより詳しく説明する。
図１０は、本発明に係るカメラ映像の反射光除去方法の映像獲得動作の流れを示したフローチャートである。
図１０に示す通り、本発明に係る反射光除去装置は車両の前方映像を撮影するために、車両の内部からウィンドシールドに向くように配置されたカメラをオン（ＯＮ）させる（Ｓ１００）。
このとき、反射光除去装置はカメラに配置された第２フィルタにオフ制御信号を出力し、第２フィルタをオフさせる（Ｓ１１０）。この場合、反射光除去装置は第２フィルタがオフされた状態なので、カメラを介し一般映像を獲得することになる（Ｓ１２０）。

反射光除去装置は一定時間（Δｔ）が経過する前までは第２フィルタをオフ状態に維持し、一定時間が経過すると（Ｓ１３０）、第２フィルタにオン制御信号を出力して第２フィルタをオンさせる（Ｓ１４０）。
この場合、反射光除去装置は第２フィルタがオンされた状態なので、カメラを介して反射映像を獲得することになる（Ｓ１５０）。
図１１は、本発明に係るカメラ映像の反射光除去方法の動作流れを示したフローチャートである。
図１１に示す通り、本発明に係る反射光除去装置は図１０でカメラを介して撮影された一般映像及び反射映像を獲得する（Ｓ２００）。
その後、反射光除去装置は一般映像で反射映像を除去して差映像を獲得し（Ｓ２１０）、差映像の補正のため反射映像のエッジを検出する（Ｓ２２０）。

さらに、反射光除去装置は差映像のブラード映像を生成し（Ｓ２３０）、差映像のブラード映像から明度レベルを検出する（Ｓ２４０）。このとき、反射光除去装置は「Ｓ２４０」過程で検出された明度レベルに基づき差映像を補正する（Ｓ２５０）。
「Ｓ２５０」過程は、差映像で反射映像のエッジ領域に該当する領域を補正するもので、差映像で当該領域の明度レベルを調整する。さらに、反射光除去装置は差映像で当該領域に穴埋めを行う。これをもって、反射光除去装置はカメラ映像から反射光を除去した最終映像を獲得することになる（Ｓ２６０）。

以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されるものではなく、本発明の属する技術分野を逸脱しない範囲での全ての変更が含まれる。

１ 車両
３ ウィンドシールド
５ カメラ
７ フィルタ
１００ 反射光除去装置
１１０ 制御部
１２０ フィルタ制御部
１３０ 映像獲得部
１４０ 差映像生成部
１５０ 差映像補正部
１６０ 最終映像処理部
１７０ 貯蔵部

Claims (8)

1. 車両のウィンドシールド及びカメラレンズにそれぞれ配置され、反射光を通過させるフィルタうち何れか一つのオン又はオフ動作を制御する制御信号を、一定周期ごとに前記ウィンドシールド又は前記カメラレンズに配置されたフィルタへ出力するフィルタ制御部、
   前記フィルタ制御部からの制御信号に従い前記フィルタがオン又はオフされるあいだ、前記車両のウィンドシールド方向に設けられたカメラを介し撮影された映像を獲得する映像獲得部、
   前記カメラを介し撮影された映像のうち、前記フィルタがオフされた状態で撮影された一般映像から、前記フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する差映像生成部、及び
   前記差映像のブラード（ｂｌｕｒｒｅｄ）映像に基づき、前記差映像で前記反射映像に該当する領域を補正し、最終映像を獲得する差映像補正部、
   を含むことを特徴とするカメラ映像の反射光除去装置。
2. 前記差映像補正部は、
   前記ブラード映像から明度レベルを検出し、前記差映像で前記反射映像に該当する領域の明度レベルを補正することを特徴とする請求項１に記載のカメラ映像の反射光除去装置。
3. 前記差映像補正部は、
   前記差映像で前記反射映像に該当する領域に対して穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ）することを特徴とする請求項１に記載のカメラ映像の反射光除去装置。
4. 前記差映像補正部は、
   前記反射映像からエッジ領域を検出し、検出された前記エッジ領域に基づき前記差映像で前記反射映像に該当する領域を認識することを特徴とする請求項１に記載のカメラ映像の反射光除去装置。
5. 車両のウィンドシールド及びカメラレンズにそれぞれ配置され、反射光を通過させるフィルタうち何れか一つのオン又はオフ動作を制御する制御信号を、一定周期ごとに前記ウィンドシールド又は前記カメラレンズに配置されたフィルタへ出力する段階、
   前記制御信号に従い前記フィルタがオン又はオフされるあいだ、前記車両のウィンドシールド方向に設けられたカメラを介し撮影された映像を獲得する段階、
   一周期のあいだ、前記カメラを介して撮影された映像のうち前記フィルタがオフされた状態で撮影された一般映像から、前記フィルタがオンされた状態で撮影された反射映像を差し引いて差映像を生成する段階、及び
   前記差映像のブラード（ｂｌｕｒｒｅｄ）映像に基づき、前記差映像で前記反射映像に該当する領域を補正して最終映像を獲得する段階、
   を含むことを特徴とするカメラ映像の反射光除去方法。
6. 前記最終映像を獲得する段階は、
   前記ブラード映像から明度レベルを検出し、前記反射映像に該当する領域に対する明度レベルを補正する段階を含むことを特徴とする請求項５に記載のカメラ映像の反射光除去方法。
7. 前記最終映像を獲得する段階は、
   前記差映像で前記反射映像に該当する領域に対して穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ）する段階を含むことを特徴とする請求項５に記載のカメラ映像の反射光除去方法。
8. 前記最終映像を獲得する段階は、
   前記反射映像からエッジ領域を検出する段階を含み、
   検出された前記エッジ領域に基づき前記差映像で前記反射映像に該当する領域を認識することを特徴とする請求項５に記載のカメラ映像の反射光除去方法。

Images