JP2005301517A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる画像処理装置および画像処理方法を提供する。
【解決手段】 画像処理装置１では、差分画像取得部１０において、現在の画像と所定時間前の画像との差分画像を取得し、マスク作成部１２で差分画像からマスク画像を作成する。また、反転マスク作成部１３では、マスク画像を反転させた反転マスク画像を作成する。中間第一画像作成部１５では、現在の画像にマスク処理を施し、第一中間画像を作成する。また、なまし画像作成部１４では、現在の画像のなまし画像を作成し、第二中間画像作成部１６でなまし画像に反転マスクでマスク処理を施し、第二中間画像を求める。そして、画像統合部１７で第一中間画像と第二中間画像を統合する。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理方法に係るものであり、撮像手段に対する相対的な動きが少ないもの、たとえば車両に搭載された撮像手段によって撮影された車両に付着する雨滴などを画像から除去することができる画像処理装置および画像処理方法に関する。

車両における車室内にカメラを配置し、車両のガラス越しに車外を撮像する場合、ガラスに雨滴が付着していたり、車外に取り付けたカメラのレンズに雨滴が付着していたりすることがある。これらの場合には、カメラにガラスまたはレンズに付着した雨滴が画像中に映し出され、カメラで撮像された画像を画像処理する際のノイズとなる。このようなノイズは、画像処理の妨げとなることがあるので、ガラスまたはレンズに付着した雨滴は画像から除去することが望まれる。

このような雨滴などを画像から除去する方法を用いたものとして、特開２００２−９４９７８号公報に開示されたレーン検出装置がある。カメラのレンズに付着した雨滴や汚れなどは、車両外の風景に比して小さく画像のフレーム中ではほぼ静止状態にある。このことを利用して、レーン検出装置では、過去のラベリング結果と現在のラベリング結果とを比較し、フレームのほぼ同一位置で一致しているデータを雨滴等とみなし、ノイズとして除去するというものである。
特開２００２−９４９７８号公報

しかし、上記特許文献１に開示されたレーン検出装置における処理では、雨滴等が付着する部分をノイズとして除去している。このため、雨滴が映し出されていた部分については、画像中の情報が除去されて存在しないことになるので、その分画像情報が少なくなるという問題があった。

そこで、本発明の課題は、カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる画像処理装置および画像処理方法を提供することにある。

上記課題を解決した本発明に係る画像処理装置は、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、現在の画像のなまし画像と、なまし画像を反転した反転画像とを求め、なまし画像と反転画像とをから中間第二画像を作成する中間第二画像作成手段と、中間第一画像と中間第二画像とを統合した統合画像を作成する統合画像作成手段と、を備えるものである。

また、上記課題を解決した本発明に係る画像処理方法は、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得工程と、差分画像の画素値に基づくマスク画像を作成するマスク画像作成工程と、マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成工程と、現在の画像のなまし画像と、なまし画像を反転した反転画像とを求め、なまし画像と反転画像とをから中間第二画像を作成する中間第二画像作成工程と、中間第一画像と中間第二画像とを統合した統合画像を作成する統合画像作成工程と、を含むことを特徴とする。

本発明に係る画像処理装置および画像処理方法においては、差分画像の画素値に基づくマスク画像を作成し、マスク画像と現在の画像とから得られる第一中間画像によって、雨滴などのカメラに対して相対的に動かない部分を画像から除去する。その一方、現在の画像のなまし画像を求め、なまし画像とマスク画像を反転させた反転マスク画像とからカメラに対して相対的に動かない部分の第二中間画像を得る。第二中間画像におけるカメラに対して相対的に動かない部分については、なまし画像により、その周囲に近似する情報が得られるようになっている。

この第一中間画像と第二中間画像とを統合することにより、雨滴などのカメラに対して相対的に移動しない不要物を除去することができる。また、不要物を除去した部分については、その周囲に近似する情報を得ることができるので、画像情報を少なくしないようにすることができる。

本発明に係る画像処理装置および画像処理方法によれば、カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態に係る画像処理装置１は、雨滴処理部２および認識処理部３を備えており、雨滴処理部２は、認識処理部３に接続されている。また、雨滴処理部２には、カメラ４が接続されている。

雨滴処理部２は、差分画像取得部１０、直前画像蓄積部１１、マスク作成部１２、反転マスク作成部１３、およびなまし画像作成部１４を備えている。また、雨滴処理部２は、第一中間画像作成部１５、第二中間画像作成部１６、画像統合部１７、および画像スムーズ化部１８を備えている。

カメラ４は、たとえば車両における車室内に配置されており、車両のガラス越しに車外を撮像しており、撮像したデジタル画像を雨滴処理部２に出力している。雨滴処理部２では、カメラ４から出力された画像について雨滴除去処理および雨滴処理後の画素値の推定を行い、その結果を認識処理部３に出力している。

カメラ４からは、雨滴処理部２における差分画像取得部１０、直前画像蓄積部１１、なまし画像作成部１４、および第一中間画像作成部１５に出力される。また、直前画像蓄積部１１は、カメラ４から出力された画像を直前画像として一時蓄積している。カメラ４では、所定の時間間隔をおいて、車外の景色を撮影している。

時刻ｔ−１の画像が直前画像蓄積部１１に蓄積されている状態において、カメラ４で撮像した時刻ｔの画像は、差分画像取得部１０および直前画像蓄積部１１に出力される。差分画像取得部１０には、所定時間前である時刻ｔ−１の画像が直前画像蓄積部１１から出力される。直前画像蓄積部１１には、所定時間前に、時刻ｔ−１の画像が差分画取得部１０から出力されており、直前画像蓄積部１１は、この時刻ｔ−１の画像を差分画像取得部１０に出力する。直前画像蓄積部１１に出力された時刻ｔの画像は、次の時刻ｔ＋１のときに差分画像取得部１０に出力するために、一時的に直前画像蓄積部１１に蓄積される。

差分画像取得部１０では、カメラ４から出力された時刻ｔの画像と、直前画像蓄積部１１から出力された時刻ｔ−１との画像の差分を求めて、差分画像を取得し、マスク作成部１２に出力する。マスク作成部１２では、差分画像取得部１０から出力された差分画像にマスク処理を施して、マスク画像を作成して、反転マスク作成部１３および第一中間画像作成部１５に出力する。

反転マスク作成部１３では、マスク作成部１２で作成されたマスク画像を反転処理し、反転マスク画像を作成し、第二中間画像作成部１６に出力する。また、なまし画像作成部１４では、カメラ４から出力された画像からなまし画像を作成して、第二中間画像作成部１６に出力する。

第一中間画像作成部１５では、カメラ４から出力された画像およびマスク作成部１２から出力されたマスク画像から、第一中間画像を作成し、画像統合部１７に出力する。また、第二中間画像作成部１６では、反転マスク作成部１３から出力された反転マスク画像およびなまし画像作成部１４から出力されたなまし画像から、第二中間画像を作成し、画像統合部１７に出力する。

画像統合部１７では、第一中間画像作成部１５から出力された第一中間画像と、第二中間画像作成部１６から出力された第二中間画像とを統合し、統合画像を作成して画像スムーズ化部１８に出力する。画像スムーズ化部では、画像統合部１７から出力された統合画像にスムージング処理を施して、認識処理部３に出力する。

続いて、本実施形態に係る画像処理方法について説明する。図２は、本実施形態に係る画像処理方法の手順を示すフローチャートである。

まず、カメラ４で撮像された画像が雨滴処理部２に入力される（Ｓ１）。カメラ４で撮影された画像は、雨滴処理部２における差分画像取得部１０、直前画像蓄積部１１、なまし画像作成部１４、および第一中間画像作成部１５に入力される。カメラ４では、所定時間の間隔をおいて車外の画像を撮影しており、それらの画像を順次雨滴処理部２における各部に出力している。以後の工程で、カメラ４に撮影された画像中における雨滴や汚れなど、カメラ４に対して相対的に短時間で大きな移動をしないもの（不要物）について、画像から除去する処理を行う。

続いて、雨滴処理部２における差分画像取得部１０では、差分画像を取得する（Ｓ２）。いま、差分画像取得部１０に対してカメラ４から時刻ｔの画像が出力された場合、その１段階前の時刻ｔ−１の画像が直前画像蓄積部１１に出力されている。直前画像蓄積部１１では、時刻ｔの画像が雨滴処理部２の各部に出力されたときに、時刻ｔ−１の画像を差分画像取得部１０に出力する。

差分画像取得部１０では、カメラ４から出力された時刻ｔの画像と、直前画像蓄積部１１から出力された時刻ｔ−１の画像とを比較し、各画素における差分を求めることにより差分画像を取得する。

差分画像を取得したら、差分画像取得部１０は、差分画像をマスク作成部１２に出力する。マスク作成部１２では、差分画像の各画素における画素値の絶対値を求めて、求めた値と、予め定めた所定のしきい値とを比較してマスク画像を作成する。各画素において、差分画像の値の絶対値が、所定のしきい値未満の場合には、マスクを０とする。

また、差分画像の値の絶対値が、所定のしきい値以上の場合にはマスクを１とする。こうして、各画素についてマスクが求められたマスク画像を作成する。ここで、マスクの値が０である画素は、時刻ｔの画像と時刻ｔ−１の画像との間で、画素値が同一とみなせる画素となっている。マスクの値が１である画素は、時刻ｔの画像と時刻ｔ−１の画像との間で、画素値が同一とみなせない画素である。

こうしてマスク画像を作成したら、マスク作成部１２は、マスク画像を第一中間画像作成部１５および反転マスク作成部１３に出力する。第一中間画像作成部１５では、カメラ４から出力された時刻ｔの画像と、マスク作成部１２から出力されたマスク画像から、第一中間画像を作成する（Ｓ４）。第一中間画像は、カメラ４から出力された時刻ｔの画像と、マスク作成部１２から出力されたマスク画像とを掛け合わせて求められ、時刻ｔの画像とマスク画像との積が第一中間画像となる。

いま、短時間の間では、カメラ４で撮像される雨滴は、静止物であると仮定することができる。マスクの値が１であり、時刻ｔ−１の画像と時刻ｔの画像との間で画素値が変化した画素には、雨滴が存在しないとして、カメラ４から出力されたｔの画素値をそのまま用いるようにしている。

こうして、作成された第一中間画像は、第一中間画像作成部１５から画像統合部１７に出力される。

また、カメラ４から画像を出力されたなまし画像作成部１４では、カメラ４で撮影された時刻ｔの画像のなまし画像を作成する（Ｓ５）。なまし画像は、一般的な平滑化フィルタ（スムージングフィルタ）を大きく適用して作成することができる。具体的には、メジアンフィルタをフィルタサイズ１５×１５のように適用することなどができる。このように、平滑化フィルタを大きく適用することにより、なまし画像を作成する。なまし画像作成部１４は、作成したなまし画像を第二中間画像作成部１６に出力する。

さらに、マスク作成部１２からマスク画像を出力された反転マスク作成部１３では、反転マスク画像を作成する（Ｓ６）。反転マスク画像は、マスク画像を反転させたものであり、反転マスク画像は、マスク画像を反転させたものであり、マスク画像における各画素のマスクを１から引いた値を反転マスク画像の各画素のマスクとしたものである。したがって、反転マスク画像は、マスク画像のマスクのうち、０を１に変換し、１を０に変換したものとなる。反転マスク作成部１３は、作成した反転マスク画像を第二中間画像作成部１６に出力する。

第二中間画像作成部１６では、なまし画像作成部１４から出力されたなまし画像と、反転マスク作成部１３から出力された反転マスク画像とから、第二中間画像を作成する（Ｓ７）。第二中間画像は、なまし画像作成部１４から出力されたなまし画像と、反転マスク作成部１３から出力された反転マスク画像とを掛け合わせて求められ、なまし画像と反転マスク画像との積が第二中間画像となる。

第一中間画像では、画像中における雨滴を除いた部分の画像を中間画像として作成しており、第二中間画像では、画像中における雨滴の部分を中間画像として作成する。ここで、雨滴の部分は、その雨滴の部分における周囲の画素の画素値に近似していると考えられるので、周囲の画素の画素値から推定することができる。そのため、カメラ４で撮像された画像のなまし画像を作成し、このなまし画像から雨滴に相当する部分を反転マスク処理によって求めている。したがって、画像中における雨滴を除去するとともに、雨滴部分が画素値を推定することができ、雨滴を除去した後の画像情報（画素値）をなくさないようにすることができる。

こうして、作成された第二中間画像は、第二中間画像作成部１６から画像統合部１７に出力される。

画像統合部１７では、第一中間画像作成部１５から出力された第一中間画像と、第二中間画像作成部１６から出力された第二中間画像とを加算し、統合画像を作成する（Ｓ８）。第一中間画像と第二中間画像との加算は、両中間画像における各画素の画素値を加算することによって行われる。

こうして、統合画像を作成したら、画像統合部１７は、画像スムーズ化部１８に統合画像を出力する。画像スムーズ化部１８では、第一中間画像と第二中間画像とのマスクが１であった画素の境目の領域を平滑化するため、スムージング処理を行う（Ｓ９）。スムージング処理は、たとえばガウシアンフィルタを用いることによって行うことができる。画像スムーズ化部１８において、画像のスムーズ化処理を行った後、得られた画像を画像スムーズ化部１８は、認識処理部３に出力する。このようにして制御を終了する。

このように、本実施形態に係る画像処理方法では、第一中間画像作成部１５によって作成される第一中間画像により、カメラ４に対して相対的に動かない雨滴などの不要物を画像から除去することができる。また、雨滴などを除去した部分について第二中間画像作成部１６で第二中間画像を作成している。この第二中間画像を作成する際、もとの画像のなまし画像を利用していることから、雨滴などがあった部分については、その周囲の画素値に近似する画素値とする画像情報とすることができる。したがって、雨滴などの不要物を除去した後における除去した部分についても、画素値を得ることができるので、画像情報を少なくしないようにすることができる。

本発明に係る画像処理装置のブロック構成図である。 本発明に係る画像処理方法の手順を示すフローチャートである。

符号の説明

１…画像処理装置、２…雨滴処理部、３…認識処理部、４…カメラ、１０…差分画像取得部、１１…直前画像蓄積部、１２…マスク作成部、１３…反転マスク作成部、１４…なまし画像作成部、１５…第一中間画像作成部、１６…第二中間画像作成部、１７…画像統合部、１８…画像スムーズ化部。

Claims (2)

1. 現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、
   前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、
   前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、
   現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成手段と、
   前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成手段と、
   を備えることを特徴とする画像処理装置。
2. 現在の画像と所定時間前の画像との差分画像を作成する差分画像取得工程と、
   前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成工程と、
   前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成工程と、
   現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成工程と、
   前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成工程と、
   を含むことを特徴とする画像処理方法。

Images