JP2016139920A - 映像ノイズ検出装置 - Google Patents

Abstract

【課題】受光部の受光結果にノイズが含まれていないことを容易に判定することが可能な映像ノイズ検出装置を提供する。
【解決手段】映像ノイズ検出装置は、撮像デバイス２に設けられる受光部３の受光結果を記憶する受光結果記憶部と、受光結果の一部に特定の判定領域を設定する判定領域設定部と、撮像デバイス２により取得された現在の受光結果と、受光結果記憶部に記憶された過去の受光結果との夫々において、判定領域に含まれる画素の輝度値を算定する輝度値算定部と、現在の輝度値と過去の輝度値との差が予め設定された閾値以下である時、現在の受光結果にノイズが含まれていないと判定するノイズ判定部と、を備える。
【選択図】図３

Description

本発明は、撮像デバイスに設けられる受光部の受光結果にノイズが含まれていないことを判定する映像ノイズ検出装置に関する。

従来、カメラ等の撮像デバイスにより取得された撮像画像は、種々の用途に利用されてきた。撮像画像の利用形態の一例として、車両の周辺に存在する物体を検出する車両周辺監視装置がある。このような車両周辺監視装置には、異なる時刻に取得された複数の撮像画像から画像認識により物体を検出し、当該物体の移動方向を特定するものがある。例えば、この画像認識で用いられる撮像画像にノイズが含まれる場合には、物体の移動方向を誤って特定してしまう可能性がある。このため、画像認識による物体の検出の前に撮像画像にノイズが含まれていないことを把握しておくことは重要である。

特許文献１に記載の画像認識中の雑音成分を測定する方法では、画像信号と、当該画像信号を遅延回路により遅延させた画像信号とを比較して差分値を演算し、所定のサーチ窓内での最大値及び最小値を測定する。この時の最小値をノイズとしている。

特開平７−３０７８６号公報

特許文献１に記載の技術では、複数のサーチ窓内での最小値をノイズとしているので、ノイズの検出精度はサーチ窓の設定に依存する。このため、適切にサーチ窓を設定しないとノイズを正確に測定することができない。例えば、車両に搭載されるカメラのようにカメラ自体が移動している場合には、カメラにより取得された撮像画像全体に動きが生じる。このため、サーチ窓のサイズが大きすぎるとカメラの動きによる変化を検出することになり、サーチ窓内の最小値が実際のノイズ成分よりも大きな値となってしまう。また、サーチ窓のサイズが小さすぎる場合には、カメラの動きによる変化を検出することがないが、ノイズ自体を検出できなくなる可能性がある。

本発明の目的は、上記問題に鑑み、受光部の受光結果にノイズが含まれていないことを容易に判定することが可能な映像ノイズ検出装置を提供することにある。

上記目的を達成するための本発明に係る映像ノイズ検出装置の特徴構成は、撮像デバイスに設けられる受光部の受光結果を記憶する受光結果記憶部と、前記受光結果の一部に特定の判定領域を設定する判定領域設定部と、前記撮像デバイスにより取得された現在の前記受光結果と、前記受光結果記憶部に記憶された過去の前記受光結果との夫々において、前記判定領域に含まれる画素の輝度値を算定する輝度値算定部と、前記現在の輝度値と前記過去の輝度値との差が予め設定された閾値以下である時、前記現在の受光結果にノイズが含まれていないと判定するノイズ判定部と、を備えている点にある。

このような特徴構成とすれば、現在の受光結果と過去の受光結果との夫々において、例えば映像が変化しない領域に判定領域を設定することにより、現在の受光結果及び過去の受光結果の一方の受光結果にノイズが含まれている場合には判定領域の輝度値に差を生じさせることができる。ノイズ判定部は、このような判定領域の輝度値の差に基づいて判定するので、本映像ノイズ検出装置によれば受光結果にノイズが含まれていないことを容易に判定することができる。

また、前記判定領域設定部は、前記受光結果のうち前記撮像デバイスのレンズを介して得られる像に対応する結像範囲の他の領域に前記判定領域を設定すると好適である。

このような構成とすれば、現在の受光結果と過去の受光結果の夫々において、ノイズが含まれていない場合に同じ輝度値となる領域に判定領域を設定することができる。したがって、現在の受光結果の判定領域及び過去の受光結果の判定領域の何れか一方にノイズが含まれている場合には、現在の受光結果の輝度値と過去の受光結果の輝度値との間で確実に差が生じるので、当該輝度値の差に基づいて、受光結果にノイズが含まれているか否かを容易に判定することが可能となる。

また、前記現在の受光結果の判定領域と前記過去の受光結果の判定領域との前記輝度値の差を画素毎に演算し、前記輝度値の差が予め設定された閾値以上である画素の数を計数する計数部を備え、前記ノイズ判定部は、前記計数部により計数された画素の数と、予め設定された判定閾値とに基づいて前記現在の受光結果のノイズの有無を判定すると好適である。

このような構成とすれば、現在の受光結果の判定領域と過去の受光結果の判定領域との夫々について、画素毎に輝度値を比較して判定することができる。したがって、現在の受光結果の判定領域及び過去の受光結果の判定領域との輝度の差を詳細に比較することができるので、現在の受光結果にノイズが含まれていないことを適切に判定することが可能となる。

映像ノイズ検出装置の構成を模式的に示す図である。 受光結果に設定された判定領域を示す図である。 映像ノイズ検出装置の処理を示す図である。

本発明に係る映像ノイズ検出装置は、撮像デバイスに設けられる受光部の受光結果にノイズが含まれていないことを判定する機能を備えて構成される。以下、本実施形態の映像ノイズ検出装置１について説明する。

図１は、映像ノイズ検出装置１の構成を模式的に示したブロック図である。図１に示されるように、本実施形態の映像ノイズ検出装置１は、受光結果記憶部１１、判定領域設定部１２、輝度値算定部１３、計数部１４、ノイズ判定部１５の各機能部を備えて構成される。これらの各機能部は撮像デバイス２に設けられる受光部３の受光結果にノイズが含まれていないことを判定する一連の処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

受光結果記憶部１１は、撮像デバイス２に設けられる受光部３の受光結果を記憶する。撮像デバイス２とは、例えばカメラのような動画を取得可能なデバイスである。もちろん、所定時間毎に連続した静止画を取得するカメラであっても良い。受光部３とは、光を検出して電気信号に変換する素子である。このような受光部３の一例として、公知のイメージセンサが挙げられる。受光部３の受光結果とは、図２に示される「受光可能範囲」に応じた画像が相当する。受光結果記憶部１１は、受光結果として受光部３が受光して出力した画像を時間の経過に合わせて順次、記憶する。

判定領域設定部１２は、受光結果の一部に特定の判定領域を設定する。受光結果の一部とは、図２に示される「受光可能範囲」における一部である。特定の判定領域とは、特に受光結果にノイズがないことを正確に判定するために、受光結果において時間の経過に拘らず色調が変化しない部分に設定すると良い。

本実施形態では、判定領域設定部１２は、受光結果のうち撮像デバイス２のレンズを介して得られる像に対応する結像範囲の他の領域に判定領域を設定する。受光結果のうち撮像デバイス２のレンズを介して得られる像に対応する結像範囲の他の領域とは、撮像デバイス２が撮像画像を取得した際に、受光可能範囲のうち、受光部３が受光せずに黒くなる領域である。判定領域設定部１２は、このような領域に判定領域を設定する。本実施形態では、図２に示されるように、受光可能範囲における結像範囲外に４つ設定される。なお、夫々の判定領域は、例えば数百程度の複数の画素を含んで設定すると好適である。

輝度値算定部１３は、撮像デバイス２により取得された現在の受光結果と、受光結果記憶部１１に記憶された過去の受光結果との夫々において、判定領域に含まれる画素の輝度値を算定する。本実施形態では、撮像デバイス２は時系列に沿って動画の形態で撮像画像を取得するので、現在の受光結果とは、最も後に取得された新しい受光結果が相当する。過去の受光結果とは、少なくとも前記現在の受光結果より前に取得された受光結果である。したがって、現在の受光結果の直前に取得されたものでも良いし、所定時間前に取得されたものでも良い。

本実施形態では上述したように、判定領域には複数の画素が含まれるように設定される。この複数の画素とは、Ｒ、Ｇ、Ｂの３つのドット（サブピクセル）からなる１つの画素が複数あることをいう。輝度値とは、明るさを示す値である。したがって、輝度値算定部１３は、上述した１つの画素毎に、明るさを示す値を算定する。本実施形態では、輝度値算定部１３による算定結果は後述する計数部１４に伝達される。

計数部１４は、現在の受光結果の判定領域と過去の受光結果の判定領域との輝度値の差を画素毎に演算し、輝度値の差が予め設定された閾値以上である画素の数を計数する。計数部１４には、上述したように輝度値算定部１３から現在の受光結果に設定された判定領域に含まれる画素毎に算定された輝度値と、過去の受光結果に設定された判定領域に含まれる画素毎に算定された輝度値とが伝達される。計数部１４は、これらの算定結果を用いて、画素毎に輝度値の差分を演算する。計数部１４には、予め設定された閾値が記憶されており、演算した輝度値の差分が当該閾値以上であるか否かを判定し、輝度値の差分が閾値以上である画素の数をカウントしていく。ここで、上述したように、本実施形態では判定領域は、受光結果に対して４つ設定されるが、計数部１４による計数は全ての判定領域において合算して行われる。

ノイズ判定部１５は、現在の輝度値と過去の輝度値との差が予め設定された閾値以下である時、現在の受光結果にノイズが含まれていないと判定する。本実施形態では、上述したように計数部１４から、輝度値の差分が閾値以上である画素の数の計数結果が伝達される。したがって、本実施形態では、現在の輝度値と過去の輝度値と差とは、計数部１４により計数された画素の数にあたる。一方、ノイズ判定部１５には、予め設定された判定閾値が記憶されており、計数部１４により計数された画素の数と、当該予め設定された判定閾値とに基づいて現在の受光結果のノイズの有無を判定する。ノイズ判定部１５は、計数部１４により計数された画素の数が判定閾値以下の場合に現在の受光結果にノイズが含まれていないと判定し、計数部１４により計数された画素の数が判定閾値より大きい場合に現在の受光結果にノイズが含まれていると判定する。ノイズ判定部１５に記憶される判定閾値は、映像ノイズ検出装置１によりノイズが含まれていないと判定された受光結果を用いるシステム（例えば車両周辺監視装置）が行う演算処理（例えば画像認識）において誤検出が行われない程度のノイズのレベルを基準に設定すると良い。

以上のように、映像ノイズ検出装置１は、現在の受光結果と過去の受光結果との夫々の受光可能範囲における結像範囲の外側に判定領域を設定して輝度値を比較する。このため、別途、受光可能範囲内に受光しないようなマスク処理を施す必要がなく、既存の構成のままで受光結果にノイズが含まれていないことを判定することができる。したがって、この本映像ノイズ検出装置１によりノイズが含まれていないと判定された現在の受光結果を用いて、各種の画像認識処理（例えば、オプティカルフロー処理）を行うことが可能である。一方、この本映像ノイズ検出装置１によりノイズが含まれていないと判定されなかった現在の受光結果は、前記画像認識処理を行うことを中止することにより誤った処理を行うことを防止できる。

次に、図３を用いて、映像ノイズ検出装置１の処理について説明する。撮像デバイス２の撮像開始により受光部３が受光を開始する（＃１０１）。受光部３による受光結果が順次、受光結果記憶部１１に記憶される（＃１０２）。

判定領域設定部１２は、現在の受光結果と過去の受光結果の夫々に対して、同じ位置に判定領域を設定する（＃１０３）。輝度値算定部１３は、夫々の判定領域に含まれる画素毎に、輝度値を算定する（＃１０３）。

計数部１４は、輝度値算定部１３により算定された現在の受光結果に設定された判定領域に関する輝度値と、過去の受光結果に設定された判定領域に関する輝度値との差分値を画素毎に演算する（＃１０４）。更に、計数部１４は、差分値が予め設定された閾値以上である画素の数を計数する（＃１０５）。

ノイズ判定部１５は、計数部１４の計数結果が予め設定された判定閾値以下である場合には現在の受光結果にノイズが含まれていないと判定し、計数部１４の計数結果が予め設定された判定閾値以下でない場合には現在の受光結果にノイズが含まれていると判定する（＃１０６）。

〔その他の実施形態〕
上記実施形態では、判定領域設定部１２は、受光結果のうちレンズを介して得られる像に対応する結像範囲の他の領域に判定領域を設定するとして説明したが、結像範囲内に判定領域を設定することも可能である。この場合には、例えば結像範囲内にマスク等を付設して時間が経過した場合でも色調が変化しない部分を設け、当該部分に判定領域を設定すると良い。

上記実施形態では、計数部１４が現在の受光結果の判定領域と過去の受光結果の判定領域との輝度値の差を画素毎に演算し、輝度値の差が予め設定された閾値以上である画素の数を計数し、ノイズ判定部１５は、計数部１４により計数された画素の数と、予め設定された判定閾値とに基づいて現在の受光結果のノイズの有無を判定するとして説明したが、ノイズ判定部１５は、判定領域毎に輝度値を算定し、現在の受光結果のノイズの有無を判定する構成とすることも可能である。

本発明は、撮像デバイスに設けられる受光部の受光結果にノイズが含まれていないことを判定する映像ノイズ検出装置に用いることが可能である。

１：映像ノイズ検出装置
２：撮像デバイス
３：受光部
１１：受光結果記憶部
１２：判定領域設定部
１３：輝度値算定部
１４：計数部
１５：ノイズ判定部

Claims (3)

1. 撮像デバイスに設けられる受光部の受光結果を記憶する受光結果記憶部と、
   前記受光結果の一部に特定の判定領域を設定する判定領域設定部と、
   前記撮像デバイスにより取得された現在の前記受光結果と、前記受光結果記憶部に記憶された過去の前記受光結果との夫々において、前記判定領域に含まれる画素の輝度値を算定する輝度値算定部と、
   前記現在の輝度値と前記過去の輝度値との差が予め設定された閾値以下である時、前記現在の受光結果にノイズが含まれていないと判定するノイズ判定部と、
   を備える映像ノイズ検出装置。
2. 前記判定領域設定部は、前記受光結果のうち前記撮像デバイスのレンズを介して得られる像に対応する結像範囲の他の領域に前記判定領域を設定する請求項１に記載の映像ノイズ検出装置。
3. 前記現在の受光結果の判定領域と前記過去の受光結果の判定領域との前記輝度値の差を画素毎に演算し、前記輝度値の差が予め設定された閾値以上である画素の数を計数する計数部を備え、
   前記ノイズ判定部は、前記計数部により計数された画素の数と、予め設定された判定閾値とに基づいて前記現在の受光結果のノイズの有無を判定する請求項１又は２に記載の映像ノイズ検出装置。

Images