JP2018056892A - 画像処理装置 - Google Patents

Abstract

【課題】雪等のノイズの多い環境下での監視カメラに好適な画像処理装置を提供する。【解決手段】被写体を撮像し画像信号を取得するカメラ２０と、前記画像信号のＮフレーム分の中の１フレームの画像と該１フレーム前の画像との差分から隣接フレーム間の移動情報を抽出する移動情報抽出部１３と、前記隣接フレーム間で移動した画素から画素毎の画素値の差分を取得し、前記画素値が設定範囲に含まれた第１画素値と、含まれなかった第２画素値の２値によるマスク画像を生成するマスク画像生成部１４と、前記第１画素値の各画素に対応する画素に、前記第２画像値を補完する補完処理部１５と、を備えた。【選択図】図１

Description

この発明の実施形態は、画像処理装置に関する。

従来、監視システムは、監視領域における不要な移動体の状況を入手し、領域抽出部が設定した領域毎に定められた画素値の算出方法を用いて、出力画像を生成する不要移動体除去部が画像蓄積部に蓄積させ連続時間で映した連続画像の画素毎に処理し、画像に映りこむ不要な移動体を除去した画像表示をする。これにより監視員へ降雨雪などの不要な移動体（ノイズ）を除去した見やすい監視画像を得ていた。

しかしながら、不要な移動体は、フィルタを用い平均値により除去されている。フィルタ内に雪のような移動体であるノイズ成分が多く含まれていた場合は、ノイズにより全体が白化してしまい見やすい監視画像が得られない、という課題があった。

特開２００６−１８６５８号公報

この発明が解決しようとする課題は、雪等のノイズの多い環境下での監視カメラに好適な画像処理装置を提供することである。

実施形態の画像処理装置は、被写体を撮像し画像信号を取得するカメラと、前記画像信号のＮフレーム分の中の１フレームの画像と該１フレーム前の画像との差分から隣接フレーム間の移動情報を抽出する移動情報抽出部と、前記隣接フレーム間で移動した画素から画素毎の画素値の差分を取得し、前記画素値が設定範囲に含まれた第１画素値と、含まれなかった第２画素値の２値によるマスク画像を生成するマスク画像生成部と、前記第１画素値の各画素に対応する画素に、前記第２画像値を補完する補完処理部と、を備えた。

実施形態１の画像処理装置の構成を示す図。 実施形態１のフレーム補完画像作成のフローチャート。 フレーム列の例を示す図。 隣接フレームの画像例の模式的な図。 実施形態１の処理を模式的に示す図。 実施形態１の効果について説明するための図。 実施形態２の画像処理装置の構成を示す図。 実施形態２のフレーム補完画像作成および類似画素制限のフローチャート。 数フレームの処理にかかるシングルコアとマルチコアの処理時間例を示す図。

以下、実施形態について、図面を参照しながら詳細に説明する。
（実施形態１）
図１は、実施形態１の画像処理装置の概略的な構成を示す図である。

図１に示すように、画像処理部１０は、カメラ２０、モニター３０が取り付けられている。画像処理部１０は、制御部１１と、移動情報抽出部１３と、マスク画像生成部１４と、補完処理部１５と、Ｄ／Ａ変換部１６とを備えている。なお、図示しないが、画像処理部１０には、カメラやモニターなどを操作するための操作部や必要に応じて録画機能なども備えている。

カメラ２０は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを備えている。カメラ２０は、例えば所定のフレームレートで撮像し、被写体の像が写った画像を生成する。なお、この画像は、３成分ＲＧＢで表され、各色毎に８ビットの階調を持つカラーデジタル画像である。カメラ２０によって撮像された画像データは、画像処理部１０に供給される。

制御部１１は、移動情報抽出部１３、マスク画像生成部１４、補完処理部１５、Ｄ／Ａ変換部１６の信号を受ける。また、それぞれの操作や動作に応じてこれらの機能部に対して指令を発することにより装置全体の動作をコントロールする。

制御部１１は、ＣＰＵなどのデータ処理装置により構成されている。制御部１１の内部には、コントロール部と、画像メモリと、ファイル管理部と、画像データコントローラとを備えている。コントロール部は、システム制御などの制御動作を行なう。ファイル管理部は、画像メモリに格納されている画像のファイルを管理する。画像データコントローラは、画像メモリのデータの書き込み、読み出し、あるいは１画像データの動きに基づきデータ処理動作を制御する。
移動情報抽出部１３は、フレームメモリ１３１、フレーム間差分算出部１３２を備えている。

フレームメモリ１３１は、カメラ２０から出力される画像を、１フレーム分格納する。フレーム間差分算出部１３２は、カメラ２０から出力される画像と、その１フレーム前の画像であるフレームメモリ１３１に格納された画像とのフレーム間差分を算出する。
移動情報抽出部１３は、カメラ２０から出力される画像の隣接フレーム毎の差分を取得することで、隣接フレーム間で移動した画素を得ることができる。

マスク画像生成部１４は、隣接フレーム間で移動した画素から画素毎のＲＧＢ値をそれぞれ差分を取ることでマスク画像を生成する。ＲＧＢ値の差分は、例えば式１の処理により行う。Ａを現在のフレーム、ＢをＡと隣接する１フレーム前のフレーム、Ｓを画素の差分値とする。

ここで画素値について説明する。監視システムにおいては、使用するカメラを固定して撮像すると、その画像中に不動体である背景と、監視対象となる車や人などの監視移動体と、除去対象となる雨雪等の不要移動体とが映る可能性がある。なお、処理対象となるデジタルデータ化された画像は、縦ｈ画素横ｗ画素からなり、各画素に０から２５５の値が割り振られた２５６階調画像とする。０が黒色を表しており、２５５が白色を表しており、この値を画素値と呼ぶことにする。

雪の画素値は、基本的に白に近く、雪の画素値をＲＧＢで表すと、各値は２５５近くなり、式１で求まる雪の移動に関する差分値はほぼ正の値となる。また、雪が多量に降る場面では複数フレームで雪が重なる場面も出てきてしまう。

そのときは差分値としてマイナスになることも少なくない。さらに雪以外の場面でも光による環境変化等、様々な影響があるため微細な変化も値として出てきてしまう。

そのため、差分によって得られＲＧＢの値にそれぞれ例えば、１０の閾値を設定し、閾値を超える差分値を持つ画素を雪の画像として設定する。閾値を超える差分値を持つ画素は、雪の画像とする。

このように、差分によるＲＧＢ値が範囲に含まれた第１画素値を［２５５］、含まれなかった第２画素値を［０］とした２値によるマスク画像を生成する。生成したマスク画像はフレーム間での移動が２値でわかる。
補完処理部１５は、第１画素値［２５５］の各画素に、対応の第２画素値［０］の画素を補完する処理を行う。

ここで補完についてさらに説明する。補完は、雪であると判断された画素を他のフレームの画素で上書きして埋めることを意味している。マスク画像は、Ｎフレーム分を用いてＮ−１枚が生成される。実際に補完に用いるのは。Ｎ−１フレーム分になる。まず、補完対象となるＮフレーム内の先頭フレームをＳｏ、補完に用いるフレームをＳｎ（ｎ＝１，２，３・・・ｎ−１）とする。補完対象は、画像全体とし、フレームＳｏの画素を一つ一つ見ていく。補完時、差分処理により生成したマスク画像には、移動した画素（雪）と移動していない画素（雪以外）が白と黒で示されている。補完対象の画素は、移動していない画素をマスク画像を元に選び、その後その中から雪である可能性が最も低いＲＧＢの各値が最小の画素に絞る。選出された画素を補完に用いることで雪を除去する。フレームＳｏの画素全てに対してＳｎを用いて補完することで全ての雪を除去する。このように、Ｎフレームに渡って補完処理を行うようにした。

なお、Ｎフレームとしては、多いほど確実に画像から雪を除去することができる。しかし、監視カメラが動画であることから一例としては、Ｎを８として処理することができる。補完処理のためのフレーム数としては、少なくともＮは３フレーム分あれば効果を奏する。
Ｄ／Ａ変換部１６は、補完処理部１５で得られた画像デジタル情報を、アナログ情報に変換し、モニター３０に出力する。
モニター３０は、Ｄ／Ａ変換部１６により変換された雪によるノイズが除去された画像を映し出す。
図２は、実施形態１のノイズ除去のためのフレーム補完画像作成の手順を示すフローチャートである。
カメラ２０からの出力は、デジタル画像信号である。このデジタル画像信号は、フレームメモリ１３１に供給する。

デジタル画像信号がカメラ２０から出力されると制御部１１は、フレームメモリ１３１に、例えば図３、図４に示すＡを現在のフレームとして格納する（Ｓ１）。

なお、図３はカメラ２０２から出力される画像信号のフレームの流れを模式的に示し、図４は隣接のフレームＡの画像と１フレーム前のフレームＢの画像中の雪が落ちる変化状態を示している。

制御部１１は、次に送られてくるフレームＡと隣接の関係にあるフレームＢとの差分処理を行う（Ｓ２）。この差分処理は、隣接のフレームＡとＢとの各画素毎に行い、ステップＳ３に移行する。

ステップＳ３において、フレームＡ，Ｂの各画素毎の差分値が閾値を超えたかを判断する。差分の画素値には、上記したように例えば、［１０］の閾値を持たせてある。したがって、差分の画素値が閾値［１０］を超えた（Ｙｅｓ）か否か（Ｎｏ）を判断する。

制御部１１は、ステップＳ３において、画素値が閾値を越えたと判断した場合には、画素値［２５５］を出力し（Ｓ４）、超えないと判断した場合には、画素値［０］を出力する（Ｓ５）。

図５は、マスク画像の生成処理を説明するための説明図である。フレームの画素を説明上、模式的に示しており、例えば、縦３×横３の画素を示している。フレームＡは現在のフレーム、フレームＢは隣接する１フレーム前のフレームとしている。また、画素が雪の場合は白で示し、画素値が雪以外の場合は黒（グレー）の画素で示している。

例えば、フレームＡにおける画素ｐ１が雪であり、同一座標のフレームＢの画素ｐ１が雪以外の場合、同一座標のマスク画像における画素は、画素値を［２５５］（白）として２値のマスク画像を生成する。

このように、画素値情報から制御部１１は、画素の移動情報を判断し、画素値［２５５］（白）または画素値［０］（黒）の２値に基づいて、画素毎のマスク画像を生成する（Ｓ６）。
ステップＳ６において、制御部１１は、生成されたマスク画像を元に、移動していない画素を選出し（Ｓ７）、ステップＳ８に移行する。

ステップＳ８では、ステップＳ７において選出された中から雪である可能性が最も低いＲＧＢの各値が最小の画素に絞る。すなわち、選出された画素から画素値の低い画素を選出する。
制御部１１は、選出された画素値の低い画素で、移動した画素値［２５５］（雪）の画素を補完（Ｓ９）し、ステップＳ１０に移行する。
ステップ（Ｓ１０）では、補完された画素に基づくフレーム画像を作成し、画像としてモニター３０に映し出す。

このようにして、Ｎフレーム分の各画素の移動情報を差分により抽出するようにした。抽出した情報を用いてノイズである雪除去対象の画素を補完し、補完された画素に基づくフレーム画像を作成する。

図６は、ノイズ除去のためのフレーム補完画像を作成した場合と作成しなかった場合の比較例を示す。図６（ａ）は補完画像を作成しなかった場合の画像を示し、図６（ｂ）は上述した画像処理を行い補完画像を作成した場合の画像を示す。

図６（ａ）に示す画像は、フレーム補完画像を作成していないためにいずれかのフレームに雪が映し出された場合は、そのまま画像が映し出されて不鮮明な画像となる。
図６（ｂ）に示す画像は、雪の映り込みのない画素を集めて１フレームに再構成した再生画像を生成していることから、雪の除去された鮮明化した画像となる。

この実施形態では、複数のフレームの中から雪を検出したフレームの画素に対して、他のフレームの雪のない画素を補完するようにした。これにより、雪のある画像から雪を除去した画像を得ることができ、雪国の監視カメラに好適な画像処理装置を得ることができる。
（実施形態２）

図７は、画像処理装置の実施形態２の概略的な構成を示す図である。この実施形態は、補完処理部１５の後段に、類似画素制限処理部１７を追加した構成が実施形態１と異なる。なお、実施形態１と同一の構成部分には同一の符号を付し、ここでの説明は異なる構成部分を中心に説明する。

実施形態１の処理の場合は、雪だけではなく、その他の雪のような画素を処理してしまい消してしまう可能性がある。実施形態２では、雪に近い部分（画素）に処理制限を行い、誤って雪以外の除去処理をしないようにした。

類似画素制限処理部１７は、隣接フレーム間での類似画素による制限をかけることで誤って処理をするのを回避する機能を備えた。類似画素制限処理部１７は、隣接フレーム間での類似情報を、例えば、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）で表現するＨＳＶ色空間による画素値の変化量により 判断し、制限処理を行う。
連続フレーム間での類似画素を検出するためにＨＳＶ色空間による制限は、以下の２点を前提に行うものとする。

（１）２フレーム連続で同一座標に同等の画素値を保持した場合は、雪ではない可能性が高い。雪の落下速度は、降雪粒子の粒径と速度に関する研究より、降雪粒子の粒径ｌ_Ｓは、０．５ｍｍであり、無風状態における落下速度ｖ_Ｓは、４００〜１０００ｍｍ／ｓｅｃであることが知られている。
（２）時間メディアンフィルタによる降雪ノイズ除去より、２フレーム連続で同一画素に同一の雪の映り込みがない。なお、時間メディアンフィルタによる降雪ノイズ除去については、文献に記載されている（例えば、「時間メディアンフィルタによる降雪ノイズ除去」三宅一永、米田政明、長谷博行、酒井充、丸山博，画像電子学会誌，第３０巻，第３号，２００１年，ｐ２５１−２５９）。

つまり、２フレーム連続で同等な画素を保持した場合は、雪ではないことがわかる。この考えに基づいて、フレームＳｏの中で処理対象を決定する際に、２フレーム連続で同等の画素を保持していない場合の画素のみを処理対象にすることで雪だけを除去できる。ＨＳＶ色空間による制限であるが、制限をかける際にＨＳＶ色空間それぞれに制限をかける必要がある。雪は画像として考えたとき雪の色は背景を透過した色になる。つまり、この場合の色相変化はほぼなく、他の変化が大きくなる。

このことから、２フレーム間での色相制限を狭い範囲に、その他を広い範囲にする必要がある。雪以外でも変化する際の変化の仕方には雪と変わらない場合がある。ＨＳＶ色空間それぞれに制限をかけることで、類似画像を見分ける処理を避けることができる。
図８は、実施形態２のノイズ除去のためのフレーム補完画像作成および類似画素制限の処理手順を示すフローチャートである。

ステップＳ１乃至Ｓ８において、フレームＡをフレームメモリ１３１に格納し、フレームＡと隣接フレームＢとの差分を取り、フレームＡ，Ｂの各画素毎の差分値が閾値越えの場合は画素値［２５５］を、閾値を超えない場合は画素値［０］を出力し、これら２値に基づいて、画素毎のマスク画像を生成し、生成されたマスク画像を元に移動していない画素を選出した画素から画素値の低い画素を選出し、ステップＳ１１に移行する。

そして、ステップＳ１１において、連続するフレーム間で類似画像を検出するためにＨＳＶ色空間による制限をかけ、類似画素かを判断する。類似画素でなければ（Ｎｏ）、ステップＳ９に移行する。制御部１１は、選出された画素値の低い画素で、移動した画素値［２５５］（雪）の画素を補完（Ｓ９）し、ステップＳ１０に移行する。また、類似画素であれば（Ｙｅｓ）、補完処理をしないで終了する。
ステップ（Ｓ１０）では、補完された画素に基づくフレーム画像を作成し、画像としてモニター３０に映し出す。

この実施形態では、隣接フレーム間での類似画素による制限を、雪以外でも変化する際の変化の仕方には雪と変わらないＨＳＶ色空間それぞれにかけることで、類似画像を見分ける処理を避けることが可能となる。

上記の各実施形態に限定されるものではない。例えば、制御部１１は、Ｎフレームに対して移動情報抽出、マスク画像生成、補完処理等の処理を行っている。これらの処理のプログラムのタスクをシングルコアからOpen Multi-Processingを用いたマルチコアとすることで、処理時間の高速化を図り動画処理に必要な処理時間条件をクリアした。

図９は、フレームが６個の場合の各フレームの処理にかかるシングルコアとマルチコアの処理時間例を示す。マルチコアを用いた並列処理を行うことで処理時間はシングルコアに比して約１／２０と高速化を図ることができる。これにより処理速度による速さは３０ｆｐｓの映像を処理した場合１１ｆｐｓ程の映像となった。

また、類似画素制限処理部１７は、隣接フレーム間での類似情報を、ＨＳＶ色空間による類似情報により判断を行い、制限を掛けるようにした。これに限らず、隣接フレーム間での類似情報の制限は、色を輝度信号（Ｙ）と色差信号（Ｕ），（Ｖ）で表現するＹＵＶ色空間あるいは、色相（Ｈ）と彩度（Ｓ）と輝度（Ｌ）で表現するＨＳＬ色空間による類似情報により判断を行い、制限をかけるようにしてもよい。ＹＵＶ色空間あるいはＨＳＬ色空間による類似情報に基づいた場合であっても、隣接フレーム間での類似情報の制限は、ＨＳＶ色空間による類似情報制限と同じような効果を奏することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 画像処理部
２０ カメラ
３０ モニター
１１ 制御部
１３ 移動情報抽出部
１３１ フレームメモリ
１３２ フレーム間差分算出部
１４ マスク画像生成部
１５ 補完処理部
１６ Ｄ／Ａ変換部
１７ 類似画素制限処理部

Claims (9)

1. 被写体を撮像し画像信号を取得するカメラと、
   前記画像信号のＮフレーム分の中の１フレームの画像と該１フレーム前の画像との差分から隣接フレーム間の移動情報を抽出する移動情報抽出部と、
   前記隣接フレーム間で移動した画素から画素毎の画素値の差分を取得し、前記画素値が設定範囲に含まれた第１画素値と、含まれなかった第２画素値の２値によるマスク画像を生成するマスク画像生成部と、
   前記第１画素値の各画素に対応する画素に、前記第２画像値を補完する補完処理部と、
   を備えた画像処理装置。
2. 前記マスク画像における前記第１画素値は［２５５］とし、第２画素値は［０］とした、請求項１記載の画像処理装置。
3. 前記補完処理部は、前記マスク画像を元に移動していない画素を選出し、その選出画素から最も低いＲＧＢの各値が最小の画素を絞り、前記選出画素を補完として用いる、請求項１記載の画像処理装置。
4. 前記マスク画像は、前記隣接フレーム間で移動した画素から得られる画素毎のＲＧＢ値の差分を取って生成した、請求項１記載の画像処理装置。
5. さらに、前記隣接フレーム間での類似画素による制限をかける類似画素制限処理部と、を備えた請求項１または２記載の画像処理装置。
6. 前記補完処理部は、少なくとも３フレームに渡って補完処理を行うようにした、請求項１乃至５のいずれか一項記載の画像処理装置。
7. 前記類似画素制限処理部は、前記隣接フレーム間での類似情報を、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）で表現するＨＳＶ色空間による画素値の変化量により 判断して制限処理を行う、請求項５記載の画像処理装置。
8. 前記類似画素制限処理部は、前記隣接フレーム間での類似情報を、色を輝度信号（Ｙ）と色差信号（Ｕ），（Ｖ）で表現するＹＵＶ色空間による画素値の変化量により 判断して制限処理を行う、請求項５記載の画像処理装置。
9. 前記類似画素制限処理部は、前記隣接フレーム間での類似情報を、色相（Ｈ）と彩度（Ｓ）と輝度（Ｌ）で表現するＨＳＬ色空間による画素値の変化量により 判断して制限処理を行う、請求項５記載の画像処理装置。