JP2009017233A - 映像信号処理装置、映像信号処理方法、および映像信号処理プログラム - Google Patents

Abstract

【課題】本発明は、データ伝送量に応じてノイズ削減量を調整し、低ビットレート時での画像の視認性悪化を抑制するようにする。
【解決手段】本発明は、ユーザによって入力された設定コマンドによりＣＰＵ１６のパラメータ設定部１８によって信号処理部に対してノイズ削減量が設定され、画像圧縮部１４に対して圧縮率が設定され、ノイズ削減処理部１５に対してノイズ削減量が設定される。画像入力部１１から入力された画像は信号処理部１２においてデジタルの画像データに変換され、設定されたノイズ削減量に従ってノイズ削減処理が施された後Ｃｏｄｅｃ１３に供給される。Ｃｏｄｅｃ１３の画像圧縮部１４は、ノイズ削減処理部１５で設定されたノイズ削減量でノイズ削減処理が施された画像に対して設定された圧縮率で画像圧縮処理を行い、その画像データはネットワーク処理部１７を介してネットワークに送出される。
【選択図】図３

Description

本発明は、映像信号処理装置、映像信号処理方法、および映像信号処理プログラムに関し、例えば入力された映像データに対してノイズ削減処理および伝送データ量削減処理を行う監視カメラシステムに適用して好適なものである。

従来、監視カメラシステムは、ビデオテープレコーダ等の映像記録装置と信号線で接続し、カメラで撮像した映像信号を信号線を介して映像記録装置に供給し、記録させるいわゆるアナログカメラシステムが用いられてきたが、近年、インターネットの普及により、ネットワークを介してカメラが設置された場所から遠隔地に設置されたコンピュータにカメラによって撮影された映像データを伝送し、コンピュータに接続されたハードディスク装置（ストレージ）等の映像記録装置に記録するいわゆるＩＰ（Internet Protocol）カメラシステムが使用されるようになってきている。

このＩＰカメラシステムのように、ＩＰ化することによって、カメラによって撮影された映像を遠隔地から監視することが可能となったり、大規模なシステムの構築が可能となっている。

ＩＰネットワークを介して映像データを電送するＩＰ伝送時の圧縮方式(Ｃｏｄｅｃ、コーデック)は、監視カメラ以外でも一般的に用いられているＪＰＥＧ圧縮方式、ＭＰＥＧ方式が主流である。ＪＰＥＧ（Joint Photographic Experts Group）圧縮方式は、静止画像の圧縮方式であるためフレームレートが低い場合でも有効な方式であり、ＭＰＥＧ（Moving Picture Experts Group）方式は動画像のための圧縮方式であってＪＰＥＧなどの静止画像の圧縮方式よりも高圧縮にすることができる。

図１は、従来の監視カメラシステム（ＩＰ出力方式）の例を示すブロック図である。監視カメラ１は、被写体から反射された光を集光するレンズ２と、レンズ２によって集光された光によって形成された画像を検出するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ３と、信号処理を行う信号処理部４と、信号処理部４によって信号処理された画像データに対して圧縮処理を施す圧縮装置（Ｃｏｄｅｃ）５と、Ｃｏｄｅｃ５に対して圧縮率を設定するとともに、圧縮された圧縮データを受け取り、ネットワークを介して送出する制御を行うＣＰＵ６等から構成されている。

ＣＣＤまたはＣＭＯＳセンサ３で撮像された映像に対応する映像信号は、信号処理部４に供給され、信号処理部４においてデジタルの画像データに変換される。この画像データはＣｏｄｅｃ５に供給され、Ｃｏｄｅｃ５において圧縮された結果として得られた圧縮データは、ＣＰＵ６に供給される。

ＣＰＵ６は、Ｃｏｄｅｃ５より供給された圧縮データに対して、ネットワークに伝送できるよう、データ変換などの処理を行う。このとき、ユーザ等によって指定された伝送容量(データサイズ)になるようにＣｏｄｅｃ５に対して圧縮率を示すパラメータを供給し、設定する。Ｃｏｄｅｃ５は、ＣＰＵ６から供給された圧縮率を示すパラメータを受け、量子化ステップの設定変更を行う。その後、Ｃｏｄｅｃ５は、設定された量子化ステップに基づいて圧縮処理を行うことになる。

ここで図２を参照して、図１の圧縮装置(Ｃｏｄｅｃ)５について詳細に説明する。図２は、ＪＰＥＧ圧縮方式で入力画像を圧縮するＣｏｄｅｃ５の基本機能ブロック図を示している。同図において、入力画像(通常はＹＵＶ色空間、４：１：１などのフォーマット)は、ＤＣＴ５１において、８×８画素毎にＤＣＴ(逆コサイン変換)で周波数領域に変換され、量子化器５２に供給される。

次に、量子化器５２において、ＤＣＴ５１によって変換された周波数領域の情報（係数）に対して、あらかじめ設定された量子化テーブル５３にしたがって、その係数が削減される。そして、量子化器５２から出力される量子化値は、エントロピー符号化器５４においてハフマン符号によるエントロピー符号化が行われ、圧縮画像データとして出力される。

圧縮率を制御するときは、ＤＣＴ５１の出力係数を、設定した圧縮率に応じたステップサイズで圧縮する。入力画像の周波数成分が幅広い場合、出力係数が広い範囲にわたるため、ステップサイズを小さくしないと画質劣化が生じる。

例えば、入力画像の周波数成分の範囲が広くない場合は、ＤＣＴ係数もその周波数成分に応じてその範囲が狭くなるので、ステップサイズを細かく設定しても(圧縮率を下げても)、圧縮後のデータ量が少なくなる。これはもともとＤＣＴ係数の範囲が狭いことに起因する。即ち、ステップサイズを小さくするとデータ量が増してしまうが、入力画像の周波数成分の範囲が広い場合は、ステップサイズを小さくしないと画質が劣化してしまうことになる。

入力画像の周波数成分の範囲が広いということは、即ち入力画像に細かい様々な模様が含まれるということであり、逆に画像が単色あるいは緩やかな変化しかない場合には周波数成分の範囲は狭いということになる。また、入力画像にノイズ成分が多く含まれる場合は、画像に細かい模様が含まれる場合と同様に、広い範囲の周波数成分を持つことになる。

なお、これまでの説明ではＪＰＥＧ方式について説明してきたが、ＭＰＥＧ方式であってもＩピクチャはＪＰＥＧ方式と同様にＤＣＴを用いて圧縮しているため、同様の傾向がある。

また、映像信号に含まれるノイズ成分を適応的に削減する映像信号処理装置としては、入力された映像信号に含まれるノイズ量を認識し、認識したノイズ量に応じて、映像信号中に含まれるノイズ成分を適応的に抑圧し、ノイズ成分が抑圧された後の映像信号に対して圧縮符号化処理を施すことにより高品質の再生映像を得ることができるようになされたものがある（例えば、特許文献１参照）。
特開2005-20193公報

ところでかかる構成の監視カメラシステム１（図１、図２）においては、システムの規模の増大とともに、伝送容量(帯域)が増大し、記録(ストレージ)容量も増大することが大きな課題となっている。伝送容量および記録容量を削減するためには、より高圧縮にする方法、フレームレートを下げる方法、画像サイズを縮小する方法等が考えられる。高圧縮にする方法では、画像の先鋭度が落ちたりブロックノイズや偽色が発生して視認性が悪化するなどの問題が生じるため、極端に高圧縮にすることはできない。特に夜間の撮影画像に見られるように、ノイズ成分が重畳されている画像では、高圧縮にすればするほど、そのノイズ成分によって画質が劣化する。

フレームレートを下げる方法は、例えば通常３０フレーム／秒で撮影、伝送されるものを、１５フレーム／秒、またはそれ以下に削減するというもので、監視対象物に依存するが、人の動きなどの判別に悪影響を与えない範囲で低フレームレートに減らすことが可能である。

画像の解像度を削減する手法では、画像上で小さく写る物体や細かい模様等の視認性が悪化するが、これも監視対象物に依存して、それらの判別に悪影響を与えない範囲でデータ量削減のために用いることができる。

これらのデータ量削減の手法は、単独で用いるものではなく、必要な削減量に達するまで複数の手法を組み合わせて使うことが多く、しかも同一画質であればできるだけ高圧縮かつデータ量が少ない手法が好まれる。

さらに、ＭＰＥＧ方式の場合、Ｂピクチャ、Ｐピクチャでは前後のフレーム間の差分を量子化しているため、あるフレームの画像にノイズが重畳されているとき、そのノイズは画像の模様に相関が無いため、フレーム間の差分量が増えてしまい、ノイズが少ない状態と比較して、同等の画質を得るためにはデータ量が増大するという問題が生じる。

また、すでに述べたように、Ｃｏｄｅｃ以外のフレームレート削減、画像解像度削減によるデータ圧縮は併用されることがあるが、これらどのデータ削減方法も、実際の監視カメラシステムの構成、監視対象物、必要とする精度等によって決まるものであり、監視カメラシステムとしては、これらのデータ削減のためのパラメータは画一的に決めることができないため、これらデータ削減のためのパラメータをユーザや設置者が変更できるように構成しておく必要がある。しかしながら、従来、これらデータ削減のためのパラメータを監視対象物の視認性の劣化を抑制しつつ変更することはできないという問題があった。

また、特許文献１の発明では、入力された映像信号に含まれるノイズ量に応じて、映像信号中に含まれるノイズ成分を適応的に抑圧し、圧縮符号化処理を施すことにより、高品質の再生映像を得る技術が開示されているが、データ量を削減しつつ視認性の劣化を抑制することはできないという問題があった。

本発明は以上の点を考慮してなされたもので、データ量の削減を実現しつつ視認性劣化を少なくすることができる監視カメラシステムを提案しようとするものである。

かかる課題を解決するため本発明においては、映像に対して圧縮処理を施す圧縮処理手段と、映像データのネットワーク上へのデータ伝送量に応じて、映像データに対して所定のノイズ削減量のノイズ削減処理を施すことにより、データ伝送量に応じたノイズ削減処理を行うことができ、低ビットレート時での映像の視認性の悪化を抑制することができる。

本発明によれば、ネットワーク上に送出する映像データのデータ伝送量に拘わらず、映像の画質劣化による視認性の悪化を抑制することができる映像信号処理装置、映像信号処理方法、および映像信号処理プログラムを実現することができる。

以下、図面について、本発明の一実施の形態を詳述する。

（１）監視カメラシステムの全体構成
図３に示すように、本実施の形態における監視カメラシステム１０においては、図示しないレンズやＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等からなる画像入力部１１は、信号処理部１２に接続されている。信号処理部１２は、Ｃｏｄｅｃ１３に接続され、Ｃｏｄｅｃ１３は、ＣＰＵ１６に接続されている。

画像入力部１１は、図１のレンズ２とＣＣＤまたはＣＭＯＳセンサ３に対応し、撮像した画像に対応する画像データを信号処理部１２に供給するようになされている。信号処理部１２は、図１の信号処理部４に対応し、画像入力部１１より供給された画像データをデジタルの画像データに変換し出力するようになされている。

Ｃｏｄｅｃ１３は、後述する画像圧縮部１４とノイズ削減処理部１５とからなり、ＤＳＰ（Digital Signal Processor）等により構成されている。画像圧縮部１４は、信号処理部１２から供給された画像データに対してＤＣＴ（Discrete Cosine Transform）により圧縮処理を行うようになされている。ノイズ削減処理部１５は、信号処理部１２から供給された画像データに含まれるノイズを削減する処理を行うようになされている。画像圧縮部１４においては、図１のＣｏｄｅｃ５の場合と同様に、図２を参照して上述したＪＰＥＧ圧縮処理の他に、ＭＰＥＧ方式による圧縮処理も行われる。

ＣＰＵ１６は、図１のＣＰＵ６に相当し、ネットワーク処理部１７とパラメータ設定部１８とを含み、ネットワーク処理部１７は、画像圧縮部１４より供給された圧縮後の画像データをネットワーク上に送出するためのデータ形式に変換するようになされている。パラメータ設定部１８は、画像圧縮部１４に対しては、圧縮率を指定するためのパラメータ（設定値）を供給し、ノイズ削減処理部１５に対しては、ノイズ削減量を指示するためのパラメータ（設定値）を供給し、信号処理部１２に対してもノイズ削減量を指示するためのパラメータ（設定値）を供給するようになされている。

このように、本実施の形態では、画像データの流れは図1の従来例と変わらないが、ＣＰＵ１６から信号処理部１２、画像圧縮部１４、およびノイズ削減処理部１５に対して、パラメータを用いてノイズ削減量の指示を行うことができるようになっている点が異なっている。

このパラメータを用いてノイズ削減量の指示を行う処理を追加することにより、指定された伝送容量(1フレームでのデータ量、およびフレームレート)に応じたノイズ削減が信号処理部１２およびノイズ削減処理部１５において実現可能となる。

図４は、信号処理部１２において、パラメータを用いて指示されたノイズ削減量に基づいてノイズ削減処理が行われる手順を示している。画像入力部１１から入力された画像データは、信号処理部１２において、ノイズ削減処理が実行された後、Ｃｏｄｅｃ１３に供給される。

ノイズ削減量を可変にする方法としては、例えばｎ×ｎ（ｎは任意の自然数、×は乗算を示す）の平滑化処理においてｎを指定する方法がある。この平滑化処理は、注目する画素と近傍の画素からなるｎ画素×ｎ画素の各画素値の平均値を、注目画素の画素値に置き換えるものであって、簡単な処理でよく使われる。

図５は、３×３の平滑化処理の例を示している。注目する画素P（ノイズ成分を含む）の画素値を、その画素Ｐとその周辺の隣接する各画素ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈの画素値の平均値とする。例えば、ノイズＰの画素値（輝度）が２２５、その周辺の画素の画素値が全て０であるとすると、ノイズＰの画素値は２５（＝（２２５＋０＋０＋０＋０＋０＋０＋０＋０）÷９）となる。

このnの値を、例えば最高データ伝送量では、１と設定し、データ量の削減に応じて２、３、・・・、と増やしていけば、そのｎの値が大きくなるにつれ、高周波成分が徐々に削減され、その結果として量子化後のデータのデータ量が減ることになる。もともと量子化後のデータのデータ量が少なければ、そのデータを圧縮してもその圧縮による劣化が少なくなるので、高周波ノイズによる高圧縮時の劣化を抑えることができる。

フレームレートを削減する場合は、図６に示すように、Ｃｏｄｅｃ１３内またはＣｏｄｅｃ１３外に図示しない画像メモリを持たせ、さらにその画像メモリに蓄積された各フレームの画像データを、削減したフレーム数に応じて使うことによって、ノイズ削減処理部１５が、間引き対象となっていないフレームの画像データから、そのフレームレートに最適な方法でノイズ削減処理を行うことが可能である。

例えば、ノイズ削減処理の１つの方法としてメディアンフィルタを用いることができる。メディアンフィルタは中央値フィルタとも呼ばれ、Ｎ（Ｎは自然数）個のデータ列をソート(並べ替え)して、その中央の値を採用するもので、突発的なノイズ削減にきわめて有効である。

そこで、フレームレートが最高の状態ではＮを値１に設定し、フレームレートを１／２，１／３にする場合は、Ｎ＝３、フレームレートを１／４，１／５にする場合は、Ｎ＝５等に設定する。このようにすることによって、従来は低フレームレート時には、単に画像を間引いて出力していたものが、その前後の複数フレームを用いてノイズ削減することによって突発的なノイズが削減され、単に間引くよりも低ビットレートで伝送できたり、同じビットレートであれば高画質に伝送することできる。

特に、ＭＰＥＧ圧縮では時間軸方向の差分を用いて高圧縮にしているため、時間軸方向のノイズ削減には大きな効果がある。

図７は、時間軸上の複数のフレームに基づいてノイズ削減処理を行う手順を示している。この例では、Ｎ＝３としている。例えば、フレームｎの所定の画素Ｐがノイズ成分を含んでいる場合、時間軸上、フレームｎの１つ前のフレーム（ｎ−１）の同一位置にある画素ａの画素値と、フレームｎの１つ後のフレーム（ｎ＋１）の同一位置にある画素ｂの画素値を並べ替えてその中央の画素値を画素Ｐの画素値とすることにより、ノイズ成分を削減することができる。例えば、画素Ｐの画素値が２５５、画素ａの画素値が０、画素ｂの画素値が０の場合、画素Ｐの画素値は値０となる。このようにして時間軸上の複数のフレームを用いてノイズ成分を削除することができる。フレームｎに隣接するフレームは、画像メモリに蓄積されているので、画像メモリから必要なフレームの画像データを読み出すことができる。

これらノイズ削減処理を行うためには、新たなハードウェアが必要となる。しかしながら高画質で伝送する場合には、その処理を行わないこともある。即ち、高圧縮にすればするほどノイズ削減処理が必要になる。一方でフレームレートを下げたり、画像の解像度を下げてデータ量の削減を行うときには、高画質なデータを伝送するときと比較してデータ圧縮処理（画像圧縮部１４によって行われる）の処理量は減る。

従来、画像圧縮部１４の処理は専用回路で実現されることが多かったが、近年、ＣＰＵの性能が向上してくるにつれ、汎用ＣＰＵやプログラマブルＤＳＰを用いて圧縮アルゴリズムを実装する例が増えている。

本実施の形態でもＣｏｄｅｃ１３はＤＳＰで構成されるものとしている。そこで、上述のように、Ｃｏｄｅｃ１３のノイズ削減処理部１５によって行われるノイズ削減処理に必要な演算量と、Ｃｏｄｅｃ１３の画像圧縮部１４の画像圧縮処理に必要な演算量は、それぞれ圧縮率に応じて、比例・反比例することから、汎用ＣＰＵ／ＤＳＰを用いればそれらを時間軸上で直列に処理することにより、追加のハードウェアを必要とすることなく、データ削減量に応じたノイズ削減処理を行うことが可能である。

図８は、全フレームについて圧縮処理を実行する場合の処理手順を示している。フレームｎから各フレーム毎に順次圧縮処理が実行されている。図９は、フレームレートを１／３に削減する場合の処理手順を示している。フレームｎ、フレーム（ｎ＋３）、フレーム（ｎ＋６）、・・・に対して順次圧縮処理が施されている。

図１０は、フレームレートを１／３に削減してデータ量を削減するとともに、圧縮処理を行わない時間を利用して、間引きされないフレームに対してノイズ削減処理を実行する場合の処理手順を示している。この例では、フレームｎに対する圧縮処理が画像圧縮部１４において実行され、次に、フレーム（ｎ＋３）に対する圧縮処理が実行されるまでの間に、フレーム（ｎ＋３）に対して、ノイズ削減処理部１５によってノイズ削減処理が実行されるようになされている。

ここで実行されるノイズ削減処理は、Ｃｏｄｅｃ１３のノイズ削減処理部１５において実行される時間軸上の複数のフレームに基づいて行われるものである。時間軸上の複数のフレームに基づいてノイズ削減処理が実行される場合、圧縮処理が実行されるフレームの前後の数フレームが画像メモリに蓄積されている必要がある。

図１０に示した例では、フレーム（ｎ＋３）に対して圧縮処理が実行される時点で、フレーム（ｎ＋１）乃至フレーム（ｎ＋５）の各フレームが画像メモリに蓄積されている必要がある。従って、圧縮処理部１４における圧縮処理は、画像メモリに蓄積されたフレームに基づいて実行されることになる。

以上のような機能および構成によって、データ削減に応じた最適なノイズ削減処理を、回路規模の増大を防ぎつつ実現することが可能となる。その結果として、ＩＰを利用した監視カメラシステムの課題である増大する記録容量、および伝送容量を削減し、視認性を向上することができる。

さらに、データ圧縮の手法が高度化するに従い、完全なハードウェア処理で圧縮装置を構成することなく、ＣＰＵやＤＳＰを用いて圧縮アルゴリズムを実行する、あるいは圧縮アルゴリズムの一部の処理をＣＰＵで処理する場合が増えている。本実施の形態では、このようなハードウェア構成のときに、ノイズ削減処理をこのＣＰＵ／ＤＳＰで適応的に処理することにより、ハードウェア規模の増大を防ぎつつ、データ量削減を実現することが可能である。

従来はフレームレートや伝送サイズに関わらず、同じノイズ削減処理を行っていたため、または最も高画質な状態にあわせたノイズ削減処理を行っていたため、低画質時のノイズ削減には有効でなかった。それが解消され、伝送量に応じた最適なノイズ削減処理が可能となり、その結果として、視認性の向上、伝送容量・記憶容量の削減になる

図１１は、パラメータ設定部１８において圧縮率およびノイズ削減量が設定される手順を示すフローチャートである。ステップＳ１において、ユーザにより図示しない操作部が操作され、圧縮率を設定するユーザコマンドが入力されたか否かが判定される。その結果、圧縮率を設定するユーザコマンドが入力されていないと判定された場合、ステップＳ１の処理が繰り返し実行され、コマンド待ちの状態となる。一方、圧縮率を設定するユーザコマンドが入力されたと判定された場合、ステップＳ２に進む。

ステップＳ２においては、設定された圧縮率に基づいて信号処理部１２に対するノイズ削減量の設定が行われる。次に、ステップＳ３において、Ｃｏｄｅｃ１３の画像圧縮部１４への圧縮率の設定が行われる。次に、ステップＳ４において、設定された圧縮率に基づいてＣｏｄｅｃ１３のノイズ削減処理部１５への時間軸方向のノイズ削減量の設定が行われる。圧縮率に基づくノイズ削減量の設定は、パラメータ設定部１８により所定の方法で決定されるが、予め圧縮率に応じたノイズ削減量を対応付けたテーブルを図示しないメモリに記憶させておくこともできる。その後、ステップＳ１に戻り、ステップＳ１以降の処理が繰り返し実行される。このようにして、圧縮率およびノイズ削減量の設定が行われる。

次に、圧縮率に基づくノイズ削減量の設定方法について説明する。圧縮率に基づくノイズ削減量の設定は、たとえば二次元ガウシアンフィルタを用いたノイズ削減の場合は、二次元のガウス関数が次式（１）

であることから、圧縮率に応じてσの値を大きな値に設定することにより、よりノイズの削減量をおおきくすることができる。

なお、ガウシアンフィルタは下記の式（２）によって計算できる。

ただし、

これらの式（１）乃至式（３）から、例として圧縮率Rateが指定された場合、下記の式（４）

で表されるように、σをRateの関数とすることにより、ノイズ削減量を決定することができる。この関数はコーデックの特性によって決めることができる。下記のように、あらかじめ圧縮率Rate毎に計算したσの値をテーブルに設定しておき、実行時は、テーブルに設定された値を参照することにより、圧縮率Rateに応じたσの値を決定することもできる。

図１２は、信号処理部１２における処理手順を示すフローチャートである。ステップＳ１１において、画像入力部１１から画像信号が供給されたか否かが判定される。その結果、画像入力部１１から画像信号が供給されていないと判定された場合、ステップＳ１１の処理が繰り返し実行され、画像取得待ちの状態となる。一方、画像入力部１１から画像信号が供給されたと判定された場合、ステップＳ１２に進む。

ステップＳ１２においては、信号処理が実行され、画像入力部１１から供給された画像信号がデジタルの画像データに変換される。次に、ステップＳ１３において、先に設定された条件（ノイズ削減量）に基づいて、画像入力部１１から供給された画像信号に対応する画像データに対してノイズ削減処理が実行される。次に、ステップＳ１４において、ノイズ削減処理が施され、ノイズ削減された画像データが出力され、Ｃｏｄｅｃ１３に供給される。

図１３は、Ｃｏｄｅｃ１３における画像圧縮の処理手順を示すフローチャートである。ステップＳ２１において、信号処理部１２から画像データが供給されたか否かが判定される。その結果、画像データが供給されていないと判定された場合、ステップＳ２１の処理が繰り返し実行され、画像データの入力待ちの状態となる。一方、信号処理部１２から画像データが供給されたと判定された場合、ステップＳ２２に進む。

ステップＳ２２においては、フレーム毎に圧縮処理を行うのか否かが判定される。即ち、ノイズ削減処理を行わずに画像データを各フレーム毎に圧縮するのか否かが判定される。この判定は、図１１においてユーザコマンドによって指定された圧縮率およびノイズ削減量に基づいて判定される。

その結果、画像データの各フレーム毎に圧縮すると判定された場合、ステップＳ２３に進み、画像圧縮部１４によってノイズ削減することなく、画像圧縮処理が実行される。その後、ステップＳ２４において、画像データが出力され、ＣＰＵ１６に供給される。

一方、ステップＳ２２において、フレーム毎に圧縮処理を行わないと判定された場合、ステップＳ２５に進み、信号処理部１２から供給された画像データが圧縮すべきフレームの画像データであるか否かが判定される。即ち、間引き対象となっていないフレームの画像データであるか否かが判定される。その結果、間引き対象となっているフレームの画像データであると判定された場合、ステップＳ２８に進み、画像メモリに供給され蓄積される。

一方、圧縮すべきフレームの画像データ（間引き対象となっていないフレームの画像データ）であると判定された場合、ステップＳ２６に進み、ノイズ削減処理部１５によってノイズ削減処理が行われた後のフレームの画像データが画像圧縮部１４によって圧縮される。その後、ステップＳ２７において、ノイズ削減処理および画像圧縮処理が施されたフレームの画像データが出力されＣＰＵ１６に供給される。

ステップＳ２４、またはステップｓ２７、またはステップＳ２８の処理が終了すると、ステップＳ２１に戻り、ステップＳ２１以降の処理が繰り返し実行される。このようにして、Ｃｏｄｅｃ１３において、ノイズ削減処理および画像圧縮処理が実行される。

図１４は、ＣＰＵ１６においてノイズ削減処理および画像圧縮処理が実行された画像データがネットワーク処理部１７によってネットワークに送出される手順を示すフローチャートである。ステップＳ３１において、ネットワークに送出すべき画像データが用意できたか否かが判定される。その結果、ネットワークに送出すべき画像データが用意されていないと判定された場合、ステップＳ３１の処理が繰り返し実行される。

一方、ネットワークに送出すべき画像データが用意されたと判定された場合、ステップＳ３２に進み、所定のネットワーク処理が実行される。その後、ステップＳ３３に進み、画像データがネットワークに送出される。

図１５は、Ｃｏｄｅｃ１３のノイズ削減処理部１５におけるノイズ削減処理を示すフローチャートである。ステップＳ４１において、指定されたフレーム数の画像データが画像メモリに蓄積されたか否かが判定される。例えば、フレーム数をＮとすると、フレームレートを１／２，１／３にする場合は、Ｎ＝３、フレームレートを１／４，１／５にする場合は、Ｎ＝５等に設定されるので、このＮの値が指定されたフレーム数に対応する。

ステップＳ４１において、指定フレーム数の画像データが画像メモリに蓄積されていないと判定された場合、ステップＳ４１の処理が繰り返し実行される。一方、指定フレーム数の画像データが画像メモリに蓄積されたと判定された場合、ステップＳ４２に進む。

ステップＳ４２においては、設定に従った条件（例えば、ノイズ削減量）に基づいて、画像メモリに記憶されている時間軸上の複数フレームに基づいてノイズ削減処理が実行される。

次に、ステップＳ４３において、ノイズ削減処理が実行されてノイズが削減された画像データが出力され、ＣＰＵ１６に供給される。

（２）動作および効果
以上の構成において、信号処理部１２は、画像入力部１１より供給された画像信号をデジタルの画像データに変換するとともに、ユーザからのコマンドに従ってパラメータ設定部１８によって設定された圧縮率やノイズ削減量を示す設定値によって指定されたノイズ削減量に従って平滑化処理等の手法により画像データに対してノイズ削減処理を施し、Ｃｏｄｅｃ１３に供給する。

Ｃｏｄｅｃ１３の画像圧縮部１４は、信号処理部１２から供給された画像データをパラメータ設定部１８によって設定された圧縮率に基づいてＤＣＴ等の手法で圧縮対象となるフレームの画像データに対して圧縮処理を施す。即ち、フレームレートの削減によって間引き等が行われる場合、間引きが行われるフレームの画像データは画像メモリに蓄積され、圧縮対象となるフレームの画像データに対して圧縮処理が施される。圧縮処理が施されたフレームの画像データは、ＣＰＵ１６に供給される。

Ｃｏｄｅｃ１３のノイズ削減処理部１５においては、時間軸上の複数のフレームの画像データに基づいて、圧縮対象となるフレームの画像データに対してノイズ削減処理が施される。そのため、画像メモリには、フレームレートの削減によって圧縮対象とはならない間引きの対象となったフレームの画像データが蓄積されており、ノイズ削減処理部１５は適宜ノイズ削減処理に必要とされるフレームの画像データを画像メモリから読み出す。

Ｃｏｄｅｃ１３の画像圧縮部１４は、ノイズ削減処理部１５によってノイズ削減処理が実行された後の画像データに対して圧縮処理を施す。従って、圧縮処理が実行されるタイミングは、ノイズ削減処理が実行された後になる。時間軸上の複数のフレームに基づいてノイズ削減処理が実行される場合には、時間軸上の必要な複数のフレームを一旦画像メモリに蓄積し、間引き対象となっていない圧縮処理対象となるフレームの画像データに対してノイズ削減処理が実行された後、圧縮処理が実行されることになる。

ノイズ削減処理および圧縮処理が施された画像データは、ＣＰＵ１６に供給され、ネットワーク処理部１７においてネットワーク上に送出するためのデータ変換処理が施された後、ネットワーク上に送出される。

以上の構成によれば、ユーザが圧縮率およびノイズ削減量の少なくともいずれかをコマンドを介して指定することができるので、画像データの伝送量に応じた最適なノイズ削減を行うことができる。例えば、ユーザが圧縮率を指定すると、その圧縮率に応じて、パラメータ設定部１８がデータ削減量を所定の方法で決定し、信号処理部１２およびノイズ削減処理部１５に対して設定することができる。

例えば、フレームレートに応じてノイズ削減量を調整することができる。具体的には、フレームレートを削減するのに伴ってノイズ削減量を増大させることにより、画質の低下を抑制することができる。また、伝送データ量に応じてノイズ削減量を調整することができる。具体的には、伝送データ量を削減するのに伴ってノイズ削減量を増大させることにより、画質の低下を抑制することができる。

（３）他の実施の形態
なお上述の実施の形態においては、信号処理部１２において平滑化処理によってノイズ削減を行うようにした場合について述べたが、本発明はこれに限らず、同一フレーム内で、その他の手法でノイズ削減処理を行うようにしても良い。

また上述の実施の形態においては、ノイズ削減処理部１５において、時間軸上の複数フレームの画像データに基づいてノイズ削減処理を行うようにした場合について述べたが、本発明はこれに限らず、時間軸上の複数フレームの画像データに基づいて、その他の手法でノイズ削減処理を行うようにしても良い。

本発明の映像信号処理装置、映像信号処理方法、および映像信号処理プログラムは、例えば、監視カメラシステムだけでなく、ネットワークに接続された様々なカメラシステムに適用することができる。

従来の監視カメラシステムの構成例を示すブロック図である。 従来の監視カメラシステムのＣｏｄｅｃにおけるＪＰＥＧ圧縮処理手順を示す基本ブロック図である。 本実施の形態における監視カメラシステムの一実施の形態の構成例を示すブロック図である。 信号処理部において実行されるノイズ削減処理の手順を示す図である。 ３×３の平滑化処理の例を示す図である。 時間軸を含むノイズ削減処理の手順を示す図である。 時間軸上の複数のフレームに基づいてノイズ削減処理を行う手順を示す図である。 全フレームについて圧縮処理を実行する場合の処理手順を示す図である。 フレームレートを１／３に削減する場合の処理手順を示す図である。 フレームレートを１／３に削減してデータ量を削減するとともに、圧縮処理を行わない時間を利用して、間引きされないフレームに対してノイズ削減処理を実行する場合の処理手順を示す図である。 パラメータ設定部の処理手順を示すフローチャートである。 信号処理部の処理手順を示すフローチャートである。 画像圧縮部の処理手順を示すフローチャートである。 ネットワーク処理部の処理手順を示すフローチャートである。 ノイズ削減処理部の処理手順を示すフローチャートである。

符号の説明

１……監視カメラシステム、２……レンズ、３……ＣＣＤまたはＣＭＯＳ、４……信号処理部、５……Ｃｏｄｅｃ、６……ＣＰＵ、１０……監視カメラシステム、１１……画像入力部、１２……信号処理部、１３……Ｃｏｄｅｃ、１４……画像圧縮部、１５……ノイズ削減処理部、１６……ＣＰＵ、１７……ネットワーク処理部、１８……パラメータ設定部。

Claims (9)

1. 入力された映像に対して圧縮処理を施し、圧縮後の映像データをネットワーク上に送出する映像信号処理装置であって、
   上記映像に対して圧縮処理を施す圧縮処理手段と、
   上記映像データの上記ネットワーク上へのデータ伝送量に応じて、上記映像データに対して所定のノイズ削減量のノイズ削減処理を施すノイズ削減処理手段と
   を具えることを特徴とする映像信号処理装置。
2. 上記ノイズ削減処理手段は、上記映像データのデータ伝送量の削減がフレームレートの削減によって実現されるとき、削減されるフレーム数に応じた時間軸方向の所定数のフレームに基づいてノイズ削減処理を実行する
   ことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記圧縮処理手段と前記ノイズ削減処理手段とは１つの演算装置によって構成され、前記ノイズ削減処理手段によるノイズ削減処理は、前記圧縮処理手段による圧縮処理が行われていない期間に実行される
   ことを特徴とする請求項１に記載の映像信号処理装置。
4. 入力された映像に対して圧縮処理を施し、圧縮後の映像データをネットワーク上に送出する映像信号処理方法であって、
   上記映像に対して圧縮処理を施す圧縮処理ステップと、
   上記映像データの上記ネットワーク上へのデータ伝送量に応じて、上記映像データに対して所定のノイズ削減量のノイズ削減処理を施すノイズ削減処理ステップと
   を具えることを特徴とする映像信号処理方法。
5. 上記ノイズ削減処理ステップにおいては、上記映像データのデータ伝送量の削減がフレームレートの削減によって実現されるとき、削減されるフレーム数に応じた時間軸方向の所定数のフレームに基づいてノイズ削減処理を実行する
   ことを特徴とする請求項４に記載の映像信号処理方法。
6. 前記圧縮処理ステップと前記ノイズ削減処理ステップとは１つの演算装置によって実行され、前記ノイズ削減処理ステップにおけるノイズ削減処理は、前記圧縮処理ステップにおける圧縮処理が行われていない期間に実行される
   ことを特徴とする請求項４に記載の映像信号処理方法。
7. 入力された映像に対して圧縮処理を施し、圧縮後の映像データをネットワーク上に送出する映像信号処理装置を制御する映像信号処理プログラムであって、
   上記映像に対して圧縮処理を施す圧縮処理ステップと、
   上記映像データの上記ネットワーク上へのデータ伝送量に応じて、上記映像データに対して所定のノイズ削減量のノイズ削減処理を施すノイズ削減処理ステップと
   を上記映像信号処理装置に実行させることを特徴とする映像信号処理プログラム。
8. 上記ノイズ削減処理ステップにおいては、上記映像データのデータ伝送量の削減がフレームレートの削減によって実現されるとき、削減されるフレーム数に応じた時間軸方向の所定数のフレームに基づいてノイズ削減処理を実行する
   ことを特徴とする請求項７に記載の映像信号処理プログラム。
9. 前記圧縮処理ステップと前記ノイズ削減処理ステップとは１つの演算装置によって実行され、前記ノイズ削減処理ステップにおけるノイズ削減処理は、前記圧縮処理ステップにおける圧縮処理が行われていない期間に実行される
   ことを特徴とする請求項７に記載の映像信号処理プログラム。