JP2011188243A5 - - Google Patents

Description

信号処理装置

本発明は、動画像の符号化技術に関し、特に高解像度かつ低ビットレートの動画を撮影する際の符号化技術に関するものである。使用される製品としてはネットワークカメラ、車載カメラ、デジタルビデオカメラ等がある。

近年、ネットワークカメラに高解像度化が進んできている。高解像度化されるにもかかわらず、目標とされるビットレートは従来通りの低いビットレートが要求されている。そのため、高解像度にもかかわらず、１フレーム当たりに割り当てられる符号量は従来のままであるため、画質劣化が課題とされている。

従来のエンコーダでは、目標のビットレートを得るために、単純なフレームスキップアルゴリズムに従ってフレームレートを下げている。しかし、この単純なフレームスキップでは、復号化したときに視覚的品質に著しい違和感を及ぼすことが多い。

そこで、この視覚的品質の劣化を防ぐ方法として、エンコードするフレーム画像とエンコード時に参照する画像との画素単位での差分を取得し、差分が小さいと判断したものに対してフレームスキップ処理を行う技術が知られている。「画素差分が小さい＝動きが小さい」と判断し、動きの小さいフレームに対してだけフレームスキップし、視覚的な違和感を少なくしつつ、１フレーム当たりに割り当てられる符号量を増やすのである（特許文献１参照）。

特開２００８−２３６７８９号公報

上記のような入力フレームと参照フレームとの画素差分でフレームスキップの判断を行う場合、少しの動きに対しても画素差分が大きく現れる可能性がある。その場合、動きの小さいフレームに対してもフレームスキップ判断が行われず、１フレームに割り当てられる符号量が小さくなり、画質が劣化してしまう。特に、高周波成分を多く含むような入力画像の場合にその傾向が顕著に現れる。

また、動画では参照フレームからの移動量と残りの差分値とを符号化するため、画素差分量が符号化後のコードサイズと比例の関係にあるわけではない。そのため、符号量が小さいフレームに対しても、画素差分が大きければスキップフレームと判断されてしまい、視覚的違和感が残る。特に、高周波成分を多く含むような入力画像の場合にその傾向が顕著に現れる。

それに加えて、どのようなシーンに対しても同じアルゴリズムでフレームスキップ判断を行うため、シーンに適したフレームスキップ処理が行えないことがある。

また、上記アルゴリズムであると動きの小さなシーンに対してのフレームスキップしか行うことができない。動きの激しいシーンでは動きの小さなシーンに比べ圧縮効率が悪いにもかかわらず、１フレーム当たりの符号量は変わらないため、画質劣化が改善されない。

本発明の目的は、高解像度かつ低ビットレートの動画を撮影する際にフレームスキップの判断閾値をダイナミックに変更できる信号処理装置を提供することにある。

上記目的を達成するため、本発明は、複数フレームの画像データを圧縮しストリームを生成する信号処理装置において、入力される画像データに対し符号化を行う符号化処理部と、画像データの周波数情報を取得する画像処理部と、２つのフレーム間での同一画像の移動量を示す画像移動情報と符号化判断用閾値とを比較することで符号化実施判断を行う符号化判断処理部と、符号化判断処理部にて符号化非実施と判断された場合にフレームスキップ制御を行うフレームスキップ制御部と、フレーム内の符号量と量子化パラメータ値、もしくはフレーム内の動きベクトル量、もしくはイントラマクロブロック数をもとに符号化判断処理部の符号化判断用閾値を補正する閾値補正部とを備えた構成を採用し、符号化判断処理部は、周波数情報が高周波の場合は符号化判断用閾値を一時的に変更し、周波数情報が低周波の場合は符号化判断用閾値を変更せずに、符号化実施判断を行うこととしたものである。

符号化判断処理部で使用する画像移動情報は、画素移動算出部で行う代表点マッチング方式で得られた画素移動情報と、レンズ制御部から取得できる角速度センサ情報とのうち少なくとも１つと、前記画像処理部から取得できる周波数情報との組み合わせとすることもできる。

本発明において、符号化実施判断処理を従来からカメラで使用されている情報（角速度センサ情報や、画素移動情報）で判断することとすれば、画像移動情報の取得のための処理の増加が少ない。また差分情報ではなく、移動量を見るため、動きの検出精度を高めることができる。

また、従来動きの小さいフレームに対して全てフレームスキップさせていたのに対して、動きが小さくかつ符号量が大きい（符号化効率の悪い）フレームに対してだけ、フレームスキップ判断をすることが可能となる。そうすることで、必要最小限のフレームだけスキップ処理を行い、１フレーム当たりに割り当てられる符号量が増えるだけでなく、視覚的違和感のないストリームが生成できる。

上記に加えて、動きの大きなシーンの判定を行う場合も、符号化結果にて閾値を補正するため、符号化効率の悪いフレームのみをフレームスキップと判断することができる。そうすることで、フレームレートを極力落とさず、視覚的違和感のないストリームを生成することが可能となる。

本発明に係る信号処理装置を備えた動画撮像装置のブロック図である。 （ａ）、（ｂ）及び（ｃ）は図１中の画素移動算出部における代表点マッチングアルゴリズムの説明図である。 図１中のレンズ制御部から得られる角速度センサ情報の説明図である。 （ａ）及び（ｂ）は図１中の画像処理部から得られる周波数情報の説明図である。 図１中の信号処理装置におけるフレームスキップ動作の例を示すフローチャートである。 図１中の符号化判断処理部における静止画閾値の説明図である。 図１中の符号化判断処理部における動画閾値の説明図である。 図１中の符号化判断処理部における静止画閾値及び動画閾値の説明図である。 図１中の閾値補正部におけるイントラマクロブロック数を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中の閾値補正部における動きベクトル量を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中の閾値補正部における符号量及び量子化パラメータ値を用いた閾値補正アルゴリズムを示すフローチャートである。 図１中のフレームスキップ制御部の動作説明図である。 図１中のフレームスキップ制御部の他の動作説明図である。 （ａ）及び（ｂ）は図１中の符号化判断処理部における符号化判断実施フレームの説明図である。 （ａ）及び（ｂ）は図１中の符号化判断処理部における符号化判断閾値の初期値設定説明図である。 図１中の符号化判断処理部におけるダミーフレームモードの説明図である。 図１中の符号化判断処理部における多段階閾値制御アルゴリズムの説明図である。 図１の変形例を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１に示す動画撮像装置は、例えば動画記録を行うネットワークカメラであって、タイミングに応じて画像データを生成し出力する画像データ入力装置１０１と、画像データ入力装置１０１から出力された画像データを画像処理し符号化処理を行いネットワーク送信用のパケットに変換し出力する信号処理装置１０２と、信号処理装置１０２から出力されたパケットをネットワークへ送信するデータ通信装置１０３と、各処理のデータを一時的に格納するデータ記憶装置１０４とを備えている。

画像データ入力装置１０１は、映像光を電気信号に変換する撮像部１０５と、撮像部１０５から出力される電気信号の取り込みタイミングや、映像光の撮像素子への照射時間を制御する撮像素子制御部１０６とを備えている。

信号処理装置１０２は、撮像部１０５から読み出された映像信号を所定の画像処理（ＡＥ処理、ＷＢ処理、アパーチャ処理、ＹＣ処理等）を施して輝度信号及び色差信号に変換する画像処理部１０７と、レンズの制御を行うレンズ制御部１０８と、画素移動量を算出する画素移動算出部１０９と、入力される画像データに対し符号化を行う符号化処理部１１０と、符号化処理部１１０で符号化を行うかどうか画像移動情報と閾値とをもって判断する符号化判断処理部１１１と、符号化判断処理部１１１にて符号化判断を行うための閾値を補正する閾値補正部１１２と、符号化判断処理部１１１にて符号化非実施と判断された場合にフレームスキップ制御を行うフレームスキップ制御部１１３と、符号化されたデータに対してネットワーク用にパケット分割を行うパケット生成部１１４と、パケット生成部１１４にてパケット分割されたデータをデータ通信装置１０３に転送するデータ通信制御部１１５とを備えている。

ここで、画像移動情報の１つとして画素移動算出部１０９から出力される画素移動情報を得るための代表点マッチングのアルゴリズムについて、図２（ａ）〜図２（ｃ）を用いて説明する。代表点マッチングとは、あるブロック（枠）の代表点を１点定め、その点が次のフレームにおいて、どれだけ移動したかを表したものである。図２（ａ）は１フレーム目を表した図であり、点２０１を代表点とし、その１点の情報を保持する。図２（ｂ）は２フレーム目を表した図であり、代表点として定めた点が、本フレーム内のどこに移動したかを探索する。図２（ｃ）は、１フレーム目と２フレーム目を重ねたものであり、１フレーム目で定めた代表点２０２が、点２０３まで移動していることが分かる。この移動した距離を画素移動量とする。本発明では、この画素移動量を画像移動情報の１つとして使用する。

次に、画像移動情報として使用する、レンズ制御部１０８から出力される角速度センサ情報について、図３を用いて説明する。角速度センサ情報とは、図３で示すようにカメラの動き量の情報である。センサ部分についている角速度センサにてカメラがどれだけ動いたかを表すことができる。本発明では、この角速度センサ情報を画像移動情報の１つとして使用する。

取得した角速度センサ情報に対して動き量の算出を行う。角速度センサの情報は、ズームをしている場合とそうでない場合とで動き量が異なってくる。角速度センサ情報が小さくても、ズームされていれば動き量としては大きくなるため、角速度センサ情報から動き量を算出する場合は、角速度センサ情報にズームの倍率をかけた値を動き量として使用する。

また、画像移動情報の１つとして、入力されたデータを画像処理部１０７にて処理する際に、図４（ａ）及び図４（ｂ）に示されるような周波数情報を得ることができる。画像処理部１０７では、画像全体の周波数情報も取得できるが、画面を複数に分割し、それぞれの周波数情報を取得することもできる。符号化判断処理部１１１では、この画像の周波数情報によって、符号化判断処理を行う。例えば、符号化を行う画像データの周波数情報と、符号化の際に参照する画像の周波数情報との差分を領域毎に算出し、その算出結果が小さければ、画像に移動はないと判断しフレームスキップ制御部１１３に符号化非実施を通知する。

また、上記画素移動情報と角速度センサ情報と周波数情報とを組み合わせることで、更に精度の高い符号化判断制御を行うことが可能となる。

図５に、画素移動情報と周波数情報とを組み合わせた静止画像スキップ判断処理アルゴリズムを示す。Ｓ１０１では、画素移動算出部１０９から画素移動情報を取得する。Ｓ１０２では、画像処理部１０７から画像全体の周波数情報を取得する。Ｓ１０３では、画像処理部１０７から取得した周波数情報をもとに判断を行う。低周波と判断された場合は、従来通りＳ１０４にて画素移動量と静止画閾値とを比較し、閾値よりも小さければ符号化実施の必要性がないと判断し、フレームスキップ制御部１１３にてフレームスキップ処理Ｓ１０５を行う。閾値より大きければ符号化が必要と判断し、Ｓ１０６で符号化処理部１１０にて符号化処理を行う。

Ｓ１０３で高周波と判断された場合は、Ｓ１０７にて、画素移動情報と閾値とを比較するが、画像が高周波であるため圧縮すると多くの符号量を出力される。そのため、閾値を大きくし、フレームスキップ判定をし易くする。そうすることで１フレーム当たりの割り当てられる符号量を維持することが可能となる。閾値よりも小さければ符号化実施の必要性がないと判断し、フレームスキップ制御部１１３にてフレームスキップ処理Ｓ１０５を行う。閾値より大きければ符号化が必要と判断し、Ｓ１０６で符号化処理部１１０にて符号化処理を行う。

次に、符号化判断処理部１１１の符号化判断処理方法に関して、図６〜図８にて説明する。

まず、動きの小さなシーンのスキップ判断を、図６にて説明する。動きの小さなシーンは、フレーム間の変化量（差分）が小さいことが特徴として挙げられる。動画を撮影していくなかで、変化の小さいフレームをスキップしても視覚的な違和感はほとんど発生しない。そこで、変化量が小さいという特徴を生かし、符号化判断処理部１１１では、動きの小さなシーンを判定するための低い閾値を静止画閾値３０３として保持する。画像移動情報３０１が静止画閾値３０３を下回った場合（領域３０２に入った場合）、フレームスキップ対象フレームと判断する。

次に、動きが激しいシーンのスキップ判断を、図７にて説明する。動きの激しいシーンは、フレーム間の変化量（差分）が大きいことが特徴として挙げられる。また、動きのある画像から得られる情報は少ないという人間の視覚特性を利用する。動画を撮影していくなかで、動きの激しいフレームをスキップしても視覚的な違和感は多少発生するものの、静止しているフレームに比べて１フレームで得られる情報は少ないため、生成されるストリームとして大きな影響はない。符号量が割り当てられずに画質劣化のほうが、ストリームとして致命的な課題となる。そこで、動きの激しいシーンは変化量が大きいという特徴を生かし、符号化判断処理部１１１では、動きの激しいシーンを判定するための高い閾値を動画閾値４０３として保持する。画像移動情報４０１が動画閾値４０３を上回った場合（領域４０２に入った場合）、フレームスキップ対象フレームと判断する。

また、符号化判断処理部１１１では、静止画閾値と動画閾値とを併せて持つことで、よりよいフレームスキップ制御を行うことが可能となることを、図８にて説明する。

符号化判断処理部１１１にて、動画閾値５０１と静止画閾値５０２との両方で符号化判断処理を行う。そうすることで、動画撮影中のシーン変化に対しても、最適なフレームスキップ処理を実施することが可能となる。５０３はスキップ対象フレームと判断する領域である。

動画シーンのフレームスキップを抑制したい場合は、静止画閾値５０２を上げて動きの小さなフレームをスキップし易くし、かつ動画閾値５０１を上げて動きの激しいシーンをスキップし難くすることで、１フレームに割り当てる符号量を変化させずに動きの激しいシーンのフレームスキップ判断を抑制することができる。

その逆に、静止画シーンのフレームスキップを抑制したい場合は、動画閾値５０１を下げて動きの激しいフレームをスキップし易くし、かつ静止画閾値５０２を下げて動きの小さなシーンをスキップし難くすることで、１フレームに割り当てる符号量を変化させずに動きの小さなシーンのフレームスキップ判断を抑制することができる。

次に、閾値補正部１１２での制御方法に関して説明する。高周波の部分が画面の大半を占めるシーン、低周波の部分が画面の大半を占めるシーン、動きの小さいシーン、動きの激しいシーン等の、様々なシーンがあり、各シーンに対して適した閾値も異なってくる。動画撮影を行うなか、シーンは刻々と変化していくものであり、そのため、閾値もそれに合わせて変化させていく必要がある。そこで、閾値補正部１１２にて、符号化結果の情報をもとに、記録されているシーンに合わせて閾値の補正を行うようにする。

まず、イントラマクロブロック数を使用した動画閾値補正制御アルゴリズムについて、図９を用いて説明する。Ｓ２０１では、符号化処理部１１０から符号化時に取得できるイントラマクロブロック数を取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ２０２では、閾値補正部１１２にて、取得した画像移動情報が小さい場合は、動きは小さいため動画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が大きい場合、動きの激しいシーンの可能性があると判断し、Ｓ２０３にてイントラマクロブロック数をもとに閾値補正の振る舞いを決定する。すなわち、「イントラマクロブロックが発生する＝動きが激しい」と判断し、閾値補正を行う。具体的には、イントラマクロブロック数が少ないと判断した場合、動きが激しくないシーンと判断し、動画閾値を上げてフレームスキップとの判断をしにくくする（Ｓ２０４）。イントラマクロブロック数が多いと判断した場合、動きの激しいシーンだと判断し、動画閾値を下げて、フレームスキップと判断し易くする（Ｓ２０５）。

次に、閾値補正用のパラメータとして符号化処理部１１０にて出力されるフレーム内の動きベクトル量を使用する方法について、図１０を用いて説明する。Ｓ３０１では、符号化処理部１１０から符号化時に取得できる動きベクトル量を取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ３０２では、閾値補正部１１２にて、取得した画像移動情報が小さい場合は、動きが小さいため動画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が大きい場合、動きの激しいシーンの可能性があると判断し、Ｓ３０３にて動きベクトル量をもとに閾値補正の振る舞いを決定する。すなわち、動きベクトル量は符号化フレームと参照フレームとの間のマクロブロックの移動量を示すため、「動きベクトル量が大＝動きが激しい」と判断する。動きベクトル量が大きいと判断した場合、動きの激しいシーンだと判断し、Ｓ３０４にて動画閾値を下げて、フレームスキップと判断し易くする。動きベクトル量が小さいと判断した場合、動きが激しくないシーンと判断し、Ｓ３０５にて動画閾値を上げて、フレームスキップと判断しにくくする。

次に、閾値補正用のパラメータとして符号化処理部１１０にて出力されるフレーム内の符号量と量子化パラメータ値（ＱＰ値）とを使用する方法について、図１１を用いて説明する。Ｓ４０１では、符号化処理部１１０から符号化時に取得できる符号量とＱＰ値とを取得するとともに、符号化判断処理部１１１から符号化時の画像移動情報を取得する。Ｓ４０２では、閾値補正部１１２にて、取得した画像移動情報が大きい場合は、動きが大きいため、静止画閾値の補正の必要はないと判断し、閾値の補正は行わない。画像移動情報が小さい場合、動きの小さいシーンの可能性があると判断し、Ｓ４０３、Ｓ４０４及びＳ４０６にて符号量とＱＰ値とをもとに閾値補正の振る舞いを決定する。

まず、符号量が小さくかつＱＰ値が小さい場合、符号化効率が良いため、符号化してもフレーム当たりの符号量割り当てに影響はないと判断し、閾値補正を行う。具体的には、Ｓ４０３にて符号量が小さいと判断した場合、Ｓ４０４にてＱＰ値の大小を判断する。Ｓ４０４にてＱＰ値が小さいと判断された場合、そのフレームは符号化効率の良いフレームと判断でき、Ｓ４０５にて静止画閾値を下げてフレームスキップ判断をしにくくする。Ｓ４０４にてＱＰ値が大きいと判断された場合、符号量が小さいのは高圧縮を行っているためであり、符号化効率が良いからではないため、静止画閾値の補正は行わない。

一方、Ｓ４０３にて符号量が大きいと判断した場合、Ｓ４０６にてＱＰ値の大小を判断する。Ｓ４０６にてＱＰ値が小さいと判断された場合、符号量が大きいのは低圧縮しているためであるので、静止画閾値の補正は行わない。Ｓ４０６にてＱＰ値が大きいと判断された場合、そのフレームは圧縮効率が悪いフレームだと判断し、Ｓ４０７にて静止画閾値を上げる。

次に、フレームスキップ制御部１１３のスキップ処理に関して、図１２、図１３を用いて説明する。

フレームスキップ処理としては２つの方法がある。図１２に示すのは、単純なフレーム間引き方法である。フレーム６０１で符号化非実施と判断された場合に、そのフレーム６０１の符号化を行わず、そのフレーム６０１を破棄することでフレームレートを下げる。

しかしながら、各種ストリームの規格や、製品によっては、フレームレートを一定に保つよう規定されているものもある。そうした場合には、図１３に示すようなダミーフレームを挿入する方法もある。図１３によれば、フレーム７０１で符号化非実施と判断された場合、そのフレーム７０１は破棄し、代わりにダミーフレーム７０２に差し替える。ダミーフレーム７０２は、スキップドマクロブロックだけで構成されたフレーム、すなわち参照元と同様であるという情報だけを符号化したフレームであるため、極めて少量な情報だけで構成されている。そのため、破棄フレーム７０１の代わりにダミーフレーム７０２を挿入しても、フレーム当たりの割り当てられる符号量への影響は少ない。

次に、符号化判断処理部１１１にて符号化判断処理を行うピクチャタイプについて説明する。符号化判断処理部１１１では、全てのフレームに対して符号化判断処理を行うわけではなく、符号化時のピクチャタイプを考慮して判断を行うようにするのである。

図１４（ａ）のＰピクチャ８０２の被参照フレームとなるＰピクチャ８０１のフレームをスキップした場合、Ｐピクチャ８０２では、１フレーム空いたＩピクチャ８０３のフレームを参照する必要がある。そうした場合、時間的な差分が大きくなるため、フレーム間の差分も大きくなってしまい、符号量が増大してしまう。

しかしながら、図１４（ｂ）のようなＢピクチャ８０４、すなわち参照されないフレームをスキップしても、以降の参照フレームの関係は変わらないため、符号量の増加にはならない。よって、ピクチャタイプに応じて符号化判断処理を行うことで、よりよいフレームスキップ処理を行うことが可能となる。

また、上記の閾値はビットレートやフレームレートによって変更する必要がある。図１５（ａ）及び図１５（ｂ）は、ビットレートが同じでフレームレートが異なるストリームの符号量割り当てを示したものである。図１５（ｂ）に比べて図１５（ａ）の方が、１フレーム当たりの割り当てられる符号量が小さいため、符号割当量を増やすために、静止画閾値は高めに、動画閾値は低めにそれぞれ設定し、より多くスキップされるような閾値を設定する必要がある。

また、符号化判断処理において、毎フレーム、又は特定のピクチャタイプ毎に符号化判断を実施するとフレームレートが定まらず、視覚的に違和感が出てしまう可能性がある。特に動きが激しいシーンでフレームをスキップし過ぎた場合に、その違和感が顕著に現れる。そこで、図１６に示すように、フレーム９０１でスキップ判断された場合に、ダミー置き換えモードに遷移し、そのフレームから複数フレーム間、一定の間隔でフレームをスキップさせる。そうすることで、特定の間隔でフレームレートを保つことができる。

しかしながら、上記のような処理を行うと、フレームのスキップ率が固定になり、それ以上フレームレートを下げることができなくなる。そこで、動画閾値、静止画閾値毎に多段階の閾値を用意する。図１７に示す静止画閾値の例によれば、上段閾値１００１では、１／２のフレームレートになるように範囲１００３でスキップ処理を行い、下段閾値１００２では、１／４のフレームレートになるように範囲１００４でスキップ処理を行う。このように画像移動情報の値に応じてスキップ率を変えることで、フレームレートを特定の間隔毎に動的に変更させる。

また、上記の符号化結果の情報を画像移動情報として使用することで、符号化判断処理を実現することも可能である。図１８のように処理の簡易化、回路規模の削減を図るために符号化するフレームの情報を事前に取得できないような場合に、符号化結果を次フレームの画像移動情報として使用して、スキップ判断処理を行う。ただし、符号化判断の情報と、判断を行うフレームとで１フレーム分のタイムラグが発生しているため、符号化判断処理の精度は落ちてしまう。

本発明に係る信号処理装置は、符号化を行う前に代表点マッチング情報や角速度センサ情報をもとに符号化判断を行い、符号化結果をもとにダイナミックに符号化判断閾値を変更する。そうすることで、シーン毎に適したフレームスキップ判断処理を行うことが可能になり、１フレーム当たりの符号量を増やすことができ、視覚的、画質的に違和感なく符号化を実施することができるため、信号処理装置及び動画撮像装置として有用である。

１０１ 画像データ入力装置
１０２ 信号処理装置
１０３ データ通信装置
１０４ データ記憶装置
１０５ 撮像部
１０６ 撮像素子制御部
１０７ 画像処理部
１０８ レンズ制御部
１０９ 画素移動算出部
１１０ 符号化処理部
１１１ 符号化判断処理部
１１２ 閾値補正部
１１３ フレームスキップ制御部
１１４ パケット生成部
１１５ データ通信制御部

Claims (13)

1. 複数フレームの画像データを圧縮しストリームを生成する信号処理装置であって、
   入力される画像データに対し符号化を行う符号化処理部と、
   前記画像データの周波数情報を取得する画像処理部と、
   ２つのフレーム間での同一画像の移動量を示す画像移動情報と符号化判断用閾値とを比較することで符号化実施判断を行う符号化判断処理部と、
   前記符号化判断処理部にて符号化非実施と判断された場合、フレームスキップ制御を行うフレームスキップ制御部と、
   フレーム内の符号量と量子化パラメータ値、もしくはフレーム内の動きベクトル量、もしくはイントラマクロブロック数をもとに前記符号化判断処理部の前記符号化判断用閾値を補正する閾値補正部とを備え、
   前記符号化判断処理部は、前記周波数情報が高周波の場合は前記符号化判断用閾値を一時的に変更し、前記周波数情報が低周波の場合は前記符号化判断用閾値を変更せずに、前記符号化実施判断を行うことを特徴とする信号処理装置。
2. 請求項１記載の信号処理装置において、
   画素移動算出部を更に備え、前記符号化判断処理部で使用する前記画像移動情報を、前記画素移動算出部で行う代表点マッチング方式で得られた画素移動情報とすることを特徴とする信号処理装置。
3. 請求項１記載の信号処理装置において、
   レンズ制御部を更に備え、前記符号化判断処理部で使用する前記画像移動情報を、前記レンズ制御部から取得できる角速度センサ情報とすることを特徴とする信号処理装置。
4. 請求項１記載の信号処理装置において、
   画素移動算出部と、レンズ制御部とのうち少なくとも１つを更に備え、前記画素移動算出部で行う代表点マッチング方式で得られた画素移動情報と、前記レンズ制御部から取得できる角速度センサ情報とのうち少なくとも１つと、前記画像処理部から取得できる前記周波数情報とを組み合わせて前記画像移動情報とすることを特徴とする信号処理装置。
5. 請求項１記載の信号処理装置において、
   前記符号化判断処理部は、前記符号化判断用閾値として静止画閾値を設け、前記静止画閾値を下回ったフレームに対して、符号化非実施とすることを特徴とする信号処理装置。
6. 請求項１記載の信号処理装置において、
   前記符号化判断処理部は、前記符号化判断用閾値として動画閾値を設け、前記動画閾値を上回ったフレームに対して符号化非実施とすることを特徴とする信号処理装置。
7. 請求項１記載の信号処理装置において、
   前記符号化判断処理部は、前記符号化判断用閾値として静止画閾値と動画閾値とを設け、前記静止画閾値を下回ったフレームと前記動画閾値を上回ったフレームとに対して、符号化非実施とすることを特徴とする信号処理装置。
8. 請求項１記載の信号処理装置において、
   前記符号化判断処理部にて符号化非実施と判断された場合、前記符号化処理部にて符号化を行わず、前記フレームスキップ制御部にてスキップドマクロブロックだけで構成されたダミーフレームを挿入することを特徴とする信号処理装置。
9. 請求項１記載の信号処理装置において、
   前記符号化判断処理部は、符号化判断を行うフレームについて、ストリームのピクチャ構成に応じてスキップするピクチャタイプを選択することを特徴とする信号処理装置。
10. 請求項１記載の信号処理装置において、
    前記符号化判断処理部にて判断に使用する前記符号化判断用閾値を、生成するストリームのビットレート、フレームレート、又は画像解像度に応じて変更することを特徴とする信号処理装置。
11. 請求項１記載の信号処理装置において、
    前記符号化判断処理部にて動きが小さいと判断された場合、又は動きが大きいと判断された場合には、判断されたフレームより、以降複数フレーム間、一定の間隔でフレームスキップを実行することを特徴とする信号処理装置。
12. 請求項１記載の信号処理装置において、
    前記符号化判断処理部にて前記符号化判断用閾値を多段階に設け、連続してスキップするフレーム数を変化させることを特徴とする信号処理装置。
13. 請求項１記載の信号処理装置において、
    前記符号化判断処理部は、前記画像移動情報の代わりに、前記符号化処理部から取得したフレーム内のイントラマクロブロック数と、前記符号化処理部から取得したフレーム内の動きベクトル量と、前記符号化処理部から取得した符号量及び量子化パラメータ値とのうちいずれかを使用して符号化実施判断を行うことを特徴とする信号処理装置。