JP2013026952A - 画像処理方法、エンコード装置、デコード装置および画像処理装置 - Google Patents

Abstract

【課題】高速画像データの信号処理用のハードウェアの規模縮小、画像の伝送効率の向上を図る。
【解決手段】 分離ステップでは、所定のフレームレートの画像が１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離される。差分算出ステップでは、分離された第２のフレームの低周波成分と第１のフレームの低周波成分との差分が算出される。信号処理ステップでは、第１のフレームに対してユーザにより指示された信号処理が行われる。第１の復元ステップでは、信号処理が施された第１のフレームの低周波成分と差分を用いて、信号処理が近似的に施された第２のフレームの低周波成分が復元される。そして第２の復元ステップでは、生成された第２のフレームの低周波成分と当該第２のフレームの高周波成分とから信号処理が近似的に施された第２のフレームが復元される。
【選択図】図４

Description

本技術は、例えば高速度カメラにより撮影された高速画像などの処理を行う場合に好適な画像処理方法、エンコード装置、デコード装置および画像処理装置に関する。

近年、画像のスローモーション再生を実現するために、通常のカメラのフレームレート（毎秒２４フレーム、毎秒３０フレーム）をはるかに凌ぐ毎秒数百フレームから数千フレームといった高フレームレートで撮影をすることのできる高速度カメラが登場してきている。

例えば、特許文献１には、高速度カメラによって撮影された高速映像を取り込み、信号処理を行い、スローモーション再生を行うことのできるデータ処理装置に関する技術が開示されている。この特許文献１のデータ処理装置は、高速度カメラにより撮影された高速映像をｎフレーム単位に分割し、それぞれ分割されたフレームをデータ記憶手段に記憶する。データ処理装置は、データ記憶手段からフレームを読み出して圧縮符号化してストリームデータとしてデータ記憶手段に記録する。データ記憶手段に記録されたストリームデータは、データ処理装置内のデコード手段によってデコードされて表示装置に供給されることで、表示される。この特許文献１のデータ処理装置によれば、カメラ出力信号を独立したフレームで分けて処理することによって、カメラ出力信号を直接受けて一連の処理を行う場合に比較して、高性能な処理手段が必要でなくなる、という効果が謳われている。

特開２０１０−２７８４８１号公報

高速度カメラによって撮影された画像データ（以下「高速画像データ」と呼ぶ。）のデータ量は膨大になるため、これに画像処理として一般的な信号処理を施すとなると、信号処理のためのトータルの演算量も膨大になってくる。昨今、ＣＰＵなどの演算処理装置の高速化は目覚しいとは言え、毎秒数百フレームから数千フレームといった高フレームレートの高速画像に対して、時間的な制約が与えられる中で画像処理を行わねばならないとなると、求められるハードウェア資源の大規模化は避けられなかった。

以上のような事情に鑑み、本技術の目的は、信号処理用のハードウェアの規模縮小、画像の伝送効率の向上を図ることのできる画像処理方法、エンコード装置、デコード装置および画像処理装置を提供することにある。

上記の課題を解決するために、本技術の一形態である画像処理方法は、分離ステップ、差分算出ステップ、信号処理ステップ、第１の復元ステップ、第２の復元ステップを有する。分離ステップでは、所定のフレームレートの画像が１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離される。差分算出ステップでは、前記分離された第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分が算出される。信号処理ステップでは、前記第１のフレームに対してユーザにより指示された信号処理が行われる。第１の復元ステップでは、前記信号処理が施された第１のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第２のフレームの低周波成分が復元される。そして第２の復元ステップでは、前記復元された第２のフレームの低周波成分と当該第２のフレームの高周波成分とから前記信号処理が近似的に施された第２のフレームが復元される。

この画像処理方法によれば、第１のフレームの信号処理が行われるだけで、再生画像の全体にその信号処理を近似的に施すことができる。これにより、信号処理部の規模を縮小することができ、消費電力も低減させることができる。また、この画像処理方法によれば、第２のフレームの伝送符号量が低減するので画像の伝送効率が向上する。

この画像処理方法は、前記第２のフレームの低周波成分において前記信号処理が施される前の前記第１のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第２の信号処理ステップを含むものであってよい。これにより第２のフレームに対する信号処理の品質を向上させることができ、第１のフレームおよび第２のフレームを連続的に再生した場合の画質の向上を期待できる。

この画像処理方法は、前記分離された少なくとも第２のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第２のフレームを復元するステップを含むものであってよい。これにより、特に第２のフレーム中のすべての画素に対して信号処理が行われなくても、フレーム全体に信号処理が施されたものに近い画像が得られる。また、これにより第２のフレームに対する信号処理の品質を向上させることができ、第１のフレームおよび第２のフレームを連続的に再生した場合の画質の向上を期待できる。

本技術の他の形態であるエンコード装置は、所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、前記分離された第１のフレームおよび第２のフレームをそれぞれ低周波成分と高周波成分に分解する第１の周波数分解部と、前記第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第２のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、前記圧縮符号化された差分データおよび第２のフレームの高周波成分と、前記信号処理が施された第１のフレームを伝送する伝送部とを具備する。

本技術の他の形態であるデコード装置は、所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、前記分離された第１のフレームおよび第２のフレームをそれぞれ低周波成分と高周波成分に分解する第１の周波数分解部と、前記第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第２のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、前記圧縮符号化された差分データおよび第２のフレームの高周波成分と、前記信号処理が施された第１のフレームを伝送する伝送部とを具備するエンコード装置より伝送された情報をデコードするデコード装置であって、前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第２のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第１のフレームとに分離する分離部と、前記分離された差分データの圧縮符号系列および前記分離された第２のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、前記伸張された差分データと前記信号処理が施された第１のフレームの低周波成分とから前記信号処理が近似的に施された前記第２のフレームの低周波成分を復元する低周波成分復元部と、前記復元された第２のフレームの低周波成分と前記伸張された第２のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第２のフレームを復元するフレーム復元部とを具備する。

本技術の他の形態である画像処理方法は、分離ステップ、信号処理ステップ、復元ステップを有する。分離ステップでは、所定のフレームレートの画像が１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離される。信号処理ステップでは、前記分離された第１のフレームに対してユーザにより指示された信号処理が行われる。復元ステップでは、前記分離された第２のフレームと前記信号処理が施される前の第１のフレームとが画素単位で比較され、閾値以上の差分が検出された画素に対して前記信号処理が行われるとともに、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第１のフレームの同一位置の画素の値を与えることによって前記信号処理が近似的に施された第２のフレームが復元される。これにより、信号処理部の規模を縮小することができ、消費電力も低減させることができる。

本技術の他の形態である画像処理装置は、所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、前記分離された第２のフレームと前記信号処理が施される前の第１のフレームとを画素単位で比較する比較部と、閾値以上の差分が検出された画素に対して前記信号処理を行う第３の信号処理部と、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第１のフレームの同一位置の画素の値を与えるコピー処理部と、前記第３の信号処理部の出力と前記コピー処理部の出力とを結合して前記信号処理が近似的に施された第２のフレームを復元する結合部とを具備する。

以上のように、本技術によれば、信号処理用のハードウェアの規模縮小、画像の伝送効率の向上を図ることができる。

本技術に係る実施形態の高速画像データおよび高速画像データに対するエンコード処理の概要を示す図である。 本技術に係る第１の実施形態のエンコード装置の構成を示すブロック図である。 図２のエンコード装置の動作を示すフローチャートである。 図２のエンコード装置による１６倍速の高速画像データに対する処理を示す図である。 図２のエンコード装置と組み合わせて用いられるデコード装置の構成を示すブロック図である。 本技術に係る第２の実施形態のエンコード装置の構成を示すブロック図である。 図６のエンコード装置の動作のフローチャートである。 本技術に係る第３の実施形態のエンコード装置の構成を示すブロック図である。 図８のエンコード装置の動作のフローチャートである。 画像を水平方向に走査して特徴点を抽出する方法を説明する図である。 画素間の差分が閾値以内に収まる矩形領域を１つのグループとし、グループ毎に１つの画素を特徴点として抽出する方法を説明する図である。 ウェーブレット変換によって特徴点として抽出する方法を説明する図である。 本技術に係る第４の実施形態の画像処理装置の構成を示すブロック図である。 本実施形態の画像処理装置の動作のフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
本実施形態は、高速画像データの信号処理に好適な画像処理方法、エンコード装置、デコード装置および画像処理装置に関するものである。

（高速画像データについて）
まず、高速画像データについて説明する。
高速画像データは、高速度カメラにより撮影された映像データである。典型的なカメラによる撮影は毎秒２４コマ、毎秒３０コマで行われるのに対し、高速度カメラは、例えば、毎秒数百コマ、毎秒数千コマ、毎秒数万コマといった高フレームレートによる撮影を行うことのできるカメラである。このような高速度カメラにより、例えば毎秒１２０コマで撮影された画像を毎秒３０コマの通常の速度で再生することによって、等倍速（１倍速）の１／４の速度での高精細なスロー再生が実現される。また、毎秒１２０コマの速度で撮影された高速画像データを１倍速で再生するには、図１に示すように、１／４の周期でフレームを再生すればよい。以下の説明において、１倍速で再生する場合に処理されるフレームを「１倍速フレーム」（第１のフレーム）、その他のフレームを「非１倍速フレーム」（第２のフレーム）と呼ぶ。

（エンコード装置の概要）
本実施形態のエンコード装置は、上記のような高速画像データに対して信号処理を施すとき、１倍速フレームに対してユーザにより指示された種類の信号処理を行う。エンコード装置は、その一方で、全てのフレームを周波数分解により低周波成分と高周波成分とに分解し、非１倍速フレームの高周波成分を圧縮符号化する。さらに、エンコード装置は、非１倍速フレーム毎に、この非１倍速フレームの低周波成分と直前の１倍速フレームの低周波成分との差分データを求め、この差分データを圧縮符号化する。そして、エンコード装置は、非１倍速フレームの差分データの圧縮符号系列と高周波成分の圧縮データとを結合し、上記の１倍速フレームの信号処理結果とともに伝送する。

（デコード装置の概要）
一方、本実施形態のデコード装置は、伝送されてきた画像情報を、信号処理が施された１倍速フレーム、非１倍速フレームの高周波成分の圧縮データ、非１倍速フレームの低周波波成分の差分データの圧縮符号系列に分離する。デコード装置は、分離された非１倍速フレームの高周波成分の圧縮データおよび低周波波成分の差分データの圧縮符号系列をそれぞれ伸張する。デコード装置は、伸張した低周波波成分の差分データと、信号処理が施された１倍速フレームの低周波成分とから当該信号処理が近似的に施された非１倍速フレームの低周波成分を復元する。そしてデコード装置は、復元された非１倍速フレームの低周波成分と非１倍速フレームの高周波成分とから周波数逆分解によって、信号処理が施された非１倍速フレームを復元し、信号処理が施された１倍速フレームと組み合わせて復元画像として出力する。

＜第１の実施形態＞
次に、本技術に係る第１の実施形態を詳細に説明する。
［エンコード装置の構成］
図２は、本技術に係る第１の実施形態のエンコード装置の構成を示すブロック図である。
このエンコード装置１００は、フレーム分離部１０１、第１の信号処理部１０３、第１のウェーブレット変換部１０５、第１のバッファ１０７、差分生成部１０９、第１のエントロピー符号化部１１１、第２のエントロピー符号化部１１３、第１の結合部１１５、伝送部１１７を備える。

フレーム分離部１０１は、図示しない高速度カメラより入力された高速画像データから１倍速フレームを分離して第１の信号処理部１０３に供給するとともに、１倍速フレームを含む全てのフレームを第１のウェーブレット変換部１０５に供給する。

第１の信号処理部１０３は、１倍速フレームに対して予めユーザにより指定された信号処理を施す。信号処理の種類については後で説明する。

第１のウェーブレット変換部１０５（周波数分解部）は、フレーム分離部１０１より供給されたフレームに対して周波数分解によるウェーブレット変換を行う。ウェーブレット変換では、画像は低周波成分と、Ｘ方向高周波成分、Ｙ方向高周波成分、ＸＹ方向高周波成分に分離される。第１のウェーブレット変換部１０５は、１倍速フレームに対するウェーブレット変換によって得た低周波成分を第１のバッファ１０７に保存する。また、第１のウェーブレット変換部１０５は非１倍速フレームに対するウェーブレット変換によって得た低周波数成分を差分生成部１０９に供給し、Ｘ方向高周波成分、Ｙ方向高周波成分、ＸＹ方向高周波成分を第２のエントロピー符号化部１１３に供給する。

第１のバッファ１０７は、１倍速フレームに対する第１のウェーブレット変換部１０５によるウェーブレット変換により得られた低周波成分を保持する。

差分生成部１０９は、非１倍速フレームに対する第１のウェーブレット変換部１０５によるウェーブレット変換により得られた低周波成分と、第１のバッファ１０７に保持された１倍速フレームの低周波成分との差分データを生成して第１のエントロピー符号化部１１１に供給する。

第１のエントロピー符号化部１１１（圧縮符号化部）は、差分生成部１０９により生成された差分データをエントロピー符号化によって圧縮符号化する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。

第２のエントロピー符号化部１１３（圧縮符号化部）は、非１倍速フレームに対する第１のウェーブレット変換部１０５によるウェーブレット変換により得られた高周波成分をエントロピー符号化によって圧縮する。

第１の結合部１１５は、第１のエントロピー符号化部１１１の出力である、非１倍速フレームの低周波成分の差分圧縮データと第２のエントロピー符号化部１１３の出力である非１倍速フレームの高周波成分の圧縮データとを結合して伝送部１１７に供給する。

伝送部１１７は、第１の信号処理部１０３により信号処理が施された非圧縮の１倍速フレーム、第１の結合部１１５により結合された非１倍速フレームの圧縮データをそれぞれ伝送する。

［エンコード装置１００の動作］
次に、このエンコード装置１００の動作を説明する。
図３はエンコード装置１００の動作を示すフローチャートである。
まず、エンコード装置１００内のレジスタおよびメモリの初期化処理が行われる（ステップＳ１０１）。

初期化が完了すると、例えば図示しない高速度カメラから高速画像データが入力される（ステップＳ１０２）。
フレーム分離部１０１は、入力された高速画像データから１倍速フレームを分離して第１の信号処理部１０３に供給する一方、１倍速フレームを含む全てのフレームを第１のウェーブレット変換部１０５に供給する（ステップＳ１０３）。

第１の信号処理部１０３は、供給された１倍速フレームに対して予め指定された信号処理を行い（ステップＳ１０４）、その結果を伝送部１１７に供給する。これにより１倍速フレームの信号処理結果の伝送が行われる（ステップＳ１１１）。

一方、第１のウェーブレット変換部１０５は、１倍速フレームが入力されたときと非１倍速フレームが入力されたときとで異なる動作をする。
第１のウェーブレット変換部１０５に１倍速フレームが入力された場合、第１のウェーブレット変換部１０５は、その１倍速フレームのウェーブレット変換を行い（ステップＳ１０５）、１倍速フレームの低周波成分を第１のバッファ１０７に保存する（ステップＳ１０６）。

また、第１のウェーブレット変換部１０５に非１倍速フレームが入力された場合、第１のウェーブレット変換部１０５は、その非１倍速フレームのウェーブレット変換を行い（ステップＳ１０７）、非１倍速フレームの低周波成分を差分生成部１０９に供給し、高周波成分を第２のエントロピー符号化部１１３に供給する。非１倍速フレームの高周波成分は、第２のエントロピー符号化部１１３にて圧縮符号化され（ステップＳ１０８）、第１の結合部１１５に供給される。

一方、差分生成部１０９は、第１のウェーブレット変換部１０５より供給された非１倍速フレームの低周波成分と、第１のバッファ１０７に保持されている１倍速フレームの低周波成分との差分を求める（ステップＳ１０９）。この差分データは、第１のエントロピー符号化部１１１によるエントロピー符号化によって圧縮符号化された後（ステップＳ１１０）、第１の結合部１１５にて、非１倍速フレームの高周波成分の圧縮データと結合され、伝送部１１７によって伝送される（ステップＳ１１１）。

そして以上の動作が、図示しない高速度カメラからの高速画像データが入力される間繰り返される（ステップＳ１１２）。

図４はエンコード装置１００による１６倍速（毎秒１６コマ）の高速画像データに対する処理を示す図である。
なお、個々のフレームの左隅には便宜的にフレーム番号（１−１６）を示してある。実際の画像にはこのフレーム番号は存在しない。

ここで、フレーム番号＝１のフレームを１倍速フレームとする。この１倍速フレームは非圧縮のまま伝送される。フレーム番号＝２−１６の計１５個のフレームが非１倍速フレームとして処理される。フレーム番号＝１−１６の全てのフレームは第１のウェーブレット変換部１０５にてウェーブレット変換される。ウェーブレット変換により得られた１倍速フレームの低周波成分は第１のバッファ１０７に保持され、差分生成部１０９によって、この第１のバッファ１０７に保持された低周波成分と、フレーム番号＝２−１６それぞれのフレームの低周波成分との差分データが差分生成部１０９にてそれぞれ求められる。求められた各差分データは第１のエントロピー符号化部１１１にてそれぞれ圧縮符号化される。そして各フレームの差分データは、それぞれ第２のエントロピー符号化部１１３にて圧縮符号化された同一フレームの高周波成分のデータと結合され、伝送部１１７により伝送される。

［デコード装置の構成］
次に、上記の実施形態のエンコード装置１００と組み合わせて用いられるデコード装置について説明する。
図５はデコード装置の構成を示すブロック図である。

このデコード装置２００は、分離部２０１、第２のウェーブレット変換部２０３、第２のバッファ２０５、第１のエントロピー逆符号化部２０７、第２のエントロピー逆符号化部２０９、復元処理部２１１、第２の結合部２１３、ウェーブレット逆変換部２１５、画像出力部２１７を備える。

分離部２０１は、エンコード装置１００より伝送された画像圧縮データから、信号処理が施された非圧縮の１倍速フレーム、非１倍速フレームの低周波成分の差分圧縮データ、非１倍速フレームの高周波成分の圧縮データをそれぞれ分離する。

第２のウェーブレット変換部２０３は、分離部２０１により分離された非圧縮の１倍速フレームに対して周波数分解によるウェーブレット変換を行い、このウェーブレット変換により得た１倍速フレームの低周波成分を第２のバッファ２０５に保持させる。

第１のエントロピー逆符号化部２０７（伸張部）は、分離部２０１により分離された差分圧縮データをエントロピー逆符号化によって伸張する。

第２のエントロピー逆符号化部２０９（伸張部）は、分離部２０１により分離された高周波成分の圧縮データをエントロピー逆符号化によって伸張する。

復元処理部２１１（低周波成分復元部）は、第１のエントロピー逆符号化部２０７によって伸張された差分データと第２のバッファ２０５に保持された非圧縮の１倍速フレームの低周波成分とから、信号処理が近似的に施された非１倍速フレームの低周波成分を復元する。

第２の結合部２１３は、復元処理部２１１によって得られた非１倍速フレームの低周波成分と第２のエントロピー逆符号化部２０９によって得られた非１倍速フレームの高周波成分とを１フレーム分のウェーブレット変換画像として結合する。

ウェーブレット逆変換部２１５（フレーム復元部）は、第２の結合部２１３によって結合されたウェーブレット変換画像から非１倍速フレームを復元し、画像出力部２１７に供給する。

画像出力部２１７は、分離部２０１により分離された非圧縮の１倍速フレームおよびウェーブレット逆変換部２１５により得られた非１倍速フレームを復元画像として出力する。

［デコード装置２００の動作］
次に、このデコード装置２００の動作を説明する。
まず、デコード装置２００内のレジスタおよびメモリの初期化処理が行われる。
この後、分離部２０１に、上記のエンコード装置１００より伝送された圧縮画像が入力される。

分離部２０１にて分離された非圧縮の１倍速フレームはそのまま画像出力部２１７に供給される。したがって、デコード装置２００に対してユーザより１倍速の画像再生が指示されている場合には、入力された圧縮画像の中から非圧縮の１倍速フレームのみを分離部２０１にて分離して画像出力部２１７に供給すればよい。

デコード装置２００に対してユーザよりスロー再生が指示されている場合、分離部２０１は、圧縮画像の中から非圧縮の１倍速フレーム、非１倍速フレームの低周波成分の差分圧縮データ、非１倍速フレームの高周波成分の圧縮データをそれぞれ分離する。分離部２０１にて分離された非圧縮の１倍速フレームは、画像出力部２１７に供給されるとともに第２のウェーブレット変換部２０３に供給される。第２のウェーブレット変換部２０３は非圧縮の１倍速フレームに対するウェーブレット変換によって得た低周波成分を第２のバッファ２０５に供給して保持させる。

また、分離部２０１にて分離された非１倍速フレームの低周波成分の差分圧縮データは、第１のエントロピー逆符号化部２０７にて伸張され、低周波成分の差分データとなって復元処理部２１１に供給される。復元処理部２１１は、低周波成分の差分データを受け取ると、第２のバッファ２０５から１倍速フレームの低周波成分を読み込み、この１倍速フレームの低周波成分と非１倍速フレームの低周波成分の差分データとから、信号処理が近似的に施された非１倍速フレームの低周波成分を復元する。この復元処理は、例えば、１倍速フレームの低周波成分から差分データを差し引くことなどによって行われる。非圧縮の１倍速フレームは、エンコード装置１００にて信号処理が施されたものであるため、復元処理部２１１にて復元される非１倍速フレームの低周波成分は信号処理が近似的に施されたものとなる。このようにして復元された非１倍速フレームの低周波成分は第２の結合部２１３に供給される。

さらに、分離部２０１にて分離された非１倍速フレームの高周波成分の圧縮データは、第２のエントロピー逆符号化部２０９によって伸張されて第２の結合部２１３に供給される。第２の結合部２１３は、復元処理部２１１によって復元された非１倍速フレームの低周波成分と第２のエントロピー逆符号化部２０９によって伸張された非１倍速フレームの高周波成分とを結合してウェーブレット逆変換部２１５に供給する。ウェーブレット逆変換部２１５は、供給された非１倍速フレームの低周波成分と高周波成分からウェーブレット逆変換によって非１倍速フレームを復元して画像出力部２１７に供給する。これにより、画像出力部２１７から非１倍速フレームが出力される。

画像出力部２１７からは、１倍速フレームと非１倍速フレームとがフレーム番号の順に連続して出力され、これが繰り返されることで、スロー再生の画像の出力が得られる。

上記の実施形態によれば、１倍速フレームの信号処理を行うだけで、スロー再生画像の全体にその信号処理を近似的に施すことができる。これにより、高速画像の信号処理を行うために必要な信号処理部の規模を縮小することができ、消費電力も低減させることができる。また、本実施形態によれば、ハードウェアの規模の縮小の効果とともに、非１倍速フレームの伝送符号量を低減することができ、高速画像の伝送効率を向上させることができる。

＜第２の実施形態＞
次に、本技術に係る第２の実施形態であるエンコード装置１００Ａを説明する。
第２の実施形態のエンコード装置１００Ａは、１倍速フレームの信号処理を行うとともに、非１倍速フレームの低周波成分において１倍速フレームの低周波成分との差分が閾値より大きい部分に対しても信号処理を行う点に特徴がある。

図６は本技術に係る第２の実施形態のエンコード装置１００Ａの構成を示すブロック図である。図７は本実施形態のエンコード装置１００Ａの動作のフローチャートである。
本実施形態のエンコード装置１００Ａは、第２の信号処理部１０８Ａが追加されている点で、第１の実施形態のエンコード装置１００と構成が異なる。その他の構成は、符号の末尾に"Ａ"を付けただけで、第１の実施形態のエンコード装置１００と同じである。

第２の信号処理部１０８Ａは、第１のウェーブレット変換部１０５Ａより出力される、非１倍速フレームの低周波成分と、第１のバッファ１０７Ａに保持された１倍速フレームの低周波成分との差分が閾値以上の部分を判定し（ステップＳ２０７−１）、その部分に対して信号処理を行い（ステップＳ２０７−２）、その他の部分はスルーさせる。第２の信号処理部１０８Ａの出力は差分生成部１０９に与えられる。差分生成部１０９Ａは、第２の信号処理部１０８Ａの出力と第１のバッファ１０７Ａから読み込んだ１倍速フレームの低周波成分との差分データを求め、第１のエントロピー符号化部１１１に供給する（ステップＳ２０９）。以後の動作は、第１の実施形態のエンコード装置１００Ａと同様である。

このように本実施形態では、第１の信号処理部１０３Ａにて１倍速フレームの信号処理が行われるとともに、第２の信号処理部１０８Ａにて第１のウェーブレット変換部１０５Ａより出力される、非１倍速フレームの低周波成分と、第１のバッファ１０７Ａに保持された１倍速フレームの低周波成分との差分が閾値より大きい部分に対して信号処理が行われる。これにより、第１の実施形態のように、１倍速フレームに対してのみ信号処理を施す場合に比較してトータルの信号処理量はやや増大するものの、非１倍速フレームに対する信号処理の品質を向上させることができる。これによりスロー再生時の画質の向上を期待できる。

なお、このエンコード装置１００Ａによって得られる圧縮画像は、第１の実施形態のデコード装置２００によって復元されることが可能である。

＜第３の実施形態＞
次に、本技術に係る第３の実施形態であるエンコード装置を説明する。
図８は本技術に係る第３の実施形態のエンコード装置１００Ｂの構成を示すブロック図である。図９は本実施形態のエンコード装置１００Ｂの動作のフローチャートである。
本実施形態のエンコード装置１００Ｂは、フレーム内圧縮信号処理部１０２Ｂが追加されている点で、第２の実施形態のエンコード装置１００Ｂと構成が異なる。その他の構成は、その他の構成は、符号の末尾が"Ａ"から"Ｂ"に変更されただけであり、第２の実施形態のエンコード装置１００Ａと同じである。

フレーム内圧縮信号処理部１０２Ｂは、全てのフレームについて、画像を特徴付ける１以上の画素の位置を特徴点として抽出する。フレーム内圧縮信号処理部１０２Ｂは、抽出した特徴点である画素に対して信号処理を行い、この信号処理の結果をもとに補間値を作成して、特徴点以外の画素の値を補間値で書き換える。これにより、フレームのすべての画素に対して信号処理を行わなくても、全画素に対して信号処理を行った結果と略同じ画像が得られる。

図１０ないし図１２は画像の周波数成分を解析して特徴点を抽出する方法を説明する図である。
特徴点の抽出方法には例えば以下がある。
Ａ．フレーム内圧縮信号処理部１０２Ｂは、画像を水平方向（または垂直方向）に走査して、走査方向に隣り合う画素間の差分が閾値以内に収まる領域を１つの画素グループとし、画素グループ毎に１つの画素を特徴点とする。ここで、閾値は信号処理の種類に応じて適宜選定される値である（図１０参照）。
Ｂ．フレーム内圧縮信号処理部１０２Ｂは、水平および垂直方向に隣り合う画素間の差分が閾値以内に収まる矩形領域を１つのグループとし、矩形領域（グループ）毎に１つの画素を特徴点とする（図１１参照）。
Ｃ．フレーム内圧縮信号処理部１０２Ｂは、例えば、２×２画素の領域毎、および４×４画素の領域毎にウェーブレット変換によって低周波成分と高周波成分とに分解する。２×２画素の領域および４×４画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値（例えば、平均値、最大値など）が閾値以内に収まる最大画素数の領域を１つのグループとし、そのグループから１以上の画素を特徴点として判定する。また、２×２画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値（例えば、平均値、最大値など）が閾値以内に収まらない場合、フレーム内圧縮信号処理部１０２Ｂは、その２×２画素を全て特徴点とする（図１２参照）。なお、図１２では、２×２画素の領域と４×４画素の領域のウェーブレット変換までを行うこととしたが、さらに多くの画素数の領域毎にウェーブレット変換を行って特徴点の抽出を行ってもよい。

本実施形態の以下の説明においては、上記のＡの方法を採用して特徴点の抽出を行う場合について詳述するが、他の抽出方法の場合も同様である。

図１０において、フレーム内圧縮信号処理部１０２Ｂは、入力された画像において走査方向に隣り合う画素間の差分をＰ１−Ｐ２間、Ｐ２−Ｐ３間、Ｐ３−Ｐ４間、・・・の順に求めて行く。図１０の画像において、１つの四角形は１つの画素に対応しており、四角形内の模様が同一であることは走査方向に隣り合う画素間の差分が閾値以内に収まることを意味する。また、走査方向に連続して同一の模様を有する１以上の画素は１つの画素グループを形成することを意味する。例えば、Ｐ１からＰ５までの画素列は画素グループＧ１を形成し、Ｐ６は画素グループＧ２を形成し、Ｐ７からＰ１３までの画素列は画素グループＧ３を形成する。本例では、計１２個の画素グループＧ１−Ｇ１２がフレーム内圧縮信号処理部１０２Ｂによって判定される。

そしてフレーム内圧縮信号処理部１０２Ｂは、画素グループ毎にいずれか１つの画素を特徴点として判定する。例えば、図１０は、画素グループ毎に走査方向において先頭の画素を特徴点Ｃ１−Ｃ１２とする場合を示している。

フレーム内圧縮信号処理部１０２Ｂは、フレーム中の特徴点である画素に対して、ユーザにより指定された信号処理を行い、この信号処理の結果を用いて特徴点以外の画素の値を補間する（図９のステップＳ３０３−１）。例えば、特徴点の信号処理の結果を用いて、当該特徴点が属する画素グループ内の特徴点以外の画素の値を補間する方法などがある。補間方法としては、特徴点の信号処理の結果をそのまま特徴点以外の画素に与えるコピー方法等があるが、本技術はこれに限定されない。

フレーム内圧縮信号処理部１０２Ｂの後段では、フレーム内圧縮信号処理部１０２Ｂの出力に対して、第１のウェーブレット変換部１０５Ｂ、第２の信号処理部１０８Ｂ、差分生成部１０９Ｂ、第１のエントロピー符号化部１１１Ｂ、第２のエントロピー符号化部１１３Ｂによるそれぞれの処理が第２の実施形態のエンコード装置１００Ａと同様に行われる。

本実施形態のエンコード装置１００Ｂによれば、フレーム内圧縮信号処理部１０２Ｂが、特に非１倍速フレーム中の画像の特徴点である画素に対して信号処理を行い、この信号処理の結果をもとに作成した補間値で特徴点以外の画素の値を書き換える。これによって、非１倍速フレーム中のすべての画素に対して信号処理を行わなくても、非１倍速フレーム全体に信号処理が施されたものに近い画像を得ることができる。また、これにより非１倍速フレームに対する信号処理の品質を向上させることができ、スロー再生時の画質の向上を期待できる。

さらに、非１倍速フレームの低周波成分について、１倍速フレームの低周波成分との差分の大きい部分については、第２の信号処理部１０８Ｂにて別途信号処理が行われることで、スロー再生時の画質のさらなる向上を期待できる。

＜第４の実施形態＞
次に、本技術に係る第４の実施形態を説明する。
これまで説明してきた実施形態のエンコード装置は、非１倍速フレームに対してウェーブレット変換とエントロピー符号化の技術を採用している。しかしながら、高速画像の信号処理のためのトータルの演算量を低減することに課題を絞った場合には、必ずしもウェーブレット変換およびエントロピー符号化の技術は必須ではない。そこで、高速画像の信号処理のためのトータルの演算量を低減することに目的を絞った画像処理装置について次に説明することにする。

図１３は本技術に係る第４の実施形態の画像処理装置の構成を示すブロック図である。
この画像処理装置１００Ｃは、フレーム分離部１０１Ｃ、第１の信号処理部１０３Ｃ、第１のフレームバッファ１０７Ｃ、第２のフレームバッファ１１９Ｃ、差分判定部１０９Ｃ、第３の信号処理部１２１Ｃ、コピー処理部１２３Ｃ、第１の結合部１１５Ｃ、伝送部１１７Ｃを備える。

フレーム分離部１０１Ｃは、図示しない高速度カメラより入力された高速画像データから１倍速フレームを分離して第１の信号処理部１０３Ｃに供給する。

第１の信号処理部１０３Ｃは、フレーム分離部１０１Ｃによって分離された１倍速フレームに対してユーザにより指定された信号処理を行う。

第１のフレームバッファ１０７Ｃは、フレーム分離部１０１Ｃによって分離された１倍速フレームを保持する。

第２のフレームバッファ１１９Ｃは、第１の信号処理部１０３Ｃによって信号処理が施された１倍速フレームを保持する。

差分判定部１０９Ｃ（比較部）は、フレーム分離部１０１Ｃによって分離された非１倍速フレームについて第１のフレームバッファ１０７Ｃから読み込んだ１倍速フレームとの間で閾値以上の差分があることが判定された画素について第３の信号処理部１２１Ｃに信号処理を依頼し、閾値以上の差分がないことが判定された画素についてコピー処理部１２３Ｃにコピー処理を依頼する。

第３の信号処理部１２１Ｃは、差分判定部１０９Ｃから依頼に応じて、対象の画素に対して第１の信号処理部１０３Ｃと同じ信号処理を行い、その結果を第１の結合部１１５Ｃに供給する。

コピー処理部１２３Ｃは、差分判定部１０９Ｃから依頼に応じて、対象の画素に対して、第２のフレームバッファ１１９Ｃに保持された信号処理済みのフレームにおける同一位置の画素の値を与え、その結果を第１の結合部１１５Ｃに供給する。

第１の結合部１１５Ｃは、第３の信号処理部１２１Ｃの出力とコピー処理部１２３Ｃの出力とを結合して信号処理が近似的に施された非１倍速フレームを作成する。

伝送部１１７Ｃは、第１の信号処理部１０３Ｃより供給された１倍速フレーム、第１の結合部１１５Ｃより供給された非１倍速フレームを伝送する。

［画像処理装置１００Ｃの動作］
図１４は本実施形態の画像処理装置１００Ｃの動作のフローチャートである。
まず、画像処理装置１００Ｃ内のレジスタおよびメモリの初期化処理が行われる（ステップＳ４０１）。初期化が完了すると、例えば図示しない高速度カメラから高速画像データが入力される（ステップＳ４０２）。

フレーム分離部１０１Ｃは、入力された高速画像データから１倍速フレームを分離して第１の信号処理部１０３Ｃおよび第１のフレームバッファ１０７Ｃに供給する一方、非１倍速フレームを差分判定部１０９Ｃに供給する（ステップＳ４０３）。これにより、第１のフレームバッファ１０７Ｃに１倍速フレームが保持される（ステップＳ４０４）。この第１のフレームバッファ１０７Ｃに保持された１倍速フレームは次の新たな１倍速フレームがフレーム分離部１０１Ｃより供給されるまで保持される。

第１の信号処理部１０３Ｃは、フレーム分離部１０１Ｃより供給された１倍速フレームに対して予め指定された信号処理を行い、その結果を伝送部１１７Ｃに供給する（ステップＳ４０５）。これにより信号処理が施された１倍速フレームが伝送される（ステップＳ４１１）。また、信号処理が施された１倍速フレームは第２のフレームバッファ１１９Ｃに供給されて保持される（ステップＳ４０６）。

一方、差分判定部１０９Ｃは、フレーム分離部１０１Ｃより供給された非１倍速フレームについて、第１のフレームバッファ１０７Ｃに保持された１倍速フレームとの差分を判定する。差分判定部１０９Ｃは、閾値以上の差分が判定された画素について第３の信号処理部１２１Ｃに信号処理を依頼し、閾値以上の差分が判定されない画素についてコピー処理部１２３Ｃにコピー処理を依頼する（ステップＳ４０７）。

第３の信号処理部１２１Ｃは、差分判定部１０９Ｃからの依頼に応じて、対象の画素に対して信号処理を行い（ステップＳ４０９）、その結果を第１の結合部１１５Ｃに供給する。一方、コピー処理部１２３Ｃは、差分判定部１０９Ｃからの依頼に応じて、対象の画素に対して第２のフレームバッファ１１９Ｃに保持された信号処理済みのフレームにおける同一位置の画素の値を与え（ステップＳ４０８）、その結果を第１の結合部１１５Ｃに供給する。

第３の信号処理部１２１Ｃの出力とコピー処理部１２３Ｃの出力は第１の結合部１１５Ｃにおいて空間的に結合され、この結果、信号処理が近似的に施された非１倍速フレームが復元される（ステップＳ４１０）。この後、信号処理が近似的に施された非１倍速フレームは伝送部１１７Ｃによって伝送される（ステップＳ４１１）。

以上の動作が、図示しない高速度カメラからの高速画像データが入力される間繰り返され（ステップＳ４１２）、信号処理が施された高速画像データが続けて伝送される。

なお、本実施形態の画像処理装置１００Ｃによって信号処理を施されて伝送された高速画像は、フレームを順番に処理するだけで再生される。

この実施形態の画像処理装置１００Ｃによれば、１倍速フレームと、非１倍速フレームにおいて１倍速フレームとの間で閾値以上の差分が判定された画素に対して信号処理を行うだけで、スロー再生画像の全体にその信号処理を近似的に施すことができる。これにより、本実施形態によっても、高速画像の信号処理を行うために必要な信号処理部の規模を縮小することができ、消費電力も低減させることができる。

［信号処理について］
上記の各実施形態の画像処理装置で、信号処理のためのトータルの演算量を低減できるとしたが、実際には信号処理の種類によって演算量の低減効果に違いがある。
画素の値に対する信号処理には、大きく分けて、１タップ（Ｔａｐ）で完了するデジタル信号処理と、１タップで完了しないデジタル信号処理とがある。１タップで完了するデジタル信号処理とは、例えば、ｎ番目の画素の信号処理アルゴリズムがそのｎ番目の画素の情報だけを用いる処理を言う。例えば、ホワイトバランス調整、ブラックバランス調整、ガンマ補正、Ｋｎｅｅ補正、ＷｈｉｔｅＣｌｉｐ補正、サチュレーション補正、輝度補正、マトリクス補正、オフセット処理、シェーディング補正、周辺光量落ち補正などが１タップで完了するデジタル信号処理である。１タップで完了しないデジタル信号処理とは、ｎ番目の画素の信号処理アルゴリズムが、そのｎ番目の画素の情報のみならず、例えば、座標空間においてｎ番目の画素の前後、上下、あるいは前後上下の周囲の画素の情報を使用するものである。例えば、ローパスフィルタ、ＤＮＲ（ノイズリダクション）、ハイパスフィルタ、ディテイル処理、倍率収差補正などが１タップで完了しないデジタル信号処理としてある。

上記の第１の実施形態から第３の実施形態のエンコード装置は非１倍速フレームの低周波成分について、信号処理が施される前の１倍速フレームの低周波成分との差分データを求める。エンコード装置はその差分データと信号処理が施された１倍速フレームの低周波成分の同一位置の画素の情報とから、信号処理が近似的に施された非１倍速フレームの低周波成分を生成する。このため、信号処理が１タップで完了するデジタル信号処理であれば、信号処理が近似的に施された非１倍速フレームの低周波成分を問題無く作成することができるが、１つの画素の情報を求めるために周囲の画素の情報を必要とする種類のデジタル信号処理（１タップでは完了しないデジタル信号処理）に関しては本実施形態は不向きである。

但し、１タップでは完了しないデジタル信号処理の中でもローパスフィルタ、ＤＮＲ（ノイズリダクション）などのローパス系の処理は例外である。その理由は次の通りである。上記の実施形態のエンコーダ装置では、非１倍速フレームの低周波成分の情報が差分データに置き換えられて伝送される。ここで、非１倍速フレームの低周波成分を、所定のビット数の差分データに置き換えることによって、その低周波成分中で最も高い周波数域の差分（微小な差分）が無視されることとなる。このように上記の第１の実施形態から第３の実施形態のエンコーダ装置は、低周波成分に対して定常的にローパス系として動作するので、第１の信号処理部にてローパス系の信号処理が１倍速フレームに対して行われる場合にも有効と言える。

以上、高速度カメラにより撮影された高速画像データを処理する方法および装置について説明してきたが、本技術は、典型的な映画用カメラ、ビデオカメラにより撮影された画像データを処理する装置にも、信号処理用のハードウェアの規模縮小等を図るために適用可能であることは言うまでもない。

なお、本技術は以下のような構成も採ることができる。
（１）所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離し、
前記分離された第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分を算出し、
前記第１のフレームに対してユーザにより指示された信号処理を行い、
前記信号処理が施された第１のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第２のフレームの低周波成分を復元し、
前記復元された第２のフレームの低周波成分と当該第２のフレームの高周波成分とから前記信号処理が近似的に施された第２のフレームを復元する
画像処理方法。
（２）前記（１）に記載の画像処理方法であって、
前記第２のフレームの低周波成分において前記信号処理が施される前の前記第１のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う
画像処理方法。
（３）前記（１）または（２）に記載の画像処理方法であって、
前記分離された少なくとも第２のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第２のフレームを復元する
画像処理方法。
（４） 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、
前記分離された第１のフレームおよび第２のフレームをそれぞれ低周波成分と高周波成分に分解する第１の周波数分解部と、
前記第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分データを生成する差分生成部と、
前記差分データおよび前記第２のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、
前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、
前記圧縮符号化された差分データおよび第２のフレームの高周波成分と、前記信号処理が施された第１のフレームを伝送する伝送部と
を具備するエンコード装置。
（５）前記（４）に記載のエンコード装置であって、
前記第２のフレームの低周波成分において前記第１のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第２の信号処理部
をさらに具備するエンコード装置。
（６）前記（４）または（５）に記載のエンコード装置であって、
前記分離された少なくとも第２のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第２のフレームを復元するフレーム内圧縮信号処理部を
さらに具備するエンコード装置。
（７） 前記（４）から（６）に記載のいずれかのエンコード装置より伝送された情報をデコードするデコード装置であって、
前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第２のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第１のフレームとに分離する分離部と、
前記分離された差分データの圧縮符号系列および前記分離された第２のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、
前記伸張された差分データと前記信号処理が施された第１のフレームの低周波成分とから前記信号処理が近似的に施された前記第２のフレームの低周波成分を復元する低周波成分復元部と、
前記復元された第２のフレームの低周波成分と前記伸張された第２のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第２のフレームを復元するフレーム復元部と
を具備するデコード装置。

１００、１００Ａ、１００Ｂ…エンコード装置
１００Ｃ…画像処理装置
１０１、１０１Ａ、１０１Ｂ、１０１Ｃ…フレーム分離部
１０２Ｂ…フレーム内圧縮信号処理部
１０３、１０３Ａ、１０３Ｂ、１０３Ｃ…第１の信号処理部
１０５、１０５Ａ、１０５Ｂ…第１のウェーブレット変換部
１０７、１０７Ａ、１０７Ｂ…第１のバッファ
１０７Ｃ…第１のフレームバッファ
１０８Ａ、１０８Ｂ…第２の信号処理部
１０９、１０９Ａ、１０９Ｂ…差分生成部
１０９Ｃ…差分判定部
１１１、１１１Ａ、１１１Ｂ…第１のエントロピー符号化部
１１３、１１３Ａ、１１３Ｂ…第２のエントロピー符号化部
１１５、１１５Ａ、１１５Ｂ、１１５Ｃ…第１の結合部
１１７、１１７Ａ、１１７Ｂ、１１７Ｃ…伝送部
１１９Ｃ…第２のフレームバッファ
１２１Ｃ…第３の信号処理部
１２３Ｃ…コピー処理部
２００…デコード装置
２０１…分離部
２０３…第２のウェーブレット変換部
２０５…第２のバッファ
２０７…第１のエントロピー逆符号化部
２０９…第２のエントロピー逆符号化部
２１１…復元処理部
２１３…第２の結合部
２１５…ウェーブレット逆変換部
２１７…画像出力部

Claims (9)

1. 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離し、
   前記分離された第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分を算出し、
   前記第１のフレームに対してユーザにより指示された信号処理を行い、
   前記信号処理が施された第１のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第２のフレームの低周波成分を復元し、
   前記復元された第２のフレームの低周波成分と当該第２のフレームの高周波成分とから前記信号処理が近似的に施された第２のフレームを復元する
   画像処理方法。
2. 請求項１に記載の画像処理方法であって、
   前記第２のフレームの低周波成分において前記信号処理が施される前の前記第１のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う
   画像処理方法。
3. 請求項２に記載の画像処理方法であって、
   前記分離された少なくとも第２のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第２のフレームを復元する
   画像処理方法。
4. 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、
   前記分離された第１のフレームおよび第２のフレームをそれぞれ低周波成分と高周波成分に分解する第１の周波数分解部と、
   前記第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分データを生成する差分生成部と、
   前記差分データおよび前記第２のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、
   前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、
   前記圧縮符号化された差分データおよび第２のフレームの高周波成分と、前記信号処理が施された第１のフレームを伝送する伝送部と
   を具備するエンコード装置。
5. 請求項４に記載のエンコード装置であって、
   前記第２のフレームの低周波成分において前記第１のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第２の信号処理部
   をさらに具備するエンコード装置。
6. 請求項５に記載のエンコード装置であって、
   前記分離された少なくとも第２のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第２のフレームを復元するフレーム内圧縮信号処理部を
   さらに具備するエンコード装置。
7. 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、
   前記分離された第１のフレームおよび第２のフレームをそれぞれ低周波成分と高周波成分に分解する第１の周波数分解部と、
   前記第２のフレームの低周波成分と前記第１のフレームの低周波成分との差分データを生成する差分生成部と、
   前記差分データおよび前記第２のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、
   前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、
   前記圧縮符号化された差分データおよび第２のフレームの高周波成分と、前記信号処理が施された第１のフレームを伝送する伝送部と
   を具備するエンコード装置より伝送された情報をデコードするデコード装置であって、
   前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第２のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第１のフレームとに分離する分離部と、
   前記分離された差分データの圧縮符号系列および前記分離された第２のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、
   前記伸張された差分データと前記信号処理が施された第１のフレームの低周波成分とから前記信号処理が近似的に施された前記第２のフレームの低周波成分を復元する低周波成分復元部と、
   前記復元された第２のフレームの低周波成分と前記伸張された第２のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第２のフレームを復元するフレーム復元部と
   を具備するデコード装置。
8. 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離し、
   前記分離された第１のフレームに対してユーザにより指示された信号処理を行い、
   前記分離された第２のフレームと前記信号処理が施される前の第１のフレームとを画素単位で比較し、閾値以上の差分が検出された画素に対して前記信号処理を行うとともに、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第１のフレームの同一位置の画素の値を与えることによって前記信号処理が近似的に施された第２のフレームを復元する
   画像処理方法。
9. 所定のフレームレートの画像を１／ｎ（ｎは２以上の整数）の周期の第１のフレームと他の１以上の第２のフレームとに分離するフレーム分離部と、
   前記分離された第１のフレームに対してユーザにより指示された信号処理を行う第１の信号処理部と、
   前記分離された第２のフレームと前記信号処理が施される前の第１のフレームとを画素単位で比較する比較部と、
   閾値以上の差分が検出された画素に対して前記信号処理を行う第３の信号処理部と、
   前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第１のフレームの同一位置の画素の値を与えるコピー処理部と、
   前記第３の信号処理部の出力と前記コピー処理部の出力とを結合して前記信号処理が近似的に施された第２のフレームを復元する結合部と
   を具備する画像処理装置。

Images