JP2010239423A - 撮影解像度予測型動画像符号化装置および復号装置 - Google Patents

Abstract

【課題】入力信号をもとに撮影時の信号形態を正確に推定した上で、同結果をもとにチャネルごとの符号化解像度および復号解像度を決定し、高精度に符号化および復号できるようにする。
【解決手段】前処理解析部２は、画素ずらし推定部、撮影解像度推定部および逆変換フィルタ係数算出部を含み、それぞれから、チャネル間位相差、解像度変換比率および逆変換フィルタ係数（以下、サイド情報）が生成される。入力画像信号は、解像度変換部６で撮影時の解像度に変換され、後続の回路により、画面内予測→チャネル間予測の処理順序で符号化される。また、前処理解析部２から出力されたサイド情報は、更新情報符号化部４で符号化される。該サイド情報の符号化には、直接符号化と、予測符号化とがある。復号側では、サイド情報復号部でサイド情報を復号し、該サイド情報を用いて符号化データを復号し、撮影時の画像を復元する。
【選択図】図１

Description

本発明は撮影解像度予測型動画像符号化装置および復号装置に関し、特に高精細映像を対象とした高能率圧縮符号化のための前処理装置を備えた符号化装置および復号装置に関するものである。

ハードディスクレコーダやＶＴＲなどにおける蓄積用途での圧縮符号化方式は、ＲＧＢなど４：４：４の色空間をサポートする必然性が高い。特許文献１および非特許文献１では、４：４：４の映像入力を対象として、符号化に先立ってチャネル間での予測参照を行い、残差信号のみを後段の符号化処理にて扱うことで、符号化性能の改善を導いている。

特開2006−310941号公報「画像符号化装置」

加藤晴久ら，「4:4:4映像符号化におけるチャネル間予測の一検討」，2009 年 電子情報通信学会総合大会 D−11−24

しかしながら、上記の背景技術によれば、解像度や色空間など、撮影条件については特段の考慮をせず、入力時の形態を保持する前提での検討が行われている。このため、チャネル間の冗長度削減がある程度は可能となるものの、解像度については、入力信号フォーマットに合わせる前提を置いているため、その効果には限界があった。

本発明の目的は、前記背景技術の課題を解決し、入力信号をもとに撮影時の信号形態を正確に推定した上で、同結果をもとにチャネルごとの符号化解像度および復号解像度を決定し、高精度に符号化および復号できるようにした撮影解像度予測型動画像符号化装置および復号装置を提供することにある。

前記した目的を達成するために、本発明は、符号化解像度およびチャネル間予測の基準信号のうちの少なくとも１つを適応的に設定可能であり、画面内予測とチャネル間予測により画像を符号化する撮影解像度予測型動画像符号化装置において、入力画像信号の前処理解析を行う前処理解析部を具備し、前記前処理解析部は撮影解像度推定部を含み、該撮影解像度推定部において得られたチャネルごとの撮影時の解像度を基に、前記符号化解像度およびチャネル間予測の基準信号のうちの少なくとも１つを決定するようにした点に特徴がある。

また、前記前処理解析部から出力されたサイド情報の更新情報を符号化する更新情報符号化手段を具備し、前記サイド情報は、入力映像信号の解像度に対するサイズ比率、チャネル間の空間的位相差および解像度変換フィルタ特性のうち少なくとも一つである点に他の特徴がある。

また、前記更新情報符号化手段は、更新情報の符号化を、近傍符号化フレームで適用された入力映像の解像度に対するサイズ比率、チャネル間の空間的位相差および解像度変換フィルタ特性のうち少なくとも一つを予測値とした際の残差信号に対して行う点に他の特徴がある。

また、出力解像度およびチャネル間予測の基準信号のうちの少なくとも１つを適応的に設定可能な動画像復号装置において、受信データに含まれるサイド情報を復号するサイド情報復号手段を具備し、前記出力解像度およびチャネル間予測の基準信号のうちの少なくとも１つを前記サイド情報復号手段で復号されたサイド情報を基に決定する点に他の特徴がある。

また、前記サイド情報復号手段は、入力映像の解像度に対するサイズ比率、チャネル間の空間的位相差、解像度変換フィルタ特性のうちの少なくとも一つのデータを復号し、該復号したデータを、復号側で行うべき解像度変換を決定する情報として、復号画像の最終出力形式に反映する点に他の特徴がある。

さらに、前記サイド情報復号手段は、受信データの復号により残差信号を取得し、近傍符号化フレームで適用されたサイド情報データより予測値を取得し、これらの加算によりサイド情報の復号を行う点に他の特徴がある。

本発明の撮影解像度予測型動画像符号化装置によれば、入力画像信号を前処理解析し、動画像符号化処理に先立って、入力映像に対応する撮影時の解像度を高精度に推定し、同結果をもとに符号化解像度を決定するようにしたことにより、符号化性能の向上を期待できるようになる。

また、本発明の撮影解像度予測型動画像復号装置によれば、受信データに含まれるサイド情報を復号し、同結果をもとに復号側での後処理方法の詳細を決定するようにしたことにより、復号装置の出力信号フォーマットを符号化装置の入力信号に忠実に合わせることができるようになる。

また、前記前処理解析により得られたサイド情報を符号化して伝送するようにしたので、小さな符号量でサイド情報を伝送できるようになる。

本発明の第１実施形態の符号化装置の構成を示すブロック図である。 図１の前処理解析部の一具体例の構成を示すブロック図である。 本発明の第１実施形態の復号装置の構成を示すブロック図である。 本発明の第２実施形態の符号化装置の構成を示すブロック図である。 本発明の第２実施形態の復号装置の構成を示すブロック図である。 本発明の第３実施形態の符号化装置の構成を示すブロック図である。 本発明の第３実施形態の復号装置の構成を示すブロック図である。 本発明の第４実施形態の符号化装置の構成を示すブロック図である。 本発明の第４実施形態の復号装置の構成を示すブロック図である。 本発明の第１、第３実施形態のサイド情報符号化部の動作を示すフローチャートである。 本発明の第１、第３実施形態のサイド情報復号部の動作を示すフローチャートである。 本発明の第２、第４実施形態のサイド情報符号化部の動作を示すフローチャートである。 本発明の第２、第４実施形態のサイド情報復号部の動作を示すフローチャートである。

ＲＧＢなどの４：４：４の色空間を有する映像信号の圧縮符号化は、Ｒ、Ｇ、Ｂといったチャネル（色コンポーネント）間での相関除去が高い圧縮率を実現する上で有効である。一方で、高精細映像の撮像手法として、画素のサンプル点を色空間ごとに隣接させる、いわゆる画素ずらし処理を導入する例が多い。本発明は、高精細映像用の圧縮符号化装置において、符号化の前段で、入力された映像信号の解析を行い、撮影時の信号形態を特定する前処理解析部を備えた適応符号化装置およびその復号装置に関わるものである。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。

動画像符号化装置への入力画像信号ａは、一旦、前処理解析のためのフレームメモリ１に蓄積される。ここに、入力画像信号ａは、Ｒ，Ｇ，Ｂなどの４：４：４の色空間を有する映像信号であり、撮影側で任意に変換された所定の撮影解像度を有し、また色（以下、チャネルと呼ぶ）毎にサンプル点がずらされている、換言すれば、空間的に位相差のある画像である。

前処理解析部２は、撮影時の信号形態を特定する働きをする。前処理解析部２の一具体例を、図２を参照して説明する。該前処理解析部２は、周波数解析部２ｂ、画素ずらし推定部２ｃ、撮影解像度推定部２ｄ、逆変換フィルタ係数算出部２ｅおよび基準信号選択部２ｆからなる。

周波数解析部２ｂは、フレームメモリ１からの入力画像信号ｂを例えばＦＦＴなどにより周波数解析を行う。画素ずらし推定部２ｃは、周波数解析の結果に基づいてチャネル間の画素ずらし、つまりチャネル間位相差ｃを推定する。撮影解像度推定部２ｄは、撮影時の解像度を推定し、解像度変換比率ｄを出力する。逆変換フィルタ係数算出部２ｅは、撮影時の解像度に戻すための、逆変換フィルタ係数ｅを算出して出力する。この逆変換フィルタ係数ｅは、受信側で映像を元に戻すのに使用される。基準信号選択部２ｆは、Ｒ，Ｇ，Ｂなどのチャネル間の相関の基準となる信号を選択または決定するものであり、基準信号と非基準信号間の相関係数最大化の規範で行うのが望ましい。具体的には、解像度の最も高いチャネルを基準信号と選択するのが望ましい。また、チャネルごとに推定される撮影解像度が互いに異なる場合には、チャネル間予測の基準信号の選択を、チャネルごとの撮影解像度のみから一意に決定するようにしてもよい。該基準信号選択部２ｆはチャネル間予測用に設けられている。

前処理解析部２の出力、すなわちチャネル間位相差ｃ、解像度変換比率ｄ（撮影時の解像度に対応する変換比率または入力映像の解像度に対するサイズ比率）、逆変換フィルタ係数ｅおよび基準信号は、更新情報決定部３に送られる。なお、前記チャネル間位相差ｃ、解像度変換比率ｄおよび逆変換フィルタ係数ｅを、以降では「サイド情報」と呼ぶことがある。

更新情報決定部３では、前処理解析部２から送られてくるサイド情報に関して、前のデータと変わっている場合には更新サイド情報とし、変わっていない場合には更新サイド情報とはしない。なお、前記基準信号の選択は、解像度を基に一意に決められるとすることで、例えば、最大解像度を有する信号を基準信号とすることで、基準信号を受信側で独自に再生することができる。このため、基準信号の選択結果自体をサイド情報として記述することを省略することが可能である。

図１に示されているように、更新情報決定部３から出力された更新サイド情報は更新情報符号化部４に送られ、該更新情報符号化部４にて直接符号化される。この場合、例えば、更新情報の符号量がある閾値を上回る場合には、入力時の映像フォーマットを保持して符号化処理を適用しないようにしてもよい。

以上の処理を映像フレームの単位で繰り返す。入力映像において撮影条件の変更がないことが既知である場合には、以上の処理の適用は初回の映像フレームに限定できる。

図１０は、前記前処理解析部２、更新情報決定部３および更新情報符号化部４の処理をフローチャートで表したものである。

ステップＳ１では、撮影条件に変化があったか否かの判断がなされる。変換がない場合は前処理解析をすることなく終了するが、変化があるとステップＳ２に進む。ステップＳ２〜Ｓ５の処理は前処理解析部２でなされる。ステップＳ２では、画面内の周波数解析がなされ、ステップＳ３ではチャネル間画素ずらしの推定がなされ、ステップＳ４では撮影解像度の推定がなされ、ステップＳ５では基準信号選択部２ｆにて基準信号が決定される。ステップＳ６、Ｓ７の処理は、更新情報符号化部４でなされる。ステップＳ６では、更新サイド情報を符号化した場合の符号量が予め定められた閾値より小さいかどうかの判断がなされ、この判断が肯定の場合にはステップＳ７に進んで更新サイド情報の符号化が行われる。一方、ステップＳ６の判断が否定の時には、符号化をせずに終了する。

次に、図１の解像度変換部６は、更新情報決定部３からの解像度変換比率により、入力画像信号ｂを撮影時と同じ解像度に変換する。その後、画面内予測→チャネル間予測の処理順序の符号化処理を受ける。この符号化処理は周知であるので、簡単に説明すると、まず基準信号に対しては、切替部ＳＷ１、ＳＷ２は端子ａに接続され、非基準信号に対しては、端子ｂに接続される。なお、ＳＷ２の端子ａには、"０"が入力する。

基準信号は、減算器７、ＤＣＴ部８、量子化部９、可変長符号化部１０、局所復号部１２、加算器１３、局所復号画像部１４、加算器１５、局所復号画像部１６、解像度変換部１７、動き検出部１８および予測画像部１９により画面内予測符号化される。一方、非基準信号は、前記の回路で画面内予測された後に、チャネル間予測部２０、予測画像部２１、減算器２２でチャネル間予測されてデータ量の削減がなされる。なお、このチャネル間予測の処理は、解像度変換直後の映像信号に対して適用されるのが好ましい。

符号化された基準信号と非基準信号とからなる符号化画像信号は、バッファメモリ１１に一時蓄積され、符号化された更新情報またはサイド情報と多重化部２３で多重化されて、符号化データとして出力される。

前記画面内符号化処理は、フレーム内予測符号化に限定されず、動き補償予測符号化を適用しても良い。

次に、前記符号化装置に対応する復号装置の構成を、図３を参照して説明する。

受信された符号化データから分離された画像データはバッファメモリ３１に一時蓄積され、またサイド情報はバッファメモリ３２に蓄積される。バッファメモリ３２に蓄積されたサイド情報は、更新情報復号部３３にて復号される。復号されるサイド情報は、具体的には、解像度変換比率（撮影時の解像度に対応する変換比率または入力映像の解像度に対するサイズ比率）、チャネル間の空間的位相差および逆変換フィルタ係数である。

基準信号の選択、すなわちＲ，Ｇ，Ｂ信号のうちのどの信号を基準信号とするかは、チャネルごとの符号化解像度をもとに一意に決められる（例えば最大解像度を有する信号を基準信号とするなど）。この基準信号は、チャネル間予測部３８に送られ、チャネル間予測の復号処理に供される。

前記更新情報復号部３３の動作を図１１のフローチャートに示す。ステップＳ１１では、バッファメモリ３２にサイド情報があるか否かの判断がなされ、不存在の場合にはそのまま終了する。一方、存在する場合には、ステップＳ１２に進んで、更新情報復号部３３はサイド情報を復号する。ステップＳ１３では、解像度変換比率、逆変換フィルタ係数、チャネル間位相差の設定が更新される。そして、ステップＳ１４で、基準信号の更新がされる。

前記更新情報復号部３３で復号された解像度変換比率は解像度変換部４２に送られ画像サイズの補正に用いられる。また、チャネル間の空間的位相差および逆変換フィルタ係数は解像度変換部４６に送られて、Ｒ，Ｇ，Ｂの画素ずらしを元（符号化装置への入力時）に戻すと共に、画像拡大がなされる。

上記以外は周知の復号装置であるので復号装置の動作は簡単な説明で済ませる。切替部ＳＷ３は、基準信号の時に端子ａに、非基準信号の時に端子ｂに接続される。

基準信号は、可変長復号部３４、逆量子化器３５、逆ＤＣＴ部３６、および加算器３７で第１の復号画像４０に復号され、次いで、動き補償部４１、解像度変換部４２、予測画像部４３および加算器４４による画面内復号処理により第２の復号画像４５が得られ、最後に解像度変換部４６で解像度変換されて入力画像信号と同じ信号フォーマットに再構成される。

一方、非基準信号は、可変長復号部３４、逆量子化器３５、逆ＤＣＴ部３６で復号された残差信号に、チャネル間予測部３８、予測画像部３９でチャネル間予測された画像が加算されて第１の復号画像４０に復号され、次いで、動き補償部４１、解像度変換部４２、予測画像４３および加算器４４による画面内復号処理によりチャネル毎に画面内復号処理が適用されて第２の復号画像４５が得られる。最後に、解像度変換部４６で解像度変換されて入力画像信号と同じ信号フォーマットに再構成される。

以上の処理が映像フレームの単位で繰り返される。なお、画面内復号処理は、フレーム内予測復号に限定されず、動き補償予測復号を適用しても良い。

次に本発明の第２実施形態の符号化装置を図４を参照して説明する。図４において、図１と同じ符号は同一または同等物を示す。

この実施形態が第１実施形態と異なる所は、更新情報決定部３から出力された更新サイド情報について、近傍の符号化済み画面で使用した値を予測値として、残差信号を符号化するようにした点、つまり更新サイド情報を予測符号化するようにした点にある。

動作を説明すると、バッファメモリ５に蓄積された近傍の符号化済み画面で使用したサイド情報が局所復号部２６で局所復号され、加算器２７で予測値２８と加算されて予測値２８を更新する。減算器２４は、更新情報決定部３からのサイド情報から前記予測値２８を減算して残差信号を生成し、該残差信号は符号化部２５で符号化されてバッファメモリ５に一時蓄積される。そして、多重化部２３に送られる。

図１２は、前記更新サイド情報を予測符号化する動作を示すフローチャートである。ステップＳ２１では、撮影条件に変化があったか否かの判断がなされ、変化がない場合は前処理解析をすることなく終了する。一方、変化があると、ステップＳ２２に進んで、前処理解析部２は、ステップＳ２２〜Ｓ２５において、図１０のステップＳ２〜Ｓ５と同じ動作をする。ステップＳ２６では、予測値の算出がなされ、減算器２４で得られた残差信号を符号化部２５で符号化した時の符号量が予め定められた閾値より小さいか否かの判断がなされる。この判断が否定の場合には符号化することなく終了するが、肯定の場合にはステップＳ２８に進んで符号化部２５は残差信号を符号化して出力する。

なお、前記更新サイド情報を予測符号化する以外の動作、すなわち画像情報を符号化する符号化器の構成と動作は図１と同じであるので、説明を省略する。

次に、前記符号化装置に対応する復号装置の構成を、図５を参照して説明する。図５において、図３と同じ符号は同一または同等物を示す。

この実施形態が第１実施形態と異なる所は、バッファメモリ３２の後段に、局所復号部４７、加算器４８、更新情報蓄積部４９および予測値蓄積部５０を設けた点である。よって、第１実施形態と異なる構成の動作を、以下で説明する。

バッファメモリ３２には、受信された符号化データから抽出されたサイド情報の残差信号が一時蓄積される。該バッファメモリ３２に一時蓄積されたサイド情報の残差信号は、局所復号部４７で局所復号される。局所復号された残差信号は、予測値蓄積部５０に蓄積されている近傍の符号化済み画面で使用した値である予測値と加算器４８で加算されることで、撮影時の解像度に対応する変換比率（入力映像の解像度に対するサイズ比率）、チャネル間の空間的位相差および逆変換フィルタ係数に復号され、更新情報蓄積部４９に蓄積される。

図１３は、前記サイド情報の復号部の動作を示すフローチャートである。ステップＳ３１では、バッファメモリ３２にサイド情報が存在するか否かの判断がなされ、存在しない場合には終了する。一方、存在する場合には、ステップＳ３２に進んで残差信号を復号し、ステップＳ３３では予測値を算出し、ステップＳ３４では前記残差信号に前記予測値を加算して、解像度変換比率、逆フィルタ係数およびチャネル間位相差の設定更新がなされる。次いで、ステップＳ３５では、基準信号の更新がなされる。

前記復号部で復号された解像度変換比率は解像度変換部４２に送られ画像サイズの補正に用いられる。また、チャネル間の空間的位相差および逆変換フィルタ係数は解像度変換部４６に送られて、Ｒ，Ｇ，Ｂの画素ずらしを元に戻すと共に、画像拡大がなされる。

なお、上記のサイド情報の復号以外の動作は図３と同じであるので、説明を省略する。

次に、本発明の第３実施形態を図６を参照して説明する。図６において、図１と同じ符号は、同一または同等物を示す。この実施形態は、第１実施形態と同じサイド情報の符号化装置を、周知のチャネル間予測→画面内予測の処理手順の符号化装置に適用したものである。

そこで、前処理解析部２およびサイド情報の符号化装置の説明（フローチャートは図１０と同じ）は省略し、画像信号の符号化装置についてのみ簡単に説明する。

基準信号は、切替部ＳＷ１の端子ａに送られ、減算器５４で予測画像６４を減算される。減算器５４から出力された残差信号は、ＤＣＴ部５５、量子化部５６、可変長符号化部５７、局所復号部５９、加算器６０、局所復号画像６１、解像度変換部６２、動き検出部６３により、画面内予測処理をされる。一方、非基準信号の符号化時には、切替部ＳＷ１は端子ｂに接続される。非基準信号は、減算器５３で、チャネル間予測部５１と局所復号画像６１から得られた予測画像５２を減算されてチャネル間予測される。次いで、基準信号の画面内予測処理に用いた回路構成により画面内予測される。

以上のようにして符号化された基準信号と非基準信号とからなる符号化画像信号は、バッファメモリ５８に一時蓄積され、符号化された更新情報またはサイド情報と多重化部２３で多重化されて、符号化データとして出力される。

次に、前記符号化装置に対応する復号装置の構成を、図７を参照して説明する。図７において、図３と同じ符号は同一または同等物を示す。

サイド情報の復号装置は、第１実施形態の図３と同じである（フローチャートは図１１と同じ）ので、説明を省略するが、前記復号されたサイド情報の解像度変換比率は解像度変換部７７に送られ画像サイズの補正に用いられる。また、チャネル間の空間的位相差および逆変換フィルタ係数は解像度変換部８２に送られて、Ｒ，Ｇ，Ｂの画素ずらしを元（符号化装置への入力時）に戻すと共に、画像拡大がなされる。

画像信号の復号装置は周知であるので簡単に説明すると、受信された符号化データから分離された画像データはバッファメモリ３１に一時蓄積され、可変長復号部７１、逆量子化部７２、逆ＤＣＴ部７３、動き補償部７４、予測画像７５、加算器７６および解像度変換部７７により、チャネル毎に画面内復号処理が行われ、チャネル毎の残差信号が復号画像７８として得られる。次いで、非基準信号は、チャネル間予測部７９、予測画像８０および加算器８１により、チャネル間予測の復号処理がなされる。最後に解像度変換部８２で解像度変換されて入力画像信号と同じ信号フォーマットに再構成される。

次に、本発明の第４実施形態を図８を参照して説明する。図８において、図４、図６と同じ符号は、同一または同等物を示す。この実施形態は、第２実施形態と同じサイド情報の符号化装置を、周知のチャネル間予測→画面内予測の処理手順の符号化装置に適用したものである。

サイド情報の符号化は、第２実施形態の符号化装置（図４）のものと同じ（フローチャートは図１２と同じ）であり、画像情報の符号化は、第３実施形態の符号化装置（図６）のものと同じであるので、図８の動作説明は省略する。

次に、前記符号化装置に対応する復号装置の構成を図９に示す。図９において、図５、図７と同じ符号は、同一または同等物を示す。

この実施形態のサイド情報の復号装置は、第２実施形態の復号装置（図５）のものと同じ（フローチャートは図１３と同じ）であり、画像情報の復号装置は、第３実施形態の復号装置（図７）のものと同じである。したがって、本実施形態の動作説明は省略する。

以上のように、本発明の第１〜４実施形態によれば、前処理解析部によりチャネルごとの撮影時の解像度を推定するようにしている。よって、動画像符号化処理に先立って、入力映像に対応する撮影時の解像度を高精度に推定でき、同結果をもとに符号化解像度、ならびに復号側での後処理方法の詳細を決定することにより、符号化性能の向上が期待できる。

２・・・前処理解析部、３・・・更新情報決定部、４・・・更新情報符号化部、６、１７・・・解像度変換部、２０・・・チャネル間予測部、２ｂ・・・周波数解析部、２ｃ・・・画素ずらし推定部、２ｄ・・・撮影解像度推定部、２ｅ・・・逆変換フィルタ係数算出部、２ｆ・・・基準信号選択部、２４・・・減算器、２５・・・符号化部、２６・・・局所復号部、２７・・・加算器、２８・・・予測値、３３・・・更新情報復号部、３８・・・チャネル間予測部、４２、４６・・・解像度変換部、５１・・・チャネル間予測部、６２・・・解像度変換部、７７、８２・・・解像度変換部、７９・・・チャネル間予測部。

Claims (17)

1. 符号化解像度およびチャネル間予測の基準信号のうちの少なくとも１つを適応的に設定可能であり、画面内予測とチャネル間予測により画像を符号化する撮影解像度予測型動画像符号化装置において、
   入力画像信号の前処理解析を行う前処理解析部を具備し、
   前記前処理解析部は撮影解像度推定部を含み、該撮影解像度推定部において得られたチャネルごとの撮影時の解像度を基に、前記符号化解像度およびチャネル間予測の基準信号のうちの少なくとも１つを決定することを特徴とする撮影解像度予測型動画像符号化装置。
2. 請求項１に記載の撮影解像度予測型動画像符号化装置において、
   前記前処理解析部は基準信号選択部を含み、
   前記基準信号選択部は、チャネル間予測の基準信号の選択を、チャネル間相関最大化の規範で行うことを特徴とする撮影解像度予測型動画像符号化装置。
3. 請求項２に記載の撮影解像度予測型動画像符号化装置において、
   前記基準信号選択部は、チャネルごとに推定される撮影解像度が互いに異なる場合には、チャネル間予測の基準信号の選択を、チャネルごとの撮影解像度のみから一意に決定することを特徴とする撮影解像度予測型動画像符号化装置。
4. 請求項１に記載の撮影解像度予測型動画像符号化装置において、
   前記前処理解析部は、画素ずらし推定部を含み、
   前記画素ずらし推定部は空間的な位相差を推定することを特徴とする撮影解像度予測型動画像符号化装置。
5. 請求項１ないし４のいずれかに記載の撮影解像度予測型動画像符号化装置において、
   前記入力画像信号の前処理解析処理は、チャネルごとの周波数スペクトラム解析から始まることを特徴とする撮影解像度予測型動画像符号化装置。
6. 請求項１ないし５のいずれかに記載の撮影解像度予測型動画像符号化装置において、
   前記チャネル間予測の処理は、解像度変換直後の映像信号に対して適用されることを特徴とする撮影解像度予測型動画像符号化装置。
7. 請求項１ないし５のいずれかに記載の撮影解像度予測型動画像符号化装置において、
   前記チャネル間予測の処理は、解像度変換直後の映像信号に対して動き補償予測またはフレーム内予測のいずれかを適用した際に発生する残差信号に対して適用されることを特徴とする撮影解像度予測型動画像符号化装置。
8. 請求項１ないし７に記載の撮影解像度予測型動画像符号化装置において、
   前記前処理解析部から出力されたサイド情報の更新情報を符号化する更新情報符号化手段を具備し、
   前記サイド情報は、入力映像信号の解像度に対するサイズ比率、チャネル間の空間的位相差および解像度変換フィルタ特性のうち少なくとも一つであることを特徴とする撮影解像度予測型動画像符号化装置。
9. 請求項８に記載の撮影解像度予測型動画像符号化装置において、
   前記更新情報符号化手段は、更新情報の符号化を、近傍符号化フレームで適用された入力映像の解像度に対するサイズ比率、チャネル間の空間的位相差および解像度変換フィルタ特性のうち少なくとも一つを予測値とした際の残差信号に対して行うことを特徴とする撮影解像度予測型動画像符号化装置。
10. 請求項８または９に記載の撮影解像度予測型動画像符号化装置において、
    前記更新情報符号化手段は、更新情報の符号化を前記更新情報の符号量が予め定められた閾値を下回る場合にのみ行うようにしたことを特徴とする撮影解像度予測型動画像符号化装置。
11. 出力解像度およびチャネル間予測の基準信号のうちの少なくとも１つを適応的に設定可能な撮影解像度予測型動画像復号装置において、
    受信データに含まれるサイド情報を復号するサイド情報復号手段を具備し、
    前記出力解像度およびチャネル間予測の基準信号のうちの少なくとも１つを前記サイド情報復号手段で復号されたサイド情報を基に決定することを特徴とする撮影解像度予測型動画像復号装置。
12. 請求項１１に記載の撮影解像度予測型動画像復号装置において、
    前記サイド情報復号手段はチャネルごとの符号化解像度を復号し、
    チャネルごとの符号化解像度が互いに異なる場合には、チャネル間予測の基準信号の選択を、チャネルごとの解像度のみから一意に決定できるようにしたことを特徴とする撮影解像度予測型動画像復号装置。
13. 請求項１１に記載の撮影解像度予測型動画像復号装置において、
    前記サイド情報復号手段は、符号化解像度と、空間的な位相差とを復号することを特徴とする撮影解像度予測型動画像復号装置。
14. 請求項１１ないし１３のいずれかに記載の撮影解像度予測型動画像復号装置において、
    受信データに対して、画面内復号処理によりチャネル間予測の残差信号を取得する手段と、
    該残差信号に対するチャネル間予測の復号処理により、チャネルごとの復号画像を取得する手段とを具備したことを特徴とする撮影解像度予測型動画像復号装置。
15. 請求項１１ないし１３のいずれかに記載の撮影解像度予測型動画像復号装置において、
    受信データに対して、チャネル間予測の復号処理により画面内符号化の残差信号を取得する手段と、
    該残差信号に対して動き補償予測またはフレーム内予測のいずれかを適用した復号処理により、チャネルごとの復号画像を取得する手段とを具備したことを特徴とする撮影解像度予測型動画像復号装置。
16. 請求項１１ないし１５に記載の撮影解像度予測型動画像復号装置において、
    前記サイド情報復号手段は、入力映像の解像度に対するサイズ比率、チャネル間の空間的位相差、解像度変換フィルタ特性のうちの少なくとも一つのデータを復号し、
    該復号したデータを、復号側で行うべき解像度変換を決定する情報として、復号画像の最終出力形式に反映することを特徴とする撮影解像度予測型動画像復号装置。
17. 請求項１６に記載の撮影解像度予測型動画像復号装置において、
    前記サイド情報復号手段は、受信データの復号により残差信号を取得し、近傍符号化フレームで適用されたサイド情報データより予測値を取得し、これらの加算によりサイド情報の復号を行うことを特徴とする撮影解像度予測型動画像復号装置。

Images