JP2005328457A - 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム - Google Patents

Abstract

【課題】 動画像データの符号化および復号化を効率的におこなう。
【解決手段】 符号化装置１００の変換部１０１、量子化部１０２、および、符号化部１０３は、動画像を構成する画像データを符号化して出力する。また、逆量子化部１０４および逆変換部１０５により画像データが復元され、復元画像メモリ１０６に格納される。画像合成部１０９は、復元画像メモリ１０６に格納されている複数の画像を、各画像の画素値についての代表値に基づいて合成する。ここでは、対象となる画像の画素値の最頻値に基づいて、当該画素値となるような合成画像を生成する。画像選択部１１０は、画像合成部１０９が生成した合成画像か復元ピクチャのいずれかを参照画像として選択し、動き予測部１０７および動き補償部１０８によってインター予測がおこなわれる。
【選択図】 図１

Description

本発明は、動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラムに関し、特に、リアルタイム符号化に好適な動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラムに関する。

動画像データを圧縮するための符号化処理においては、過去のフレーム（参照フレーム）から次のフレームを予測して符号化するフレーム間予測符号化が知られている（例えば、特許文献１参照）。このフレーム間予測符号化では、参照フレームから検出された動きベクトル情報を使って動き補償して予測フレームを作る手法が用いられており、例えば、MPEG-1やMPEG-2などといった動画像符号化方式規格に採用されている。

MPEG-1やMPEG-2などの動画像符号化方式においては、使用できる参照フレームが、隣接する２枚のフレームに限られていた。このため、画像が変化する場合（オブジェクトの移動や周期的な変化など）、すでに伝送済みの画像内容と類似した画像を部分的に再伝送しなければならない場合があり、時間的冗長度が残っていた。

このような問題を解決するために、時間的冗長度を削減する手法が提案されている。例えば、動画像符号化規格であるMPEG-4においては、変化の少ない背景部分と動きのある前景部分とを分離して符号化する「スプライト符号化」が実現されている。このスプライト符号化では、背景部分を示す背景プレーン（S-VOP: Sprite Video Object Plane）を予め伝送しておき、その上に前景部分を重ねることで、動体のない安定した背景部分を継続して再利用することができるので、符号化効率を向上させることができる。

また、多数の参照フレームを用いることができる手法も提案されており（例えば、特許文献２参照）、動画像符号化の標準化組織であるＪＶＴ（Joint Video Team）で標準化がすすめられている「H.264」（「MPEG-4 AVC (advanced Video Coding)」または「MPEG-4 part10」などともいう）などで採用されている。「H.264」などの動画像符号化規格では、特定の参照フレームを「長期間参照ピクチャ」（Long-Term Reference Picture））として指定することもできる。これらの手法により、例えば、参照に不適当な動体の動きや不規則な変化などが各参照フレームにある場合でも、複数の参照フレームをブロック毎に切り替えることで、常に参照に好適な状態のフレームのみを選択して参照することができ、符号化効率を向上させることができる。

しかしながら、スプライト符号化では、背景となるS-VOPを個別に伝送させなければならないため、伝送遅延が発生するという問題がある。さらに、自然画像から効率的に背景部分を分離するための手法が確立されていないこともあり、効率的なリアルタイム符号化が困難である。すなわち、原画像から背景となる領域を切り出す処理をリアルタイムに１パス処理で行うことが困難である。

また、H.264などで採用されている長期間参照ピクチャの場合、符号化段階では、いずれの参照フレームが「長期間参照ピクチャ」として使用されるかが不明確であるため、リアルタイム符号化には不適当であった。すなわち、いずれのフレームを長期間参照ピクチャとすべきかの判定をリアルタイムに１パス処理で行うことが困難である。また、伝送エラーなどによって参照インデックス操作情報や参照フレーム内容などが失われると、復号画像に著しい欠損が生じるという問題もある。さらに、多数の参照画像を指定するための符号量も増加してしまう。
特公昭６２−２５１５号公報 特許第２８０８８６０号公報

本発明は上記実状に鑑みてなされたもので、フレーム間予測などのインター予測方式による動画像符号化において、より高効率な符号化を実現することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る動画像符号化装置は、
動画像データを符号化して出力する符号化手段と、
符号化された動画像データを復元した復元画像を格納する復元画像格納手段と、
入力される動画像データと、所定の参照画像とに基づいてインター予測をおこなう予測手段と、
を備えた、インター予測方式で動画像データを符号化する動画像符号化装置において、
前記復元画像格納手段に格納されている複数の復元画像を、各復元画像の画素値に基づいて合成した合成画像を生成する合成手段をさらに備え、
前記予測手段は、前記合成手段が生成した合成画像を参照画像としてインター予測をおこなう、
ことを特徴とする。

上記動画像符号化装置において、
前記合成手段は、
前記各復元画像の画素値についての所定の代表値を取得する代表値取得手段をさらに備えていることが望ましく、この場合、
前記代表値取得手段が取得した代表値に基づいて前記合成画像を生成することが望ましい。

また、前記代表値取得手段は、各復元画像の画素値の最頻値を代表値として取得することが望ましい。

上記動画像符号化装置において、
前記合成手段は、所定の制御信号に基づいて、合成する領域を制限してもよい。

上記動画像符号化装置は、
前記合成手段が生成した合成画像もしくは前記復元画像格納手段に格納されている復元画像のいずれかを参照画像として選択する選択手段と、
前記選択手段が選択した画像がいずれであるかを示す制御情報を生成する制御情報生成手段と、をさらに備えていることが望ましく、この場合、
前記符号化手段は、前記制御情報生成手段が生成した制御情報を符号化して出力することが望ましい。

上記動画像符号化装置は、
前記復元画像格納手段に格納されている復元画像を評価する評価手段と、
前記評価手段の評価に基づいて、前記復元画像の内のいずれかを合成対象として指定する指定手段と、をさらに備えていてもよい。

上記動画像符号化装置において、
前記指定手段は、前記評価手段の評価に基づいて、前記復元画像の内のいずれかを長期間参照画像として指定してもよい。

上記動画像符号化装置は、
前記動画像におけるシーンチェンジを検出するシーンチェンジ検出手段をさらに備えていてもよく、この場合、
前記合成手段は、前記シーンチェンジ検出手段によるシーンチェンジの検出前に生成した合成画像を前記復元画像格納手段に格納されている復元画像から退避させ、
前記予測手段は、前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記退避させた合成画像を参照画像とすることが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる動画像復号化装置は、
符号化ビットストリームを復号して動画像データを取得する復号手段と、
復号された動画像データを構成する復元画像を格納する復元画像格納手段と、
復号された動画像データと、所定の参照画像に基づいてインター予測をおこなう予測手段と、
を備えた、インター予測方式で動画像データを復号する動画像復号化装置において、
前記復元画像格納手段に格納されている複数の復元画像を、各復元画像の画素値に基づいて合成した合成画像を生成する合成手段と、
前記符号化ビットストリームに含まれる所定の制御情報に基づいて前記復元画像もしくは前記合成画像のいずれかを参照画像として選択する選択手段と、をさらに備え、
前記予測手段は、前記選択手段が選択した参照画像を用いてインター予測をおこなう、
ことを特徴とする。

上記動画像復号化装置において、
前記合成手段は、前記各復元画像の画素値についての所定の代表値に基づいて、前記合成画像を生成することが望ましい。

上記動画像復号化装置において、
前記合成手段は、前記所定の制御情報に基づいて、前記合成画像を生成することが望ましい。

上記動画像復号化装置において、
前記制御情報は、前記動画像におけるシーンチェンジを示すシーンチェンジ情報を含むものとすることができ、この場合、
前記合成手段は、前記シーンチェンジ情報に基づいて、シーンチェンジ前に生成した合成画像を退避させ、
前記選択手段は、前記シーンチェンジ情報に基づいて、前記退避させた合成画像を選択候補として参照画像を選択することが望ましい。

上記目的を達成するため、本発明の第３の観点にかかるコーデック装置は、
インター予測方式により動画像データの符号化・復号化をおこなうコーデック装置であって、
符号化された動画像データを復元した復元画像を記憶する復元画像記憶手段と、
前記復元画像記憶手段に記憶された複数の復元画像を画素値に基づいて合成した合成画像を生成する合成手段と、
少なくとも前記合成画像および前記復元画像のいずれかを参照画像として選択する選択手段と、
前記選択手段が選択した参照画像を用いてインター予測をおこなう予測手段と、
を備えることを特徴とする。

上記コーデック装置は、
前記動画像におけるシーンチェンジを検出するシーンチェンジ検出手段をさらに備えていてもよく、この場合、
前記合成手段は、前記シーンチェンジ検出手段が検出したシーンチェンジ前に生成した合成画像を退避させ、
前記選択手段は、前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記退避させた合成画像を選択候補とすることが望ましい。

上記目的を達成するため、本発明の第４の観点にかかるプログラムは、
コンピュータに、
符号化された動画像データを復元した復元画像を記憶するステップと、
復元された複数の画像を画素値に基づいて合成した合成画像を生成するステップと、
前記動画像においてシーンチェンジが発生した場合に、当該シーンチェンジの発生前に生成された合成画像を退避させるステップと、
前記復元画像、生成された合成画像、および、退避させた合成画像のいずれかを参照画像として選択するステップと、
選択された参照画像を用いてインター予測をおこなうステップと、
を実行させることでインター予測方式で動画像データの符号化・復号化をおこなうコーデック装置として機能させることを特徴とする。

本発明によれば、インター予測のために復元される画像を合成して参照画像とするので、より効率的な符号化を実現することができる。ここで、画像の合成においては、各画像の画素値についての最頻値などを代表値とし、この代表値に基づいて画像合成することで、各画像間で変化の大きい成分が除去・低減された画像とすることができる他、伝送エラーによる誤った画素値を除去することができ、このような画像を参照画像として用いることで、安定したインター予測を効率的におこなうことができるものである。

（実施形態１）
本発明にかかる実施形態を、以下図面を参照して説明する。本実施形態では、動画像データの符号化を行う符号化装置１００と、この符号化装置で符号化された動画像データを復号する復号化装置２００を示す。本実施形態にかかる符号化装置１００は、入力される動画像データを構成する所定単位（例えば、フレームやフィールド）の画像間での動き補償により次の画像を予測するインター予測方式で動画像データを符号化するものとする。すなわち、符号化済みの画像を参照することで次の画像を予測するものである。本実施形態では、入力される単位画像を「ピクチャ」とする。例えば、フレーム単位で動画像データが入力される場合の「ピクチャ」は１フレーム分の画像を示すこととなる。

本実施形態にかかる符号化装置１００の構成を図１を参照して説明する。図１は、本実施形態にかかる符号化装置１００の機能構成を示す機能ブロック図である。

図示するように、本実施形態にかかる符号化装置１００は、変換部１０１と、量子化部１０２と、符号化部１０３と、逆量子化部１０４と、逆変換部１０５と、復元画像メモリ１０６と、動き予測部１０７と、動き補償部１０８と、画像合成部１０９と、画像選択部１１０と、から構成される。

本実施形態にかかる符号化装置１００においては、画像合成部１０９と画像選択部１１０以外の構成については、一般的なインター予測方式の動画像符号化装置と同様の構成であり、例えば、H.264標準の動画像符号化装置における構成と同様の構成とすることができる。

変換部１０１は、入力されたピクチャおよび差分データについて変換符号化をおこなうことでデータ圧縮をおこなう。本実施形態では、例えば、４×４ブロックの整数変換（Integer Transform）をおこなうことで、動画像データを空間周波数領域に変換する。すなわち、隣接画素との相関を利用して低域周波数領域に変換係数を偏らせることでデータ圧縮を行う。

量子化部１０２は、変換部１０１による変換係数の値を、例えば、量子化ステップ幅の倍数で表して量子化し、データ圧縮を行う。すなわち、変換部１０１での変換に用いられた変換係数が離散的なレベルにマッピングされる。このような量子化によって高い周波数の情報が取り除かれる。

符号化部１０３は、量子化部１０２で量子化されたデータを、例えば、エントロピー符号化して出力するものであり、ＶＬＣ（Variable Length Coding：可変長符号化）方式などの符号を用いて符号化する。より詳細には、例えば、指数ゴロム符号（Exponential Golomb Coding）や、CAVLC（Context-based Adaptive Variable Length Coding）などを用いる。さらに、生成する符号量を削減するために、CABAC（Context-based Adaptive Binary Arithmetic Coding）などの算術符号を用いて符号化してもよい。符号化部１０３で符号化されたデータ（以下、「符号化ビットストリーム」とする）は、所定の伝送媒体や記録媒体などに出力される。符号化部１０３が符号化した符号化ビットストリームは、復号化装置２００によって復号されて動画像データが再生される。

逆量子化部１０４は、量子化部１０２で量子化されたデータを逆量子化し、逆変換部１０５は、逆量子化部１０４で逆量子化されたデータを逆変換することで、量子化された入力データを復元する。

復元画像メモリ１０６は、例えば、半導体記憶素子などから構成される記憶装置であり、逆変換部１０５で復元されたピクチャ（以下、「復元ピクチャ」とする）を格納する。すなわち、符号化されて出力されたピクチャについて、符号化前のデータが格納される。復元画像メモリ１０６には複数の復元ピクチャが格納され、これらのうち、インター予測で参照される「参照ピクチャ」として用いるピクチャには「参照ピクチャフラグ」が立てられる。参照ピクチャの枚数は、例えば、H.264に準じて５ピクチャとする。この場合、例えば、スライディングウィンドウ処理などにより、直近の５ピクチャが常に復元画像メモリ１０６に保持されるものとする。なお、復元画像メモリ１０６が格納可能な参照ピクチャ数は上記に限られず任意である。

動き予測部１０７は、前のピクチャ（参照ピクチャ）と現在のピクチャとの差分を検出することで画像中の動体の動きを検出し、その動きのベクトル（動きベクトル）を求める。

動き補償部１０８は、動き予測部１０７が検出した動きベクトルに基づいて、前のピクチャに対して動き補償する。

以上の構成は、インター予測方式の動画像符号化装置における一般的な構成であり、周知技術により構成することができる。次に、本発明の実施形態にかかる符号化装置１００に特有の構成である画像合成部１０９と画像選択部１１０について説明する。

画像合成部１０９は、復元画像メモリ１０６に格納されている復元ピクチャのうち、参照ピクチャとして指定されているピクチャを合成し、参照ピクチャとして用いられる一のピクチャを生成する。ここでは、各ピクチャ間において、例えば、動体や不規則変化する背景などといった参照ピクチャとして不適当な部分を除去もしくは低減して合成する（合成処理の詳細については後述する）。本実施形態では、画像合成部１０９で合成されたピクチャ（以下、「合成ピクチャ」とする）を、インター予測で参照する「参照ピクチャ」の候補として用いられる。

画像選択部１１０は、復元画像メモリ１０６に格納されている復元ピクチャ、あるいは、画像合成部１０９で生成された合成ピクチャのいずれかを「参照ピクチャ」として選択する。ここでは、動き補償部１０８での動き予測後の符号量を評価した結果に基づいて選択がおこなわれる。すなわち、予測残差を評価し、参照ピクチャとしてより適している方（予測残差の少ない方）を選択する。ここでの選択には、例えば、H.264などの従来の符号化処理でおこなわれている複数の参照ピクチャを選択する方法を用いることができる。また、画像選択部１１０は、参照ピクチャとして選択されたピクチャがいずれであるかを示す「参照インデックス」を作成する。参照インデックスは、復号化装置２００における参照ピクチャ選択動作を制御するための「制御情報」である。作成された参照インデックスは符号化部１０３で符号化されて出力される。この場合の参照インデックスの符号は、合成ピクチャを０番とし、１番以降を、復元画像メモリ１０６内で参照ピクチャフラグが立てられているピクチャを時系列上で現在に近いものから順序づけた値とする。符号化部１０３で符号化された参照インデックスは、「付帯情報」として符号化ビットストリームに挿入されて出力される。

上記の各構成は、所定の制御信号によって制御されるものとする。制御信号は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などから構成される符号化装置１００の制御部（不図示）より各部に供給されるものとすることができる他、外部装置から供給されてもよい。

上記のように構成された符号化装置１００は、次のような手順で動画像データを符号化する。

ピクチャ単位に入力された動画像データ（原ピクチャ）は、ピクチャ単位で変換部１０１および動き予測部１０７へ送られる。動き予測部１０７では入力ピクチャと画像選択部１１０が選択した参照ピクチャとの差分を検出することで動きベクトルを検出する。動き補償部１０８は、その動きベクトルに基づいて参照ピクチャを動き補償して予測ピクチャを生成する。そして、入力ピクチャと予測ピクチャとの差分が取られ、その差分データは、変換部１０１による変換と、量子化部１０２による量子化が行われた後に、符号化部１０３で符号化される。動き予測部１０７が検出した動きベクトルデータも符号化部１０３で符号化され、両データは多重化されて出力される

一方、量子化部１０２で量子化された差分データは、逆量子化部１０４で逆量子化され、逆変換部１０５で逆変換されることにより復元される。復元された差分データと、動き補償部１０８が生成した予測ピクチャとが加算され、復元画像メモリ１０６に復元ピクチャ（復元画像）として格納される。復元画像メモリ１０６に格納された複数の復元ピクチャは、画像合成部１０９によって合成される。画像合成部１０９によって合成された合成ピクチャと復元画像メモリ１０６内の復元ピクチャのいずれかが画像選択部１１０によって選択され、インター予測の「参照ピクチャ」（参照画像）として用いられる。

ここで、画像合成部１０９による「合成処理」の詳細を図２に示すフローチャートを参照して説明する。ここでは、復元画像メモリ１０６内で参照ピクチャとして指定されているピクチャの画素情報を合成して、ピクチャ間で変化の大きい成分が除去もしくは低減された一つのピクチャである「合成ピクチャ」（合成画像）を生成する。合成される画素情報は、各ピクチャの画素値についての「代表値」を用いる。本実施形態では、「代表値」として、最頻値（モード）を用いるものとする。

「合成処理」は、例えば、復元画像メモリ１０６に復元ピクチャが格納されたことを契機に開始され、まず、画像合成部１０９が「参照ピクチャリスト」を作成する（ステップＳ１０１）。この「参照ピクチャリスト」は、復元画像メモリ１０６内で参照ピクチャフラグが立っている復元ピクチャを、現在に近いものから順序づけたリストである。

次に画像合成部１０９は、作成された参照ピクチャリストに含まれる復元ピクチャの画素値をループ処理によって取得する（ステップＳ１０２〜Ｓ１１３）。このループ処理において、画像合成部１０９は、復元ピクチャの内、ｉ番目のピクチャについての画素値を取得する（ステップＳ１０５）。ここでは、ｙ座標の画素値については、初期値を「０」、増分値を「１」、終値を「垂直画素数−１」、としたループとし（ステップＳ１０２、Ｓ１１３）、ｘ座標の画素値については、初期値を「０」、増分値を「１」、終値を「水平画素数−１」、としたループとし（ステップＳ１０３、Ｓ１１２）、ピクチャ番号ｉについては、初期値を「０」、増分値を「１」、終値を「ピクチャ枚数−１」、としたループとする（ステップＳ１０４、Ｓ１０６）。すなわち、上記ループ条件が満たされるまでループ処理が継続されることで、各ピクチャにおける画素毎の画素値が取得される。

ループ処理によって各ピクチャの画素値が得られると、画像合成部１０９は、得られた画素値を昇順にソートし（ステップＳ１０７）、最頻値を求める（ステップＳ１０８）。画像合成部１０９はさらに、求められた最頻値の個数に基づいて、当該最頻値が唯一値であるか否かを判別する（ステップＳ１０９）。

例えば、５枚の復元ピクチャについて、各ピクチャの座標（0, 0）の画素値が「1,3,3,5,1」である場合、昇順にソートすると「1,1,3,3,5」となる。ここから最頻値をとると、その集合は｛1,3｝となる。すなわち、最頻値が２つ存在することとなり、唯一値とはならない。一方、各ピクチャの座標（0, 0）の画素値が、例えば、「1,3,3,5,3」である場合の最頻値の集合は｛3｝となり、個数が１であるため、当該最頻値は唯一値となる。

本実施形態では、ループ処理により、各ピクチャのｘ座標とｙ座標の画素値が取得されるので、各ピクチャ間の同一座標についての最頻値が求められることになる。

ある座標についての最頻値が唯一である場合（ステップＳ１０９：Ｙｅｓ）、画像合成部１０９は、当該最頻値を合成ピクチャにおける当該座標の画素値として適用する（ステップＳ１１０）。例えば、各復元ピクチャの座標（0, 0）での画素値についての最頻値集合が｛3｝である場合、合成ピクチャの座標（0, 0）の画素値を「３」とする。

一方、ある座標についての最頻値が唯一ではない場合（ステップＳ１０９：Ｎｏ）、画像合成部１０９は、複数の最頻値の平均値を求め、合成ピクチャにおける当該座標の画素値として適用する（ステップＳ１１１）。例えば、各復元ピクチャの座標（0, 0）での画素値についての最頻値集合が｛1,3｝である場合、平均値である「２」を合成ピクチャの座標（0, 0）の画素値として適用する。

このように、復元ピクチャの各座標についての最頻値を合成ピクチャの各座標の画素値とすることで「合成ピクチャ」が生成され（ステップＳ１１４）、処理を終了する。すなわち、複数の復元ピクチャを合成した一のピクチャが生成される。ここで、合成の手法として、各座標毎に複数の復元ピクチャの最頻値を適用しているため、復元ピクチャ間での変化の大きい成分が除去もしくは低減された一のピクチャを合成ピクチャとして生成することができる。

すなわち、上記の処理で求めた最頻値は、複数の復元ピクチャ間において最も集中度の高い画素値を示すものである。通常、画素値が同一値に集中しているピクチャは予測残差が少ないピクチャである。したがって、画像合成部１０９が生成した合成ピクチャを画像選択部１１０が参照ピクチャとして選択すれば、各復元ピクチャ自体を参照するよりも安定したインター予測となる可能性が高くなる。ここで、参照ピクチャとして選択されたピクチャがいずれであるかを示す参照インデックスが作成され、符号化されたピクチャデータとともに出力される。

なお、画素値が一に集中しない場合であっても、平均値などを用いて合成することで、予測残差の少ない合成ピクチャを生成することができる。このような方法によっても、各ピクチャ間で変化の大きい成分が除去もしくは低減された合成ピクチャを生成することができる。なお、合成の際に用いる代表値は、上記のような最頻値や平均値に限らず、例えば、中央値（メジアン）などを採用してもよく、また、これらの組み合わせであってもよい。

次に、上記符号化装置１００で符号化された符号化ビットストリームを復号するための復号化装置２００について図３を参照して説明する。図３は、本実施形態にかかる復号化装置２００の機能構成を示す機能ブロック図である。

図示するように、復号化装置２００は、復号化部２０１と、逆量子化部２０２と、逆変換部２０３と、動き補償部２０４と、復元画像メモリ２０５と、画像合成部２０６と、画像選択部２０７と、から構成される。

また、上記の各構成は、所定の制御信号によって制御されるものとする。制御信号は、例えば、ＣＰＵなどから構成される復号化装置２００の制御部（不図示）より各部に供給されるものとすることができる他、外部装置などから供給されてもよい。

復号化部２０１は、符号化装置１００から伝送される符号化されたビットストリームを、例えば、エントロピー復号により復号するものである。すなわち、符号化装置１００の符号化部１０３における符号化方式に対応した方式で復号処理をおこなう。同様に、逆量子化部２０２および逆変換部２０３も、符号化装置１００の量子化部１０２における量子化方式および変換部１０１における変換方式に対応した方式で逆量子化および逆変換をおこなう。

このような構成の復号化装置２００は、以下のような手順で符号化ビットストリームを復号して動画像データ（原ピクチャ）を出力する。

復号化装置２００に符号化ビットストリームが入力されると、復号化部２０１で復号され、復号されたデータは、逆量子化部２０２による逆量子化、および、逆変換部２０３による逆変換によって復元され、復元データが出力される。

符号化ビットストリームには、参照インデックスがシンタックス要素として含まれているため、復号化部２０１は参照インデックスも復号する。復号された参照インデックスは、ピクチャと同様に逆量子化と逆変換により復元され、復元画像メモリ２０５に格納される。復元されたピクチャ（復元ピクチャ）も復元画像メモリ２０５に格納される。

画像合成部２０６は、復元画像メモリ２０５に格納されている復元ピクチャに対して合成処理をおこなうことで合成ピクチャを生成する。ここでの合成処理は、画像合成部１０９の処理（図２）と同様である。すなわち、最頻値などの代表値を用いて、予測残差の少ない合成ピクチャを生成する。

画像選択部２０７は、復号した参照インデックスに基づいて、復元画像メモリ２０５の復元ピクチャあるいは画像合成部２０６で生成された合成ピクチャのいずれかを参照ピクチャとして選択する。動き補償部２０４は、復号化部２０１で復号されたピクチャと、画像選択部２０７で選択された参照ピクチャとに基づいて動き補償をおこなって、予測ピクチャを作成して復元画像メモリ２０５に格納される。また、動き補償されたデータと、逆変換部２０３で復元されたデータとが加算されて、動画像データとして出力される。

以上説明したように、本実施形態にかかる符号化装置１００および復号化装置２００によれば、インター予測方式で動画像データの符号化・復号化をおこなう場合に、既に出力されたピクチャを復元した復元ピクチャを復元画像メモリ１０６に複数格納しておき、これらのピクチャの画素値についての代表値に基づいた合成ピクチャを生成して参照ピクチャの候補とする。ここで、合成ピクチャは、多くの場合、復元ピクチャにおける参照に不適切な成分（予測残差など）が除去・低減されたものであるので、合成ピクチャを参照ピクチャとして選択することで、安定したインター予測となる可能性が高まり、動画像データの符号化を効率的かつ安定的におこなうことができる。また、合成ピクチャは、復元ピクチャ間での変化の大きい成分が除去もしくは低減されたピクチャであるので、特に、画像全体の動きが少ない動画像データを符号化する場合に好適である。なお、画像全体に動きがある場合であっても、合成対象となる復元ピクチャを動きに応じて累積的に平行移動させれば、同様に予測残差の少ない合成ピクチャを生成することができる。

さらに、参照ピクチャとして選択されたピクチャがいずれであるかを示す情報は、単一の参照インデックスとして出力されるので、参照インデックス分の符号量を削減することもできる。さらに、画素単位（座標単位）で合成するので、ブロック境界にとらわれずに合成することが可能であり、符号化効率をより高めることができる。

また、H.264などといった従来の動画像符号化処理では、最適な参照ピクチャの指定に煩雑な管理手続が必要であったが、上記実施形態にかかる符号化装置１００および復号化装置２００によれば、自動的に最適な参照ピクチャを構成することができる。このため、例えば、コンテンツのオーサリングなどを２パス処理や人手を必要とすることなく、効率的におこなうことができる。

上記実施形態１では、参照ピクチャフラグの立っている復元ピクチャを合成するものとしたが、これに限られず、例えば、復元画像メモリ１０６に格納されているすべての復元ピクチャを用いて合成ピクチャを生成してもよい。

また、上記実施形態１では、復元ピクチャを画像合成部１０９への入力としたが、これに限られず、例えば、原ピクチャを入力としてもよい。また、このようなピクチャ（画像）に限らず、符号化演算の中間結果（例えば、動きベクトルや予測残差、量子化係数）などを入力として合成処理をおこなってもよい。例えば、合成処理において、ある復元ピクチャのある画素に関し、その復元ピクチャを符号化する過程で当該画素の属する予測ブロックについてのインター予測の残差が０に近かった場合に、当該画素の画素値を代表値として選択してもよい。この場合、「静止しているものは引き続き静止する」という予測が成り立つ条件下では、インター予測の残差が０に近いということは、以前のピクチャとほぼ同一の画素値が保たれたことになるため、上述したような最頻値を求めることと実質的に等価あるいは類似の効果となる。

あるいは、合成処理において、例えば、ある復元ピクチャのある画素に関し、その復元ピクチャを符号化する過程で、当該画素の属する予測ブロックの動きベクトルが、空間的に隣接する周囲の予測ブロックの動きベクトルと極めて近似していた場合、当該画素の画素値を代表値として選択してもよい。この場合、隣接する予測ブロックの動きベクトルが近似しているということは、ピクチャ間における当該ブロックの領域は、静止しているか規則的に動いているということを示すものであるから、当該領域では不規則な動きが発生していないことが期待できる。このため、「変化の少なかった領域は引き続き変化が少ない」という予測が成り立つ条件下では、当該画素の画素値を代表値とすることは、上述したような最頻値を求めることと実質的に等価あるいは類似の効果となる。

また、画像合成部１０９による合成処理で用いられる代表値の選択にあたり、画素値の微小な差異によって有効な最頻値が求まらない場合には、例えば、量子化処理をおこなうことで、画素値の微小な差異を同一視するようにしてもよい。

上記実施形態では、画素毎に代表値をとるものとしたが、ブロック単位（例えば、２×２画素）で代表値をとって処理してもよい。この場合、各復元ピクチャの同一位置のブロックに関して、例えば、それぞれのブロック内の平均画素値を求め、ブロック毎の平均画素値についての中央値を有するブロックの画素平均値を代表値として選択すればよい。

また、動き予測部１０７によって検出される動きの大きさによって、画像合成部１０９の合成処理を選択的に実施するようにしてもよい。この場合、例えば、検出された動きベクトルが所定値よりも大きい場合には、画像合成部１０９は合成処理をおこなわず、画像選択部１１０は復元画像メモリ１０６から参照ピクチャとなるピクチャを選択する。一方、検出された動きベクトルが所定値以下である場合には、画像合成部１０９が合成処理をおこない、画像選択部１１０が合成ピクチャを参照ピクチャとして選択する。

（実施形態２）
上記実施形態１にかかる画像合成部１０９による合成処理の実行を、所定の制御信号に基づいて制御してもよい。この場合、画像合成部１０９による画像合成処理の要否を示す信号（以下、「合成要否信号」とする）が符号化装置１００に入力される。この合成要否信号は、例えば、ビデオオーサリング装置などの外部装置やオペレータの操作などによって入力される。入力された合成要否信号が「合成不要」を示す場合、画像合成部１０９による画像合成を停止し、画像選択部１１０は、復元画像メモリ１０６に格納されている復元ピクチャを参照ピクチャとして選択する。すなわち、合成要否信号によって、画像合成部１０９の動作が有効化あるいは無効化される。

その他、合成対象となるピクチャ上の座標範囲を指定する制御信号（以下、「領域指定信号」とする）が入力されてもよい。この場合、画像合成部１０９は、入力された領域指定信号で指定された矩形領域内の画素に対してのみ合成処理をおこない、指定領域外の画素に対しては、デフォルト値（例えば、灰色を示す画素値）を用いるか、あるいは、領域指定がされる前の合成ピクチャの画素値を用いる。

このような合成要否信号や領域指定信号の入力に基づいて符号化処理がおこなわれた場合には、所定のメッセージ（制御情報）が作成され、符号化装置１００から出力される符号化ビットストリームに付帯情報として付加される。このメッセージは、他の符号化データと区別するため、先頭にメッセージ種別を示す「メッセージ識別子」（ＩＤ）を持ち、その後にメッセージ種別により決まる所定長の「データ」が続く。

例えば、合成要否信号や領域指定信号が入力された場合や変化があった場合には、図４（ａ）に示すような構成の「合成制御メッセージ」が作成される。図示するように、合成制御メッセージは、「メッセージ識別子」に定数値CTL（メッセージ種別定数）を含み、「データ」として、プール値SUSと、１６ビット整数値のX1、Y1、X2、Y2を含む。プール値SUSの値は、画像合成部１０９の現在の動作が有効であれば「真」となり、無効であれば「偽」となる。また、画像合成部１０９が領域指定信号に基づいて合成処理をおこなっている場合は、対象となっている矩形領域を座標（X1, Y1）と座標（X2, Y2）で表してデータ部に含める。この場合、座標（X1, Y1）を矩形領域の始点とし、座標（X2, Y2）を終点とする。

このメッセージは、符号化部１０３によってエントロピー符号化され、入力信号が変化する前後のピクチャ符号化データの間に付帯情報として挿入される。

このような符号化ビットストリームを復号する復号化装置２００においては、合成制御メッセージを復号すると、復号されたプール値SUSの真偽値に基づいて、画像合成部２０６の合成処理が制御される。すなわち、プール値SUSが「真」である場合には、画像合成部２０６が、復元画像メモリ２０５に格納されている復元ピクチャを参照インデックスに基づいて合成する。一方、プール値SUSが「偽」である場合には、画像合成部２０６による合成処理がおこなわれない。

また、復号された合成制御メッセージのデータ部に、領域指定のための座標情報（X1、Y1、X2、Y2）が含まれている場合、画像合成部２０６は、当該座標情報で規定される矩形領域について合成処理をおこなう。この場合、画像合成部２０６は、指定領域以外の画素についての演算処理はおこなわない。

以上のように、合成要否や合成対象領域を指定することで、画像合成部１０９および画像合成部２０６によるピクチャ合成に要する期間や演算量が制限されるので、処理負荷が軽減する。

なお、領域指定した場合の合成処理範囲は、矩形領域内部に限られず、例えば、矩形領域の外部を対象としてもよい。また、指定領域は複数あってもよく、これらの矩形領域の内部あるいは外部を組み合わせて合成対象としてもよい。また、指定領域の形状も矩形に限られず、任意のものとすることができる。

（実施形態３）
上記実施形態１では、復元画像メモリ１０６内で参照ピクチャフラグの立っているすべての復元ピクチャを画像合成部１０９の入力としたが、特定の復元ピクチャを合成対象として指定してもよい。また、特定の復元ピクチャを、例えば、H.264などで規定されている「長期間参照ピクチャ」（長期間参照画像）として指定してもよい。

ここでは、例えば、画像合成部１０９が、復元画像メモリ１０６の復元ピクチャについて参照ピクチャとして適正であるか否かを評価し、この評価結果に基づいて、合成対象もしくは長期間参照ピクチャとしての指定、および、これらの解除などをおこなう。この場合、例えば、評価結果を数値（以下、「参照適正評価値」とする）で表し、参照適正評価値と所定の閾値との関係に基づいて指定をおこなう。いずれのピクチャが指定もしくは指定解除されているかを示す情報は、符号化されてビットストリームに含まれる。

ここで「参照適正評価値」として、例えば、量子化パラメータの平均値を用いることができる。量子化パラメータは、量子化歪みの大きさの尺度と考えられるので、この平均値が所定の閾値を下回ると評価された復元ピクチャ、すなわち、量子化歪みが小さい復元ピクチャを合成対象もしくは長期間参照ピクチャとして指定する。

量子化パラメータに基づいて評価した場合、量子化歪みが小さく画質の良好なピクチャのみが合成対象となる。これにより、合成ピクチャの画質も向上するため、予測精度も向上する。

また「参照適正評価値」として、例えば、動きベクトルのノルム（ベクトル長）の平均値を「参照適正評価値」としてもよい。この場合、動き予測部１０７で検出される動きベクトルに基づいて、復元画像メモリ１０６内の復号ピクチャについての動きベクトル長の平均をとる。ピクチャ中の動きベクトルのノルムは、画像の動きを示しているので、ノルムの平均値が所定の閾値を下回ると評価された復元ピクチャ、すなわち、動きの小さい復元ピクチャを合成対象もしくは長期間参照ピクチャとして指定する。

動きベクトルに基づいて評価した場合、合成対象として不適当な動きの大きいピクチャを除外することができるので、より良好な合成ピクチャを得ることができる。

上記のような画質や動きに基づいた評価に限られず、その他の任意の方法で参照ピクチャとしての適正を評価してもよい。例えば、ピクチャの周波数成分の分布によって評価してもよい。また、評価対象も復号ピクチャに限られず、例えば、ソースピクチャの画質を評価してもよい。

また、上記のように、画質などの画素の内容に基づいた指定に限られず、指定するピクチャを、例えば、乱数や周期的抽出によって選出してもよい。これは、ソースピクチャのオブジェクトが領域内部を不規則に変化しながらゆっくり移動している場合などには、単に合成対象ピクチャ群の時間的サンプリング間隔が広いことが有利に働く場合もあるためである。

このように、評価結果に応じて合成対象あるいは長期間参照ピクチャとして指定されると、指定されたピクチャがいずれであるかを示す制御情報（以下、「指定情報」とする）が生成される。生成された指定情報は、符号化部１０３で符号化され、付帯情報として符号化ビットストリームに挿入される。

復号化装置２００においては、復元画像メモリ２０５に格納されているピクチャのうち、復号化部２０１で復号された指定情報が示すピクチャが合成対象もしくは長期間参照ピクチャとして指定される。

このように、参照ピクチャとしての評価に基づいて指定された復元ピクチャのみを合成対象もしくは長期参照ピクチャとすることで、参照ピクチャとして良好な特性を有する復元ピクチャのみを参照ピクチャとすることができるので、より良好な参照ピクチャを用いた符号化・復号化をおこなうことができる。また、指定されたピクチャのみを対象に処理をおこなうので、すべてのピクチャを対象とする場合に比べ、処理効率も向上する。

（実施形態４）
上記各実施形態に記載の符号化装置１００および復号化装置２００において、いわゆる「シーンチェンジ」が発生した時の参照ピクチャを、通常とは異なるものとすることにより、シーンチェンジ時のインター予測の安定性や効率をより高めるようにしてもよい。この場合の構成および動作を実施形態４として以下説明する。本実施形態では、「シーンチェンジ」として、いわゆる「カットバック」を想定する。「カットバック」とは、同様のシーンと異なるシーンとを交互に切り替えて一連のビデオ内容を形成する映像手法である。

つまり、図５に示すように、例えば、一のカメラＣＡで撮影したシーンＡ（フレーム１〜２）の後に、他のカメラＣＢで撮影されたシーンＢ（フレーム３〜５）に切り替えられ、さらにカメラＣＡで撮影されたシーンＡ’（フレーム６〜）に切り替わるような一連の動画像を想定する。ここで、同一のカメラＣＡで撮影されたシーンＡとシーンＡ’では、撮影アングルや画角（構図）、被写体、背景などがほぼ同一であるものとする。換言すれば、同一の撮影アングルや画角（構図）などの条件下で同一の被写体や背景などを撮影したシーンと、これらが異なる別のシーンとが、フレームシーケンス中に交互に出現する動画像であれば、カットバックによるシーンチェンジがされた動画像とすることができる。図５の例では、シーンＡからシーンＢへの切り替わりをシーンチェンジ１（以下、「ＳＣ１」）とし、シーンＢからシーンＡ’への切り替わりをシーンチェンジ２（以下、「ＳＣ２」）とする。すなわち「カットバック」が成立するためには、少なくとも２回のシーンチェンジが発生することとなる。

本実施形態にかかる符号化装置１００の構成を図６を参照して説明する。図示するように、本実施形態にかかる符号化装置１００は、実施形態１にかかる符号化装置１００の構成に、シーンチェンジ検出部１１１とシーンチェンジ用バッファ１１２を加えたものである。その他の構成については、実施形態１の符号化装置１００と同一であるため、以下、シーンチェンジ検出部１１１とシーンチェンジ用バッファ１１２について説明する。

シーンチェンジ検出部１１１は、現ピクチャと、復元画像メモリ１０６から取り出した直前の復元ピクチャとを入力とし、これらのピクチャの輝度あるいは色差信号の差分を画素毎に求めることで、シーンチェンジの有無を検出する。すなわち、ピクチャ全体の輝度あるいは色差の変化を検出し、変化が大きい場合にシーンチェンジの発生を検出する。この場合、シーンチェンジ検出部１１１は、例えば、求めた差分の絶対値の総和が所定の閾値を超えれば「真」、超えなければ「偽」を出力する。すなわち、「真」が出力されれば「シーンチェンジがある」こととなり、「偽」が出力されれば「シーンチェンジがない」ということになる。

なお、シーンチェンジ検出部１１１によるシーンチェンジ検出の方法は上記に限られない。例えば、動きを考慮する必要がある場合には、単なる差分に代えて、動き補償部１０８による動き補償後の差分をとるようにしてもよい。あるいは、画面全体の画素値の統計量（平均や分散など）を比較することで検出してもよい。

また、動画像シーケンスに付随して、シーンチェンジを示す所定の入力信号（例えば、シーンＩＤ、カメラ番号、オペレータの入力による指示信号、など。以下、「シーンチェンジ信号」とする）がある場合には、シーンチェンジ検出部１１１は、そのシーンチェンジ信号を真偽値出力として用いてもよい。

シーンチェンジの有無に基づいて符号化処理がおこなわれた場合には、図４（ｂ）に示すような構成の「シーンチェンジメッセージ」（シーンチェンジ情報）が制御情報として作成される。図示するように、シーンチェンジメッセージは、「メッセージ識別子」に定数値SCN（メッセージ種別定数）を含めただけの単純なメッセージである。このようなシーンチェンジメッセージは、符号化部１０３によってエントロピー符号化され、シーンチェンジ前後のピクチャ符号化データの間に付帯情報として挿入される。これにより、復号化装置２００が符号化ビットストリームを復号する際に、ピクチャデータ間に挿入されたシーンチェンジメッセージが復号されることで、復号化装置２００において、シーンチェンジを検出することができる。

シーンチェンジ用バッファ１１２は、復元画像メモリ１０６と同様に、半導体記憶装置などから構成され、シーンチェンジ検出部１１１が検出したシーンチェンジの前に生成された合成ピクチャ（以下、「検出前合成ピクチャ」とする）を格納する。シーンチェンジ用バッファ１１２は、例えば、最大２個のシーン参照ピクチャを保持するものとし、新たに入力されるピクチャによって古い方のピクチャが上書きされる構成とする。シーンチェンジ用バッファ１１２に格納される検出前合成ピクチャは、画像選択部１１０によるインター予測符号化の参照ピクチャ候補として選択対象となり、他の参照ピクチャと区別して復号化装置２００に伝達するための参照インデックスが割り当てられる。

このような構成の符号化装置１００において、シーンチェンジが発生した場合に参照ピクチャを選択する処理（「参照ピクチャ選択処理」）を図７に示すフローチャートを参照して説明する。この「参照ピクチャ選択処理」は、シーンチェンジ検出部１１１がシーンチェンジを検出したことを契機に開始される。すなわち、復元画像メモリ１０６の復元ピクチャと現入力ピクチャとの間の輝度もしくは色差の差分、あるいは、シーンチェンジ信号の入力に基づいて、シーンチェンジ検出部１１１が「真」を出力したことを契機に開始される。

シーンチェンジを検出すると、シーンチェンジ検出部１１１はシーンチェンジメッセージを生成するとともに、シーンチェンジが検出されたことを示す信号（以下、「シーンチェンジ検出信号」とする）を画像合成部１０９に送出する。画像合成部１０９は、シーンチェンジ検出部１１１からのシーンチェンジ検出信号に基づき、シーンチェンジ前に生成された合成ピクチャ（検出前合成ピクチャ）をシーンチェンジ用バッファ１１２に退避（格納）する（ステップＳ２０１）。図５の例では、シーンチェンジ検出部１１１がＳＣ１を検出した際に、シーンＡの符号化で生成された合成ピクチャがシーンチェンジ用バッファ１１２に格納される。

ここで、検出前合成ピクチャは、シーンチェンジの検出前に復元画像メモリ１０６に格納された復元ピクチャを合成したものである。この場合、例えば、画像合成部１０９にシーンチェンジ検出信号が入力された時点で復元画像メモリ１０６に格納されている復元ピクチャに所定のフラグを立てるなどにより、いずれの復元ピクチャがシーンチェンジ前に格納されたものであるか否かを区別する。また、検出前合成ピクチャは、第１実施形態における合成処理と同様の処理により生成されたものである。すなわち、各復元ピクチャの画素値についての代表値（最頻値）に基づいて合成されたピクチャであり、多くの場合に予測残差の少ないピクチャである。

画像合成部１０９は、さらに、シーンチェンジ検出部１１１によるシーンチェンジ検出後に復元画像メモリ１０６に格納された復元ピクチャで合成ピクチャ（以下、「検出後合成ピクチャ」とする）を生成する（ステップＳ２０２）。上述のように、シーンチェンジ検出前の復元ピクチャにフラグが立てられている場合は、フラグの立っていない復元ピクチャで合成ピクチャを生成する。

画像選択部１１０は、ステップＳ２０２で生成された検出後合成ピクチャと復元画像メモリ１０６に格納されている復元ピクチャの予測残差を評価し、参照ピクチャとしてより適している方を、インター予測の参照ピクチャとして選択する。すなわち、検出後合成ピクチャを選択候補として、参照ピクチャを選択する（ステップＳ２０３）。ここで、検出後合成ピクチャが選択された場合、図５の例では、ＳＣ１検出後の復元ピクチャから生成した合成ピクチャが、シーンＢの符号化における参照ピクチャとして使用されることとなる。

ここで、カットバックであれば、再度のシーンチェンジが発生する。この場合、シーンチェンジ検出部１１１が再度のシーンチェンジを検出すると（ステップＳ２０４：Ｙｅｓ）、画像選択部１１０が、シーンチェンジ用バッファ１１２に退避されている検出前合成ピクチャと、画像合成部１０９が生成する合成ピクチャと、復元画像メモリ１０６に格納された復元ピクチャの予測残差を評価し、参照ピクチャとしてより適しているものを参照ピクチャとして選択する。すなわち、検出前合成ピクチャを選択候補として参照ピクチャを選択する（ステップＳ２０５）。カットバックによるシーンチェンジでは、１回目のシーンチェンジ前のシーンと、２回目のシーンチェンジ以降のシーンがほぼ同一であるため、１回目のシーンチェンジ前のシーンで生成した合成ピクチャを、２回目のシーンチェンジ以降のシーンを符号化する際の参照ピクチャとして利用できる可能性が高い。検出前合成ピクチャが選択された場合、図５の例では、ＳＣ２検出後のシーンＡ’を符号化する際に、シーンチェンジ用バッファ１１２に格納されているシーンＡの合成ピクチャが参照ピクチャとして使用される。

一方、再度のシーンチェンジが検出されるまでは、ステップＳ２０２〜Ｓ２０３が繰り返し実行される（ステップＳ２０４：Ｎｏ）。すなわち、１回目のシーンチェンジ以降のシーンについては、当該シーンチェンジ以降に生成された合成ピクチャか復元ピクチャの一方から選択されたピクチャを参照ピクチャとしたインター予測がおこなわれる。

このような処理が、当該シーケンスが終了するまで続けられる（ステップＳ２０６：Ｎｏ）。すなわち、２回目のシーンチェンジ以降は、当該シーンチェンジ前に生成された合成ピクチャが「検出前合成ピクチャ」としてシーンチェンジ用バッファ１１２に退避され、次のシーンチェンジ時に参照ピクチャ候補として使用される。そして、当該シーケンスの終了に伴い、本処理は終了する（ステップＳ２０６：Ｙｅｓ）。

このように、カットバックなどによりほぼ同一のシーンが再度出現する場合に、先に出現したシーンを符号化する際に生成された合成ピクチャをシーンチェンジ用バッファ１１２に退避させ、同様のシーンが再度出現した際に参照ピクチャ候補として使用することで、予測効率の高い適切な合成ピクチャをシーンチェンジ直後に参照ピクチャとして選択することができる。これにより、動画像データのリアルタイム符号化における効率をより高めることができる。

このような、シーンチェンジに応じて選択された参照ピクチャを用いて符号化されたビットストリームを復号する復号化装置２００の構成を図８を参照して説明する。図８は、本実施形態にかかる復号化装置２００の構成を示すブロック図である。本実施形態にかかる符号化装置１００と同様、本実施形態にかかる復号化装置２００の構成は、実施形態１にかかる復号化装置２００の構成にシーンチェンジ用バッファ２０８を加えたものである。シーンチェンジ用バッファ２０８は、画像合成部２０６が生成した合成ピクチャの内、シーンチェンジ前の合成ピクチャを格納する。

なお、符号化装置１００のシーンチェンジ用バッファ１１２と同様、シーンチェンジ用バッファ２０８は、例えば、最大２つのピクチャを保持することができ、新しい入力ピクチャによって古い方のピクチャが上書きされる構成とする。シーンチェンジ用バッファ２０８に保持される合成ピクチャは、インター予測復号における参照ピクチャとしての選択対象となる。ここでは、復号された参照インデックスに基づいて、画像選択部２０７が参照ピクチャを選択する。

このような構成の復号化装置２００では、復号化部２０１が符号化ビットストリーム中の「シーンチェンジメッセージ」を復号すると、その時点で画像合成部２０６が出力する合成ピクチャがシーンチェンジ用バッファ２０８に退避（格納）される。すなわち、符号化装置１００により、シーンチェンジ前後のピクチャ間にシーンチェンジメッセージが挿入されているため、シーンチェンジメッセージの復号により、シーンチェンジのタイミングを検出することができる。したがって、シーンチェンジメッセージが復号された時点で既に生成されている合成ピクチャは、当該シーンチェンジ前のシーンについての合成ピクチャということになる。

このように、シーンチェンジメッセージに基づいて、カットバックによるシーンチェンジが発生した際に、シーンチェンジ前の合成ピクチャをシーンチェンジ用バッファ２０８に退避させる。そして、次のシーンチェンジが検出された際に、画像合成部２０６が、シーンチェンジ用バッファ２０８に退避させた合成ピクチャを参照ピクチャとして選択することで、カットバックによるシーンチェンジ直後に予測効率の高い合成ピクチャを参照ピクチャとして利用することができる。

すなわち、本実施形態にかかる符号化装置１００および復号化装置２００によれば、カットバックによるシーンチェンジ前に生成した合成ピクチャをバッファに退避させ、再度のシーンチェンジ時に参照ピクチャとして使用可能とすることで、カットバック手法が用いられた動画像の符号化・復号化を効率的におこなうことができる。

なお、シーンチェンジが短期間の間に複数回発生するような場合には、例えば、極めて短いシーン（例えば、所定時間より短い時間のシーン、あるいは、所定フレーム数より少ないフレーム数のシーン）で作成された合成ピクチャを退避対象としないようにしてもよい。これにより、変化の激しいシーンを複数のシーンと誤認識して保存してしまうことを防止できる。

また、上記実施形態４では、シーンチェンジ検出前に生成された合成ピクチャを退避対象としたが、シーンチェンジ検出前の合成に用いられていた復元ピクチャを退避対象としてもよい。この場合、バッファに退避された復元ピクチャから、合成対象とするピクチャ群をシーンチェンジ毎に切り替えるようにしてもよい。

なお、上記実施形態４では、バッファメモリ（シーンチェンジ用バッファ１１２やシーンチェンジ用バッファ２０８）を構成して退避対象となる合成ピクチャ（もしくは復元ピクチャ）を退避させたが、復元ピクチャを格納するメモリ（復元画像メモリ１０６や復元画像メモリ２０５）内に退避対象とするピクチャ（合成ピクチャもしくは復元ピクチャ）を記憶する領域を論理的に作成した構成であってもよい。

さらに、シーンチェンジがカットバックであることを示す情報などが付帯情報として動画像データに付与されていてもよい。この場合、符号化装置１００および復号化装置２００は、付帯情報に基づいてシーンチェンジがカットバックであるか否かを判別し、カットバックである場合にのみ検出前合成ピクチャを退避させるようにしてもよい。このような付帯情報は、例えば、撮影したカメラを示すカメラＩＤなどを含んでいてもよい。この場合、カメラＩＤに基づいてカットバックであるか否かを判別するようにしてもよい。

また、上記実施形態３で例示した手法と組み合わせ、シーンチェンジ検出前に生成された合成ピクチャ（検出前合成ピクチャ）を「長期間参照ピクチャ」として指定することで、再度のシーンチェンジ時に参照するようにしてもよい。このような構成によれば、バッファメモリを構成することなく、シーンチェンジを含む動画像を効率的に符号化・復号化することができる。

以上説明したように、本発明を上記実施形態の如く適用することにより、予測残差の少ない合成ピクチャをインター予測の際の参照ピクチャとして用いることができるので、高い予測効率でリアルタイムに符号化および復号化することができる。

上記の符号化装置１００および復号化装置２００は、それぞれ単体の装置として実現可能であることはもとより、例えば、動画像記録再生装置などに具備されるコーデック装置として提供することができる。すなわち、符号化装置１００と復号化装置２００をそれぞれ単体で用いることができる他、一対の符号化装置１００と復号化装置２００を一の装置内に組み込んで用いることができる。

ここで、符号化装置１００と復号化装置２００とを所定の通信媒体で接続することで、動画像データを符号化して伝送する伝送システムを構成することができる。また、一対の符号化装置１００と復号化装置２００を動画像記録再生装置などに組み込んだ場合は、符号化装置１００が符号化したデータを所定の記録媒体に記録し、記録媒体に記録された符号化データを復号化装置２００が復号して再生する構成とすることができる。このような符号化装置１００および復号化装置２００は、例えば、パーソナルコンピュータなどのコンピュータ装置に組み込まれる拡張ボードなどの形態（いわゆる「モジュール」など）で提供してもよい。

さらに、上記実施形態にかかる符号化装置１００および復号化装置２００の各構成の機能をソフトウェア処理によって実現してもよい。この場合、例えば、パーソナルコンピュータや動画像記録再生装置などの汎用コンピュータ装置などで、上述した各処理および機能を実現するためのプログラムを実行することで、当該汎用コンピュータ装置を上記符号化装置１００および復号化装置２００、あるいは、これらを組み合わせたコーデック装置として機能させることができる。

すなわち、汎用コンピュータ装置の記憶部に当該プログラムをインストールし、ＣＰＵなどの制御部がプログラムを実行する。この場合、以下のようなプログラムを実行させることで、汎用コンピュータ装置等を本発明の実施形態にかかる符号化装置１００として機能させることができる。
（１−１）「インター予測符号化プログラム」：入力された動画像データについて、入力ピクチャあるいは差分データ、および、参照インデックスなどを変換符号化、量子化、符号化して出力するとともに、これらを逆量子化、逆変換して復元し、動き予測や動き補償、および、インター予測をおこなうためのプログラム
（１−２）「画像合成プログラム」：復元されたピクチャを、各ピクチャの画素に関する代表値に基づいて合成し、参照ピクチャに用いるための合成ピクチャを生成するためのプログラム
（１−３）「シーンチェンジ検出プログラム」：入力されるピクチャ間の変化を検出することで、シーンチェンジを検出し、シーンチェンジ発生前に生成された合成ピクチャを退避し、再度のシーンチェンジ時の参照ピクチャ候補とするためのプログラム
（１−４）「参照ピクチャ選択プログラム」：復元ピクチャ、合成ピクチャ、退避させた合成ピクチャなどを評価し、いずれかを参照ピクチャとして選択するためのプログラム
（１−５）「付帯情報生成プログラム」：参照ピクチャとして選択されたピクチャがいずれであるかや、シーンチェンジ時に退避させたピクチャがいずれであるかなどを示す付帯情報を生成するためのプログラム
（１−６）「制御信号生成プログラム」：合成の要否や合成対象領域などを指定する制御信号を生成するためのプログラム

また、以下のようなプログラムを実行させることで、汎用コンピュータ装置等を本発明の実施形態にかかる復号化装置２００として機能させることができる。
（２−１）「インター予測復号化プログラム」：入力された符号化ビットストリームを復号し、復号されたピクチャあるいは差分データ、および、参照インデックスなど逆量子化および逆変換して復元するとともに、復元されたピクチャを用いて動き予測や動き補償、および、インター予測をおこなうためのプログラム
（２−２）「画像合成プログラム」：復元されたピクチャを、復号された付帯情報に基づいて合成し、参照ピクチャに用いるための合成ピクチャを生成するためのプログラム
（２−３）「シーンチェンジ検出プログラム」：復号された付帯情報に基づいて、シーンチェンジを検出し、シーンチェンジ発生前に生成された合成ピクチャを退避させ、再度のシーンチェンジ時の参照ピクチャ候補とするためのプログラム
（２−４）「参照ピクチャ選択プログラム」：復号された付帯情報に基づいて、復元ピクチャ、合成ピクチャ、退避させた合成ピクチャなどのいずれかを参照ピクチャとして選択するためのプログラム

これらのプログラムは、汎用コンピュータ装置等に予め組み込んで提供することができる他、プログラム自体を独立して提供してもよい。この場合のプログラムの配布方法は任意であり、例えば、CD-ROMやメモリカードなどの記録媒体に格納して配布可能であることはもとより、例えば、インターネットなどの通信媒体を介して配布してもよい。

上記各実施形態の記載は、本発明を適用するための一例であり、本発明の範囲は上記各実施形態によって限定されるものではない。すなわち、上記実施形態以外の種々の形態で本発明が適用されてもよく、それらは本発明の範囲に含まれるものである。

本発明の実施形態１にかかる符号化装置の構成を示すブロック図である。 図１に示す符号化装置の画像合成部が実行する「合成処理」を説明するためのフローチャートである。 本発明の実施形態１にかかる復号化装置の構成を示すブロック図である。 本発明の実施形態にかかる符号化装置で作成されるメッセージの例を示す図であり、（ａ）は合成制御メッセージの例を示し、（ｂ）はシーンチェンジメッセージの例を示す。 本発明の実施形態４で想定するカットバックによるシーンチェンジを説明するための図である。 本発明の実施形態４にかかる符号化装置の構成を示すブロック図である。 図６に示す符号化装置が実行する「参照ピクチャ選択処理」を説明するためのフローである。 本発明の実施形態４にかかる復号化装置の構成を示すブロック図である。

符号の説明

１００…符号化装置、１０１…変換部、１０２…量子化部、１０３…符号化部、１０４…逆量子化部、１０５…逆変換部、１０６…復元画像メモリ、１０７…動き予測部、１０８…動き補償部、１０９…画像合成部、１１０…画像選択部、１１１…シーンチェンジ検出部、１１２…シーンチェンジ用バッファ、２００…復号化装置、２０１…復号化部、２０２…逆量子化部、２０３…逆変換部、２０４…動き補償部、２０５…復元画像メモリ、２０６…画像合成部、２０７…画像選択部、２０８…シーンチェンジ用バッファ

Claims (15)

1. 動画像データを符号化して出力する符号化手段と、
   符号化された動画像データを復元した復元画像を格納する復元画像格納手段と、
   入力される動画像データと、所定の参照画像とに基づいてインター予測をおこなう予測手段と、
   を備えた、インター予測方式で動画像データを符号化する動画像符号化装置において、
   前記復元画像格納手段に格納されている複数の復元画像を、各復元画像の画素値に基づいて合成した合成画像を生成する合成手段をさらに備え、
   前記予測手段は、前記合成手段が生成した合成画像を参照画像としてインター予測をおこなう、
   ことを特徴とする動画像符号化装置。
2. 前記合成手段は、
   前記各復元画像の画素値についての所定の代表値を取得する代表値取得手段をさらに備え、
   前記代表値取得手段が取得した代表値に基づいて前記合成画像を生成する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記代表値取得手段は、各復元画像の画素値の最頻値を代表値として取得する、
   ことを特徴とする請求項２に記載の動画像符号化装置。
4. 前記合成手段は、所定の制御信号に基づいて、合成する領域を制限する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動画像符号化装置。
5. 前記合成手段が生成した合成画像もしくは前記復元画像格納手段に格納されている復元画像のいずれかを参照画像として選択する選択手段と、
   前記選択手段が選択した画像がいずれであるかを示す制御情報を生成する制御情報生成手段と、をさらに備え、
   前記符号化手段は、前記制御情報生成手段が生成した制御情報を符号化して出力する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
6. 前記復元画像格納手段に格納されている復元画像を評価する評価手段と、
   前記評価手段の評価に基づいて、前記復元画像の内のいずれかを合成対象として指定する指定手段と、をさらに備える、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の動画像符号化装置。
7. 前記指定手段は、前記評価手段の評価に基づいて、前記復元画像の内のいずれかを長期間参照画像として指定する、
   ことを特徴とする請求項６に記載の動画像符号化装置。
8. 前記動画像におけるシーンチェンジを検出するシーンチェンジ検出手段をさらに備え、
   前記合成手段は、前記シーンチェンジ検出手段によるシーンチェンジの検出前に生成した合成画像を前記復元画像格納手段に格納されている復元画像から退避させ、
   前記予測手段は、前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記退避させた合成画像を参照画像とする、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
9. 符号化ビットストリームを復号して動画像データを取得する復号手段と、
   復号された動画像データを構成する復元画像を格納する復元画像格納手段と、
   復号された動画像データと、所定の参照画像に基づいてインター予測をおこなう予測手段と、
   を備えた、インター予測方式で動画像データを復号する動画像復号化装置において、
   前記復元画像格納手段に格納されている複数の復元画像を、各復元画像の画素値に基づいて合成した合成画像を生成する合成手段と、
   前記符号化ビットストリームに含まれる所定の制御情報に基づいて前記復元画像もしくは前記合成画像のいずれかを参照画像として選択する選択手段と、をさらに備え、
   前記予測手段は、前記選択手段が選択した参照画像を用いてインター予測をおこなう、
   ことを特徴とする動画像復号化装置。
10. 前記合成手段は、前記各復元画像の画素値についての所定の代表値に基づいて、前記合成画像を生成する、
    ことを特徴とする請求項９に記載の動画像復号化装置。
11. 前記合成手段は、前記所定の制御情報に基づいて、前記合成画像を生成する、
    ことを特徴とする請求項９または１０に記載の動画像復号化装置。
12. 前記制御情報は、前記動画像におけるシーンチェンジを示すシーンチェンジ情報を含み、
    前記合成手段は、前記シーンチェンジ情報に基づいて、シーンチェンジ前に生成した合成画像を退避させ、
    前記選択手段は、前記シーンチェンジ情報に基づいて、前記退避させた合成画像を選択候補として参照画像を選択する、
    ことを特徴とする請求項９乃至１１のいずれか１項に記載の動画像復号化装置。
13. インター予測方式により動画像データの符号化・復号化をおこなうコーデック装置であって、
    符号化された動画像データを復元した復元画像を記憶する復元画像記憶手段と、
    前記復元画像記憶手段に記憶された複数の復元画像を画素値に基づいて合成した合成画像を生成する合成手段と、
    少なくとも前記合成画像および前記復元画像のいずれかを参照画像として選択する選択手段と、
    前記選択手段が選択した参照画像を用いてインター予測をおこなう予測手段と、
    を備えることを特徴とするコーデック装置。
14. 前記動画像におけるシーンチェンジを検出するシーンチェンジ検出手段をさらに備え、
    前記合成手段は、前記シーンチェンジ検出手段が検出したシーンチェンジ前に生成した合成画像を退避させ、
    前記選択手段は、前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記退避させた合成画像を選択候補とする、
    ことを特徴とする請求項１３に記載のコーデック装置。
15. コンピュータに、
    符号化された動画像データを復元した復元画像を記憶するステップと、
    復元された複数の画像を画素値に基づいて合成した合成画像を生成するステップと、
    前記動画像においてシーンチェンジが発生した場合に、当該シーンチェンジの発生前に生成された合成画像を退避させるステップと、
    前記復元画像、生成された合成画像、および、退避させた合成画像のいずれかを参照画像として選択するステップと、
    選択された参照画像を用いてインター予測をおこなうステップと、
    を実行させることでインター予測方式で動画像データの符号化・復号化をおこなうコーデック装置として機能させることを特徴とするプログラム。

Images