JP2012169763A

JP2012169763A - 画像符号化装置と画像符号化方法およびプログラム

Info

Publication number: JP2012169763A
Application number: JP2011027386A
Authority: JP
Inventors: Kiyoto Someya; 清登染谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2012-09-06
Also published as: US20120207219A1; CN102638683A

Abstract

【課題】多視点画像の符号化における符号化効率をさせる。
【解決手段】特徴量生成部３１は、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する。参照ピクチャリスト作成部３５は、符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する。多視点画像の符号化において、参照ピクチャに対して符号量が少なくなるようにインデックスを割り当てることが可能となり、符号化効率を向上できる。
【選択図】図２

Description

この技術は、画像符号化装置と画像符号化方法およびプログラムに関する。詳しくは、多視点画像の符号化効率を向上できるようにする。

近年、画像情報をディジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。さらに、ＭＰＥＧ２といった符号化方式に比べ、より高い符号化効率が実現できるＨ．２６４／ＡＶＣ(Advanced Video Coding)という画像符号化方式が標準化されている。

このような画像符号化方式では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行っている。例えば、空間的な冗長性の削減を目的とした画面内予測符号化を行うＩピクチャでは、画素間の相関を利用して予測画像の生成が行われている。また、時間的な冗長性の削減を目的とする画面間予測符号化を行う片方向予測ピクチャ（Ｐピクチャ）では、前方の画像を参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。さらに、双予測ピクチャ（Ｂピクチャ）では、前方や後方のピクチャを参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。なお、Ｂピクチャにおいて、１枚目の参照ピクチャをＬ０予測の参照ピクチャ、２枚目の参照ピクチャをＬ１予測の参照ピクチャと呼ぶ。

Ｈ．２６４／ＡＶＣ方式は、既に符号化した複数のピクチャから参照ピクチャを選択することができるようになされている。また、選択された参照ピクチャは、インデックスで管理されている。インデックスは、検出した動きベクトルがどのピクチャを参照した動きベクトルであるかを示す情報と用いられて、検出した動きベクトルを示す情報とともに符号化される。

インデックスは、０以上の値が設定される。また、インデックスは、値が小さいほど符号化後の情報量（符号量）が少ない。さらに、参照ピクチャへのインデックスの割り当ては、自由に設定することができる。そのため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さいインデックスを割り当てることで、インデックスを符号化したときの符号量を少なくして、符号化効率を向上させることが可能となる。

また、特許文献１では、インタレース走査方式の２Ｄ画像に対してフィールド符号化を行う場合、符号化対象ピクチャとの時間的な距離が近い参照ピクチャに、小さい値のインデックスを割り当てることが行われている。

特開２０１０−６３０９２号公報

ところで、ＦＳ（Frame Sequential）−ＡＶＣやマルチビュービデオ符号化（ＭＶＣ:Multiview Video Coding）では、時間方向の画像間での相関を利用する時間予測だけでなく、視点の異なる画像間での相関を利用する視差予測が行われる。

このように、画像符号化装置で時間予測だけでなく視差予測を行う場合、視差予測も含めてインデックスを割り当てる必要がある。

図１は、従来の一般的な画像符号化装置の動作を示すフローチャートである。画像符号化装置は、ステップＳＴ１で参照ピクチャリストを決定したのちマクロブロックループ処理を行う。なお、参照ピクチャリストは、参照される画像（参照ピクチャ）とインデックスとの関係を示すリストである。画像符号化装置は、マクロブロックループ処理として、ステップＳＴ２で動き予測とイントラ予測およびモード判定を行い、判定結果に基づきステップＳＴ３で直交変換、ステップＳＴ４で量子化、ステップＳＴ５で符号化ストリームの生成を行う。さらに、画像符号化装置は、ステップＳＴ６で逆量子化、ステップＳＴ７で逆直交変換を行い、ステップＳＴ８で参照画を生成する。この生成された参照画を用いて、動き予測とイントラ予測を行う。このように、予め参照ピクチャリストを定義しなければならないため、例えば時間的な距離が近い参照ピクチャに小さい値のインデックスを割り当てた場合、時間予測や視差予測で参照される割合が多い画像の順にインデックスを割り当てることが保証されない。

また、参照される割合が多いピクチャの順に参照ピクチャリストを並び替える必要がある場合には、マクロブロックループ処理を再度行い、参照される割合が多い画像を判別する必要があるため、処理時間が増大してしまう。さらに、リアルタイムが要求される高速な符合化処理では、マクロブロックループ処理を再度行うことが許されない場合も生じる。

そこで、この技術では、多視点画像の符号化における符号化効率を向上できる画像符号化装置と画像符号化方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する特徴量生成部と、符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する参照ピクチャリスト作成部とを有する画像符号化装置にある。

この技術においては、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量、例えば視差予測と時間予測を行うブロック割合や、符号化対象ピクチャが双予測ピクチャである場合、時間予測の参照ピクチャ毎に動き予測を行うことにより得られた参照ピクチャ毎の予測誤差を示す情報や、さらに視差予測の参照ピクチャを用いて動き予測を行うことにより得られた予測誤差を示す情報が生成される。

符号化対象ピクチャの符号化では、この符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、参照ピクチャの参照ピクチャリストが更新されて、支配的である予測で用いる参照ピクチャに対して符号長の短いインデックスの割り当てが行われる。また、動き予測では、符号化対象ピクチャの符号化直前に符号化されたピクチャにおける同位置のブロックで選択されているインデックスで示された参照ピクチャから動き予測が行われて、予測誤差が予め設定した閾値以下である場合、動き予測が終了される。さらに、予測誤差が閾値よりも大きい場合、支配的である予測の順に参照ピクチャを用いて動き予測を行い、予測誤差が閾値以下となった場合、動き予測が終了される。

この技術の第２の側面は、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する工程と、符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する工程とを有する画像符号化方法にある。

この技術の第３の側面は、画像の符号化をコンピュータで実行させるプロクラムであり、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する手順と、符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

この技術によれば、ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量が生成される。符号化対象ピクチャの符号化では、符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、参照ピクチャの参照ピクチャリストが更新される。したがって、多視点画像の符号化において、参照ピクチャに対して符号量が少なくなるようにインデックスを割り当てることが可能となり、符号化効率を向上できる。

従来の一般的な画像符号化装置の動作を示すフローチャートである。画像符号化装置の構成を示す図である。符号化対象ピクチャ毎の処理を示すフローチャートである。符号化対象ピクチャ毎の他の処理を示すフローチャートである。符号化対象ピクチャが双予測ピクチャである場合の符号化処理を示すフローチャートである。画像符号化装置の具体的動作を例示した図である。視差予測と時間予測の割合を示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。マクロブロック毎にいずれの参照ピクチャが参照されているかを示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。視差予測と時間予測の割合を示す情報と、マクロブロック毎に選択された参照ピクチャを示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。コンピュータ装置の構成を例示した図である。

以下、技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の第１の動作
３．画像符号化装置の第２の動作
４．画像符号化装置の動作例
５．画像符号化装置の第３の動作
６．ソフトウェア処理の場合

＜１．画像符号化装置の構成＞
図２は、画像符号化装置１０の構成を例示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。また、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２５を有している。さらに画像符号化装置１０は、特徴量生成部３１、参照ピクチャリスト作成部３５、イントラ予測部４１、動き予測・補償部４２、予測画像・最適モード選択部４３を備えている。

Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。

画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部４１および動き予測・補償部４２に出力する。

減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部４３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部４３から供給された予測画像データとの差分を示す予測誤差データを算出して、直交変換部１４に出力する。

直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。

量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。

可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部４１と動き予測・補償部４２および予測画像・最適モード選択部４３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ブロックのブロックサイズを示すマクロブロックタイプ、予測モード等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報等を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。さらに、可逆符号化部１６は、参照ピクチャを指定するための情報を符号化して符号化ストリームに含める。

蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。

レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は、空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。

逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。

逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。

加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部４３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ２４とイントラ予測部４１に出力する。

デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に出力する。

フレームメモリ２５は、デブロッキングフィルタ２４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置から供給された参照ピクチャの画像データを保持する。

特徴量生成部３１は、時間予測と視点予測のいずれがピクチャにおいて支配的であるかを示す特徴量の生成を行う。特徴量は、例えばディペンデントビューのブロック符号化を行う場合、時間方向の参照ピクチャを用いる時間予測のブロックと視点の異なる参照ピクチャを用いる視差予測のブロックのいずれがピクチャ内で多いかを示す情報である。特徴量生成部３１は、ピクチャにおける視差予測のブロックと時間予測のブロックとの割合を特徴量として算出する。また、特徴量生成部３１は、参照ピクチャを用いてブロック単位で動き予測を行い予測誤差（ＭＥ誤差）を算出して、１ピクチャにおけるＭＥ誤差を特徴量として用いる。このようにして特徴量生成部３１は特徴量の生成を行い、生成した特徴量を参照ピクチャリスト作成部３５に出力する。

参照ピクチャリスト作成部３５は、特徴量生成部３１で生成された特徴量に基づき、参照ピクチャの参照ピクチャリストを更新する。具体的には、参照ピクチャリスト作成部３５は、特徴量に基づき参照ピクチャリストの更新を行い、支配的である予測で用いる参照ピクチャに対して符号長の短いインデックスを割り当てた参照ピクチャリストとする。

参照ピクチャリスト作成部３５は、例えば特徴量として視差予測のブロックと時間予測のブロックとの割合が用いられる場合、割合の多い予測で用いられる参照ピクチャに符号長の短いインデックスを割り当てた参照ピクチャリストとする。また、参照ピクチャリスト作成部３５は、例えば特徴量としてＭＥ残差が用いられる場合、ＭＥ残差が少なくなる参照ピクチャに対して符号長の短いインデックスを割り当てた参照ピクチャリストとする。なお、参照ピクチャリスト作成部３５は、最初のピクチャの符号化において、予め決定されている初期参照ピクチャリストを用いる。

イントラ予測部４１は、画面並べ替えバッファ１２から出力された符号化対象ピクチャの画像データと加算部２３から供給された画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部４１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部４１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部４３に出力する。また、イントラ予測部４１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。なお、コスト関数値の生成としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。

動き予測・補償部４２は、符号化対象ブロックのブロックサイズ毎に動き予測・補償処理を行う。動き予測・補償部４２は、画面並べ替えバッファ１２から読み出された画像における各ブロックサイズの画像毎に、フレームメモリ２５から読み出されたデブロックフィルタ処理後の画像データやベースビューの画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部４２は、検出した動きベクトルに基づいて参照ピクチャに動き補償処理を施して予測画像の生成を行う。

また、動き予測・補償部４２は、符号化対象ブロックのブロックサイズおよび参照ピクチャ毎にコスト関数値を生成して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き予測・補償部４２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部４３に出力する。また、動き予測・補償部４２は、コスト関数値の生成で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。

予測画像・最適モード選択部４３は、イントラ予測部４１から供給されたコスト関数値と動き予測・補償部４２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部４３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部４３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、インデックス等）を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部４３は、ピクチャ単位やスライス単位でイントラ予測またはインター予測を行う。

なお、視点の異なる画像がフレーム単位で切り替えられるフレームシーケンシャル−ＡＶＣ方式の画像データを符号化する場合、特徴量生成部３１は、入力された画像データから抽出した他の視点の画像データを用いて特徴量の生成を行う。また、フレームメモリ２５には、入力された画像データから抽出した他の視点の画像データ、または他視点の画像データの符号化によって生成された参照ピクチャの画像データを記憶させる。このような処理を行うことで、ＦＳ（Frame Sequential）方式の画像データの符号化も可能である。

＜２．画像符号化装置の第１の動作＞
次に画像符号化装置の第１の動作について説明する。画像の符合化において、視差予測または時間予測の割合は、同一シーン内で似た傾向を持つ。したがって、第１の動作では、符号化対象ピクチャの符号化において、この符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、参照ピクチャの参照ピクチャリストを更新することで、多視点画像の符号化効率を向上させる。また、第１の動作では、特徴量として、符号化対象ピクチャの直前に符号化されたピクチャにおいて視差予測が行われたブロックと時間予測が行われたブロックの割合を示す情報を用いた場合を示している。

視差予測が行われたブロックと時間予測が行われたブロックの割合を示す情報とは、例えば各マクロブロックが各参照ピクチャに割り当てられたインデックスｒｅｆ＿ｉｄｘを選択した割合を意味する。具体的には、符合化対象ピクチャの符号化前に符号化されたピクチャにおいて、視差方向の参照ピクチャを選択したマクロブロックが２割、時間方向の参照ピクチャを選択したマクロブロックが７割、イントラ予測のマクロブロックが１割であるとする。この場合、視差予測と時間予測の割合は、「２：７」となる。

図３は、符号化対象ピクチャ毎の処理を示すフローチャートである。

ステップＳＴ１１で画像符号化装置１０は、視差予測を利用するか否か判別する。画像符号化装置１０は、視差予測を利用する場合にはステップＳＴ１２に進み、視差予測を利用しない場合にはステップＳＴ１９に進む。

ステップＳＴ１２で画像符号化装置１０は、符号化対象ピクチャが最初のインターピクチャであるか判別する。画像符号化装置１０は、符号化対象ピクチャが最初のインターピクチャである場合にはステップＳＴ１３に進み、最初のインターピクチャでない場合はステップＳＴ１４に進む。

ステップＳＴ１３で画像符号化装置１０は、固定パターンで参照ピクチャリストを決定する。画像符号化装置１０は、符号化対象ピクチャが最初のピクチャであり、直前に符合化したピクチャにおける視差予測と時間予測の割合が得られていないことから、予め設定されている固定のパターンの初期参照ピクチャリストを決定してステップＳＴ１５に進む。

ステップＳＴ１４で画像符号化装置１０は、参照ピクチャリストを更新する。画像符号化装置１０は、符号化対象ピクチャが最初のピクチャでないことから、直前に符合化したピクチャにおける視差予測と時間予測の割合が得られている。したがって、画像符号化装置１０は、直前に符合化したピクチャにおける視差予測と時間予測の割合に基づき、参照ピクチャリストを更新してステップＳＴ１５に進む。具体的には、割合の多い予測で用いられる参照ピクチャに対して符号長の短いインデックスを割り当てた参照ピクチャリストに更新する。

ステップＳＴ１５で画像符号化装置１０は、符号化処理を行う。画像符号化装置１０は、符号化対象ピクチャの符号化処理を行いステップＳＴ１６に進む。

ステップＳＴ１６で画像符号化装置１０は、視差予測と時間予測の割合を計算する。画像符号化装置１０は、符号化対象ピクチャの符号化処理において、視差予測が行われたマクロブロックと時間予測が行われたマクロブロックの割合から、視差予測と/時間予測の割合を算出する。また、画像符号化装置は、算出した割合を次の符号化対象ピクチャで利用できるように記憶してステップＳＴ１７に進む。

ステップＳＴ１７で画像符号化装置１０は、参照ピクチャリストが割合の多い予測の順であるか判別する。画像符号化装置１０は、参照ピクチャリストが割合の多い予測の順のリストである場合、符号化対象ピクチャの符号化処理を終了する。また、画像符号化装置１０は、参照ピクチャリストが割合の多い予測の順でない場合、ステップＳＴ１８に進む。

ステップＳＴ１８で画像符号化装置１０は、参照ピクチャリストを割合が多い予測の順のリストに更新する。すなわち、画像符号化装置１０は、割合の多い予測で用いられる参照ピクチャに対して符号長の短いインデックスを割り当てた参照ピクチャリストに更新してステップＳＴ１５に戻り、符号化処理を再度行う。

なお、視差予測を利用しないためステップＳＴ１からステップＳＴ１９に進むと、画像符号化装置１０は、視差予測を利用しない従来の符号化処理を行う。

このような符号化処理を行うと、例えば同一シーンであるため視差予測と時間予測の割合の変化が少ない場合は、符号化処理が繰り返し行われない。したがって、画像符号化装置１０は、符合化効率を落とさずに符号化処理を高速化に行うことができる。また、割合の多い予測が変更された場合、参照ピクチャリストが割合に応じて更新されて符号化処理が再度行われるので、画像符号化装置１０は、符号化効率の高い符号化処理を行うことができる。

ところで、図３に示す処理では、視差予測と時間予測の割合の変化が多い場合は、符号化処理の繰り返しが多くなって、符号化処理に時間を要してしまう。そこで、画像符号化装置１０は、図４に示すように、図３におけるステップＳＴ１７とステップＳＴ１８の処理を行わないようにすれば、視差予測と時間予測の割合の変化が多い場合でも、符号化処理に要する時間が長くなってしまうことを防止できる。なお、図４に示す処理は、図３に示す処理に比べて符号化効率が低下する場合がある。例えば、符号化処理を繰り返さない場合は、時間予測の割合が多いシーンと視差予測の割合が多いシーンが含まれる場合に、いずれかのシーンの符合化効率が図３に示す処理に比べて低下する。

＜３．画像符号化装置の第２の動作＞
次に、第２の動作では、符号化対象ピクチャが双予測ピクチャ（Ｂピクチャ）である場合について説明する。符号化対象ピクチャがＢピクチャである場合、画像符号化装置１０は、Ｂピクチャに関して、視差予測と時間予測の割合を示す情報に基づき、参照ピクチャリストＬ０，Ｌ１の更新を行う。なお、参照ピクチャリストＬ０はＬＯ予測の参照ピクチャのインデックス、参照ピクチャリストＬ１はＬ１予測の参照ピクチャのインデックスを示すリストである。

Ｂピクチャの場合、視差の参照ピクチャは、参照ピクチャリストＬ０，Ｌ１のどちらか一方に入れることができる。したがって、初期参照ピクチャリストでは、常に参照ピクチャリストＬ０，Ｌ１のいずれか一方に視差の参照ピクチャを入れる。また、第２の動作では、参照ピクチャリストの更新を行い、時間方向の各参照ピクチャの動き予測の予測誤差（ＭＥ残差）が最も小さい参照ピクチャは、視差方向の参照ピクチャを含む参照ピクチャリストと異なる参照ピクチャリストに割り当てる。このように参照ピクチャの割り当てを行うと、最も参照される時間予測の参照ピクチャと視差予測の参照ピクチャの両方を利用した予測（Bi Direction）が可能となり、符合化効率を上げることができる。

また、Ｂピクチャにおいても視差予測と時間予測の割合は、同一シーン内で似た傾向を持つ。したがって、時間方向の参照ピクチャでＭＥ残差が最も小さい参照ピクチャを、視差方向の参照ピクチャを含む参照ピクチャリストと異なる参照ピクチャリストに割り当てる。このように参照ピクチャリストの割り当てを行い、前述の第１の動作と同様に視差予測と時間予測の割合に応じて参照ピクチャリストを更新することで、第１の動作と同様な効果が期待できる。

さらに、第２の動作では、時間方向の各参照ピクチャのＭＥ残差を計算することから、視差方向の参照ピクチャを用いてＭＥ残差の算出も行えば、時間予測だけでなく視差予測も含めてＭＥ残差の小さい順に参照ピクチャリストを割り当てることができる。

図５は、符号化対象ピクチャが双予測ピクチャである場合の符号化処理を示すフローチャートである。

ステップＳＴ２１で画像符号化装置１０は、符号化対象ピクチャがＢピクチャであるか判別する。画像符号化装置１０は、符号化対象ピクチャがＢピクチャである場合にステップＳＴ２２に進み、Ｂピクチャでない場合にステップＳＴ３１に進む。

ステップＳＴ２２で画像符号化装置１０は、視差予測を利用するか判別する。画像符号化装置１０は符号化処理で視差予測も利用する場合にステップＳＴ２３に進み、視差予測を利用しない場合にはステップＳＴ３１に進む。

ステップＳＴ２３で画像符号化装置１０は、符号化対象ピクチャが最初のＢピクチャであるか判別する。画像符号化装置１０は、符号化対象ピクチャが最初のＢピクチャである場合にはステップＳＴ２４に進み、最初のＢピクチャでない場合にはステップＳＴ２５に進む。

ステップＳＴ２４で画像符号化装置１０は、初期参照ピクチャリストＬ０，Ｌ１を決定する。画像符号化装置１０は、符号化対象ピクチャが最初のＢピクチャであり、ＭＥ残差が算出されていないことから、予め設定されている所定パターンの初期参照ピクチャリストＬ０，Ｌ１を決定してステップＳＴ２９に進む。

ステップＳＴ２５で画像符号化装置１０は、ＭＥ残差が最も小さい時間方向の参照ピクチャはＬ０予測であるか判別する。画像符号化装置１０は、ＭＥ残差が最も小さい時間方向の参照ピクチャが参照ピクチャリストＬ０に含まれる場合にステップＳＴ２６に進み、参照ピクチャリストＬ０に含まれない場合にステップＳＴ２７に進む。

ステップＳＴ２６で画像符号化装置１０は参照ピクチャリストＬ１に視差方向の参照ピクチャを割り当ててステップＳＴ２８に進む。

ステップＳＴ２７で画像符号化装置１０は参照ピクチャリストＬ０に視差方向の参照ピクチャを割り当ててステップＳＴ２８に進む。

ステップＳＴ２８で画像符号化装置１０は、視差予測と時間予測の割合の多い順、またはＭＥ残差の小さい順に参照ピクチャリストを決定してステップＳＴ２９に進む。

ステップＳＴ２９で画像符号化装置１０は、符号化処理を行う。画像符号化装置１０は、符号化対象ピクチャの符号化処理を行いステップＳＴ３０に進む。

ステップＳＴ３０で画像符号化装置１０は、視差予測と時間予測の割合およびＭＥ残差を計算する。画像符号化装置１０は、符号化対象ピクチャの符号化処理において、符号化対象ピクチャの各マクロブロックにおいて、視差方向の参照ピクチャと時間方向の参照ピクチャのいずれが参照されているかに基づき、視差予測と時間予測の割合を算出する。また、画像符号化装置１０は、符号化対象ピクチャの符号化処理におけるＭＥ残差を計算する。さらに、画像符号化装置１０は、算出した割合とＭＥ残差を次の符号化対象ピクチャで利用できるように記憶して符号化対象ピクチャの符号化処理を終了する。

また、符号化対象ピクチャがＢピクチャでない場合、および視差予測を利用しない場合、画像符号化装置１０はステップＳＴ３１で従来と同様の符号化処理を行う。

このような符号化処理を行うと、画像符号化装置１０は、第１の動作と同様な効果を得ることができる。さらに、画像符号化装置１０は、双予測ピクチャについてＬ０予測とＬ１予測を行う場合にも、符号化効率が高くなるように参照ピクチャリストＬ０，Ｌ１を決定できる。なお、第２の動作では、第１の動作を組み合わせて行うようにしてもよい。

＜４．画像符号化装置の動作例＞
図６は、画像符号化装置の具体的動作を例示している。例えば、Ｃａｍ０は左側からの視点の画像データ、Ｃａｍ１は右側からの視点の画像データとする。また、Ｃａｍ１の画像データは、Ｃａｍ０の画像データを参照ピクチャの画像データとして用いて符号化を行うディペンデントビュー（Dependent View）の画像データとする。さらに、ディペンデントビューの画像データを符号化するときに参照される画像データを、ベースビュー（Base View）の画像データという。

Ｃａｍ１の画像データにおける片方向予測ピクチャ（Ｐピクチャ）において、例えば参照ピクチャリストＬ０（ＬＩＳＴ＿０）は、実線の矢印で示すように、前方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ０のＰピクチャを参照ピクチャとする。ただし、ＧＯＰ先頭のアンカーＰピクチャに関しては、前方向予測で参照するＰピクチャはないので、視差予測で参照するＣａｍ０のＰピクチャのみを参照ピクチャとする。

Ｂピクチャにおいて、参照ピクチャリストＬ０（ＬＩＳＴ＿０）は、実線の矢印で示すように、前方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ０のＢピクチャを参照ピクチャとする。また、参照ピクチャリストＬ１（ＬＩＳＴ＿１）は、点線の矢印で示すように後方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ０のＢピクチャを参照ピクチャとする。ただし、視差予測で参照するＣａｍ０のＢピクチャは、参照ピクチャリストＬ０，Ｌ１のいずれか一方にしか割り当てることができない。

ＬＩＳＴ＿Ｘ（Ｘは０または１）で使用可能な２枚の参照ピクチャは、インデックスｒｅｆ＿ｉｄｘという番号で管理されており、「０」以上の値が割り当てられる。また、インデックスｒｅｆ＿ｉｄｘは、可変長符号化されて符号化後の画像データに含められる。なお、図６のＣａｍ１のＰ2ピクチャでは、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てた場合を例示している。また、インデックスｒｅｆ＿ｉｄｘの可変長符号化では、例えばインデックスｒｅｆ＿ｉｄｘ＝１よりもインデックスｒｅｆ＿ｉｄｘ＝０の符号長が短くされている。

以上の前提の基で、例えばＣａｍ１のＰ2ピクチャの視差予測と時間予測の割合が７０／３０（％）とすると、視差を参照する割合が多い。したがって、Ｃａｍ１における次のＰ4ピクチャの参照ピクチャリストは、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。

次に、例えばＣａｍ１のＢ1ピクチャにおいて、参照ピクチャリストＬ０（ＬＩＳＴ＿０）の時間方向の参照ピクチャのＭＥ残差を「１０００」、参照ピクチャリストＬ１（ＬＩＳＴ＿１）の時間方向の参照ピクチャのＭＥ残差を「８００」とする。この場合、時間方向のＭＥ残差は、参照ピクチャリストＬ１の方向が小さいので、Ｃａｍ１のＢ3ピクチャでは、ＭＥ残差が小さい方向の参照ピクチャにインデックスｒｅｆ＿ｉｄｘ＝０を割り当てる。さらに、例えば視差予測と時間予測の割合を７０／３０（％）とすると、視差を参照する割合が多い。したがって、Ｃａｍ1のＢ3ピクチャの参照ピクチャリストＬ０（ＬＩＳＴ＿０）は、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。また、視差方向の参照ピクチャのＭＥ残差を利用して、参照ピクチャリストを決定してもよい。例えば、視差方向の参照ピクチャのＭＥ残差を「５００」とすると、ＭＥ残差は視差方向の参照ピクチャの方が小さい。したがって、Ｃａｍ１のＢ3ピクチャの参照ピクチャリストＬ０（ＬＩＳＴ＿０）は、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。

次に、Ｃａｍ１のＢ3ピクチャにおいて、参照ピクチャリストＬ０（ＬＩＳＴ＿０）の時間方向の参照ピクチャのＭＥ残差を「１０００」、参照ピクチャリストＬ１（ＬＩＳＴ＿１）の時間方向の参照ピクチャのＭＥ残差を「１５００」とする。この場合、時間方向のＭＥ残差は参照ピクチャリストＬ０（ＬＩＳＴ＿０）の方向が小さいので、Ｃａｍ１における次のＢ5ピクチャの視差方向の参照ピクチャは、参照ピクチャリストＬ１（ＬＩＳＴ＿１）に割り当てる。さらに、例えば視差予測と時間予測の割合を６０／４０（％）とすると、視差予測の割合が多い。したがって、Ｃａｍ１のＢ5ピクチャの参照ピクチャリストＬ１（ＬＩＳＴ＿１）では、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。ここでも、視差方向の参照ピクチャのＭＥ残差を利用して、参照ピクチャリストＬ１（ＬＩＳＴ＿１）のインデックスの割り当てを行うようにしてもよい。例えば、視差方向の参照ピクチャのＭＥ残差を「７００」とすると、ＭＥ残差は視差方向の参照ピクチャの方が小さい。この場合、Ｃａｍ１のＢ5ピクチャの参照ピクチャリストＬ１（ＬＩＳＴ＿１）は、視差予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝０、時間予測の参照ピクチャに対してインデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。

このように、第１の動作と第２の動作を行い、特徴量に基づき参照ピクチャリストを更新することで、割合の多い予測の参照ピクチャやＭＥ残差の少ない参照ピクチャに対して値の小さいインデックスを割り当てることができる。したがって、画像符号化装置１０は、符号化効率を高めることができる。

＜５．画像符号化装置の第３の動作＞
ところで、参照ピクチャと符号化対象ピクチャのブロックとのＭＥ残差が十分に小さければ、符合化歪みもほとんどないと考えられるので、符号化対象ピクチャの当該ブロックと残りの参照ピクチャとの動き予測を行う必要がない。したがって、視差予測と時間予測の割合を示す情報に基づき、どのような順番で動き予測を行うか決定して、ＭＥ誤差に基づき動き予測の打ち切りを行えば、不要な動き予測をスキップさせて、符号化処理を高速化できる。

ここで、視差予測と時間予測のいずれか割合が多い順から動き予測を行うと、符合化歪みが少ない順に動き予測を行う場合に近い効果が得られるので、残りの参照ピクチャを用いた動き予測をスキップできる確率が高くなり、高速化が期待できる。また、マクロブロック毎に直前のピクチャが参照する参照ピクチャが視差予測と時間予測のどちらが選択されているかを示す情報を保持しておく。このように選択された予測を示す情報を保持しておき、次のピクチャでマクロブロック毎に、直前のピクチャにおける同位置のマクロブロックで選択した予測に対応する参照ピクチャを最初に用いて動き予測を行う。このように動き予測を行えば、画像符号化装置１０では、残りの動き予測をスキップできる確率が高くなり、高速化が期待できる。

図７は、視差予測と時間予測の割合を示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。

ステップＳＴ４１で画像符号化装置１０は、参照ピクチャリストの並べ替えを行う。画像符号化装置１０は、符号化対象ピクチャの符号化前に符号化されたピクチャにおいて、割合が多い予測の順に参照ピクチャリストの並べ替えを行ってステップＳＴ４２に進む。

ステップＳＴ４２で画像符号化装置１０は、参照ピクチャリスト順に動き予測を行いステップＳＴ４３に進む。

ステップＳＴ４３で画像符号化装置１０は、最後の参照ピクチャの動き予測であるか判別する。画像符号化装置１０は、動き予測に用いた参照ピクチャが最後の参照ピクチャであるときはステップＳＴ４５に進み、最後の参照ピクチャでないときはステップＳＴ４４に進む。

ステップＳＴ４４で画像符号化装置１０は、ＭＥ残差が閾値以下であるか判別する。画像符号化装置１０は、ＭＥ残差が予め設定されている閾値以下の場合、すなわち符合化歪みがほとんどないと考えられる場合、ステップＳＴ４５に進む。また、画像符号化装置１０は、ＭＥ残差が閾値よりも大きい場合、ステップＳＴ４２に戻る。

ステップＳＴ４５で画像符号化装置１０は、符号化処理を行いステップＳＴ４６に進む。

ステップＳＴ４６で画像符号化装置１０は、割合が多い参照ピクチャの順番を計算する。画像符号化装置１０は、次の符号化対象ピクチャの符号化において、割合が多い予測の順に参照ピクチャリストの並べ替えを行うことができるように、視差予測と時間予測の割合を算出して、割合が多い予測の順に参照ピクチャの順番を記憶する。

このように、画像符号化装置１０は、符号化対象ピクチャの符号化前、例えば直前に符号化されたピクチャにおいて割合が多い予測の順に参照ピクチャリストの並べ替えを行う。さらに、画像符号化装置１０は、並べ替え後の参照ピクチャリストの順に動き予測を行うことで、ＭＥ残差が十分に小さくなる参照ピクチャの検出を速やかに行うことが可能となる。また、ＭＥ残差が十分に小さくなる参照ピクチャが検出されると動き予測がスキップされるので、画像符号化装置１０は、符号化処理を高速化できる。

図８は、マクロブロック毎にいずれの参照ピクチャが参照されているかを示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。

ステップＳＴ５１で画像符号化装置１０は、直前に符号化されたピクチャで選択されたインデックスを利用して動き予測を行う。画像符号化装置１０は、直前に符号化されたピクチャにおける同位置のマクロブロックで選択されたインデックスを利用して、このインデックスが示す参照ピクチャを用いて動き予測を行いステップＳＴ５２に進む。

ステップＳＴ５２で画像符号化装置１０は、ＭＥ残差が閾値以下であるか判別する。画像符号化装置１０は、ＭＥ残差が予め設定された閾値以下である場合にはステップＳＴ５６に進み、閾値よりも大きい場合にはステップＳＴ５３に進む。

ステップＳＴ５３で画像符号化装置１０は、残りの参照ピクチャを用いて動き予測を行う。画像符号化装置１０は、動き予測に用いられていない参照ピクチャを参照ピクチャリストの順に用いて動き予測を行い、ＭＥ残差が最も少なくなる参照ピクチャを選択してステップＳＴ５６に進む。

ステップＳＴ５６で画像符号化装置１０は、選ばれた参照ピクチャのインデックスを保存する。画像符号化装置１０は、直前に符号化されたピクチャで選択されたインデックスの参照ピクチャ、またはＭＥ誤差が閾値以下であるとき選択されている参照ピクチャを示すインデックスを保存して、ステップＳＴ５７に進む。

ステップＳＴ５７で画像符号化装置１０は、符号化処理を行う。画像符号化装置１０は、選択された参照ピクチャを用いて符号化処理を行い、マクロブロックの符号化を終了する。

このように、画像符号化装置１０は、マクロブロック毎に、直前に符号化されたピクチャで選択された参照ピクチャのインデックスを利用して動き予測を行う。したがって、画像が類似している場合にはインデックスで示された参照ピクチャ以外の参照ピクチャを用いて動き予測を行う必要がないので、画像符号化装置１０は、符号化処理を高速化できる。

図９は、視差予測と時間予測の割合を示す情報と、マクロブロック毎に選択された参照ピクチャを示す情報に基づいて符号化処理の高速化をはかる場合の動作を示すフローチャートである。なお、図９において、図７および図８と対応する処理については同一の番号を付している。

ステップＳＴ４１で画像符号化装置１０は、参照ピクチャリストの並べ替えを行う。画像符号化装置１０は、符号化対象ピクチャの符号化前に符号化されたピクチャにおいて、割合が多い予測の順に参照ピクチャリストの並べ替えを行って、符号化対象ピクチャのマクロブロック毎の処理を行う。マクロブロック毎の処理のステップＳＴ５１で画像符号化装置１０は、直前に符号化されたピクチャで選択されたインデックスを利用して動き予測を行いステップＳＴ５２に進む。

ステップＳＴ５３で画像符号化装置１０は、残りの参照ピクチャを用いて動き予測を行う。画像符号化装置１０は、動き予測に用いられていない参照ピクチャを参照ピクチャリストの順に用いて動き予測を行い、ＭＥ残差が最も少なくなる参照ピクチャを選択してステップＳＴ５４に進む。

ステップＳＴ５４で画像符号化装置１０は、最後の参照ピクチャの動き予測であるか判別する。画像符号化装置１０は、動き予測に用いた参照ピクチャが最後の参照ピクチャである場合はステップＳＴ５６に進み、最後の参照ピクチャでない場合はステップＳＴ５５に進む。

ステップＳＴ５５で画像符号化装置１０は、ＭＥ残差が閾値以下であるか判別する。画像符号化装置１０は、ＭＥ残差が閾値以下の場合にはステップＳＴ５６に進み、閾値よりも大きい場合はステップＳＴ５３に戻る。

ステップＳＴ５７で画像符号化装置１０は、符号化処理を行う。画像符号化装置１０は、選択された参照ピクチャを用いて符号化処理を行う。

このようなマクロブロック毎の符号化を行い、符号化対象ピクチャのすべてのマクロブロックについて符号化が終了した場合、ステップＳＴ４６に進む。

以上のような処理をピクチャ毎に行うと、ＭＥ残差が閾値以下であるときは、新たな参照ピクチャを用いた動き予測がスキップされるので、符号化対象ピクチャの符号化に要する時間を短くすることが可能となる。したがって、画像符号化装置１０は、符合化効率を落とさずに符号化を高速に行うことができる。

＜５．ソフトウェア処理の場合＞
上述の一連の処理は、ハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置８０のＣＰＵ８０１は、ＲＯＭ８０２、または記録部８０８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。

ＲＡＭ８０３には、ＣＰＵ８０１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。

ＣＰＵ８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、タッチパネルやキーボード、マウス、マイクロホンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。

入出力インタフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してコンピュータ・プログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。

ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８５が装着された場合、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。

ＣＰＵ８０１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている画像信号や、通信部８０９を介して供給された画像信号に対する符号化を行う。なお、各種の処理は、記載にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

また、本技術は、上述した実施の形態に限定して解釈されるべきではない。例えば、直前に符号化された１つのピクチャから特徴量を算出する場合に限らず、直前に符号化された複数のピクチャから特徴量を算出するようにしてもよい。この場合には、直前に符号化された１つのピクチャでノイズ等の影響が生じても、複数のピクチャを用いて特徴量を算出することで、ノイズ等の影響を軽減できる。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この技術の画像符号化装置と画像符号化方法およびプログラムでは、ピクチャの符号化で時間方向の参照ピクチャを用いる時間予測と視点の異なる参照ピクチャを用いる視差予測のいずれが支配的であるかを示す特徴量が生成される。また、符号化対象ピクチャの符号化では、符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、参照ピクチャの参照ピクチャリストが更新される。したがって、多視点画像の符号化において、参照ピクチャに対して符号量が少なくなるようにインデックスを割り当てることが可能となり、符号化効率を向上できることから撮像装置や画像編集装置等に適している。

１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１・・・逆量子化部、２２・・・逆直交変換部、２３・・・加算部、２４・・・デブロッキングフィルタ、２５・・・フレームメモリ、３１・・・特徴量生成部、３５・・・参照ピクチャリスト作成部、４１・・・イントラ予測部、４２・・・動き予測・補償部、４３・・・予測画像・最適モード選択部、８０・・・コンピュータ装置

Claims

ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する特徴量生成部と、
符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する参照ピクチャリスト作成部と
を有する画像符号化装置。
前記参照ピクチャリスト作成部は、前記参照ピクチャリストの更新を行い、前記支配的である予測で用いる参照ピクチャに対して符号長の短いインデックスを割り当てる請求項１記載の画像符号化装置。
前記特徴量生成部は、ピクチャにおいて、前記視差予測を行うブロックと前記時間予測を行うブロックの割合を前記特徴量とする請求項２記載の画像符号化装置。
前記参照ピクチャを用いて動き予測を行う動き予測部を備え、
前記特徴量生成部は、前記符号化対象ピクチャが双予測ピクチャである場合、時間予測の参照ピクチャ毎に前記動き予測を行うことにより得られた参照ピクチャ毎の予測誤差を前記特徴量とする請求項２記載の画像符号化装置。
前記特徴量生成部は、前記視差予測の参照ピクチャを用いて動き予測を行うことにより得られた予測誤差をさらに前記特徴量とする請求項４記載の画像符号化装置。
前記参照ピクチャを用いて動き予測を行う動き予測部を備え、
前記動き予測部は、支配的である予測の順序で前記参照ピクチャを用いて動き予測を行い、予測誤差が予め設定した閾値以下である場合、前記符号化対象ピクチャにおける動き予測を終了する請求項１記載の画像符号化装置。
前記参照ピクチャを用いて動き予測を行う動き予測部を備え、
前記動き予測部は、前記符号化対象ピクチャの符号化直前に符号化されたピクチャにおいて、符号化対象のブロックと同位置であるブロックで選択されているインデックスで示された参照ピクチャを用いて動き予測を行う請求項１記載の画像符号化装置。
参照ピクチャを用いて動き予測を行う動き予測部を備え、
前記動き予測部は、前記同位置のブロックで選択されているインデックスで示された参照ピクチャを用いた動き予測における予測誤差が予め設定した閾値以下である場合、前記符号化対象のブロックにおける動き予測を終了する請求項７記載の画像符号化装置。
前記動き予測部は、前記同位置のブロックで選択されているインデックスで示された参照ピクチャを用いた動き予測における予測誤差が予め設定した閾値より大きい場合、前記インデックスに基づく順序で参照ピクチャを用いて動き予測を行う請求項８記載の画像符号化装置。
ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する工程と、
符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する工程と
を有する画像符号化方法。
画像の符号化をコンピュータで実行させるプロクラムであり、
ピクチャの符号化で視点の異なる参照ピクチャを用いる視差予測と時間方向の参照ピクチャを用いる時間予測のいずれが支配的であるかを示す特徴量を生成する手順と、
符号化対象ピクチャの符号化において、該符号化対象ピクチャの符号化前に符号化されたピクチャで生成された特徴量に基づき、前記参照ピクチャの参照ピクチャリストを更新する手順と
を前記コンピュータで実行させるプログラム。