JP2014007469A

JP2014007469A - 画像符号化装置及び画像符号化方法

Info

Publication number: JP2014007469A
Application number: JP2012140101A
Authority: JP
Inventors: Hiroo Endo; 寛朗遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-06-21
Filing date: 2012-06-21
Publication date: 2014-01-16
Also published as: CN103517071B; CN103517071A; US20130343667A1; US9076189B2

Abstract

【課題】符号化ブロックのサイズが画面内で可変である場合でも、精度よく量子化係数を制御できるようにする。
【解決手段】予測方式決定部１００１と、予測符号化部１００２と、エントロピー符号化部１００３とでパイプライン処理を行う際に、整数変換単位ブロック（トランスフォーミングブロック：ＴＵ）のサイズをＣＵ（コーディングユニット）のサイズよりも小さくし、ＴＵ単位で発生符号量を前記予測符号化部１００２にフィードバックすることにより、フィードバック遅延を減少させ、量子化制御の精度を向上させるようにする。
【選択図】図１

Description

本発明は画像符号化装置及び画像符号化方法に関し、特に、符号化単位のブロックサイズを画面内で可変にする符号化装置に用いて好適な技術に関する。

近年、音声信号、映像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して映像信号の圧縮符号化復号化技術が注目されている。圧縮符号化及び復号化技術により、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。

これらの圧縮符号化復号化技術は、多くの映像信号が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性がある。時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減することができる。一方、空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減させることができる。これらの技術を用いた符号化方式に、Ｈ．２６４／ＭＰＥＧ−４ＰＡＲＴ１０（ＡＶＣ）（以下、Ｈ．２６４と呼ぶ）がある。

Ｈ．２６４の符号化処理をハードウェアで実現する場合、一般的には、予測符号化方法決定処理、予測符号化処理、エントロピー符号化処理に符号化処理を分割し、符号化ブロック単位で各処理をパイプライン処理するように構成される（特許文献１）。また、指定の符号量に収めるために、符号化ブロック単位でエントロピー符号化後の符号量をフィードバックし、量子化係数を符号化ブロック単位で制御する機構を一般的には有している。

量子化係数の制御は前述のパイプライン処理のなかでは、予測符号化処理の中に含まれ、パイプラインの関係で、符号量のフィードバックが量子化係数に反映されるには２マクロブロックの遅延が生じる。図５（ａ）に前述のパイプライン処理を模式化した図を示している。図５では符号化ブロックをＭＢと表現し、ＭＢ０の発生符号量のフィードバックはＭＢ２へ反映される。

さらに近年では、次期符号化方式の研究が行われている。そのなかで検討されている技術の一つに、可変符号化ブロックサイズがある。この技術は、符号化の単位となる符号化ブロックのサイズを画像の特徴に応じて変えることによって圧縮効率を向上させる技術である。

図４は、画面の一部分を複数の大きさの符号化ブロックに分割した例を示している。図４では、符号化ブロックをＣＵ（コーディングユニット）と表現し、ここでは画面の一部分をＣＵ０からＣＵ９まで１０個の符号化ブロックに分割している。

特開２０１０−５０８３３号公報

しかしながら、符号化ブロックのサイズが可変である場合に、従来の符号化方式と同様に符号化ブロックの発生符号量をフィードバックして量子化係数を決定すると、場合によっては符号量のフィードバックが量子化係数に反映される遅延が大きくなってしまう。例えば、ＣＵのサイズが図４のような場合は、図５（ｂ）に示すように、ＣＵ０の発生符号量のフィードバックはＣＵ８に反映されることとなる。
本発明は前述の問題点に鑑み、符号化ブロックのサイズが画面内で可変である場合でも、精度よく量子化係数を制御できるようにすることを目的とする。

本発明の画像符号化装置は、画面を複数の符号化ブロックに分割して、符号化ブロック単位で符号化する画像符号化装置であって、前記符号化ブロックの予測方式を決定する予測方式決定手段と、前記符号化ブロックの原画像と、前記決定された予測方式に基づく予測画像との差分を算出し、前記差分を直交変換した変換係数を量子化する予測符号化手段と、前記符号化ブロックの量子化された変換係数をエントロピー符号化するエントロピー符号化手段とを備え、前記予測方式決定手段と、前記予測符号化手段と、前記エントロピー符号化手段は並行して処理を行い、前記エントロピー符号化手段は、前記符号化ブロックの量子化された変換係数を前記符号化ブロックのサイズよりも小さい前記直交変換の単位で順次符号化を行い、一つの直交変換単位のエントロピー符号化が終了するたびに、その直交変換単位で発生した符号量を前記予測符号化手段へ通知し、前記予測符号化手段は、エントロピー符号化されたストリームが、あらかじめ設定されているビットレートとなるように、前記エントロピー符号化手段から通知された直交変換単位での符号量にしたがって、前記符号化ブロックの量子化係数を制御することを特徴とする。

本発明によれば、符号化ブロックのサイズが画面内で可変である場合でも、精度よく量子化係数を制御することが可能となり、圧縮効率を向上させることができる。

第１の実施形態に係る画像符号化装置を有する撮像装置の構成例を示すブロック図である。符号化ブロック単位のパイプライン処理を模式的に示した図である。第２の実施形態に係る画像符号化装置を有する撮像装置の構成例を示すブロック図である。画面の一部分を複数の大きさの符号化ブロックに分割した例を示した図である。従来の符号化ブロック単位のパイプライン処理を模式的に示した図である。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る画像符号化装置１００を含む撮像装置の構成例を示すブロック図である。なお、図１の撮像装置において、本発明の画像符号化装置に特に関係のない構成については、省略または簡略化して示す。

図１において、撮像装置は、本発明に係わる画像符号化装置１００、レンズや撮像センサ等のカメラ部を含み、画像データを取得する撮像部１０１、および記録部１１８を含み、記録媒体１１９を装着可能に構成されている。

画像符号化装置１００は、フレームメモリ１０２と、符号化の単位となる符号化ブロック（ＣＵ：Coding Unit）の大きさ(画素数)を決定する符号化ブロックサイズ決定部１２０。予測方式決定部１００１と、予測方法など予測符号化に必要な情報を一時記憶する予測記憶部１００４と、予測符号化部１００２。量子化後の係数値などエントロピー符号化に必要な情報を一時記憶する係数記憶部１００５と、エントロピー符号化部１００３とを備えている。また、画像符号化装置１００のフレームメモリ１０２は、インター予測に用いる参照画像を記憶する参照画像メモリ１１４を備えている。そして、画面を複数の異なる大きさの符号化ブロックに分割して、符号化ブロック単位で符号化する。

予測方式決定部１００１は、動きベクトルを探索するインター予測部１０３と、イントラ予測方法を選択するイントラ予測部１０４とを備えている。さらに、インター予測とイントラ予測とのどちらかの予測方法を選択するイントラ・インター選択部１０５とを備えている。

予測符号化部１００２は、予測画像生成部１０６と、減算器１０７と、整数変換部１０８と、量子化部１０９とを備えている。さらに、逆量子化部１１０と、逆整数変換部１１１と、加算器１１２と、ループ内フィルタ１１３と、量子化制御部１１６とを備えている。

被写体を撮像部１０１で撮像して得られた動画像データは、フレームメモリ１０２に順次格納され、符号化を行う順序で画像データは取り出される。
予測方式決定部１００１、予測符号化部１００２、エントロピー符号化部１００３は、それぞれ、符号化ブロックＣＵを単位としてパイプライン、すなわち、時間的に一部又はすべての期間、各処理が並行して動作している。それぞれの詳細な処理内容を以下に説明する。

（ＣＵの予測方式決定処理）
本実施形態の符号化ブロックサイズ決定部１２０は、図４を参照しながら前述したように、符号化の単位となる符号化ブロックのサイズを画像の特徴に応じて変えることによって圧縮効率を向上させるようにしている。前述したように、図４は、画面の一部分を複数の大きさの符号化ブロックに分割した例を示している。図４では、符号化ブロックをＣＵ（コーディングユニット）と表現し、ここでは画面の一部分をＣＵ０からＣＵ９まで１０個の符号化ブロックに分割している。符号化ブロックの最大サイズは、図４のブロックの太線（外周部）に囲まれる領域（最大符号化ブロック）である。

符号化ブロックサイズ決定部１２０が決定した符号化ブロックサイズに従って、符号化対象のＣＵの画像データがフレームメモリ１０２から読み出されて、インター予測部１０３、およびイントラ予測部１０４へ入力される。符号化ブロックサイズの決定方法については、例えば画像のエッジ情報から決定するなど、その方法はここでは問わない。

インター予測部１０３は、参照画像データを参照画像メモリ１１４から読み出し、符号化対象のＣＵの画像データと、動き探索範囲の参照画像データとの相関に基づいて動きベクトルを検出してイントラ・インター選択部１０５へ通知する。

一方、イントラ予測部１０４は、符号化対象のＣＵの周辺画素のデータをフレームメモリ１０２から読み出す。そして、符号化対象のＣＵの画像データと、その符号化対象のＣＵの周辺画素のデータから生成される複数のイントラ予測画像データとの相関に基づいてイントラ予測方式を選択してイントラ・インター選択部１０５へ通知する。なお、周辺画素のデータは、加算器１１２から出力される再構成画像データでもよい。

イントラ・インター選択部１０５は、インター予測部１０３の結果とイントラ予測部１０４の結果とを入力し、例えば、差分値が小さい方の予測方式を選択して、後述するＣＵの予測符号化処理に必要な情報とともに、予測記憶部１００４に一時記憶される。

（ＣＵの予測符号化処理）
予測画像生成部１０６は、予測記憶部１００４から符号化対象のＣＵの予測方式を読み出し、予測方式に従って予測画像を生成する。予測方式がインター予測の場合には、予測記憶部１００４から読み出した動きベクトルなどの予測情報に従って参照画像メモリ１１４から該当データを読み出して予測画像を生成する。一方、予測方式がイントラ予測の場合には、予測記憶部１００４から読み出したイントラ予測方式に従って、加算器１１２から出力される再構成画像データから予測画像データを生成する。

減算器１０７には、フレームメモリ１０２から読み出される符号化対象のＣＵの原画像の画像データと前述の予測画像データとが入力され、符号化対象のＣＵの原画像と予測画像との画素値の差分を算出して、その差分データを整数変換部１０８へ出力する。整数変換部１０８は、画素値の差分データに直交変換を施す。

本実施形態では、直交変換として整数変換を例にするが、離散コサイン変換（ＤＣＴ）等であってもよい。整数変換は、整数変換の単位となる整数変換単位ブロック（ＴＵ：Transform Unit）で行われる。本実施形態では、ＴＵは符号化対象のＣＵよりも小さく、例えば水平垂直ともに２分割するものとするが、分割数はこれに限るものではない。量子化部１０９は、整数変換により生成した変換係数を、量子化制御部１１６から通知される量子化係数で量子化し、量子化後の変換係数を係数記憶部１００５へ一時記憶する。

量子化制御部１１６は、後述するエントロピー符号化部１００３が生成した符号量の通知に基づいて、図示しないコントローラーからあらかじめ指示されている符号量（ストリームのビットレート）となるように量子化係数を制御する。

また、量子化部１０９により量子化された変換係数は、逆量子化部１１０にも入力される。逆量子化部１１０は、入力された変換係数を逆量子化し、逆整数変換部１１１は、逆量子化された信号に対して逆整数変換処理を施す。

加算器１１２には、逆整数変換されたデータと、予測画像生成部１０６により生成された予測画像データとが入力されて加算される。加算後のデータは、復号された再構成画像データとなり、予測画像生成部１０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとして参照画像メモリ１１４に記憶される。

（ＣＵのエントロピー符号化処理）
エントロピー符号化部１００３は、係数記憶部１００５から符号化対象のＣＵの量子化された変換係数や、予測方式などの情報を読み出してエントロピー符号化し、ストリームとして記録部１１８に出力する。エントロピー符号化部１００３は、予測方式などの符号化情報をエントロピー符号化した後、ＣＵ内に含まれる複数のＴＵのエントロピー符号化を行い、生成した符号量を量子化制御部１１６へ通知する。

エントロピー符号化部１００３によるエントロピー符号化は、ＴＵ単位（直交変換単位）で順次符号化を行い、一つのＴＵのエントロピー符号化が終了するたびに、そのＴＵで発生した符号量を量子化制御部１１６へ通知する。図２は、複数のＣＵが図４のように分割されている場合の、処理の流れを模式的に示している。本実施形態においては、ＴＵのサイズをＣＵのサイズよりも小さくし、ＴＵ単位で発生符号量を予測符号化部１００２にフィードバックするようにしているので、予測符号化処理のＣＵ５でＣＵ０の最初のＴＵの符号量の通知を受信している。

本実施形態のように動作することによって、生成した発生符号量が量子化制御部１１６へフィードバックされる遅延が短縮され、精度よく量子化係数の制御をすることができる。
なお、エントロピー符号化部１００３が通知する生成した符号量は、記録部１１８へ出力するストリームの符号量ではなく、例えば、エントロピー符号化を行う際に生成される中間データの量など、符号量に相当する量であってもよい。

記録部１１８は、エントロピー符号化部１００３から出力されたストリームを記録媒体１１９に記録する。記録処理はＣＵ単位ではなく、音声データとの多重化ストリームを生成した後に記録するなどしてもよい。
なお、本実施形態では、符号化処理を予測方式決定処理、予測符号化処理、エントロピー符号化処理の３つの処理でパイプライン処理しているが、処理の分割数、および各パイプライン処理に含まれる詳細な処理の内容はこの限りではない。

（第２の実施形態）
本発明の第２の実施形態について、図３を用いて説明する。
図３は、本実施形態に係る画像符号化装置３００を含む撮像装置の構成例を示すブロック図である。図３は、図１と比較して予測方式決定部３００１が異なっており、ＴＵのサイズを決定する整数変換直交変換サイズ決定部（直交変換サイズ決定部）３０１をさらに備えている。その他の構成は第１の実施形態の撮像装置と同様であり、その説明はここでは省略する。

イントラ・インター選択部１０５が予測方式を選択した後、予測方式の選択信号は整数変換サイズ決定部３０１へ通知される。
整数変換サイズ決定部３０１は、符号化対象のＣＵのサイズが３２×３２、または、１６×１６の場合には、ＴＵのサイズをＣＵのサイズより小さく設定する。

一方、符号化対象のＣＵのサイズが８×８の場合には、ＴＵのサイズを、例えば、符号化対象のＣＵの分散値など画像の特徴によってＴＵのサイズを決定する。すなわち、符号化対象のＣＵのサイズが８×８の場合には、ＴＵのサイズを必ずしもＣＵのサイズよりも小さくするわけではない。なお、ここではＣＵのサイズは、３２×３２、１６×１６、８×８の３つのサイズが選択可能としたが、これに限るものではない。

本実施形態のように動作することによって、ＴＵのサイズを画像の特徴などによって選択しながらも、生成した符号量が量子化制御部１１６へフィードバックされる遅延が短縮され、精度よく量子化係数の制御をすることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００画像符号化装置、１０１撮像部、１０２フレームメモリ、１０３インター予測部、１０４イントラ予測部、１０５イントラ・インター選択部、１０６予測画像生成部、１０７減算器、１０８整数変換部、１０９量子化部、１１０逆量子化部、１１１逆整数変換部、１１２加算器、１１３ループ内フィルタ、１１４参照画像メモリ、１００１予測方式決定部、１００２予測符号化部、１００３エントロピー符号化部、１００４予測記憶部、１００５係数記憶部

Claims

画面を複数の符号化ブロックに分割して、符号化ブロック単位で符号化する画像符号化装置であって、
前記符号化ブロックの予測方式を決定する予測方式決定手段と、
前記符号化ブロックの原画像と、前記決定された予測方式に基づく予測画像との差分を算出し、前記差分を直交変換した変換係数を量子化する予測符号化手段と、
前記符号化ブロックの量子化された変換係数をエントロピー符号化するエントロピー符号化手段とを備え、
前記予測方式決定手段と、前記予測符号化手段と、前記エントロピー符号化手段は並行して処理を行い、
前記エントロピー符号化手段は、前記符号化ブロックの量子化された変換係数を前記符号化ブロックのサイズよりも小さい前記直交変換の単位で順次符号化を行い、一つの直交変換単位のエントロピー符号化が終了するたびに、その直交変換単位で発生した符号量を前記予測符号化手段へ通知し、
前記予測符号化手段は、エントロピー符号化されたストリームが、あらかじめ設定されているビットレートとなるように、前記エントロピー符号化手段から通知された直交変換単位での符号量にしたがって、前記符号化ブロックの量子化係数を制御することを特徴とする画像符号化装置。
前記予測方式決定手段が生成した予測方式を含む情報を記憶する予測記憶手段と、
前記予測符号化手段が生成する量子化された変換係数を含む情報を記憶する係数記憶手段とを備えることを特徴とする請求項１に記載の画像符号化装置。
前記予測符号化手段は、前記符号化ブロックの大きさより小さいサイズに前記直交変換のブロックの大きさを分割して直交変換を行うことを特徴とする請求項１に記載の画像符号化装置。
前記直交変換のブロックの大きさを決定する直交変換サイズ決定手段を備え、
前記直交変換サイズ決定手段は、符号化ブロックの大きさに応じて、前記直交変換のブロックの大きさを決定することを特徴とする請求項１に記載の画像符号化装置。
前記直交変換サイズ決定手段は、符号化ブロックの大きさが、あらかじめ設定されている大きさより大きい場合に、直交変換のブロックの大きさを、符号化ブロックの大きさより小さくすることを特徴とする請求項４に記載の画像符号化装置。
画面を複数の符号化ブロックに分割して、符号化ブロック単位で符号化する画像符号化方法であって、
前記符号化ブロックの予測方式を決定する予測方式決定工程と、
前記符号化ブロックの原画像と、前記決定された予測方式に基づく予測画像との差分を算出し、前記差分を直交変換した変換係数を量子化する予測符号化工程と、
前記符号化ブロックの量子化された変換係数をエントロピー符号化するエントロピー符号化工程とを備え、
前記予測方式決定工程と、前記予測符号化工程と、前記エントロピー符号化工程は並行して処理を行い、
前記エントロピー符号化工程は、前記符号化ブロックの量子化された変換係数を前記符号化ブロックのサイズよりも小さい前記直交変換の単位で順次符号化を行い、一つの直交変換単位のエントロピー符号化が終了するたびに、その直交変換単位で発生した符号量を前記予測符号化工程へ通知し、
前記予測符号化工程は、エントロピー符号化されたストリームが、あらかじめ設定されているビットレートとなるように、前記エントロピー符号化工程から通知された直交変換単位での符号量にしたがって、前記符号化ブロックの量子化係数を制御することを特徴とする画像符号化方法。
画面を複数の符号化ブロックに分割して、符号化ブロック単位で符号化する画像符号化方法の各工程をコンピュータに実行させるプログラムであって、
前記符号化ブロックの予測方式を決定する予測方式決定工程と、
前記符号化ブロックの原画像と、前記決定された予測方式に基づく予測画像との差分を算出し、前記差分を直交変換した変換係数を量子化する予測符号化工程と、
前記符号化ブロックの量子化された変換係数をエントロピー符号化するエントロピー符号化工程とを備え、
前記予測方式決定工程と、前記予測符号化工程と、前記エントロピー符号化工程は並行して処理を行い、
前記エントロピー符号化工程は、前記符号化ブロックの量子化された変換係数を前記符号化ブロックのサイズよりも小さい前記直交変換の単位で順次符号化を行い、一つの直交変換単位のエントロピー符号化が終了するたびに、その直交変換単位で発生した符号量を前記予測符号化工程へ通知し、
前記予測符号化工程は、エントロピー符号化されたストリームが、あらかじめ設定されているビットレートとなるように、前記エントロピー符号化工程から通知された直交変換単位での符号量にしたがって、前記符号化ブロックの量子化係数を制御するようコンピュータを制御することを特徴とするプログラム。
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。