JP2018085660A - 画像符号化装置 - Google Patents

Abstract

【課題】
画像を複数の領域に分割して並列に符号化処理を行う際に、量子化制御の制限をかけることなく画像の分割境界にデブロッキングフィルタをかけることを可能とする。
【解決手段】
画像を分割して複数の分割画像を生成する分割手段と、分割境界の上部分の符号化を行う第一の符号化手段と、分割境界の下部分の符号化を行う第二の符号化手段とを備え、分割境界の下に隣接するブロックを第一の符号化手段と第二の符号化手段の両方に入力し、分割境界の下に隣接するブロックの周波数変換サイズがフィルタによって画素変化が伝播するサイズよりも大きい周波数変化サイズであり、かつ第一の符号化手段と第二の符号化手段とで同じ符号化方法で符号化を行う。
【選択図】 図１

Description

本発明は画像符号化装置に関する。

現在、デジタルビデオカメラやハードディスクレコーダーなど、動画像を記録できるデジタル機器が普及している。これらのデジタル機器では情報量の多い動画像を容量の制限されたフラッシュメモリやハードディスクといった記録メディアに効率的に記録するため、動画像データの圧縮符号化を行っている。

代表的な動画像圧縮符号化方式として、H.264符号化方式が挙げられる。H.264符号化方式はビデオカメラのハイビジョン記録方式であるAVCHDや、地上デジタル放送のワンセグ放送に採用されていて、一般に広く普及している動画像圧縮符号化方式である。近年、4kテレビや4kビデオカメラが市場に出るなど、動画像の高解像度化、高フレームレート化が進んでいる。高解像度化、高フレームレート化にともない、要求される処理量が増大するため、画像処理の高速化が求められる。

符号化処理において、画像を分割して複数の符号化エンジンを用いて並列に符号化動作を行い、高速化を図る方法がある。例えば画像を上下の２つに分割し、上部分を符号化エンジン１、下部分を符号化エンジン２で並列に符号化を行うことにより、１つの符号化エンジンで符号化を行う場合に比べて２倍の高速化を図ることができる。

H.264符号化方式により符号化を行う場合、ローカルデコード画像にデブロッキングフィルタをかけるため、隣接する部分の符号化動作に影響を及ぼすことになる。デブロッキングフィルタをかける順番はラスタ走査順序に規定されており、符号化を行った結果作成されるローカルデコード画像がデブロッキングフィルタにより下方向のローカルデコード画像の生成に影響を及ぼしていく。したがって、このままでは画像を上下に分割し、並列に符号化を行うということができない。

この問題を解決するために、画像を上下に分割し複数の符号化器を用いて並列に符号化を行う場合に、画像分割境界に接する上の位置のマクロブロックの符号化を行う際に、周波数変換サイズを全て８×８画素とし、かつ上方向からのイントラ予測を行わないことで、画像分割境界のデブロッキングフィルタ処理に必要な分割境界の上４ライン分のローカルデコード画像が、それより上のマクロブロックの符号化結果の影響を受けないようにするという技術がある（特許文献１参照）。

特開2010-166533号公報

しかしながら従来技術においては、分割境界に接する上4ライン分の符号化を一番最初に行わなければならなかった。そのため、量子化ステップサイズをあらかじめ決めておくなど、通常の処理とは異なる符号化を行う必要があり、処理的にも画質的にも不利な面があった。

本発明は、画像を複数の領域に分割して並列に符号化処理を行う際に、量子化制御の制限をかけることなく画像の分割境界にデブロッキングフィルタをかけることが可能な装置を提供することを目的とする。

本発明の動画像符号化装置は、画像を分割して複数の分割画像を生成する分割手段と、分割境界の上部分の符号化を行う第一の符号化手段と、分割境界の下部分の符号化を行う第二の符号化手段とを備え、分割境界の下に隣接するブロックを第一の符号化手段と第二の符号化手段の両方に入力し、分割境界の下に隣接するブロックの周波数変換サイズがフィルタによって画素変化が伝播するサイズよりも大きい周波数変化サイズであり、かつ第一の符号化手段と第二の符号化手段とで同じ符号化方法で符号化を行うことを特徴とする。

本発明の画像符号化装置によれば、画像を複数の領域に分割して並列に符号化処理を行う際に、量子化制御の制限をかけることなく画像の分割境界にデブロッキングフィルタをかけることが可能となり、良好な画像を得ることができる。

実施例１を示すブロック図である。 現像処理部１０３に入力される画像を示す図である。 現像処理部１０４に入力される画像を示す図である。 符号化部１０７のブロック図である。 符号化部１０７で生成するストリームを示す図である。 符号化部１０７で生成するローカルデコード画像を示す図である。 符号化部１０８のブロック図である。 周波数変換サイズが８×８画素のときのフィルタ処理を示す図である。 符号化部１０８で生成するストリームを示す図である。 符号化部１０８で生成するローカルデコード画像を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
［実施例１］
図１は本実施形態による符号化装置を用いたカメラシステム構成を説明するブロック図である。ここでは、H.264符号化方式を実現する符号化装置を例に示してある。撮影される画像はレンズ１０１を通して、撮像部１０２に入力される。撮像部１０２で画像はデジタル画素データに変換され、上下分割して現像処理部１０３、現像処理部１０４に送られる。

現像処理部１０３に入力される画像を図２に示す。現像処理部１０３には上下分割した上部分と分割境界の下の１マクロブロックラインが入力される。現像処理部１０４に入力される画像を図３に示す。現像処理部１０４には上下分割した下部分が入力される。したがって、分割境界の下の１マクロブロックラインは、現像処理部１０３と現像処理部１０４の両方に入力されることになる。この部分の現像処理は、どちらも同じ処理がなされるものとする。

現像処理部１０３、および現像処理部１０４では、ディベイヤー処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの画像処理が行われる。画像処理後の、圧縮符号化を行うことができる形式になった画像が符号化フレームバッファ１０５、および符号化フレームバッファ１０６に入力される。この画像を符号化画像とする。

符号化部１０７は、符号化フレームバッファ１０５、および参照フレームバッファ１０９に格納されている画像を用いて符号化を行い、符号化ストリームをストリーム合成部１１１に出力する。同様に、符号化部１０８は符号化フレームバッファ１０６、および参照フレームバッファ１１０に格納されている画像を用いて符号化を行い、符号化ストリームをストリーム合成部１１１に出力する。

ストリーム合成部１１１では、符号化部１０７と符号化部１０８から受け取ったストリームを合成して１本のストリームにする。出来上がったストリームは記録メディア１１２に記録される。参照画像通信部１１３は、符号化部１０７が生成し、参照フレームバッファ１０９に格納されている参照画像のうち、次以降のフレームで符号化部１０８が必要となる部分の参照画像を読み出し、参照画像通信部１１４に送る。参照画像通信部１１４では、送られてきた参照画像を参照フレームバッファ１１０に格納する。

同様に、参照画像通信部１１４は、符号化部１０８が生成し、参照フレームバッファ１１０に格納されている参照画像のうち、次以降のフレームで符号化部１０７が必要となる部分の参照画像を読み出し、参照画像通信部１１３に送る。参照画像通信部１１３では、送られてきた参照画像を参照フレームバッファ１０９に格納する。

符号化部１０７で行われる符号化方法について説明する。符号化部１０７の構成を図４に示す。動き予測部２０１では、マクロブロックごとに符号化フレームバッファ１０５に格納されている符号化画像と、参照フレームバッファ１０９に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。また、イントラ予測モード決定を行い、イントラ・インター判定を行う。

動きベクトル検出時、およびイントラ予測モード決定時には、同時にブロック分割サイズも決定する。符号化画像と、検出された動きベクトル位置の予測画像、もしくはイントラ予測の予測画像との間で画素の差分をとり、その差分画像を直交変換部４０２に出力する。ローカルデコード画像作成用に、動きベクトル検出位置の予測画像を動き補償部４０８に出力する。

直交変換部４０２では、送られてきた差分画像に対して離散コサイン変換を行い、変換係数を生成し、量子化部４０３に出力する。量子化部４０３では、直交変換部４０２から送られてきた変換係数に対して、量子化制御部４０４が出力する量子化ステップサイズに従い、量子化を行う。量子化された変換係数は符号化ストリーム作成のため可変長符号化部４０５、ならびにローカルデコード画像作成のため逆量子化部４０６に出力される。

可変長符号化部４０５では、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化が行われる。これに対して、動きベクトルや量子化ステップサイズ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。また符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部４０４に出力する。量子化制御部４０４では、可変長符号化部４０５から送られてくる発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部４０３に出力する。

逆量子化部４０６では、量子化部４０３から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部４０７に出力される。逆直交変換部４０７では、送られてきた変換係数に対して逆離散コサイン変換を行い差分画像を生成する。生成された差分画像は動き補償部４０８に出力される。動き補償部４０８では、動き予測部４０1から送られてきた動きベクトル位置の予測画像と、逆直交変換部４０７から送られてきた差分画像を加算することにより、ローカルデコード用の画像データを生成する。

生成された画像データはデブロッキングフィルタ部４０９に出力される。デブロッキングフィルタ部４０９では、送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像は、ローカルデコード画像として、参照フレームバッファ１１７に格納する。このような動作により、符号化ストリーム、ローカルデコード画像が作成される。

符号化制御部４１０は、外部から指定された値を用いてイントラ・インター予測判定、イントラ予測モード、ブロック分割サイズ、動きベクトルの決定、量子化ステップサイズの決定を行う制御部である。符号化部１０７では、画像を上下分割した上部分は通常通りに符号化を行い、ストリームを生成する。この時点で、上下分割した上部分のストリームは正しいものが生成される。符号化部１０７で生成するストリームに該当する部分を図５に示す。ローカルデコード画像については、分割境界部分にデブロッキングフィルタをかける前の状態となっている。

ここで、分割境界の下の１マクロブロックラインに関して、符号化部１０８で行う符号化方法と同じ符号化を行えば、符号化部１０８で生成するのと同じローカルデコード画像が生成できる。このローカルデコード画像を用いることで、分割境界部分にデブロッキングフィルタを正しくかけることができる。

これを実現するため、符号化部１０８において分割境界の下の１マクロブロックラインで行った符号化方法を符号化情報として出力し、その符号化情報を符号化制御部４１０が受け取る。ここで、符号化情報とは、イントラ・インター予測判定、イントラ予測モード、ブロック分割サイズ、動きベクトル、量子化ステップサイズである。

符号化制御部４１０は、符号化情報に従い、分割境界の下の１マクロブロックライン部分の符号化制御を行う。符号化制御部４１０は、イントラ・インター予測判定、イントラ予測モード、ブロック分割サイズ、動きベクトルを動き予測部２０１、量子化ステップサイズを量子化部４０３に出力する。動き予測部２０１では、符号化制御部４１０から送られた符号化情報を用いて、符号化画像と予測画像との間で画素の差分をとり、その差分画像を直交変換部４０２に出力する。

直交変換部４０２では、送られてきた差分画像に対して周波数変換サイズを８×８画素にして離散コサイン変換を行い、変換係数を生成し、量子化部４０３に出力する。ここで周波数変換サイズを８×８画素にする理由については、後述する。量子化部４０３では、直交変換部４０２から送られてきた変換係数に対して、符号化制御部４１０が出力する量子化ステップサイズに従い、量子化を行う。

以上のように動作することで、分割境界の下の１マクロブロックラインに関して、符号化部１０７と符号化部１０８で同じ符号化を行うことができ、分割境界部分に正しくデブロッキングフィルタをかけることができる。このとき、符号化部１０７では、画像分割の上部分と、分割境界の下４ライン部分について、正しいローカルデコード画像が生成できている。符号化部１０７で生成するローカルデコード画像に該当する部分を図６に示す。

符号化部１０８の動作について説明する。符号化部１０８の構成を図７に示す。符号化部１０７との差異は、符号化制御部４１０がなく、符号化情報出力部７０１があることである。符号化部１０８における、分割境界の下の１マクロブロックラインの符号化方法について説明する。H.264符号化方式の符号化において周波数変換サイズは４×４画素と８×８画素とを選択できる。通常の符号化時においては、符号量、画質を考慮しこれらのサイズを適応的に選択して符号化を行う。

本発明の符号化装置においては、分割境界の下の１マクロブロックラインに対して全て周波数変換サイズを８×８画素にして符号化を行う。H.264符号化方式では、デブロッキングフィルタは周波数変換ブロックの境界に対して行うことになっている。そのため、周波数変換サイズを８×８画素にした場合、４×４画素の境界にはデブロッキングフィルタはかからず、８×８画素の境界にのみデブロッキングフィルタがかかることになる。

図８を用いて周波数変換サイズを８×８画素にした場合のフィルタ処理の説明を行う。図の実線部分が８×８画素の境界、点線部分が４×４画素の境界とする。実線部分の境界にはフィルタをかけるが、点線部分の境界にはフィルタはかけない。H.264符号化方式のデブロッキングフィルタは、最大で±４画素の位置までしか画素値の変化が起こらない。

水平境界１ｈには４画素Ｐ０と４画素Ｐ１とを用いてフィルタ演算を行うが、水平境界２ｈにはフィルタ処理を行わない。すなわち水平境界２ｈの下４画素であるＰ２には上方向からのフィルタ処理が行われないため、水平境界２ｈより上の符号化結果がフィルタ処理により影響されることがなくなる。また、分割境界において上の符号化の影響をなくすために、画像分割位置でスライス分割を行う。

符号化情報出力部７０１は、分割境界の下の１マクロブロックラインのイントラ・インター予測判定、イントラ予測モード、ブロック分割サイズ、動きベクトル、量子化ステップサイズの符号化情報を、符号化部１０７へ出力する。この情報を伝えることで、分割境界の下の１マクロブロックラインにおいて、符号化部１０７で符号化部１０８と同じ符号化を行うことができる。また、符号化部１０８は量子化制御において、特に制限なく制御することができる。分割境界の下の１マクロブロックラインよりも下の部分については、通常通りに符号化を行う。

このようにすることで、ストリームについては画像分割の下部分について正しいものが生成できる。符号化部１０８で生成するストリームに該当する部分を図９に示す。ローカルデコード画像については、分割境界の下4ラインについては符号化部１０８ではデブロッキングフィルタがかけられないので、正しいものが生成できない。ただし、分割境界の下4ラインよりも下の部分について、正しいものが生成できる。符号化部１０８で生成するローカルデコード画像に該当する部分を図１０に示す。

符号化部１０７と符号化部１０８で生成された、それぞれのローカルデコード画像を合わせることにより、次以降のフレームの符号化時に必要となる1枚分のローカルデコード画像が生成できる。

以上のように、画像の分割位置でスライス分割を行い、画像の分割境界の下の１マクロブロックラインの周波数変換サイズを８×８画素にし、その符号化情報をもう一方の符号化部に通知し同じ符号化を行うことで、画像の分割境界にデブロッキングフィルタをかけることができる。量子化制御を制限することなく分割境界にデブロッキングフィルタをかけることができ、良好な画像を得ることができる。

１０１ レンズ
１０２ 撮像部
１０３ 現像処理部
１０４ 現像処理部

Claims (4)

1. 画像を分割して複数の分割画像を生成する分割手段と、
   分割境界の上部分の符号化を行う第一の符号化手段と、
   分割境界の下部分の符号化を行う第二の符号化手段とを備え、
   分割境界の下に隣接するブロックを第一の符号化手段と第二の符号化手段の両方に入力し、分割境界の下に隣接するブロックの周波数変換サイズがフィルタによって画素変化が伝播するサイズよりも大きい周波数変化サイズであり、かつ第一の符号化手段と第二の符号化手段とで同じ符号化方法で符号化を行うことを特徴とする画像符号化装置。
2. 前記分割境界がスライス境界であることを特徴とする請求項１に記載の画像符号化装置。
3. 前記分割境界の下に隣接するブロックを前記第二の符号化手段で符号化を行い、その符号化情報を前記第二の符号化手段から前記第一の符号化手段へ通知することを特徴とする、請求項１または２に記載の画像符号化装置。
4. 前記符号化情報が、動きベクトル、イントラ予測モード、量子化パラメータ、マクロブロック分割情報のいずれかを含むことを特徴とする請求項３に記載の画像符号化装置。