JP2004297528A

JP2004297528A - Coding decoding system

Info

Publication number: JP2004297528A
Application number: JP2003088217A
Authority: JP
Inventors: Hiroki Taniguchi; 洋樹谷口
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2004-10-21
Anticipated expiration: 2023-03-27
Also published as: JP4118180B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a coding decoding system capable of reducing memory capacity for storing a reference image on the decoder side. <P>SOLUTION: An encoder is provided with a first means for multiplexing information that a reference image of how many sheets before is referred to and a motion vector in encoding data of an encoded image as information for decoding and a second means for multiplexing information indicating size and a position regarding a referred part in the reference image in an encoding stream as reference position information and a decoder is provided with a third means for storing the reference image decoded by using the information for decoding in a frame memory, a fourth means for storing the referred part in the reference image in another memory by using the reference position information to the reference image and a fifth means for reading and referring to the referred part in the reference image from another memory in the case of decoding an image by referring to the reference image stored in another memory. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、放送、通信分野で使用される符号化復号化システムに関する。
【０００２】
【従来の技術】
【０００３】
従来では、復号化器において、１枚以上前の参照画像を使用し、復号動作を行うためには、各参照画像の全てを保存しておくことが必要であり、メモリ容量が嵩むという問題がある。
【０００４】
【発明が解決しようとする課題】
この発明は、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れる符号化復号化システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、１枚前以上の前参照画像を使用する符号化器と、符号化器で符号化されたデータを復号化する復号化器とを備えた符号化復号化システムにおいて、符号化器は、何枚前の参照画像を参照したかという情報および動きベクトルを、符号化している画像の符号化データに、復号用情報として多重する第１手段、ならびに参照画像内の参照部分に関する大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させる第２手段を備えており、復号化器は、復号用情報を用いて復号した参照画像をフレームメモリに格納する第３手段、当該参照画像に対する参照位置情報を用いて当該参照画像内の参照部分を別メモリに格納する第４手段、ならびに別メモリに格納された参照画像を参照して画像を復号する際に、別メモリから当該参照画像内の参照部分を読み出して参照する第５手段を備えていることを特徴とする。
【０００６】
請求項２に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００７】
請求項３に記載された発明は、請求項２に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を別メモリに格納するものであることを特徴とする。
【０００８】
請求項４に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００９】
請求項５に記載された発明は、請求項４に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域を別メモリに格納するものであることを特徴とする。
【００１０】
請求項６に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報および矩形領域内の必要部分と不必要部分とを識別するための情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【００１１】
請求項７に記載された発明は、請求項６に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域内の必要部分のみを別メモリに格納するものであることを特徴とする。
【００１２】
請求項８に記載の発明は、請求項６乃至７に記載の符号化復号化システムにおいて、矩形領域内の必要部分と不必要部分とを識別するための情報がラン情報であることを特徴とする。
【００１３】
請求項９に記載の発明は、請求項１乃至８に記載の符号化復号化システムにおいて、第４手段は、フレームメモリへの参照画像の書き込み時またはフレームメモリからの再生画像の読み出し時に、参照部分を別メモリに格納することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して、この発明をＭＰＥＧ方式の符号化復号化システムに適用した場合の実施の形態について説明する。
【００１５】
〔１〕本願発明の基本的な考え方についての説明
【００１６】
符号化器では、１フレーム内の各マクロブロック単位に対する参照画像として、複数枚の過去のフレーム内の画像中のマクロブロックを用いることができる。このような場合、復号化器側に参照画像の全てを記憶すればよいが、その分フレームメモリが必要となる。
【００１７】
この発明では、基本的には、２枚前以前の参照画像においては、参照される部分のみを復号化器側の別メモリに保存することにより、復号化器側のメモリ量を低減させるようにする。このためには、従来の符号化器から復号化器に送られる復号用情報に加えて、２枚前以前の参照画像に関して参照される部分のみを別メモリに保存させるための情報（参照位置情報）が必要となる。
【００１８】
なお、画像の前後とは、原画像が符号化のために並び替えが行われた後の画像（フレーム）の並び順を基準とした場合の前後をいう。
【００１９】
〔２〕符号化器の説明
【００２０】
図１は、符号化器の構成を示している。
【００２１】
図１において、１０１は第１の選択回路、１０２は減算回路、１０３はＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎＴｒａｎｓｆｅｒ）変換回路（直交変換回路）、１０４は量子化回路、１０５はエントロピ符号化回路（可変長符号化回路）、１０６は多重化回路（ＭＵＸ）、１０７は出力バッファである。また、１０８は逆量子化回路、１０９は逆ＤＣＴ変換回路（逆直交変換回路）、１１０は加算回路、１１１〜１１６はフレームメモリ、１１７は動き補償回路、１１８は第２の選択回路、１１９は動き予測回路である。また、１２０はエンコードコントロール回路である。
【００２２】
符号化器には、原画像が符号化のために並び替えが行われた後の画像データが、１６×１６の大きさのマクロブロック（ＭＢ）単位で入力される。第１の選択回路１０１は、入力画像データの画像タイプ（Ｉピクチャ，Ｐピクチャ、Ｂピクチャ）に応じて、入力画像データをＤＣＴ変換回路１０３または減算回路１０２に送るための回路であり、エンコードコントロール回路１２０によって制御される。具体的には、入力画像データの画像タイプがＩピクチャの場合には、入力画像データをＤＣＴ変換回路１０３に送り、入力画像データの画像タイプがＰまたはＢピクチャの場合には、入力画像データを減算回路１０２に送る。減算回路１０２の出力は、ＤＣＴ変換回路１０３に送られる。
【００２３】
ＤＣＴ変換回路１０３に入力された画像データは、８×８の大きさのサブブロック単位で、ＤＣＴが行われる。ＤＣＴ変換回路１０３から出力されるＤＣＴ係数は、量子化回路１０４によって量子化され、量子化されたＤＣＴ係数が得られる。
【００２４】
量子化されたＤＣＴ係数は、ジクザクスキャンまたはオルタネートスキャンされて１次元に並べられ、エントロピ符号化回路１０５によって符号化される。エントロピ符号化回路１０５によって得られた符号は、多重化回路１０６に送られ、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル（ＭＶ）の可変長符号からなる復号用情報が多重された後、出力バッファ１０７に蓄積される。出力バッファ１０７から出力されるデータに、エンコードコントロール回路１２０から送られてくる参照位置情報が多重され、符号化ストリームとして出力される。なお、出力バッファ１０７内において、参照位置情報を多重するようにしてもよい。
【００２５】
量子化回路１０４で得られた量子化されたＤＣＴ係数は、逆量子化回路１０８、逆ＤＣＴ変換回路１０９および加算回路１１０によって復号化され、参照画像としてフレームメモリ１１１〜１１６に蓄積される。この例では、５枚の参照画像が前参照画像として利用され、１枚の参照画像が後参照画像として利用される。ただし、Ｂピクチャは参照画像として用いられないので、フレームメモリ１１１〜１１６には蓄積されない。つまり、ＩピクチャおよびＰピクチャのみがフレームメモリ１１１〜１１６に蓄積される。
【００２６】
第２の選択回路１１８は、イントラ符号化（フレーム内符号化）とインター符号化（フレーム間符号化）を選択するための回路であり、エンコードコントロール回路１２０によって制御される。
【００２７】
動き予測回路１１９は、例えば、次のような動作を行う。つまり、符号化の対象となるマクロブロックを含むフレームに対して過去５枚のフレームの中から、ブロックマッチング等の動き検出方法によって、対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。また、動き予測回路１１９は、検出した誤差の最も小さい予測マクロブロックと対象マクロブロックとの差分（予測誤差）に対する符号量（インター符号化した場合の符号量）と、対象マクロブロックをイントラ符号化した場合の符号量とを比較する。そして、符号量が小さい方の符号化モードを、対象マクロブロックに対する符号化モードとして決定する。
【００２８】
対象マクロブロックに対する符号化モードとしてインター符号化が選択された場合には、検出した誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトル（ＭＶ）となる。動き補償回路１１７は、動き予測回路１１９によって検出された誤差の最も小さい予測マクロブロックを含む参照画像を、動き予測回路１１９によって検出された動きベクトル（ＭＶ）に基づいて動き補償して、最適な予測マクロブロックを取得し、減算回路１０２および第２の選択回路１１８に送る。
【００２９】
これ以後は、インター符号化が選択された場合について説明する。動き予測回路１１９によって得られる情報、つまり、符号化モード（マクロブロック・タイプ）、参照画像が現フレームに対して何フレーム前の画像であるかという情報（参照画像特定情報）、２枚以前の参照画像が使用される場合には採用された予測マクロブロックの位置情報をエンコードコントロール回路１２０に送る。
【００３０】
エンコードコントロール回路１２０は、対象マクロブロックに対するマクロブロック・タイプおよび参照画像特定情報を含む制御情報等を、多重化回路１０６に送る。多重化回路１０６は、エントロピ符号化回路１０５から送られてきた符号に、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル（ＭＶ）の可変長符号からなる復号用情報を多重する。
【００３１】
１フレーム内の全てのマクロブロックに対する符号化が行われると、エンコードコントロール回路１２０は、後述するように、出力バッファ１０７内に存在するＩピクチャまたはＰピクチャに関して、それより後に符号化されるフレームから２枚前以前の参照画像として採用される可能性がなくなったときに、それまでに２枚前以前の参照画像として採用された際の参照部分を示す参照位置情報を生成する。
【００３２】
出力バッファ１０７の出口では、出力バッファ１０７から出力される１フレーム分の符号化データおよび復号用情報からなるデータの前または後に、当該符号化データに対応する参照位置情報が付加される。出力バッファ１０７には、通常、複数フレーム分の符号化データが蓄積されるが、この実施の形態においては、ＩピクチャまたはＰピクチャのピクチャに関して、合計５フレーム分以上のピクチャが出力バッファ１０７に蓄積されるようにしておく必要がある。
【００３３】
〔２−１〕参照位置情報の生成方法についての説明
【００３４】
時間的および空間的に近い複数のブロックの参照先は、同じ参照画像内の近い部分となることが多く、参照部分が重なる場合が多い。このため、２枚前以前の参照画像における各マクロブロック毎の参照部分を、それぞれ別々に復号化器側の別メモリに保存させると、重複したデータが別メモリに保存されてしまう場合がある。そのような場合には、別メモリの使用効率が悪くなる。
【００３５】
そこで、同じ参照画像内の複数のマクロブロック単位の参照部分間で重なる部分が存在する場合、それらの参照部分を画素位置に関して論理和をとることによって最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域内の画像データを別メモリに保存させるようにすることによって、重複部分の画像データが別メモリに重複して保存されないようにする。
【００３６】
今、符号化器に入力されるＩピクチャまたはＰピクチャの順番を、入力順序の早いものから、フレーム１、フレーム２、フレーム３、フレーム４、フレーム５、フレーム６とすると、フレーム１に対応する復号化画像を２枚前以前の参照画像として用いることができるのは、フレーム３〜フレーム６の画像である。つまり、１枚の参照画像は、２枚前以前の参照画像として、４つのフレームから参照される可能性がある。１枚の参照画像が４つのフレームから２枚前以前の参照画像として用いられた場合には、４つのフレームから参照された部分全体の位置情報の論理和をとる。フレーム１に対する復号化画像に対する参照部分全体の位置情報の論理和は、フレーム６の画像に対する符号化が行われた後に、行われる。
【００３７】
図２は、ある参照画像が、３つのフレーム（ａ，ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示している。
【００３８】
図２において、１はａフレームからの参照部分を示している。この例では、２つのマクロブロックがａフレームからの２枚前以前の参照部分として参照参照されている。また、この例では、斜線で示すように、これらの２つのマクロブロックは、一部が重複している。それらの参照部分を画素位置に関して論理和をとると、図２の２に示すようになる。３は、ｂフレームからの参照部分を示している。ｂフレームからの参照部分を画素位置に関して論理和をとると、図２の４に示すようになる。５はｃフレームからの参照部分を示している。ｃフレームからの参照部分を画素位置に関して論理和をとると、図２の６に示すようになる。
【００３９】
さらに、該当参照画像における２枚前以前の参照部分の全てに関して重なりを除去する必要がある。上記のようにして得られた各論理和結果（図２の２、４、６）を重ねると、図２の７に示すようになる。図２の２、４、６で示される各論理和結果を、さらに画素位置に関して論理和をとることにより、図２の８に示すような参照領域が得られる。
【００４０】
ところで、参照部分を画素位置に関して論理和をとることによって得られる参照領域内の画像データを画素毎に順番に別メモリに保存していく場合、どの位置の画素が別メモリのどのアドレスに割り当てられているかという情報がないと、読み出しの際、正しく読み出せない可能性がある。
【００４１】
そこで、参照部分を画素位置に関して論理和をとることによって得られる参照領域を含む最小の矩形領域を想定する。例えば、参照領域が、図３（ａ）に示すような場合には、参照領域を含む最小の矩形領域は図３（ｂ）に太線で示すような領域となる。
【００４２】
そして、その矩形領域を表す位置情報（矩形領域の左上頂点の座標）と、矩形領域の大きさ（垂直方向画素数および水平方向画素数）と、矩形領域内の参照領域の画素単位の位置情報とを生成する。矩形領域内の参照領域の画素単位の位置情報としては、ラン情報を用いることができる。
【００４３】
ラン情報は、例えば、矩形領域内を左から右に水平走査するといった動作を、垂直方向上から下に向かって行うことにより、〔必要部分の連続数（必要部分が最初に無ければ０とする），不必要部分の連続数，必要部分の連続数，……，必要部分の連続数，不必要部分の連続数（最後に無ければ０とする）〕の形式で生成される。
【００４４】
図３（ｂ）の例では、ラン情報は、〔４，２，１７，１，３，３〕となる。図３（ｂ）の例では、矩形領域を表す位置情報は、左上頂点の座標（３，３）と、矩形領域の大きさ（５×６）となる。
【００４５】
矩形領域を表す位置情報とラン情報とが、参照位置情報となる。
【００４６】
〔３〕復号化器の説明
【００４７】
図４は、復号化器の構成を示している。
【００４８】
図４において、２０１は入力バッファ、２０２はエントロピ復号化回路、２０３は逆量子化回路、２０４は逆ＤＣＴ回路（逆直交変換回路）、２０５は加算回路、２０６は動き補償回路、２０７は第１の選択回路である。また、２０８は第２の選択回路、２０９は第１のフレームメモリ、２１０は第２のフレームメモリ、２１１は第３の選択回路、２１２は別メモリ、２１３は第４の選択回路、２２０はデコードコントロール回路、２２１はアドレス計算部である。
【００４９】
符号化されたストリームは入力バッファ２０１に一時的に蓄積された後、エントロピ復号化回路２０２に送られる。エントロピ復号化回路２０２によって、量子化ＤＣＴ係数、復号用情報（符号化モード（マクロブロック・タイプ）、参照画像特定情報、動きベクトル（ＭＶ）等）、参照位置情報等が抽出される。復号用情報、参照位置情報は、デコードコントロール回路２２０に送られる。復号用情報中の動きベクトル（ＭＶ）等は、動き補償回路２０６にも送られる。
【００５０】
復号された８×８のサブブロック単位の量子化ＤＣＴ係数は、逆量子化回路２０３によってＤＣＴ係数に変換された後、逆ＤＣＴ回路２０４によって逆ＤＣＴが行われる。
【００５１】
逆ＤＣＴ回路２０４によって生成されたマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データが加算器２０５によって加算されて、再生画像データが生成される。参照画像データは、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。ただし、逆ＤＣＴ回路２０４から出力されたデータがイントラに対する再生画像データである場合には、参照画像データは加算されない。
【００５２】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データは第１の選択回路２０７に送られる。
【００５３】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、第２の選択回路２０８を介して第１のフレームメモリ２０９または第２のフレームメモリ２１０に格納されるとともに、その再生画像データの一部が符号化時に２枚前以前の参照画像として用いられている場合には、参照位置情報を基に、２枚前以前の参照画像として用いられている領域が、第２の選択回路２０８および第３の選択回路２１１を介して別メモリ２１２に格納される。
【００５４】
第１のフレームメモリ２０９または第２のフレームメモリ２１０には、現在復号されているフレームの直前、直後の参照画像が格納される。別メモリ２１２には、現在復号されているフレームの２枚前以前の参照画像が格納される。なお、別メモリ２１２上の６枚以上前のデータは、例えば、ＦＩＦＯの要領で消去（オーバーライト）されていく。
【００５５】
逆ＤＣＴ回路２０４から出力されるデータがインター符号化に対する予測誤差データである場合には、第１のフレームメモリ２０９、第２のフレームメモリ２１０または別メモリ２１２から参照領域が読み出され、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。
【００５６】
第１の選択回路には、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、および第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データも送られる。第１の選択回路は、加算器２０５から送られてくるＢピクチャに対する再生画像データ、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データが、原画像の順序と同じ順番で出力されるように制御される。
【００５７】
なお、別メモリ２１２に必要部分を書き込むタイミングとしては、上述したように、参照画像が復号されてフレームメモリ２０９、２１０に格納されるときに行なってもよいし、フレームメモリ２０９、２１０に格納された参照画像を第１の選択回路２０７に送るためにフレームメモリ２０９、２１０から読み出されるときに行ってもよい。
【００５８】
次に、別メモリ２１２への参照画像の必要部分の書き込み処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００５９】
ここでは、説明の便宜上、参照部分の最小単位がマクロブロック単位であるものとして説明する。
【００６０】
まず、後のフレームの復号時に参照される参照領域を含む最小矩形領域を表す位置情報（矩形領域の左上頂点の座標と矩形領域の大きさ）およびラン情報を、参照位置情報から得る。これにより、矩形領域が元画像（参照画像）のどこに位置するのか、および矩形領域内の必要部分（参照領域）を把握する。
【００６１】
復号化器での復号動作は、フレームの左上のマクロブロックから右に向かって、そして右端にきたら下の列へ移ってマクロブロック単位で行われる。そこで、参照画像が復号される場合には、そのマクロブロックが将来参照されることになる参照領域に含まれているか否かを判別する。復号されたマクロブロックが参照領域に含まれている場合には、その復号されたマクロブロックをフレームメモリ２０９または２１０に格納するとともに、別メモリ２１２に保存する。この際、デコードコントロール回路２２０は、何フレーム前の参照領域の最初の画素が、別メモリ２１２内のどのアドレスから保存されたかを表す情報をデコードコントロール回路２２０内に保存しておく。
【００６２】
次に、別メモリ２１２からの参照画像の読み出し処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００６３】
別メモリ２１２には、２枚前以前の参照画像の参照領域が格納されている。そこで、まず、２枚以上前の参照画像に関する（動き補償用）の動きベクトル（ＭＶ）を、参照領域を含む矩形領域に合わせた値へ変換する。つまり、次式（１）に基づいて、動き補償用の動きベクトル（相対ベクトル）（ｐ，ｑ）を、画像左上を基準とした、絶対ベクトル（ｘ，ｙ）に変換する。
【００６４】
（ｘ，ｙ）＝（α，β）＋（ｐ，ｑ） …（１）
【００６５】
上記式（１）において、（α，β）は現在復号しているマクロブロックの座標である。そして、次式（２）で示すように、得られた絶対ベクトル（ｘ，ｙ）から、参照領域を含む最小の矩形領域の左上を基準とした位置ベクトル（ｘ’，ｙ’）に変換する。
【００６６】
（ｘ’，ｙ’）＝（ｘ，ｙ）−（ａ，ｂ） …（２）
【００６７】
上記式（２）において、（ａ，ｂ）は矩形の左上の座標を示している。
【００６８】
そして、別メモリ２１２上の該当アドレス（参照領域の最初の画素を特定するためのアドレス）、換算した動きベクトル、ラン情報（矩形領域内の参照領域を特定するためのラン情報）を用いて、参照領域の読み出しを行う。
【００６９】
上記実施の形態では、別メモリ２１２には、矩形領域内の必要部分（参照領域）のみが格納されているが、矩形領域内の不要部分をも含めて矩形領域全体を格納するようにしてもよい。なお、書き込み時および読み出し時においては、ラン情報を基に必要画素のアドレスが算出される。
【００７０】
また、参照部分の最小単位がマクロブロック単位であるものとして説明したが、参照部分の最小単位がマクロブロック単位以下の単位であっても、この発明を適用することができる。
【００７１】
上記では、ＭＰＥＧ２を基本とした符号化器および復号化器に適用した場合の実施の形態について説明したが、本願発明は符号化方式や符号化器および復号化器の形態にかかわらず適用することが可能である。
【００７２】
【発明の効果】
この発明によれば、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れるようになる。
【図面の簡単な説明】
【図１】符号化器の構成を示すブロック図である。
【図２】ある参照画像が、３つのフレーム（ａ、ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示す模式図である。
【図３】参照部分の位置情報の論理和によって規定される参照領域を含む最小の矩形領域を示す模式図である。
【図４】復号化器の構成を示すブロック図である。
【符号の説明】
１０６多重化回路
１０７出力バッファ
１１１〜１１６フレームメモリ
１２０エンコードコントロール回路
２０９第１のフレームメモリ、
２１０第２のフレームメモリ、
２１２別メモリ
２２０デコードコントロール回路
２２１アドレス計算部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an encoding / decoding system used in the broadcasting and communication fields.
[0002]
[Prior art]
[0003]
Conventionally, in order to perform a decoding operation by using one or more previous reference images in a decoder, it is necessary to save all of the reference images, which increases the memory capacity. is there.
[0004]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION It is an object of the present invention to provide an encoding / decoding system capable of reducing a memory capacity for storing a reference image on a decoder side.
[0005]
[Means for Solving the Problems]
An encoding / decoding system according to claim 1, further comprising: an encoder that uses one or more preceding reference images, and a decoder that decodes data encoded by the encoder. In the encoder, the first means for multiplexing the information and the motion vector of how many previous reference images have been referred to the encoded data of the image being encoded as decoding information, and A second means for multiplexing information indicating the size and position of the reference portion in the encoded stream as reference position information is provided, and the decoder stores the reference image decoded using the decoding information in the frame memory. Third means for storing, fourth means for storing a reference portion in the reference image in another memory using reference position information for the reference image, and decoding of the image with reference to the reference image stored in another memory When that is characterized in that it comprises a fifth means for referring reads the reference portion in the reference image from another memory.
[0006]
According to a second aspect of the present invention, in the encoding / decoding system according to the first aspect, when there is a portion overlapping a plurality of reference portions, the second portion converts the reference portions with respect to a pixel position. By calculating the logical sum, a greatest common divisor reference area is calculated, and information indicating the calculated size and position of the greatest common divisor reference area is multiplexed in the encoded stream as reference position information. There is a feature.
[0007]
According to a third aspect of the present invention, in the encoding / decoding system according to the second aspect, the fourth means uses the reference position information for the reference image to form a greatest common denominator reference area in the reference image. It is stored in another memory.
[0008]
According to a fourth aspect of the present invention, in the encoding / decoding system according to the first aspect, when there is a portion overlapping a plurality of reference portions, the second portion converts the reference portions with respect to a pixel position. By calculating the logical sum, the smallest rectangular area including the greatest common divisor reference area is calculated, and information indicating the size and position of the calculated rectangular area is multiplexed in the encoded stream as reference position information. It is characterized by being.
[0009]
According to a fifth aspect of the present invention, in the encoding / decoding system according to the fourth aspect, the fourth means uses the reference position information for the reference image to form a greatest common denominator reference area in the reference image. It is characterized in that a minimum rectangular area including the same is stored in another memory.
[0010]
According to a sixth aspect of the present invention, in the coding / decoding system according to the first aspect, when there are portions overlapping a plurality of reference portions, the second portion converts the reference portions with respect to pixel positions. By calculating the logical sum, the smallest rectangular area including the greatest common divisor reference area is calculated, information indicating the size and position of the calculated rectangular area, and necessary and unnecessary parts in the rectangular area are identified. The information to be multiplexed in the encoded stream is used as reference position information.
[0011]
According to a seventh aspect of the present invention, in the encoding / decoding system according to the sixth aspect, the fourth means uses the reference position information for the reference image to form a greatest common denominator reference area in the reference image. It is characterized in that only a necessary part in the smallest rectangular area including it is stored in another memory.
[0012]
According to an eighth aspect of the present invention, in the encoding / decoding system according to the sixth or seventh aspect, information for identifying a necessary part and an unnecessary part in a rectangular area is run information. I do.
[0013]
According to a ninth aspect of the present invention, in the encoding / decoding system according to the first to eighth aspects, the fourth means is configured to execute the reference when writing the reference image to the frame memory or reading the reproduced image from the frame memory. The part is stored in a separate memory.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment in which the present invention is applied to an MPEG encoding / decoding system will be described with reference to the drawings.
[0015]
[1] Description of basic concept of the present invention
In the encoder, a macroblock in a plurality of past frames of images can be used as a reference image for each macroblock unit in one frame. In such a case, it is sufficient to store all of the reference images on the decoder side, but a frame memory is required accordingly.
[0017]
In the present invention, basically, in a reference image two frames before, only the referenced part is stored in another memory on the decoder side, so that the memory amount on the decoder side is reduced. I do. For this purpose, in addition to the decoding information sent from the conventional encoder to the decoder, information (reference position information) for storing only a part referred to with respect to the reference image two frames earlier is stored in another memory. )Is required.
[0018]
It should be noted that the terms “before and after the image” refer to before and after when the order of arrangement of the images (frames) after the original image is rearranged for encoding is used as a reference.
[0019]
[2] Description of Encoder
FIG. 1 shows the configuration of the encoder.
[0021]
In FIG. 1, 101 is a first selection circuit, 102 is a subtraction circuit, 103 is a DCT (Discrete Cosine Transfer) transformation circuit (orthogonal transformation circuit), 104 is a quantization circuit, and 105 is an entropy coding circuit (variable length coding). Circuit), 106 is a multiplexing circuit (MUX) and 107 is an output buffer. Also, 108 is an inverse quantization circuit, 109 is an inverse DCT transform circuit (inverse orthogonal transform circuit), 110 is an addition circuit, 111 to 116 are frame memories, 117 is a motion compensation circuit, 118 is a second selection circuit, and 119 is This is a motion prediction circuit. Reference numeral 120 denotes an encode control circuit.
[0022]
Image data obtained by rearranging the original images for encoding is input to the encoder in units of macroblocks (MB) having a size of 16 × 16. The first selection circuit 101 is a circuit for sending the input image data to the DCT conversion circuit 103 or the subtraction circuit 102 according to the image type (I picture, P picture, B picture) of the input image data. Controlled by circuit 120. Specifically, when the image type of the input image data is I picture, the input image data is sent to the DCT conversion circuit 103, and when the image type of the input image data is P or B picture, the input image data is The signal is sent to the subtraction circuit 102. The output of the subtraction circuit 102 is sent to the DCT conversion circuit 103.
[0023]
The image data input to the DCT conversion circuit 103 is subjected to DCT in units of 8 × 8 sub-blocks. The DCT coefficients output from the DCT conversion circuit 103 are quantized by the quantization circuit 104 to obtain quantized DCT coefficients.
[0024]
The quantized DCT coefficients are zigzag scanned or alternate scanned, arranged one-dimensionally, and encoded by the entropy encoding circuit 105. The code obtained by the entropy coding circuit 105 is sent to the multiplexing circuit 106, and the control information sent from the encoding control circuit 120 and the variable length code of the motion vector (MV) sent from the motion prediction circuit 119 Are multiplexed and stored in the output buffer 107. The reference position information sent from the encode control circuit 120 is multiplexed with the data output from the output buffer 107 and output as an encoded stream. Note that the reference position information may be multiplexed in the output buffer 107.
[0025]
The quantized DCT coefficients obtained by the quantization circuit 104 are decoded by the inverse quantization circuit 108, the inverse DCT transform circuit 109, and the addition circuit 110, and are stored in the frame memories 111 to 116 as reference images. In this example, five reference images are used as front reference images, and one reference image is used as a rear reference image. However, since the B picture is not used as a reference image, it is not stored in the frame memories 111 to 116. That is, only I pictures and P pictures are stored in the frame memories 111 to 116.
[0026]
The second selection circuit 118 is a circuit for selecting intra-coding (intra-frame coding) and inter-coding (inter-frame coding), and is controlled by the encode control circuit 120.
[0027]
The motion prediction circuit 119 performs, for example, the following operation. In other words, a predicted macroblock having the smallest error with respect to the target macroblock is detected from the past five frames including the macroblock to be coded by a motion detection method such as block matching. . Further, the motion prediction circuit 119 encodes a code amount (a code amount in the case of inter-coding) for a difference (prediction error) between the detected macro block having the smallest detected error and the target macro block, and performs intra-coding on the target macro block. Then, the code amount is compared with the code amount. Then, the coding mode with the smaller code amount is determined as the coding mode for the target macroblock.
[0028]
When the inter encoding is selected as the encoding mode for the current macroblock, a signal indicating the motion to the predicted macroblock having the smallest detected error is a motion vector (MV). The motion compensation circuit 117 performs motion compensation on a reference image including a predicted macroblock with the smallest error detected by the motion prediction circuit 119 based on the motion vector (MV) detected by the motion prediction circuit 119, and performs optimal motion compensation. The prediction macro block is obtained and sent to the subtraction circuit 102 and the second selection circuit 118.
[0029]
Hereinafter, the case where the inter-coding is selected will be described. Information obtained by the motion prediction circuit 119, that is, information on the coding mode (macroblock type), how many frames before the reference image is the image before the current frame (reference image specifying information), When the reference image is used, the position information of the adopted predicted macro block is sent to the encode control circuit 120.
[0030]
The encoding control circuit 120 sends, to the multiplexing circuit 106, control information including a macroblock type for the target macroblock and reference image specifying information. The multiplexing circuit 106 converts the code sent from the entropy coding circuit 105 from the control information sent from the encode control circuit 120 and the variable length code of the motion vector (MV) sent from the motion prediction circuit 119. Are multiplexed.
[0031]
When encoding is performed on all macroblocks in one frame, the encoding control circuit 120 determines whether an I picture or a P picture existing in the output buffer 107 is to be encoded from a later encoded frame, as described later. When there is no longer a possibility of being adopted as the reference image two frames before, the reference position information indicating the reference part when the reference image is adopted as the reference image two frames before is generated.
[0032]
At the exit of the output buffer 107, reference position information corresponding to the encoded data is added before or after one frame of encoded data and decoding information output from the output buffer 107. Normally, encoded data for a plurality of frames is stored in the output buffer 107. In this embodiment, a total of five or more frames of I- or P-pictures are stored in the output buffer 107. It needs to be done.
[0033]
[2-1] Description of Generating Reference Position Information
The reference destination of a plurality of blocks that are temporally and spatially close is often a close part in the same reference image, and the reference parts often overlap. For this reason, if the reference portion for each macroblock in the reference image two frames earlier is separately stored in another memory on the decoder side, duplicate data may be stored in another memory. In such a case, the use efficiency of the separate memory deteriorates.
[0035]
Therefore, if there is an overlapping portion between the reference portions of a plurality of macroblock units in the same reference image, the greatest common denominator reference region is calculated by ORing these reference portions with respect to the pixel position. By storing the image data in the reference area of the greatest common denominator in another memory, the image data of the overlapping portion is prevented from being stored in another memory in an overlapping manner.
[0036]
Now, assuming that the order of an I picture or a P picture input to the encoder is frame 1, frame 2, frame 3, frame 4, frame 5, and frame 6 from the earliest input order, it corresponds to frame 1. It is the images of frames 3 to 6 that can use the decoded image as the reference image two frames before. That is, there is a possibility that one reference image is referred to from four frames as a reference image two or earlier frames. If one reference image is used as a reference image two frames before the four frames, the logical sum of the position information of the entire part referenced from the four frames is calculated. The logical sum of the position information of the entire reference portion of the decoded image of frame 1 is performed after the encoding of the image of frame 6 is performed.
[0037]
FIG. 2 shows an example of a case where a certain reference image is referred to as a reference image two frames before the three frames (a, b, and c frames).
[0038]
In FIG. 2, reference numeral 1 denotes a reference portion from the a-frame. In this example, two macro blocks are referred to as a reference part two frames before the a frame. Also, in this example, as shown by hatching, these two macroblocks partially overlap. When ORing these reference portions with respect to the pixel positions is performed, as shown in FIG. Reference numeral 3 denotes a reference portion from the b frame. When a logical sum of the reference portion from the b frame is calculated with respect to the pixel position, the result is as shown in 4 in FIG. Reference numeral 5 denotes a reference portion from the c frame. When a logical sum of the reference portion from the c frame is calculated with respect to the pixel position, the result is as shown in 6 in FIG.
[0039]
Further, it is necessary to remove the overlap for all of the reference portions two frames before the reference image in the corresponding reference image. When the logical sum results (2, 4, and 6 in FIG. 2) obtained as described above are superimposed, the result is as shown in 7 in FIG. The logical sum of each of the logical sums indicated by 2, 4, and 6 in FIG. 2 is further ORed with respect to the pixel position, thereby obtaining a reference area as shown in 8 in FIG.
[0040]
By the way, when image data in a reference area obtained by ORing a reference portion with respect to a pixel position is sequentially stored in another memory for each pixel, a pixel at which position is assigned to which address of another memory. If there is no information as to whether or not the data is read correctly, there is a possibility that the data cannot be read correctly.
[0041]
Therefore, a minimum rectangular area including a reference area obtained by ORing a reference portion with respect to a pixel position is assumed. For example, when the reference area is as shown in FIG. 3A, the smallest rectangular area including the reference area is an area shown by a thick line in FIG. 3B.
[0042]
Then, position information representing the rectangular area (the coordinates of the upper left vertex of the rectangular area), the size of the rectangular area (the number of pixels in the vertical direction and the number of pixels in the horizontal direction), and the positional information of the reference area in the rectangular area in pixel units And generate Run information can be used as the pixel-by-pixel position information of the reference area in the rectangular area.
[0043]
The run information is obtained, for example, by performing an operation of horizontally scanning a rectangular area from left to right from top to bottom in the vertical direction. ), The number of consecutive unnecessary parts, the number of consecutive necessary parts,..., The number of consecutive unnecessary parts, and the number of consecutive unnecessary parts (0 if there is no last part)].
[0044]
In the example of FIG. 3B, the run information is [4, 2, 17, 1, 3, 3]. In the example of FIG. 3B, the position information representing the rectangular area is the coordinates (3, 3) of the upper left vertex and the size (5 × 6) of the rectangular area.
[0045]
The position information representing the rectangular area and the run information serve as reference position information.
[0046]
[3] Description of Decoder
FIG. 4 shows the configuration of the decoder.
[0048]
In FIG. 4, 201 is an input buffer, 202 is an entropy decoding circuit, 203 is an inverse quantization circuit, 204 is an inverse DCT circuit (inverse orthogonal transform circuit), 205 is an addition circuit, 206 is a motion compensation circuit, and 207 is the first Is a selection circuit. Reference numeral 208 denotes a second selection circuit, 209 denotes a first frame memory, 210 denotes a second frame memory, 211 denotes a third selection circuit, 212 denotes another memory, 213 denotes a fourth selection circuit, and 220 denotes decoding. The control circuit 221 is an address calculation unit.
[0049]
The encoded stream is temporarily stored in the input buffer 201 and then sent to the entropy decoding circuit 202. The entropy decoding circuit 202 extracts quantized DCT coefficients, decoding information (coding mode (macroblock type), reference image specifying information, motion vector (MV), etc. ), reference position information, and the like. The decoding information and the reference position information are sent to the decode control circuit 220. The motion vector (MV) and the like in the decoding information are also sent to the motion compensation circuit 206.
[0050]
The decoded 8 × 8 sub-block quantized DCT coefficients are converted into DCT coefficients by the inverse quantization circuit 203, and then inverse DCT is performed by the inverse DCT circuit 204.
[0051]
Reference image data corresponding to the macroblock type is added to the prediction error data in macroblock units generated by the inverse DCT circuit 204 by the adder 205 to generate reproduced image data. The reference image data is sent to the adder 205 via the fourth selection circuit 213 and the motion compensation circuit 206. However, if the data output from the inverse DCT circuit 204 is reproduction image data for an intra, reference image data is not added.
[0052]
If the reproduced image data in macroblock units obtained by the inverse DCT circuit 204 or the adder 205 is reproduced image data for a B picture, the reproduced image data is sent to the first selection circuit 207.
[0053]
If the playback image data in macroblock units obtained by the inverse DCT circuit 204 or the adder 205 is playback image data for an I picture or a P picture, the first frame memory is passed through the second selection circuit 208. 209 or the second frame memory 210, and when a part of the reproduced image data is used as a reference image two frames before in encoding, two frames of the reproduced image data are used based on the reference position information. The area used as the previous or previous reference image is stored in the separate memory 212 via the second selection circuit 208 and the third selection circuit 211.
[0054]
In the first frame memory 209 or the second frame memory 210, reference images immediately before and after the currently decoded frame are stored. The separate memory 212 stores a reference image two frames before the currently decoded frame. Note that the data six or more pages earlier in the separate memory 212 is erased (overwritten), for example, in a FIFO manner.
[0055]
If the data output from the inverse DCT circuit 204 is prediction error data for inter-coding, the reference area is read from the first frame memory 209, the second frame memory 210, or another memory 212, and the fourth area is read. Is sent to the adder 205 through the selection circuit 213 and the motion compensation circuit 206.
[0056]
The first selection circuit also sends the reproduced image data for the I picture or P picture stored in the first frame memory 209 and the reproduced image data for the I picture or P picture stored in the second frame memory 210. Can be The first selection circuit reproduces the reproduced image data for the B picture sent from the adder 205, the reproduced image data for the I picture or the P picture stored in the first frame memory 209, and stores the reproduced image data in the second frame memory 210 The reproduced image data corresponding to the I-picture or the P-picture is output in the same order as the order of the original images.
[0057]
As described above, the necessary portion may be written to the separate memory 212 when the reference image is decoded and stored in the frame memories 209 and 210, or may be stored in the frame memories 209 and 210. This may be performed when the reference image is read from the frame memories 209 and 210 in order to send the reference image to the first selection circuit 207.
[0058]
Next, a process of writing a necessary portion of the reference image to the separate memory 212 will be described. This processing is performed by the decode control circuit 220 and the address calculation unit 221.
[0059]
Here, for convenience of explanation, the description will be made assuming that the minimum unit of the reference portion is a macroblock unit.
[0060]
First, position information (the coordinates of the upper left vertex of the rectangular region and the size of the rectangular region) representing the minimum rectangular region including the reference region referred to when decoding the subsequent frame and run information are obtained from the reference position information. Thereby, the position of the rectangular area in the original image (reference image) and the necessary part (reference area) in the rectangular area are grasped.
[0061]
The decoding operation in the decoder is performed in units of macroblocks from the upper left macroblock of the frame to the right, and to the right end, to the lower row. Therefore, when the reference image is decoded, it is determined whether or not the macroblock is included in a reference area to be referenced in the future. If the decoded macroblock is included in the reference area, the decoded macroblock is stored in the frame memory 209 or 210 and also in another memory 212. At this time, the decode control circuit 220 stores in the decode control circuit 220 information indicating which frame in the reference area the first pixel in the reference area was stored from which address in the separate memory 212.
[0062]
Next, a process of reading a reference image from the separate memory 212 will be described. This processing is performed by the decode control circuit 220 and the address calculation unit 221.
[0063]
In another memory 212, a reference area of a reference image two frames before is stored. Therefore, first, the motion vector (MV) of the (two or more) previous reference images (for motion compensation) is converted into a value corresponding to the rectangular area including the reference area. That is, based on the following equation (1), the motion vector (relative vector) (p, q) for motion compensation is converted into an absolute vector (x, y) based on the upper left of the image.
[0064]
(X, y) = (α, β) + (p, q) (1)
[0065]
In the above equation (1), (α, β) is the coordinates of the currently decoded macroblock. Then, as shown by the following equation (2), the obtained absolute vector (x, y) is converted into a position vector (x ′, y ′) based on the upper left of the smallest rectangular area including the reference area. .
[0066]
(X ′, y ′) = (x, y) − (a, b) (2)
[0067]
In the above equation (2), (a, b) indicates the upper left coordinates of the rectangle.
[0068]
Then, using the corresponding address (address for specifying the first pixel of the reference area) on the separate memory 212, the converted motion vector, and run information (run information for specifying the reference area in the rectangular area), The reading of the reference area is performed.
[0069]
In the above embodiment, only the necessary part (reference area) in the rectangular area is stored in the separate memory 212, but the entire rectangular area including the unnecessary part in the rectangular area may be stored. Good. At the time of writing and at the time of reading, an address of a necessary pixel is calculated based on the run information.
[0070]
Further, although the description has been made assuming that the minimum unit of the reference portion is a macroblock unit, the present invention can be applied even if the minimum unit of the reference portion is a unit equal to or smaller than the macroblock unit.
[0071]
In the above, the embodiment in which the present invention is applied to an encoder and a decoder based on MPEG2 has been described. However, the present invention is applicable regardless of the encoding method and the form of the encoder and the decoder. Is possible.
[0072]
【The invention's effect】
According to the present invention, the memory capacity for storing the reference image can be reduced on the decoder side.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an encoder.
FIG. 2 is a schematic diagram illustrating an example of a case where a reference image is referred to as a reference image two frames before from three frames (a, b, and c frames).
FIG. 3 is a schematic diagram illustrating a minimum rectangular area including a reference area defined by a logical sum of position information of a reference portion;
FIG. 4 is a block diagram illustrating a configuration of a decoder.
[Explanation of symbols]
106 multiplexing circuit 107 output buffers 111 to 116 frame memory 120 encode control circuit 209 first frame memory
210 second frame memory,
212 separate memory 220 decode control circuit 221 address calculation unit

Claims

In an encoding / decoding system including an encoder using one or more previous reference images and a decoder decoding data encoded by the encoder,
An encoder configured to multiplex information indicating the number of previous reference images and a motion vector on the encoded data of the image being encoded as decoding information, and a reference portion in the reference image. Second means for multiplexing the information indicating the size and position related to the encoded stream as reference position information,
A decoder configured to store the reference image decoded using the decoding information in the frame memory; and a fourth unit configured to store the reference portion in the reference image in another memory using the reference position information for the reference image. And a fifth means for reading a reference portion in the reference image from another memory for reference when decoding the image with reference to the reference image stored in another memory. Decryption system.

The second means calculates a greatest common divisor reference area by performing a logical sum of the reference parts with respect to the pixel position when there is a part overlapping the plurality of reference parts, and calculating the calculated greatest common divisor The coding / decoding system according to claim 1, wherein information indicating a size and a position of a typical reference region is multiplexed in a coded stream as reference position information.

3. The encoding / decoding apparatus according to claim 2, wherein the fourth means stores the greatest common denominator reference area in the reference image in another memory using reference position information on the reference image. system.

The second means calculates a minimum rectangular area including a greatest common denominator reference area by ORing the reference parts with respect to pixel positions when there is a part overlapping a plurality of reference parts. The encoding / decoding system according to claim 1, wherein information indicating the calculated size and position of the rectangular area is multiplexed in the encoded stream as reference position information.

The method according to claim 4, wherein the fourth means stores, in a separate memory, a minimum rectangular area including a greatest common denominator reference area in the reference image using reference position information for the reference image. An encoding / decoding system according to claim 1.

The second means calculates a minimum rectangular area including a greatest common denominator reference area by ORing the reference parts with respect to pixel positions when there is a part overlapping a plurality of reference parts. And information indicating the calculated size and position of the rectangular area and information for identifying a necessary part and an unnecessary part in the rectangular area are multiplexed in the encoded stream as reference position information. The encoding / decoding system according to claim 1, wherein

The fourth means stores only a necessary portion in a minimum rectangular area including a greatest common denominator reference area in the reference image using reference position information for the reference image in another memory. The encoding / decoding system according to claim 6, wherein

8. The encoding / decoding system according to claim 6, wherein information for identifying a necessary part and an unnecessary part in the rectangular area is run information.

9. The coding / decoding method according to claim 1, wherein the fourth means stores the reference portion in another memory when writing the reference image to the frame memory or reading the reproduced image from the frame memory. system.