JP2007325024A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】入力画像の複数に分割した境界部の画像劣化を改善することができ、かつ情報転送の効率化を図ることができるようにする。
【解決手段】本発明の画像符号化装置は、入力画像を複数の領域に分割し、各領域を符号化する複数の符号化手段を備え、符号化された各圧縮領域情報を統合出力するものであり、各符号化手段が、参照フレーム格納部と、参照フレームを参照して符号化対象の領域の動き補償を行なう動き補償部と、符号化対象の領域を圧縮処理する圧縮処理部と、圧縮領域を符号化する符号化部と、他の符号化手段の圧縮領域情報を取り込む圧縮領域情報取り込み部と、圧縮領域情報取り込み部が取り込んだ圧縮領域情報を復号して、他の符号化手段の圧縮領域を得る復号部と、他の符号化手段の圧縮領域又は圧縮処理部による圧縮領域から入力画像の参照画像の一部を生成し参照フレーム格納部に格納する参照画像生成部を有する。
【選択図】 図１

Description

本発明は、画像符号化装置及び画像符号化方法に関し、例えば、動画像符号化対象の画像を分割して複数の計算機資源で動画像符号化を行なう画像符号化装置及び方法に適用し得る。

近年の表示装置の高解像度化に従い、動画像符号化対象となる画像も高解像度の画像を対象とすることが要求されている。

動画像符号化に係る処理は従来から多くの処理量が必要であり、例えばＨＤＴＶ方式などの大きなサイズの動画像の符号化をリアルタイムに行なうために、専用のハードウエアが必要であった。

しかし、近年の計算機の高性能化に伴い、動画像符号化対象の画像を複数に分割し、複数台の計算機を用いて各分割画像を符号化して、その後符号化された分割画像を統合することで、１台の計算機の処理負担を軽減しながらリアルタイムに符号化を行なうことができる動画像符号化技術がある（特許文献１、２参照）。なお、図２は計算機が実現する従来の画像符号化器としての構成を示す。

特許文献１には、「分割画面の境界部での画質の劣化が発生し、極端な場合には境界線が見えてしまうという問題」を解決するため、ある計算機（分割画面データ符号化器）での符号化情報を、複数の計算機間で転送しあうことで、動き補償の領域を境界の両端でオーバーラップさせることができ、境界を超えた動き補償を行なう画像符号化装置が開示されている（特許文献１の参照）。

特開平９−２９４２６２号公報 特許第３６２１５９８号明細書

上述したように特許文献１に開示の画像符号化装置は、各計算機間で、特別に定義した「符号化情報」を転送しあうことが必要となる。そのため、各計算機間の通信が正しく動作しているか否かを確認するために、計算機間の通信を受信し解析するプロトコルアナライザなどのツールを用いることが必要となる。

しかしながら、特許文献１の記載技術は、特別に定義された「符号化情報」を計算機間で交換するものであるため、一般的な既存のプロトコルアナライザ若しくは既存のプロトコルアナライザを多少改造したようなものをそのまま用いることはできず、まったく新しい独自のプロトコルアナライザ等の解析するツールが必要となり、その結果、独自のプロトコルアナライザ等の開発コストの発生や製品コストの増大などの問題が生じる。

また、上述したように、特許文献１の記載技術は、「動き補償の領域を分割画面の境界の両側でオーバーラップさせて、境界を越えて動き補償可能」にするものである（特許文献１の参照）。そのため、オーバーラップ分の参照画像を２個の部分符号化器で転送することが必要となる。

しかしながら、このようにオーバーラップ分の参照画像を通信路を通じて計算機間で交換すると、計算器間の通信帯域を圧迫してしまうという問題が生じる。

そのため、入力画像を複数の領域に分割し、複数の符号化手段が符号化した圧縮領域情報を統合して圧縮した入力画像を出力するものであって、上記各符号化手段（計算機）間で領域境界部の画像劣化を改善することができ、かつ、情報転送の効率化を図ることができる画像符号化装置及び画像符号化方法が求められている。

かかる課題を解決するため、第１の本発明の画像符号化装置は、入力画像を複数の領域に分割する入力画像分割手段と、分割された各領域を符号化する複数の符号化手段と、各符号化手段により符号化された各圧縮領域情報を統合して入力画像の圧縮画像を出力する統合手段とを備える画像符号化装置において、各符号化手段が、（１）過去のフレームを格納する参照フレーム格納部と、（２）分割された領域を取り込み、参照フレーム格納部に格納されているフレームを参照して、符号化対象の領域の動き補償を行なう動き補償部と、（３）符号化対象の領域を圧縮処理する圧縮処理部と、（４）圧縮処理部により圧縮処理された圧縮領域を符号化して得た上記圧縮領域情報を出力する符号化部と、（５）他の符号化手段が出力した圧縮領域情報を取り込む圧縮領域情報取り込み部と、（６）圧縮領域情報取り込み部が取り込んだ圧縮領域情報を復号して、他の符号化手段における圧縮領域を得る復号部と、（７）復号部により復号された他の符号化手段の圧縮領域、又は圧縮処理部による圧縮領域に基づいて、入力画像の参照画像の一部を生成し、参照フレーム格納部に格納させる参照画像生成部とを有することを特徴とする。

第２の本発明の画像符号化方法は、入力画像を複数の領域に分割する入力画像分割手段と、分割された各領域を符号化する複数の符号化手段と、各符号化手段により符号化された各圧縮領域情報を統合して入力画像の圧縮画像を出力する統合手段とを備える画像符号化方法において、各符号化手段が、（１）過去のフレームを格納する参照フレーム格納部を有し、（２）動き補償部が、分割された領域を取り込み、参照フレーム格納部に格納されているフレームを参照して、符号化対象の領域の動き補償を行なう動き補償工程と、（３）圧縮処理部が、符号化対象の領域を圧縮処理する圧縮処理工程と、（４）符号化部が、圧縮処理部により圧縮処理された圧縮領域を符号化して得た圧縮領域情報を出力する符号化工程と、（５）圧縮領域情報取り込み部が、他の符号化手段が出力した圧縮領域情報を取り込む圧縮領域情報取り込み工程と、（６）復号部が、圧縮領域情報取り込み部が取り込んだ圧縮領域情報を復号して、他の符号化手段における圧縮領域を得る復号工程と、（７）参照画像生成部が、復号部により復号された他の符号化手段の圧縮領域、又は圧縮処理部による圧縮領域に基づいて、入力画像の参照画像の一部を生成し、参照フレーム格納部に格納させる参照画像生成工程とを有することを特徴とする。

本発明の画像符号化装置及び画像符号化方法によれば、各符号化手段（計算機）間で領域境界部の画像劣化を改善することができ、かつ、情報転送の効率化を図ることができる。

（Ａ）第１の実施形態
以下、本発明の画像符号化装置及び画像符号化方法の第１の実施形態を、図面を参照しながら詳細に説明する。

第１の実施形態は、動画像の画像符号化方式として、例えば、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ：International Telecommunication Union Telecommunication sector）による勧告Ｈ．２６４や、国際標準化機構（ＩＳＯ：International Organization for Standardization）によるＭＰＥＧ（Moving Picture Expert Group）４など、時間的な方向の冗長性を画像間の画素値の差分を用いて減少させていることを特徴とする動画像符号化方式を採用した動画像符号化装置（システム）に、本発明の画像符号化装置及び方法を適用した場合を示す。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る動画像符号化装置（システム）の構成図である。図１において、第１の実施形態に係る動画像符号化装置１００は、入力画像分割部１０１、複数（図１では２個）の単体符号化部１０２及び１０３、圧縮ストリーム統合部１０４を有して構成される。

図１に示す動画像符号化装置１００の構成としては、例えば、入力画像分割部１０１、単体符号化部１０２及び１０３、圧縮ストリーム統合部１０４が、それぞれ情報処理装置等の計算機で構成され、これら計算機がネットワークを通じて接続可能なシステムとしてもよいし、また例えば、１台の計算機が、バスを通じて接続可能な複数のプロセッサを有し、各プロセッサが図１に示す各構成要素の機能を実現する構成としてもよい。本実施形態では、前者のネットワークを通じて複数の計算機が接続可能な構成を想定して説明する。

また、第１の実施形態に係る動画像符号化装置１００は、説明便宜のために、入力画像を２分割にスライスした場合を示し、それぞれの分割画像を単体符号化部１０２及び１０３が符号化する装置として説明するが、入力画像のスライス数は特に限定されるものではない。

入力画像分割部１０１は、入力画像を取り込み、所定の画像分割処理に従って、取り込んだ画像を分割して、画像入力部１０５を通じて部分領域の画像（分割画像）を単体符号化部１０２及び１０３のそれぞれに与えるものである。

ここで、入力画像分割部１０１による画像分割処理は、種々の方法を適用することができ、例えば、所定規則に従って定められた領域割合で画像を分割し、分割した画像が入力画像のどの部分（領域）であるかを示す領域情報を分割画像と共に単体符号化部１０２及び１０３に与えるようにしたり、また例えば、予め入力画像をどのように分割し、どの単体符号化部に割り当てるかを決めておき、予め定められたスライス単位で入力画像を分割し、それぞれの単体符号化部１０２及び１０３に与えるようにしたりするなどの方法を適用できる。

単体符号化部１０２及び１０３は、画像入力部１０５を通じて入力画像分割部１０１からの部分領域の画像（分割画像）を取り込み、分割画像に対して圧縮符号化処理を行ない、圧縮符号化された画像を圧縮ストリーム出力部１０６を通じて圧縮ストリーム統合部１０４に与えるものである。このとき、単体符号化部１０２及び１０３は、符号化した画像を他の隣接する単体符号化部にも与えるものである。本実施形態の単体符号化部１０２及び１０３の機能の詳細は後述するが、単体符号化部１０２及び１０３は、圧縮ストリーム入力部１０７から受け取った他の単体符号化部からの符号化された画像も利用して、符号化対象の画像の符号化処理を行なうものである。

圧縮ストリーム統合部１０４は、単体符号化部１０２及び１０３のそれぞれにより圧縮された画像を受け取り、これら圧縮された画像を統合して圧縮ストリームとして出力するものである。

次に、単体符号化部１０２及び１０３の内部構成について図３を参照しながら説明する。なお、単体符号化部１０２及び１０３のそれぞれの内部構成は同様な構成であるから、図３では単体符号化部３００（１０２、１０３）と表示する。

図３において、本実施形態の単体符号化部３００は、入力用フレーム（Ｆｒａｍｅ）メモリ３１３、動きベクトル探索器（ＭＥ）３１２、切り替えスイッチ３１１、動き補償器３０９、減算器３０１、変換器３０２、量子化器３０３、切り替えスイッチ３１０、逆量子化器３０５、逆変換器３０６、加算器３０７、参照用フレーム（Ｆｒａｍｅ）メモリ３０８、可変長符号器３０４、可変長符号復号器３１３を有して構成される。

画像入力部１０５は、入力画像分割部１０１によりスライスされた分割画像を取り込み、入力用Ｆｒａｍｅメモリ３１３に与えるものである。

入力用Ｆｒａｍｅメモリ３１３は、画像入力部１０５を通じて取り込んだ分割画像を蓄積し、この分割画像を更にマクロブロック単位に分割し、マクロブロック単位に分割された画像を、動きベクトル探索器３１２に与えると共に、減算器３０１に与えるものである。

ここで、マクロブロックとは、動画像符号化の単位符号化領域のことであり、上述した動画像符号化標準であるＨ．２６４やＭＰＥＧ−４などでは１６×１６画素のサイズをいう。

減算器３０１は、入力用Ｆｒａｍｅメモリ３１３からマクロブロック単位に分割された画像を取り込むと共に、動き補償器３０９から出力されたデータ（予測画像）を取り込み、このマクロブロック単位に分割された画像から動き補償器３０９からの予測画像を画素単位で差分（この差分を予測差分という）をとり、その予測差分を変換器３０２に与えるものである。これにより、現在のフレームの各画素値から前のフレームの各画素値を差し引いて予測差分画像を作成することができる。

変換器３０２は、減算器３０１から予測差分を受け取ると、例えばＤＣＴ（離散コサイン変換：Discrete Cosine Transform）等の変換を用いて、画像データを空間周波数領域に変換するものである。この空間周波数領域に変換する技術は、画像の隣接画素間の相関により、変換係数が低周波数領域に偏ることを利用した既存の圧縮技術を適用できる。また、変換器３０２は、変換係数を量子化器３０３に与えるものである。

量子化器３０３は、変換器３０２から変換係数を受け取り、変換係数を量子化するものである。量子化器３０３による変換係数の量子化は、変換係数を離散化することで圧縮する技術であり、既存技術を適用でき、本実施形態では、入力された変換係数を別途与えられた量子化ステップサイズの倍数で表現する。また、量子化器３０３は量子化された変換係数（量子化係数）を、可変長符号器３０４に与えると共に、切り替えスイッチ３１０を通じて逆量子化器３０５に与えるものである。

逆量子化器３０６は、切り替えスイッチ３１０を通じて、量子化器３０３又は可変長符号複合機３１３から量子化係数を受け取り、その量子化ステップサイズの倍数で表現された量子化係数を、もとの変換係数の表現に戻す処理をするものであり、量子化器３０３とは逆の処理を行なうものである。また、逆量子化器３０３は、逆量子化処理をした変換係数を逆変換器３０６に与えるものである。

逆変換器３０６は、逆量子化器３０６から変換係数を受け取ると、変換係数に対して変換器３０２と逆の処理である逆変換を行ない、画素空間上の画像に変換するものである。また、逆変換器３０６は、逆変換して得た画素空間上の画像を加算器３０７に与えるものである。

加算器３０７は、逆変換器３０６からの画像を取り込むと共に、動き補償器３０９からの予測画像も取り込み、逆変換器３０６からの画像に動き補償器３０９からの予測画像を画素毎に加算するものである。ここで、加算器３０７により加算された画像を「予測用参照画像」という。また、加算器３０７は、予測用参照画像を参照用Ｆｒａｍｅメモリ３０８に与えるものである。

参照用Ｆｒａｍｅメモリ３０８は、加算器３０７から予測用参照画像を受け取ると、その予測用参照画像を格納するものである。

動きベクトル探索器３１２は、入力用Ｆｒａｍｅメモリ３１３からマクロブロック単位の画像を受け取り、そのマクロブロック単位の画像と参照用Ｆｒａｍｅメモリ３０８に格納されている予測用参照画像を用いて、動きベクトル情報を検出するものである。ここで、動きベクトルを検出する方法は、既存技術を適用することができ、例えば、予測参照用画像の中から、マクロブロック単位の画像との画素毎の差分の小さい位置を検出する技術を適用できる。動きベクトル探索器３１２は、検出された位置を動きベクトル情報として動き補償器３０９と可変長符号器とに与えるものである。

動き補償器３０９は、動きベクトル探索器３１２から動きベクトル情報を受け取り、その動きベクトル情報と、参照用Ｆｒａｍｅメモリ３０８に格納されている予測用参照画像から予測画像を生成するものである。また、動き補償器３０９は、切り替えスイッチ３１１を通じて、可変長符号復号器３１３から他の単体符号化器での動きベクトル情報を受け取ると、その動きベクトル情報と予測用参照画像から予測画像を生成するものである。そして、動き補償器３０９は、生成された予測画像は減算器３０１に与えるものである。

可変長符号器３０４は、量子化器３０３から量子化係数を受け取ると共に、動きベクトル探索器３１２から動きベクトル情報を受け取り、入力された量子化係数及び動きベクトル情報に対して可変調符号の割り当てを行なうものである。なお、可変長符号器３０４における可変調符号の割り当て方法は例えばハフマン符号など既存の技術を適用できる。また、可変長符号器３０４は、圧縮ストリーム出力部１０６を通じて圧縮された画像を出力する。

可変長符号復号器３１３は、圧縮ストリーム入力部１０７を通じて他の単体符号化器からの圧縮ストリームを取り込み、圧縮ストリームの可変長符号を復号するものである。これにより、係数情報（量子化係数）と動きベクトル情報を復元することができ、可変長符号復号器３１３は、復元した係数情報（量子化係数）を切り替えスイッチ３１０を通じて逆量子化器３０５に与えると共に、復元した動きベクトル情報を切り替えスイッチ３１１を通じて動き補償器３０９に与える。

切り替えスイッチ３１０は、量子化器３０３又は可変長符号復号器３１３からの入力を、逆量子化器３０５に出力する切り替えスイッチである。

切り替えスイッチ３１１は、動きベクトル探索器３１２又は可変長符号復号器３１３からの入力を、動き補償器３０９に出力する切り替えスイッチである。

圧縮ストリーム入力部１０７は、他の単体符号化部からの圧縮ストリームを受け取るものであり、この入力は可変長符復号器３１３と参照用Ｆｒａｍｅメモリ３０８とに与える。特に、参照用Ｆｒａｍｅメモリ３０８では格納位置切り替え制御のために使用する。

（Ａ−２）第１の実施形態の動作
次に、本実施形態に係る画像符号化装置１００の動作について図面を参照しながら説明する。

最初に、図１を参照しながら、画像符号化装置１００の全体動作の流れを説明する。

まず、入力画像が入力画像分割部１０１に入力すると、入力画像は入力画像分割部１０１によりスライス単位に分割されて、スライス単位に分割された分割画像が各単体符号化部１０２及び１０３に与えられる。

なお、上述したように、画像分割処理方法によっては、その領域が画像のどの部分であるかを示す領域情報も各単体符号化部１０２及び１０３に与えられる。

図４は、入力画像分割部１０１による入力画像の分割の様子を示す図である。図４に示すように、入力画像Ｐは入力画像分割部１０１によりスライス単位で分割され、分割画像Ｐ１、Ｐ２になる。

スライス単位で分割された分割画像が各単体符号化部１０２及び１０３に与えられると、各単体符号化部１０２及び１０３において、各分割画像は圧縮符号化処理がなされ、圧縮ストリームとして圧縮ストリーム統合部１０４及び他の単体符号化部に与えられる。

すなわち、単体符号化部１０２では、分割された画像を圧縮し、圧縮されたストリームを圧縮ストリーム出力部１０６より出力する。出力された圧縮ストリームは、圧縮ストリーム統合部１０４に与えられると同時に、単体符号化部１０３の圧縮ストリーム入力部１０７を通じて単体符号化部１０３に与えられる。

また同様に、単体符号化部１０３では、分割された画像を圧縮し、圧縮されたストリームを圧縮ストリーム出力部１０６より出力する。出力された圧縮ストリームは、圧縮ストリーム統合部１０４に与えられると同時に、単体符号化部１０２の圧縮ストリーム入力部１０７を通じて単体符号化部１０２に与えられる。

また、圧縮された画像が他の単体符号化部に与えられると、その他の単体符号化部では、その圧縮された画像を利用して後述する圧縮符号化処理を行なう。つまり、単体符号化部１０２及び１０３は、隣接する他の圧縮符号化部からの参照画像取り込み、その参照画像も用いて符号化処理を行なう。

そして、圧縮ストリーム統合部１０４においては、各単体符号化部１０２及び１０３により圧縮された画像を統合して出力する。

次に、単体符号化部３００（１０２、１０３）における動作を説明する。以下では、単体符号化部３００における基本的な動作を説明し、その後、本実施形態の単体符号化部３００の特徴的な動作を説明する。

入力画像分割部１０１によりスライス単位で分割された分割画像は、画像入力部１０５を通じて入力用Ｆｒａｍｅメモリ３１３に与えられる。

スライス単位の入力分割画像が入力用Ｆｒａｍｅメモリ３１３に与えられると、入力分割画像は、入力用Ｆｒａｍｅメモリ３１３に蓄積され、入力用Ｆｒａｍｅメモリ３１３において、さらに画像をマクロブロック単位に分割される。

そして、マクロブロック単位で分割された画像はひとつずつ入力用Ｆｒａｍｅメモリ３１３から出力されていき、入力用Ｆｒａｍｅメモリ３１３は、スライス単位に分割された画像のマクロブロック単位の画像を全部送り終わると、次のスライスされた分割画像を取り込む。

図５は、入力用Ｆｒａｍｅメモリ３１３によるマクロブロック単位の分割の様子を示す図である。図５に示すように、入力用Ｆｒａｍｅメモリ３１３において、スライス単位の分割画像Ｐｎは、縦、横１６画素ずつのマクロブロック単位（１６画素×１６画素）で分割され、図５に示すように分割された画像Ｐ_ＭＢ（斜線部分の領域）が、入力用Ｆｒａｍｅメモリ３１３から動きベクトル探索器３１２及び減算器３０１に出力される。

入力用Ｆｒａｍｅメモリ３１３からのマクロブロック単位の画像が減算器３０１に与えられると、マクロブロック単位の画像は、減算器３０１において、動き補償部３０９からの予測画像と画素単位で引き算され、変換器３０２に与えられる。これにより、現在のフレームの各画素値から前のフレームの各画素値を差し引いて予測差分画像が作成される。

減算器３０１からの予測差分画像が変換器３０２に与えられると、その予測変換画像は、変換器３０２において、例えばＤＣＴなどの変換を用いて画像データを空間周波数領域に変換される。そして、変換器３０２による変換処理がなされると、変換係数が量子化器３０３に与えられる。

変換係数が量子化器３０３に与えられると、変換係数は量子化器３０３により量子化され、量子化ステップサイズの倍数で表現された量子化係数が可変長符号器３０４及び切り替えスイッチ３１０を通じて逆量子化器３０５に与えられる。

なお、このとき、切り替えスイッチ３１０は量子化器３０３からの入力を逆量子化器３０５に出力する側に切り替えられている。

量子化器３０３からの量子化ステップサイズの倍数で表現された量子化係数が逆量子化器３０５に与えられると、量子化ステップサイズの倍数で表現された量子化係数が、逆量子化器３０５により量子化器３０３と逆の処理が行なわれ、もとの変換係数の表現に戻される。そして、もとの表現に戻された変換係数は、逆変換器３０６に与えられる。

変換係数が逆変換器３０６に与えられると、変換係数は、逆変換器３０６により変換器３０２と逆の処理が行なわれ、画素空間上の画像に変換される。そして、逆変換された画像は、加算器３０７に与えられる。

加算器３０７では、逆変換器３０６からの逆変換された画像と、動き補償器３０９からの予測画像とが与えられる。そして、逆変換された画像は予測画像と画像毎に加算されて予測用参照画像として参照用Ｆｒａｍｅメモリ３０８に与えられて格納される。

一方、上述したように、入力用Ｆｒａｍｅメモリ３１３からのマクロブロック単位の画像は、動きベクトル探索器３１２にも与えられる。

動きベクトル探索器３１２にマクロブロック単位の画像が与えられると、参照用Ｆｒａｍｅメモリ３０８に格納されている予測用参照画像が取り出され、その予測用参照画像の中から、マクロブロック単位の画像との画素毎の差分の小さい位置が検出され、検出された位置を動きベクトル情報として、可変長符号器３０４及び切り替えスイッチ３１１を通じて動き補償器３０９に与えられる。

なお、このとき、切り替えスイッチ３１１は、動きベクトル探索器３１２からの入力を動き補償器３０９に出力する側に切り替えられている。

動きベクトル探索器３１２からの動きベクトル情報が動き補償器３０９に与えられると、動き補償器３０９により、動きベクトル情報と参照用Ｆｒａｍｅメモリ３０８からの予測用参照画像とに基づいて予測画像が生成され、予測画像が減算器３０１及び加算器３０７に与えられる。

また、可変長符号器３０４では、量子化器３０３からの量子化係数及び動きベクトル情報に対して可変長符号の割り当てが行なわれ、圧縮ストリームとして圧縮ストリーム出力部１０６から出力される。

以上で説明した動作が、単体符号化部３００の一般的な動画像符号化処理であり、ＭＰＥＧ−４やＨ．２６４等で規定されているものと同じである。

続いて、本実施形態の単体符号化部３００の特徴的な動作について図面を参照しながら説明する。

以下の部分で、この実施例に固有であって既存の技術とは異なった部分を説明する。

すなわち、圧縮ストリーム入力部１０７から入力された圧縮ストリームから、隣接した単体符号化器で符号化された画像を復号し、参照用Ｆｒａｍｅメモリ３０８に格納する手順である。

まず、圧縮ストリームが圧縮ストリーム入力部１０７に入力すると、切り替えスイッチ３１０及び切り替えスイッチ３１１の切り替え処理がなされる。

すなわち、切り替えスイッチ３１０は可変長符号復号器３１３からの入力を逆量子化器３０５に出力する側に切り替え、切り替えスイッチ３１１は可変長符号復号器３１３からの入力を動き補償器３０９に切り替える側に切り替える。

また、圧縮ストリーム中に含まれている復号画像の位置に関する識別情報（ＩＤ）は参照用Ｆｒａｍｅメモリ３０８に与えられて、この識別情報に基づいて参照用Ｆｒａｍｅメモリ３０８における復号画像の格納位置の切り替え制御３１４が行なわれる。なお、この参照用Ｆｒａｍｅメモリ３０８における復号画像の格納位置の切り替え処理については後述する。

圧縮ストリーム入力部１０７に入力された圧縮ストリームは、可変長符号復号器３１３に与えられ、可変長符号復号器３１３において、圧縮ストリームの可変長符号が復号され、量子化係数と動きベクトル情報とが復元される。

可変長符号復号器３１３により復元された量子化係数は、切り替えスイッチ３１０を通じて逆量子化器３０５に与えられる。そして、量子化係数は逆量子化器３０５により逆量子化がなされ、変換係数が求められる。さらに、逆量子化器３０５からの変換係数は、逆変換器３０６により逆変換がなされ、画像情報が求められ、画像情報が加算器３０６に与えられる。

一方、可変長符号復号器３１３から復元された動きベクトル情報は、切り替えスイッチ３１１を通じて動き補償器３０９に与えられる。そして、動き補償部３０９は、動きベクトル情報と参照用Ｆｒａｍｅメモリ３０８からの予測用参照画像から予測画像を作成し、これを加算器３０７に与える。

加算器３０７では、逆変換器３０６から送られてきた画像情報と動き補償部３０９から送られてきた予測画像を加算して、新しい予測用参照画像を作成し、これを参照用Ｆｒａｍｅメモリ３０８に与えて格納させる。

このとき、この新しい予測用参照画像の格納位置は、圧縮ストリームに含まれている識別情報に基づく格納位置切り替え制御３１４に従って切り替え制御される。

次に、この参照用Ｆｒａｍｅメモリ３０８における予測用参照画像の格納位置の切り替え処理を図６を参照して説明する。図６は、参照用Ｆｒａｍｅメモリ３０８における格納位置の切り替え処理を説明する図である。

ここで、単体符号化部３００（１０２、１０３）は、圧縮ストリームを作成する際、当該単体符号化部３００に分配された分割画像が入力画像のどの領域を示しているかを示す固有の識別情報（ＩＤ）を情報に含ませた参照画像情報として出力する。

そして、隣接する他の単体符号化部３００から参照画像情報を受け取った単体符号化部３００は、その参照画像情報に含まれている識別情報を抽出し、その識別情報に基づいて、当該参照画像情報の参照画像が入力画像のどの部分（領域）に当たるものかを知ることができる。

図６では、参照用Ｆｒａｍｅメモリ３０８における格納位置の切り替え処理を説明する図である。

図６において、自単体符号化部が符号化処理をした画像は図６に示す主要参照画像の部分に格納するものとする。このとき、切り替え処理部４０１は、加算器３０７からの情報を主要参照画像側に向けて格納するようにしている。

一方、隣接する他の単体符号化部からの圧縮ストリームを受け取り、それに含まれる識別情報に基づく格納位置切り替え制御３１４を受けると、切り替え処理部４０１は、加算器３０７からの情報を、その識別情報に基づいて割り当てられている領域（図６では、主要参照画像の上部に位置する領域）に格納するよう切り替える。

すなわち、隣接する他の単体符号化部からの参照画像情報に含まれる識別情報に応じて参照用Ｆｒａｍｅメモリ３０８上の画像格納位置が決められており、隣接する他の単体符号化部からの参照画像情報を受信すると、その識別情報を判断して、対応する領域に受信した参照画像を格納するようにする。

これにより、結果として、隣接する単体符化部同士で参照画像を交換したことになる。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、各単体符号化部は、他の単体符号化部が出力する圧縮画像を取り込み、その圧縮画像を用いて当該他の単体符号化部に割り当てられた領域も含む新たな予測用参照画像を作成することができるので、境界部での画質の劣化が抑えられる。

また、第１の実施形態によれば、単体符号化部ではデコーダがデコード可能な圧縮ストリームとなるため、その部分の通信の解析のためのプロトコルアナライザをまったく新しく開発するというコストが削減できる。また、参照画像の交換のための通信帯域の圧迫が大きいという問題も、各単体符号化部が出力する圧縮ストリームを交換することで解決できる。

（Ｂ）第２の実施形態
次に、本発明の画像符号化装置及び方法の第２の実施形態を図面を参照しながら説明する。

第２の実施形態は、入力画像を３分割する場合であり、そのために単体符号化部を３個備える場合を説明する。

図７は、第２の実施形態に係る動画像符号化装置６００の構成を示すブロック図である。図７に示すように、第２の実施形態の動画像符号化装置６００は、入力画像分割部６０１、単体符号化部１０２、１０３及び６０２、圧縮ストリーム統合部６０３を少なくとも有して構成される。

第２の実施形態が第１の実施形態と異なる点は、入力画像分割部６０１が入力画像を３分割する点、単体符号化部６０２を新たに備え全部で３個とする点、圧縮ストリーム統合部６０３が３個の単体符号化部からの圧縮画像を統合する点である。

そのため、以下では、第２の実施形態に特徴的な構成及び動作について詳細に説明し、第１の実施形態で既に説明した構成要素の構成及び動作についての説明は省略する。

入力画像分割部６０１は、１つの入力と３つの出力を持ち、入力された入力画像を分割する機能をもつものである。入力画像分割部１０１と異なっているのは画像の分割数が３分割になっているところである。また、入力画像分割部６０１は、分割した分割画像を、単体符号化部１０２、単体符号化部１０３、単体符号化部６０２に与えるものである。

図７は、入力画像Ｐを、分割画像Ｐ１、Ｐ２、Ｐ３に分割する様子を示す図である。なお、入力画像Ｐをスライスする方法や、スライスした分割画像が入力画像Ｐのどの部分を示すものであるかを示す識別情報を単体符号化部に与える点等については第１の実施形態と同様である。

単体符号化部１０２、１０３及び６０２は、第１の実施形態と同様に、隣接する他の単体符号化部からの参照画像情報（圧縮ストリーム）も利用して予測用参照画像を作成して符号化処理を行なうものである。

また、各単体符号化部１０２、１０３及び６０２の圧縮ストリーム出力部１０６は、自単体符号化部以外の他の全ての単体符号化部の圧縮ストリーム入力部１０７と接続している。そのため、自単体符号化部が出力する圧縮ストリーム（参照画像情報）は、他の全ての単体符号化部に与えることができる。

さらに、各単体符号化部１０２、１０３及び６０２の圧縮ストリーム出力部１０６は、圧縮ストリーム統合部６０３と接続している。そのため、圧縮ストリーム統合部は各単体符号化部１０２、１０３及び６０２で作成された圧縮ストリームをひとつのストリームに結合するもので図１の圧縮ストリーム１０４と同等のものである。

なお、各単体符号化部１０２、１０３及び６０２の内部構成は、基本的には図３に示す構成と同じであるため、図３をそのまま用いて第２の実施形態の特徴を説明する。

第２の実施形態の単体符号化部３００は、参照用Ｆｒａｍｅメモリ３０８の機能構造が第１の実施形態と異なる。

図８は、第２の実施形態の参照用Ｆｒａｍｅメモリ３０８の機能構成を説明する説明図である。

図８では、自単体符号化部が入力画像を３分割したうちの中央部分の符号化を担当するものとする。この場合、参照用Ｆｒａｍｅメモリ３０８も３分割され、そのうちの中央部分に自単体符号化部に入力された画像に対応する参照画像を格納する領域をもつ。

また、参照用Ｆｒａｍｅメモリ３０８上の自単体符号化部に割り当てられている領域に対して、上部隣接の参照画像を保持する領域と、下部隣接の参照画像を保持する領域がある。

切り替え処理部８０１は、自単体符号化部の符号化処理をしているときには、加算器３０７からの情報を主要参照画像の格納領域側に接続するようにしている。

また、第１の実施形態と同様にして、他の単体符号化部からの参照画像情報を取り込むと、切り替え処理部８０１は、その参照画像情報に含まれている識別情報に基づいて当該他の単体符号化部が担当する参照画像領域を特定し、当該他の単体符号化部が担当する参照画像領域が上部領域である場合には、切り替え処理部８０１は、加算器３０７からの情報を上部隣接の参照画像の領域に切り替え、また、当該他の単体符号化部が担当する参照画像領域が下部領域である場合には、切り替え処理部８０１は、加算器３０７からの情報を下部隣接の参照画像の領域に切り替えるようにする。

以上のように、第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。

また、第２の実施形態によれば、単体符号化部が２個から３個へと増えたため、符号化へ利用できる単体符号化部が多くすることができる。そのため、１個の単体符号化部の処理能力が第１の実施形態と同じであれば、より高い解像度の画像をリアルタイム符号化することができるようになる。

（Ｃ）他の実施形態
上述した第１及び第２の実施形態では、単体符号化部が２個又は３個の場合を説明したが、単体符号化部の数は特に限定されるものではなく、４個以上に拡張してもよい。

第１及び第２の実施形態に関して、入力画像の分割の仕方には言及していないが、これはスライスとして分割できる限りどのように分割してもよい。

例えば、単体符号化装置の処理能力に大きなばらつきがある場合などには、処理能力の高い単体符号化装置に割り当てるスライスの面積を大きくすることで、処理時間の平準化をねらうことも可能である。

また、分割方法は入力画像の一連のシーケンスにわたって固定である必要もなく、入力画像毎に変更することもできる。この場合、圧縮ストリームに含まれるスライスが画面内のどの位置になるかが入力画像毎に変動することになる。

例えば、入力画像分割部が、各単体符号化部へ、入力画像のどの部分を送ったかに関する情報を送り、かつ、スライス固有のＩＤのつけ方をスライスの開始位置に相当するマクロブロックの番号と一意に対応できるよう決めておくことで、画面内のどの部分の画像であるかを各単体符号化部が知ることができ、入力画像毎の分割位置の変動があっても問題なく符号化できることが容易にわかる。

本発明は、複数の計算機資源として複数のコンピュータを有し、これらのコンピュータで符号化処理を並列に実行する動画像符号化処理機能を有するシステム、あるいは複数の計算機資源として複数のプロセッサを有し、これらのプロセッサで符号化処理を並列に実行する動画像符号化処理機能を有する１つのコンピュータに適用することができる。

また、本発明は、上記システム上や上記コンピュータで動作する動画像符号化ソフトウェアとして利用可能である。

第１の実施形態に係る動画像符号化装置の構成図である。 従来の単体符号化部の機能構成を示すブロック図である。 第１の実施形態の単体符号化部の機能構成を示すブロック図である。 第１の実施形態の入力画像分割部のスライス処理を示す図である。 第１の実施形態の入力用Ｆｒａｍｅメモリによるマクロブロック単位の分割の様子を示す図である。 第１の実施形態の参照用Ｆｒａｍｅメモリによる格納位置の切り替え処理を説明する説明図である。 第２の実施形態に係る動画像符号化装置の構成図である。 第２の実施形態の入力画像分割部のスライス処理を示す図である。 第２の実施形態の参照用Ｆｒａｍｅメモリによる格納位置の切り替え処理を説明する説明図である。

符号の説明

１００、６００…動画像符号化装置、１０１、６０１…入力画像分割部、１０２、１０３及び６０２…単体符号化部、１０４、６０３…圧縮ストリーム統合部、１０６…圧縮ストリーム出力部、１０７圧縮ストリーム入力部、３１３…入力用フレーム（Ｆｒａｍｅ）メモリ、３１２…動きベクトル探索器（ＭＥ）、３１１…切り替えスイッチ、３０９…動き補償器、３０１…減算器、３０２…変換器、３０３…量子化器、３１０…切り替えスイッチ、３０５…逆量子化器、３０６…逆変換器、３０７…加算器、３０８…参照用フレーム（Ｆｒａｍｅ）メモリ、３０４…可変長符号器、３１３…可変長符号復号器、４０１、８０１…切り替え処理部。

Claims (3)

1. 入力画像を複数の領域に分割する入力画像分割手段と、分割された各領域を符号化する複数の符号化手段と、上記各符号化手段により符号化された各圧縮領域情報を統合して入力画像の圧縮画像を出力する統合手段とを備える画像符号化装置において、
   上記各符号化手段が、
   過去のフレームを格納する参照フレーム格納部と、
   分割された領域を取り込み、上記参照フレーム格納部に格納されているフレームを参照して、符号化対象の領域の動き補償を行なう動き補償部と、
   符号化対象の領域を圧縮処理する圧縮処理部と、
   上記圧縮処理部により圧縮処理された圧縮領域を符号化して得た上記圧縮領域情報を出力する符号化部と、
   他の上記符号化手段が出力した圧縮領域情報を取り込む圧縮領域情報取り込み部と、
   上記圧縮領域情報取り込み部が取り込んだ上記圧縮領域情報を復号して、上記他の符号化手段における圧縮領域を得る復号部と、
   上記復号部により復号された上記他の符号化手段の圧縮領域、又は上記圧縮処理部による圧縮領域に基づいて、上記入力画像の参照画像の一部を生成し、上記参照フレーム格納部に格納させる参照画像生成部と
   を有する
   ことを特徴とする画像符号化装置。
2. 上記圧縮領域情報が、当該圧縮領域が上記入力画像のうちどの領域であるか示す識別情報を含み、
   上記参照フレーム格納部が、上記識別情報に基づいて、上記参照画像生成部が生成した参照画像の一部の位置を特定して格納する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 入力画像を複数の領域に分割する入力画像分割手段と、分割された各領域を符号化する複数の符号化手段と、上記各符号化手段により符号化された各圧縮領域情報を統合して入力画像の圧縮画像を出力する統合手段とを備える画像符号化方法において、
   上記各符号化手段が、
   過去のフレームを格納する参照フレーム格納部を有し、
   動き補償部が、分割された領域を取り込み、上記参照フレーム格納部に格納されているフレームを参照して、符号化対象の領域の動き補償を行なう動き補償工程と、
   圧縮処理部が、符号化対象の領域を圧縮処理する圧縮処理工程と、
   符号化部が、上記圧縮処理部により圧縮処理された圧縮領域を符号化して得た上記圧縮領域情報を出力する符号化工程と、
   圧縮領域情報取り込み部が、他の上記符号化手段が出力した圧縮領域情報を取り込む圧縮領域情報取り込み工程と、
   復号部が、上記圧縮領域情報取り込み部が取り込んだ上記圧縮領域情報を復号して、上記他の符号化手段における圧縮領域を得る復号工程と、
   参照画像生成部が、上記復号部により復号された上記他の符号化手段の圧縮領域、又は上記圧縮処理部による圧縮領域に基づいて、上記入力画像の参照画像の一部を生成し、上記参照フレーム格納部に格納させる参照画像生成工程と
   を有する
   ことを特徴とする画像符号化方法。
   

Images