JP2006042143A

JP2006042143A - 画像処理システム

Info

Publication number: JP2006042143A
Application number: JP2004221741A
Authority: JP
Inventors: Masanori Ishizuka; 正則石塚; Tatsushi Ootsuka; 竜志大塚; Takahiko Tahira; 孝彦田平
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-07-29
Filing date: 2004-07-29
Publication date: 2006-02-09
Anticipated expiration: 2024-07-29
Also published as: JP4476065B2; US20060023954A1; US7336834B2

Abstract

【課題】画像を分割して処理する際に、効率よくメモリへの負荷分散を行って、メモリアクセス効率の向上を図る。
【解決手段】画像入力処理部１１は、原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分散して符号化側メモリ部１２へ書き込む。符号化部１３は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成して格納する。復号化部２１は、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分散して復号化側メモリ部２２へ書き込む。
【選択図】図１

Description

本発明は、画像処理システムに関し、特に画像信号の符号化・復号化処理を行う画像処理システムに関する。

近年、ＤＶＤ（Digital Versatile Disc）やデジタルＴＶ放送などの分野では、膨大な画像データを高いクオリティで記録・伝送するために、ＭＰＥＧ（Moving Picture Experts Group）によるエンコード・デコード技術が広く用いられている。ＭＰＥＧ画像処理では、画像信号を複数に分割し、メモリに対して、分割した画像信号の書き込み／読み出しを行って、エンコードやデコードを実行する処理が行われる。

図１４は従来の画像処理システムを示す図である。画像処理システム５０は、画像処理部５１、メモリ５２、５３を含み、画像処理部５１は、メモリバスｂ１、ｂ２を介してメモリ５２、５３と接続する。

画像処理部５１は、入力画像信号のエンコードまたはデコードの処理を行う。メモリ５２、５３は、システムへの入力画像や、画像処理後の画像信号を格納する。この場合、メモリ５２は、画面のUpper領域（画面中央から上方にある画面の上位領域）側の画像信号及びUpper領域のエンコード・デコードに関わる制御情報等を格納する。メモリ５３は、画面のLower領域（画面中央から下方にある画面の下位領域）側の画像信号及びLower領域のエンコード・デコードに関わる制御情報等を格納する。

なお、メモリ５２、５３は、エンコード・デコードに関連したデータの格納領域以外に、ＯＳ（Operating System）やシステムの全体制御等に関連したデータを格納するワーク領域も有している。

図１５はメモリバスｂ１、ｂ２のデータ流量を示す図である。グラフＧａは、メモリバスｂ１のデータ流量を示すグラフであり、グラフＧｂは、メモリバスｂ２のデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。

Upper領域に関する画像信号の処理を行っているときは、メモリ５２にUpper領域の画像データが格納されているため、メモリバスｂ１のデータ流量が多くなり、Lower領域に関する画像信号の処理を行っているときは、メモリ５３にLower領域の画像データが格納されているため、メモリバスｂ２のデータ流量が多くなる。

なお、メモリバスｂ１、ｂ２には、ＣＰＵなども接続して、メモリ５２、５３の領域を使用しているため、画像データのUpper領域及びLower領域の処理に関わらず、ＣＰＵ等のアクセスにもとづき、ワーク領域のデータが流れている。

一方、画像を分割して符号化する従来技術として、チャネル分割時のチャネル境界部で生じる画質劣化を防止した技術が提案されている（例えば、特許文献１）。
特開平０５−１８３８９１号公報（段落番号〔００１３〕〜〔００２３〕，第１図）

ＭＰ＠ＨＬ（Main Profile＠High Level）の様に、大きな画面サイズのエンコード処理を行う場合には、画面の大きさに比例して、メモリにアクセスされるデータ量（メモリの負荷）も増加する。このため、メモリを複数配置して、メモリ１つ当たりの負荷を下げて、負荷を分散させるといった構成をとることが一般的に行われている。

しかし、図１４の従来システムのように、画面のUpper領域、Lower領域を２つのメモリ５２、５３それぞれに分けて格納すると、図１５に示したように、Upper領域の画像処理時には、メモリ５２への負荷が高くなり、Lower領域の画像処理時にはメモリ５３への負荷が高くなる。

このため、メモリの負荷がいずれか一方に偏ってしまい、従来の制御では、メモリの数を増やしても、結果として最適な負荷分散がなされておらず、メモリアクセスの効率が低減するといった問題があった。

例えば、図１５を見ると、Upper領域の処理時間帯では、メモリ５２に格納しているワーク領域関連のデータの処理が、Upper領域の画像処理によって圧迫されており、Lower領域の処理時間帯では、メモリ５３に格納しているワーク領域関連のデータの処理が、Lower領域の画像処理によって圧迫されており、最適な負荷分散がなされていないことがわかる。

本発明はこのような点に鑑みてなされたものであり、画像を分割して処理する際に、効率よくメモリへの負荷分散を行って、メモリアクセス効率の向上を図った画像処理システムを提供することを目的とする。

本発明では上記課題を解決するために、図１に示すような、画像信号の符号化・復号化処理を行う画像処理システム１において、複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部１２と、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部１２へ書き込む画像入力処理部１１と、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部１３と、から構成される画像符号化部１０と、複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部２２と、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部２２へ書き込む復号化部２１と、復号化側メモリ部２２に格納されている画像を読み出して出力処理を行う画像出力処理部２３と、から構成される画像復号化部２０と、を有することを特徴とする画像処理システム１が提供される。

ここで、符号化側メモリ部１２は、複数の格納領域を持ち、データ格納処理を行う。画像入力処理部１１は、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部１２へ書き込む。符号化部１３は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する。復号化側メモリ部２２は、複数の格納領域を持ち、データ格納処理を行う。復号化部２１は、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部２２へ書き込む。画像出力処理部２３は、復号化側メモリ部２２に格納されている画像を読み出して出力処理を行う。

本発明の画像処理システムは、画像符号化部では、符号化側メモリ部の同一格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように、分割原画像を分散して書き込み、また分割原画像の予測符号化に必要な情報が含まれるように参照画像を格納し、画像復号化部では、復号化側メモリ部の同一格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように、分割復号化データを分散して書き込む構成とした。これにより、画像を分割して処理する際に、効率よくメモリへの負荷分散を行うことができるので、メモリアクセス効率の向上を図ることが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１は画像処理システムの原理図である。画像処理システム１は、画像符号化部１０と画像復号化部２０から構成され、画像信号の符号化・復号化処理を行うシステムである。

画像符号化部１０は、画像入力処理部１１、符号化側メモリ部１２、符号化部１３から構成される。符号化側メモリ部１２は、複数の格納領域を持ち、データ格納処理を行う。
画像入力処理部１１は、入力した原画像を複数領域に分割して分割原画像を生成する。そして、符号化側メモリ部１２の特定格納領域に対するアクセス集中を避けるため、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部１２へ書き込む。

符号化部１３は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成する。また、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する。

画像復号化部２０は、復号化部２１、復号化側メモリ部２２、画像出力処理部２３から構成される。復号化側メモリ部２２は、複数の格納領域を持ち、データ格納処理を行う。
復号化部２１は、入力した符号化データを分割し復号化して分割復号化データを生成する。そして、復号化側メモリ部２２の特定格納領域に対するアクセス集中を避けるため、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部２２へ書き込む。画像出力処理部２３は、復号化側メモリ部２２に格納されている画像を読み出して出力処理を行う。

図１に示したメモリの格納動作について説明する。符号化側メモリ部１２は、２つの領域Ｍｃ１、Ｍｃ２から構成されている。画像入力処理部１１は、原画像の輝度成分を上位領域（画面中央から上方にある画面の領域で以下Upper領域と呼ぶ）と下位領域（画面中央から下方にある画面の領域で以下Lower領域と呼ぶ）に分割し、原画像の色差成分をUpper領域とLower領域に分割する。

画像入力処理部１１は、領域Ｍｃ１に分割原画像として、Upper領域輝度原画データＹ_OUとLower領域色差原画データＣ_OLを格納し、領域Ｍｃ２に分割原画像として、Lower領域輝度原画データＹ_OLとUpper領域色差原画データＣ_OUを格納する。なお、予測符号化時の参照画像のメモリ格納動作については後述する。

一方、復号化側メモリ部２２は、２つの領域Ｍｒ１、Ｍｒ２から構成されている。復号化部２１は、復号化画面の輝度成分をUpper領域とLower領域に分割し、復号化画面の色差成分をUpper領域とLower領域に分割する。

そして、領域Ｍｒ１に分割復号化データとして、Upper領域輝度復号化データＹ_DUとLower領域色差復号化データＣ_DLを格納し、領域Ｍｒ２にLower領域輝度復号化データＹ_DLとUpper領域色差復号化データＣ_DUを格納する。

従来のように、１つのメモリ領域にUpper領域だけの画像またはLower領域の画像だけを格納するのではなく、画像信号を輝度と色差に分けて、Upper領域の輝度とLower領域の色差を１つのメモリ領域に格納し、Lower領域の輝度とUpper領域の色差を１つのメモリ領域に格納する構成とした。

これにより、Upper領域またはLower領域の処理時間帯において、１つのメモリ領域だけに集中してアクセスすることがなくなるので、メモリアクセス負荷が分散されることになる。

次に画像符号化部１０の具体的な構成・動作について以降説明する。図２はエンコーダの構成を示す図である。画像符号化部１０の具体例であるエンコーダ１０ａは、ビデオ入力Ｉ／Ｆ部１１−１、メモリＩ／Ｆ部１２Ｕ−１、１２Ｌ−１、メモリ１２Ｕ、１２Ｌ、ビデオエンコーダ１３Ｕ、１３Ｌ、オーディオエンコーダ１４、多重化部１５、制御部１６から構成される。

なお、ビデオ入力Ｉ／Ｆ部１１−１は、画像入力処理部１１に対応し、メモリＩ／Ｆ部１２Ｕ−１、１２Ｌ−１、メモリ１２Ｕ、１２Ｌは、符号化側メモリ部１２に対応し、ビデオエンコーダ１３Ｕ、１３Ｌは、符号化部１３に対応する。

エンコーダ１０ａは、入力されるデジタル映像（１４４０×１０８０ｉ：水平１４４０画素、垂直１０８０画素で、ｉはインタレース走査を示す）に対して、ＭＰＥＧ２のＭＰ＠ＨＬに対応したエンコード処理を行い、入力されるデジタル音声（１６bitステレオ２ｃｈ）に対してはＭＰＥＧ２−Ａｕｄｉｏ規格にもとづいたエンコード処理を行う。そして、エンコードされたビデオデータとオーディオデータとを多重化して外部へ出力する。

また、ビデオエンコード処理を高速に行うため、２つのビデオエンコーダ１３Ｕ、１３Ｌが存在し、並列にエンコード処理が行われる。メモリ１２Ｕ、１２Ｌは例えば、ＳＤＲＡＭ（Synchronous Dynamic RAM）を使用する。制御部１６は、内部ブロックの全体制御を行うブロックである。

ビデオ入力Ｉ／Ｆ部１１−１は、外部からリアルタイムに入力されるＤ１フォーマット（放送局の撮影用フォーマット）に準拠した８ビットパラレルディジタル入力信号（１４４０×１０８０ｉ）に対し、必要なフィルタ処理を行って、４：２：０形式の原画像を生成する。

そして、原画像の輝度側については、Upper領域の輝度データＹ_OUをメモリＩ／Ｆ部１２Ｕ−１を介して、メモリ１２Ｕへライトし、Lower領域の輝度データＹ_OLをメモリＩ／Ｆ部１２Ｌ−１を介してメモリ１２Ｌへライトする。

さらに、原画像の色差側については、Upper領域の色差データＣ_OUをメモリＩ／Ｆ部１２Ｌ−１を介してメモリ１２Ｌへライトし、Lower領域の色差データＣ_OLをメモリＩ／Ｆ部１２Ｕ−１を介してメモリ１２Ｕへライトする。

メモリＩ／Ｆ部１２Ｕ−１は、メモリバスＢ１でメモリ１２Ｕと接続して、メモリ１２Ｕに対するアクセス要求の調停を行い、メモリ１２Ｕと他ブロックとのアクセスインターフェースを行う。メモリＩ／Ｆ部１２Ｌ−１は、メモリバスＢ２でメモリ１２Ｌと接続して、メモリ１２Ｌに対するアクセス要求の調停を行い、メモリ１２Ｌと他ブロックとのアクセスインターフェースを行う。

ビデオエンコーダ１３Ｕは、メモリ１２Ｕ、１２Ｌに配置されている原画像に対しＭＰ＠ＨＬに対応したエンコード処理を行い（すなわち、ＭＰ＠ＨＬはＩ、Ｐ、Ｂの３つのピクチャを有するので、それぞれのピクチャに対応するintra／interのエンコード処理を行うということ）、Upper領域のスライスデータＳ_Uを生成し、それをメモリ１２Ｕに格納する。また、予測符号化を行うときは、参照画像をメモリ１２Ｕ、１２Ｌに対して格納する（図４〜図７で後述）。

ビデオエンコーダ１３Ｌは、メモリ１２Ｕ、１２Ｌに配置されている原画像に対しＭＰ＠ＨＬに対応したエンコード処理を行い、Lower領域のスライスデータＳ_Lを生成し、それをメモリ１２Ｌに格納する。また、予測符号化を行うときは、参照画像をメモリ１２Ｕ、１２Ｌに対して格納する（図４〜図７で後述）。

オーディオエンコーダ１４は、外部から入力されるデジタル音声のエンコード処理を行い、エンコードしたオーディオＥＳ（Elementary Stream）を、メモリ１２Ｌへ格納する。

多重化部１５は、Upper領域のスライスデータＳ_UとLower領域のスライスデータＳ_LとオーディオＥＳとその他必要なヘッダ情報とを多重化して、MPEG2 System形式のストリームを生成し、外部へ出力する。

なお、メモリ１２Ｕ、１２Ｌには、エンコードに関連したデータの格納領域以外に、ＯＳやシステムの全体制御等に関連したデータを格納するワーク領域ｗ１、ｗ２も有している。

次にメモリ１２Ｕ、１２Ｌの画像データ格納動作について説明する。図３はメモリ１２Ｕ、１２Ｌの画像データ格納状態を示す図である。図が見やすいように原画データは実線で、参照画データは点線で示した。なお、ワーク領域のデータ、オーディオＥＳ、スライスデータ等の格納動作の説明は省略する。

ビデオ入力Ｉ／Ｆ部１１−１は、原画像の輝度成分及び色差成分をUpper領域とLower領域に分割し、Upper領域輝度原画データＹ_OU、Upper領域色差原画データＣ_OU、Lower領域輝度原画データＹ_OL、Lower領域色差原画データＣ_OLを生成する。

メモリ１２Ｕは、Upper領域輝度原画データＹ_OUとLower領域色差原画データＣ_OLを格納し、メモリ１２Ｌは、Lower領域輝度原画データＹ_OLとUpper領域色差原画データＣ_OUを格納する。

ビデオエンコーダ１３Ｕは、予測符号化時、メモリＩ／Ｆ部１２Ｕ−１、１２Ｌ−１を介して、メモリ１２Ｕ、１２Ｌにアクセスし、Upper領域輝度原画データＹ_OUとUpper領域色差原画データＣ_OUを読み出し、これら原画データに対する参照画像として、Upper領域輝度参照画データＹ_RUとUpper領域色差参照画データＣ_RUを生成する。

ビデオエンコーダ１３Ｌは、予測符号化時、メモリＩ／Ｆ部１２Ｕ−１、１２Ｌ−１を介して、メモリ１２Ｕ、１２Ｌにアクセスし、Lower領域輝度原画データＹ_OLとLower領域色差原画データＣ_OLを読み出し、これら原画データに対する参照画像として、Lower領域輝度参照画データＹ_RLとLower領域色差参照画データＣ_RLを生成する。

メモリ１２Ｕは、Upper領域輝度参照画データＹ_RUとLower領域色差参照画データＣ_RLを格納し、メモリ１２Ｌは、Lower領域輝度参照画データＹ_RLとUpper領域色差参照画データＣ_RUを格納する。

なお、エンコーダ１０ａは、インタレース走査の画面を扱うので、実際はTopフィールド、Bottomフィールドに分けてメモリに格納するが、Top／Bottomフィールドから見たメモリ格納状態については後述の図８で示す。

次に参照画像のメモリ格納状態について説明する。図４は予測符号化の動作を示す図である。予測符号化を行う場合には、原画像のマクロブロックに対して、参照画像の中から似た画素を探す推定処理を行い、その分だけ位置をシフトした画素値を予測値とし、マクロブロックに対する動きベクトルを求める。

ここで、原画像を画面中央からUpper／Lowerに分割したラインＬ１の近傍にあるマクロブロックｍ１に対する動きベクトル検出を考える。マクロブロックｍ１と、参照画像上の点線ブロック（マクロブロックｍ１に対応する位置にあるマクロブロック）との周囲を比較し、マクロブロックｍ１の絵柄に最も近い部分としてマクロブロックｍ１ａが、ラインＬ１よりも下方に存在したとする。この場合、図に示す矢印が動きベクトルとして検出されることになる。

図５はUpper領域輝度参照画データＹ_RUのメモリ格納サイズを示す図である。上述したように、分割ラインＬ１付近のUpper領域内のマクロブロックｍ１の動きベクトルを検出する場合、マクロブロックｍ１に最も近い画素値のブロックは、分割ラインＬ１よりも下方のLower領域側に存在する可能性がある。

このようなことに備えるため、Upper領域輝度原画データＹ_OUの動きベクトル検出に必要な参照画像であるUpper領域輝度参照画データＹ_RUの画面サイズとしては、Lower領域にまたがって、Upper領域輝度原画データＹ_OUの予測符号化を行う際に必要な水平ラインまでを含めるとする。

すなわち、Upper領域輝度参照画データＹ_RUの画面サイズは、Upper領域輝度原画データＹ_OUのサイズより、予測符号化に必要な水平ライン分下方に大き目のサイズとなる。そして、このサイズのUpper領域輝度参照画データＹ_RUを、Upper領域輝度原画データＹ_OUが格納されている同じ領域に格納する。

図６はLower領域輝度参照画データＹ_RLのメモリ格納サイズを説明するための図である。図５と同様に考えて、分割ラインＬ１付近のLower領域内のマクロブロックｍ２の動きベクトルを検出する場合、マクロブロックｍ２に最も近い画素値のブロックｍ２ａは、分割ラインＬ１よりも上方のUpper領域側に存在する可能性がある。

このようなことに備えるため、Lower領域輝度原画データＹ_OLの動きベクトル検出に必要な参照画像であるLower領域輝度参照画データＹ_RLの画面サイズとしては、Upper領域にまたがって、Lower領域輝度原画データＹ_OLの予測符号化を行う際に必要な水平ラインまでを含めるとする。

すなわち、Lower領域輝度参照画データＹ_RLの画面サイズは、Lower領域輝度原画データＹ_OLのサイズより、予測符号化に必要な水平ライン分上方に大き目のサイズとなる。そして、このサイズのLower領域輝度参照画データＹ_RLをLower領域輝度原画データＹ_OLが格納されている同じ領域に格納する。

図７は色差参照画データの格納サイズを示す図である。色差成分に関する動きベクトルを検出する場合も上記と同様にして、Upper領域色差参照画データＣ_RU及びLower領域色差参照画データＣ_RLのサイズを大きく設定し、メモリ１２Ｕ、１２Ｌへ格納する。

すなわち、Upper領域色差参照画データＣ_RUのサイズは、Upper領域色差原画データＣ_OUのサイズより、予測符号化に必要な水平ライン分下方に大き目のサイズとなる。また、Lower領域色差参照画データＣ_RLのサイズは、Lower領域色差原画データＣ_OLのサイズより、予測符号化に必要な水平ライン分上方に大き目のサイズとなる。

図８はインタレース画像のメモリ格納状態を示す図である。インタレース画像の場合は、図４〜図７で上述した内容を含めて、Topフィールド、Bottomフィールドに分けて格納する。それ以外は上記と同様なので格納動作の説明は省略する（プログレッシブ画像の場合はフレーム単位で格納すればよい）。

次にメモリバスＢ１、Ｂ２のデータ流量について説明する。図９はメモリバスＢ１、Ｂ２のデータ流量を示す図である。グラフＧ１はメモリバスＢ１に関するデータ流量を示すグラフであり、グラフＧ２はメモリバスＢ２に関するデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。

エンコーダ１０ａのメモリアクセスは、Upper領域の処理時間帯では、メモリ１２ＵへUpper領域の輝度データのリード／ライトアクセスを行い、かつメモリ１２ＬへUpper領域の色差データのリード／ライトアクセスを行う。また、Lower領域の処理時間帯では、メモリ１２ＵへLower領域の色差データのリード／ライトアクセスを行い、かつメモリ１２ＬへLower領域の輝度データのリード／ライトアクセスを行う。

したがって、Upper領域の処理時間帯には、メモリバスＢ１のデータ流量は輝度データ、メモリバスＢ２のデータ流量は色差データとなり、Lower領域の処理時間帯には、メモリバスＢ１のデータ流量は色差データ、メモリバスＢ２のデータ流量は輝度データとなるため、図１５で示した従来のメモリアクセスと比べて負荷が分散されることになる。

また、メモリへの負荷が分散されていることから、メモリ１２Ｕ、１２Ｌのワーク領域に格納されているデータの処理も、画像データのエンコード処理により圧迫されることがなくなり、Upper領域／Lower領域の時間帯に対して、定常的に一定量が流れることが可能になる。

ここで、エンコーダ１０ａが、Ｉピクチャ（Intra-coded picture）のエンコードを行う場合には、ＩピクチャはIntraエンコードなので、参照画像は不要である。また、Ｐピクチャ（Predictive-coded picture）のエンコードを行う場合には、Ｐピクチャは過去のＩまたはＰピクチャからの予測で生成されるので、図５〜図６で上述したような、ＩまたはＰピクチャの参照画像を用いてエンコードする。さらに、Ｂピクチャ（Bidirectionally predictive-coded picture）のエンコードを行う場合には、Ｂピクチャは前後方向のＩ及びＰピクチャから予測して生成されるので、図５〜図６で上述したような、Ｉ及びＰピクチャの参照画像を用いてエンコードする。

次に画像復号化部２０の具体的な構成・動作について以降説明する。図１０はデコーダの構成を示す図である。画像復号化部２０の具体例であるデコーダ２０ａは、分離部２１−１、ビデオデコーダ２１Ｕ、２１Ｌ、メモリＩ／Ｆ部２２Ｕ―１、２２Ｌ−１、メモリ２２Ｕ、２２Ｌ、ビデオ出力Ｉ／Ｆ部２３、オーディオデコーダ２４、制御部２５から構成される。

なお、分離部２１−１、ビデオデコーダ２１Ｕ、２１Ｌは、復号化部２１に対応し、メモリＩ／Ｆ部２２Ｕ―１、２２Ｌ−１、メモリ２２Ｕ、２２Ｌは復号化側メモリ部２２に対応し、ビデオ出力Ｉ／Ｆ部２３は、画像出力処理部２３に対応する。

デコーダ２０ａは、入力されるストリーム（システム：MPEG-2 System、ビデオ：MPEG-2 MP@HL、オーディオ： MPEG-2 Audio）に対してデコードを行い、デジタル映像出力（Ｄ１フォーマットに準拠した８ビットパラレルディジタル出力信号（１４４０×１０８０ｉ））とデジタル音声（１６bitステレオ２ｃｈ）を出力するものである。

また、ビデオデコード処理を高速に行うため、２つのビデオデコーダ２１Ｕ、２１Ｌが存在し、並列にデコード処理が行われる。メモリ２２Ｕ、２２Ｌは例えば、ＳＤＲＡＭを使用する。制御部２５は、内部ブロックの全体制御を行うブロックである。

分離部２１−１は、外部から入力されるストリームからビデオＥＳとオーディオＥＳとを分離し、メモリＩ／Ｆ部２２Ｕ―１、２２Ｌ−１を介して、一旦メモリ２２Ｕ、２２Ｌへ格納する。

ビデオデコーダ２１Ｕは、ビデオＥＳのUpper領域部分のストリームのデコードを行い、４：２：０形式のUpper領域のデコード画像を生成し、Upper領域輝度復号化データＹ_DUをメモリＩ／Ｆ部２２Ｕ―１を介してメモリ２２Ｕへライトし、Upper領域色差復号化データＣ_DUをメモリＩ／Ｆ部２２Ｌ―１を介してメモリ２２Ｌへライトする。

ビデオデコーダ２１Ｌは、ビデオＥＳのLower領域部分のストリームのデコードを行い４：２：０形式のLower領域のデコード画像を生成し、Lower領域輝度復号化データＹ_DLをメモリＩ／Ｆ部２２Ｌ―１を介してメモリ２２Ｌへライトし、Lower領域色差復号化データＣ_DUをメモリＩ／Ｆ部２２Ｕ―１を介してメモリ２２Ｕへライトする。

メモリＩ／Ｆ部２２Ｕ−１は、メモリバスＢ３でメモリ２２Ｕと接続して、メモリ２２Ｕに対するアクセス要求の調停を行い、メモリ２２Ｕと他ブロックとのアクセスインターフェースを行う。メモリＩ／Ｆ部２２Ｌ−１は、メモリバスＢ４でメモリ２２Ｌと接続して、メモリ２２Ｌに対するアクセス要求の調停を行い、メモリ２２Ｌと他ブロックとのアクセスインターフェースを行う。

ビデオ出力Ｉ／Ｆ部２３は、メモリ２２Ｕ、２２Ｌに格納されているデコード画像に対して、４：２：０→４：２：２等のフォーマット変換処理を行い、デジタル映像出力（Ｄ１フォーマットに準拠した８ビットパラレルディジタル出力信号（１４４０×１０８０ｉ））として外部にリアルタイムで出力する。オーディオデコーダ２４は、オーディオＥＳのデコードを行い、デジタル音声（１６bitステレオ２ｃｈ）として外部に出力する。

なお、メモリ２２Ｕ、２２Ｌには、デコードに関連したデータの格納領域以外に、ＯＳやシステムの全体制御等に関連したデータを格納するワーク領域ｗ３、ｗ４も有している。

図１１はメモリ２２Ｕ、２２Ｌの画像データ格納状態を示す図である。デコーダ２０ａは、インタレース走査の画面を扱うので、図ではTopフィールド、Bottomフィールドに分けて格納されている状態も合わせて示している。なお、ワーク領域のデータ、オーディオＥＳ等の格納動作の説明は省略する。

ビデオデコーダ２１Ｕは、符号化されている入力画像のUpper領域画面を復号化し、Upper領域輝度復号化データＹ_DUとUpper領域色差復号化データＣ_DUを生成する。ビデオデコーダ２１Ｌは、符号化されている入力画像のLower領域画面を復号化し、Lower領域輝度復号化データＹ_DLとLower領域色差復号化データＣ_DLを生成する。

メモリ２２Ｕは、Upper領域輝度復号化データＹ_DUとLower領域色差復号化データＣ_DLを格納し、メモリ２２Ｌは、Lower領域輝度復号化データＹ_DLとUpper領域色差復号化データＣ_DUを格納する。

次にメモリバスＢ３、Ｂ４のデータ流量について説明する。図１２はメモリバスＢ３、Ｂ４のデータ流量を示す図である。グラフＧ２はメモリバスＢ３に関するデータ流量を示すグラフであり、グラフＧ３はメモリバスＢ４に関するデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。

デコーダ２０ａのメモリアクセスは、Upper領域の処理時間帯では、メモリ２２ＵへUpper領域の輝度復号化データのリード／ライトアクセスを行い、かつメモリ２２ＬへUpper領域の色差復号化データのリード／ライトアクセスを行う。また、Lower領域の処理時間帯では、メモリ２２ＵへLower領域の色差復号化データのリード／ライトアクセスを行い、かつメモリ２２ＬへLower領域の輝度復号化データのリード／ライトアクセスを行う。

したがって、Upper領域の処理時間帯には、メモリバスＢ３のデータ流量は輝度データ、メモリバスＢ４のデータ流量は色差データとなり、Lower領域の処理時間帯には、メモリバスＢ３のデータ流量は色差データ、メモリバスＢ４のデータ流量は輝度データとなるため、図１５で示した従来のメモリアクセスと比べて負荷が分散されることになる。

また、メモリへの負荷が分散されていることから、メモリ２２Ｕ、２２Ｌのワーク領域に格納されているデータの処理も、画像データのデコード処理により圧迫されることがなくなり、Upper領域／Lower領域の時間帯に対して、定常的に一定量が流れることが可能になる。

以上説明したように、従来の並列動画像処理では、それぞれのメモリの負荷が時間によって大きく偏ってしまい、メモリアクセスの効率が悪く、メモリ負荷が限界に達しやすいといった欠点があったが、画像処理システム１によれば、それぞれの符号化側メモリ部１２及び復号化側メモリ部２２の負荷が時間方向に分散されるので、並列動画像処理の性能限界を引き上げることができ、また低コスト化や低電力化を実現することが可能になる。

なお、上記では、ＭＰＥＧビデオＥＳについて述べたが、ＤＶビデオ等の動画像データを処理する場合に適用可能である。また、画面をUpper領域とLower領域の２分割にして、それぞれを２並列で処理を行っているが、Ｎ分割のＮ並列処理を行うこともできる。

例えば、Ｎ＝３の場合は、画面をUpper領域とMiddle領域とLower領域の３分割にして、それぞれを３並列に処理を行う。図１３に３並列のメモリ配置例を示す。３つの格納領域としてメモリ（Ｕ）、（Ｍ）、（Ｌ）を用意し、画面を３分割して、メモリ（Ｕ）にはUpper領域の輝度成分、Lower領域の色差成分を格納し、メモリ（Ｍ）にはMiddle領域の輝度成分、Upper領域の色差成分を格納し、メモリ（Ｌ）にはLower領域の輝度成分、Middle領域の色差成分を格納する。このようにしても、メモリ負荷を分散することができる。

画像処理システムの原理図である。エンコーダの構成を示す図である。メモリの画像データ格納状態を示す図である。予測符号化の動作を示す図である。 Upper領域輝度参照画データのメモリ格納サイズを示す図である。 Lower領域輝度参照画データのメモリ格納サイズを説明するための図である。色差参照画データのメモリ格納サイズを示す図である。インタレース画像のメモリ格納状態を示す図である。メモリバスのデータ流量を示す図である。デコーダの構成を示す図である。メモリの画像データ格納状態を示す図である。メモリバスのデータ流量を示す図である。３並列のメモリ配置例を示す図である。従来の画像処理システムを示す図である。メモリバスのデータ流量を示す図である。

符号の説明

１画像処理システム
１０画像符号化部
１１画像入力処理部
１２符号化側メモリ部
１３符号化部
２０画像復号化部
２１復号化部
２２復号化側メモリ部
２３画像出力処理部

Claims

画像信号の符号化・復号化処理を行う画像処理システムにおいて、
複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部と、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、前記符号化側メモリ部へ書き込む画像入力処理部と、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部と、から構成される画像符号化部と、
複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部と、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、前記復号化側メモリ部へ書き込む復号化部と、前記復号化側メモリ部に格納されている画像を読み出して出力処理を行う画像出力処理部と、から構成される画像復号化部と、
を有することを特徴とする画像処理システム。
前記符号化側メモリ部は、第１の格納領域と第２の格納領域から構成される場合、前記画像入力処理部は、原画像の輝度成分を上位領域と下位領域に分割し、原画像の色差成分を上位領域と下位領域に分割し、前記第１の格納領域に分割原画像として、上位領域輝度原画データと下位領域色差原画データを格納し、前記第２の格納領域に分割原画像として、下位領域輝度原画データと上位領域色差原画データを格納することを特徴とする請求項１記載の画像処理システム。
前記符号化部は、上位領域輝度原画データに対応する分割参照画像として、下位領域にまたがって、上位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域輝度参照画データを前記第１の格納領域に格納し、下位領域色差原画データに対応する分割参照画像として、上位領域にまたがって、下位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域色差参照画データを前記第１の格納領域に格納し、下位領域輝度原画データに対応する分割参照画像として、上位領域にまたがって、下位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域輝度参照画データを前記第２の格納領域に格納し、上位領域色差原画データに対応する分割参照画像として、下位領域にまたがって、上位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域色差参照画データを前記第２の格納領域に格納することを特徴とする請求項２記載の画像処理システム。
前記復号化側メモリ部は、第１の格納領域と第２の格納領域から構成される場合、前記復号化部は、復号化画面の輝度成分を上位領域と下位領域に分割し、復号化画面の色差成分を上位領域と下位領域に分割し、前記第１の格納領域に分割復号化データとして、上位領域輝度復号化データと下位領域色差復号化データを格納し、前記第２の格納領域に下位領域輝度復号化データと上位領域色差復号化データを格納することを特徴とする請求項１記載の画像処理システム。
画像信号の符号化処理を行う画像符号化装置において、
複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部と、
入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、前記符号化側メモリ部へ書き込む画像入力処理部と、
予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部と、
を有することを特徴とする画像符号化装置。
前記符号化側メモリ部は、第１の格納領域と第２の格納領域から構成される場合、前記画像入力処理部は、原画像の輝度成分を上位領域と下位領域に分割し、原画像の色差成分を上位領域と下位領域に分割し、前記第１の格納領域に分割原画像として、上位領域輝度原画データと下位領域色差原画データを格納し、前記第２の格納領域に分割原画像として、下位領域輝度原画データと上位領域色差原画データを格納することを特徴とする請求項５記載の画像符号化装置。
同一の前記格納領域中に、同じ前記分割参照画像の輝度データと色差データを配置しないように前記分割参照画像を分散して、前記符号化側メモリ部へ書き込まれることを特徴とする請求項５記載の画像符号化装置。
前記符号化部は、上位領域輝度原画データに対応する分割参照画像として、下位領域にまたがって、上位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域輝度参照画データを前記第１の格納領域に格納し、下位領域色差原画データに対応する分割参照画像として、上位領域にまたがって、下位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域色差参照画データを前記第１の格納領域に格納し、下位領域輝度原画データに対応する分割参照画像として、上位領域にまたがって、下位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域輝度参照画データを前記第２の格納領域に格納し、上位領域色差原画データに対応する分割参照画像として、下位領域にまたがって、上位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域色差参照画データを前記第２の格納領域に格納することを特徴とする請求項７記載の画像符号化装置。
画像信号の復号化処理を行う画像復号化装置において、
複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部と、
入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、前記復号化側メモリ部へ書き込む復号化部と、
前記復号化側メモリ部に格納されている画像を読み出して出力処理を行う画像出力処理部と、
を有することを特徴とする画像復号化装置。
前記復号化側メモリ部は、第１の格納領域と第２の格納領域から構成される場合、前記復号化部は、復号化画面の輝度成分を上位領域と下位領域に分割し、復号化画面の色差成分を上位領域と下位領域に分割し、前記第１の格納領域に分割復号化データとして、上位領域輝度復号化データと下位領域色差復号化データを格納し、前記第２の格納領域に下位領域輝度復号化データと上位領域色差復号化データを格納することを特徴とする請求項９記載の画像復号化装置。