JP2007274383A - 画像処理用データ転送回路 - Google Patents

Abstract

【課題】参照画像データの転送先が画像フレームからはみ出した場合にも、ＣＰＵの処理を必要とせずに転送できる画像処理用データ転送回路を提供する。
【解決手段】参照画像情報レジスタ１１に格納された参照画像情報と転送制御レジスタ１２に設定された転送元及び転送先の先頭アドレスから、動きベクトルが示している参照画像の位置が画像フレームからはみ出しているか否かを判定する転送設定変換部１３と、この転送設定変換部１３からはみ出ている分の画像データの情報が与えられたときに、はみ出ている領域の画像データを補間処理で生成して転送先へ書き込む画像処理部１６を設ける。
【選択図】図１

Description

本発明は、画像処理用データ転送回路に関するものである。

図２は、従来の動画像復号化ＬＳＩの構成図である。
この動画像復号化ＬＳＩは、ＣＰＵ（中央処理装置）１、画像メモリ２、逆量子化・逆離散コサイン変換部３、動き補償部４、及びＤＭＡＣ（ダイレクト・メモリアクセス制御部）５と、これらを共通に接続する共通バス６で構成されている。

このような動画像復号化ＬＳＩでは、動画像の復号時に行われる動き補償の処理において、動きベクトルから算出された位置の参照画像データ（例えば、縦８画素×横８画素＝６４画素の画像データ）を画像メモリ２から読み出し、動き補償部４へ転送する。

ＤＭＡＣ５は、ＣＰＵ１からの指示に基づいて、画像メモリ２から動き補償部４へのデータ転送を、このＣＰＵ１を介さずに行うもので、転送制御レジスタ５ａ、データラッチ５ｂ、及び転送制御部５ｃで構成されている。

転送制御レジスタ５ａは、データの転送元のメモリ空間の先頭アドレス、転送先のメモリ空間の先頭アドレス、転送サイズ、及び転送形式（バイト単位の転送か、ワード単位の転送か等）を設定するものである。データラッチ５ｂは、データの転送元（この場合は画像メモリ２）から読み出されたデータを保持するものである。転送制御部５ｃは、転送制御レジスタ５ａの設定内容に基づいてデータ転送元からデータを読み出してデータラッチ５ｂに一旦保持した後、データ転送先（この場合は動き補償部４）にそのデータを出力するまでの一連の制御を行うものである。

このようなＤＭＡＣ５を用いることにより、ＣＰＵ１は個々のデータを画像メモリ２から動き補償部４へ転送する処理から解放され、全体的な画像データ処理を行うことが可能になっている。

特開平１１−２４３５５２号公報 国際公開ＷＯ００−３６８４１号

従来の動画像復号化ＬＳＩでは、次のような課題があった。
即ち、動きベクトルに基づいて算出された参照画像データの転送先が、復号化している画像フレーム（例えば、横６４０画素×縦４８０画素）の範囲内にある場合は、ＤＭＡＣ５を用いて必要な範囲の参照画像データを転送することができる。

しかしながら、動きベクトルから算出される参照画像データの転送先は、必ずしも画像フレームの範囲内にあるとは限らず、一部が画像フレームの外にはみ出すことがある。このような場合、ＤＭＡＣ５にデータ転送指示を行うと、所定の動作が行われず異常状態が発生するおそれがある。このため、ＣＰＵ１はＤＭＡＣ５にデータ転送指示を行う前に、転送先が画像フレームの範囲内に収まるか否かを判断し、収まる場合にのみＤＭＡＣ５にデータ転送指示を行う。また、転送先が画像フレームの範囲内に収まらない場合には、ＤＭＡＣ５を使用せずに、ＣＰＵ１が参照画像の個々の画像データを転送するようにしている。

その場合、ＣＰＵ１は、転送先が画像フレームの範囲内に収まる部分の画像データを対応する転送先のアドレスに転送し、はみ出す部分の画像データは、ソフトウエアで補間処理を行って参照画像を合成し、その合成データを転送先アドレスに転送するようにしている。このため、ＣＰＵ１の負荷が大きくなり、全体的な画像データ処理のための処理能力が低下するという問題があった。

本発明は、参照画像データの転送先が画像フレームの外にはみ出す場合でも、ＣＰＵの処理を必要とせずに転送が可能な画像処理用データ転送回路を提供するものである。

本発明の画像処理用データ転送回路は、参照画像データの配置を示す転送元アドレス及び動きベクトルに基づいて算出された該参照画像データの転送先アドレスが格納される転送制御レジスタと、前記転送先アドレスが画像フレームからはみ出すか否かを判定し、はみ出さない場合には前記参照画像データの読み出しを指定する第１の制御情報を出力し、はみ出す場合には該参照画像データの内のはみ出さない範囲の読み出しを指定する第２の制御情報と共に、はみ出す範囲の補間を指示する第３の制御情報を出力する転送設定変換部と、前記第１または第２の制御情報に基づいて、共通バスを介して前記転送元アドレスから前記参照画像データを読み出す転送制御部と、前記第１の制御情報が与えられたときには、前記転送制御部によって読み出された参照画像データを前記転送先アドレスに転送し、前記第２及び第３の制御情報が与えられたときには、該転送制御部によって読み出された参照画像データを該転送先アドレスに転送すると共に、はみ出ていない範囲の参照画像データから補間データを生成して該転送先アドレスに転送する画像処理部とを備えたことを特徴としている。

本発明では、動きベクトルに基づいて算出された参照画像データの転送先アドレスが、画像フレームからはみ出しているか否かを判定する転送設定変換部と、はみ出している場合に転送設定変換部から指定される第３の制御情報が与えられたときに、はみ出ている領域の画像データを補間処理で生成して転送先アドレスへ転送する画像処理部を有している。これにより、ＣＰＵによるはみ出しの有無の判定と、はみ出した場合の処理が不要になり、ＣＰＵによる全体的な画像データ処理の処理能力が増加するという効果がある。

転送設定変換部を、転送元アドレスがワード単位でのアクセスにおけるアドレス境界に一致しているか否かを判定し、一致していない場合は、該転送元アドレスがワード単位のアクセスでのアドレス境界に一致するように転送領域を拡張してワード単位に前記参照画像データの読み出しを指定する第１または第２の制御情報を出力するように構成する。また、転送制御部を、第１または第２の制御情報に基づいて、共通バスを介して参照画像データをワード単位に読み出すように構成する。更に、画像処理部を、ワード単位に読み出された参照画像データの内で拡張されて読み出されたデータを削除して転送先アドレスに転送するように構成する。これにより、ワード単位に参照画像データの読み出しができるので、共通バスの転送効率を向上させることができる。

図１は、本発明の実施例１を示す画像処理用データ転送回路の構成図である。
この画像処理用データ転送回路１０は、図２中のＤＭＡＣ５に代えて設けられるもので、参照画像情報レジスタ１１、転送制御レジスタ１２、転送設定変換部１３、転送制御部１４、データラッチ１５及び画像処理部１６を有している。

参照画像情報レジスタ１１は、画像フレームの縦・横のサイズ（例えば、縦４８０画素×横６４０画素）と、この画像フレームのアドレス空間における、参照画像のデータが格納されている先頭アドレスを設定するもので、これらの情報は、ＣＰＵ１から共通バス６を介して与えられるようになっている。

転送制御レジスタ１２は、動きベクトルから算出された参照画像（例えば、縦８画素×横８画素の画像）の転送元の先頭アドレス、転送先の先頭アドレス、転送データ量、転送形式（この場合は、バイト単位の転送）等を設定するもので、これらの情報は、ＣＰＵ１から共通バス６を介して与えられるようになっている。

転送設定変換部１３は、参照画像情報レジスタ１１と転送制御レジスタ１２に設定された情報に従って、転送制御部１４と画像処理部１６に対する転送処理の指定を行うものである。

即ち、転送設定変換部１３は、参照画像情報レジスタ１１に格納された参照画像情報と、転送制御レジスタ１２に設定された転送元及び転送先の先頭アドレスから、動きベクトルが示している参照画像の位置が画像フレームからはみ出しているか否かを判定するはみ出し検出機能を有している。はみ出していない場合、転送設定変換部１３は、転送制御レジスタ１２の情報を第１の制御情報として、そのまま転送制御部１４へ与えるようになっている。上記判定は画像フレームの縦側の境界のアドレスと横側の境界のアドレスとを、動きベクトルが示す移動後の参照画像の位置するアドレスと比較して、参照画像のアドレスが縦側あるいは横側の境界のアドレスを超えるか否かを判断することで実現できる。

もしも、参照画像の位置が画像フレームからはみ出している場合、転送設定変換部１３は、転送元の先頭アドレスをはみ出していない位置に変換する。また、転送設定変換部１３は、画像フレームからはみ出ている分のデータ量を算出し、転送制御レジスタ１２に設定された転送データ量からこのはみ出しデータ量を差し引き、第２の制御情報として転送制御部１４に与えるようになっている。一方、はみ出ている分のデータ量の情報は、第３の制御情報として画像処理部１６に与えられるようになっている。

転送制御部１４は、転送設定変換部１３から与えられた第１または第２の制御情報に従い、共通バス６を介して画像メモリ２に対してバイト単位に画像データを読み出すためのアクセスを行うものである。

データラッチ１５は、転送制御部１４からのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたバイト単位の画像データを保持するものである。

画像処理部１６は、転送設定変換部１３から、はみ出ている分のデータ量の情報が与えられないときは、データラッチ１５に保持された画像データを、そのまま共通バス６を介して転送先へ書き込むためのアクセスを行うものである。一方、転送設定変換部１３から、はみ出ている分のデータ量を示す第３の制御情報が与えられた場合、画像処理部１６は、データラッチ１５に保持された画像データに従ってはみ出ている領域の画像データを生成する補間処理を行い、生成された画像データを共通バス６を介して転送先へ書き込むためのアクセスを行うようになっている。

図３は、図１における補間処理の説明図である。以下、この図３を参照しつつ、図１の動作を説明する。

まず、参照画像の情報を指定するために、ＣＰＵ１から共通バス６を介して参照画像情報レジスタ１１に、画像フレームのサイズと、この画像フレームのデータが格納されている画像メモリ２の先頭アドレスが設定される。

次に、転送方式を指定するために、ＣＰＵ１からから共通バス６を介して転送制御レジスタ１２に、動きベクトルから算出された参照画像の転送元の先頭アドレス、転送先の先頭アドレス、転送データ量、転送形式等が設定される。

転送設定変換部１３では、参照画像情報レジスタ１１に格納された参照画像情報と、転送制御レジスタ１２に設定された転送元及び転送先の先頭アドレスから、動きベクトルが示している参照画像の位置が画像フレームからはみ出しているか否かを判定する。

はみ出していない場合、転送設定変換部１３は、転送制御レジスタ１２の情報をそのまま転送制御部１４へ与える。転送制御部１４では、転送設定変換部１３から与えられた情報に従い、共通バス６を介して画像メモリ２に対してバイト単位に画像データを読み出すためのアクセスを行う。転送制御部１４からのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたバイト単位の画像データは、データラッチ１５に一旦保持され、その後、画像処理部１６によって、共通バス６を介して転送先へ書き込むためのアクセスが行われる。これにより、画像メモリ２から動き補償部４へ、ＣＰＵ１を介さずに画像データが転送される。

一方、図３（ａ）に示すように、動きベクトルによって算出された参照画像の位置が画像フレームからはみ出している場合、転送設定変換部１３は、図３（ｂ）に示すように、転送元の先頭アドレスをはみ出していないアドレスに変換する。更に、転送設定変換部１３は、画面フレームからはみ出ている分のデータ量を算出し、転送制御レジスタ１２に設定された転送データ量からこのはみ出しデータ量を差し引き、その情報を転送制御部１４に与える。更に、はみ出ている分のデータ量の情報は画像処理部１６に与えられる。

転送制御部１４は、転送設定変換部１３から与えられた情報に従い、共通バス６を介して画像メモリ２に対してバイト単位に画像データを読み出すためのアクセスを行う。転送制御部１４からのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたバイト単位の画像データは、データラッチ１５に一旦保持され、その後、画像処理部１６によって、共通バス６を介して転送先へ書き込むためのアクセスが行われる。これにより、図３（ｂ）に示すように、転送元の領域Ａの参照画像データは、転送先の領域Ｘにそのまま転送される。

一方、画像処理部１６では、転送設定変換部１３から与えられたはみ出ている分の画像データに関する情報に従い、このはみ出ている領域の画像データを生成する補間処理が行われる。この補間処理では、画面フレームの端部の画像データがそのままコピーされ、補間データとして出力される。例えば、図３（ｂ）の場合、転送元の領域Ａの最上部の８画素の画像データがコピーされ、転送先の領域Ｙに転送される。

以上のように、この実施例１の画像処理用データ転送回路は、参照画像情報レジスタ１１に格納された参照画像情報と転送制御レジスタ１２に設定された転送元及び転送先の先頭アドレスから、動きベクトルが示している参照画像の位置が画像フレームからはみ出しているか否かを判定する転送設定変換部１３と、この転送設定変換部１３からはみ出ている分の画像データの情報が与えられたときに、はみ出ている領域の画像データを補間処理で生成して転送先へ書き込む画像処理部１６を有している。これにより、ＣＰＵ１は、はみ出しの有無の判定とはみ出した場合の処理が不要になり、全体的な画像データ処理のための処理能力を増加することができるという利点がある。

図４は、本発明の実施例２を示す画像処理用データ転送回路の構成図であり、図１中の要素と共通の要素には共通の符号が付されている。

この画像処理用データ転送回路１０Ａは、図１中の転送設定変換部１３、転送制御部１４、データラッチ１５、画像処理部１６に代えて、機能が若干異なる転送設定変換部１３Ａ、転送制御部１４Ａ、データラッチ１５Ａ、画像処理部１６Ａを設けている。

転送設定変換部１３Ａは、転送設定変換部１３にアライメント調整機能を追加したものである。即ち、この転送設定変換部１３Ａは、転送設定変換部１３と同様のはみ出し検出機能に加えて、転送元の先頭アドレスが、例えば４バイトを１ワードとするアクセスにおいて、ワード単位の境界に一致しているか否かを判定し、一致していない場合には、転送元の先頭アドレスがワード単位のアクセスでの境界のアドレスになるように転送領域を拡張して転送制御部１４Ａに与えるアライメント調整機能を有している。

転送制御部１４Ａは、転送設定変換部１３Ａから与えられた情報に従い、共通バス６を介して画像メモリ２に対してワード単位に画像データを読み出すためのアクセスを行うものである。

データラッチ１５Ａは、転送制御部１４Ａからのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたワード単位の画像データを保持するものである。

画像処理部１６Ａは、画像処理部１６と同様の補間処理機能に加えて、ワード単位に与えられた画像データから、余分な画像データを削除して必要な範囲の画像データを転送先へ書き込む機能を有している。

図５は、図４におけるアライメント調整処理の説明図である。以下、この図５を参照しつつ、図４の動作を説明する。

転送設定変換部１３Ａでは、参照画像情報レジスタ１１に格納された参照画像情報と、転送制御レジスタ１２に設定された転送元及び転送先の先頭アドレスから、動きベクトルが示している参照画像の位置が画像フレームからはみ出しているか否かを判定すると共に、転送元の先頭アドレスがワード単位でのアクセスにおけるアドレスの境界に一致しているか否かを判定する。

画像フレームからのはみ出しがなく、かつ、先頭アドレスがワード境界に一致している場合、転送設定変換部１３Ａは、転送制御レジスタ１２の転送元のアドレスをワード単位のアドレスに変換して転送制御部１４Ａへ与える。転送制御部１４Ａでは、転送設定変換部１３Ａから与えられた情報に従い、共通バス６を介して画像メモリ２に対してワード単位に画像データを読み出すためのアクセスを行う。転送制御部１４Ａからのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたワード単位の画像データは、データラッチ１５Ａに一旦保持され、その後、画像処理部１６Ａによって、共通バス６を介して転送先へ書き込むためのアクセスが行われる。

画像フレームからのはみ出しがなく、かつ、先頭アドレスがワード境界に一致していない場合、転送設定変換部１３Ａは、図５に示すように、転送制御レジスタ１２に格納された転送元の読み出し領域をワード境界まで拡張する。そして、転送元のアドレスをワード単位のアドレスに変換して転送制御部１４Ａへ与える。転送制御部１４Ａでは、転送設定変換部１３Ａから与えられた情報に従い、共通バス６を介して画像メモリ２に対してワード単位に画像データを読み出すためのアクセスを行う。転送制御部１４Ａからのアクセスに応じて画像メモリ２から共通バス６のデータ線に読み出されたワード単位の画像データは、データラッチ１５Ａに一旦保持される。その後、画像処理部１６Ａは、データラッチ１５Ａに保持されたワード単位の画像データから、アライメンント処理のために余分に読み出された不要な画像データを除去し、書き込み領域の画像データだけを共通バス６を介してバイト単位に転送先に書き込むためのアクセスを行う。

なお、画像フレームからのはみ出しが存在する場合には、上記のアライメント調整処理に加えて、実施例１で説明した補間処理が行われる。

以上のように、この実施例２の画像処理用データ転送回路は、はみ出し検出処理に加えてアライメント調整機能を有する転送設定変換部１３Ａと、この転送設定変換部１３Ａの指定に基づいてワード単位に読み出された画像データからアライメンント処理のために余分に読み出された不要な画像データを除去し、書き込み領域の画像データだけをバイト単位に転送先に書き込む画像処理部１６Ａを有している。これにより、実施例１と同様の利点に加えて、共通バス６のデータ転送効率を向上することができるという利点がある。

なお、本発明は、上記実施例に限定されず、種々の変形が可能である。この変形例としては、例えば、次のようなものがある。
（１） 動画像復号化ＬＳＩにおける画像処理用データ転送回路について説明したが、動画像の符号化に対しても同様に適用することができる。
（２） 画像処理部１６，１６Ａに、動き補償部等の各種画像処理機能を追加して一体化すると、より効率的な画像処理が可能となる。
（３） データラッチ１５，１５Ａと画像処理部１６，１６Ａは、一体化して構成することができる。

本発明の実施例１を示す画像処理用データ転送回路の構成図である。 従来の動画像復号化ＬＳＩの構成図である。 図１における補間処理の説明図である。 本発明の実施例２を示す画像処理用データ転送回路の構成図である。 図４におけるアライメント調整処理の説明図である。

符号の説明

６，６Ａ 共通バス
１０，１０Ａ 画像処理用データ転送回路
１１ 参照画像情報レジスタ
１２ 転送制御レジスタ
１３，１３Ａ 転送設定変換部
１４ 転送制御部
１５ データラッチ
１６，１６Ａ 画像処理部

Claims (2)

1. 参照画像データの配置を示す転送元アドレス及び動きベクトルに基づいて算出された該参照画像データの転送先アドレスが格納される転送制御レジスタと、
   前記転送先アドレスが画像フレームからはみ出すか否かを判定し、はみ出さない場合には前記参照画像データの読み出しを指定する第１の制御情報を出力し、はみ出す場合には該参照画像データの内のはみ出さない範囲の読み出しを指定する第２の制御情報と共に、はみ出す範囲の補間を指示する第３の制御情報を出力する転送設定変換部と、
   前記第１または第２の制御情報に基づいて、共通バスを介して前記転送元アドレスから前記参照画像データを読み出す転送制御部と、
   前記第１の制御情報が与えられたときには、前記転送制御部によって読み出された参照画像データを前記転送先アドレスに転送し、前記第２及び第３の制御情報が与えられたときには、該転送制御部によって読み出された参照画像データを該転送先アドレスに転送すると共に、はみ出ていない範囲の参照画像データから補間データを生成して該転送先アドレスに転送する画像処理部とを、
   備えたことを特徴とする画像処理用データ転送回路。
2. 前記転送設定変換部は、前記転送元アドレスがワード単位でのアクセスにおけるアドレス境界に一致しているか否かを判定し、一致していない場合は、該転送元アドレスがワード単位のアクセスでのアドレス境界に一致するように転送領域を拡張してワード単位に前記参照画像データの読み出しを指定する第１または第２の制御情報を出力するように構成し、
   前記転送制御部は、前記第１または第２の制御情報に基づいて、共通バスを介して前記参照画像データをワード単位に読み出すように構成し、
   前記画像処理部は、前記ワード単位に読み出された参照画像データの内で拡張されて読み出されたデータを削除して前記転送先アドレスに転送するように構成した、
   ことを特徴とする請求項１記載の画像処理用データ転送回路。

Images