JP2004336451A - 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 - Google Patents
画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 Download PDFInfo
- Publication number
- JP2004336451A JP2004336451A JP2003130259A JP2003130259A JP2004336451A JP 2004336451 A JP2004336451 A JP 2004336451A JP 2003130259 A JP2003130259 A JP 2003130259A JP 2003130259 A JP2003130259 A JP 2003130259A JP 2004336451 A JP2004336451 A JP 2004336451A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- memory
- image
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】少数精度の動き補償を高速実行できる、画像復号ユニットとそれを用いた画像符号化・復号装置及び符号化・復号方法を提供する。
【解決手段】画像復号ユニット１００は、復号処理部１１０、データメモリ部１２０、再構成演算部１３０、及びフレームメモリ１４０を備え、前記復号処理部１１０は、エントロピー復号部１１１、動き補償部１１２、逆量子化部１１３、及び逆ＤＣＴ部１１４を有し、前記データメモリ部１２０は、データメモリＡ１２１とデータメモリＢ１２２とを有する。復号処理過程において、復号途中の中間データを入力して、再構成画像データを出力する再構成演算部１３０を、フレームメモリ１４０へのデータ転送の途中に設けることで、再構成画像データを生成する処理と、再構成画像データをフレームメモリ１４０に格納する処理とを並列処理できる。これによって、画像再構成の処理を高速に行える。
【選択図】 図３
【解決手段】画像復号ユニット１００は、復号処理部１１０、データメモリ部１２０、再構成演算部１３０、及びフレームメモリ１４０を備え、前記復号処理部１１０は、エントロピー復号部１１１、動き補償部１１２、逆量子化部１１３、及び逆ＤＣＴ部１１４を有し、前記データメモリ部１２０は、データメモリＡ１２１とデータメモリＢ１２２とを有する。復号処理過程において、復号途中の中間データを入力して、再構成画像データを出力する再構成演算部１３０を、フレームメモリ１４０へのデータ転送の途中に設けることで、再構成画像データを生成する処理と、再構成画像データをフレームメモリ１４０に格納する処理とを並列処理できる。これによって、画像再構成の処理を高速に行える。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法に関し、特に、再構成画像の生成過程における処理の高速化を図る技術に関するものである。
【０００２】
【従来の技術】
近年、動画を扱う情報機器及び情報端末機器の飛躍的な普及に伴い、動画を圧縮する技術が、一段と脚光を浴びている。
【０００３】
動画圧縮技術は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）が定める、ＭＰＥＧ−２、及び、ＭＰＥＧ−４、さらには、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が定める、Ｈ．２６１，Ｈ．２６３，及び、Ｈ．２６４などの規格により、技術の標準化が図られている。これらの規格での動画圧縮技術は、動画が持つ隣接フレーム間の強い相関性を利用して、高圧縮を行うものである。
【０００４】
まず、図１０から１２を参照して、動画圧縮の一般的な従来技術を説明する。
【０００５】
図１０は、従来例の画像符号化装置のブロック図である。以下に、その構成と動作の概要を説明する。
【０００６】
図１０に示す従来例の画像符号化装置は、一般的なものであり、入力端子１０、差分演算部１１、ＤＣＴ部（離散コサイン変換部）１２、量子化部１３、エントロピー符号化部１４、送信バッファ１５、出力端子１６、動き検出部１７、逆量子化部１９、逆ＤＣＴ部２１、動き補償部２２、加算演算部２３、及び、フレームメモリ２４を備える。
【０００７】
入力端子１０は、差分演算部１１の入力と動き検出部１７の入力とに接続される。差分演算部１１のもう一方の入力には、動き補償部２２の出力が接続され、動き検出部１７のもう一方の入力には、フレームメモリ２４の出力が接続される。
【０００８】
差分演算部１１の出力は、ＤＣＴ部１２の入力に接続され、ＤＣＴ部１２の出力は、量子化部１３の入力に接続される。量子化部１３の出力は、エントロピー符号化部１４の入力と、逆量子化部１９の入力とに接続される。エントロピー符号化部１４のもう１つの入力には、動き検出部１７の出力が接続される。エントロピー符号化部１４の出力は、送信バッファ１５の入力に接続される。
【０００９】
逆量子化部１９の出力は、逆ＤＣＴ部２１の入力に接続される。逆ＤＣＴ部２１の出力は、加算演算部２３の１つの入力に接続される。加算演算部２３のもう１つの入力には、動き補償部２２の出力が接続される。加算演算部２３の出力は、フレームメモリ２４に接続され、さらに、フレームメモリ２４は、動き検出部１７のもう１つの入力に接続される。
【００１０】
次に、動作の概略を説明する。まず、入力端子１０に入力された入力画像Ｓ１０は、動き検出部１７において、フレームメモリ２４に格納されている、再構成画像（しばしば参照画像と呼ばれる）と比較され、動きベクトルＳ１１が求められる。この動きベクトルを用いて、動き補償部２２は、予測画像Ｓ１２を生成する。差分演算部１１は、入力画像Ｓ１０と予測画像Ｓ１２との差分、すなわち、予測誤差を求める。この予測誤差は、ＤＣＴ部１２でＤＣＴ係数が求められ、量子化部１３で量子化され、エントロピー符号化部１４において、動きベクトルＳ１１とともに、ハフマン符号や算術符号などの可変長符号を用いて、符号化され、送信バッファ１５に一時的に格納されて、ビットストリームとして送出される。
【００１１】
また、量子化部１３で量子化されたＤＣＴ係数は、逆量子化部１９と逆ＤＣＴ部２１の処理を経て、局部予測誤差データＳ１４となり、加算演算部２３に送られる。加算演算部２３では、局部予測誤差データＳ１４と、先に動き補償部２２において生成した予測画像Ｓ１２とを用いて、再構成画像を生成し、フレームメモリ２４に格納する。
【００１２】
動き検出部１７における動きベクトルの検出処理は、一般に、現画像内の複数の画素からなるブロックを処理対象とし、この処理対象ブロックが、当該現画像に対する時間的に前の画像のどの位置に存在するかを、いわゆる、ブロックマッチング法により調べ、画像の動きの方向と量を示す動きベクトルを検出するものである。
【００１３】
また、動き補償部２２における予測画像Ｓ１２の生成処理は、予測精度を画素位置単位で行う生成（これを整数精度の動き補償と呼ぶ）に加えて、画素と画素の間の位置で行う生成（これを小数精度の動き補償と呼ぶ）にまで高めることにより、予測誤差をより小さくする手法が採られている。
【００１４】
次に、図１１は、従来例の画像復号装置のブロック図である。この図を参照して、一般的な復号方式について説明する。
【００１５】
図１１に示す従来例の画像復号装置は、一般的なものであり、入力端子３０、受信バッファ３１、エントロピー復号部３２、逆量子化部１９、逆ＤＣＴ部２１、動き補償部２２、加算処理部２３、フレームメモリ２４、及び、出力端子３３を、備える。
【００１６】
入力端子３０は、受信バッファ３１の入力に接続され、受信バッファ３１の出力は、エントロピー復号部３２の入力に接続される。エントロピー復号部３２の出力は、逆量子化部１９の入力と、動き補償部２２の１つの入力とに接続される。
【００１７】
逆量子化部１９の出力は、逆ＤＣＴ部２１の入力に接続され、逆ＤＣＴ部２１の出力は、加算処理部２３の１つの入力に接続される。動き補償部２２のもう１つの入力には、フレームメモリ２４の出力が接続される。加算処理部２３のもう１つの入力には、動き補償部２２の出力が接続され、加算処理部２３の出力は、フレームメモリ２４の入力に接続され、フレームメモリ２４の出力は、出力端子３３に接続される。
【００１８】
次に、この画像復号装置の動作の概略を説明する。入力端子３０に入力された受信ビットストリームＳ３０は、一旦、受信バッファ３１に格納された後、エントロピー復号部３２に入力される。
【００１９】
エントロピー復号部３２においては、受信ビットストリームＳ３０から、動きベクトルＳ３１と、量子化されている予測誤差画像のＤＣＴ係数Ｓ３２とが、復号される。
【００２０】
量子化されている予測誤差画像のＤＣＴ係数Ｓ３２は、逆量子化部１９と逆ＤＣＴ部２１の処理を経て、予測誤差画像のＤＣＴ係数Ｓ３５として、加算処理部２３に入力される。
【００２１】
一方、動きベクトルＳ３１は、動き補償部２２に入力され、フレームメモリ２４に格納されている再構成画像Ｓ３３に対して、動き補償を施し、予測画像Ｓ３４を生成し、加算処理部２３に出力する。加算処理部２３は、予測画像Ｓ３４とＤＣＴ係数Ｓ３５とを加算処理して、新しい再構成画像Ｓ３６を生成し、フレームメモリ２４に格納する。生成された新しい再構成画像は、復号画像Ｓ３７として、フレームメモリ２４から出力端子３３に供給され、外部の画像表示装置に表示される。
【００２２】
ここで、動き補償部２２における動き補償処理については、上述した画像符号化装置と同様に、整数精度の動き補償に加えて、小数精度の動き補償が施されることがある。
【００２３】
ところで、図１０の点線で囲んだ領域２０の構成と、図１１の点線で囲んだ領域２０の構成とは、全く同じ構成であり、その構成要素の機能も同じである。（したがって、両図においては、同じ機能の構成要素については、同じ番号を付している。）
【００２４】
すなわち、領域２０の構成は、画像符号化装置にも、画像復号装置にも、等しく利用できることに注意されたい。
【００２５】
特許文献１は、上述した領域２０に対して、更なる工夫を施した考案を開示している。
【００２６】
図１２は、従来例の動画像復号装置に用いられる動き補償部のブロック図であり、特許文献１の図１０である。（ただし、各構成要素の名称は、特許文献１と同じであるが、符号は、変更している。）
【００２７】
図１２に示す動画像復号装置に用いられる動き補償部４０は、ＩＤＣＴ（逆離散コサイン変換回路）４１（図１０に示す逆ＤＣＴ部２１と同じ）、ＭＢバッファ（Ｍａｃｒｏ Ｂｌｏｃｋ バッファ）４２、加算器４３（図１０に示す加算処理部２３と同じ）、ＤＲＡＭ書き込み用バッファ４４、及び、参照用フレームメモリ４５（図１０に示すフレームメモリ２４と同じ）とを、備え、ＭＢバッファ４２は、２つのバンクを有し、ＤＲＡＭ書き込み用バッファ４４は、１つのバンクを有している。参照用フレームメモリ４５は、ＤＲＡＭにより構成できる。
【００２８】
図１２に示す考案の主眼は、復号装置において、ＭＢバッファ４２を設けることにより、ＩＤＣＴ４１からの読み出しスピードと、参照用フレームメモリ４５への書き込みスピードとの違いを吸収し、さらに、ＤＲＡＭ書きこみ用バッファ４４を設けることにより、参照用フレームメモリ４５の読み出しと書き込み間のタイミング調整を行うことにある。
【００２９】
すなわち、加算器４３は、参照用フレームメモリ４５からの予測マクロブロック信号Ｓ４４と、ＭＢバッファ４２からの出力信号Ｓ４２を加算して、得られた再構成画像信号Ｓ４３を、ＤＲＡＭ書き込み用バッファ４４に書きこむ。ＤＲＡＭ書き込み用バッファ４４は、参照用フレームメモリ４５が書き込む準備のできるまでの間、データを保持し、その後、書き込みの準備ができると、参照用フレームメモリ４５に書む。本考案の発明者らは、これによって、参照用フレームメモリ４５として、スピードが遅い、安価なＤＲＡＭを用いることができる、と主張している。
【００３０】
ここで、ＩＤＣＴ４１の読み出しスピードに対して、参照用フレームメモリ４５の読み出し書き込みスピードが速い場合、ＤＲＡＭ書き込み用バッファ４４内に１つのバンクを設けることにより、このバンクに入力したデータは、次のデータがくる前に読み出しが終了しているため、次のブロックデータが入力されるときは、バッファ内は空の状態になっている。本考案の発明者らは、これによって、タイミング調整用バッファに必要なメモリサイズを削減し、ハードウェア規模の縮小を図ることができる、と主張している。
【００３１】
図１２に示した考案は、整数精度の動き補償に対するものであり、少数精度の動き補償には、対応していない。
【００３２】
以上の説明で明らかなように、最近の画像規格に求められている、少数精度の動き補償を効率よく、かつ、高速に処理するためには、従来技術では十分に対応できない。
【００３３】
【特許文献１】
ＷＯ ９５／０２９４８号公報（第１０図）
【００３４】
【発明が解決しようとする課題】
そこで本発明は、少数精度の動き補償を高速で実行できる、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
請求項１記載の画像復号ユニットは、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを備える。
【００３６】
この構成によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成することにより、より高速の画像復号ユニットを実現できる。さらに、この画像復号ユニットは、画像符号化装置及び画像復号装置に等しく適用できるという利点を有する。
【００３７】
請求項２記載の画像復号ユニットは、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、エントロピー復号部は、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、逆量子化部と逆ＤＣＴ部とは、エントロピー復号部が出力した量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、動き補償部は、エントロピー復号部が出力した動きベクトルを用いて、動き補償処理を行う。
【００３８】
この構成によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。さらに、この画像復号ユニットは、画像符号化装置及び画像復号装置に等しく適用できる。
【００３９】
請求項３記載の画像復号ユニットは、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００４０】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを実現できる。
【００４１】
請求項４記載の画像復号ユニットは、第１メモリに格納する中間データは、逆ＤＣＴ部が出力する局部予測誤差データであり、第２メモリに格納する中間データは、動き補償部が出力する局部予測画像データであり、再構成演算部は、第１メモリに格納された局部予測誤差データと、第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納する。
【００４２】
この構成によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。さらに、再構成画像データの生成と、生成した再構成画像データのメモリへの格納を、同期を取って処理するため、より正確な並列処理と高速化が実現できる。
【００４３】
請求項５記載の画像復号ユニットは、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００４４】
この構成によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算処理が不要となり、画像復号ユニットをより簡単な構成で実現できる。
【００４５】
請求項６記載の画像復号ユニットは、再構成演算部が行う加算結果の正規化は、８ビットの正の値に対する正規化である。
【００４６】
この構成によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算が不要となる。さらに、現在最も広く採用されている、８ビット構成の画像復号ユニットをより簡単な構成で実現できる。
【００４７】
請求項７記載の画像復号ユニットは、動き補償部は、小数精度の動き補償を行う。
【００４８】
この構成によれば、最近の画像規格に求められている、少数精度の動き補償を効率よ、かつ、高速に処理する画像復号ユニットを提供できる。
【００４９】
請求項８記載の画像復号ユニットは、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、復号処理部が生成した、少なくとも２種類の中間データを格納する、複数のデータメモリを含むメモリ群とメモリ群のいずれかのデータメモリを選択して、少なくとも２種類の中間データの内の第１の中間データを取得する、第１選択手段と、メモリ群のいずれかのデータメモリを選択して、少なくとも２種類の中間データの内の第２の中間データを取得する、第２選択手段と、第１選択手段で取得した第１の中間データと、第２選択手段で取得した第２の中間データとを用いて、再構成画像データを生成する、再構成演算部と、メモリ群のいずれかのデータメモリか、あるいは、再構成演算部の出力かを選択して、データを取得する、第３選択手段と、第３選択手段が取得したデータを格納するメモリと、第１選択手段と、第２選択手段と、第３選択手段とに、データ転送命令を送って、それぞれのデータ転送元を制御する。
【００５０】
この構成によれば、復号処理部１１０を、例えば、ＤＳＰ（ディジタル信号処理器）を用いて構成する場合、データ転送命令をＤＳＰ命令で記述することにより、より複雑なデータ転送が可能で、かつ、異なる環境に容易に適用できる柔軟性に富んだ画像復号ユニットを実現できる。
【００５１】
請求項９記載の画像復号ユニットは、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、復号処理部は、少なくとも２種類の中間データを生成する。
【００５２】
この構成によれば、請求項８記載の画像復号ユニットと同様の特徴を有し、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。
【００５３】
請求項１０記載の画像復号ユニットは、第１の中間データは、局部予測画像データであり、第２の中間データは、局部予測誤差データである。
【００５４】
この構成によれば、請求項８及び９記載の画像復号ユニットと同様の特徴を有し、さらに、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。
【００５５】
請求項１１記載のデータ転送方法は、請求項８記載の画像復号ユニットを用いて行い、第３選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリ、あるいは、再構成演算部出力を指定する第１オペラントと、第１選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリを指定する第２オペラントと、第２選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリを指定する第３オペラントとを含む、データ転送命令を発行するステップと、データ転送命令を受け取った選択手段は、指定されたデータ転送元からデータを取得するステップと、第３選択手段に対して、再構成演算部出力を選択するデータ転送命令が発行された時には、第１選択手段は、指示されたデータメモリから第１の中間データを取得し、第２選択手段は、指示されたデータメモリから第２の中間データを取得し、再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次メモリに格納するステップとを含む。
【００５６】
この方法によれば、復号処理部１１０を、例えば、ＤＳＰ（ディジタル信号処理器）を用いて構成し、データ転送命令をＤＳＰ命令で記述する場合、その命令を標準化できる。さらに、このデータ転送命令を用いることで、より複雑なデータ転送が、可能となり、異なる環境に容易に適用できる柔軟性に富んだ画像復号ユニットを実現できる。
【００５７】
請求項１２記載のデータ転送方法は、請求項８記載の画像復号ユニットを用いて行い、第３選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリ、あるいは、再構成演算部出力を指定するオペラントを含む、データ転送命令を発行するステップと、第３選択手段は、データ転送命令を受け取った後、指定されたデータ転送元からデータを取得するステップと、第３選択手段に対して、再構成演算部出力を選択するデータ転送命令が発行された時には、第１選択手段は、あらかじめ指示されたデータメモリから第１の中間データを取得し、第２選択手段は、あらかじめ指示されたデータメモリから第２の中間データを取得し、再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次前記メモリに格納するステップとを含む。
【００５８】
この方法によれば、再構成演算を伴うデータ転送命令を、通常のプロセッサの転送命令として、実装することが可能となり、データ転送制御部の構造が簡単となる。
【００５９】
請求項１３記載の画像符号化装置は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、入力される入力画像に対して、画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出部と、動きベクトルを基に、画像復号ユニットが動き補償を処理して出力する予測画像と、入力画像との差分をとり、予測誤差を求める予測誤差処理部と、予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ部と、
【００６０】
ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化部と、量子化ＤＣＴ係数と、動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化部と、符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出する、送信バッファとを備える。
【００６１】
この構成によれば、請求項２記載の画像復号ユニットが有する特徴を生かした画像符号化装置を実現でいる。また、画像復号ユニットを単体として標準化することにより、画像符号化装置を、少ない構成部品で製造することが出来ので、装置の製造コストを低減できる。
【００６２】
請求項１４記載の画像符号化装置は、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００６３】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを用いた画像符号化装置を実現できる。
【００６４】
請求項１５記載の画像符号化装置は、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００６５】
この構成によれば、請求項５記載の特徴を有する画像復号ユニットを用いた画像符号化装置を実現できる。
【００６６】
請求項１６記載の画像復号装置は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された、再構成画像データを格納する第３メモリとを有し、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、符号化画像データである受信ビットストリームを一次的に格納する受信バッファとを備え、受信バッファに格納された符号化画像データは、画像復号ユニットのエントロピー復号部に入力され、画像復号ユニットは、入力された符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した再構成画像データを画像イメージとして第３メモリに格納し、さらに、格納した画像イメージを外部に接続される画像表示装置に出力する。
【００６７】
この構成によれば、請求項２記載の画像復号ユニットが有する特徴を生かした画像復号装置を実現でいる。また、画像復号ユニットを単体として標準化することにより、画像復号装置を少ない構成部品で製造することが出来ので、装置の製造コストを低減できる。
【００６８】
請求項１７記載の画像復号装置は、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００６９】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを用いた画像復号装置を実現できる。
【００７０】
請求項１８記載の画像復号装置は、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００７１】
この構成によれば、請求項５記載の特徴を有する画像復号ユニットを用いた画像復号装置を実現できる。
【００７２】
請求項１９記載の画像復号方法は、符号化された画像信号を復号する画像復号方法であって、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理ステップと、少なくとも２種類の中間データを第１メモリと第２メモリとに格納する中間データ格納ステップと、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算ステップと、再構成演算ステップにおいて生成された、再構成画像データを第３メモリに格納する再構成画像データ格納ステップとを含み、再構成演算ステップにおいて、再構成画像データを生成する処理と、再構成画像データ格納ステップにおいて、再構成画像データを格納する処理とは、時間的に並列に実行される。
【００７３】
この方法によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成することにより、より高速の画像復号ユニットを実現できる。すなわち、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。さらに、この画像復号方法は、画像符号化装置及び画像復号装置に等しく適用できる。
【００７４】
請求項２０記載の画像復号方法は、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理ステップは、エントロピー復号ステップと逆量子化ステップと逆ＤＣＴステップと動き補償ステップとを含み、エントロピー復号ステップは、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、逆量子化ステップと逆ＤＣＴステップとは、エントロピー復号ステップにおいて出力された量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、動き補償ステップは、エントロピー復号ステップにおいて出力された動きベクトルを用いて、動き補償処理を行うステップをさらに含む。
【００７５】
この方法によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。さらに、この画像復号方法は、画像符号化装置及び画像復号装置に等しく適用できる。
【００７６】
請求項２１記載の画像復号方法は、第１メモリに格納する中間データは、逆ＤＣＴステップにおいて出力された局部予測誤差データであり、第２メモリに格納する中間データは、動き補償ステップにおいて出力された局部予測画像データであり、再構成演算ステップは、第１メモリに格納された局部予測誤差データと、第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納するステップを含む。
【００７７】
この方法によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。さらに、再構成画像データの生成と、生成した再構成画像データのメモリへの格納を、同期を取って処理するため、より正確な並列処理と高速化が実現できる。
【００７８】
請求項２２記載の画像復号方法は、再構成演算ステップは、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力するステップを含む。
【００７９】
この方法によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算が不要となり、画像復号ユニットをより簡単な構成で実現できる。
【００８０】
請求項２３記載の画像復号方法は、動き補償ステップは、小数精度の動き補償を行うステップを含む。
【００８１】
この方法によれば、最近の画像規格に求められている、少数精度の動き補償を効率よく行う画像復号ユニットを提供できる。
【００８２】
請求項２４記載の画像符号化方法は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有し、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される画像復号ユニットを用いて行う画像符号化方法であって、入力される入力画像に対して、画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出ステップと、動きベクトルを基に、画像復号ユニットが動き補償を処理して出力する予測画像と、入力画像との差分をとり、予測誤差を求める予測誤差処理ステップと、予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ処理ステップと、ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化ステップと、量子化ＤＣＴ係数と、動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化ステップと、符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出するステップ、とを含む。
【００８３】
この方法によれば、請求項１９と同様の特徴を有する画像符号化装置を実現できる。
【００８４】
請求項２５記載の画像復号方法は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される画像復号ユニットと、受信バッファとを備える、画像復号装置における画像復号方法であって、受信した符号化画像データである受信ビットストリームは、受信バッファに一次的に格納されるステップと、受信バッファに格納された符号化画像データは、画像復号ユニットのエントロピー復号部に入力されるステップと、画像復号ユニットは、入力された符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した再構成画像データを画像イメージとして第３メモリに格納し、さらに、格納した画像イメージを外部に接続される画像表示装置に出力するステップとを含む。
【００８５】
この方法によれば、請求項１９と同様の特徴を有する画像復号装置を実現できる。
【００８６】
【発明の実施の形態】
本発明者らは、まず、特許文献１に開示されている考案を基にして、本発明が解決しようとする課題に取り組んだ。
【００８７】
図１２に示した従来例による動画像の動き補償の方式は、予測画像データとして、整数精度の画像予測を前提としている。そこで、小数精度の画像予測を行うためには、図１２の構成は、例えば、図１に示す構造に改良する必要がある。
【００８８】
すなわち、図１は、従来例を改良した第１の改良例である。図１の逆ＤＣＴ部２１は、図１２のＩＤＣＴ４１に相当する。同様に、図１のＤＲＡＭバッファ４２は、図１２のＤＲＡＭ書き込み用バッファ４４に、図１のフレームメモリ２４は、図１２の参照用フレームメモリ４５に、それぞれ相当する。
【００８９】
図１においては、小数精度の動き補償部５０と、ＤＲＡＭバッファ４２内に設けられた２つ目のバンクが新たに付加されている。また、動き補償部５０への動きベクトルＳ４２と、フレームメモリ２４からの再構成画像Ｓ４３の出力を、明示している。
【００９０】
図１の構成によって、小数精度の動き補償処理は、可能となった。しかし、この構成では、小数精度の動き補償を施された再構成画像の生成は、ターゲットとなる画素の近傍の画素から算出する必要があるため、その近傍の画素を格納するための専用バッファメモリを新たに備える必要があり、回路規模が大きくなるという欠点があることが明らかとなった。
【００９１】
上述した欠点を回避するため、本発明者らは、更なる考察をした。
【００９２】
すなわち、図２は、従来例を改良した第２の改良例である。第２の改良例は、図２に示すように、復号処理部６０と、データメモリ部６４と、フレームメモリ２４とを備え、復号処理部６０は、逆ＤＣＴ部６１と動き補償部６２と加算部６３を有する。
【００９３】
この第２の改良例の動作を次に説明する。まず、フレームメモリ２４から、必要なデータを一旦データメモリ部６４に取り込む。復号処理部６０は、データメモリ部に随時アクセスしながら、逆ＤＣＴ部６１における逆ＤＣＴ処理、動き補償部６２における整数精度及び小数精度の動き補償処理、あるいは、加算部６３における再構成画像の生成処理を行い、生成した再構成画像を、データメモリ部６４からフレームメモリ２４に転送する。このように、図２に示す構成により、専用のバッファメモリ等は必要とせずに、小数精度の動き補償を施した再構成画像の生成がが可能となる。
【００９４】
しかしながら、最近の画像処理の性能要求は年々高くなっており、処理能力の更なる向上が求められている。上述した第１の改良例及び第２の改良例において、処理能力の更なる向上を実現するには、復号処理部６０の動作周波数の向上が必要となり、その結果、回路規模や消費電力の増大を招くといった新たな問題が生じる。
【００９５】
これらの考察を基に、本発明者らは、新たな発想に基づく考案を行った。以下に、図面を参照しながら、本発明の実施の形態を説明する。
【００９６】
（第１の実施の形態）
【００９７】
図３は、本発明の第１の実施の形態における画像復号ユニット１００の構成図である。本形態の画像復号ユニット１００は、復号処理部１１０、データメモリ部１２０、再構成演算部１３０、及びフレームメモリ１４０を備え、前記復号処理部１１０は、エントロピー復号部１１１、動き補償部１１２、逆量子化部１１３、及び逆ＤＣＴ部１１４を有し、前記データメモリ部１２０は、データメモリＡ１２１とデータメモリＢ１２２とを有する。
【００９８】
また、復号処理部１１０は、データバス１６１を介して、データメモリ部１２０と接続されている。データメモリ部１２０は、さらに、データバス１６２を介して、再構成演算部１３０と、データバス１６４を介して、フレームメモリ１４０と、それぞれ接続されている。再構成演算部１３０は、さらに、データバス１６３を介して、フレームメモリ１４０と接続されている。
【００９９】
さらに、本形態の画像復号ユニット１００は、外部接続端子５個を有する。すなわち、端子Ｔａ１５１は、エントロピー復号部１１１への入力端子であり、端子Ｔｂ１５２は、逆量子化部１１３への入力端子であり、端子Ｔｃ１５３は、動き補償部１１２への入力端子であり、端子Ｔｄ１５４は、データメモリ部１２０から外部への出力端子であり、そして、端子Ｔｅ１５５は、フレームメモリ１４０から外部への出力端子である。
【０１００】
本形態の画像復号ユニット１００は、エントロピー符号化された信号を復号する場合、復号途中の中間データを入力して、再構成画像データを出力する再構成演算部１３０を、フレームメモリ１４０へのデータ転送の途中に設けることで、再構成画像データを生成する処理と、再構成画像データをフレームメモリ１４０に格納する処理とを、並列に処理できる。これによって、画像再構成の処理を高速に行うものである。
【０１０１】
図３を参照して、本形態の画像復号ユニット１００の動作を説明する。
【０１０２】
先ず、フレームメモリ１４０から必要なデータを、データバス１６４を介して、一旦データメモリ１２０に取り込む。復号処理部１１０は、データメモリ１３０に随時アクセスしながら、逆ＤＣＴ部１１４における逆ＤＣＴ処理、動き補償部１１２における整数精度及び小数精度の動き補償処理を行う。逆ＤＣＴ部１１４が処理した局部予測誤差データは、データメモリＡ１２１に格納される。
【０１０３】
次に、動き補償部１１２は、端子Ｔｃ１５３あるいはエントロピー復号部１１１から、動きベクトルを得る。（どちらから得るかは、後述する本発明の第２の実施の形態及び第３の実施の形態において説明する。）この動きベクトルを用いて動き補償を行うために、フレームメモリ１４０に格納されている再構成画像データを、データバス１６４を介して、データメモリ１２０に、整数精度の参照画像データとして、取り込む。動き補償部１１２は、データメモリ１２０に取り込まれた整数精度の参照画像データに対して、小数精度の動き補償を施し、得られた小数精度局部予測画像データを、データメモリＢ１２２に格納する。
【０１０４】
この時点で、データメモリＡ１２１には、逆ＤＣＴ部１１４が出力した局部予測誤差データが、データメモリＢ１２２には、動き補償部１１２が処理した少数精度局部予測画像データが、それぞれ格納されていることになる。
【０１０５】
次に、再構成演算部１３０は、データメモリＡ１２１に格納された局部予測誤差データと、データメモリＢ１２２に格納された少数精度局部予測画像データを同時に読み出し、それらを加算した後、加算結果を８ビットにクリップ処理して、順次再構成画像データとしてフレームメモリ１４０に格納する。
【０１０６】
本形態においては、再構成演算部１３０における演算を、加算および８ビットクリップ処理とした。通常、画像データは、８ビットの正値であるが、逆ＤＣＴ部１１４の出力として得られる局部予測誤差データは、正または負の値をとり得るため、通常９ビットで表現される。このため、単に局部予測誤差データ（９ビット・符号付き）と局部予測画像データ（８ビット・正）とを加算すると、その結果は、８ビットの正値とは限らないため、正しい再構成画像データを得るための補正演算をおこなう必要がある。このため、本形態では、再構成演算１３０は、加算後のデータを８ビットの正値にクリップする処理をしている。なお、再構成演算部１３０は、とくに加算とクリップ処理に限定してはおらず、画像処理の規格に応じて、重み付け加算などの処理にも対応することもできる。
【０１０７】
以上説明した、本形態の画像復号ユニット１００の動作を、タイミングチャートとして示したもが図６である。すなわち、図６は、本発明の第１の実施の形態における画像復号ユニット１００のタイミングチャートである。データ転送及び各種画像処理が、マクロブロック単位で行われている場合を例にとり、以下にその概要を説明する。
【０１０８】
図６において、復号処理部タイミング４１０は、図３に示す復号処理部１１０の各構成要素の処理タイミングを表し、データ転送タイミング４５０は、各データバスを介したデータ転送のタイミングを表す。また処理時間４００は、時間経過とともに、各部の処理が左から右に向かって進行することを表す。
【０１０９】
図３に示す復号処理部１１０は、図６に示すように、整数精度動き補償処理４２０、小数精度動き補償処理４３０、及び、逆ＤＣＴ処理４４０の順に処理して行く。復号処理部１１０が整数精度動き補償処理４２０を実施しているときに、フレームメモリ１４０から、データバス１６４を介して、データメモリ１２０への、整数精度の参照画像データ転送処理４６０が行われる。復号処理部１１０が、逆ＤＣＴ処理４４０を終了した時点で、データメモリＡ１２１には、マクロブロック２５６個分の局部予測誤差データが、データメモリＢ１２２にも、マクロブロック２５６個分の局部予測画像データが、それぞれ格納されている。復号処理部１１０が、逆ＤＣＴ処理４４０を終了すると、再構成演算処理（再構成演算部１３０における処理）と再構成画像データの転送処理（再構成演算部１３０からフレームメモリ１４０へのデータ転送）４７０が並行して行われる。すなわち、図３に示す再構成演算部１３０は、マクロブロック２５６個分の局部予測誤差データとマクロブロック２５６個分の局部予測画像データとを、順次再構成処理して、同時に、フレームメモリ１４０に格納する。
【０１１０】
上述した再構成演算処理と画像転送処理４７０について、図６を参照しつつ、さらに詳述する。図６の下半分は、画像復号ユニット１００が行う処理のサイクル数４７１を、サイクル１からサイクル２５８に亘って示している。
【０１１１】
図６に示すデータメモリＡの出力タイミング４７２とデータメモリＢの出力タイミング４７３とは、それぞれ、サイクル１からサイクル２５６に亘って、データＤ０からデータＤ２５５が出力されるタイミングを表している。ここに、Ｄ０は、０番目のマクロブロックデータを表し、Ｄ２５５は、２５５番目のマクロブロックデータを表わす。以下、同様である。
【０１１２】
再構成演算部の出力タイミング４７４は、サイクル２からサイクル２５７に亘って、データＤ０からデータＤ２５５が出力されるタイミングを表している。フレームメモリへの書き込みタイミング４７５は、サイクル３からサイクル２５８に亘って、データＤ０からデータＤ２５５がフレームメモリ１４０に格納されるタイミングを表している。
【０１１３】
このように、本形態においては、再構成演算処理と画像転送処理４７０は、サイクル１からサイクル２５８までで、画像１フレームに相当する２５６マクロブロックの処理を完結する。このとき、サイクル１とサイクル２とが、転送オーバーヘッド期間であり、サイクル３からサイクル２５８が、実質のデータ転送期間である。
【０１１４】
本形態の特徴をより明確にするために、図２に示した従来例を改良した第２の改良例を、比較例として以下に示す。
【０１１５】
図７は、従来例を改良した第２の改良例のタイミングチャートである。図７において、図６と同様の処理については、同一の符号を付すことにより、説明を省略する。
【０１１６】
図７に示す第２の改良例では、図２に示す復号処理部６０は、図７に示すように、整数精度動き補償処理４２０、小数精度動き補償処理４３０、及び、逆ＤＣＴ処理４４０の処理をした後に、再構成演算処理４８０を行う。復号処理部６０が整数精度動き補償処理４２０を実施しているときに、フレームメモリ２４からデータメモリ６４への、整数精度の参照画像データ転送処理４６０が行われる。そして、復号処理部６０が再構成演算処理４８０を完了すると、データメモリ部６４からフレームメモリ２４への再構成結果のデータ転送処理４９０を行う。
【０１１７】
再構成結果のデータ転送処理４９０の詳細を図７の下半分に示す。データメモリの出力タイミング４９２に対して、フレームメモリへの書き込みタイミング４９３は、１サイクル遅れて実行され、画像１フレームに相当する２５６マクロブロックの転送処理は、２５７サイクルで完結する。このとき、サイクル１が、転送オーバーヘッド期間であり、サイクル２からサイクル２５７が、実質のデータ転送期間である。
【０１１８】
以上説明した図６と図７を詳細に比較する。本形態と従来例を改良した第２の改良例とでは、データ転送に費やされるサイクル数は、１サイクルの差しかない。しかし、従来例を改良した第２の改良例では、再構成演算処理のための処理サイクル数が、逆ＤＣＴ処理４４０の後に必要であるが、本形態では、この処理を画像転送処理と並行して行っているために、この分の処理サイクル数を削減できている。この削減された処理サイクル数に相当する時間は、復号処理全体に必要な処理時間の約７％にも相当し、本形態により、かなりの高速化が実現されていることがわかる。
【０１１９】
本形態における図３のフレームメモリ１４０は、画像のフレームデータを格納することができ、複数のリソースの転送元あるいは転送先となり得る大容量メモリであればよく、外付けあるいは内蔵は問わない。また、単一のメモリで構成しても複数のメモリで構成してもよい。より具体的には、外付けであればＳＤＲＡＭやＤＲＡＭ、内蔵であれば混載ＤＲＡＭやＳＲＡＭによって構成してもよい。
【０１２０】
（第２の実施の形態）
【０１２１】
図４は、本発明の第２の実施の形態における画像符号化装置の構成図である。本形態の画像符号化装置は、入力端子２０１、出力端子２０２、画像復号ユニット１００、減算処理部２１０、ＤＣＴ部２１２、量子化部２１３、エントロピー符号化部２１４、送信バッファ２１５、及び、動き検出部２１６を備える。
【０１２２】
入力端子２０１は、減算処理部２１０の入力と動き検出部２１６の入力とに接続され、減算処理部２１０のもう１つの入力は、画像復号ユニット１００の端子Ｔｄ１５４に接続され、減算処理部２１０の出力は、量子化部２１３の入力に接続される。量子化部２１３の出力は、エントロピー符号化部２１４の入力と画像復号ユニット１００の端子Ｔｂ１５２に接続される。動き検出部２１６のもう１つの入力は、画像復号ユニット１００の端子Ｔｅ１５５に接続され、動き検出部２１６の出力は、エントロピー符号化部２１４のもう１つの入力と画像復号ユニット１００の端子Ｔｃ１５３とに接続される。さらに、エントロピー符号化部２１４の出力は、送信バッファ２１５の入力に接続され、送信バッファ２１５の出力は、出力端子２０２に接続される。画像復号ユニット１００の端子Ｔａ１５１は、何も接続されていない。
【０１２３】
図４に示す画像復号ユニット１００は、図３に示した画像復号ユニット１００と、左右を反転して描いているが、構成及び機能は全く同じものあり、各構成要素には同じ符号を付して、説明を省略する。
【０１２４】
以下に本形態の画像符号化装置の動作の概要を説明する。
【０１２５】
図４に示すように、入力端子２０１に入力された入力画像は、１つは、動き検出部２１６に入力されて、動き検出部２１６において、画像復号ユニット１００のフレームメモリ１４０に格納されている、参照画像としての再構成画像データと比較され、動きベクトルが求められる。入力端子２０１に入力された入力画像は、さらに、減算処理部２１０に入力さる。減算処理部２１０において、上述した動きベクトルを用いて、動き補償処理をしてデータメモリ部１２０に格納されている予測画像と比較され、その差分である予測誤差データが求められる。この予測誤差データは、ＤＣＴ部２１２においてＤＣＴ係数が求められ、量子化部２１３において量子化され、エントロピー符号化部２１４において、動き検出部２１６が求めた動きベクトルとともに、可変長符号に符号化され、送信バッファ２１５に一次格納された後、送信ビットストリームとして出力端子２０２に送られる。
【０１２６】
また、量子化部２１３において量子化されたＤＣＴ係数は、画像復号ユニット１００の端子Ｔｂ１５２に送られ、画像復号ユニット１００において、端子Ｔｃ１５３に入力されている動きベクトルを用いて、復号処理が施され、データメモリ部１２０、及び、フレームメモリ１４０に格納される。
【０１２７】
画像復号ユニット１００における、復号処理は、第１の実施の形態で説明したように、中間処理データを活用した並列処理であり、高速の処理が行われる。また、小数精度の動き補償処理が施されることは言うまでもない。その説明は、第１の実施の形態で行ったので、ここでは省略する。
【０１２８】
このように、本形態の画像符号化装置は、標準的に作られた画像復号ユニット１００を用いて、少ない要素部品で構成でき、かつ、高速並列処理を利用して、高速化と高性能化を実現できる。
【０１２９】
（第３の実施の形態）
【０１３０】
図５は、本発明の第３の実施の形態における画像復号装置の構成図である。本形態の画像復号装置は、入力端子３０１と受信バッファ３１０と画像復号ユニット１００とを備える。入力端子３０１は、受信バッファ３１０の入力に接続され、受信バッファ３１０の出力は、画像復号ユニット１００の端子Ｔａ１５１に接続される。さらに、画像復号ユニット１００の端子Ｔｅ１５５は、外部の画像表示装置３２０に接続される。画像復号ユニット１００の端子Ｔｂ１５２，端子Ｔｃ１５３，及び、端子Ｔｄ１５４は、何も接続されない。
【０１３１】
図５に示す画像復号ユニット１００は、図３に示した画像復号ユニット１００と、構成及び機能は全く同じものあり、各構成要素には同じ符号を付して、説明を省略する。
【０１３２】
以下に本形態の画像復号装置の動作の概要を説明する。
【０１３３】
図５に示すように、入力端子３０１に入力された、エントロピー符号化された受信ビットストリームは、一旦受信バッファ３１に格納されたのち、画像復号ユニット１００の端子Ｔａ１５１に入力される。
【０１３４】
端子Ｔａ１５１は、復号処理部１１０のエントロピー復号部１１１に接続されている。入力された受信ビットストリームは、エントロピー復号部１１１において、動きベクトルと量子化されたＤＣＴ係数が検出される。動きベクトルは、動き補償部１１２に、量子化されたＤＣＴ係数は、逆量子化部１１３と逆ＤＣＴ部１１４に、それぞれ送られる。画像復号ユニット１００における、以降の復号処理は、第１の実施の形態における処理と同様であり、説明を省略する。
【０１３５】
本形態の画像復号ユニット１００における、復号処理は、第１の実施の形態で説明したように、中間処理データを活用した並列処理であり、高速の処理が行われる。また、小数精度の動き補償処理が施されることは言うまでもない。
【０１３６】
このように、本形態の画像復号装置は、標準的に作られた画像復号ユニット１００を用いて、その他の要素部品として受信バッファ３１０のみを追加すことで構成でき、かつ、高速並列処理を利用して、高速化と高性能化を実現している。
【０１３７】
（第４の実施の形態）
【０１３８】
図８は、本発明の第４の実施の形態における画像復号ユニットの構成図である。本形態の画像復号ユニットは、復号処理部１１０、データメモリ群５００、第１セレクタ５１０、第２セレクタ５２０、第３セレクタ５３０、フレームメモリ５４０、再構成演算部５５０、及び、データ転送制御部５６０とを備える。
【０１３９】
データメモリ群５００は、データメモリＡ５０１、データメモリＢ５０２、データメモリＣ５０３、及び、データメモリＤ５０４を有する。
【０１４０】
図８に示す復号処理部１１０は、データメモリ群５００の各データメモリに接続される。本形態の復号処理部１１０の構成及び機能は、図３に示した、第１の実施の形態における画像復号ユニット１００の復号処理部１１０の構成及び機能と、全く同様である。したがって、図８においては、その詳細は、省略して図示していない。
【０１４１】
データメモリ群５００の各データメモリの出力は、第１セレクタ５１０と、第２セレクタ５２０と、第３セレクタ５３０とに、接続されている。第１セレクタ５１０が選択した出力は、再構成演算部５５０の一方の入力に接続され、第２セレクタ５２０が選択した出力は、再構成演算部５５０のもう一方の入力に接続される。再構成演算部５５０の出力は、第３セレクタ５３０の第５の入力に接続される。第３セレクタ５３０の出力は、フレームメモリ５４０に接続される。
【０１４２】
さらに、データ転送制御部５６０は、データ転送命令発行部５６１とデコーダ５６２とを有し、デコーダ５６２からの制御信号線Ｃ１，Ｃ２，Ｃ３は、それぞれ、第１セレクタ５１０と、第２セレクタ５２０と、第３セレクタ５３０とに、接続されている。
【０１４３】
次に、本形態の画像復号ユニットの動作の概略を説明する。
【０１４４】
図８に示すデータメモリ群５００の各データメモリには、復号処理部１１０が処理した、局部予測画像データ、あるいは、局部予測誤差データが中間処理データとして格納されている。
【０１４５】
第１セレクタ５１０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００のいずれかのデータメモリを選択し、局部予測画像データＳ５０７を取得して、再構成演算部５５０の一方に入力する。
【０１４６】
一方、第２セレクタ５２０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００のいずれかのデータメモリを選択し、局部予測誤差データＳ５０６を取得して、再構成演算部５５０のもう一方に入力する。
【０１４７】
再構成演算部５５０は、入力された局部予測画像データと局部予測誤差データとから、再構成画像データＳ５０５を生成し、それを第３セレクタ５３０の第５の入力に送る。
【０１４８】
第３セレクタ５３０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００の出力Ｓ５０１からＳ５０４、及び、再構成演算部５５０が生成した再構成画像データＳ５０５の中から、いずれかを選択し、その結果を転送データＳ５０８としてフレームメモリ５４０に送る。
【０１４９】
上述した一般的なデータメモリ（図８のデータメモリＡ５０１からデータメモリＤ５０４）と、フレームメモリ５４０との間のデータ転送を、ＤＳＰの命令で実現するために、図９に示す、データ転送命令を考案した。
【０１５０】
すなわち、図９は、本発明の第４の実施の形態における画像復号ユニットに用いるデータ転送命令６００を表す。データ転送命令６００は、第１オペラント６０１と、第２オペラント６０２と、第３オペラント６０３とを、含む。
【０１５１】
第１オペラント６０１は、第３セレクタ５３０を制御する。第１オペラント６０１に記述してある命令により、第３セレクタ５３０は、データメモリ群５００の出力Ｓ５０１からＳ５０４、及び、再構成演算部５５０が生成した再構成画像データＳ５０５の中から、いずれかを選択する。
【０１５２】
第２オペラント６０２は、第１セレクタ５１０を制御する。第２オペラント６０２に記述してある命令により、第１セレクタ５１０は、データメモリ群５００の出力Ｓ５０１からＳ５０４の中から、いずれかを選択して、予測画像データＳ５０７を出力する。
【０１５３】
第３オペラント６０３は、第２セレクタ５２０を制御する。第３オペラント６０３に記述してある命令により、第２セレクタ５２０は、データメモリ群５００の出力Ｓ５０１からＳ５０４の中から、いずれかを選択して、局部予測誤差データＳ５０６を出力する。
【０１５４】
このように、データ転送命令６００をＤＳＰ命令で記述することにより、より複雑なデータ転送が可能で、かつ、適用環境に容易に対応できる柔軟性に富んだ画像復号ユニットを実現できる。
【０１５５】
また、データ転送命令６００の第１オペラント６０１で、第３セレクタ５３０が、再構成演算部５５０が生成した再構成画像データＳ５０５をも選択できるように工夫したのが、本形態の特徴の一つである。これによって、フレームメモリ５４０に影響を与えることなく、再構成演算を伴うデータ転送命令が実現できる。
【０１５６】
さらに、再構成演算に必要な局部予測画像データＳ５０７と局部予測誤差データＳ５０６とを格納するデータメモリを固定して決めておけば、データ転送命令６００の第１オペラント６０１で、第３セレクタ５３０が、再構成演算部５５０が生成した再構成画像データＳ５０５を選択した場合には、あらかじめ決められたデータメモリから、予測画像データＳ５０７と局部予測誤差データＳ５０６とを取得することも可能である。この場合には、データ転送命令６００は、第１オペラント６０１のみを指定すればよい。
【０１５７】
このように、本発明の意図するところは、画像信号の復号処理において、中間データを用いて再構成画像データを生成し、再構成画像データの生成処理とフレームメモリへの格納処理とを並列に処理することにより、画像復号処理の高速化を図るところにあるのであって、本発明の趣旨を逸脱しない限りにおいて、種々の適用が可能である。
【発明の効果】
本発明によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成し、再構成画像データの生成処理とフレームメモリへの格納処理とを並列に処理することにより、必要な処理時間短縮して、少数精度の動き補償を高速で実行できる、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法を提供できる。
【図面の簡単な説明】
【図１】従来例を改良した第１の改良例
【図２】従来例を改良した第２の改良例
【図３】本発明の第１の実施の形態における画像復号ユニットの構成図
【図４】本発明の第２の実施の形態における画像符号化装置の構成図
【図５】本発明の第３の実施の形態における画像復号装置の構成図
【図６】本発明の第１の実施の形態における画像復号ユニットのタイミングチャート
【図７】従来例を改良した第２の改良例のタイミングチャート
【図８】本発明の第４の実施の形態における画像復号ユニットの構成図
【図９】本発明の第４の実施の形態における画像復号ユニットに用いるデータ転送命令
【図１０】従来例の画像符号化装置のブロック図
【図１１】従来例の画像復号装置のブロック図
【図１２】従来例の動画像復号装置に用いられる動き補償部のブロック図
【符号の説明】
１００ 画像復号ユニット
１１１ エントロピー復号部
１１２ 動き補償部
１１３ 逆量子化部
１１４ 逆ＤＣＴ部
１２０ データメモリ部
１２１ データメモリＡ
１２２ データメモリＢ
１３０ 再構成演算部
１４０ フレームメモリ
１５１〜１５５ 端子Ｔａ〜端子Ｔｅ
１６１〜１６４ データバス
２１０ 減算処理部
２１２ ＤＣＴ部
２１３ 量子化部
２１４ エントロピー符号化部
２１５ 送信バッファ
２１６ 動き検出部
３１０ 受信バッファ
３２０ 画像表示装置
４００ 処理時間
４１０ 復号処理部タイミング
４２０ 整数精度動き補償処理
４３０ 小数精度動き補償処理
４４０ 逆ＤＣＴ処理
４５０ データ転送タイミング
４６０ 参照画像データ転送処理
４７０ 再構成演算処理と画像転送処理
４８０ 再構成演算処理
４９０ データ転送処理
５００ データメモリ群
５０１〜５０４ データメモリＡ〜データメモリＤ
５１０ 第１セレクタ
５２０ 第２セレクタ
５３０ 第３セレクタ
５４０ フレームメモリ
５５０ 再構成演算部
５６０ データ転送制御部
５６１ データ転送命令発行部
５６２ デコーダ
６００ データ転送命令
６０１ 第１オペラント
６０２ 第２オペラント
６０３ 第３オペラント
【発明の属する技術分野】
本発明は、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法に関し、特に、再構成画像の生成過程における処理の高速化を図る技術に関するものである。
【０００２】
【従来の技術】
近年、動画を扱う情報機器及び情報端末機器の飛躍的な普及に伴い、動画を圧縮する技術が、一段と脚光を浴びている。
【０００３】
動画圧縮技術は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）が定める、ＭＰＥＧ−２、及び、ＭＰＥＧ−４、さらには、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が定める、Ｈ．２６１，Ｈ．２６３，及び、Ｈ．２６４などの規格により、技術の標準化が図られている。これらの規格での動画圧縮技術は、動画が持つ隣接フレーム間の強い相関性を利用して、高圧縮を行うものである。
【０００４】
まず、図１０から１２を参照して、動画圧縮の一般的な従来技術を説明する。
【０００５】
図１０は、従来例の画像符号化装置のブロック図である。以下に、その構成と動作の概要を説明する。
【０００６】
図１０に示す従来例の画像符号化装置は、一般的なものであり、入力端子１０、差分演算部１１、ＤＣＴ部（離散コサイン変換部）１２、量子化部１３、エントロピー符号化部１４、送信バッファ１５、出力端子１６、動き検出部１７、逆量子化部１９、逆ＤＣＴ部２１、動き補償部２２、加算演算部２３、及び、フレームメモリ２４を備える。
【０００７】
入力端子１０は、差分演算部１１の入力と動き検出部１７の入力とに接続される。差分演算部１１のもう一方の入力には、動き補償部２２の出力が接続され、動き検出部１７のもう一方の入力には、フレームメモリ２４の出力が接続される。
【０００８】
差分演算部１１の出力は、ＤＣＴ部１２の入力に接続され、ＤＣＴ部１２の出力は、量子化部１３の入力に接続される。量子化部１３の出力は、エントロピー符号化部１４の入力と、逆量子化部１９の入力とに接続される。エントロピー符号化部１４のもう１つの入力には、動き検出部１７の出力が接続される。エントロピー符号化部１４の出力は、送信バッファ１５の入力に接続される。
【０００９】
逆量子化部１９の出力は、逆ＤＣＴ部２１の入力に接続される。逆ＤＣＴ部２１の出力は、加算演算部２３の１つの入力に接続される。加算演算部２３のもう１つの入力には、動き補償部２２の出力が接続される。加算演算部２３の出力は、フレームメモリ２４に接続され、さらに、フレームメモリ２４は、動き検出部１７のもう１つの入力に接続される。
【００１０】
次に、動作の概略を説明する。まず、入力端子１０に入力された入力画像Ｓ１０は、動き検出部１７において、フレームメモリ２４に格納されている、再構成画像（しばしば参照画像と呼ばれる）と比較され、動きベクトルＳ１１が求められる。この動きベクトルを用いて、動き補償部２２は、予測画像Ｓ１２を生成する。差分演算部１１は、入力画像Ｓ１０と予測画像Ｓ１２との差分、すなわち、予測誤差を求める。この予測誤差は、ＤＣＴ部１２でＤＣＴ係数が求められ、量子化部１３で量子化され、エントロピー符号化部１４において、動きベクトルＳ１１とともに、ハフマン符号や算術符号などの可変長符号を用いて、符号化され、送信バッファ１５に一時的に格納されて、ビットストリームとして送出される。
【００１１】
また、量子化部１３で量子化されたＤＣＴ係数は、逆量子化部１９と逆ＤＣＴ部２１の処理を経て、局部予測誤差データＳ１４となり、加算演算部２３に送られる。加算演算部２３では、局部予測誤差データＳ１４と、先に動き補償部２２において生成した予測画像Ｓ１２とを用いて、再構成画像を生成し、フレームメモリ２４に格納する。
【００１２】
動き検出部１７における動きベクトルの検出処理は、一般に、現画像内の複数の画素からなるブロックを処理対象とし、この処理対象ブロックが、当該現画像に対する時間的に前の画像のどの位置に存在するかを、いわゆる、ブロックマッチング法により調べ、画像の動きの方向と量を示す動きベクトルを検出するものである。
【００１３】
また、動き補償部２２における予測画像Ｓ１２の生成処理は、予測精度を画素位置単位で行う生成（これを整数精度の動き補償と呼ぶ）に加えて、画素と画素の間の位置で行う生成（これを小数精度の動き補償と呼ぶ）にまで高めることにより、予測誤差をより小さくする手法が採られている。
【００１４】
次に、図１１は、従来例の画像復号装置のブロック図である。この図を参照して、一般的な復号方式について説明する。
【００１５】
図１１に示す従来例の画像復号装置は、一般的なものであり、入力端子３０、受信バッファ３１、エントロピー復号部３２、逆量子化部１９、逆ＤＣＴ部２１、動き補償部２２、加算処理部２３、フレームメモリ２４、及び、出力端子３３を、備える。
【００１６】
入力端子３０は、受信バッファ３１の入力に接続され、受信バッファ３１の出力は、エントロピー復号部３２の入力に接続される。エントロピー復号部３２の出力は、逆量子化部１９の入力と、動き補償部２２の１つの入力とに接続される。
【００１７】
逆量子化部１９の出力は、逆ＤＣＴ部２１の入力に接続され、逆ＤＣＴ部２１の出力は、加算処理部２３の１つの入力に接続される。動き補償部２２のもう１つの入力には、フレームメモリ２４の出力が接続される。加算処理部２３のもう１つの入力には、動き補償部２２の出力が接続され、加算処理部２３の出力は、フレームメモリ２４の入力に接続され、フレームメモリ２４の出力は、出力端子３３に接続される。
【００１８】
次に、この画像復号装置の動作の概略を説明する。入力端子３０に入力された受信ビットストリームＳ３０は、一旦、受信バッファ３１に格納された後、エントロピー復号部３２に入力される。
【００１９】
エントロピー復号部３２においては、受信ビットストリームＳ３０から、動きベクトルＳ３１と、量子化されている予測誤差画像のＤＣＴ係数Ｓ３２とが、復号される。
【００２０】
量子化されている予測誤差画像のＤＣＴ係数Ｓ３２は、逆量子化部１９と逆ＤＣＴ部２１の処理を経て、予測誤差画像のＤＣＴ係数Ｓ３５として、加算処理部２３に入力される。
【００２１】
一方、動きベクトルＳ３１は、動き補償部２２に入力され、フレームメモリ２４に格納されている再構成画像Ｓ３３に対して、動き補償を施し、予測画像Ｓ３４を生成し、加算処理部２３に出力する。加算処理部２３は、予測画像Ｓ３４とＤＣＴ係数Ｓ３５とを加算処理して、新しい再構成画像Ｓ３６を生成し、フレームメモリ２４に格納する。生成された新しい再構成画像は、復号画像Ｓ３７として、フレームメモリ２４から出力端子３３に供給され、外部の画像表示装置に表示される。
【００２２】
ここで、動き補償部２２における動き補償処理については、上述した画像符号化装置と同様に、整数精度の動き補償に加えて、小数精度の動き補償が施されることがある。
【００２３】
ところで、図１０の点線で囲んだ領域２０の構成と、図１１の点線で囲んだ領域２０の構成とは、全く同じ構成であり、その構成要素の機能も同じである。（したがって、両図においては、同じ機能の構成要素については、同じ番号を付している。）
【００２４】
すなわち、領域２０の構成は、画像符号化装置にも、画像復号装置にも、等しく利用できることに注意されたい。
【００２５】
特許文献１は、上述した領域２０に対して、更なる工夫を施した考案を開示している。
【００２６】
図１２は、従来例の動画像復号装置に用いられる動き補償部のブロック図であり、特許文献１の図１０である。（ただし、各構成要素の名称は、特許文献１と同じであるが、符号は、変更している。）
【００２７】
図１２に示す動画像復号装置に用いられる動き補償部４０は、ＩＤＣＴ（逆離散コサイン変換回路）４１（図１０に示す逆ＤＣＴ部２１と同じ）、ＭＢバッファ（Ｍａｃｒｏ Ｂｌｏｃｋ バッファ）４２、加算器４３（図１０に示す加算処理部２３と同じ）、ＤＲＡＭ書き込み用バッファ４４、及び、参照用フレームメモリ４５（図１０に示すフレームメモリ２４と同じ）とを、備え、ＭＢバッファ４２は、２つのバンクを有し、ＤＲＡＭ書き込み用バッファ４４は、１つのバンクを有している。参照用フレームメモリ４５は、ＤＲＡＭにより構成できる。
【００２８】
図１２に示す考案の主眼は、復号装置において、ＭＢバッファ４２を設けることにより、ＩＤＣＴ４１からの読み出しスピードと、参照用フレームメモリ４５への書き込みスピードとの違いを吸収し、さらに、ＤＲＡＭ書きこみ用バッファ４４を設けることにより、参照用フレームメモリ４５の読み出しと書き込み間のタイミング調整を行うことにある。
【００２９】
すなわち、加算器４３は、参照用フレームメモリ４５からの予測マクロブロック信号Ｓ４４と、ＭＢバッファ４２からの出力信号Ｓ４２を加算して、得られた再構成画像信号Ｓ４３を、ＤＲＡＭ書き込み用バッファ４４に書きこむ。ＤＲＡＭ書き込み用バッファ４４は、参照用フレームメモリ４５が書き込む準備のできるまでの間、データを保持し、その後、書き込みの準備ができると、参照用フレームメモリ４５に書む。本考案の発明者らは、これによって、参照用フレームメモリ４５として、スピードが遅い、安価なＤＲＡＭを用いることができる、と主張している。
【００３０】
ここで、ＩＤＣＴ４１の読み出しスピードに対して、参照用フレームメモリ４５の読み出し書き込みスピードが速い場合、ＤＲＡＭ書き込み用バッファ４４内に１つのバンクを設けることにより、このバンクに入力したデータは、次のデータがくる前に読み出しが終了しているため、次のブロックデータが入力されるときは、バッファ内は空の状態になっている。本考案の発明者らは、これによって、タイミング調整用バッファに必要なメモリサイズを削減し、ハードウェア規模の縮小を図ることができる、と主張している。
【００３１】
図１２に示した考案は、整数精度の動き補償に対するものであり、少数精度の動き補償には、対応していない。
【００３２】
以上の説明で明らかなように、最近の画像規格に求められている、少数精度の動き補償を効率よく、かつ、高速に処理するためには、従来技術では十分に対応できない。
【００３３】
【特許文献１】
ＷＯ ９５／０２９４８号公報（第１０図）
【００３４】
【発明が解決しようとする課題】
そこで本発明は、少数精度の動き補償を高速で実行できる、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
請求項１記載の画像復号ユニットは、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを備える。
【００３６】
この構成によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成することにより、より高速の画像復号ユニットを実現できる。さらに、この画像復号ユニットは、画像符号化装置及び画像復号装置に等しく適用できるという利点を有する。
【００３７】
請求項２記載の画像復号ユニットは、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、エントロピー復号部は、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、逆量子化部と逆ＤＣＴ部とは、エントロピー復号部が出力した量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、動き補償部は、エントロピー復号部が出力した動きベクトルを用いて、動き補償処理を行う。
【００３８】
この構成によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。さらに、この画像復号ユニットは、画像符号化装置及び画像復号装置に等しく適用できる。
【００３９】
請求項３記載の画像復号ユニットは、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００４０】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを実現できる。
【００４１】
請求項４記載の画像復号ユニットは、第１メモリに格納する中間データは、逆ＤＣＴ部が出力する局部予測誤差データであり、第２メモリに格納する中間データは、動き補償部が出力する局部予測画像データであり、再構成演算部は、第１メモリに格納された局部予測誤差データと、第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納する。
【００４２】
この構成によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。さらに、再構成画像データの生成と、生成した再構成画像データのメモリへの格納を、同期を取って処理するため、より正確な並列処理と高速化が実現できる。
【００４３】
請求項５記載の画像復号ユニットは、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００４４】
この構成によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算処理が不要となり、画像復号ユニットをより簡単な構成で実現できる。
【００４５】
請求項６記載の画像復号ユニットは、再構成演算部が行う加算結果の正規化は、８ビットの正の値に対する正規化である。
【００４６】
この構成によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算が不要となる。さらに、現在最も広く採用されている、８ビット構成の画像復号ユニットをより簡単な構成で実現できる。
【００４７】
請求項７記載の画像復号ユニットは、動き補償部は、小数精度の動き補償を行う。
【００４８】
この構成によれば、最近の画像規格に求められている、少数精度の動き補償を効率よ、かつ、高速に処理する画像復号ユニットを提供できる。
【００４９】
請求項８記載の画像復号ユニットは、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、復号処理部が生成した、少なくとも２種類の中間データを格納する、複数のデータメモリを含むメモリ群とメモリ群のいずれかのデータメモリを選択して、少なくとも２種類の中間データの内の第１の中間データを取得する、第１選択手段と、メモリ群のいずれかのデータメモリを選択して、少なくとも２種類の中間データの内の第２の中間データを取得する、第２選択手段と、第１選択手段で取得した第１の中間データと、第２選択手段で取得した第２の中間データとを用いて、再構成画像データを生成する、再構成演算部と、メモリ群のいずれかのデータメモリか、あるいは、再構成演算部の出力かを選択して、データを取得する、第３選択手段と、第３選択手段が取得したデータを格納するメモリと、第１選択手段と、第２選択手段と、第３選択手段とに、データ転送命令を送って、それぞれのデータ転送元を制御する。
【００５０】
この構成によれば、復号処理部１１０を、例えば、ＤＳＰ（ディジタル信号処理器）を用いて構成する場合、データ転送命令をＤＳＰ命令で記述することにより、より複雑なデータ転送が可能で、かつ、異なる環境に容易に適用できる柔軟性に富んだ画像復号ユニットを実現できる。
【００５１】
請求項９記載の画像復号ユニットは、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、復号処理部は、少なくとも２種類の中間データを生成する。
【００５２】
この構成によれば、請求項８記載の画像復号ユニットと同様の特徴を有し、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。
【００５３】
請求項１０記載の画像復号ユニットは、第１の中間データは、局部予測画像データであり、第２の中間データは、局部予測誤差データである。
【００５４】
この構成によれば、請求項８及び９記載の画像復号ユニットと同様の特徴を有し、さらに、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。
【００５５】
請求項１１記載のデータ転送方法は、請求項８記載の画像復号ユニットを用いて行い、第３選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリ、あるいは、再構成演算部出力を指定する第１オペラントと、第１選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリを指定する第２オペラントと、第２選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリを指定する第３オペラントとを含む、データ転送命令を発行するステップと、データ転送命令を受け取った選択手段は、指定されたデータ転送元からデータを取得するステップと、第３選択手段に対して、再構成演算部出力を選択するデータ転送命令が発行された時には、第１選択手段は、指示されたデータメモリから第１の中間データを取得し、第２選択手段は、指示されたデータメモリから第２の中間データを取得し、再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次メモリに格納するステップとを含む。
【００５６】
この方法によれば、復号処理部１１０を、例えば、ＤＳＰ（ディジタル信号処理器）を用いて構成し、データ転送命令をＤＳＰ命令で記述する場合、その命令を標準化できる。さらに、このデータ転送命令を用いることで、より複雑なデータ転送が、可能となり、異なる環境に容易に適用できる柔軟性に富んだ画像復号ユニットを実現できる。
【００５７】
請求項１２記載のデータ転送方法は、請求項８記載の画像復号ユニットを用いて行い、第３選択手段に対して、データ転送元として、メモリ群のいずれかのデータメモリ、あるいは、再構成演算部出力を指定するオペラントを含む、データ転送命令を発行するステップと、第３選択手段は、データ転送命令を受け取った後、指定されたデータ転送元からデータを取得するステップと、第３選択手段に対して、再構成演算部出力を選択するデータ転送命令が発行された時には、第１選択手段は、あらかじめ指示されたデータメモリから第１の中間データを取得し、第２選択手段は、あらかじめ指示されたデータメモリから第２の中間データを取得し、再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次前記メモリに格納するステップとを含む。
【００５８】
この方法によれば、再構成演算を伴うデータ転送命令を、通常のプロセッサの転送命令として、実装することが可能となり、データ転送制御部の構造が簡単となる。
【００５９】
請求項１３記載の画像符号化装置は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、入力される入力画像に対して、画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出部と、動きベクトルを基に、画像復号ユニットが動き補償を処理して出力する予測画像と、入力画像との差分をとり、予測誤差を求める予測誤差処理部と、予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ部と、
【００６０】
ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化部と、量子化ＤＣＴ係数と、動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化部と、符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出する、送信バッファとを備える。
【００６１】
この構成によれば、請求項２記載の画像復号ユニットが有する特徴を生かした画像符号化装置を実現でいる。また、画像復号ユニットを単体として標準化することにより、画像符号化装置を、少ない構成部品で製造することが出来ので、装置の製造コストを低減できる。
【００６２】
請求項１４記載の画像符号化装置は、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００６３】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを用いた画像符号化装置を実現できる。
【００６４】
請求項１５記載の画像符号化装置は、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００６５】
この構成によれば、請求項５記載の特徴を有する画像復号ユニットを用いた画像符号化装置を実現できる。
【００６６】
請求項１６記載の画像復号装置は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された、再構成画像データを格納する第３メモリとを有し、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、符号化画像データである受信ビットストリームを一次的に格納する受信バッファとを備え、受信バッファに格納された符号化画像データは、画像復号ユニットのエントロピー復号部に入力され、画像復号ユニットは、入力された符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した再構成画像データを画像イメージとして第３メモリに格納し、さらに、格納した画像イメージを外部に接続される画像表示装置に出力する。
【００６７】
この構成によれば、請求項２記載の画像復号ユニットが有する特徴を生かした画像復号装置を実現でいる。また、画像復号ユニットを単体として標準化することにより、画像復号装置を少ない構成部品で製造することが出来ので、装置の製造コストを低減できる。
【００６８】
請求項１７記載の画像復号装置は、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される。
【００６９】
この構成によれば、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。これにより、より高速の画像復号ユニットを用いた画像復号装置を実現できる。
【００７０】
請求項１８記載の画像復号装置は、再構成演算部は、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する。
【００７１】
この構成によれば、請求項５記載の特徴を有する画像復号ユニットを用いた画像復号装置を実現できる。
【００７２】
請求項１９記載の画像復号方法は、符号化された画像信号を復号する画像復号方法であって、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理ステップと、少なくとも２種類の中間データを第１メモリと第２メモリとに格納する中間データ格納ステップと、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算ステップと、再構成演算ステップにおいて生成された、再構成画像データを第３メモリに格納する再構成画像データ格納ステップとを含み、再構成演算ステップにおいて、再構成画像データを生成する処理と、再構成画像データ格納ステップにおいて、再構成画像データを格納する処理とは、時間的に並列に実行される。
【００７３】
この方法によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成することにより、より高速の画像復号ユニットを実現できる。すなわち、再構成演算部における再構成画像データ生成処理と生成された再構成画像データの格納処理を、並列処理することにより、必要な処理時間を、ほぼ半分に短縮できる。さらに、この画像復号方法は、画像符号化装置及び画像復号装置に等しく適用できる。
【００７４】
請求項２０記載の画像復号方法は、符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、復号処理ステップは、エントロピー復号ステップと逆量子化ステップと逆ＤＣＴステップと動き補償ステップとを含み、エントロピー復号ステップは、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、逆量子化ステップと逆ＤＣＴステップとは、エントロピー復号ステップにおいて出力された量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、動き補償ステップは、エントロピー復号ステップにおいて出力された動きベクトルを用いて、動き補償処理を行うステップをさらに含む。
【００７５】
この方法によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号に対して、より高速の画像復号ユニットを実現できる。さらに、この画像復号方法は、画像符号化装置及び画像復号装置に等しく適用できる。
【００７６】
請求項２１記載の画像復号方法は、第１メモリに格納する中間データは、逆ＤＣＴステップにおいて出力された局部予測誤差データであり、第２メモリに格納する中間データは、動き補償ステップにおいて出力された局部予測画像データであり、再構成演算ステップは、第１メモリに格納された局部予測誤差データと、第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納するステップを含む。
【００７７】
この方法によれば、ＤＣＴとエントロピー符号化とを用いて可変長符号に符号化された画像信号を処理する、より高速の画像復号ユニットを実現できる。さらに、再構成画像データの生成と、生成した再構成画像データのメモリへの格納を、同期を取って処理するため、より正確な並列処理と高速化が実現できる。
【００７８】
請求項２２記載の画像復号方法は、再構成演算ステップは、第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力するステップを含む。
【００７９】
この方法によれば、第１メモリと第２メモリとに格納される中間データが、ビット数が異なり、どちらか一方が符号を有する場合でも、それらを加算した結果から、正しい再構成画像データを得るために必要な新たな補正演算が不要となり、画像復号ユニットをより簡単な構成で実現できる。
【００８０】
請求項２３記載の画像復号方法は、動き補償ステップは、小数精度の動き補償を行うステップを含む。
【００８１】
この方法によれば、最近の画像規格に求められている、少数精度の動き補償を効率よく行う画像復号ユニットを提供できる。
【００８２】
請求項２４記載の画像符号化方法は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有し、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される画像復号ユニットを用いて行う画像符号化方法であって、入力される入力画像に対して、画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出ステップと、動きベクトルを基に、画像復号ユニットが動き補償を処理して出力する予測画像と、入力画像との差分をとり、予測誤差を求める予測誤差処理ステップと、予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ処理ステップと、ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化ステップと、量子化ＤＣＴ係数と、動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化ステップと、符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出するステップ、とを含む。
【００８３】
この方法によれば、請求項１９と同様の特徴を有する画像符号化装置を実現できる。
【００８４】
請求項２５記載の画像復号方法は、符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、第１メモリと第２メモリとに格納されている中間データを入力して、再構成画像データを生成する再構成演算部と、再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、再構成演算部において再構成画像データを生成する処理と、第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される画像復号ユニットと、受信バッファとを備える、画像復号装置における画像復号方法であって、受信した符号化画像データである受信ビットストリームは、受信バッファに一次的に格納されるステップと、受信バッファに格納された符号化画像データは、画像復号ユニットのエントロピー復号部に入力されるステップと、画像復号ユニットは、入力された符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した再構成画像データを画像イメージとして第３メモリに格納し、さらに、格納した画像イメージを外部に接続される画像表示装置に出力するステップとを含む。
【００８５】
この方法によれば、請求項１９と同様の特徴を有する画像復号装置を実現できる。
【００８６】
【発明の実施の形態】
本発明者らは、まず、特許文献１に開示されている考案を基にして、本発明が解決しようとする課題に取り組んだ。
【００８７】
図１２に示した従来例による動画像の動き補償の方式は、予測画像データとして、整数精度の画像予測を前提としている。そこで、小数精度の画像予測を行うためには、図１２の構成は、例えば、図１に示す構造に改良する必要がある。
【００８８】
すなわち、図１は、従来例を改良した第１の改良例である。図１の逆ＤＣＴ部２１は、図１２のＩＤＣＴ４１に相当する。同様に、図１のＤＲＡＭバッファ４２は、図１２のＤＲＡＭ書き込み用バッファ４４に、図１のフレームメモリ２４は、図１２の参照用フレームメモリ４５に、それぞれ相当する。
【００８９】
図１においては、小数精度の動き補償部５０と、ＤＲＡＭバッファ４２内に設けられた２つ目のバンクが新たに付加されている。また、動き補償部５０への動きベクトルＳ４２と、フレームメモリ２４からの再構成画像Ｓ４３の出力を、明示している。
【００９０】
図１の構成によって、小数精度の動き補償処理は、可能となった。しかし、この構成では、小数精度の動き補償を施された再構成画像の生成は、ターゲットとなる画素の近傍の画素から算出する必要があるため、その近傍の画素を格納するための専用バッファメモリを新たに備える必要があり、回路規模が大きくなるという欠点があることが明らかとなった。
【００９１】
上述した欠点を回避するため、本発明者らは、更なる考察をした。
【００９２】
すなわち、図２は、従来例を改良した第２の改良例である。第２の改良例は、図２に示すように、復号処理部６０と、データメモリ部６４と、フレームメモリ２４とを備え、復号処理部６０は、逆ＤＣＴ部６１と動き補償部６２と加算部６３を有する。
【００９３】
この第２の改良例の動作を次に説明する。まず、フレームメモリ２４から、必要なデータを一旦データメモリ部６４に取り込む。復号処理部６０は、データメモリ部に随時アクセスしながら、逆ＤＣＴ部６１における逆ＤＣＴ処理、動き補償部６２における整数精度及び小数精度の動き補償処理、あるいは、加算部６３における再構成画像の生成処理を行い、生成した再構成画像を、データメモリ部６４からフレームメモリ２４に転送する。このように、図２に示す構成により、専用のバッファメモリ等は必要とせずに、小数精度の動き補償を施した再構成画像の生成がが可能となる。
【００９４】
しかしながら、最近の画像処理の性能要求は年々高くなっており、処理能力の更なる向上が求められている。上述した第１の改良例及び第２の改良例において、処理能力の更なる向上を実現するには、復号処理部６０の動作周波数の向上が必要となり、その結果、回路規模や消費電力の増大を招くといった新たな問題が生じる。
【００９５】
これらの考察を基に、本発明者らは、新たな発想に基づく考案を行った。以下に、図面を参照しながら、本発明の実施の形態を説明する。
【００９６】
（第１の実施の形態）
【００９７】
図３は、本発明の第１の実施の形態における画像復号ユニット１００の構成図である。本形態の画像復号ユニット１００は、復号処理部１１０、データメモリ部１２０、再構成演算部１３０、及びフレームメモリ１４０を備え、前記復号処理部１１０は、エントロピー復号部１１１、動き補償部１１２、逆量子化部１１３、及び逆ＤＣＴ部１１４を有し、前記データメモリ部１２０は、データメモリＡ１２１とデータメモリＢ１２２とを有する。
【００９８】
また、復号処理部１１０は、データバス１６１を介して、データメモリ部１２０と接続されている。データメモリ部１２０は、さらに、データバス１６２を介して、再構成演算部１３０と、データバス１６４を介して、フレームメモリ１４０と、それぞれ接続されている。再構成演算部１３０は、さらに、データバス１６３を介して、フレームメモリ１４０と接続されている。
【００９９】
さらに、本形態の画像復号ユニット１００は、外部接続端子５個を有する。すなわち、端子Ｔａ１５１は、エントロピー復号部１１１への入力端子であり、端子Ｔｂ１５２は、逆量子化部１１３への入力端子であり、端子Ｔｃ１５３は、動き補償部１１２への入力端子であり、端子Ｔｄ１５４は、データメモリ部１２０から外部への出力端子であり、そして、端子Ｔｅ１５５は、フレームメモリ１４０から外部への出力端子である。
【０１００】
本形態の画像復号ユニット１００は、エントロピー符号化された信号を復号する場合、復号途中の中間データを入力して、再構成画像データを出力する再構成演算部１３０を、フレームメモリ１４０へのデータ転送の途中に設けることで、再構成画像データを生成する処理と、再構成画像データをフレームメモリ１４０に格納する処理とを、並列に処理できる。これによって、画像再構成の処理を高速に行うものである。
【０１０１】
図３を参照して、本形態の画像復号ユニット１００の動作を説明する。
【０１０２】
先ず、フレームメモリ１４０から必要なデータを、データバス１６４を介して、一旦データメモリ１２０に取り込む。復号処理部１１０は、データメモリ１３０に随時アクセスしながら、逆ＤＣＴ部１１４における逆ＤＣＴ処理、動き補償部１１２における整数精度及び小数精度の動き補償処理を行う。逆ＤＣＴ部１１４が処理した局部予測誤差データは、データメモリＡ１２１に格納される。
【０１０３】
次に、動き補償部１１２は、端子Ｔｃ１５３あるいはエントロピー復号部１１１から、動きベクトルを得る。（どちらから得るかは、後述する本発明の第２の実施の形態及び第３の実施の形態において説明する。）この動きベクトルを用いて動き補償を行うために、フレームメモリ１４０に格納されている再構成画像データを、データバス１６４を介して、データメモリ１２０に、整数精度の参照画像データとして、取り込む。動き補償部１１２は、データメモリ１２０に取り込まれた整数精度の参照画像データに対して、小数精度の動き補償を施し、得られた小数精度局部予測画像データを、データメモリＢ１２２に格納する。
【０１０４】
この時点で、データメモリＡ１２１には、逆ＤＣＴ部１１４が出力した局部予測誤差データが、データメモリＢ１２２には、動き補償部１１２が処理した少数精度局部予測画像データが、それぞれ格納されていることになる。
【０１０５】
次に、再構成演算部１３０は、データメモリＡ１２１に格納された局部予測誤差データと、データメモリＢ１２２に格納された少数精度局部予測画像データを同時に読み出し、それらを加算した後、加算結果を８ビットにクリップ処理して、順次再構成画像データとしてフレームメモリ１４０に格納する。
【０１０６】
本形態においては、再構成演算部１３０における演算を、加算および８ビットクリップ処理とした。通常、画像データは、８ビットの正値であるが、逆ＤＣＴ部１１４の出力として得られる局部予測誤差データは、正または負の値をとり得るため、通常９ビットで表現される。このため、単に局部予測誤差データ（９ビット・符号付き）と局部予測画像データ（８ビット・正）とを加算すると、その結果は、８ビットの正値とは限らないため、正しい再構成画像データを得るための補正演算をおこなう必要がある。このため、本形態では、再構成演算１３０は、加算後のデータを８ビットの正値にクリップする処理をしている。なお、再構成演算部１３０は、とくに加算とクリップ処理に限定してはおらず、画像処理の規格に応じて、重み付け加算などの処理にも対応することもできる。
【０１０７】
以上説明した、本形態の画像復号ユニット１００の動作を、タイミングチャートとして示したもが図６である。すなわち、図６は、本発明の第１の実施の形態における画像復号ユニット１００のタイミングチャートである。データ転送及び各種画像処理が、マクロブロック単位で行われている場合を例にとり、以下にその概要を説明する。
【０１０８】
図６において、復号処理部タイミング４１０は、図３に示す復号処理部１１０の各構成要素の処理タイミングを表し、データ転送タイミング４５０は、各データバスを介したデータ転送のタイミングを表す。また処理時間４００は、時間経過とともに、各部の処理が左から右に向かって進行することを表す。
【０１０９】
図３に示す復号処理部１１０は、図６に示すように、整数精度動き補償処理４２０、小数精度動き補償処理４３０、及び、逆ＤＣＴ処理４４０の順に処理して行く。復号処理部１１０が整数精度動き補償処理４２０を実施しているときに、フレームメモリ１４０から、データバス１６４を介して、データメモリ１２０への、整数精度の参照画像データ転送処理４６０が行われる。復号処理部１１０が、逆ＤＣＴ処理４４０を終了した時点で、データメモリＡ１２１には、マクロブロック２５６個分の局部予測誤差データが、データメモリＢ１２２にも、マクロブロック２５６個分の局部予測画像データが、それぞれ格納されている。復号処理部１１０が、逆ＤＣＴ処理４４０を終了すると、再構成演算処理（再構成演算部１３０における処理）と再構成画像データの転送処理（再構成演算部１３０からフレームメモリ１４０へのデータ転送）４７０が並行して行われる。すなわち、図３に示す再構成演算部１３０は、マクロブロック２５６個分の局部予測誤差データとマクロブロック２５６個分の局部予測画像データとを、順次再構成処理して、同時に、フレームメモリ１４０に格納する。
【０１１０】
上述した再構成演算処理と画像転送処理４７０について、図６を参照しつつ、さらに詳述する。図６の下半分は、画像復号ユニット１００が行う処理のサイクル数４７１を、サイクル１からサイクル２５８に亘って示している。
【０１１１】
図６に示すデータメモリＡの出力タイミング４７２とデータメモリＢの出力タイミング４７３とは、それぞれ、サイクル１からサイクル２５６に亘って、データＤ０からデータＤ２５５が出力されるタイミングを表している。ここに、Ｄ０は、０番目のマクロブロックデータを表し、Ｄ２５５は、２５５番目のマクロブロックデータを表わす。以下、同様である。
【０１１２】
再構成演算部の出力タイミング４７４は、サイクル２からサイクル２５７に亘って、データＤ０からデータＤ２５５が出力されるタイミングを表している。フレームメモリへの書き込みタイミング４７５は、サイクル３からサイクル２５８に亘って、データＤ０からデータＤ２５５がフレームメモリ１４０に格納されるタイミングを表している。
【０１１３】
このように、本形態においては、再構成演算処理と画像転送処理４７０は、サイクル１からサイクル２５８までで、画像１フレームに相当する２５６マクロブロックの処理を完結する。このとき、サイクル１とサイクル２とが、転送オーバーヘッド期間であり、サイクル３からサイクル２５８が、実質のデータ転送期間である。
【０１１４】
本形態の特徴をより明確にするために、図２に示した従来例を改良した第２の改良例を、比較例として以下に示す。
【０１１５】
図７は、従来例を改良した第２の改良例のタイミングチャートである。図７において、図６と同様の処理については、同一の符号を付すことにより、説明を省略する。
【０１１６】
図７に示す第２の改良例では、図２に示す復号処理部６０は、図７に示すように、整数精度動き補償処理４２０、小数精度動き補償処理４３０、及び、逆ＤＣＴ処理４４０の処理をした後に、再構成演算処理４８０を行う。復号処理部６０が整数精度動き補償処理４２０を実施しているときに、フレームメモリ２４からデータメモリ６４への、整数精度の参照画像データ転送処理４６０が行われる。そして、復号処理部６０が再構成演算処理４８０を完了すると、データメモリ部６４からフレームメモリ２４への再構成結果のデータ転送処理４９０を行う。
【０１１７】
再構成結果のデータ転送処理４９０の詳細を図７の下半分に示す。データメモリの出力タイミング４９２に対して、フレームメモリへの書き込みタイミング４９３は、１サイクル遅れて実行され、画像１フレームに相当する２５６マクロブロックの転送処理は、２５７サイクルで完結する。このとき、サイクル１が、転送オーバーヘッド期間であり、サイクル２からサイクル２５７が、実質のデータ転送期間である。
【０１１８】
以上説明した図６と図７を詳細に比較する。本形態と従来例を改良した第２の改良例とでは、データ転送に費やされるサイクル数は、１サイクルの差しかない。しかし、従来例を改良した第２の改良例では、再構成演算処理のための処理サイクル数が、逆ＤＣＴ処理４４０の後に必要であるが、本形態では、この処理を画像転送処理と並行して行っているために、この分の処理サイクル数を削減できている。この削減された処理サイクル数に相当する時間は、復号処理全体に必要な処理時間の約７％にも相当し、本形態により、かなりの高速化が実現されていることがわかる。
【０１１９】
本形態における図３のフレームメモリ１４０は、画像のフレームデータを格納することができ、複数のリソースの転送元あるいは転送先となり得る大容量メモリであればよく、外付けあるいは内蔵は問わない。また、単一のメモリで構成しても複数のメモリで構成してもよい。より具体的には、外付けであればＳＤＲＡＭやＤＲＡＭ、内蔵であれば混載ＤＲＡＭやＳＲＡＭによって構成してもよい。
【０１２０】
（第２の実施の形態）
【０１２１】
図４は、本発明の第２の実施の形態における画像符号化装置の構成図である。本形態の画像符号化装置は、入力端子２０１、出力端子２０２、画像復号ユニット１００、減算処理部２１０、ＤＣＴ部２１２、量子化部２１３、エントロピー符号化部２１４、送信バッファ２１５、及び、動き検出部２１６を備える。
【０１２２】
入力端子２０１は、減算処理部２１０の入力と動き検出部２１６の入力とに接続され、減算処理部２１０のもう１つの入力は、画像復号ユニット１００の端子Ｔｄ１５４に接続され、減算処理部２１０の出力は、量子化部２１３の入力に接続される。量子化部２１３の出力は、エントロピー符号化部２１４の入力と画像復号ユニット１００の端子Ｔｂ１５２に接続される。動き検出部２１６のもう１つの入力は、画像復号ユニット１００の端子Ｔｅ１５５に接続され、動き検出部２１６の出力は、エントロピー符号化部２１４のもう１つの入力と画像復号ユニット１００の端子Ｔｃ１５３とに接続される。さらに、エントロピー符号化部２１４の出力は、送信バッファ２１５の入力に接続され、送信バッファ２１５の出力は、出力端子２０２に接続される。画像復号ユニット１００の端子Ｔａ１５１は、何も接続されていない。
【０１２３】
図４に示す画像復号ユニット１００は、図３に示した画像復号ユニット１００と、左右を反転して描いているが、構成及び機能は全く同じものあり、各構成要素には同じ符号を付して、説明を省略する。
【０１２４】
以下に本形態の画像符号化装置の動作の概要を説明する。
【０１２５】
図４に示すように、入力端子２０１に入力された入力画像は、１つは、動き検出部２１６に入力されて、動き検出部２１６において、画像復号ユニット１００のフレームメモリ１４０に格納されている、参照画像としての再構成画像データと比較され、動きベクトルが求められる。入力端子２０１に入力された入力画像は、さらに、減算処理部２１０に入力さる。減算処理部２１０において、上述した動きベクトルを用いて、動き補償処理をしてデータメモリ部１２０に格納されている予測画像と比較され、その差分である予測誤差データが求められる。この予測誤差データは、ＤＣＴ部２１２においてＤＣＴ係数が求められ、量子化部２１３において量子化され、エントロピー符号化部２１４において、動き検出部２１６が求めた動きベクトルとともに、可変長符号に符号化され、送信バッファ２１５に一次格納された後、送信ビットストリームとして出力端子２０２に送られる。
【０１２６】
また、量子化部２１３において量子化されたＤＣＴ係数は、画像復号ユニット１００の端子Ｔｂ１５２に送られ、画像復号ユニット１００において、端子Ｔｃ１５３に入力されている動きベクトルを用いて、復号処理が施され、データメモリ部１２０、及び、フレームメモリ１４０に格納される。
【０１２７】
画像復号ユニット１００における、復号処理は、第１の実施の形態で説明したように、中間処理データを活用した並列処理であり、高速の処理が行われる。また、小数精度の動き補償処理が施されることは言うまでもない。その説明は、第１の実施の形態で行ったので、ここでは省略する。
【０１２８】
このように、本形態の画像符号化装置は、標準的に作られた画像復号ユニット１００を用いて、少ない要素部品で構成でき、かつ、高速並列処理を利用して、高速化と高性能化を実現できる。
【０１２９】
（第３の実施の形態）
【０１３０】
図５は、本発明の第３の実施の形態における画像復号装置の構成図である。本形態の画像復号装置は、入力端子３０１と受信バッファ３１０と画像復号ユニット１００とを備える。入力端子３０１は、受信バッファ３１０の入力に接続され、受信バッファ３１０の出力は、画像復号ユニット１００の端子Ｔａ１５１に接続される。さらに、画像復号ユニット１００の端子Ｔｅ１５５は、外部の画像表示装置３２０に接続される。画像復号ユニット１００の端子Ｔｂ１５２，端子Ｔｃ１５３，及び、端子Ｔｄ１５４は、何も接続されない。
【０１３１】
図５に示す画像復号ユニット１００は、図３に示した画像復号ユニット１００と、構成及び機能は全く同じものあり、各構成要素には同じ符号を付して、説明を省略する。
【０１３２】
以下に本形態の画像復号装置の動作の概要を説明する。
【０１３３】
図５に示すように、入力端子３０１に入力された、エントロピー符号化された受信ビットストリームは、一旦受信バッファ３１に格納されたのち、画像復号ユニット１００の端子Ｔａ１５１に入力される。
【０１３４】
端子Ｔａ１５１は、復号処理部１１０のエントロピー復号部１１１に接続されている。入力された受信ビットストリームは、エントロピー復号部１１１において、動きベクトルと量子化されたＤＣＴ係数が検出される。動きベクトルは、動き補償部１１２に、量子化されたＤＣＴ係数は、逆量子化部１１３と逆ＤＣＴ部１１４に、それぞれ送られる。画像復号ユニット１００における、以降の復号処理は、第１の実施の形態における処理と同様であり、説明を省略する。
【０１３５】
本形態の画像復号ユニット１００における、復号処理は、第１の実施の形態で説明したように、中間処理データを活用した並列処理であり、高速の処理が行われる。また、小数精度の動き補償処理が施されることは言うまでもない。
【０１３６】
このように、本形態の画像復号装置は、標準的に作られた画像復号ユニット１００を用いて、その他の要素部品として受信バッファ３１０のみを追加すことで構成でき、かつ、高速並列処理を利用して、高速化と高性能化を実現している。
【０１３７】
（第４の実施の形態）
【０１３８】
図８は、本発明の第４の実施の形態における画像復号ユニットの構成図である。本形態の画像復号ユニットは、復号処理部１１０、データメモリ群５００、第１セレクタ５１０、第２セレクタ５２０、第３セレクタ５３０、フレームメモリ５４０、再構成演算部５５０、及び、データ転送制御部５６０とを備える。
【０１３９】
データメモリ群５００は、データメモリＡ５０１、データメモリＢ５０２、データメモリＣ５０３、及び、データメモリＤ５０４を有する。
【０１４０】
図８に示す復号処理部１１０は、データメモリ群５００の各データメモリに接続される。本形態の復号処理部１１０の構成及び機能は、図３に示した、第１の実施の形態における画像復号ユニット１００の復号処理部１１０の構成及び機能と、全く同様である。したがって、図８においては、その詳細は、省略して図示していない。
【０１４１】
データメモリ群５００の各データメモリの出力は、第１セレクタ５１０と、第２セレクタ５２０と、第３セレクタ５３０とに、接続されている。第１セレクタ５１０が選択した出力は、再構成演算部５５０の一方の入力に接続され、第２セレクタ５２０が選択した出力は、再構成演算部５５０のもう一方の入力に接続される。再構成演算部５５０の出力は、第３セレクタ５３０の第５の入力に接続される。第３セレクタ５３０の出力は、フレームメモリ５４０に接続される。
【０１４２】
さらに、データ転送制御部５６０は、データ転送命令発行部５６１とデコーダ５６２とを有し、デコーダ５６２からの制御信号線Ｃ１，Ｃ２，Ｃ３は、それぞれ、第１セレクタ５１０と、第２セレクタ５２０と、第３セレクタ５３０とに、接続されている。
【０１４３】
次に、本形態の画像復号ユニットの動作の概略を説明する。
【０１４４】
図８に示すデータメモリ群５００の各データメモリには、復号処理部１１０が処理した、局部予測画像データ、あるいは、局部予測誤差データが中間処理データとして格納されている。
【０１４５】
第１セレクタ５１０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００のいずれかのデータメモリを選択し、局部予測画像データＳ５０７を取得して、再構成演算部５５０の一方に入力する。
【０１４６】
一方、第２セレクタ５２０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００のいずれかのデータメモリを選択し、局部予測誤差データＳ５０６を取得して、再構成演算部５５０のもう一方に入力する。
【０１４７】
再構成演算部５５０は、入力された局部予測画像データと局部予測誤差データとから、再構成画像データＳ５０５を生成し、それを第３セレクタ５３０の第５の入力に送る。
【０１４８】
第３セレクタ５３０は、データ転送制御部５６０が発するデータ転送命令に従って、データメモリ群５００の出力Ｓ５０１からＳ５０４、及び、再構成演算部５５０が生成した再構成画像データＳ５０５の中から、いずれかを選択し、その結果を転送データＳ５０８としてフレームメモリ５４０に送る。
【０１４９】
上述した一般的なデータメモリ（図８のデータメモリＡ５０１からデータメモリＤ５０４）と、フレームメモリ５４０との間のデータ転送を、ＤＳＰの命令で実現するために、図９に示す、データ転送命令を考案した。
【０１５０】
すなわち、図９は、本発明の第４の実施の形態における画像復号ユニットに用いるデータ転送命令６００を表す。データ転送命令６００は、第１オペラント６０１と、第２オペラント６０２と、第３オペラント６０３とを、含む。
【０１５１】
第１オペラント６０１は、第３セレクタ５３０を制御する。第１オペラント６０１に記述してある命令により、第３セレクタ５３０は、データメモリ群５００の出力Ｓ５０１からＳ５０４、及び、再構成演算部５５０が生成した再構成画像データＳ５０５の中から、いずれかを選択する。
【０１５２】
第２オペラント６０２は、第１セレクタ５１０を制御する。第２オペラント６０２に記述してある命令により、第１セレクタ５１０は、データメモリ群５００の出力Ｓ５０１からＳ５０４の中から、いずれかを選択して、予測画像データＳ５０７を出力する。
【０１５３】
第３オペラント６０３は、第２セレクタ５２０を制御する。第３オペラント６０３に記述してある命令により、第２セレクタ５２０は、データメモリ群５００の出力Ｓ５０１からＳ５０４の中から、いずれかを選択して、局部予測誤差データＳ５０６を出力する。
【０１５４】
このように、データ転送命令６００をＤＳＰ命令で記述することにより、より複雑なデータ転送が可能で、かつ、適用環境に容易に対応できる柔軟性に富んだ画像復号ユニットを実現できる。
【０１５５】
また、データ転送命令６００の第１オペラント６０１で、第３セレクタ５３０が、再構成演算部５５０が生成した再構成画像データＳ５０５をも選択できるように工夫したのが、本形態の特徴の一つである。これによって、フレームメモリ５４０に影響を与えることなく、再構成演算を伴うデータ転送命令が実現できる。
【０１５６】
さらに、再構成演算に必要な局部予測画像データＳ５０７と局部予測誤差データＳ５０６とを格納するデータメモリを固定して決めておけば、データ転送命令６００の第１オペラント６０１で、第３セレクタ５３０が、再構成演算部５５０が生成した再構成画像データＳ５０５を選択した場合には、あらかじめ決められたデータメモリから、予測画像データＳ５０７と局部予測誤差データＳ５０６とを取得することも可能である。この場合には、データ転送命令６００は、第１オペラント６０１のみを指定すればよい。
【０１５７】
このように、本発明の意図するところは、画像信号の復号処理において、中間データを用いて再構成画像データを生成し、再構成画像データの生成処理とフレームメモリへの格納処理とを並列に処理することにより、画像復号処理の高速化を図るところにあるのであって、本発明の趣旨を逸脱しない限りにおいて、種々の適用が可能である。
【発明の効果】
本発明によれば、画像信号の復号処理において、中間データを用いて再構成画像データを生成し、再構成画像データの生成処理とフレームメモリへの格納処理とを並列に処理することにより、必要な処理時間短縮して、少数精度の動き補償を高速で実行できる、画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法を提供できる。
【図面の簡単な説明】
【図１】従来例を改良した第１の改良例
【図２】従来例を改良した第２の改良例
【図３】本発明の第１の実施の形態における画像復号ユニットの構成図
【図４】本発明の第２の実施の形態における画像符号化装置の構成図
【図５】本発明の第３の実施の形態における画像復号装置の構成図
【図６】本発明の第１の実施の形態における画像復号ユニットのタイミングチャート
【図７】従来例を改良した第２の改良例のタイミングチャート
【図８】本発明の第４の実施の形態における画像復号ユニットの構成図
【図９】本発明の第４の実施の形態における画像復号ユニットに用いるデータ転送命令
【図１０】従来例の画像符号化装置のブロック図
【図１１】従来例の画像復号装置のブロック図
【図１２】従来例の動画像復号装置に用いられる動き補償部のブロック図
【符号の説明】
１００ 画像復号ユニット
１１１ エントロピー復号部
１１２ 動き補償部
１１３ 逆量子化部
１１４ 逆ＤＣＴ部
１２０ データメモリ部
１２１ データメモリＡ
１２２ データメモリＢ
１３０ 再構成演算部
１４０ フレームメモリ
１５１〜１５５ 端子Ｔａ〜端子Ｔｅ
１６１〜１６４ データバス
２１０ 減算処理部
２１２ ＤＣＴ部
２１３ 量子化部
２１４ エントロピー符号化部
２１５ 送信バッファ
２１６ 動き検出部
３１０ 受信バッファ
３２０ 画像表示装置
４００ 処理時間
４１０ 復号処理部タイミング
４２０ 整数精度動き補償処理
４３０ 小数精度動き補償処理
４４０ 逆ＤＣＴ処理
４５０ データ転送タイミング
４６０ 参照画像データ転送処理
４７０ 再構成演算処理と画像転送処理
４８０ 再構成演算処理
４９０ データ転送処理
５００ データメモリ群
５０１〜５０４ データメモリＡ〜データメモリＤ
５１０ 第１セレクタ
５２０ 第２セレクタ
５３０ 第３セレクタ
５４０ フレームメモリ
５５０ 再構成演算部
５６０ データ転送制御部
５６１ データ転送命令発行部
５６２ デコーダ
６００ データ転送命令
６０１ 第１オペラント
６０２ 第２オペラント
６０３ 第３オペラント
Claims (25)
- 符号化された画像信号を復号する画像復号ユニットであって、
符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算部と、
前記再構成演算部において生成された再構成画像データを格納する第３メモリとを備える画像復号ユニット。 - 前記符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、
前記復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、
前記エントロピー復号部は、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、
前記逆量子化部と前記逆ＤＣＴ部とは、前記エントロピー復号部が出力した量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、
前記動き補償部は、前記エントロピー復号部が出力した動きベクトルを用いて、動き補償処理を行う、請求項１記載の画像復号ユニット。 - 前記再構成演算部において再構成画像データを生成する処理と、前記第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される、請求項１から２記載の画像復号ユニット。
- 前記第１メモリに格納する中間データは、前記逆ＤＣＴ部が出力する局部予測誤差データであり、
前記第２メモリに格納する中間データは、前記動き補償部が出力する局部予測画像データであり、
前記再構成演算部は、前記第１メモリに格納された局部予測誤差データと、前記第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納する、請求項１から３記載の画像復号ユニット。 - 前記再構成演算部は、前記第１メモリと前記第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する、請求項１から４記載の画像復号ユニット。
- 前記再構成演算部が行う加算結果の正規化は、８ビットの正の値に対する正規化である、請求項１から５記載の画像復号ユニット。
- 前記動き補償部は、小数精度の動き補償を行う、請求項１から６記載の画像復号ユニット。
- 符号化された画像信号を復号する画像復号ユニットであって、
符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記復号処理部が生成した、前記少なくとも２種類の中間データを格納する、複数のデータメモリを含むメモリ群と
前記メモリ群のいずれかのデータメモリを選択して、前記少なくとも２種類の中間データの内の第１の中間データを取得する、第１選択手段と、
前記メモリ群のいずれかのデータメモリを選択して、前記少なくとも２種類の中間データの内の第２の中間データを取得する、第２選択手段と、
前記第１選択手段で取得した第１の中間データと、前記第２選択手段で取得した第２の中間データとを用いて、再構成画像データを生成する、再構成演算部と、
前記メモリ群のいずれかのデータメモリか、あるいは、前記再構成演算部の出力かを選択して、データを取得する、第３選択手段と、
前記第３選択手段が取得したデータを格納するメモリと、
前記第１選択手段と、前記第２選択手段と、前記第３選択手段とに、データ転送命令を送って、それぞれのデータ転送元を制御する、データ転送制御部とを備えた、画像復号ユニット。 - 前記符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、
前記復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、
前記復号処理部は、少なくとも２種類の中間データを生成する、請求項８記載の画像復号ユニット。 - 前記第１の中間データは、局部予測画像データであり、前記第２の中間データは、局部予測誤差データである請求項８及び９記載の画像復号ユニット。
- 請求項８記載の画像復号ユニットを用いて行うデータ転送方法であって、
前記第３選択手段に対して、データ転送元として、前記メモリ群のいずれかのデータメモリ、あるいは、前記再構成演算部出力を指定する第１オペラントと、
前記第１選択手段に対して、データ転送元として、前記メモリ群のいずれかのデータメモリを指定する第２オペラントと、
前記第２選択手段に対して、データ転送元として、前記メモリ群のいずれかのデータメモリを指定する第３オペラントとを含む、データ転送命令を発行するステップと、
前記データ転送命令を受け取った選択手段は、指定されたデータ転送元からデータを取得するステップと、
前記第３選択手段に対して、前記再構成演算部出力を選択するデータ転送命令が発行された時には、
前記第１選択手段は、指示されたデータメモリから第１の中間データを取得し、
前記第２選択手段は、指示されたデータメモリから第２の中間データを取得し、
前記再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次前記メモリに格納するステップとを含む、データ転送方法。 - 請求項８記載の画像復号ユニットを用いて行うデータ転送方法であって、
前記第３選択手段に対して、データ転送元として、前記メモリ群のいずれかのデータメモリ、あるいは、前記再構成演算部出力を指定するオペラントを含む、データ転送命令を発行するステップと、
前記第３選択手段は、前記データ転送命令を受け取った後、指定されたデータ転送元からデータを取得するステップと、
前記第３選択手段に対して、前記再構成演算部出力を選択するデータ転送命令が発行された時には、
前記第１選択手段は、あらかじめ指示されたデータメモリから第１の中間データを取得し、
前記第２選択手段は、あらかじめ指示されたデータメモリから第２の中間データを取得し、
前記再構成演算部は、それらのデータを用いて、再構成画像データを生成し、逐次前記メモリに格納するステップとを含む、データ転送方法。 - 符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算部と、
前記再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、
前記復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、
入力される入力画像に対して、前記画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出部と、
前記動きベクトルを基に、前記画像復号ユニットが動き補償を処理して出力する予測画像と、前記入力画像との差分をとり、予測誤差を求める予測誤差処理部と、
前記予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ部と、
前記ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化部と、
前記量子化ＤＣＴ係数と、前記動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化部と、
前記符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出する、送信バッファとを備える、画像符号化装置。 - 前記再構成演算部において再構成画像データを生成する処理と、前記第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される、請求項１３記載の画像符号化装置。
- 前記再構成演算部は、前記第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する、請求項１３及び１４記載の画像符号化装置。
- 符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算部と、
前記再構成演算部において生成された、再構成画像データを格納する第３メモリとを有し、
前記復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有する画像復号ユニットと、
符号化画像データである受信ビットストリームを一次的に格納する受信バッファとを備え、
前記受信バッファに格納された前記符号化画像データは、前記画像復号ユニットの前記エントロピー復号部に入力され、
前記画像復号ユニットは、入力された前記符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、前記中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した前記再構成画像データを画像イメージとして前記第３メモリに格納し、さらに、格納した前記画像イメージを外部に接続される画像表示装置に出力する、画像復号装置。 - 前記再構成演算部において再構成画像データを生成する処理と、前記第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される請求項１６記載の画像復号装置。
- 前記再構成演算部は、前記第１メモリと前記第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力する請求項１６及び１７記載の画像復号装置。
- 符号化された画像信号を復号する画像復号方法であって、
符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理ステップと、
前記少なくとも２種類の中間データを第１メモリと第２メモリとに格納する中間データ格納ステップと、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算ステップと、
前記再構成演算ステップにおいて生成された、再構成画像データを第３メモリに格納する再構成画像データ格納ステップとを含み、
前記再構成演算ステップにおいて、再構成画像データを生成する処理と、前記再構成画像データ格納ステップにおいて、再構成画像データを格納する処理とは、時間的に並列に実行される、画像復号方法。 - 前記符号化された画像信号は、ＤＣＴとエントロピー符号化とを用いて符号化された画像信号であり、
前記復号処理ステップは、エントロピー復号ステップと逆量子化ステップと逆ＤＣＴステップと動き補償ステップとを含み、
前記エントロピー復号ステップは、入力される符号化された画像信号を復号して、量子化ＤＣＴ係数と動きベクトルを出力し、
前記逆量子化ステップと前記逆ＤＣＴステップとは、前記エントロピー復号ステップにおいて出力された量子化ＤＣＴ係数から、ＤＣＴ係数を求めて出力し、
前記動き補償ステップは、前記エントロピー復号ステップにおいて出力された動きベクトルを用いて、動き補償処理を行うステップをさらに含む、請求項１９記載の画像復号方法。 - 前記第１メモリに格納する中間データは、前記逆ＤＣＴステップにおいて出力された局部予測誤差データであり、
前記第２メモリに格納する中間データは、前記動き補償ステップにおいて出力された局部予測画像データであり、
前記再構成演算ステップは、前記第１メモリに格納された局部予測誤差データと、前記第２メモリに格納された局部予測画像データとを、取得し、その取得のタイミングに同期して、再構成画像データを生成し、生成した再構成画像データを、逐次第３メモリに格納するステップを含む、請求項１９及び２０記載の画像復号方法。 - 前記再構成演算ステップは、前記第１メモリと第２メモリとから取得したデータを加算し、その加算した結果を一定のビット数に正規化して出力するステップを含む、請求項１９から２１記載の画像復号方法。
- 前記動き補償ステップは、小数精度の動き補償を行うステップを含む、請求項１９から２２記載の画像復号方法。
- 符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算部と、
前記再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、
前記復号処理部は、逆量子化部と逆ＤＣＴ部と動き補償部とを有し、
前記再構成演算部において再構成画像データを生成する処理と、前記第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される
画像復号ユニットを用いて行う画像符号化方法であって、
入力される入力画像に対して、前記画像復号ユニットが出力する再構成画像データを、参照画像として用いて、入力画像の動きベクトルを検出する、動き検出ステップと、
前記動きベクトルを基に、前記画像復号ユニットが動き補償を処理して出力する予測画像と、前記入力画像との差分をとり、予測誤差を求める予測誤差処理ステップと、
前記予測誤差をＤＣＴ処理してＤＣＴ係数を求めるＤＣＴ処理ステップと、
前記ＤＣＴ係数を量子化して量子化ＤＣＴ係数を求める量子化ステップと、
前記量子化ＤＣＴ係数と、前記動きベクトルとを、可変長符号に符号化して符号化画像データを生成するエントロピー符号化ステップと、
前記符号化画像データを一時的に格納し、逐次送信ビットストリ−ムとして送出するステップ、とを含む、画像符号化方法。 - 符号化された画像信号を復号して、少なくとも２種類の中間データを生成する復号処理部と、
前記少なくとも２種類の中間データを格納する第１メモリと第２メモリとを有するデータメモリ部と、
前記第１メモリと前記第２メモリとに格納されている前記中間データを入力して、再構成画像データを生成する再構成演算部と、
前記再構成演算部において生成された再構成画像データを格納する第３メモリとを有し、
前記復号処理部は、エントロピー復号部と逆量子化部と逆ＤＣＴ部と動き補償部とを有し、
前記再構成演算部において再構成画像データを生成する処理と、前記第３メモリに再構成画像データを格納する処理とは、時間的に並列に実行される
画像復号ユニットと、
受信バッファとを備える、画像復号装置における画像復号方法であって、
受信した符号化画像データである受信ビットストリームは、受信バッファに一次的に格納されるステップと、
前記受信バッファに格納された前記符号化画像データは、前記画像復号ユニットの前記エントロピー復号部に入力されるステップと、
前記画像復号ユニットは、入力された前記符号化画像データから、ＤＣＴ係数と動きベクトルを算出し、前記中間データとしての局部予測誤差データと局部予測画像データとを生成し、それらを用いて再構成画像データを生成し、生成した前記再構成画像データを画像イメージとして前記第３メモリに格納し、さらに、格納した前記画像イメージを外部に接続される画像表示装置に出力するステップとを含む、画像復号方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130259A JP2004336451A (ja) | 2003-05-08 | 2003-05-08 | 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 |
| CNB2004100353442A CN1278565C (zh) | 2003-05-08 | 2004-04-22 | 图像解码单元和图像编码、解码装置和编码、解码方法 |
| US10/832,266 US7319794B2 (en) | 2003-05-08 | 2004-04-27 | Image decoding unit, image encoding/ decoding devices using image decoding unit, and method thereof |
| EP20040009950 EP1475972A2 (en) | 2003-05-08 | 2004-04-27 | Apparatus and method for moving picture decoding device with parallel processing |
| KR1020040032374A KR20040095742A (ko) | 2003-05-08 | 2004-05-07 | 화상 복호 유닛과 그것을 이용한 화상 부호화 장치 및부호화 방법, 및 화상 복호 장치 및 복호 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130259A JP2004336451A (ja) | 2003-05-08 | 2003-05-08 | 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004336451A true JP2004336451A (ja) | 2004-11-25 |
Family
ID=32985653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003130259A Pending JP2004336451A (ja) | 2003-05-08 | 2003-05-08 | 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7319794B2 (ja) |
| EP (1) | EP1475972A2 (ja) |
| JP (1) | JP2004336451A (ja) |
| KR (1) | KR20040095742A (ja) |
| CN (1) | CN1278565C (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4712642B2 (ja) * | 2006-08-17 | 2011-06-29 | 富士通セミコンダクター株式会社 | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
| JP4902854B2 (ja) * | 2006-09-12 | 2012-03-21 | パナソニック株式会社 | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 |
| WO2008037113A1 (en) * | 2006-09-25 | 2008-04-03 | Thomson Licensing | Apparatus and method for processing video data |
| WO2008037112A1 (en) * | 2006-09-25 | 2008-04-03 | Thomson Licensing | Apparatus and method for processing video data |
| CN101227601B (zh) * | 2007-01-15 | 2011-09-14 | 飞思卡尔半导体公司 | 在视频再现中进行几何变换的方法和设备 |
| US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
| KR100950042B1 (ko) * | 2007-10-17 | 2010-03-29 | 한국전자통신연구원 | 가변 시간 슬롯을 가지는 파이프라인 기법을 이용한 영상 부호화 장치 및 방법 |
| KR100968371B1 (ko) * | 2008-04-25 | 2010-07-06 | 주식회사 코아로직 | 영상의 복호화 방법 및 장치 |
| US8055087B2 (en) * | 2008-04-29 | 2011-11-08 | Sony Corporation | Sample level variation for spatial sub-sampled images |
| US8059909B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive generation of irregular spatial sub-sampling for images |
| US8059908B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter for irregular spatial sub-sampled images |
| CN101964881A (zh) * | 2009-07-21 | 2011-02-02 | 北京中天联科微电子技术有限公司 | 一种在数字电视接收中实现图像旋转的方法和系统 |
| US9973768B2 (en) * | 2010-03-16 | 2018-05-15 | Texas Instruments Incorporated | CABAC decoder with decoupled arithmetic decoding and inverse binarization |
| US9706214B2 (en) | 2010-12-24 | 2017-07-11 | Microsoft Technology Licensing, Llc | Image and video decoding implementations |
| CN103002276B (zh) * | 2011-03-31 | 2017-10-03 | Vixs系统公司 | 多格式视频解码器及解码方法 |
| US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
| US9432688B2 (en) * | 2013-08-26 | 2016-08-30 | Broadcom Corporation | Parallel symbol decoding |
| US9633158B1 (en) | 2014-11-11 | 2017-04-25 | Altera Corporation | Selectable reconfiguration for dynamically reconfigurable IP cores |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5812735A (en) * | 1993-07-09 | 1998-09-22 | Sony Corporaiton | Picture signal decoding method and picture signal decoding apparatus |
| EP0660614A4 (en) | 1993-07-12 | 1998-03-18 | Sony Corp | IMAGE DECODING METHOD AND DEVICE AND IMAGE CODING METHOD AND DEVICE. |
| WO1998009444A1 (en) * | 1996-08-29 | 1998-03-05 | Matsushita Electric Industrial Co., Ltd. | Image decoder and image memory overcoming various kinds of delaying factors caused by hardware specifications specific to image memory by improving storing system and reading-out system |
| US6539120B1 (en) * | 1997-03-12 | 2003-03-25 | Matsushita Electric Industrial Co., Ltd. | MPEG decoder providing multiple standard output signals |
| US20020118743A1 (en) * | 2001-02-28 | 2002-08-29 | Hong Jiang | Method, apparatus and system for multiple-layer scalable video coding |
-
2003
- 2003-05-08 JP JP2003130259A patent/JP2004336451A/ja active Pending
-
2004
- 2004-04-22 CN CNB2004100353442A patent/CN1278565C/zh not_active Expired - Fee Related
- 2004-04-27 EP EP20040009950 patent/EP1475972A2/en not_active Withdrawn
- 2004-04-27 US US10/832,266 patent/US7319794B2/en not_active Expired - Fee Related
- 2004-05-07 KR KR1020040032374A patent/KR20040095742A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1551635A (zh) | 2004-12-01 |
| EP1475972A2 (en) | 2004-11-10 |
| CN1278565C (zh) | 2006-10-04 |
| KR20040095742A (ko) | 2004-11-15 |
| US7319794B2 (en) | 2008-01-15 |
| US20040240743A1 (en) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5774206A (en) | Process for controlling an MPEG decoder | |
| JP2004336451A (ja) | 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法 | |
| US7403564B2 (en) | System and method for multiple channel video transcoding | |
| US8902966B2 (en) | Video decoding device | |
| JP5295045B2 (ja) | 組み込み機器において高解像度画像を提供するための方法及び装置 | |
| US20080063080A1 (en) | Hierarchical Motion Estimation Using Original Frame for Sub-Sampled Reference | |
| US20060133512A1 (en) | Video decoder and associated methods of operation | |
| EP1689187A1 (en) | Method and system for video compression and decompression (CODEC) in a microprocessor | |
| US8311088B2 (en) | Method and system for image processing in a microprocessor for portable video communication devices | |
| CN108848377B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| US20060176960A1 (en) | Method and system for decoding variable length code (VLC) in a microprocessor | |
| US7113644B2 (en) | Image coding apparatus and image coding method | |
| JP2006279574A (ja) | 復号装置と方法 | |
| US8111753B2 (en) | Video encoding method and video encoder for improving performance | |
| US7330595B2 (en) | System and method for video data compression | |
| US9300975B2 (en) | Concurrent access shared buffer in a video encoder | |
| JP4590335B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR20130006578A (ko) | 비표준 벡터 양자화 코더를 이용한 비디오 표준을 따르는 레지듀얼 코딩 | |
| US5751357A (en) | Method and arrangement for coding and decoding a video data stream for all picture elements of the video data stream | |
| US5805483A (en) | Method of converting data outputting sequence in inverse DCT and circuit thereof | |
| US7675972B1 (en) | System and method for multiple channel video transcoding | |
| WO1996036178A1 (en) | Multiple sequence mpeg decoder and process for controlling same | |
| KR100209357B1 (ko) | Mpeg-1 및 mpeg-2 비디오 역양자기 회로 | |
| JPH10164596A (ja) | 動き検出装置 | |
| KR100210383B1 (ko) | 양자화기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081014 |