JP2008022134A - 整数画素動き予測機構、１／４画素輝度用動き予測機構、１／４画素色差用動き予測機構、組合せ輝度用動き予測機構、組合せ輝度・色差用動き予測機構及び１／４画素輝度・色差用動き予測機構 - Google Patents

Abstract

【課題】回路構成の簡略化を図りながら高速に動き予測が行える動き予測機構を得る。
【解決手段】ＩＭＥ１１の整数画素動き予測に用いられるＲＡＭ＿ＨＩＭＥ２１は、ＳＤＲＡＭ１より整数画素の輝度データＤ１を、抽出矩形領域４２に関し読み出し効率向上を図った条件を満足して格納する。ＳＭＥ１３による１／４画素動き予測に用いられるＲＡＭ＿ＨＳＭＥ２３は一部１／４画素輝度データＳ１２を、演算後矩形領域４８の演算による取得に関し効率化を図った条件を満足して格納する。ＱＰＧ１４による１／４画素精度の色差データ生成に用いられるＲＡＭ＿ＨＭＥＣ２４はＳＤＲＡＭ１より整数画素の色差データＤ２を、演算後矩形領域４０Ｕ及び演算後矩形領域４０Ｖの演算による取得に関し効率化を図った条件を満足して格納する。
【選択図】図１

Description

この発明は、動画像を動き予測する動き予測機構に関し、特に動き予測の際における画像の抽出方法に関する。

電気通信に関する国際標準化機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）のＶＣＥＧ（Video Coding Experts Group）とＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Expetrts Group）によって、動画像符号化の最新国際標準としてＨ．２６４が開発され、実用化されている。

Ｈ．２６４は、ＭＰＥＧ−２やＭＰＥＧ−４に比べて、同程度の画質で２倍の圧縮を行うことができ、低ビットレートのテレビ会議からＨＤＴＶ（High Definition Television）までの幅広い用途に適用可能である。

Ｈ．２６４のエンコーダにおいて、動き予測機構（ＭＥ（Motion Estimation））、動き補償機構（ＭＣ(Motion Compensation)）、及びフレームメモリ間で動きを予測すべく画像データの授受が行われる。少ないフレームメモリ容量で効率的に動画圧縮を実行することができるメモリとして例えば特許文献１に開示されたメモリがある。

特開２００４−２２２２６２号公報

上記した特許文献１は主としてフレームメモリの改良にすぎず、動き予測機構内で用いられる内部メモリに関しては改良されておらず、動き予測機構が比較的簡単な回路構成で高速な動き予測が行えていないという問題点があった。

この発明は上記問題点を解決するためになされたもので、回路構成の簡略化を図りながら高速に動き予測が行える動き予測機構を得ることを目的とする。

この発明に係る請求項１記載の整数画素動き予測機構は、所定の画像領域における整数画素精度の輝度データを分割して、格納輝度データ単位に格納する所定数の整数画素探索用記憶部と、前記所定数の整数画素探索用記憶部から読み出される前記格納輝度データの組合せに基づき、所定の基準抽出領域を抽出して整数画素精度で動き予測を行う整数画素動き予測部と、前記所定数の整数画素探索用記憶部において、水平方向及び垂直方向に隣接する前記格納輝度データ並びに前記水平方向に４連続隣接する前記格納輝度データが、前記所定数の整数画素探索用記憶部間で異なるように格納される。

この発明に係る請求項２記載の１／４画素輝度用動き予測機構は、所定の画像領域における整数画素精度の輝度データを格納する輝度用一時記憶部と、前記輝度用一時記憶部から読み出される前記輝度データに基づき、水平方向補間処理及び垂直方向補間処理を行い、水平方向及び垂直方向のうち一方方向のみ１／４画素精度の輝度データとした一部１／４画素輝度データを生成する輝度用１／４画素生成部と、前記一部１／４画素輝度データを分割して、格納１／４画素輝度データ単位に格納する所定数の１／４画素探索用記憶部と、前記所定数の１／４画素探索用記憶部から読み出される前記格納１／４画素輝度データの組合せに基づき、所定の演算処理を実行することにより、水平方向及び垂直方向共に１／４画素精度で所定の輝度用演算後基準領域を取得して１／４画素精度で動き予測を行う１／４画素動き予測部とを備え、前記所定の演算処理は、前記一方方向と異なる他方方向における補間処理を行い、前記他方方向における１／４画素精度の輝度データを演算する処理を含み、前記所定数の１／４画素探索用記憶部において、前記他方方向に隣接する前記格納１／４画素輝度データ及び前記一方方向に整数画素単位で４連続隣接する前記格納１／４画素輝度データが、前記所定数の１／４画素探索用記憶部間で異なるように格納される。

この発明に係る請求項３記載の１／４画素色差用動き予測機構は、所定の画像領域における整数画素精度の色差データを分割して、格納色差データ単位に格納する所定数の色差探索用記憶部と、前記所定数の色差探索用記憶部から読み出される前記格納色差データの組合せから、１／４画素精度の基準位置情報に基づき演算処理を行い、１／４画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する色差用１／４画素生成部とを備え、前記所定数の色差探索用記憶部において、水平方向に隣接する前記格納色差データが第１の数分画素を重複させながら格納され、垂直方向に第２の数分連続して隣接する前記格納色差データが前記所定数の色差探索用記憶部間で異なるように格納される。

この発明に係る請求項４記載の組合せ輝度用動き予測機構は、請求項１記載の整数画素輝度用動き予測機構と、請求項２記載の１／４画素輝度用動き予測機構とを備え、前記整数画素輝度用動き予測機構の前記整数画素動き予測部は動き予測結果として整数画素精度の基準位置信号を出力し、前記１／４画素輝度用動き予測機構の前記１／４画素動き予測部は、前記基準位置信号で指示される基準位置を基点として１／４画素精度の動き予測を行う。

この発明に係る請求項５記載の組合せ輝度・色差用動き予測機構は、請求項１記載の整数画素輝度用動き予測機構と、請求項２記載の１／４画素輝度用動き予測機構と、請求項３記載の１／４画素色差用動き予測機構とを備え、前記整数画素輝度用動き予測機構の前記整数画素動き予測部は動き予測結果として整数画素精度の基準位置信号を出力し、前記１／４画素輝度用動き予測機構の前記１／４画素動き予測部は、前記基準位置信号で指示される基準位置を基点として１／４画素精度の動き予測を行い、１／４画素精度の予測結果輝度データを出力し、前記１／４画素色差用動き予測機構が用いる前記基準位置情報は、前記１／４画素精度の予測結果輝度データの基準位置情報を含む。

この発明に係る請求項６記載の１／４画素輝度・色差用動き予測機構は、所定の画像領域における整数画素精度の輝度データ及び色差データを分割して、格納輝度データ及び格納色差データ単位にそれぞれ格納する所定数の１／４画素探索用記憶部と、前記所定数の１／４画素探索用記憶部から読み出される前記格納輝度データの組合せに基づき、所定の演算処理を実行することにより、水平方向及び垂直方向共に１／４画素精度で所定の輝度用演算後基準領域を取得して動き予測を行い予測結果輝度データを得るとともに、前記所定数の１／４画素探索用記憶部から読み出される前記格納色差データの組合せに基づき、前記予測結果輝度データの１／４画素精度の位置情報に対応して、１／４画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する、１／４画素動き予測部とを備え、前記所定数の１／４画素探索用記憶部において、水平方向に隣接する前記格納輝度データが第１の数分画素を重複させながら格納され、垂直方向に第２の数分連続して隣接する前記格納輝度データが前記所定数の１／４画素用記憶部間で異なるように格納され、水平方向に隣接する前記格納色差データ及び垂直方向に前記第３の数分連続して隣接する前記格納色差データが、前記所定数の色差探索用記憶部間で異なるように格納される。

この発明に係る請求項１記載の整数画素動き予測機構の所定数の整数画素探索用記憶部において、水平方向及び垂直方向に隣接する格納輝度データ並びに水平方向に４連続隣接する格納輝度データが、所定数の整数画素探索用記憶部間で異なるように格納される。

したがって、所定数の整数画素探索用記憶部から読み出される所定数の格納輝度データの組合せから抽出される所定の基準抽出領域を、所定の画像領域における任意の位置で効率良く読み出すことができる。

その結果、整数画素動き予測部は、所定の基準抽出領域の抽出処理の効率化に伴い整数画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、整数画素探索用記憶部の演算処理負担の軽減を図ることができる分、回路構成の軽減化を図ることができる。

この発明に係る請求項２記載の１／４画素輝度用動き予測機構の所定数の１／４画素探索用記憶部において、水平方向に隣接する格納１／４画素輝度データ及び垂直方向に整数画素単位で４連続隣接する格納１／４画素輝度データが、所定数の１／４画素探索用記憶部間で異なるように格納される。

したがって、所定数の１／４画素探索用記憶部から読み出される所定数の格納１／４画素輝度データの組合せから所定の演算処理によって得られる所定の輝度用演算後基準領域を、所定の画像領域における任意の位置で効率的に得ることができる。

その結果、１／４画素動き予測部は、所定の輝度用演算後抽出領域の取得の効率化に伴い１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、１／４画素動き予測部の演算処理負担の軽減を図ることができる分、回路構成の軽減化を図ることができる。

この発明に係る請求項３記載の１／４画素色差用動き予測機構の所定数の色差探索用記憶部において、他方方向に隣接する格納色差データが第１の数分画素を重複させながら格納され、一方方向に第２の数分連続して隣接する格納色差データが所定数の色差探索用記憶部間で異なるように格納される。

したがって、所定数の色差探索用記憶部から読み出される格納色差データの組合せから演算して得られる色差用演算後基準領域を、所定の画像領域における任意の位置で効率的に得ることができる。

その結果、色差用１／４画素生成部は、色差用演算後基準領域の取得処理の効率化に伴い色差データに対する１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、色差用１／４画素生成部の演算処理負担の軽減を図ることができる分、回路構成の軽減化を図ることができる。

この発明に係る請求項４記載の組合せ輝度用動き予測機構は、請求項１の整数画素輝度用動き予測機構と、請求項２記載の１／４画素輝度用動き予測機構との組合せにより、回路構成の軽減化を図りながら、１／４画素精度の輝度データに基づく動き予測をより高速に行うことができる。

この発明に係る請求項５記載の組合せ輝度・色差用動き予測機構は、請求項１の整数画素輝度用動き予測機構と、請求項２記載の１／４画素輝度用動き予測機構と、請求項３記載の１／４画素色差用動き予測機構との組合せにより、回路構成の軽減化を図りながら、１／４画素精度の輝度データ及び色差データに基づく動き予測をより高速に行うことができる。

この発明に係る請求項６記載の１／４画素輝度・色差用動き予測機構の所定数の１／４画素探索用記憶部において、水平方向に隣接する格納輝度データが第１の数分画素を重複させながら格納され、垂直方向に第２の数分連続して隣接する格納輝度データが所定数の１／４画素用記憶部間で異なるように格納され、水平方向に隣接する格納色差データ及び垂直方向に第３の数分連続して隣接する格納色差データが、所定数の色差探索用記憶部間で異なるように格納される。

したがって、所定数の１／４画素探索用記憶部から読み出される格納輝度データ及び格納色差データの組合せから演算して得られる輝度用演算後基準領域及び色差用演算後基準領域を、所定の画像領域における任意の位置でそれぞれ効率的に得ることができる。

その結果、輝度用演算後基準領域及び色差用演算後基準領域の取得処理の効率化に伴い１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、１／４画素動き予測部の演算処理負担の軽減を図ることができる分、回路構成の軽減化を図ることができる。

＜実施の形態１＞
（全体構成）
図１はこの発明の実施の形態１である動き予測機構及びその周辺の構成を示すブロック図である。同図に示すように、組合せ輝度・色差用動き予測機構であるＭＥ２はＳＤＲＡＭ１より輝度データＤ１及び色差データＤ２を受け、動き予測結果として輝度・色差データＤ３をＭＣ３に出力する。なお、Ｈ．２６４のエンコーダにおいて、ＳＤＲＡＭ１のフレームメモリに相当し、ＭＥ２は動き予測機構に相当し、ＭＣ３は動き補償機構に相当する。

ＭＥ２はＲＡＭ＿ＨＩＭＥ(H.264 Integer pel Motion Estimation）２１、ＲＡＭ＿ＨＭＥＹ(H.264 Motion Estimation Y）２２、ＲＡＭ＿ＨＳＭＥ（H.264 Sub pel Motion Estimation）２３、ＲＡＭ＿ＨＭＥＣ(H.264 Motion Estimation Chroma)２４、ＩＭＥ(Integer pel Motion Estimation）１１、ＱＰＧ(Quater Pixel Generator)１２、ＳＭＥ（Sub pel Motion Estimation）１３及びＱＰＧ１４より構成される。

ＳＤＲＡＭ１は整数画素精度の輝度データＤ１及び色差データＤ２を格納しており、輝度データに対する整数動き予測用ＳＲＡＭ（整数画素探索用記憶部）であるＲＡＭ＿ＨＩＭＥ２１は、ＳＤＲＡＭ１より整数画素の輝度データＤ１を後述する条件を満足して格納する。輝度データに対する整数画素動き予測部であるＩＭＥ１１は、ＲＡＭ＿ＨＩＭＥ２１に格納された輝度データを用いて、整数画素探索処理を行って整数画素精度で予測し、予測結果輝度データの基準位置を示す基準位置信号Ｓ１１をＳＭＥ１３に出力する。

輝度データに対する１／４画素探索用の整数画素記憶ＳＲＡＭ（輝度用一時記憶部）であるＲＡＭ＿ＨＭＥＹ２２は、ＳＤＲＡＭ１より輝度データＤ１を後述する条件を満足して格納する。輝度用１／４画素生成部であるＱＰＧ１２はＲＡＭ＿ＨＭＥＹ２２に格納された輝度データを用いて、後述する輝度用１／４画素生成処理を行って整数画素データに（水平方向，垂直方向，斜め方向）１／２画素データ及び（垂直方向）１／４画素データが加味された一部１／４画素輝度データＳ１２をＲＡＭ＿ＨＳＭＥ２３に出力する。

一部１／４画素記憶用ＳＲＡＭ（１／４画素探索用記憶部）であるＲＡＭ＿ＨＳＭＥ２３は、一部１／４画素輝度データＳ１２を後述する条件を満足して格納する。輝度データに対する１／４画素動き予測部であるＳＭＥ１３は、整数探索基準位置Ｓ１１の基準として、基準位置から水平方向及び垂直方向に｛−０．７５〜＋０．７５｝の範囲で、１／４画素精度の画素探索を行う。すなわち、ＳＭＥ１３は、ＲＡＭ＿ＨＳＭＥ２３に格納された一部１／４画素輝度データを用いて、後述する１／４画素探索処理を行って１／４画素単位の探索結果である輝度データＳ１３（予測結果輝度データ）を出力するとともに、輝度データＳ１３の１／４画素単位の基準位置を指示する基準位置信号Ｓ１３ｐ（基準位置情報）をＱＰＧ１４に出力する。

色差データに対する動き予測用のＳＲＡＭ（色差探索用記憶部）であるＲＡＭ＿ＨＭＥＣ２４は、ＳＤＲＡＭ１より整数画素の色差データＤ２を後述する条件を満足して格納する。色差用１／４画素生成部であるＱＰＧ１４は、ＲＡＭ＿ＨＭＥＣ２４に格納された色差データを用いて、基準位置信号Ｓ１３ｐを基準として後述する色差用１／４画素生成処理を行って、輝度データＳ１３に対応する１／４画素精度の色差データＳ１４（予測結果色差データ）を生成する。この色差データＳ１４と輝度データＳ１３とが輝度・色差データＤ３となる。

（輝度データに対する整数画素動き予測機構）
図１で示したＲＡＭ＿ＨＩＭＥ２１及びＩＭＥ１１によって、輝度データに対する整数画素動き予測機構を構成する。

（ＲＡＭ＿ＨＩＭＥ２１，ＩＭＥ１１）
図２はＲＡＭ＿ＨＩＭＥ２１が格納する元画像領域３０を模式的に示す説明図である。同図において、ｎ(pixel)×ｍ(line)の元画像領域３０（所定の画像領域）における任意の８(pixel)×４(line)の抽出矩形領域４２（所定の基準抽出領域）が抽出可能に格納される。図２ではｎ＝４０，ｍ＝４０の場合を示している。

図３は動き予測に用いられる輝度データの整数画素（位置）精度の取得矩形領域例を示す説明図である。同図(a) に示すように、２つの８×４の抽出矩形領域４２よって８×８の矩形領域３１を取得したり、同図(b) に示すように、４つの抽出矩形領域４２よって８×１６の矩形領域３２を取得したり、同図(c) に示すように、４つの抽出矩形領域４２よって１６×８の矩形領域３３を取得したり、同図(d) に示すように、８つの抽出矩形領域４２によって１６×１６の矩形領域３４を取得することができる。

ＲＡＭ＿ＨＩＭＥ２１は４枚のＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄから構成され、以下の条件を満足するように格納される。なお、ＳＤＲＡＭ１からは、８（pixel）×２（line）単位で輝度データＤ１が読み出されることを前提としている。以下では、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄの一を代表させてＲＡＭ＿ＨＩＭＥ２１ｘと表記する。

(1) ＲＡＭ＿ＨＩＭＥ２１ｘの１アドレス当たりの格納輝度データの格納単位は８×２である。
(2) 縦横方向に隣接する８×２の格納輝度データは、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄ間で異なるように格納される。
(3) 横方向に４連続隣接する８×２の格納輝度データは、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄ間で異なるように格納される。
(4) 読み出しは元画像領域３０全てのデータが、ＳＤＲＡＭ１からＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄに格納された後に行う。
(5) 読み出しは４枚のＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄに対し同時に行い、１サイクル（１回の読み出し）で１６×４あるいは、３２×２の読み出し矩形領域を得る。
(6)１６×４の読み出し矩形領域に対し、８×４の矩形領域を抽出矩形領域として抽出する。
(7)３２×２の読み出し矩形領域に対し、１６×２の矩形領域を抽出矩形領域として抽出する。

図４は８×４の抽出矩形領域の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄから読み出し輝度データＤ２１〜Ｄ２４が得られる。その結果、上記条件(2)を満足するため、同図(b) に示すように、読み出し輝度データＤ２１〜Ｄ２４によって１６×４の読み出し矩形領域４１を得ることができる。そして、同図(c) に示すように、読み出し矩形領域４１内の任意の８×４の矩形領域を抽出矩形領域４２として抽出することができる。

図５はＲＡＭ＿ＨＩＭＥ２１の具体的格納例を模式的に示す説明図である。図５において、輝度データ「Ｙｉｊ＿ｋ」の「ｉ」は８pixel単位の水平位置を示し、「ｊ」は８line単位の垂直位置を示し、「ｋ」は２line単位のライン位置を示している。同図(a) に示すように、元画像領域３０は４０×４０の整数画素領域を有している。一方、同図(b) に示すように、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄ間は１アドレス当たり８×２単位で輝度データを記憶し、元画像領域３０内において、上記条件(2)及び条件(3)を満足することにより、１回の読み出し動作によって８×２単位で１６×４及び３２×２の矩形領域が抽出可能なように、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄ内に分散して格納されている。なお、１pixel当たり８ビット割り当てられているため、同図(b) に示すように、１アドレス当たり１２８ビット（＝８×８×２）の容量が割り当てられる。

例えば、図５(a) に示すように、抽出矩形領域４２を得るための読み出し矩形領域４１（Y10_3,Y20_3,Y11_0,Y21_0）を選択する場合、ＲＡＭ＿ＨＩＭＥ２１ａはアドレス１１番に「Y20_3」が格納され、ＲＡＭ＿ＨＩＭＥ２１ｂのアドレス２番に「Y11_0」が格納され、ＲＡＭ＿ＨＩＭＥ２１ｃはアドレス１２番に「Y21_0」が格納され、ＲＡＭ＿ＨＩＭＥ２１ｄのアドレス１番に「Y10_3」が格納されているため、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄそれぞれから上記アドレスの８×２の輝度データを読み出すことにより、１６×４の読み出し矩形領域４１を得ることができる。その結果、読み出し矩形領域４１から任意の８×４の抽出矩形領域４２を抽出することができる。

図６は１６×２の抽出矩形領域の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄから読み出し輝度データＤ２１〜Ｄ２４が得られる。その結果、上記条件(3)を満足するため、同図(b) に示すように、読み出し輝度データＤ２１〜Ｄ２４によって３２×２の読み出し矩形領域４３を得ることができる。そして、同図(c) に示すように、読み出し矩形領域４３内の任意の１６×２の矩形領域を抽出矩形領域４４として抽出することができる。

図７は１６×１６のマクロブロック抽出例（その１）を模試的に示す説明図である。なお、同図の説明する前提として、図４で示した抽出矩形領域４２の抽出処理をメイン抽出処理、図６で示した抽出矩形領域４４の抽出処理をサブ抽出処理とする。

同図に示すように、矩形領域３４ａの先頭ライン位置ｐｐが、ＲＡＭ＿ＨＩＭＥ２１内の１アドレスに記憶された２ライン分の輝度データの最初の１ライン位置ｐ１と一致する場合、必ず、８個の抽出矩形領域４２よって１６×１６の矩形領域３４ａを得ることができるため、８回のメイン抽出処理により８サイクルで読み出すことができる。

図８は１６×１６のマクロブロック抽出例（その２）を模試的に示す説明図である。同図に示すように、矩形領域３４ｂの先頭ライン位置ｐｐが、ＲＡＭ＿ＨＩＭＥ２１内の１アドレスに記憶された２ライン分の輝度データの２番目１ライン位置ｐ２と一致する場合、１６×１６の矩形領域３４ａは８回のメイン抽出処理に加え、１回のサブ抽出処理による９サイクルで読み出す必要がある。

このように、ＲＡＭ＿ＨＩＭＥ２１には任意の８×４の抽出矩形領域を１〜２サイクルで読み出すことができ、１６×１６のマクロブロックを８〜９サイクルで読み出すことができる。その結果、後段のＩＭＥ１１は、探索画素位置を整数単位に変化させながら高速に１６×１６のマクロブロックを読み出すことにより、高速に動き予測が行える。なお、ＩＭＥ１１による動き予測自体は既存の方法で行われ、その予測結果である整数画素精度の基準位置信号Ｓ１１がＳＭＥ１３に出力される。また、実際の動き予測自体は１６×１６のマクロブロック内の８×８の整数画素単位で行われるが、本願発明の特徴との関連性は希薄なため、詳細な説明は省略する。

上述のように、ＲＡＭ＿ＨＩＭＥ２１及びＩＭＥ１１から構成される整数画素動き予測機構において、４枚のＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄは上記条件(1)〜(7)を満足して格納輝度データを格納している。

したがって、ＲＡＭ＿ＨＩＭＥ２１ａ〜２１ｄから１〜２回の読み出し動作によって読み出された４個の読み出し輝度データＤ２１〜Ｄ２４の組合せによって、元画像領域３０における任意の抽出矩形領域４２（４４）を抽出可能となり、抽出矩形領域４２に関し読み出し効率の向上を図っている。

その結果、ＩＭＥ１１は、抽出矩形領域４２の抽出処理の効率化に伴い整数画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した読み出し効率の向上によって、ＩＭＥ１１の演算処理負担の軽減を図ることができる分、回路構成の簡略化を図ることができる。

（１／４画素輝度用動き予測機構）
図１のＲＡＭ＿ＨＭＥＹ２２、ＱＰＧ１２、ＲＡＭ＿ＨＳＭＥ２３及びＳＭＥ１３によって、輝度データに対する１／４画素輝度用動き予測機構を構成する。

（ＲＡＭ＿ＨＭＥＹ２２）
図９はＲＡＭ＿ＨＭＥＹ２２が格納する元画像領域３５を模式的に示す説明図である。同図において、ｎ(pixel)×ｍ(line)の元画像領域３６における１６(pixel)×１(line)の抽出矩形領域４２を抽出可能に格納される。図９ではｎ＝４０，ｍ＝４０の場合を示している。

輝度用一時記憶部であるＲＡＭ＿ＨＭＥＹ２２は２枚のＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂから構成され、以下の条件を満足するように格納される。なお、ＳＤＲＡＭ１から８（pixel）×２（line）単位で輝度データＤ１が読み出されることを前提としている。また、ＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂの一を代表させてＲＡＭ＿ＨＭＥＹ２２ｘと表記する。

(1) ＲＡＭ＿ＨＭＥＹ２２ｘの１アドレス当たりの格納輝度データの格納単位は１６×１である。
(2) ＳＤＲＡＭ１からの読み出される８×２の輝度データを、２つの８×１の輝度データに分割してＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂにそれぞれ同時に書き込む。
(3) 横方向に隣接する１６×１の格納輝度データは、ＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂ間で異なるように格納される。
(4) 読み出しは元画像領域３５全てのデータが、ＳＤＲＡＭ１からＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂに格納された後に行う 。
(5) 読み出しは２枚のＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂに対し同時に行い、１サイクルで３２×１の読み出し矩形領域を得る。
(6) ３２×１の読み出し矩形領域に対し、１６×１の矩形領域を抽出矩形領域として抽出する。

図１０は１６×１の抽出矩形領域の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥＹ２２ａ及び２２ｂから読み出し輝度データＤ２５及びＤ２６が得られる。その結果、上記条件(3)を満足するため、同図(b) に示すように、１回の読み出し動作によって、読み出し輝度データＤ２５及びＤ２６によって３２×１の読み出し矩形領域４５を得ることができる。そして、同図(c) に示すように、読み出し矩形領域４５内の任意の１６×１の矩形領域を抽出矩形領域４６として抽出することができる。

（輝度用１／４画素生成処理（ＱＰＧ１２））
図１１は輝度用１／４画素生成処理におけるＱＰＧ１２の整数画素読み出し内容を模式的に示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥＹ２２に格納された４０×４０の元画像領域３５から、同図(a) ，(b) に示すように、抽出矩形領域４６の水平位置を８または９(pixel)毎にずらせながら、０〜３９(line)にかけて順次読み出し、ＱＰＧ１２は、１／４画素演算領域３６から１／４画素生成領域３７内の整数画素に１／２補間画素６２及び垂直方向の１／４補間画素６４を加えた一部１／４画素輝度データＳ１２を生成する。

図１２はＱＰＧ１２の処理内容を模式的に示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥＹ２２より抽出された１６×１の抽出矩形領域４６の輝度データが、同図(b) に示すように、１５×１のリードレジスタ５０に格納される。なお、一部１／４画素輝度データＳ１２の生成は水平方向の１４〜１５pixelの整数画素があれば可能であるため、１６×１の抽出矩形領域４６のうち１５×１が画素データが選択的にリードレジスタ５０に格納される構成が示されている。

同図(b) に示すように、リードレジスタ５０に格納されたデータは、新たに抽出矩形領域４６の輝度データが読み出される毎に１５×１のラインバッファ５１にシフトされ、以降、新たに抽出矩形領域４６の輝度データが読み出される毎に１５×１のラインバッファ５２〜５６の順にシフトされる。したがって、ラインバッファ５１〜５６（buf0〜buf5）内に垂直方向に隣接した６個の整数画素を格納することができる。

そして、水平方向に隣接する６個の整数画素６１によって１つの（水平方向）１／２補間画素６２ａが得られ（６tap filter）、垂直方向に隣接する６個の整数画素６１によって（垂直方向）１／２補間画素６２ｂが得られ（６tap filter）、垂直方向に隣接する６個の１／２補間画素６２ａによって（ななめ方向）１／２補間画素６２ｃが得られる（６tap filter）。

図１３は「６tap filter」による１／２補間画素生成内容例を示す説明図である。同図に示すように、水平方向に隣接する６個の整数画素６１ａ〜６１ｈ（Ｉ）によって１個の１／２補間画素６２ａ（Ｈ）を得ることができ、垂直方向に隣接する６個の整数画素６１ｇ〜６１ｌ（Ｉ）によって１個の１／２補間画素６２ｂ（Ｖ）を得ることができる。同様にして、垂直方向に隣接する６個の１／２補間画素６２ａ（Ｈ）によって１個の１／２補間画素６２ｃ（Ｓ）を得ることができる。

図１２に戻って、同図(c) に示すように、垂直方向に隣接する整数画素６１（Ｉ）及び１／２補間画素６２ｂ（Ｖ）によって、１／４補間画素６４ａ（ｉｖ）あるいは１／４補間画素６４ｃ（ｖｉ）が得られ（２tap filter）、垂直方向に隣接する１／２補間画素６２ａ（Ｈ）及び１／２補間画素６２ｄ（Ｓ）によって１／４補間画素６４ｃ（ｈｓ）あるいは１／４補間画素６４ｄ（ｓｈ）が得られる。なお、ＱＰＧ１２は、次段のＲＡＭ＿ＨＳＭＥ２３のメモリ効率を考慮して、１／４補間画素６９ａ〜６９ｈは生成しない。

その結果、１つの整数画素６１に対し、３つの１／２補間画素６２ａ〜６２ｃと、４つの１／４補間画素６４ａ〜６４ｄとが追加された一部１／４画素輝度データＳ１２が生成される。

すなわち、０／４lineに対応して１４個の整数画素６１と１３個の１／２補間画素６２ａとが得られ、１／４lineに対応して１４個の１／４補間画素６４ａと１３個の１／４補間画素６４ｂとが得られ、２／４lineに対応して１４個の１／２補間画素６２ｂと１３個の１／２補間画素６２ｃが得られ、１／４lineに対応して１４個の１／４補間画素６４ｃと１３個の１／４補間画素６４ｄとが得られる。

０／４〜３／４lineそれぞれにおいて、ラインバッファ５１〜５６内の格納データに基づく６タップフィルタ処理、２タップフィルタ処理によって、２７pixel分の情報が得られる。ただし、１／２補間画素６２ａ、１／４補間画素６４ｂ、１／２補間画素６２ｃ及び１／４補間画素６４ｄは１／６補間により求まるため、有効に求まるpixel数は７〜８画素に留まる。

上述のように求められた２７pixelまたは２９pixelの輝度データは、書き込み輝度データＤ１１、書き込み輝度データＤ１２として、異なる２つのＲＡＭ＿ＨＳＭＥ２３に区分されて書き込まれる。

（ＲＡＭ＿ＨＳＭＥ２３）
ＲＡＭ＿ＨＳＭＥ２３は、８枚のＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈで構成され、ＱＰＧ１２より生成される一部１／４画素輝度データＳ１２を１／４画素単位で縦方向４lineと横方向１６pixelとが、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈ間で異なるように格納される。

図１４はＲＡＭ＿ＨＳＭＥ２３が格納する元画素領域７０を模式的に示す説明図である。同図において、ｎ＊２(pixel)×ｍ＊４(line)の元画素領域７０における１６(pixel)×４(line)の演算用抽出矩形領域４７（輝度データ演算用抽出領域）を抽出可能に格納される。この演算用抽出矩形領域４７から後述する水平方向１／４画素生成処理後に１／４画素単位精度の位置で、８×４の演算後矩形領域４８（輝度用演算後基準領域）を得ることができる。

図１５は１／４画素精度の動き予測に用いられる輝度データの取得矩形領域例を示す説明図である。同図(a) に示すように、２つの演算後矩形領域４８よって８×８の矩形領域７１を取得したり、同図(b) に示すように、４つの演算後矩形領域４８よって８×１６の矩形領域７２を取得したり、同図(c) に示すように、４つの演算後矩形領域４８よって１６×８の矩形領域７３を取得したり、同図(d) に示すように、８つの演算後矩形領域４８によって１６×１６の矩形領域７４を取得することが１／４画素の位置精度で行える。

ＲＡＭ＿ＨＳＭＥ２３は８枚のＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈから構成され、以下の条件を満足するように、格納される。なお、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈの一を代表させてＲＡＭ＿ＨＳＭＥ２３ｘと表記する。

(1) ＲＡＭ＿ＨＳＭＥ２３ｘの１アドレス当たりの格納一部１／４画データの格納単位は１６×１である。格納するラインは次の４種類であり（図１２(c) 参照）、一括りで格納する。
０／４line：整数画素（Ｉ）及び水平１／２画素（Ｈ）
１／４line：１／４画素（ｉｖ）及び１／４画素（ｈｓ）
２／４line：垂直１／２画素（Ｖ）及び斜め１／２画素（Ｓ）
３／４line：１／４画素（ｖｉ）及び１／４画素（ｓｈ）
(2) 書き込みは２７×１または２９×１ずつ２〜３分割して、２〜３枚のＲＡＭ＿ＨＳＭＥ２３ｘに対し同時に行う（２つのＲＡＭ＿ＨＳＭＥ２３ｘで最大３２×１格納できる）。
(3) 横方向に隣接する１６×１の格納１／４画素輝度データは、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈ間で異なるように格納される。
(4) 縦方向に整数画素単位に４隣接する１６×１の格納１／４画素輝度データは、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈ間で異なるように格納される。
(5) 読み出しは元画素領域７０全てのデータが、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈに格納された後に行う。
(6) 読み出しは８枚のＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈに対し同時に行い、１サイクルで１／４画素位置精度で３２×４の読み出し矩形領域を得る。
(7)３２×４の読み出し矩形領域を用いて得られる、１６×４の矩形領域を１／４画素単位の演算用抽出矩形領域４７として抽出する。
(8)１６×４の演算用抽出矩形領域４７に対し、所定の演算処理である水平方向１／２補間演算（2tap filter）を行い、一部１／４画素輝度データＳ１２をさらに水平方向に１／４画素補間した後、水平方向及び垂直方向の位置精度が１／４画素精度の８×４の矩形領域を演算後矩形領域４８として得る。

図１６は８×４の演算矩形領域の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈから読み出し輝度データＤ３１〜Ｄ３８が得られる。その結果、上記条件(1)，(3)，(4)を満足するため、同図(b) に示すように、読み出し輝度データＤ３１〜Ｄ３８によって３２×４の読み出し矩形領域５８を得ることができる。そして、同図(c) に示すように、読み出し矩形領域５８内の任意の１６×４の矩形領域を演算用抽出矩形領域４７として抽出することができる。さらに、演算用抽出矩形領域４７の輝度データを用いて水平方向２タップフィルタ処理を行って８×４の演算後矩形領域４８を得ることができる。

図１７はＳＭＥ１３による演算後矩形領域の算出方法を示す説明図である。同図において、０／４lineの演算用抽出矩形領域４７が得られた場合を仮定する。この場合、演算用抽出矩形領域４７は整数画素６１（Ｉ）と１／２補間画素６２ａ（Ｈ）のみによる１６×４の構成を採る。すなわち、８個の整数画素６１と８個の１／２補間画素６２ａとからなる計１６個の画素の４line分が演算用抽出矩形領域４７となる。

そして、演算用抽出矩形領域４７から、水平方向１／４lineの１／４補間画素６９ａ（「ｉｈ」図１２参照）による演算後矩形領域４８を得る場合を仮定する。この場合、４lineそれぞれにおいて、整数画素６１と整数画素６１と右側に位置する１／２補間画素６２ａとの組（８組）それぞれにおいて、１／２補間を行うことにより８個の１／４補間画素６９ａを得ることができ、最終的に８×４の１／４補間画素６９ａからなる演算後矩形領域４８を得ることができる。

ＳＭＥ１３は演算後矩形領域４８に基づき１／４画素精度の動き予測を行い、最終的に予測結果として得られた演算後矩形領域４８を規定する輝度データＳ１３をＭＣ３に出力するとともに、予測結果として得られた演算後矩形領域４８の１／４画素精度の基準位置を示す基準位置信号Ｓ１３ｐをＱＰＧ１４に出力する。

ＲＡＭ＿ＨＭＥＹ２２、ＱＰＧ１２、ＲＡＭ＿ＨＳＭＥ２３及びＲＡＭ＿ＨＭＥＣ２４からなる１／４画素輝度用動き予測機構において、８枚のＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈは、上記した条件(1)〜(8)を満足して格納１／４画素輝度データを格納している。

したがって、ＲＡＭ＿ＨＳＭＥ２３ａ〜２３ｈから、１回の読み出し動作によって読み出された８個の読み出し輝度データＤ３１〜Ｄ３８の組合せによって、元画像領域３５における任意の演算後矩形領域４８が演算可能な演算用抽出矩形領域４７を抽出可能になり、演算後矩形領域４８の取得処理の効率化を図っている。

その結果、ＳＭＥ１３は、演算後矩形領域４８の取得処理の効率化に伴い１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、ＳＭＥ１３の演算処理負担の軽減を図ることができる分、回路構成の簡略化を図ることができる。

上述したように、ＭＥ２は、ＲＡＭ＿ＨＩＭＥ２１及びＩＭＥ１１からなる整数画素輝度用動き予測機構と、ＲＡＭ＿ＨＭＥＹ２２、ＱＰＧ１２、ＲＡＭ＿ＨＳＭＥ２３及びＳＭＥ１３からなる１／４画素輝度用動き予測機構とからなる組合せ輝度用動き予測機構を含んでいる。

したがって、ＳＭＥ１３は基準位置信号Ｓ１１で指示される整数画素単位の基準位置を基点として１／４画素精度の動き予測を行うことができるため、回路構成の軽減化を図りながら、１／４画素精度の輝度データに基づく動き予測をより高速に行うことができる。

（１／４画素色差用動き予測機構）
ＲＡＭ＿ＨＭＥＣ２４及びＱＰＧ１４によって、１／４画素用動き予測機構を構成する。

（ＲＡＭ＿ＨＭＥＣ２４，ＱＰＧ１４）
図１８はＲＡＭ＿ＨＭＥＣ２４が格納する元画素領域３８Ｕ及び元画素領域３８Ｖを模式的に示す説明図である。同図(a) において、ｎ(pixel)×ｍ(line)の元画素領域３８Ｕにおける５(pixel)×５(line)の演算用矩形領域３９Ｕ（色差データ演算用抽出領域）を抽出可能に格納される。同様にして、同図(b) において、ｎ(pixel)×ｍ(line)の元画素領域３８Ｖにおける５(pixel)×５(line)の演算用矩形領域３９Ｖ（色差データ演算用抽出領域）を抽出可能に格納される。図１８ではｎ＝４０，ｍ＝４０の場合を示している。

図１９はＲＡＭ＿ＨＭＥＣ２４の格納領域を模式的に示す説明図である。同図に示すように、水平方向の色差画素（Ｕ，Ｖ）を４画素毎ずらしながら、Ｕ，Ｖ共に８pixel分を１アドレスに格納する。

図１９(a) に示すように、格納領域ａｒｅａ（０）は水平位置０〜７pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて１アドレスに格納する。図１９(b) に示すように、格納領域ａｒｅａ（１）は水平位置４〜１１pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて１アドレスに格納する。図１９(c) に示すように、格納領域ａｒｅａ（２）は水平位置８〜１５pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて１アドレスに格納する。以降、同様にして、図１９(d) に示すように、格納領域ａｒｅａ（ｋ）は水平位置（ｋ×４）〜｛（ｋ×４）＋７｝pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて１アドレスに格納する。図１８の元画素領域３８Ｕ及び元画素領域３８Ｖが２０×２０（ｎ＝２０，ｍ＝２０）の場合、図１９においてｋ＝４となる。

ＲＡＭ＿ＨＭＥＣ２４は５枚のＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅから構成され、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅは格納領域ａｒｅａ（ｉ（ｉ＝１〜ｋのいずれか））において、垂直方向に連続する５lineの色差画素は必ずＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅ間で分散して格納するようにする。

そして、５枚のＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅは、以下の条件を満足するように、格納される。なお、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅの一を代表させてＲＡＭ＿ＨＭＥＣ２４ｘと表記する。

(1) ＲＡＭ＿ＨＭＥＣ２４ｘの１アドレス当たりの格納単位は１６×１（２×（８×１））である。格納する色差画素はＵ，Ｖそれぞれ８画素分である。すなわち、Ｕ，Ｖそれぞれについて格納色差データの格納単位は８×１である。
(2) Ｕ，Ｖそれぞれに於ける格納色差データは横方向に４画素分重複させながら、Ｕ，Ｖ共に８pixel分を１アドレスに格納する。
(3) 縦方向に５隣接する１６×１（２×（８×１））の色差データ（Ｕ，Ｖそれぞれに於ける８×１の格納色差データ）は、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅ間で異なるように格納される。
(4) 読み出しは元画素領域３８Ｕ及び元画素領域３８Ｖ全てのデータが、ＳＤＲＡＭ１からＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅに格納された後に行う。
(5) 読み出しは５枚のＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅに対し同時に行い、１サイクルで１６（８＋８）×５の読み出し矩形領域を得る。
(6) 読み出した（８＋８）×５の読み出し矩形領域から（５＋５）×５の演算用矩形領域３９Ｕ及び演算用矩形領域３９Ｖを得る。
(7) （５＋５）×５の演算用矩形領域３９Ｕ及び演算用矩形領域３９Ｖに対し、２次元線形補間処理（bi-liner fiter）をかけて１／４画素精度の（４＋４）×４の演算後矩形領域４０Ｕ及び演算後矩形領域４０Ｖ（色差用演算後基準領域）として抽出する。

なお、色差画素は輝度画素に対して半分の情報量なので処理時間に余裕がある場合は、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅに代えて１枚のＲＡＭ＿ＨＭＥＣ２４ｔの構成を採用することにより、ＲＡＭ＿ＨＭＥＣ２４に関しＳＲＡＭ枚数を削減を図ることができる。

ＲＡＭ＿ＨＭＥＣ２４を１枚のＲＡＭ＿ＨＭＥＣ２４ｔで構成する場合、上述したＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅの条件(1)における「ＲＡＭ＿ＨＭＥＣ２４ｘ」は「１枚のＲＡＭ＿ＨＭＥＣ２４ｔ」に置き換わり、条件(3)は不要となり、条件(4)の「ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅ」が「１枚のＲＡＭ＿ＨＭＥＣ２４ｔ」に置き換わる。

そして、条件(5)は「読み出しは１枚のＲＡＭ＿ＨＭＥＣ２４ｔに対し行い、５サイクルで１６（８＋８）×５の読み出し矩形領域を得る。」となる。他の条件は上述した条件(1)〜(7)と同様である。

図２０は５×５の演算矩形領域の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥＣ２４ｘから読み出し色差データＤ２７が得られる。その結果、上記条件(2)，(3)を満足するため、同図(b) に示すように、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅそれぞれの読み出し色差データＤ２５によって任意の（８＋８）×５の読み出し矩形領域（図２０では１line分のみ示す）を得ることができる。なお、１枚のＲＡＭ＿ＨＭＥＣ２４ｔから読み出す場合は読み出し色差データＤ２５を５サイクルかけて読み出すことにより、任意の（８＋８）×５の読み出し矩形領域を得ることができる。

そして、同図(c) に示すように、同図(b) の読み出し矩形領域内の任意の（５＋５）×５の演算用矩形領域３９Ｕ及び演算用矩形領域３９Ｖとなる抽出矩形領域４９を抽出することができる（図２０では１line分のみ示す）。抽出矩形領域４９は抽出矩形領域４９ｕ及び抽出矩形領域４９ｖから構成され、抽出矩形領域４９ｕの５line分で演算用矩形領域３９Ｕが構成され、抽出矩形領域４９ｖの５line分で演算用矩形領域３９Ｖが構成されることになる。

図２１はＱＰＧ１４による演算処理である２次元補間処理（bi-liner fiter）の処理内容を模式的に示す説明図である。ＱＰＧ１４はＳＭＥ１３より１／４画素精度の基準位置信号Ｓ１３ｐを受け、基準位置信号Ｓ１３ｐに対応する４×４の演算後矩形領域４０Ｕ及び演算後矩形領域４０Ｖの算出が可能な演算用矩形領域３９Ｕ及び演算用矩形領域３９Ｖを抽出する。

図２１(a) に示すように、演算用矩形領域３９Ｕ内の５×５のＵ整数画素６５から、４つのＵ整数画素６５から補間して一のＵ補間画素６７を算出することにより、４×４のＵ補間画素６７からなる演算後矩形領域４０Ｕを得ることができる。なお、基準位置信号Ｓ１３ｐに応じて４つのＵ整数画素６５の補間計算用の重み付けが適宜変更される。

図２１(b) に示すように、演算用矩形領域３９Ｖ内の５×５のＶ整数画素６６から、４つのＶ整数画素６６から補間して一のＶ補間画素６８を算出することにより、４×４のＶ補間画素６８からなる演算後矩形領域４０Ｖを得ることができる。なお、基準位置信号Ｓ１３ｐに応じて４つのＶ整数画素６６の補間計算用の重み付けが適宜変更される。

このようにして得られた演算後矩形領域４０Ｕ及び演算後矩形領域４０ＶのＵ補間画素６７及びＶ補間画素６８を規定したデータが色差データＳ１４として出力される。

上述のように、ＲＡＭ＿ＨＭＥＣ２４及びＱＰＧ１４からなる１／４画素色差用動き予測機構において、５枚のＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅは、上記した条件(1)〜(7)を満足して格納色差データを格納している。

したがって、ＲＡＭ＿ＨＭＥＣ２４ａ〜２４ｅから１回の読み出し動作によって読み出された５個の読み出し色差データＤ２５の組合せによって、元画素領域３８Ｕ及び元画素領域３８Ｖにおける任意の演算後矩形領域４０Ｕ及び演算後矩形領域４０Ｖが演算による取得に関し効率化を図っている。

その結果、ＱＰＧ１４は、演算後矩形領域４０Ｕ及び演算後矩形領域４０Ｖの取得の効率化に伴い１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、ＱＰＧ１４の演算処理負担の軽減を図ることができる分、回路構成の簡略化を図ることができる。

また、ＲＡＭ＿ＨＭＥＣ２４を１枚のＲＡＭ＿ＨＭＥＣ２４ｔで実現する構成を採用した場合、色差画素の処理時間に余裕がある環境下においては、ＲＡＭ枚数の削減を図り、かつ、効率的な１／４画素精度の動き予測が行える効果を奏する。

したがって、実施の形態１のＭＥ２は、ＲＡＭ＿ＨＩＭＥ２１及びＩＭＥ１１からなる整数画素輝度用動き予測機構と、ＲＡＭ＿ＨＭＥＹ２２、ＱＰＧ１２、ＲＡＭ＿ＨＳＭＥ２３及びＳＭＥ１３からなる１／４画素輝度用動き予測機構と、ＲＡＭ＿ＨＭＥＣ２４及びＱＰＧ１４からなる１／４画素色差用動き予測機構とから構成されるため、上述したように、回路構成の軽減化を図りながら、１／４画素精度の輝度データ及び色差データに基づく動き予測をより高速に行い、１／４画素の位置精度で輝度データＳ１３及び色差データＳ１４からなる、予測結果である輝度・色差データＤ３を高速に出力することができる効果を奏する。

この際、記憶部であるＲＡＭ＿ＨＩＭＥ２１、ＲＡＭ＿ＨＭＥＹ２２、ＲＡＭ＿ＨＳＭＥ２３及びＲＡＭ＿ＨＭＥＣ２４それぞれについて、上述した格納条件を満足するように輝度データあるいは色差データＤ２を格納することにより、必要最小限のＳＲＡＭ枚数にし、かつ、演算部であるＩＭＥ１１、ＱＰＧ１２、ＳＭＥ１３及びＱＰＧ１４の演算機能を用途（輝度データ探索（整数画素精度、１／４画素精度）、色差データ探索）に応じて適宜分散させることにより、検算部の回路構成も必要最小限に押させることができるため、比較的安価な構成で実現できる効果を奏する。

（その他）
実施の形態１では、ＲＡＭ＿ＨＩＭＥ２１及びＩＭＥ１１からなる整数画素動き予測機構、ＲＡＭ＿ＨＭＥＹ２２、ＱＰＧ１２、ＲＡＭ＿ＨＳＭＥ２３及びＳＭＥ１３からなる１／４画素輝度用動き予測機構、並びにＲＡＭ＿ＨＭＥＣ２４及びＱＰＧ１４からなる１／４画素色差用動き予測機構によって、組合せ輝度・色差用動き予測機構であるＭＥ２が構成されている例を示している。これ以外の構成として以下の構成の動き予測機構も考えられる。

実施の形態１ではＱＰＧ１４は色差データＳ１４を決定する基準位置情報として基準位置信号Ｓ１３ｐを用いたが、ＩＭＥ１１の予測結果である整数画素精度の輝度データの基準位置を指示する情報を取り込むことにより、整数画素精度の予測結果色差データを得ることもできる。すなわち、上記整数画素動き予測機構と上記１／４画素色差用動き予測機構による整数画素精度の組合せ輝度・色差用動き予測機構を実現することができる。

ＳＭＥ１３はＩＭＥ１１からの基準位置信号Ｓ１１を基点として１／４画素精度の動き予測を行ったが、基準位置信号Ｓ１１を用いることなく、探索可能な全画像領域において１／４画素精度の動き予測を行う構成も考えられる。すなわち、上記整数画素動き予測機構を省略し、上記１／４画素輝度用動き予測機構と上記１／４画素色差用動き予測機構とによる１／４画素精度の組合せ輝度・色差用動き予測機構を実現することができる。

また、ＱＰＧ１２では垂直方向のみ１／４画素精度の輝度データを含む一部１／４画素輝度データＳ１２を求め、ＳＭＥ１３によって水平方向の１／４画素精度の輝度データを所定の演算処理により求める構成を採用したが、水平方向と垂直方向を逆にして、ＱＰＧ１２で水平方向のみ１／４画素精度の輝度データを含む一部１／４画素輝度データを求め、ＳＭＥ１３によって垂直方向の１／４画素精度の輝度データを所定の演算処理により求める構成も考えられる。

また、ＲＡＭ＿ＨＭＥＹ２２とＲＡＭ＿ＨＭＥＣ２４とを互いに共有させることにより、ＲＡＭ枚数の削減を図ることができる。

＜実施の形態２＞
（全体構成）
図２２はこの発明の実施の形態２である動き予測機構及びその周辺の構成を示すブロック図である。同図に示すように、１／４画素探索用記憶部であるＲＡＭ＿ＨＭＥ(H.264 Motion Estimation）２６はＳＤＲＡＭ４より輝度データＤ４及び色差データＤ５を受け、後述する条件を満足して格納する。

整数画素を含む１／４画素精度で動き予測が可能な１／４画素動き予測部であるＭＥ５は、ＲＡＭ＿ＨＭＥ２６から得られる輝度データＤ６及び色差データＤ７を用いて、後述する総合探索処理を行って１／４画素精度の予測結果として輝度・色差データＤ８（予測結果輝度データ及び予測結果色差データ）を動き補償機構であるＭＣ６に出力する。ＲＡＭ＿ＨＭＥ２６及びＭＥ５によって１／４画素動き予測機構を構成する。

（輝度データ処理）
図２３はＲＡＭ＿ＨＭＥ２６が格納する元画素領域８０を模式的に示す説明図である。同図において、ｎＬ(pixel)×ｍＬ(line)の元画素領域８０における１４(pixel)×１０(line)の読み出し矩形領域９１を抽出可能に格納される。この読み出し矩形領域９１から後述する垂直方向及び水平方向１／４画素生成処理後に１／４画素単位精度の位置で、８×４の演算後矩形領域６０（輝度用演算後基準領域）を得る。図２３ではｎＬ＝３２，ｍＬ＝３２の場合を示している。

図２４は動き予測に用いられる輝度データの取得矩形領域例を示す説明図である。同図(a) に示すように、２つの演算後矩形領域６０よって８×８の矩形領域８１を取得したり、同図(b) に示すように、４つの演算後矩形領域６０よって８×１６の矩形領域８２を取得したり、同図(c) に示すように、４つの演算後矩形領域６０よって１６×８の矩形領域８３を取得したり、同図(d) に示すように、８つの演算後矩形領域６０によって１６×１６の矩形領域８４を取得することができる。

図２５はＲＡＭ＿ＨＭＥ２６の輝度データ格納領域を模式的に示す説明図である。同図に示すように、水平方向の輝度画素を４画素毎にずらしながら、１６pixel分を１アドレスに格納する。

図２５(a) に示すように、格納領域ａｒｅａＬ（０）は水平位置０〜１５pixelの輝度画素を０line〜（mL-1）lineそれぞれについて１アドレスに格納する。図２５(b) に示すように、格納領域ａｒｅａＬ（１）は水平位置４〜１９pixelの輝度画素を０line〜（mL-1）lineそれぞれについて１アドレスに格納する。図２５(c) に示すように、格納領域ａｒｅａＬ（２）は水平位置８〜２３pixelの輝度画素を０line〜（mL-1）lineそれぞれについて１アドレスに格納する。以降、同様にして、図２５(d) に示すように、格納領域ａｒｅａＬ（ｋ）は水平位置（ｋ×４）〜｛（ｋ×４）＋１５｝pixelの輝度画素を０line〜（mL-1）lineそれぞれについて１アドレスに格納する。図２３の元画素領域８０が３２×３２（ｎＬ＝３２，ｍＬ＝３２）の場合、図２５においてｋ＝４となる。

ＲＡＭ＿ＨＭＥ２６は１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから構成され、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊは格納領域ａｒｅａＬ（ｉ（ｉ＝１〜ｋのいずれか））において、垂直方向に連続する１０line（少なくとも９line）の輝度画素は必ずＲＡＭ＿ＨＭＥ２６ａ〜２６ｊ間で分散して格納するようにする。

前述したように、ＲＡＭ＿ＨＭＥ２６は１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから構成され、以下の条件を満足するように、格納される。なお、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊの一を代表させてＲＡＭ＿ＨＭＥ２６ｘと表記する。

(1) ＲＡＭ＿ＨＭＥ２６ｘの１アドレス当たりの格納輝度データの格納単位は１６×１である。格納する輝度画素は１６画素分である。
(2) 横方向に４画素分重複させながら、格納輝度データの１６pixel分を１アドレスに格納する。
(3) 縦方向に１０隣接（少なくとも９隣接）する１６×１の格納輝度データは、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊ間で異なるように格納される。
(4) 読み出しは元画素領域８０全てのデータが、ＳＤＲＡＭ４からＲＡＭ＿ＨＭＥ２６ａ〜２６ｊに格納された後に行う。
(5) 読み出しは１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊに対し同時に行い、１サイクルで１６×１０の読み出し矩形領域を得る。
(6) 読み出した１６×１０の読み出し矩形領域から１３×９の演算用矩形領域５９を得る。
(7) １３×９の演算用矩形領域５９に対し、2tap fiter及び６tap fiterによる演算を並行して実行し、水平方向及び垂直方向双方における１／４画素精度の８×４の演算後矩形領域６０を抽出する。

図２６は８×４の演算後矩形領域６０の得るための演算処理状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから読み出し輝度データＤ４１〜Ｄ５０が得られる。その結果、上記条件(2)，(3)を満足するため、同図(b) に示すように、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊそれぞれの読み出し輝度データＤ４１〜Ｄ５０によって任意の１６×１０の読み出し矩形領域５８を得ることができる。

そして、同図(c) に示すように、同図(b) の読み出し矩形領域６８内の任意の１３×９の演算用矩形領域５９（輝度データ演算用抽出領域）を抽出することができる。演算用矩形領域５９内の整数画素データに基づき１／４画素並列演算処理（所定の演算処理）を行うことにより、同図(d) に示すように、１／４画素精度の演算後矩形領域６０を得ることができる。

図２７はＭＥ５による１／４画素精度の８×４の演算後矩形領域６０を得るための演算処理内容を示す説明図である。同図に示すように、読み出し輝度データＤ４１〜Ｄ５０それぞれの１４pixel分のデータにより、整数画素６１による１４×１０の読み出し矩形領域９１が得られている。なお、８×４の演算後矩形領域６０を得るには、最小限、整数画素６１による１３×９の演算用矩形領域５９が得られれば十分であるが、説明の都合上、ここでは読み出し矩形領域９１を例に挙げて説明する。

読み出し矩形領域９１から任意の８×４において１／４画素精度の演算後矩形領域６０を得ることができる。すなわち、以下の補間処理（１／４画素並列演算処理）が実行可能である。

(1)：水平方向に隣接する６個の整数画素６１による６タップフィルタ処理を行い、（水平方向）１／２補間画素６２ａ（Ｈ）を順次得る（６tap filter）。
(2)：垂直方向に隣接する６個の整数画素６１による６タップフィルタ処理を行い、（垂直方向）１／２補間画素６２ｂ（Ｖ）を順次得る（６tap filter）。
(3)：垂直方向に隣接する６個の１／２補間画素６２ａによる６タップフィルタ処理を行い、斜め１／２補間画素６２ｃ（Ｓ）を得る（６tap filter）。
(4)：垂直方向に隣接する整数画素６１及び１／２補間画素６２ｂによる２タップフィルタ処理を行い、（垂直方向）１／４補間画素６４ａ（ｉｖ）及び６４ｃ（ｖｉ）を得る。
(5)：垂直方向に隣接する１／２補間画素６２ａ及び１／２補間画素６２ｃによる２タップフィルタ処理を行い、（垂直方向）１／４補間画素６４ｂ（ｈｓ）及び６４ｄ（ｓｈ）を得る。
(6)：水平方向に隣接する整数画素６１及び１／２補間画素６２ａによる２タップフィルタ処理を行い、（水平方向）１／４補間画素６９ａ（ｉｈ）及び６９ｂ（ｈｉ）を得る（「ｉｈ」，「ｈｉ」については図１２参照）。
(7)：水平方向に隣接する１／４補間画素６４ａ及び１／４補間画素６４ｂによる２タップフィルタ処理を行い、（水平方向）１／４補間画素６９ｃ（ｖｈ）及び６９ｄ（ｈｖ）を得る（「ｖｈ」，「ｈｖ」については図１２参照）。
(8)：水平方向に隣接する１／２補間画素６２ｂ及び１／２補間画素６２ｃによる２タップフィルタ処理を行い、（水平方向）１／４補間画素６９ｅ（ｖｓ）及び６９ｆ（ｓｖ）を得る（「ｖｓ」，「ｓｖ」については図１２参照）。
(9)：水平方向に隣接する１／４補間画素６４ｃ及び１／４補間画素６４ｄによる２タップフィルタ処理を行い、（水平方向）１／４補間画素６９ｇ（ｖｈ′）及び６９ｈ（ｈｖ′）を得る（「ｖｈ」，「ｈｖ」については図１２参照）。

上記処理(1)〜(9)の処理からなる１／４画素並列演算処理は、処理(1) 〜(9)それぞれについて元となるデータが得られ次第、実行可能であるため、かなりの処理（例えば処理(1)と処理(2)とは並列処理可能）が並列に処理することが可能であるため、実施の形態１に比べて高速に演算後矩形領域６０を得ることができる。

例えば、整数画素６１（Ｉ）による８×４の演算後矩形領域６０ａを得る場合は、演算後矩形領域６０ａ内の整数画素６１のみ存在すれば十分であるため、処理(1)〜(9)を実行することなく、読み出し矩形領域９１から演算後矩形領域６０ａを抽出すればよい。

また、１／４補間画素６４ｂ（ｈｓ）による８×４の演算後矩形領域６０ｂは、処理(1)，(3)，(5)を実行することにより得ることができる。同様にして、１／４補間画素６４ｃ（ｖｉ）による８×４の演算後矩形領域６０ｃは、処理(2)，(4)を実行することにより得ることができる。

このように、ＭＥ５はＲＡＭ＿ＨＭＥ２６に格納された整数画素精度の輝度データＤ６に基づき、高速に整数画素精度を含む１／４画素精度の演算後矩形領域６０を得て、整数画素精度あるいは１／４画素精度で動き予測を行い、整数画素精度あるいは１／４画素精度の予測結果輝度データを得る。

したがって、実施の形態１のように、まず、整数画素精度で動き予測処理を行って整数画素精度の予測結果輝度データの基準位置を検出した後、上記基準位置から−０．７５〜＋０．７５の範囲で１／４画素精度の動き予測処理を行った場合、実施の形態１のＭＥ２が輝度データＳ１３を得るよりも早期に、ＭＥ５が輝度・色差データＤ８を構成する１／４画素精度の予測結果輝度データを得ることができる。

なお、ＭＥ５は整数画素からなる輝度データＤ６に基づき、直接、１／４画素精度の動き予測が可能であるため、整数画素精度の動き予測処理を行うことなく、予測当初から１／４画素精度の動き予測処理を行って１／４画素精度の予測結果輝度データを得ることもできる。

上述のように、実施の形態２のＭＥ５において、１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊは、上記した条件(1)〜(9)を満足して格納輝度データを格納する。

したがって、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから、１回の読み出し動作によって読み出された読み出し輝度データＤ４１〜Ｄ５０の組合せによって、元画素領域８０における任意の演算後矩形領域６０を演算により取得すること関し効率化を図っている。

その結果、演算後矩形領域６０の取得処理の効率化に伴い１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した読み出し効率の向上によって、ＭＥ５の演算処理負担の軽減を図ることができる分、回路構成の簡略化を図ることができる。

（色差データ処理）
図２８はＲＡＭ＿ＨＭＥ２６が格納するＵ用及びＶ用の元画素領域８５及び８６を模式的に示す説明図である。同図において、ｎＣ(pixel)×ｍＣ(line)の元画素領域８５及び８６それぞれにおける５(pixel)×５(line)のＵ演算用矩形領域８７及びＶ演算用矩形領域８８（色差データ演算用抽出領域）を抽出可能に格納される。このＵ演算用矩形領域８７及びＶ演算用矩形領域８８から、上述した予測結果輝度データに基づく８×４の演算後矩形領域６０に対応するＵ演算後矩形領域８９及びＶ演算後矩形領域９０（色差データ演算後基準領域）を得る。

図２９はＲＡＭ＿ＨＭＥ２６の色差データの格納領域を模式的に示す説明図である。同図に示すように、水平方向の色差画素（Ｕ，Ｖ）を重複させることなく１６pixel単位でずらしながら、Ｕ，Ｖ共に８pixel分を１アドレスに格納する。なお、図２９では図２５で示したａｒｅａＬ（０）〜ａｒｅａＬ（ｋ）と対応させてａｒｅａＣ（０）〜ａｒｅａＣ（ｋ）を設定している関係で、ａｒｅａＣ（ｉ）の１アドレス当たりの格納量が見かけ上、３２pixel分となっているが、実際にはＵ，Ｖ共に８pixel分を１アドレスに格納する。例えば、ａｒｅａＣ（０）のアドレス０はＲＡＭ＿ＨＭＥ２６ａがＵ，Ｖ共にline０の上位８pixel分（８〜１５）を格納し、ＲＡＭ＿ＨＭＥ２６ｂがＵ，Ｖ共にline０の下位８pixel分（０〜７）を格納することになる。

図２９(a) に示すように、格納領域ａｒｅａ（０）は水平位置０〜１５pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて、上述したように２つのＲＡＭ＿ＨＭＥ２６間で上位、下位８pixelを分担して１アドレスに格納する。以降、同様にして、図２９(b) に示すように、格納領域ａｒｅａ（ｋ）は水平位置（ｋ×１６）〜｛（ｋ×１６）＋１５｝pixelの色差画素（Ｕ，Ｖ）をＵ，Ｖ一組として０line〜（m-1）lineそれぞれについて、２つのＲＡＭ＿ＨＭＥ２６間で上位、下位８pixelを分担して１アドレスに格納する。図２８の元画素領域８５及び８６が１６×１６（ｎＣ＝１６，ｍＣ＝１６）の場合、図２９においてｋ＝０となる。

色差データの格納に関し、ＲＡＭ＿ＨＭＥ２６ｘは以下の条件を満足する。
(1) ＲＡＭ＿ＨＭＥ２６ｘの１アドレス当たりの格納単位は１６×１（２×（８×１））である。格納する色差画素はＵ，Ｖそれぞれ８画素分である。すなわち、Ｕ，Ｖそれぞれについて格納色差データの格納単位は８×１となる。
(2) 横方向に画素重複なく、Ｕ，Ｖ共に８pixel分を１アドレスに格納する。
(3) 横方向に隣接する１６×１（２×（８×１））の色差データ（Ｕ，Ｖそれぞれについて８×１の格納色差データ）は、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊ間で異なるように格納される。
(4) 縦方向に５隣接する１６×１（２×（８×１））の色差データ（Ｕ，Ｖそれぞれについて８×１の格納色差データ）は、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊ間で異なるように格納される。
(5) 読み出しは元画素領域８５及び８６Ｖ全てのデータが、ＳＤＲＡＭ４からＲＡＭ＿ＨＭＥ２６ａ〜２６ｊに格納された後に行う。
(6) 読み出しは１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊに対し同時に行い、１サイクルで１６（８＋８）×５の読み出し矩形領域を得る。
(7) 読み出した（８＋８）×５の読み出し矩形領域から（５＋５）×５のＵ演算用矩形領域８７及びＶ演算用矩形領域８８を得る。
(8) （５＋５）×５のＵ演算用矩形領域８７及びＶ演算用矩形領域８８に対し、bi-liner fiterをかけて１／４画素精度の（４＋４）×４のＵ演算後矩形領域８９及びＶ演算後矩形領域９０として抽出する。

図３０は５×５のＵ演算後矩形領域８９及びＶ演算後矩形領域９０の抽出状況を示す説明図である。同図(a) に示すように、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから読み出し色差データＤ５１〜Ｄ５５が得られる。その結果、上記条件(3)，(4)を満足するため、同図(b) に示すように、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊそれぞれの読み出し色差データＤ５１〜Ｄ５５によって任意の（１６＋１６）×５の読み出し矩形領域を得ることができる。すなわち、読み出し色差データＤ５１〜Ｄ５５内のＵ用読み出し色差データＤ５１ｕ〜Ｄ５５ｕによってＵ用の１６×５の読み出し矩形領域が得られ、読み出し色差データＤ５１〜Ｄ５５内のＶ用読み出し色差データＤ５１ｖ〜Ｄ５５ｖによってＶ用の１６×５の読み出し矩形領域が得られる。

そして、同図(c) に示すように、同図(b) の読み出し矩形領域内の任意の５×５のＵ演算用矩形領域８７及び５×５のＶ演算用矩形領域８８を抽出することができる。

図３１はＭＥ５による２次元補間処理（bi-liner fiter）の処理内容を模式的に示す説明図である。同図(a) に示すように、Ｕ演算用矩形領域８７内の５×５のＵ整数画素６５から、４つのＵ整数画素６５から補間して一のＵ補間画素６７を算出することにより、４×４のＵ補間画素６７からなるＵ演算後矩形領域８９を得ることができる。なお、１／４画素精度の予測結果輝度データにおける演算後矩形領域６０の基準位置に応じて４つのＵ整数画素６５の補間計算用の重み付けが適宜変更される。

図３１(b) に示すように、Ｖ演算用矩形領域８８内の５×５のＶ整数画素６６から、４つのＶ整数画素６６から補間して一のＶ補間画素６８を算出することにより、４×４のＶ補間画素６８からなるＶ演算後矩形領域９０を得ることができる。なお、なお、輝度データの演算後矩形領域６０の基準位置に応じて４つのＶ整数画素６６の補間計算用の重み付けが適宜変更される。

このようにして得られたＵ演算後矩形領域８９及びＶ演算後矩形領域９０のＵ補間画素６７及びＶ補間画素６８を規定した予測結果色差データと、上述した予測結果輝度データとが輝度・色差データＤ８としてＭＣ６に出力される。

このように、ＲＡＭ＿ＨＭＥ２６から１サイクルでＵ演算後矩形領域８９及びＶ演算後矩形領域９０の算出に必要なＵ演算用矩形領域８７及びＶ演算用矩形領域８８を得ることができるため、ＭＥ５はＲＡＭ＿ＨＭＥ２６に格納された色差データＤ７に基づきＵ演算後矩形領域８９及びＶ演算後矩形領域９０の色差データを高速に算出することができる。

実施の形態２のＭＥ５において、１０枚のＲＡＭ＿ＨＭＥ２６ａ〜２６ｊは、上記した条件(1)〜(8)を満足して格納色差データを格納する。

したがって、ＲＡＭ＿ＨＭＥ２６ａ〜２６ｊから、１回の読み出し動作によって読み出された読み出し色差データＤ５１〜Ｄ５５の組合せによって、元画素領域８５及び８６における任意のＵ演算後矩形領域８９及びＶ演算後矩形領域９０の演算による取得に関し効率化を図っている。

その結果、Ｕ演算矩形領域８９及びＶ演算矩形領域９０の取得処理の効率化に伴いＭＥ５の色差データに対する１／４画素精度の動き予測を高速に行うことができる効果を奏する。また、上記した効率化によって、ＭＥ５の演算処理負担の軽減を図ることができる分、回路構成の簡略化を図ることができる。

このように、実施の形態２のＭＥ５は、実施の形態１のＭＥ２が輝度・色差データＤ３を得るよりも早期に、輝度・色差データＤ８を得ることができる。さらに、実施の形態１のＲＡＭ＿ＨＩＭＥ２１が４枚、ＲＡＭ＿ＨＭＥＹ２２が２枚、ＲＡＭ＿ＨＳＭＥ２３が８枚及びＲＡＭ＿ＨＭＥＣ２４が５枚（１枚）の総計１９枚（１５枚）必要なのに対し、実施の形態２のＲＡＭ＿ＨＭＥ２６は１０枚で済ますことができる分、実施の形態１に比べ（Ｓ）ＲＡＭ枚数の低減化を図ることができる効果も奏する。

さらに、実施の形態２のＲＡＭ＿ＨＭＥ２６は整数画素のみを格納すれば十分であり、実施の形態１のＲＡＭ＿ＨＳＭＥ２３のように１／４画素を格納する必要がない分、（Ｓ）ＲＡＭ容量を少なくすることができる効果も奏する。ただし、ＭＥ５は整数画素精度の輝度データＤ６に基づき、１／４画素精度の輝度データを得るためにかなりの部分を並列演算処理する必要があるため、ＭＥ２を構成するＩＭＥ１１、ＱＰＧ１２、ＳＭＥ１３及びＱＰＧ１４に比べて回路構成が複雑になる。

この発明の実施の形態１である動き予測機構及びその周辺の構成を示すブロック図である。 図１のＲＡＭ＿ＨＩＭＥが格納する元画像領域を模式的に示す説明図である。 動き予測に用いられる輝度データの取得矩形領域例を示す説明図である。 ８×４の抽出矩形領域の抽出状況を示す説明図である。 ＲＡＭ＿ＨＩＭＥの具体的格納例を模式的に示す説明図である。 １６×２の抽出矩形領域の抽出状況を示す説明図である。 １６×１６のマクロブロック抽出例（その１）を模試的に示す説明図である。 １６×１６のマクロブロック抽出例（その２）を模試的に示す説明図である。 図１のＲＡＭ＿ＨＭＥＹが格納する元画像領域を模式的に示す説明図である。 １６×１の抽出矩形領域の抽出状況を示す説明図である。 輝度用１／４画素生成処理におけるＱＰＧの整数画素読み出し内容を模式的に示す説明図である。 ＱＰＧの処理内容を模式的に示す説明図である。 １／２補間画素生成内容例を示す説明図である。 図１のＲＡＭ＿ＨＳＭＥが格納する元画素領域を模式的に示す説明図である。 動き予測に用いられる輝度データの取得矩形領域例を示す説明図である。 ８×４の演算矩形領域の抽出状況を示す説明図である。 図１のＳＭＥによる抽出矩形領域の算出方法を示す説明図である。 図１のＲＡＭ＿ＨＭＥＣが格納する元画素領域を模式的に示す説明図である。 ＲＡＭ＿ＨＭＥＣの格納領域を模式的に示す説明図である。 ５×５の演算矩形領域の抽出状況を示す説明図である。 ＱＰＧ１４によるbi-liner fiterの処理内容を模式的に示す説明図である。 この発明の実施の形態２である動き予測機構及びその周辺の構成を示すブロック図である。 図２２のＲＡＭ＿ＨＩＭＥが格納する元画素領域を模式的に示す説明図である。 動き予測に用いられる輝度データの取得矩形領域例を示す説明図である。 ＲＡＭ＿ＨＩＭＥの輝度データ格納領域を模式的に示す説明図である。 ８×４の抽出矩形領域６０の抽出状況を示す説明図である。 図２２のＭＥによる１／４画素精度の８×４の抽出矩形領域の算出処理説明用の説明図である。 ＲＡＭ＿ＨＩＭＥが格納するＵ用及びＶ用の元画素領域を模式的に示す説明図である。 ＲＡＭ＿ＨＩＭＥの色差データの格納領域を模式的に示す説明図である。 ５×５のＵ演算矩形領域及びＶ演算矩形領域の抽出状況を示す説明図である。 ＭＥによるbi-liner fiterの処理内容を模式的に示す説明図である。

符号の説明

１ ＳＤＲＡＭ
２ ＭＥ
３ ＭＣ
４ ＳＤＲＡＭ
５ ＭＥ
６ ＭＣ
１１ ＩＭＥ
１２ ＱＰＧ
１３ ＳＭＥ
１４ ＱＰＧ
２１ ＲＡＭ＿ＨＩＭＥ
２２ ＲＡＭ＿ＨＭＥＹ
２３ ＲＡＭ＿ＨＳＭＥ
２４ ＲＡＭ＿ＨＭＥＣ
２６ ＲＡＭ＿ＨＭＥ

Claims (6)

1. 所定の画像領域における整数画素精度の輝度データを分割して、格納輝度データ単位に格納する所定数の整数画素探索用記憶部と、
   前記所定数の整数画素探索用記憶部から読み出される前記格納輝度データの組合せに基づき、所定の基準抽出領域を抽出して整数画素精度で動き予測を行う整数画素動き予測部と、
   前記所定数の整数画素探索用記憶部において、水平方向及び垂直方向に隣接する前記格納輝度データ並びに前記水平方向に４連続隣接する前記格納輝度データが、前記所定数の整数画素探索用記憶部間で異なるように格納されることを特徴とする、
   整数画素動き予測機構。
2. 所定の画像領域における整数画素精度の輝度データを格納する輝度用一時記憶部と、
   前記輝度用一時記憶部から読み出される前記輝度データに基づき、水平方向補間処理及び垂直方向補間処理を行い、水平方向及び垂直方向のうち一方方向のみ１／４画素精度の輝度データとした一部１／４画素輝度データを生成する輝度用１／４画素生成部と、
   前記一部１／４画素輝度データを分割して、格納１／４画素輝度データ単位に格納する所定数の１／４画素探索用記憶部と、
   前記所定数の１／４画素探索用記憶部から読み出される前記格納１／４画素輝度データの組合せに基づき、所定の演算処理を実行することにより、水平方向及び垂直方向共に１／４画素精度で所定の輝度用演算後基準領域を取得して１／４画素精度で動き予測を行う１／４画素動き予測部とを備え、前記所定の演算処理は、前記一方方向と異なる他方方向における補間処理を行い、前記他方方向における１／４画素精度の輝度データを演算する処理を含み、
   前記所定数の１／４画素探索用記憶部において、前記他方方向に隣接する前記格納１／４画素輝度データ及び前記一方方向に整数画素単位で４連続隣接する前記格納１／４画素輝度データが、前記所定数の１／４画素探索用記憶部間で異なるように格納されることを特徴とする、
   １／４画素輝度用動き予測機構。
3. 所定の画像領域における整数画素精度の色差データを分割して、格納色差データ単位に格納する所定数の色差探索用記憶部と、
   前記所定数の色差探索用記憶部から読み出される前記格納色差データの組合せから、１／４画素精度の基準位置情報に基づき演算処理を行い、１／４画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する色差用１／４画素生成部とを備え、
   前記所定数の色差探索用記憶部において、水平方向に隣接する前記格納色差データが第１の数分画素を重複させながら格納され、垂直方向に第２の数分連続して隣接する前記格納色差データが前記所定数の色差探索用記憶部間で異なるように格納されることを特徴とする、
   １／４画素色差用動き予測機構。
4. 請求項１記載の整数画素輝度用動き予測機構と、
   請求項２記載の１／４画素輝度用動き予測機構とを備え、
   前記整数画素輝度用動き予測機構の前記整数画素動き予測部は動き予測結果として整数画素精度の基準位置信号を出力し、
   前記１／４画素輝度用動き予測機構の前記１／４画素動き予測部は、前記基準位置信号で指示される基準位置を基点として１／４画素精度の動き予測を行う、
   組合せ輝度用動き予測機構。
5. 請求項１記載の整数画素輝度用動き予測機構と、
   請求項２記載の１／４画素輝度用動き予測機構と、
   請求項３記載の１／４画素色差用動き予測機構とを備え、
   前記整数画素輝度用動き予測機構の前記整数画素動き予測部は動き予測結果として整数画素精度の基準位置信号を出力し、
   前記１／４画素輝度用動き予測機構の前記１／４画素動き予測部は、前記基準位置信号で指示される基準位置を基点として１／４画素精度の動き予測を行い、１／４画素精度の予測結果輝度データを出力し、
   前記１／４画素色差用動き予測機構が用いる前記基準位置情報は、前記１／４画素精度の予測結果輝度データの基準位置情報を含む、
   組合せ輝度・色差用動き予測機構。
6. 所定の画像領域における整数画素精度の輝度データ及び色差データを分割して、格納輝度データ及び格納色差データ単位にそれぞれ格納する所定数の１／４画素探索用記憶部と、
   前記所定数の１／４画素探索用記憶部から読み出される前記格納輝度データの組合せに基づき、所定の演算処理を実行することにより、水平方向及び垂直方向共に１／４画素精度で所定の輝度用演算後基準領域を取得して動き予測を行い予測結果輝度データを得るとともに、
   前記所定数の１／４画素探索用記憶部から読み出される前記格納色差データの組合せに基づき、前記予測結果輝度データの１／４画素精度の位置情報に対応して、１／４画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する、１／４画素動き予測部とを備え、
   前記所定数の１／４画素探索用記憶部において、
   水平方向に隣接する前記格納輝度データが第１の数分画素を重複させながら格納され、垂直方向に第２の数分連続して隣接する前記格納輝度データが前記所定数の１／４画素用記憶部間で異なるように格納され、
   水平方向に隣接する前記格納色差データ及び垂直方向に前記第３の数分連続して隣接する前記格納色差データが、前記所定数の色差探索用記憶部間で異なるように格納されることを特徴とする、
   １／４画素輝度・色差用動き予測機構。
   

Images