JP2008061151A - 動画像処理装置及びプリフェッチ制御方法 - Google Patents

動画像処理装置及びプリフェッチ制御方法 Download PDF

Info

Publication number
JP2008061151A
JP2008061151A JP2006238457A JP2006238457A JP2008061151A JP 2008061151 A JP2008061151 A JP 2008061151A JP 2006238457 A JP2006238457 A JP 2006238457A JP 2006238457 A JP2006238457 A JP 2006238457A JP 2008061151 A JP2008061151 A JP 2008061151A
Authority
JP
Japan
Prior art keywords
area
prefetch
miss
rectangular
hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006238457A
Other languages
English (en)
Other versions
JP4862566B2 (ja
Inventor
Yasuhiro Watabe
康弘 渡部
Mitsuharu Wakayoshi
光春 若吉
Naoyuki Takeshita
直行 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006238457A priority Critical patent/JP4862566B2/ja
Priority to US11/896,640 priority patent/US8094160B2/en
Publication of JP2008061151A publication Critical patent/JP2008061151A/ja
Application granted granted Critical
Publication of JP4862566B2 publication Critical patent/JP4862566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】所定回路部からの復号画面内の矩形領域の読み出し要求のプリフェッチメモリに対するヒット率を高めることができる動画像処理装置を提供する。
【解決手段】ヒット/ミスヒット判定/カウント部14は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にヒットするか否かを判定し、ヒットの場合には、プリフェッチメモリ15に矩形読み出し要求を発行し、ミスヒットの場合には、外部メモリ制御部12に矩形読み出し要求を発行し、更に、ヒット数及びミスヒットの型ごとのミスヒット数をカウントする。プリフェッチ制御部18は、復号処理部13がマクロブロックライン単位で復号処理を終了するごとに、復号処理部13が前マクロブロックラインの復号処理の際に発行した矩形読み出し要求のヒット数及びミスヒットの型ごとのミスヒット数に基づいて、プリフェッチ領域の更新縦サイズを調整する。
【選択図】図1

Description

本発明は、プリフェッチメモリを備える動画像処理装置、及び、このような動画像処理装置におけるプリフェッチ制御方法に関する。
図15はMPEG(Moving Picture Experts Group)方式で圧縮符号化されたMPEGストリームの復号処理を行う従来のMPEGデコーダの一例を外部メモリとともに示す図である。図15中、1は従来のMPEGデコーダの一例、2はMPEGデコーダ1が復号した復号画面を記憶させるための外部メモリである。
また、MPEGデコーダ1において、3は復号処理部、4はプリフェッチメモリ、5はヒット/ミスヒット判定部である。復号処理部3は、MPEGストリームの復号処理に必要な演算を行うものであり、外部メモリ2が記憶する復号画面内の矩形領域を参照画像として使用する場合には、ヒット/ミスヒット判定部5に対して復号画面内の矩形領域の読み出し要求(以下、矩形読み出し要求という場合がある。)を発行する。
プリフェッチメモリ4は、外部メモリ2が記憶する復号画面の一部分をプリフェッチして記憶するものである。
ヒット/ミスヒット判定部5は、復号処理部3から矩形読み出し要求を受けるごとに、矩形読み出し要求がプリフェッチメモリ4にヒットするか否か、即ち、矩形読み出し要求に係る復号画面内の矩形領域の画像が全てプリフェッチメモリ4に存在するか否かを判定し、ヒットの場合には、プリフェッチメモリ4に対して矩形読み出し要求を発行し、ミスヒットの場合には、外部メモリ2に矩形読み出し要求を発行するものである。
ヒット/ミスヒット判定部5からプリフェッチメモリ4に対して矩形読み出し要求が発行されると、プリフェッチメモリ4から矩形読み出し要求に係る復号画面内の矩形領域の画像が読み出されて復号処理部3に転送される。これに対して、ヒット/ミスヒット判定部5から外部メモリ2に矩形読み出し要求が発行されると、外部メモリ2から矩形読み出し要求に係る復号画面内の矩形領域の画像が読み出されて復号処理部3に転送される(例えば、特許文献1、2参照)。
なお、プリフェッチメモリ4に対するヒット率を高くするために、画像特徴パラメータを利用する手法が提案されている(例えば、特許文献1参照)。
特開2006−31480号公報 特開2002−163150号公報
図15に示す従来のMPEGデコーダ1においては、復号処理部3が発行する矩形読み出し要求のプリフェッチメモリ4に対するミスヒットが発生しても、どのようにミスヒットしているのかが不明であり、ミスヒット状況に応じてプリフェッチ領域を調整することはできなかった。そのため、復号処理部3が発行する矩形読み出し要求のプリフェッチメモリ4に対するヒット率が低い状態が続く場合があった。
また、プリフェッチメモリ4に対するヒット率を高くするために、画像特徴パラメータを利用する手法では、MPEG復号処理に従って動きベクトルの復元処理を行った上で、次に必要とされるプリフェッチ領域を予測するなど、高度な演算が必要とされていた。
本発明は、かかる点に鑑み、動きベクトルの復元およびプリフェッチ領域の予測などの高度な演算を行うことなく、所定回路部からの矩形領域の読み出し要求のプリフェッチメモリに対するヒット率を高くし、所定回路部における処理の高速化を図ることができるようにした動画像処理装置及びプリフェッチ制御方法を提供することを目的とする。
本発明の動画像処理装置は、外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置であって、所定回路部からの矩形読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定するミスヒット判定部を備えるものである。
本発明のプリフェッチ制御方法は、外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置におけるプリフェッチ制御方法であって、所定回路部からの矩形読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定する工程を有するものである。
本発明の動画像処理装置によれば、所定回路部からの矩形読み出し要求のプリフェッチメモリに対するミスヒットの発生状況を判定するミスヒット判定部を備えているので、所定回路部からの矩形読み出し要求のプリフェッチメモリに対するヒット率を高くし、所定回路部における処理の高速化を図ることができる。
本発明のプリフェッチ制御方法によれば、所定回路部からの矩形読み出し要求のプリフェッチメモリに対するミスヒットの発生状況を判定する工程を有するとしたことにより、所定回路部からの矩形読み出し要求のプリフェッチメモリに対するヒット率を高くし、所定回路部における処理の高速化を図ることができる。
以下、図1〜図14を参照して、本発明の動画像処理装置の第1実施形態及び第2実施形態について、本発明のプリフェッチ制御方法の実施形態を含めて説明する。
(本発明の動画像処理装置の第1実施形態)
図1は本発明の動画像処理装置の第1実施形態であるMPEGデコーダを外部メモリ及び外部メモリ制御部とともに示す図である。図1中、10は本発明の動画像処理装置の第1実施形態であるMPEGデコーダであり、MPEG方式で圧縮符号化されたMPEGストリームの復号処理を行うものである。11は外部メモリであり、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10が復号した復号画面を記憶させるためのものである。12は外部メモリ制御部であり、外部メモリ11からの画像の読み出しを制御するものである。
また、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10において、13は復号処理部、14はヒット/ミスヒット判定/カウント部、15はプリフェッチメモリ、16はプリフェッチメモリ制御部である。
復号処理部13は、MPEGストリームの復号処理に必要な演算を行うものであり、外部メモリ11が記憶する復号画面内の矩形領域を参照画像として使用する場合には、ヒット/ミスヒット判定/カウント部14に対して矩形読み出し要求を発行するものである。
ヒット/ミスヒット判定/カウント部14は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にヒットするか否か、即ち、矩形読み出し要求に係る復号画面内の矩形領域の画像が全てプリフェッチメモリ15に存在するか否かを判定し、ヒットの場合には、プリフェッチメモリ15に対して矩形読み出し要求を発行し、ミスヒットの場合には、外部メモリ制御部12に対して矩形読み出し要求を発行し、更に、ヒット数及び後述するミスヒットの型ごとのミスヒット数をカウントするものである。
プリフェッチメモリ15は、外部メモリ11が記憶する復号画面の一部分をプリフェッチして記憶するものである。プリフェッチメモリ制御部16は、プリフェッチメモリ15からの画像の読み出し及びプリフェッチ内容の更新を制御するものであり、アドレス生成部17と、プリフェッチ制御部18と、アドレス生成部19を備えている。
アドレス生成部17は、ヒット/ミスヒット判定/カウント部14が発行した矩形読み出し要求を受けて、矩形読み出し要求に含まれる復号処理部13が要求する復号画面内の矩形領域の位置情報及びサイズ情報からプリフェッチメモリ15に与えるアドレスを生成するものである。
プリフェッチ制御部18は、復号処理部13が一つのマクロブロックの復号処理を行うごとに、プリフェッチメモリ15がプリフェッチするプリフェッチ領域の更新のために外部メモリ制御部12及びアドレス生成部19に与えるプリフェッチ内容更新要求を生成するものである。このプリフェッチ内容更新要求には、プリフェッチを行う矩形領域の位置情報及びサイズ情報が含まれる。
本例では、プリフェッチ制御部18は、復号処理部13がマクロブロックライン単位で復号処理を終了するごとに、プリフェッチ領域の左側からの更新を開始するが、この場合に、復号処理部13が前マクロブロックラインの復号処理の際に発行した矩形読み出し要求について、ヒット/ミスヒット判定/カウント部14がカウントしたヒット数及び後述するミスヒットの型ごとのミスヒット数に基づいて、プリフェッチ内容更新要求に含める矩形領域の位置情報及びサイズ情報によりプリフェッチ領域の更新位置や更新縦サイズを調整することになる。
アドレス生成部19は、プリフェッチ制御部18からのプリフェッチ内容更新要求を受けて、このプリフェッチ内容更新要求に含まれるプリフェッチ領域の位置情報及びサイズ情報からプリフェッチメモリ15に与えるアドレスを生成するものである。なお、アドレス生成部19からアドレスを受けるプリフェッチメモリ15は、外部メモリ11から転送されてくる画像データを書き込むことによりプリフェッチ領域の更新を行うことになる。
また、外部メモリ制御部12は、調停部20と、アドレス生成部21を備えている。調停部20は、ヒット/ミスヒット判定/カウント部14が発行する矩形読み出し要求と、プリフェッチ制御部18が発行するプリフェッチ内容更新要求のアドレス生成部21への転送を調停するものである。
アドレス生成部21は、調停部20を介してヒット/ミスヒット判定/カウント部14からの矩形読み出し要求を受けた場合には、この矩形読み出し要求に含まれる復号処理部13が要求する復号画面内の矩形領域の位置情報及びサイズ情報から外部メモリ11に与えるアドレスを生成し、また、調停部20を介してプリフェッチ制御部18からのプリフェッチ内容更新要求を受けた場合には、このプリフェッチ内容更新要求に含まれるプリフェッチを行うプリフェッチ領域の位置情報及びサイズ情報から外部メモリ11に与えるアドレスを生成するものである。
なお、ヒット/ミスヒット判定/カウント部14からの矩形読み出し要求に基づいて外部メモリ11から読み出された画像データは復号処理部13に転送され、プリフェッチ制御部18からのプリフェッチ内容更新要求に基づいて外部メモリ11から読み出された画像データはプリフェッチメモリ15に転送される。
図2はプリフェッチ制御部18の制御によりプリフェッチメモリ15がプリフェッチする外部メモリ11が記憶する復号画面内のプリフェッチ領域の遷移例を示す図である。図2中、25は外部メモリ11が記憶する復号画面、26はプリフェッチメモリ15にプリフェッチされるプリフェッチ領域を示している。
即ち、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10では、図2(A)に示すように、復号画面25の左上端からプリフェッチを開始し、プリフェッチ領域26を右側に拡大していき、プリフェッチ領域26が復号画面25の右端に到達すると、図2(B)に示すように、復号画面25の左端から更にプリフェッチが続けられる。
そして、プリフェッチメモリ15が画像データで一杯になると、図2(C)に示すように、プリフェッチ領域26の左上側からプリフェッチ領域を削除しながら、左下側からの新たなプリフェッチが続けられる。このようなプリフェッチが、図2(D)、(E)に示すように続けられ、図2(F)に示すように、復号画面25の右下端に到達すると、プリフェッチは終了とされる。
本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10では、このようなプリフェッチ動作がプリフェッチ制御部18の制御により復号処理部13による復号処理の進行に合わせて行われるが、復号処理部13がマクロブロックライン単位で復号処理を終了するごとに実行されるプリフェッチ領域の左側からの更新の際に、プリフェッチ制御部18が発行するプリフェッチ内容更新要求の内容により、必要に応じて、プリフェッチ領域の更新位置や更新縦サイズが調整されることになる。
例えば、図2(D)は、プリフェッチ領域26の左上側からプリフェッチ領域を削除しながら、左下側から新たなプリフェッチが続けられている様子を示しているが、この例では、図2(C)に示す場合に比較して、新たにプリフェッチしている領域及び削除している領域の縦サイズ(更新縦サイズ)を大きくしている。これは、復号処理部13が前マクロブロックラインの復号処理を実行した際に、後述する下ミスヒット量が上ミスヒット量より大きかったことによる。
また、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10では、復号処理部13が発行する矩形読み出し要求のプリフェッチメモリ15に対するミスヒットの型として「上完全ミスヒット」、「上部分ミスヒット」、「下部分ミスヒット」及び「下完全ミスヒット」という4個のミスヒットの型を使用する。
表1は本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10で使用する「上完全ミスヒット」、「上部分ミスヒット」、「ヒット」、「下部分ミスヒット」及び「下完全ミスヒット」の定義を示している。
Figure 2008061151
図3はミスヒットの型を具体例を示して説明するための図である。図3中、30は外部メモリ11が記憶している復号画面、31はプリフェッチメモリ15がプリフェッチしているプリフェッチ領域、32、33はプリフェッチメモリ15がプリフェッチしていない非プリフェッチ領域を示している。
上完全ミスヒットとは、復号処理部13が要求した復号画面30内の矩形領域が、例えば、矩形領域34のように、全てプリフェッチ領域31の上側の非プリフェッチ領域32に含まれる場合を言う。
上部分ミスヒットとは、復号処理部13が要求した復号画面30内の矩形領域が、例えば、矩形領域35のように、プリフェッチ領域31の上側の非プリフェッチ領域32とプリフェッチ領域31にまたがる場合を言う。
ヒットとは、復号処理部13が要求した復号画面30内の矩形領域が、例えば、矩形領域36のように、全てプリフェッチ領域31に含まれる場合を言う。
下部分ミスヒットとは、復号処理部13が要求した復号画面30内の矩形領域が、例えば、矩形領域37のように、プリフェッチ領域31の下側の非プリフェッチ領域33とプリフェッチ領域31にまたがる場合を言う。
下完全ミスヒットとは、復号処理部13が要求した復号画面30内の矩形領域が、例えば、矩形領域38のように、全てプリフェッチ領域31の下側の非プリフェッチ領域33に含まれる場合を言う。
図4はヒット/ミスヒット判定/カウント部14の構成図である。ヒット/ミスヒット判定/カウント部14は、ヒット/ミスヒット判定部40と、ヒット/ミスヒット・カウンタ41を備えている。
ヒット/ミスヒット判定部40は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にヒットするか否かを判定し、その判定結果を上完全ミスヒット、上部分ミスヒット、ヒット、下部分ミスヒット又は下完全ミスヒットの別に、ヒット/ミスヒット・カウンタ41に通知し、更に、ヒットの場合は、プリフェッチメモリ15に矩形読み出し要求を発行し、ミスヒットの場合は、外部メモリ制御部12に矩形読み出し要求を発行するものである。
ヒット/ミスヒット・カウンタ41は、上完全ミスヒット・カウンタ42と、上部分ミスヒット・カウンタ43と、ヒット・カウンタ44と、下部分ミスヒット・カウンタ45と、下完全ミスヒット・カウンタ46を備えている。
上完全ミスヒット・カウンタ42は上完全ミスヒット数をカウントするものである。上部分ミスヒット・カウンタ43は上部分ミスヒット数をカウントするものである。ヒット・カウンタ44はヒット数をカウントするものである。下部分ミスヒット・カウンタ45は下部分ミスヒット数をカウントするものである。下完全ミスヒット・カウンタ46は下完全ミスヒット数をカウントするものである。
図5はヒット/ミスヒット判定部40の動作を示すフローチャートである。ヒット/ミスヒット判定部40は、復号処理部13からの矩形読み出し要求を受け付けると(ステップP1)、この矩形読み出し要求がプリフェッチメモリ15にヒットするか否かを判定し(ステップP2)、ヒットしている場合(ステップP2でYESの場合)には、ヒットをヒット/ミスヒット・カウンタ41に通知し(ステップP3)、続いて、プリフェッチメモリ制御部16に矩形読み出し要求を発行する(ステップP4)。
これに対して、矩形読み出し要求がプリフェッチメモリ15にミスヒットしている場合(ステップP2でNOの場合)には、ミスヒットの型を算出し、即ち、ミスヒットの型が上完全ミスヒット、上部分ミスヒット、下部分ミスヒット又は下完全ミスヒットのどれに該当するかを算出し(ステップP5)、該当するミスヒットの型をヒット/ミスヒット・カウンタ41に通知し(ステップP6)、続いて、外部メモリ制御部12に矩形読み出し要求を発行する(ステップP7)。
図6はプリフェッチ制御部18のプリフェッチ領域調整動作を示すフローチャート、図7はプリフェッチ制御部18によるプリフェッチ領域調整方法を説明するための図である。図7中、50は外部メモリ11が記憶している復号画面、51はプリフェッチメモリ15がプリフェッチしているプリフェッチ領域を示しており、図7(A)、(E)、(G)は復号処理部13が前マクロブロックラインを復号処理した際のプリフェッチ領域を示している。
プリフェッチ制御部18は、復号処理部13が一つのマクロブロックラインの復号処理を終了すると、上完全ミスヒット・カウンタ42、上部分ミスヒット・カウンタ43、ヒット・カウンタ44、下部分ミスヒット・カウンタ45及び下完全ミスヒット・カウンタ46の各カウント値を取得する(ステップQ1)。
次に、プリフェッチ制御部18は、復号処理部13による前マクロブロックラインの復号処理における矩形読み出し要求がプリフェッチ領域の上方向にミスヒットする度合いを示す上ミスヒット量と、下方向にミスヒットする度合いを示す下ミスヒット量と、プリフェッチ領域の更新時の縦サイズを決定するための閾値をそれぞれ数1に示す式を使用して算出する(ステップQ2)。但し、a1、a2、b1、b2、cは重み付け係数、dは重み付け定数であり、これらの値は適切に調整されるものである。
Figure 2008061151
次に、プリフェッチ制御部18は、(上ミスヒット量−下ミスヒット量)>閾値であるか否かを判定する(ステップQ3)。そして、(上ミスヒット量−下ミスヒット量)>閾値である場合(ステップQ3でYESの場合)には、(基本移動量−上シフト量)>0であるか否かを判断する(ステップQ4)。基本移動量とは、予め決定されている、ミスヒット量による調整を行わない場合の更新縦サイズ(例えば、1マクロブロックの縦サイズ)であり、上シフト量とは、上ミスヒット量及び下ミスヒット量を元に決定される値である。
ここで、ステップQ3における閾値を閾値1とすると、閾値1<(上ミスヒット量−下ミスヒット量)≦閾値2の場合には、例えば、上シフト量=1単位(但し、1単位は、例えば、16画素である。)とする。また、閾値2<(上ミスヒット量−下ミスヒット量)≦閾値3の場合には、例えば、上シフト量=2単位とする。また、閾値3<(上ミスヒット量−下ミスヒット量)の場合には、例えば、上シフト量=3単位とする。
ここで、(基本移動量−上シフト量)>0の場合(ステップQ4でYESの場合)には、復号処理部13が次のマクロブロックラインの復号処理を実行する場合に、その進行に合わせて、図7(B)に示すように、更新縦サイズL1をL1=(基本移動量−上シフト量)としてプリフェッチ領域51の更新を実行する(ステップQ5)。即ち、プリフェッチ領域51内の上側の縦サイズをL1とする領域を削除し、プリフェッチ領域51の下側の縦サイズをL1とする領域を新たにプリフェッチする。
これに対して、(基本移動量−上シフト量)<0の場合(ステップQ4でNOの場合)には、(上シフト量−基本移動量)>0であるか否かを判断する(ステップQ6)。そして、(上シフト量−基本移動量)>0である場合(ステップQ6でYESの場合)には、復号処理部13が次のマクロブロックラインの復号処理を実行する場合に、その進行に合わせて、図7(C)に示すように、更新縦サイズL2をL2=(上シフト量−基本移動量)としてプリフェッチ領域51の更新を実行する(ステップQ7)。即ち、プリフェッチ領域51内の下側の縦サイズをL2とする領域を削除し、プリフェッチ領域51の上側の縦サイズをL2とする領域を新たにプリフェッチする。
これに対して、上シフト量−基本移動量<0の場合(ステップQ6でNOの場合)、即ち、(上シフト量−基本移動量)=0の場合には、復号処理部13が次のマクロブロックラインの復号処理を行う場合においても、図7(D)に示すように、プリフェッチ領域の更新を実行しない(ステップQ8)。
また、ステップQ3で、(上ミスヒット量−下ミスヒット量)<閾値の場合(ステップQ3でNOの場合)には、(下ミスヒット量−上ミスヒット量)>閾値であるか否かを判断する(ステップQ9)。なお、ステップQ9における閾値は、ステップQ3における閾値と異なる値であっても良い。
そして、(下ミスヒット量−上ミスヒット量)>閾値の場合(ステップQ9でYESの場合)には、復号処理部13が次のマクロブロックラインの復号処理を実行する場合に、その進行に合わせて、図7(F)に示すように、更新縦サイズL3をL3=(基本移動量+下シフト量)としてプリフェッチ領域51の更新を実行する(ステップQ10)。即ち、プリフェッチ領域51内の上側の縦サイズをL3とする領域を削除し、プリフェッチ領域51の下側の縦サイズをL3とする領域を新たにプリフェッチする。
ここで、下シフト量とは、上ミスヒット量及び下ミスヒット量を元に決定される値であり、ステップQ9における閾値を閾値1とすると、閾値1<(下ミスヒット量−上ミスヒット量)≦閾値2の場合には、例えば、下シフト量=1単位(但し、1単位は、例えば、16画素である。)とする。また、閾値2<(下ミスヒット量−上ミスヒット量)≦閾値3の場合には、例えば、下シフト量=2単位とする。また、閾値3<(下ミスヒット量−上ミスヒット量)の場合には、例えば、下シフト量=3単位とする。
これに対して、(下ミスヒット量−上ミスヒット量)<閾値の場合(ステップQ9でNOの場合)には、復号処理部13が次のマクロブロックラインの復号処理を行う場合に、その進行に合わせて、図7(H)に示すように、更新縦サイズL4をL4=基本移動量としてプリフェッチ領域51の更新を実行する(ステップQ11)。即ち、プリフェッチ領域51内の上側の縦サイズをL4とする領域を削除し、プリフェッチ領域51の下側の縦サイズをL4とする領域を新たにプリフェッチする。
以上のように、本発明の動画像処理装置の第1実施形態であるMPEGデコーダにおいては、復号処理部13が矩形読み出し要求を発行すると、ヒット/ミスヒット判定部40は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にヒットするか否かを判定し、その判定結果を上完全ミスヒット、上部分ミスヒット、ヒット、下部分ミスヒット又は下完全ミスヒットの別にヒット/ミスヒット・カウンタ41に通知する。
ヒット/ミスヒット・カウンタ41は、ヒット/ミスヒット判定部40からの判定結果を受けて、上完全ミスヒット数、上部分ミスヒット数、ヒット数、下部分ミスヒット数及び下完全ミスヒット数をそれぞれ上完全ミスヒット・カウンタ42、上部分ミスヒット・カウンタ43、ヒット・カウンタ44、下部分ミスヒット・カウンタ45及び下完全ミスヒット・カウンタ46でカウントする。
また、ヒット/ミスヒット判定部40は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にヒットしている場合には、矩形読み出し要求をアドレス生成部17に対して発行し、アドレス生成部17は、これを受けて、矩形読み出し要求に含まれる復号処理部13が要求する復号画面内の矩形領域の位置情報及びサイズ情報からプリフェッチメモリ15に与えるアドレスを生成してプリフェッチメモリ15に与える。この結果、復号処理部13が要求する復号画面内の矩形領域の画像データがプリフェッチメモリ15から読み出されて復号処理部13に転送される。
また、ヒット/ミスヒット判定部40は、復号処理部13が発行した矩形読み出し要求がプリフェッチメモリ15にミスヒットしている場合には、矩形読み出し要求を外部メモリ制御部12に対して発行し、外部メモリ制御部12内のアドレス生成部21は、これを受けて、矩形読み出し要求に含まれる復号処理部13が要求する復号画面内の矩形領域の位置情報及びサイズ情報から外部メモリ11に与えるアドレスを生成して外部メモリ11に与える。この結果、復号処理部13が要求する復号画面内の矩形領域の画像データが外部メモリ11から読み出されて復号処理部13に転送される。
また、プリフェッチ制御部18は、復号処理部13がマクロブロックライン単位で復号処理を終了するごとに、プリフェッチ領域の左側からの更新を開始するが、この場合に、復号処理部13が前マクロブロックラインの復号処理の際に発行した矩形読み出し要求についてヒット/ミスヒット・カウンタ41がカウントしたヒット数及びミスヒットの型ごとのミスヒット数に基づいて、プリフェッチ内容更新要求に含める矩形領域の位置情報及びサイズ情報により、図6に示すように、プリフェッチ領域の更新位置や更新縦サイズを調整することになる。
このように、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10によれば、ヒット/ミスヒット判定/カウント部14とプリフェッチ制御部18により、復号処理部13からの矩形読み出し要求のプリフェッチメモリ15に対するミスヒットの発生方向状況を算出して、復号処理部13からの矩形読み出し要求のプリフェッチメモリ15に対するミスヒット数を減らすように、プリフェッチメモリ15がプリフェッチするプリフェッチ領域を調整することができるので、復号処理部13からの矩形読み出し要求のプリフェッチメモリ15に対するヒット率を高くし、復号処理部13における復号処理の高速化を図ることができる。
なお、本発明の動画像処理装置の第1実施形態であるMPEGデコーダ10においては、ヒット/ミスヒット判定/カウント部14は、ヒット数及びミスヒットの型ごとのミスヒット数をカウントするようにしているが、この代わりに、ヒット面積及びミスヒットの型ごとのミスヒット面積をカウントするように構成することもできる。
この場合には、プリフェッチ制御部18は、上ミスヒット量を(第1の重み付け係数×上完全ミスヒットの矩形領域の面積+第2の重み付け係数×上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、下ミスヒット量を(第3の重み付け係数×下完全ミスヒットの矩形領域の面積+第4の重み付け係数×下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出する。
そして、(上ミスヒット量−下ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量−上シフト量)としてプリフェッチ領域を調整し、(下ミスヒット量−上ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量+下シフト量)としてプリフェッチ領域を調整し、(上ミスヒット量−下ミスヒット量)≦閾値、かつ、(下ミスヒット量−上ミスヒット量)≦閾値のときは、更新縦サイズ=基本移動量としてプリフェッチ領域を調整するものとする。
また、ヒット/ミスヒット判定/カウント部14は、矩形読み出し要求がプリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒット、矩形読み出し要求がプリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒットと判定し、上方向ミスヒットの数と、下方向ミスヒットの数を別々にカウントするように構成することできる。
この場合には、プリフェッチ制御部18は、上ミスヒット量を(第1の重み付け係数×上方向ミスヒットの数)で算出し、下ミスヒット量を(第2の重み付け係数×下方向ミスヒットの数)で算出し、(上ミスヒット量−下ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量−上シフト量)としてプリフェッチ領域を調整し、(下ミスヒット量−上ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量+下シフト量)としてプリフェッチ領域を調整し、(上ミスヒット量−下ミスヒット量)≦閾値、かつ、(下ミスヒット量−上ミスヒット量)≦閾値のときは、更新縦サイズ=基本移動量としてプリフェッチ領域を調整するものとする。
また、ヒット/ミスヒット判定/カウント部14は、矩形読み出し要求がプリフェッチ領域に対して上方向にミスヒットしている場合を上ミスヒット、矩形読み出し要求がプリフェッチ領域に対して下方向にミスヒットしている場合を下ミスヒットと判定し、上方向ミスヒットの矩形領域の面積と、下方向ミスヒットの矩形領域の非プリフェッチ領域部分の面積を別々にカウントするように構成することもできる。
この場合、プリフェッチ制御部18は、上ミスヒット量を(第1の重み付け係数×上方向ミスヒットの矩形領域の面積)で算出し、下ミスヒット量を(第2の重み付け係数×下方向ミスヒットの矩形領域の面積)で算出し、(上ミスヒット量−下ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量−上シフト量)としてプリフェッチ領域を調整し、(下ミスヒット量−上ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量+下シフト量)としてプリフェッチ領域を調整し、(上ミスヒット量−下ミスヒット量)≦閾値、かつ、(下ミスヒット量−上ミスヒット量)≦閾値のときは、更新縦サイズ=基本移動量としてプリフェッチ領域を調整するものとする。
(本発明の動画像処理装置の第2実施形態)
図8は本発明の動画像処理装置の第2実施形態であるMPEGエンコーダを外部メモリ及び外部メモリ制御部とともに示す図である。図8中、60は本発明の動画像処理装置の第2実施形態であるMPEGエンコーダであり、画像信号を圧縮符号化処理してMPEGストリームを作成するものである。61は外部メモリであり、MPEGエンコーダ60が参照画像を得るための復号画面を記憶するためのものである。62は外部メモリ制御部であり、外部メモリ61からの参照画像の読み出しを制御するものである。
また、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60において、63は動き検出部、64はヒット/ミスヒット判定/カウント部、65はプリフェッチメモリ、66はプリフェッチメモリ制御部である。
動き検出部63は、MPEGストリームの作成に必要な動き検出を行うものであり、外部メモリ61が記憶する復号画面内の矩形領域を参照画像として使用する場合には、ヒット/ミスヒット判定/カウント部64に対して矩形読み出し要求を発行する。
ヒット/ミスヒット判定/カウント部64は、動き検出部63が発行した矩形読み出し要求がプリフェッチメモリ65にヒットするか否か、即ち、矩形読み出し要求に係る復号画面内の矩形領域がプリフェッチメモリ65に存在するか否かを判定し、後述するミスヒットの型ごとのミスヒット数をカウントし、ヒットの場合は、プリフェッチメモリ65に対して矩形読み出し要求を発行し、ミスヒットの場合は、外部メモリ制御部62に対して矩形読み出し要求を発行するものである。
プリフェッチメモリ65は、外部メモリ61が記憶する復号画面の一部分をプリフェッチして記憶するものである。プリフェッチメモリ制御部66は、プリフェッチメモリ65からの画像データの読み出し及びプリフェッチ内容の更新を制御するものであり、アドレス生成部67と、プリフェッチ制御部68と、アドレス生成部69を備えている。
アドレス生成部67は、ヒット/ミスヒット判定/カウント部64が発行した矩形読み出し要求を受けて、矩形読み出し要求に含まれる矩形領域の位置情報及びサイズ情報からプリフェッチメモリ65に与えるアドレスを生成するものである。
プリフェッチ制御部68は、動き検出部63が一つのマクロブロックの動き検出処理を行うごとに、プリフェッチメモリ65がプリフェッチするプリフェッチ領域のシフトのために外部メモリ制御部62及びアドレス生成部69に与えるプリフェッチ内容更新要求を生成するものである。このプリフェッチ内容更新要求には、プリフェッチ領域のシフト方向情報及びシフト量情報が含まれる。
また、このプリフェッチ制御部68は、動き検出部63がマクロブロック単位で動き検出処理を終了するごとに、プリフェッチ領域のシフトを行うが、この場合、必要に応じて、プリフェッチ内容更新要求の内容により、プリフェッチ領域の移動方向及び移動量を調整することになる。
アドレス生成部69は、プリフェッチ制御部68からのプリフェッチ内容更新要求を受けて、このプリフェッチ内容更新要求に含まれるプリフェッチ領域のシフト方向及びシフト量情報からプリフェッチメモリ65に与えるアドレスを生成するものである。なお、アドレス生成部69からアドレスを受けるプリフェッチメモリ65は、同時に外部メモリ61から転送されてくる画像データを書き込むことにより、プリフェッチ領域の更新を行うことになる。
また、外部メモリ制御部62は、調停部70と、アドレス生成部71を備えている。調停部70は、ヒット/ミスヒット判定/カウント部64が発行する矩形読み出し要求と、プリフェッチ制御部68が発行するプリフェッチ内容更新要求のアドレス生成部71への転送を調停するものである。
アドレス生成部71は、調停部70を介してヒット/ミスヒット判定/カウント部64からの矩形読み出し要求を受けた場合には、この矩形読み出し要求に含まれるプリフェッチ領域の位置方向情報及びサイズ情報から外部メモリ61に与えるアドレスを生成し、また、調停部70を介してプリフェッチ制御部68からのプリフェッチ内容更新要求を受けた場合には、このプリフェッチ内容更新要求に含まれるプリフェッチを行うプリフェッチ領域のシフト方向情報及びシフト量情報から外部メモリ61に与えるアドレスを生成するものである。
なお、ヒット/ミスヒット判定/カウント部64からの矩形読み出し要求に基づいて外部メモリ61から読み出された画像データは動き検出部63に転送され、プリフェッチ制御部68からのプリフェッチ内容更新要求に基づいて外部メモリ61から読み出された画像データはプリフェッチメモリ65に転送される。
図9はプリフェッチ制御部68の制御によりプリフェッチメモリ65がプリフェッチする外部メモリ61が記憶する復号画面内のプリフェッチ領域の遷移例を示す図であり、プリフェッチ領域のシフト方向及びシフト量の調整を行わない場合を示している。図9中、75は外部メモリ61が記憶する復号画面、76はプリフェッチメモリ65にプリフェッチされるプリフェッチ領域を示している。
即ち、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60においては、復号画面75の左上端から所定の縦サイズでプリフェッチが始まり、図9(A)に示す時点でプリフェッチメモリ65が画像データで一杯になり、そして、動き検出部63が1マクロブロックの動き検出処理を終了すると、図9(B)に示すように、プリフェッチ領域76を基本移動量だけ右側に移動し、以下、動き検出部63でのマクロブロック単位での動き検出処理に合わせてプリフェッチ領域76を基本移動量を単位として右方向に移動させていく。
そして、図9(C)に示すように、プリフェッチ領域76が復号画面75の右端に到達すると、図9(D)に示すように、基本移動量だけ下側に移動させて、再び、右方向にプリフェッチ領域76の移動が続けられ、このようなプリフェッチ領域76の移動が、図9(D)、(E)に示すように続けられ、図9(F)に示すように、復号画面75の右下端に到達すると、プリフェッチ領域76の移動は終了とされる。
なお、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60においては、後述するように、動き検出部63が発行する矩形読み出し要求のプリフェッチメモリ65へのミスヒットの発生方向状況に応じて、プリフェッチ領域76の移動方向や移動量の調整が行われることになる。
また、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60では、ミスヒットの型として「上完全ミスヒット」、「上部分ミスヒット」、「下完全ミスヒット」、「下部分ミスヒット」、「左完全ミスヒット」、「左部分ミスヒット」、「右完全ミスヒット」、「右部分ミスヒット」という8個のミスヒットの型を使用する。
表2及び表3は本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60で使用する「上完全ミスヒット」、「上部分ミスヒット」、「下完全ミスヒット」、「下部分ミスヒット」、「左完全ミスヒット」、「左部分ミスヒット」、「右完全ミスヒット」、「右部分ミスヒット」及び「ヒット」の定義を示している。
Figure 2008061151
Figure 2008061151
図10はミスヒットの型を具体例を示して説明するための図であり、図10中、80は外部メモリ61が記憶している復号画面、81はプリフェッチメモリ65にプリフェッチされているプリフェッチ領域、82〜89はプリフェッチメモリ65にプリフェッチされていない非プリフェッチ領域を示している。
上完全ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域90、91のように、全てプリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86の上側の非プリフェッチ領域82〜84内の領域に含まれる場合を言う。
上部分ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域92、93のように、プリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86の上側のプリフェッチ領域82〜84内の領域と、プリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86内の領域にまたがる場合を言う。
下完全ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域94、95のように、全てプリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86の下側の非プリフェッチ領域87〜89内の領域に含まれる場合を言う。
下部分ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域96、97のように、プリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86の下側のプリフェッチ領域87〜89内の領域と、プリフェッチ領域81の左側の非プリフェッチ領域85とプリフェッチ領域81とプリフェッチ領域81の右側の非プリフェッチ領域86内の領域にまたがる場合を言う。
左完全ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域90、92のように、全てプリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88の左側のプリフェッチ領域82、85、87内の領域に含まれる場合を言う。
左部分ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域94、96、98のように、プリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88の左側のプリフェッチ領域82、85、87内の領域と、プリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88内の領域にまたがる場合を言う。
右完全ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域97のように、全てプリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88の右側のプリフェッチ領域84、86、89内の領域に含まれる場合を言う。
右部分ミスヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域91のように、プリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88の右側のプリフェッチ領域84、86、89内の領域とプリフェッチ領域81の上側の非プリフェッチ領域83とプリフェッチ領域81とプリフェッチ領域81の下側の非プリフェッチ領域88内の領域にまたがる場合を言う。
ヒットとは、動き検出部63が要求した復号画面80内の矩形領域が、例えば、矩形領域99のように、全てプリフェッチ領域81に含まれる場合を言う。
図11はヒット/ミスヒット判定/カウント部64の構成図である。ヒット/ミスヒット判定/カウント部64は、ヒット/ミスヒット判定部105と、ミスヒット・カウンタ106を備えている。
ヒット/ミスヒット判定部105は、動き検出部63が発行した矩形読み出し要求がプリフェッチメモリ65にヒットするか否かを判定し、その判定結果をミスヒットの場合のみ、上完全ミスヒット、上部分ミスヒット、下完全ミスヒット、下部分ミスヒット、左完全ミスヒット、左部分ミスヒット、右完全ミスヒット、右部分ミスヒットの別に、ミスヒット・カウンタ106に通知し、更に、ヒットの場合は、プリフェッチメモリ65に矩形読み出し要求を発行し、ミスヒットの場合は、外部メモリ制御部62に矩形読み出し要求を発行するものである。
ミスヒット・カウンタ106は、上完全ミスヒット・カウンタ107と、上部分ミスヒット・カウンタ108と、下完全ミスヒット・カウンタ109と、下部分ミスヒット・カウンタ110と、左完全ミスヒット・カウンタ111と、左部分ミスヒット・カウンタ112と、右完全ミスヒット・カウンタ113と、右部分ミスヒット・カウンタ114を備えている。
上完全ミスヒット・カウンタ107は上完全ミスヒット数をカウントするものである。上部分ミスヒット・カウンタ108は上部分ミスヒット数をカウントするものである。下完全ミスヒット・カウンタ109は下完全ミスヒット数をカウントするものである。下部分ミスヒット・カウンタ110は下部分ミスヒット数をカウントするものである。
左完全ミスヒット・カウンタ111は左完全ミスヒット数をカウントするものである。左部分ミスヒット・カウンタ112は左部分ミスヒット数をカウントするものである。右完全ミスヒット・カウンタ113は右完全ミスヒット数をカウントするものである。右部分ミスヒット・カウンタ114は右部分ミスヒット数をカウントするものである。
なお、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60の場合には、動き検出部63からの一つの矩形読み出し要求が複数のミスヒットの型に該当する場合が発生するが、その場合、ヒット/ミスヒット判定部105は、該当するミスヒットの型を全て通知し、ミスヒット・カウンタ106は、対応する複数のカウンタでミスヒット数をカウントする。
図10の例では、矩形領域91を要求する矩形読み出し要求は上完全ミスヒットと右部分ミスヒットに該当し、矩形領域92を要求する矩形読み出し要求は上部分ミスヒットと左完全ミスヒットに該当し、矩形領域94を要求する矩形読み出し要求は下完全ミスヒットと左部分ミスヒットに該当し、矩形領域96を要求する矩形読み出し要求は下部分ミスヒットと左部分ミスヒットに該当し、矩形領域97を要求する矩形読み出し要求は下部分ミスヒットと右完全ミスヒットに該当し、それぞれ2重にカウントされる。
図12はヒット/ミスヒット判定部105の動作を示すフローチャートである。ヒット/ミスヒット判定部105は、動き検出部63からの矩形読み出し要求を受け付けると(ステップS1)、この矩形読み出し要求がプリフェッチメモリ65にヒットするか否かを判定し(ステップS2)、ヒットしている場合(ステップS2でYESの場合)には、プリフェッチメモリ制御部66に矩形読み出し要求を発行する(ステップS3)。
これに対して、矩形読み出し要求がプリフェッチメモリ65にミスヒットしている場合(ステップS2でNOの場合)には、ミスヒットの型を算出し、即ち、ミスヒットの型が上完全ミスヒット、上部分ミスヒット、下完全ミスヒット、下部分ミスヒット、左完全ミスヒット、左部分ミスヒット、右完全ミスヒット又は右部分ミスヒットのどれに該当するかを算出し(ステップS4)、該当するミスヒットの型をミスヒット・カウンタ106に通知し(ステップS5)、続いて、外部メモリ制御部62に矩形読み出し要求を発行する(ステップS6)。
図13はプリフェッチ制御部68のプリフェッチ領域調整動作を示すフローチャートである。プリフェッチ制御部68は、動き検出部63が一つのマクロブロックの処理を終了すると、動き検出部63からの前マクロブロックの処理における矩形読み出し要求がプリフェッチ領域の上方向にミスヒットする度合いを示す上ミスヒット量と、下方向にミスヒットする度合いを示す下ミスヒット量と、左方向にミスヒットする度合いを示す左ミスヒット量と、右方向にミスヒットする度合いを示す右ミスヒット量をミスヒット・カウンタ106の各カウンタ107〜114の値及び数2に示す式を使用して算出する(ステップW1)。但し、a3〜a6、b3〜b6は重み付け係数であり、これらの値は適切に調整されるものである。
Figure 2008061151
次に、プリフェッチ制御部68は、ミスヒット量が最大の方向を判定する(ステップW2)。そして、上ミスヒット量が最大の場合には、上ミスヒット量からプリフェッチ領域の位置を調整するための上シフト量を算出する(ステップW3)。この上シフト量は、例えば、上シフト量=(K1×上ミスヒット量+N1)で決定する。但し、K1は重み付け係数、N1は重み付け定数であり、これらK1、N1の値は適切に調整される。そして、プリフェッチ領域を右方向に基本移動量、かつ、上方向に上シフト量だけシフトする(ステップW4)。
また、ステップW2での判断の結果、下ミスヒット量が最大の場合には、下ミスヒット量からプリフェッチ領域の位置を調整するための下シフト量を算出する(ステップW5)。この下シフト量は、例えば、下シフト量=(K2×下ミスヒット量+N2)で決定する。但し、K2は重み付け係数、N2は重み付け定数であり、これらK2、N2の値は適切に調整される。そして、プリフェッチ領域を右方向に基本移動量、かつ、下方向に下シフト量だけシフトする(ステップW6)。
また、ステップW2での判断の結果、左ミスヒット量が最大の場合には、左ミスヒット量からプリフェッチ領域の位置を調整するための左シフト量を算出する(ステップW7)。この左シフト量は、例えば、左シフト量=(K3×左ミスヒット量+N3)で決定する。但し、K3は重み付け係数、N3は重み付け定数であり、これらK3、N3の値は適切に調整される。そして、プリフェッチ領域を右方向に基本移動量、かつ、左方向に左シフト量だけシフトする(ステップW8)。
また、ステップW2での判断の結果、右ミスヒット量が最大の場合には、右ミスヒット量からプリフェッチ領域の位置を調整するための右シフト量を算出する(ステップW9)。この右シフト量は、例えば、右シフト量=(K4×右ミスヒット量+N4)で決定する。但し、K4は重み付け係数、N4は重み付け定数であり、これらK4、N4の値は適切に調整される。そして、プリフェッチ領域を右方向に基本移動量、かつ、右方向に右シフト量だけシフトする(ステップW10)。
また、ステップW2での判断の結果、ミスヒットが無かった場合には、シフト量=基本移動量としてプリフェッチ領域を通常にシフトさせる(ステップW11)。
図14はプリフェッチ制御部68の制御によりプリフェッチメモリ65がプリフェッチする外部メモリ61が記憶する復号画面内のプリフェッチ領域の遷移例を示す図である。図14中、120は外部メモリ61が記憶している復号画面、121はプリフェッチメモリ65にプリフェッチされるプリフェッチ領域を示している。
図14(A)は或る時点でのプリフェッチ領域121を示している。図14(B)は図14(A)に示すプリフェッチ領域121に対するミスヒット数に基づくプリフェッチ制御部68によるミスヒット量が最大の方向の判定の結果、全てヒットであった場合を示しており、この場合には、図14(A)に示すプリフェッチ領域121は、図14(B)に示すように、右方向に基本移動量だけシフトされる。
図14(C)は図14(B)に示すプリフェッチ領域121に対するミスヒット数に基づくプリフェッチ制御部68によるシフト量の算出で下シフト量=2単位となった場合を示しており、この場合には、図14(B)に示すプリフェッチ領域121は、図14(C)に示すように、右方向に基本移動量、かつ、下方向に2単位だけシフトされる。なお、シフト量の1単位の大きさは設計事項である。
図14(D)は図14(C)に示すプリフェッチ領域121に対するミスヒット数に基づくプリフェッチ制御部68によるシフト量の算出で右シフト量=1単位となった場合を示しており、この場合には、図14(C)に示すプリフェッチ領域121は、図14(D)に示すように、右方向に基本移動量、かつ、右方向に1単位だけシフトされる。
図14(E)は図14(D)に示すプリフェッチ領域121に対するミスヒット数に基づくプリフェッチ制御部68によるシフト量の算出で上シフト量=1単位となった場合を示しており、この場合には、図14(D)に示すプリフェッチ領域121は、図14(E)に示すように、右方向に基本移動量、かつ、上方向に1単位だけシフトされる。
図14(F)は図14(E)に示すプリフェッチ領域121に対するミスヒット数に基づくプリフェッチ制御部68によるシフト量の算出でシフト量=0となった場合を示しており、この場合には、図14(E)に示すプリフェッチ領域121は、図14(F)に示すように、右方向に基本移動量だけシフトされる。
以上のように、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダにおいては、動き検出部63が矩形読み出し要求を発行すると、ヒット/ミスヒット判定部105は、動き検出部63が発行した矩形読み出し要求がプリフェッチメモリ65にヒットするか否かを判定し、その判定結果をミスヒットの場合のみ、上完全ミスヒット、上部分ミスヒット、下完全ミスヒット、下部分ミスヒット、左完全ミスヒット、左部分ミスヒット、右完全ミスヒット又は右部分ミスヒットの別にミスヒット・カウンタ106に通知する。
ミスヒット・カウンタ106は、ヒット/ミスヒット判定部105からの判定結果を受けて、上完全ミスヒット数、上部分ミスヒット数、下完全ミスヒット数、下部分ミスヒット数、左完全ミスヒット数、左部分ミスヒット数、右完全ミスヒット数及び右部分ミスヒット数をそれぞれ上完全ミスヒット・カウンタ107、上部分ミスヒット・カウンタ108、下完全ミスヒット・カウンタ109、下部分ミスヒット・カウンタ110、左完全ミスヒット・カウンタ111、左部分ミスヒット・カウンタ112、右完全ミスヒット・カウンタ113及び右部分ミスヒット・カウンタ114でカウントする。
また、ヒット/ミスヒット判定部105は、動き検出部63が発行した矩形読み出し要求がプリフェッチメモリ65にヒットしている場合には、矩形読み出し要求をアドレス生成部67に対して発行し、アドレス生成部67は、これを受けて、矩形読み出し要求に含まれる動き検出部63が要求する復号画面内の矩形領域の位置情報及びサイズ情報からプリフェッチメモリ65に与えるアドレスを生成してプリフェッチメモリ65に与える。この結果、動き検出部63が要求する復号画面内の矩形領域の画像データがプリフェッチメモリ65から読み出されて動き検出部63に転送される。
また、ヒット/ミスヒット判定部105は、動き検出部63が発行した矩形読み出し要求がプリフェッチメモリ65にミスヒットの場合には、矩形読み出し要求を外部メモリ制御部62に対して発行し、外部メモリ制御部62内のアドレス生成部71は、これを受けて、矩形読み出し要求に含まれる動き検出部63が要求する復号画面内の矩形領域の位置情報及びサイズ情報から外部メモリ61に与えるアドレスを生成して外部メモリ61に与える。この結果、動き検出部63が要求する復号画面内の矩形領域の画像データが外部メモリ61から読み出されて動き検出部63に転送される。
また、プリフェッチ制御部68は、動き検出部63がマクロブロック単位での処理を終了するごとに、プリフェッチ領域のシフトを行うが、この場合、図13に示すように、プリフェッチ領域の移動方向及び移動量を調整することになる。
このように、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60によれば、ヒット/ミスヒット判定/カウント部64とプリフェッチ制御部68により、動き検出部63からの矩形読み出し要求のプリフェッチメモリ65に対するミスヒットの発生方向状況を算出して、動き検出部63からの矩形読み出し要求のプリフェッチメモリ65に対するミスヒット数を減らすように、プリフェッチメモリ65がプリフェッチするプリフェッチ領域を調整することができるので、動き検出部63からの矩形読み出し要求のプリフェッチメモリ65に対するヒット率を高くし、動き検出部63における動き検出処理の高速化を図ることができる。
なお、本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ60においては、ヒット/ミスヒット判定/カウント部64は、ミスヒットの型ごとのミスヒット数をカウントするようにしているが、この代わりに、ミスヒットの型ごとのミスヒット面積をカウントするように構成することもできる。
この場合には、プリフェッチ制御部68は、上ミスヒット量を(第1の重み付け係数×上完全ミスヒットの矩形領域の面積+第2の重み付け係数×上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、下ミスヒット量を(第3の重み付け係数×下完全ミスヒットの矩形領域の面積+第4の重み付け係数×下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、左ミスヒット量を(第5の重み付け係数×左完全ミスヒットの矩形領域の面積+第6の重み付け係数×左部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、右ミスヒット量を(第7の重み付け係数×右完全ミスヒットの矩形領域の面積+第8の重み付け係数×右部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出する。
そして、上方向ミスシフト量が最大の場合は、上シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、上方向に上シフト量だけシフトさせ、下方向ミスシフト量が最大の場合は、下シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、下方向に下シフト量だけシフトさせ、左方向ミスシフト量が最大の場合は、左シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、左方向に左シフト量だけシフトさせ、右方向ミスシフト量が最大の場合は、右シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、右方向に右シフト量だけシフトさせるものとする。
また、ヒット/ミスヒット判定/カウント部64は、矩形読み出し要求に係る矩形領域がプリフェッチ領域の左側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の右側の非プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の左側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の右側の非プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の上側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に対して左方向にミスヒットしている場合を左方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の上側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットと判定し、上方向ミスヒットの数と、下方向ミスヒットの数と、左方向ミスヒットの数と、右方向ミスヒットの数を別々にカウントするように構成することもできる。
この場合には、プリフェッチ制御部68は、上方向ミスヒット量を(第1の重み付け係数×上方向ミスヒットの数)で算出し、下方向ミスヒット量を(第2の重み付け係数×下方向ミスヒットの数)で算出し、左方向ミスヒット量を(第3の重み付け係数×左方向ミスヒットの数)で算出し、右方向ミスヒット量を(第4の重み付け係数×右方向ミスヒットの数)で算出する。
そして、上方向ミスシフト量が最大の場合は、上シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、上方向に上シフト量だけシフトさせ、下方向ミスシフト量が最大の場合は、下シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、下方向に下シフト量だけシフトさせ、左方向ミスシフト量が最大の場合は、左シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、左方向に左シフト量だけシフトさせ、右方向ミスシフト量が最大の場合は、右シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、右方向に右シフト量だけシフトさせるものとする。
また、ヒット/ミスヒット判定/カウント部64は、矩形読み出し要求に係る矩形領域がプリフェッチ領域の左側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の右側の非プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の左側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の右側の非プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の上側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に対して左方向にミスヒットしている場合を左方向ミスヒット、矩形読み出し要求に係る矩形領域がプリフェッチ領域の上側の非プリフェッチ領域とプリフェッチ領域とプリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットと判定し、上方向ミスヒットの矩形領域の面積と、下方向ミスヒットの矩形領域の面積と、左方向ミスヒットの矩形領域の面積と、右方向ミスヒットの矩形領域の面積を別々にカウントするように構成することもできる。
この場合には、プリフェッチ制御部68は、上方向ミスヒット量を(第1の重み付け係数×上方向ミスヒットの矩形領域の面積)で算出し、下方向ミスヒット量を(第2の重み付け係数×下方向ミスヒットの矩形領域の面積)で算出し、左方向ミスヒット量を(第3の重み付け係数×左方向ミスヒットの矩形領域の面積)で算出し、右方向ミスヒット量を(第4の重み付け係数×右方向ミスヒットの矩形領域の面積)で算出する。
そして、上方向ミスシフト量が最大の場合は、上シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、上方向に上シフト量だけシフトさせ、下方向ミスシフト量が最大の場合は、下シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、下方向に下シフト量だけシフトさせ、左方向ミスシフト量が最大の場合は、左シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、左方向に左シフト量だけシフトさせ、右方向ミスシフト量が最大の場合は、右シフト量を算出し、プリフェッチ領域を右方向に基本移動量、かつ、右方向に右シフト量だけシフトさせるものとする。
ここで、本発明を整理すると、本発明には、少なくとも、以下の動画像処理装置及びプリフェッチ制御方法が含まれる。
(付記1)外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置であって、
所定回路部からの前記復号画面内の矩形領域の読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定するミスヒット判定部を備えることを特徴とする動画像処理装置。
(付記2)前記ミスヒット判定部は、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒットと判定する判定部と、
前記上方向ミスヒットの数と、前記下方向ミスヒットの数を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記3)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの数)で算出し、
下ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの数)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量−前記上ミスヒット量)としてプリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、更新縦サイズ=(前記基本移動量+前記下ミスヒット量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記2に記載のプリフェッチ制御方法。
(付記4)前記ミスヒット判定部は、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットと判定する判定部と、
前記上完全ミスヒットの数と、前記上部分ミスヒットの数と、前記下部分ミスヒットの数と、前記下完全ミスヒットの数を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記5)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの数+第2の重み付け係数×前記上部分ミスヒットの数)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの数+第4の重み付け係数×前記下部分ミスヒットの数)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記4に記載の動画像処理装置。
(付記6)前記ミスヒット判定部は、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して左方向にミスヒットしている場合を左方向ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットと判定する判定部と、
前記上方向ミスヒットの数と、前記下方向ミスヒットの数と、前記左方向ミスヒットの数と、前記右方向ミスヒットの数を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記7)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上方向ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの数)で算出し、
下方向ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの数)で算出し、
左方向ミスヒット量を(第3の重み付け係数×前記左方向ミスヒットの数)で算出し、
右方向ミスヒット量を(第4の重み付け係数×前記右方向ミスヒットの数)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトさせるように調整し、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトさせるように調整し、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトさせるように調整し、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトさせるように調整することを特徴とする付記6に記載の動画像処理装置。
(付記8)前記ミスヒット判定部は、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を下部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に含まれる場合を左完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を左部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に含まれる場合を右完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を右部分ミスヒットと判定する判定部と、
前記上完全ミスヒットの数と、前記上部分ミスヒットの数と、前記下部分ミスヒットの数と、前記下完全ミスヒットの数と、前記左完全ミスヒットの数と、前記左部分ミスヒットの数と、前記右完全ミスヒットの数と、前記右部分ミスヒットの数を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記9)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの数+第2の重み付け係数×前記上部分ミスヒットの数)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの数+第4の重み付け係数×前記下部分ミスヒットの数)で算出し、
左ミスヒット量を(第5の重み付け係数×前記左完全ミスヒットの数+第6の重み付け係数×前記左部分ミスヒットの数)で算出し、
右ミスヒット量を(第7の重み付け係数×前記右完全ミスヒットの数+第8の重み付け係数×前記右部分ミスヒットの数)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトさせるように調整し、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトさせるように調整し、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトさせるように調整し、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトさせるように調整することを特徴とする付記8に記載の動画像処理装置。
(付記10)前記ミスヒット判定部は、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下ミスヒットと判定する判定部と、
前記上方向ミスヒットの矩形領域の面積と、前記下方向ミスヒットの矩形領域の非プリフェッチ領域部分の面積を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記11)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの矩形領域の面積)で算出し、
下ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの矩形領域の面積)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量として前記プリフェッチ領域を調整することを特徴とする付記10に記載の動画像処理装置。
(付記12)前記ミスヒット判定部は、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットと判定する判定部と、
前記上完全ミスヒットの矩形領域の面積と、前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記下完全ミスヒットの矩形領域の面積を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記13)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの矩形領域の面積+第2の重み付け係数×前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの矩形領域の面積+第4の重み付け係数×前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記12に記載の動画像処理装置。
(付記14)前記ミスヒット判定部は、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して左方向にミスヒットしている場合を左ミスヒット、前記矩形領域の読み出し要求が前記プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットと判定する判定部と、
前記上方向ミスヒットの矩形領域の面積と、前記下方向ミスヒットの矩形領域の面積と、前記左方向ミスヒットの矩形領域の面積と、前記右方向ミスヒットの矩形領域の面積を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記15)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上方向ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの矩形領域の面積)で算出し、
下方向ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの矩形領域の面積)で算出し、
左方向ミスヒット量を(第3の重み付け係数×前記左方向ミスヒットの矩形領域の面積)で算出し、
右方向ミスヒット量を(第4の重み付け係数×前記右方向ミスヒットの矩形領域の面積)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトさせるように調整し、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトさせるように調整し、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトさせるように調整し、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトさせるように調整することを特徴とする付記14に記載の動画像処理装置。
(付記16)前記ミスヒット判定部は、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を下部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に含まれる場合を左完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を左部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に含まれる場合を右完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を右部分ミスヒットと判定する判定部と、
前記上完全ミスヒットの矩形領域の面積と、前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記下完全ミスヒットの矩形領域の面積と、前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記左完全ミスヒットの矩形領域の面積と、前記左部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記右完全ミスヒットの矩形領域の面積と、前記右部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積を別々にカウントするカウンタを備えることを特徴とする付記1に記載の動画像処理装置。
(付記17)プリフェッチ制御部を備え、該プリフェッチ制御部は、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの矩形領域の面積+第2の重み付け係数×前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの矩形領域の面積+第4の重み付け係数×前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
左ミスヒット量を(第5の重み付け係数×前記左完全ミスヒットの矩形領域の面積+第6の重み付け係数×前記左部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
右ミスヒット量を(第7の重み付け係数×前記右完全ミスヒットの矩形領域の面積+第8の重み付け係数×前記右部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトし、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトし、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトし、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトすることを特徴とする付記16に記載の動画像処理装置。
(付記18)外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置におけるプリフェッチ制御方法であって、
前記所定回路部からの前記復号画面内の矩形領域の読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定する工程を有することを特徴とするプリフェッチ制御方法。
(付記19)前記ミスヒットの発生状況を判定する工程の結果に基づいて、前記プリフェッチメモリがプリフェッチするプリフェッチ領域を調整する工程を有することを特徴とする付記18に記載のプリフェッチ制御方法。
(付記20)前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒットとし、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの数)で算出し、
下ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの数)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、更新縦サイズ=(基本移動量−前記上ミスヒット量)としてプリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、更新縦サイズ=(前記基本移動量+前記下ミスヒット量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記18に記載のプリフェッチ制御方法。
(付記21)前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの数+第2の重み付け係数×前記上部分ミスヒットの数)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの数+第4の重み付け係数×前記下部分ミスヒットの数)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記18に記載のプリフェッチ制御方法。
(付記22)前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に対して左方向にミスヒットしている場合を左方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットとし、
上方向ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの数)で算出し、
下方向ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの数)で算出し、
左方向ミスヒット量を(第3の重み付け係数×前記左方向ミスヒットの数)で算出し、
右方向ミスヒット量を(第4の重み付け係数×前記右方向ミスヒットの数)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトし、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトし、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトし、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトすることを特徴とする付記18に記載のプリフェッチ制御方法。
(付記23)前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を上部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を下部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に含まれる場合を左完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を左部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に含まれる場合を右完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を上部分ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの数+第2の重み付け係数×前記上部分ミスヒットの数)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの数+第4の重み付け係数×前記下部分ミスヒットの数)で算出し、
左ミスヒット量を(第5の重み付け係数×前記左完全ミスヒットの数+第6の重み付け係数×前記左部分ミスヒットの数)で算出し、
右ミスヒット量を(第7の重み付け係数×前記右完全ミスヒットの数+第8の重み付け係数×前記右部分ミスヒットの数)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトし、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトし、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトし、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトすることを特徴とする付記18に記載のプリフェッチ制御方法。
(付記24)前記矩形領域の読み出し要求が前記プリフェッチ領域に対して上方向にミスヒットしている場合を上ミスヒットとし、
前記矩形領域の読み出し要求が前記プリフェッチ領域に対して下方向にミスヒットしている場合を下ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの矩形領域の面積)で算出し、
下ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの矩形領域の面積)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量として前記プリフェッチ領域を調整することを特徴とする付記18に記載のプリフェッチ制御方法。
(付記25)前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの矩形領域の面積+第2の重み付け係数×前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの矩形領域の面積+第4の重み付け係数×前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
(前記上ミスヒット量−前記下ミスヒット量)>閾値のときは、上シフト量を算出し、更新縦サイズ=(基本移動量−前記上シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)>前記閾値のときは、下シフト量を算出し、更新縦サイズ=(前記基本移動量+前記下シフト量)として前記プリフェッチ領域を調整し、
(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値、かつ、(前記下ミスヒット量−前記上ミスヒット量)≦前記閾値のときは、更新縦サイズ=前記基本移動量としてプリフェッチ領域を調整することを特徴とする付記18に記載のプリフェッチ領域。
(付記26)前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域に対して上方向にミスヒットしている場合を上方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域に対して下方向にミスヒットしている場合を下方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に対して左方向にミスヒットしている場合を左方向ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に対して右方向にミスヒットしている場合を右方向ミスヒットとし、
上方向ミスヒット量を(第1の重み付け係数×前記上方向ミスヒットの矩形領域の面積)で算出し、
下方向ミスヒット量を(第2の重み付け係数×前記下方向ミスヒットの矩形領域の面積)で算出し、
左方向ミスヒット量を(第3の重み付け係数×前記左方向ミスヒットの矩形領域の面積)で算出し、
右方向ミスヒット量を(第4の重み付け係数×前記右方向ミスヒットの矩形領域の面積)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトし、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトし、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトし、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトすることを特徴とする付記18に記載のプリフェッチ制御方法。
(付記27)前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の上側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を上部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域の下側の非プリフェッチ領域と、前記プリフェッチ領域の左側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の右側の非プリフェッチ領域内の領域にまたがる場合を下部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域に含まれる場合を左完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の左側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を左部分ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域に含まれる場合を右完全ミスヒットとし、
前記矩形領域の読み出し要求に係る矩形領域が、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域の右側の非プリフェッチ領域と、前記プリフェッチ領域の上側の非プリフェッチ領域と前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域内の領域にまたがる場合を右部分ミスヒットとし、
上ミスヒット量を(第1の重み付け係数×前記上完全ミスヒットの矩形領域の面積+第2の重み付け係数×前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
下ミスヒット量を(第3の重み付け係数×前記下完全ミスヒットの矩形領域の面積+第4の重み付け係数×前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
左ミスヒット量を(第5の重み付け係数×前記左完全ミスヒットの矩形領域の面積+第6の重み付け係数×前記左部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
右ミスヒット量を(第7の重み付け係数×前記右完全ミスヒットの矩形領域の面積+第8の重み付け係数×前記右部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積)で算出し、
前記上方向ミスシフト量が最大の場合は、上シフト量を算出し、前記プリフェッチ領域を右方向に基本移動量、かつ、上方向に前記上シフト量だけシフトし、
前記下方向ミスシフト量が最大の場合は、下シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、下方向に前記下シフト量だけシフトし、
前記左方向ミスシフト量が最大の場合は、左シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、左方向に前記左シフト量だけシフトし、
前記右方向ミスシフト量が最大の場合は、右シフト量を算出し、前記プリフェッチ領域を右方向に前記基本移動量、かつ、右方向に前記右シフト量だけシフトすることを特徴とする付記18に記載のプリフェッチ制御方法。
本発明の動画像処理装置の第1実施形態であるMPEGデコーダを外部メモリ及び外部メモリ制御部とともに示す図である。 本発明の動画像処理装置の第1実施形態であるMPEGデコーダにおいて、プリフェッチ制御部の制御によりプリフェッチメモリがプリフェッチする外部メモリが記憶する復号画面内のプリフェッチ領域の遷移例を示す図である。 本発明の動画像処理装置の第1実施形態であるMPEGデコーダにおいて使用されるミスヒットの型を具体例を示して説明するための図である。 本発明の動画像処理装置の第1実施形態であるMPEGデコーダが備えるヒット/ミスヒット判定/カウント部の構成図である。 本発明の動画像処理装置の第1実施形態であるMPEGデコーダが備えるヒット/ミスヒット判定部の動作を示すフローチャートである。 本発明の動画像処理装置の第1実施形態であるMPEGデコーダが備えるプリフェッチ制御部のプリフェッチ領域調整動作を示すフローチャート 本発明の動画像処理装置の第1実施形態であるMPEGデコーダが備えるプリフェッチ制御部によるプリフェッチ領域調整方法を説明するための図である。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダを外部メモリ及び外部メモリ制御部とともに示す図である。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダにおいて、プリフェッチ制御部の制御によりプリフェッチメモリがプリフェッチする外部メモリが記憶する復号画面内のプリフェッチ領域の遷移例を示す図である。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダにおいて使用されるミスヒットの型を具体例を示して説明するための図である。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダが備えるヒット/ミスヒット判定/カウント部64の構成図である。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダが備えるヒット/ミスヒット判定部105の動作を示すフローチャートである。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダが備えるプリフェッチ制御部のプリフェッチ領域調整動作を示すフローチャートである。 本発明の動画像処理装置の第2実施形態であるMPEGエンコーダにおいて、プリフェッチ制御部の制御によりプリフェッチメモリがプリフェッチする外部メモリが記憶する復号画面内のプリフェッチ領域の遷移例を示す図である。 従来のMPEGデコーダの一例を外部メモリとともに示す図である。
符号の説明
1…従来のMPEGデコーダ
2…外部メモリ
3…復号処理部
4…プリフェッチメモリ
5…ヒット/ミスヒット判定部
10…本発明の動画像処理装置の第1実施形態であるMPEGデコーダ
11…外部メモリ
12…外部メモリ制御部
13…復号処理部
14…ヒット/ミスヒット判定/カウント部
15…プリフェッチメモリ
16…プリフェッチメモリ制御部
17…アドレス生成部
18…プリフェッチ制御部
19…アドレス生成部
20…調停部
21…アドレス生成部
25…復号画面
26…プリフェッチ領域
30…復号画面
31…プリフェッチ領域
32、33…非プリフェッチ領域
34〜38…矩形領域
40…ヒット/ミスヒット判定部
41…ヒット/ミスヒット・カウンタ
42…上完全ミスヒット・カウンタ
43…上部分ミスヒット・カウンタ
44…ヒット・カウンタ
45…下部分ミスヒット・カウンタ
46…下完全ミスヒット・カウンタ
50…復号画面
51…プリフェッチ領域
60…本発明の動画像処理装置の第2実施形態であるMPEGエンコーダ
61…外部メモリ
62…外部メモリ制御部
63…動き検出部
64…ヒット/ミスヒット判定/カウント部
65…プリフェッチメモリ
66…プリフェッチメモリ制御部
67…アドレス生成部
68…プリフェッチ制御部
69…アドレス生成部
70…調停部
71…アドレス生成部
75…復号画面
76…プリフェッチ領域
80…復号画面
81…プリフェッチ領域
82〜89…非プリフェッチ領域
90〜99…矩形領域
105…ヒット/ミスヒット判定部
106…ミスヒット・カウンタ
107…上完全ミスヒット・カウンタ
108…上部分ミスヒット・カウンタ
109…下完全ミスヒット・カウンタ
110…下部分ミスヒット・カウンタ
111…左完全ミスヒット・カウンタ
112…左部分ミスヒット・カウンタ
113…右完全ミスヒット・カウンタ
114…右部分ミスヒット・カウンタ
120…復号画面
121…プリフェッチ領域

Claims (5)

  1. 外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置であって、
    所定回路部からの前記復号画面内の矩形領域の読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定するミスヒット判定部を備える
    ことを特徴とする動画像処理装置。
  2. 前記ミスヒット判定部は、
    前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットと判定する判定部と、
    前記上完全ミスヒットの数と、前記上部分ミスヒットの数と、前記下部分ミスヒットの数と、前記下完全ミスヒットの数を別々にカウントするカウンタを備える
    ことを特徴とする請求項1に記載の動画像処理装置。
  3. 前記ミスヒット判定部は、
    前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の上側の非プリフェッチ領域に含まれる場合を上完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の上側の非プリフェッチ領域にまたがる場合を上部分ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が全て前記プリフェッチ領域の下側の非プリフェッチ領域に含まれる場合を下完全ミスヒット、前記矩形領域の読み出し要求に係る矩形領域が前記プリフェッチ領域と前記プリフェッチ領域の下側の非プリフェッチ領域にまたがる場合を下部分ミスヒットと判定する判定部と、
    前記上完全ミスヒットの矩形領域の面積と、前記上部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記下部分ミスヒットの矩形領域の非プリフェッチ領域部分の面積と、前記下完全ミスヒットの矩形領域の面積を別々にカウントするカウンタを備える
    ことを特徴とする請求項1に記載の動画像処理装置。
  4. 前記ミスヒット判定部の判定結果に基づいて、前記プリフェッチメモリがプリフェッチするプリフェッチ領域を調整するプリフェッチ調整部を備えることを特徴とする請求項1、2又は3に記載の動画像処理装置。
  5. 外部メモリが記憶する復号画面の一部分をプリフェッチするプリフェッチメモリを備える動画像処理装置におけるプリフェッチ制御方法であって、
    所定回路部からの前記復号画面内の矩形領域の読み出し要求の前記プリフェッチメモリに対するミスヒットの発生状況を判定する工程を有する
    ことを特徴とするプリフェッチ制御方法。

JP2006238457A 2006-09-04 2006-09-04 動画像処理装置及びプリフェッチ制御方法 Active JP4862566B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006238457A JP4862566B2 (ja) 2006-09-04 2006-09-04 動画像処理装置及びプリフェッチ制御方法
US11/896,640 US8094160B2 (en) 2006-09-04 2007-09-04 Moving-picture processing apparatus and pre-fetch control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006238457A JP4862566B2 (ja) 2006-09-04 2006-09-04 動画像処理装置及びプリフェッチ制御方法

Publications (2)

Publication Number Publication Date
JP2008061151A true JP2008061151A (ja) 2008-03-13
JP4862566B2 JP4862566B2 (ja) 2012-01-25

Family

ID=39153401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006238457A Active JP4862566B2 (ja) 2006-09-04 2006-09-04 動画像処理装置及びプリフェッチ制御方法

Country Status (2)

Country Link
US (1) US8094160B2 (ja)
JP (1) JP4862566B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059496A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置
JP2012060265A (ja) * 2010-09-06 2012-03-22 Fujitsu Ltd 画像処理装置
JP2012195703A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd トランスコード装置及びトランスコード方法
JP2015226199A (ja) * 2014-05-28 2015-12-14 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2016201784A (ja) * 2015-04-09 2016-12-01 日本電信電話株式会社 参照画像バッファ

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009109891A1 (en) * 2008-03-03 2009-09-11 Nxp B.V. Processor comprising a cache memory
JP5662233B2 (ja) 2011-04-15 2015-01-28 株式会社東芝 画像符号化装置及び画像復号装置
JP5830496B2 (ja) * 2013-06-07 2015-12-09 株式会社ソニー・コンピュータエンタテインメント ディスプレイコントローラおよび画面転送装置
US11061591B2 (en) 2018-11-02 2021-07-13 Samsung Electronics Co., Ltd. Storage device processing stream data, system including the same, and operation method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170654A (ja) * 1990-11-05 1992-06-18 Shikoku Nippon Denki Software Kk キャッシュメモリ制御方式
JPH06180669A (ja) * 1992-12-14 1994-06-28 Nec Niigata Ltd キャッシュシステム
JP2001331793A (ja) * 2000-05-22 2001-11-30 Fuji Xerox Co Ltd 画像処理装置及びキャッシュメモリ
JP2002077653A (ja) * 2000-08-31 2002-03-15 Canon Inc 画像処理装置およびその制御方法、並びに、画像処理方法
WO2004017640A1 (ja) * 2002-08-13 2004-02-26 Renesas Technology Corp. 信号処理装置およびシステム
JP2006041898A (ja) * 2004-07-27 2006-02-09 Fujitsu Ltd 動画像データ復号装置、および復号プログラム
JP2007510320A (ja) * 2003-10-04 2007-04-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データを処理する方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912676A (en) * 1996-06-14 1999-06-15 Lsi Logic Corporation MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
US5966734A (en) * 1996-10-18 1999-10-12 Samsung Electronics Co., Ltd. Resizable and relocatable memory scratch pad as a cache slice
US6119222A (en) * 1996-12-23 2000-09-12 Texas Instruments Incorporated Combined branch prediction and cache prefetch in a microprocessor
JP2002163150A (ja) 2000-11-28 2002-06-07 Toshiba Corp プロセッサ
US7234040B2 (en) * 2002-01-24 2007-06-19 University Of Washington Program-directed cache prefetching for media processors
US7032076B2 (en) * 2002-09-16 2006-04-18 Intel Corporation Prefetching data in a computer system
JP2006031480A (ja) 2004-07-16 2006-02-02 Sony Corp 情報処理システム及び情報処理方法、並びにコンピュータプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170654A (ja) * 1990-11-05 1992-06-18 Shikoku Nippon Denki Software Kk キャッシュメモリ制御方式
JPH06180669A (ja) * 1992-12-14 1994-06-28 Nec Niigata Ltd キャッシュシステム
JP2001331793A (ja) * 2000-05-22 2001-11-30 Fuji Xerox Co Ltd 画像処理装置及びキャッシュメモリ
JP2002077653A (ja) * 2000-08-31 2002-03-15 Canon Inc 画像処理装置およびその制御方法、並びに、画像処理方法
WO2004017640A1 (ja) * 2002-08-13 2004-02-26 Renesas Technology Corp. 信号処理装置およびシステム
JP2007510320A (ja) * 2003-10-04 2007-04-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データを処理する方法及び装置
JP2006041898A (ja) * 2004-07-27 2006-02-09 Fujitsu Ltd 動画像データ復号装置、および復号プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059496A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置
JP2012060265A (ja) * 2010-09-06 2012-03-22 Fujitsu Ltd 画像処理装置
JP2012195703A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd トランスコード装置及びトランスコード方法
JP2015226199A (ja) * 2014-05-28 2015-12-14 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2016201784A (ja) * 2015-04-09 2016-12-01 日本電信電話株式会社 参照画像バッファ

Also Published As

Publication number Publication date
US8094160B2 (en) 2012-01-10
US20080059716A1 (en) 2008-03-06
JP4862566B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4862566B2 (ja) 動画像処理装置及びプリフェッチ制御方法
CN103797783B (zh) 评论信息生成装置及评论信息生成方法
JP4176230B2 (ja) 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3604864B2 (ja) 動画像符号化装置
JP4643727B2 (ja) 画像処理装置及び画像処理方法
JP2009520408A (ja) 場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム
EP2654293A1 (en) Image processing system, method of operating image processing system, host apparatus, program, and method of making program
JP2009071809A (ja) 映像表示装置ならびに補間画像生成回路および方法
JP7129517B2 (ja) 360ビデオストリーミングのための予測ビットレート選択
JP2008061156A (ja) 動画像処理装置
JP2012014533A (ja) 情報処理装置、画像送信プログラム、画像表示プログラム及び画像表示方法
WO2008032660A1 (en) Image decoding device, image decoding method, image decoding system, and system lsi
TWI652934B (zh) 自適應視頻解碼方法及其裝置
CN101193306A (zh) 运动矢量检测装置和运动矢量检测方法
CN101335858B (zh) 画面处理装置、方法
JP2007318617A (ja) 画像符号化装置、及び画像符号化プログラム
JP4482933B2 (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
JP2006517363A (ja) モーションベクトルの予測方法及びシステム
JP5759269B2 (ja) 映像符号化装置
JP5148732B2 (ja) 電子機器及び画像処理方法
WO2001050220A2 (en) Dvd reverse playback methods and apparatus
JP2012019465A (ja) 画像処理装置および画像処理方法
JP5908419B2 (ja) 遠隔映像配信方法及び遠隔映像配信システム
CN105392044B (zh) 同屏的多个视频切换的控制方法
CN102369551B (zh) 信息处理装置及信息处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111024

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4862566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150