JP2022021062A - 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム - Google Patents
参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2022021062A JP2022021062A JP2020124424A JP2020124424A JP2022021062A JP 2022021062 A JP2022021062 A JP 2022021062A JP 2020124424 A JP2020124424 A JP 2020124424A JP 2020124424 A JP2020124424 A JP 2020124424A JP 2022021062 A JP2022021062 A JP 2022021062A
- Authority
- JP
- Japan
- Prior art keywords
- data
- cache
- request
- external memory
- prefetch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
(基本構成)
図1は、実施形態における映像符号化装置10の内部構成を表す構成図である。以下で用いる「符号化ブロック」については、MPEG-2やH.264/AVC規格ではマクロブロックの事を示し、HEVCについてはコーディングユニット(CU)又はプレディクションユニット(PU)の事を指し示すものとする。
映像符号化LSI50は、符号化対象の映像原信号を符号化規格に則って符号化処理を行う。
外部メモリ900は、映像符号化LSI50において用いられる参照画像データを始めとした各種データを格納する。外部メモリ900内の各種データのアドレス情報は映像符号化LSI50と共有されている。
符号化演算部100は、動き探索や動き補償等の符号化演算処理を行う。符号化演算部100は、並列動作する複数のコア(core_1,・・・,core_M)で構成される。Mは、2以上の整数である。各コアは、少なくとも事前動き探索処理部、動き探索処理部、マージ探索処理部及び動き補償処理部等の符号化演算処理を行う機能部である。各コアの符号化演算処理は、パイプライン処理されている。処理中に参照画像データが必要となるコア(以下「参照画像利用コア」という。)の場合、参照画像利用コアは参照画像データ用キャッシュメモリ200に接続されている。
図2は、第1の実施形態における外部メモリデータ要求部600の機能構成を表すブロック図である。
第1の実施形態における外部メモリデータ要求部600は、キャッシュミス用データ要求部610、プリフェッチ用データ要求部620及びデータ要求調整部630を備える。外部メモリデータ要求部600において、キャッシュミス用データ要求部610とプリフェッチ用データ要求部620の2つから並行してデータ要求が行われる。
図3には、あるタイミングにおける符号化処理のフレーム700内の位置関係が示されている。符号化演算部100では、core_1からcore_MまでのM個の各コアが同時に符号化関連処理を行っているとする。フレーム700において、符号化処理が行われている領域を処理領域701とし、処理領域702近傍の領域を近傍領域702とする。近傍領域702は、処理領域701で符号化処理が行われた場合に、将来参照される可能性の高い領域である。参照される可能性の高い領域とは、符号化処理が行われているフレーム内の座標位置による幾何学的空間局所性が非常に高い領域である。図2では、近傍領域702をハッチングで示している。
外部メモリデータ要求部600は、各種情報を取得する(ステップS101)。例えば、外部メモリデータ要求部600は、符号化演算部100から入力された要求アドレス情報を取得する。例えば、外部メモリデータ要求部600は、タグ比較部420から入力された比較結果情報を取得する。例えば、外部メモリデータ要求部600は、符号化演算部100から入力されたパイプライン更新信号を取得する。
一方、プリフェッチ用のデータ送信要求がなかった場合(ステップS109-NO)、データ要求調整部630にはデータ要求が入力されていないことになる。そのため、参照画像データ用キャッシュメモリ200は図6の処理を終了する。
第2の実施形態では、プリフェッチ用データ要求部が、プリフェッチ領域を優先領域(第1の領域)と非優先領域(第2の領域)との複数の領域に分けて、データ要求調整部が優先度に応じてプリフェッチ領域におけるデータ送信要求を外部メモリ900に行う点で第1の実施形態と異なる。プリフェッチ領域を、優先領域と非優先領域とに分ける理由は、プリフェッチ領域内において動きベクトル先になる可能性の高いフレーム位置と,動きベクトル先になる可能性がそこまで高くないフレーム位置があることが考えられるためです。すなわち、符号化対象の被写体の観点からみれば、優先領域は動きベクトル先になる可能性が最も高いと想定されるフレーム位置であり、非優先領域は動きベクトル先になる可能性が優先領域ほど高くないフレーム位置である。そして、プリフェッチされない領域は、プリフェッチ領域に比べて動きベクトル先になる可能性が非常に低いフレーム位置である。このように、第2の実施形態では、今後すぐに使われることが想定される参照画像領域を優先領域として最優先で確保しておき、使われるか使われないか不明ではあるが今後使われる可能性があることが想定される参照画像領域を非優先領域として確保を後回しにする処理を行う。
第2の実施形態における外部メモリデータ要求部600aは、キャッシュミス用データ要求部610、プリフェッチ用データ要求部620a及びデータ要求調整部630aを備える。外部メモリデータ要求部600aは、プリフェッチ用データ要求部620及びデータ要求調整部630に代えて、プリフェッチ用データ要求部620a及びデータ要求調整部630aを備える点で外部メモリデータ要求部600と構成が異なる。外部メモリデータ要求部600aの他の構成は、外部メモリデータ要求部600と同様である。そのため、プリフェッチ用データ要求部620a及びデータ要求調整部630aについてのみ説明する。
図8には、パイプラインステージPのタイミングにおけるプリフェッチ領域703が示されている。図8に示すプリフェッチ領域703は、プリフェッチ用データ要求部620aによって優先領域704と、非優先領域705とに分けられる。優先領域704は、最優先で外部メモリ900にデータ要求される領域である。非優先領域705は、最も優先度が低く、優先領域におけるデータ要求及びキャッシュミス用のデータ送信要求が完了した後に外部メモリ900にデータ要求される領域である。
第2の実施形態における映像符号化装置10は、今後の参照可能性が非常に高くかつ参照される頻度も非常に多いことが考えられる符号化対象となっている領域により近い領域のデータを優先的にデータアレイ310に格納する。これにより、参照画像データ用キャッシュのヒット率を向上させることが可能になる。
プリフェッチ領域の分け方は、3つ以上であってもよい。
Claims (8)
- 画像を符号化する際に用いられる参照画像キャッシュメモリであって、
データを記憶するキャッシュメモリと、
キャッシュミスが発生した際に前記キャッシュメモリに格納されているデータの一部を外部メモリに保存されているデータと置き換えるキャッシュ置換部と、
画像空間上で参照される可能性が高い画素領域をプリフェッチするプリフェッチ部と、
を備える参照画像キャッシュメモリ。 - 前記画像空間上で参照される可能性が高い画素領域は、符号化対象ブロックから所定の距離範囲内に位置する領域である、
請求項1に記載の参照画像キャッシュメモリ。 - 前記符号化の処理はパイプライン処理で実行され、
前記プリフェッチ部は、パイプラインステージが更新されたことを示すパイプライン更新信号が入力されると、前記パイプライン更新信号に基づいて、符号化対象のブロックのフレーム内座標位置を算出し、算出した前記符号化対象のブロックのフレーム内座標位置に基づいて前記画像空間上で参照される可能性が高い画素領域を決定する、
請求項1又は2に記載の参照画像キャッシュメモリ。 - 前記プリフェッチ部は、前記キャッシュミスが発生したことに応じて前記外部メモリにデータを要求するためのキャッシュミスデータ送信要求がない場合に、前記画像空間上で参照される可能性が高い画素領域に対応するデータを前記外部メモリに要求するためのデータ送信要求を前記外部メモリに送信する、
請求項1から3のいずれか一項に記載の参照画像キャッシュメモリ。 - 前記プリフェッチ部は、前記キャッシュミスデータ送信要求がある場合、データ送信要求を蓄積しておき、前記キャッシュミスデータ送信要求の送信が完了した後に、蓄積した前記データ送信要求を前記外部メモリに送信する、
請求項4に記載の参照画像キャッシュメモリ。 - 前記プリフェッチ部は、前記画像空間上で参照される可能性が高い画素領域を優先度に応じて少なくとも優先度の高い第1の領域と、優先度の低い第2の領域とに分割し、前記キャッシュミスが発生したことに応じて前記外部メモリにデータを要求するためのキャッシュミスデータ送信要求がある場合、前記第1の領域に対応するデータを前記外部メモリに要求するための第1のデータ送信要求を前記外部メモリに送信した後に前記キャッシュミスデータ送信要求を前記外部メモリに送信し、前記キャッシュミスデータ送信要求の送信後に前記第2の領域に対応するデータを前記外部メモリに要求するための第2のデータ送信要求を前記外部メモリに送信する、
請求項1から3のいずれか一項に記載の参照画像キャッシュメモリ。 - データを記憶するキャッシュメモリを備える、画像を符号化する際に用いられる参照画像キャッシュメモリが行うデータ要求方法であって、
キャッシュミスが発生した際にキャッシュメモリに格納されているデータの一部を外部メモリに保存されているデータと置き換えるキャッシュ置換ステップと、
画像空間上で参照される可能性が高い画素領域をプリフェッチするプリフェッチステップと、
を有するデータ要求方法。 - データを記憶するキャッシュメモリを備える、画像を符号化する際に用いられる参照画像キャッシュメモリとして機能するコンピュータに実行させるためのコンピュータプログラムであって、
キャッシュミスが発生した際にキャッシュメモリに格納されているデータの一部を外部メモリに保存されているデータと置き換えるキャッシュ置換ステップと、
画像空間上で参照される可能性が高い画素領域をプリフェッチするプリフェッチステップと、
をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020124424A JP7425446B2 (ja) | 2020-07-21 | 2020-07-21 | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020124424A JP7425446B2 (ja) | 2020-07-21 | 2020-07-21 | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022021062A true JP2022021062A (ja) | 2022-02-02 |
JP7425446B2 JP7425446B2 (ja) | 2024-01-31 |
Family
ID=80220178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020124424A Active JP7425446B2 (ja) | 2020-07-21 | 2020-07-21 | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7425446B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11215509A (ja) * | 1998-01-28 | 1999-08-06 | Nec Corp | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 |
JPH11328369A (ja) * | 1998-05-15 | 1999-11-30 | Nec Corp | キャッシュシステム |
JP2012195703A (ja) * | 2011-03-15 | 2012-10-11 | Fujitsu Ltd | トランスコード装置及びトランスコード方法 |
JP2013157681A (ja) * | 2012-01-27 | 2013-08-15 | Fujitsu Semiconductor Ltd | 動画像復号装置及び動画像復号方法 |
JP2015119282A (ja) * | 2013-12-17 | 2015-06-25 | 株式会社メガチップス | 画像処理装置 |
JP2016143940A (ja) * | 2015-01-30 | 2016-08-08 | ルネサスエレクトロニクス株式会社 | 画像処理装置および半導体装置 |
-
2020
- 2020-07-21 JP JP2020124424A patent/JP7425446B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11215509A (ja) * | 1998-01-28 | 1999-08-06 | Nec Corp | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 |
JPH11328369A (ja) * | 1998-05-15 | 1999-11-30 | Nec Corp | キャッシュシステム |
JP2012195703A (ja) * | 2011-03-15 | 2012-10-11 | Fujitsu Ltd | トランスコード装置及びトランスコード方法 |
JP2013157681A (ja) * | 2012-01-27 | 2013-08-15 | Fujitsu Semiconductor Ltd | 動画像復号装置及び動画像復号方法 |
JP2015119282A (ja) * | 2013-12-17 | 2015-06-25 | 株式会社メガチップス | 画像処理装置 |
JP2016143940A (ja) * | 2015-01-30 | 2016-08-08 | ルネサスエレクトロニクス株式会社 | 画像処理装置および半導体装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7425446B2 (ja) | 2024-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107846597B (zh) | 用于视频解码器的数据缓存方法和装置 | |
US20230196503A1 (en) | Upscaling Lower Resolution Image Data for Processing | |
KR100907843B1 (ko) | 비디오 모션 보상용 캐싱 방법 및 장치 | |
US8619862B2 (en) | Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream | |
US20070176939A1 (en) | Data replacement method and circuit for motion prediction cache | |
JP6263538B2 (ja) | マルチメディアデータ処理のための方法及びシステム | |
KR101520027B1 (ko) | 움직임 추정 방법 및 장치 | |
US11170463B2 (en) | Methods, systems and apparatus to reduce memory latency when fetching pixel kernels | |
CA2812421A1 (en) | System, method and computer program for automated window memoization | |
CN1757018B (zh) | 具有预取装置的数据处理系统、数据预取方法 | |
KR20190038835A (ko) | 데이터 캐시 영역 프리페처 | |
JP4346573B2 (ja) | 符号化装置と方法 | |
US20090327611A1 (en) | Domain-based cache management, including domain event based priority demotion | |
US9363524B2 (en) | Method and apparatus for motion compensation reference data caching | |
WO2019052452A1 (zh) | 一种图像数据处理方法、用户终端、服务器和存储介质 | |
JP7425446B2 (ja) | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム | |
US8514237B2 (en) | Two dimensional memory caching apparatus for high definition video | |
JP7406206B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
US8446955B2 (en) | Speculative motion prediction cache | |
JP7416380B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
WO2020062226A1 (zh) | 编码设备的控制方法、装置及存储介质 | |
JPH11328369A (ja) | キャッシュシステム | |
US8463997B2 (en) | Apparatus and method of caching frame | |
EP3948762A1 (en) | An electronic device and a method of operating such the electronic device | |
CN116634164A (zh) | 帧间模式预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200721 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |