JP2008048258A - 画像データ記憶装置、および記憶方法 - Google Patents

Abstract

【課題】複数のメモリのうちの１つにアクセスが集中してデータ転送時間が長くなる可能性を低下させ、大量のデータを短時間に転送可能として、画像データ処理性能を向上させる。
【解決手段】本発明の画像データ記憶装置は、複数個のメモリと、複数個のメモリに対応して、画像データを連続する一定のライン数毎、または一定の縦方向画素列数毎に振り分けるデータ振分け手段と、振り分けられたデータを複数個のメモリに順次格納するメモリ制御手段とを備える。
【選択図】図１

Description

本発明は複数のメモリを備える画像データ記憶装置におけるメモリアクセス方式に係り、さらに詳しくは、例えば１つのフレームの画像データを複数のメモリ、例えばダイナミック・ランダム・アクセス・メモリに分割して格納する画像データ記憶装置、および記憶方法に関する。

動画像符号化方式としてＭＰＥＧ（ムービング・ピクチャー・エキスパーツ・グループ）方式が広く用いられている。このＭＰＥＧ方式の動画像符号化装置において、例えば１つのフレームの画像データをＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）などに格納する場合、標準的なテレビの解像度としてのＳＤ（スタンダード・デフィニッション）解像度では１つのＤＲＡＭに格納することも可能であるが、より解像度が高いＨＤ（ハイデフィニッション）解像度では容量の面でも、また転送レートの面でも１つのＤＲＡＭを用いてデータの書き込み、読み出しを行うことが難しく、複数のＤＲＡＭを必要とする場合が多い。

図７、図８は、このような動画像符号化装置における画像データ格納方式の従来例の説明図である。図７においては、画像記憶装置は画像処理用のロジックＬＳＩ１００と２つのＤＲＡＭ１０１、１０２によって構成され、ロジックＬＳＩ１００の内部には画像処理部１０５とメモリコントローラ１０６とが備えられている。

図７においては、それぞれ１フレーム分の画像データ１から画像データ３まではＤＲＡＭ１０１に格納され、また画像データ４から画像データ６はＤＲＡＭ１０２に格納されている。このため、メモリアクセスにおけるアドレス計算は簡単に行うことができるが、例えば画像処理部１０５からメモリコントローラ１０６に対して画像データ４のデータの転送が要求されると、データ転送可能なメモリはＤＲＡＭ１０２のみとなり、ＤＲＡＭ１０１は待機状態となり、データの転送レートはＤＲＡＭ１０２の転送レートによって決定される。

図８は、画像処理部１０５からメモリコントローラ１０６に対して画像４と画像６のデータの転送要求が行われた場合の問題点を示し、ＤＲＡＭ１０１は待機状態となることは当然であるとしても、ＤＲＡＭ１０２側でも画像データ４に対するアクセス中には画像データ６へのアクセスを行うことができない。例えばＩＴＵ−Ｔ（国際電気通信連合−電気通信標準化部門）によって標準化されたＨ．２６４方式などでは、画像処理において多くのフレームを参照する必要が生じることもあり、処理対象のフレームが同じＤＲＡＭ内に格納されている場合にはデータ転送に時間がかかり、システム性能を低下させる原因となってしまう。

このような画像処理に伴うメモリアクセスに関する従来技術としての特許文献１では、画像メモリとして１画面分格納可能な容量を持つ複数のバンク構成の画像メモリが２つ用意され、一方の画像メモリへのデータの書き込みと他方の画像メモリからの画像データ読み出しを、画像メモリを交代しながら繰り返す構成をとることによって、高速処理を可能とする画像処理システムが開示されている。

同じく従来技術としての特許文献２では、複数のバンクを有するバンク構成を２つ有するＤＲＡＭを備え、映像データの奇数ライン、偶数ラインのそれぞれを前半と後半に分けてＤＲＡＭへの書き込みを制御することによって、データアクセスを高速化する映像メモリ回路が開示されている。

また特許文献３には、１画面分の表示データをローアドレスの切替に対応させてバンクが異なるように格納し、２つのバンクから交互にデータを読み出すことによって、非連続のアドレスから表示データを読み出す場合のアクセス時間を短縮できる表示処理装置が開示されている。

さらに特許文献４には、２次元画像をラスタ順に入力し、バンク０とバンク１を切替えながらＤＲＡＭに格納することによって、アクセス効率を向上することができるＤＲＡＭアクセス方法が開示されている。

しかしながらこのような特許文献１から特許文献４の従来技術を用いても、複数のメモリを備えた画像データ記憶装置において１つのメモリにアクセスが集中し、データ転送待ち時間が長くなり、大量のデータを短時間に転送することができないという問題点を解決することができなかった。
特許第３００１７６３号 「画像処理システム」 特許第３２８８３２７号 「映像メモリ回路」 特開２００２−２２９５５１号 「表示処理装置」 特開２００５−２３６９４６号 「ＤＲＡＭアクセス方法」

本発明の課題は、上述の問題点に鑑み、複数のメモリを備える画像データ記憶装置において、１つのメモリにアクセスが集中してデータ転送待ち時間が長くなる可能性を低下させ、大量のデータを短時間に転送することを可能とすることによって、画像データ処理性能を向上させることである。

図１は、本発明の画像データ記憶装置の原理構成ブロック図である。同図は画像データ、例えばフレーム形式の画像データを記憶する装置であり、記憶装置１は複数のメモリ２_ａ、２_ｂ．．と、データ振分け手段３、およびメモリ制御手段４を備える。

データ振分け手段３は、複数個のメモリ２_ａ、２_ｂ．．に対応して画像データ、例えばフレーム画像データを連続する一定ライン数ごとに振り分けるものであり、メモリ制御手段４は、振り分けられた連続する一定ライン数ごとのデータを複数個のメモリ２_ａ、２_ｂ．．に順次格納するものである。

また本発明の画像データアクセス装置は、図１と同一の構成を備え、データ振分け手段３が、複数個のメモリ２_ａ、２_ｂ．．に対応して画像データ、例えばフレーム画像データを連続する一定の縦方向画素列数毎に振分け、メモリ制御手段４が振り分けられた連続する一定縦方向画素列数毎のデータを複数個のメモリ２_ａ、２_ｂ．．に順次格納するものである。

本発明の画像データ記憶方法として、複数個のメモリに対応して画像データを連続する一定ライン数毎に振分け、振り分けられた連続する一定ライン数毎のデータを複数個のメモリに順次格納する方法が用いられる。

また本発明の画像データ記憶方法として、複数個のメモリに対応して画像データを連続する一定縦方向画素列数毎に振分け、振り分けられた連続する一定画素列数毎のデータを複数個のメモリに順次格納する方法が用いられる。

以上のように本発明においては、例えば１フレーム分のデータが連続する一定ライン数毎のデータに分割され、複数、例えば２つのメモリに順次格納される。

本発明によれば、例えば１つのフレーム内で、ある矩形領域の画像データにアクセスする場合、複数のメモリに分けて同時にアクセスすることが可能となり、短時間に大量のデータを転送することが可能となる。これによって複数のフレームを処理対象とする場合にも必要なデータ転送待ち時間を短縮することが可能となり、画像処理性能を向上させることができる。

まず第１の実施例について図２から図４を用いて説明する。図２は、第１の実施例における画像データ記憶装置へのデータ格納方式の説明図である。同図において画像データ記憶装置は、従来例の図７、図８におけると同様に、画像処理用のロジックＬＳＩ１０と、２つのＤＲＡＭ１１、１２によって構成されている。そしてロジックＬＳＩ１０の内部には、画像処理部１５と、２つのＤＲＡＭ１１、１２に対応する２つのメモリコントローラ１６、１７が備えられている。

図２において１フレーム分の画像データ、例えば画像データ１は連続する一定のライン数ｎのデータ、ここではライン０からラインｎ−１、ラインｎからライン２ｎ−１、ライン２ｎからライン３ｎ−１、ライン３ｎからライン４ｎ−１までの４つに振り分けられ、順次２つのＤＲＡＭ１１、１２に格納される。それぞれ１フレーム分の画像データ２、および画像データ３についても同様に振り分けられてＤＲＡＭ１１と１２に格納される。ライン数ｎは任意に設定可能であり、またＤＲＡＭを３個以上用いて、１フレーム分のデータをさらに分割して格納することも当然可能である。

図３は、図２における画像処理用のロジックＬＳＩ１０の詳細構成ブロック図である。同図において２つのメモリコントローラ１６、１７を除く部分が図２の画像処理部１５に相当する。

図３においてデータ振分け回路２２には画像データが、同期信号や位置情報とともに与えられ、データ振分け回路２０は、振分け単位設定レジスタ２１の格納内容、例えば図２では連続する一定ライン数、すなわちライン数ｎの値に対応して、例えば１フレーム分の画像データを分割し、２つの書き込み回路２２、２３に与える。書き込み回路２２、２３は、それぞれ内部メモリ２４、２５、例えば作業用メモリに対して、書き込みアドレス生成回路２６、２７によって生成された書き込みアドレスを用いてデータの書き込みを行う。

図２のＤＲＡＭ１１、１２に対してデータを格納するための読み出し回路２８、２９は、データ転送、すなわち書き込み用に適当なデータ量がたまった時点で、読み出しアドレス生成回路３０、３１によって生成された読み出しアドレスに従って内部メモリ２４、２５からデータを読み出し、メモリコントローラ１６、１７にそのデータを与え、データは２つのＤＲＡＭ１１、１２に格納される。なお本発明の特許請求の範囲の請求項１におけるデータ振分け手段は、図３のデータ振分け回路２０と振分け単位設定レジスタ２１とに相当し、メモリ制御手段は、メモリコントローラ１６、１７を基本とし、書き込み回路２２から読み出しアドレス生成回路３１までを含むものである。

図４は、第１の実施例におけるフレーム内の矩形領域の画像データ転送時のメモリアクセス方式の説明図である。同図において、１フレーム分の画像データ１の内部の矩形領域Ａのデータに対するアクセスが行われるものとし、この領域のデータが２つのＤＲＡＭ１１と１２に分割して格納されるものとすると、画像処理部１５から２つのメモリコントローラ１６、１７への画像データ１の領域Ａのデータ転送の要求に対して、転送領域の各ＤＲＡＭ内の配置位置が計算され、２つのＤＲＡＭが同時に動作する形式でデータ転送が行われるために、大量のデータであっても短時間に転送することが可能となる。また第１の実施例では、複数のフレーム内の画像データがアクセス対象となる場合にも、１つのＤＲＡＭにアクセスが集中してデータ転送待ち時間が長くなる可能性が低くなり、データ転送レートをより均一とすることが可能となる。これによって各種の画像処理の性能向上が期待される。

この第１の実施例においては、データ振分けを行う場合のライン数、すなわち連続する一定のライン数ｎをなるべく小さくする分割を行う方がデータ転送レートを均一化しやすいが、画像データ処理におけるインタレース方式では、奇数ラインと偶数ライン、すなわちトップフィールドとボトムフィールドに分けてデータのアクセスが行われるために、“ｎ＝１”の場合にアクセス頻度を均一化する処理が困難となる場合が存在する。

図５は、第２の実施例における画像記憶装置におけるデータ記憶方式の説明図である。この第２の実施例では、画像データ、例えば１フレーム分の画像データが連続する一定の縦方向画素列数、すなわち横方向の一定の画素数ｍ毎に分割され、複数のメモリに振り分けられて格納される。例えば画像データ１の０からｍ−１列、２ｍから３ｍ−１列、４ｍから５ｍ−１列のデータはＤＲＡＭ１１に、またｍから２ｍ−１列、３ｍから４ｍ−１列、５ｍから６ｍ−１列のデータはＤＲＡＭ１２に格納される。

第２の実施例における画像処理用のロジックＬＳＩ１０の構成は、図３と基本的に同一であり、振分け単位設定レジスタ２１にデータ振分け単位として連続する一定の縦方向画素列数、すなわち横方向の一定の画素数ｍが格納されている点が異なっている。

図６は、第３の実施例におけるデータ格納方式の説明図である。この第３の実施例においては、ＤＲＡＭが複数のバンク、ここではバンク０とバンク１によって構成されているものとする。そしてこの第３の実施例では、振り分けられた画像データをＤＲＡＭの１つのローに配置したときに、縦の画像サイズが一定ライン数ｎで割り切れるようにライン数ｎの設定が行われる。すなわち、そのローに対応する画素の数をｘとする時、ライン数ｎはｘ個の画素のデータのビット数に対応して、縦の画像サイズを２の累乗で割った数として設定される。これによってＤＲＡＭのデータ格納領域の有効活用が可能となる。

また図６においては、ＤＲＡＭが２つのバンク、すなわちバンク０とバンク１によって構成されるとき、バンク０、バンク１のそれぞれのローのデータを横方向に交互に並べながら格納することによって、格納データへのアクセス効率を向上させることができる。なおここでは第１の実施例に対応して、複数バンク構成のＤＲＡＭにおいて画像データを一定ライン数毎に分割して格納する方式について説明したが、第２の実施例におけると同様に一定縦方向画素列数毎に分割してデータを格納する場合にも同様の方式を適用することが可能である。

本発明の画像データ記憶装置の原理構成ブロック図である。 本発明の第１の実施例における画像データ記憶装置へのデータ格納方式の説明図である。 図２の画像処理用ロジックＬＳＩの詳細構成ブロック図である。 第１の実施例におけるフレーム内矩形領域画像データへのアクセス方式の説明図である。 第２の実施例における画像データ記憶装置へのデータ格納方式の説明図である。 第３の実施例におけるＤＲＡＭへの画像データ格納方式の説明図である。 画像データ格納方式の従来例の説明図である。 画像データアクセス方式の従来例の説明図である。

符号の説明

１ データ記憶装置
２ メモリ
３ データ振分け手段
４ メモリ制御手段
１０ 画像処理用ロジックＬＳＩ
１１、１２ ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）
１５ 画像処理部
１６、１７ メモリコントローラ
２０ データ振分け回路
２１ 振分け単位設定レジスタ
２２、２３ 書き込み回路
２４、２５ 内部メモリ
２６、２７ 書き込みアドレス生成回路
２８、２９ 読み出し回路
３０、３１ 読み出しアドレス生成回路

Claims (9)

1. 複数個のメモリと、
   該複数個のメモリに対応して、画像データを連続する一定ライン数毎に振り分けるデータ振分け手段と、
   該振り分けられた連続する一定ライン数毎のデータを、前記複数個のメモリに順次格納するメモリ制御手段とを備えることを特徴とする画像データ記憶装置。
2. 複数個のメモリと、
   該複数個のメモリに対応して、画像データを連続する一定縦方向画素列数毎に振り分けるデータ振分け手段と、
   該振り分けられた連続する一定縦方向画素列数毎のデータを、前記複数個のメモリに順次格納するメモリ制御手段とを備えることを特徴とする画像データ記憶装置。
3. 前記複数個のメモリがそれぞれダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）によって構成されることを特徴とする請求項１、または２記載の画像データ記憶装置。
4. 前記メモリ制御手段は、前記複数個のメモリに個々に対応した複数のメモリコントローラを有することを特徴とする、請求項１、２、または３に記載の画像データ記憶装置。
5. 前記データ振り分け手段は、前記ＤＲＡＭの１つのｒｏｗに配置される縦の画像サイズが、前記一定ライン数と２の累乗との積となることを特徴とする請求項３、または４のいずれかに記載の画像データ記憶装置。
6. 前記データ振り分け手段は、前記ＤＲＡＭの１つのｒｏｗに配置される横の画像サイズが、前記一定縦方向画素列数と２の累乗との積となることを特徴とする請求項３、または４のいずれかに記載の画像データ記憶装置。
7. 複数個のメモリに対応して、画像データを連続する一定ライン数毎に振り分け、
   該振り分けられた連続する一定ライン数毎のデータを、前記複数個のメモリに順次格納することを特徴とする画像データ記憶方法。
8. 複数個のメモリに対応して、画像データを連続する一定縦方向画素列数毎に振り分け、
   該振り分けられた連続する一定縦方向画素列数毎のデータを、前記複数個のメモリに順次格納することを特徴とする画像データ記憶方法。
9. 前記複数個のメモリがそれぞれダイナミック・ランダム・アクセス・メモリによって構成されることを特徴とする請求項７、または８記載の画像データ記憶方法。