JP2021157295A - メモリ制御装置 - Google Patents

Abstract

【課題】ＬＰＤＤＲ５（Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）などの高速で低消費電力なＤＲＡＭにおいて、駆動周波数によってバンクモードを変更しても、ＢＧ（Ｂａｎｋ Ｇｒｏｕｐ）モードにおける転送ペナルティを隠蔽しメモリ帯域を向上させることが可能なメモリ制御装置を提供する。【解決手段】メモリアクセス制御装置において、メモリコントローラ部１０２のバンキング制御部１０４は、駆動周波数によって切り替わるバンクモードについて、バンクモード毎にメモリアクセス方法を切り替えるコマンド生成部及びＢＧモードにおける転送ペナルティを隠蔽するため、最小アクセス単位でバンクグループをインタリーブするようにメモリ上のデータ配置およびデータ転送を制御するデータ並び替え部１０６を有する。【選択図】図２

Description

本発明は、ＤＲＡＭを制御するメモリ制御装置に関する。

半導体デバイスを有するコンシューマー向けの電子機器は、半導体技術の向上により、年々、高性能化、小型化が進んでいる。

例えば、デジタルカメラやスマートフォンでは、膨大な画像データを高速に処理するために、高性能な画像処理ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を搭載している。

このような画像処理ＬＳＩは、画像処理能力を上げるために、一時記憶手段として揮発性メモリであるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を搭載している。

またコンシューマー向けの電子機器では、ＤＲＡＭとして、例えばＬＰＤＤＲ（Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）などの高速で低消費電力なＤＲＡＭが使用されている。

特許文献１では、ＤＲＡＭへのアクセスをより効率的に実行するため、メモリマスターからのアクセス要求に対し、ＤＲＡＭの最小アクセス単位毎に複数のＤＲＡＭデバイスへ、連続して交互にアクセスするチップ間インタリーブに関する技術が公開されている。

特許第４９９６６２６号明細書

しかしながら、特許文献１に開示されている技術では、ひとつのＤＲＡＭデバイスへのアクセスについて着目すると、メモリマスターからの要求頻度によっては、連続したアクセス要求が溜まるため、結果、同一バンクに連続して書き込むことになる。

よって、ＬＰＤＤＲ５特有のＢＧモードで発生する同一バンクグループへの連続アクセスにおける転送ペナルティは解消できない。

本発明は、上記の問題点に鑑み、メモリのバンクモードによってメモリアクセス方法を切り替えることで、ＢＧモードにおける転送ペナルティを抑制し、メモリ帯域を向上させる技術を提供することを目的とする。

上記目的を達成するために、本発明のメモリ制御装置は、駆動周波数によってバンクモードが異なるメモリ手段と、第一駆動周波数における第一バンクモードと、第一駆動周波数より高周波な第二駆動周波数における第二バンクモードのいずれかにバンクモードを切り替えるバンクモード切り替え手段と、前記メモリ手段へのアクセス要求を出すメモリマスター手段と、前記メモリマスター手段から要求される前記メモリ手段への書き込みデータ列を、前記メモリ手段の最小アクセス単位で複数のデータブロックに分割するデータブロック分割手段と、それぞれのデータブロックに対応したコマンドを発行するコマンド発行手段と、を有し、隣接する前記データブロックを、異なるバンクグループに連続して交互に書き込むことを特徴とする。

本発明によれば、ＬＰＤＤＲ５において、駆動周波数によってバンクモードを変更しても、ＢＧモードにおける転送ペナルティを隠蔽しメモリ帯域を向上させることが可能となる。

ＬＰＤＤＲ５における転送ペナルティの模式図である。 メモリアクセス制御装置の構成図である。 画像データ内のデータブロック位置の模式図である。 ＢＬ１６によるデータ転送とデータ配置の模式図である。 ＢＧモードのＢＬ３２によるデータ転送とデータ配置の模式図である。 １６ＢモードのＢＬ３２によるデータ転送とデータ配置の模式図である。 画像データ内のラインとデータブロック位置の模式図である。 １６Ｂモードのライトデータ転送とデータ配置の模式図である。 １６Ｂモードのリードデータ転送とデータ配置の模式図である。 データ保持部を含んだバンキング制御部の構成図である。 ＢＧモードのリードデータ転送とデータ配置の模式図である。 メモリの論理アドレス空間の模式図である。 メモリの論理アドレス空間の模式図である。 画像処理システムの構成を示す構成図である。 画像処理エンジンおよびＤＲＡＭの構成を示す構成図である。 画像表示とラインＮにおける輝度値を示す模式図である。 画像データのピクセルとビットの関係、および伝送路上の伝送データを示す模式図である。 データ変換処理部の構成を示す構成図である。 ピクセルビット変換部による変換方法を示す模式図である。 画像処理エンジンの構成を示す構成図である。 データ変換処理部を示す構成図である。 撮像装置の構成例を示すブロック図である。 ＬＰＤＤＲ５ ＳＤＲＡＭのステートを表す図である。 ステート遷移の流れを説明するフローチャートである。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。

以下の実施例１から７において、ＤＲＡＭを制御するメモリ制御装置について説明する。ここで、ＤＲＡＭは、ＪＥＤＥＣ（Ｊｏｉｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｕｎｃｉｌ）で規格化されたＬＰＤＤＲ５に準拠するＤＲＡＭである。

ＬＰＤＤＲ５では、ＤＶＦＳ（Ｄｙｎａｍｉｃ Ｖｏｌｔａｇｅ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌｉｎｇ）が追加され、動的な電圧と駆動周波数の変更が可能となった。またＬＰＤＤＲ５では、バンク構成の使い方であるバンクモードが複数あり、駆動周波数によって、バンクモードが変わる仕様が規格化されている。

特にＤＲＡＭへの最小バースト単位であるＢＬ（Ｂｕｒｓｔ Ｌｅｎｇｔｈ）１６とＢＬ３２をコマンド単位で使い分ける場合、低速な駆動周波数では１６Ｂ（Ｂａｎｋ）モード、高速な駆動周波数ではＢＧ（Ｂａｎｋ Ｇｒｏｕｐ）モードを使用することになる。ここで、ＢＧモードでは、転送時にデータラインにおける転送ペナルティが発生する。

図１（ａ）は、１６ＢモードにおけるＢＬ３２でのデータ転送を示しているが、ＢＬ１６では、データラインにおいて、コマンドＣ０に対するデータＤ００、Ｄ０１と、コマンドＣ１に対するデータＤ１０、Ｄ１１を連続して流すことが可能である。

しかし、ＢＧモードでは、図１（ｂ）に示したように、同じＢＬ３２によるデータ転送でも、例えばコマンドＣ２に対するデータＤ２０とＤ２１はＢＬ１６分のＴ１期間、データ転送を開ける必要があると規格化されている。

但し、この転送ペナルティ期間Ｔ１は、別のバンクグループへの転送データを入れ込むことができるため、コマンドＣ３のアクセス先がコマンドＣ２のバンクグループと異なれば、図１（ｂ）に示したように、データラインにおいて転送データを連続発行可能となる。

また、この転送ペナルティはＢＧモード固有のものだが、ＢＬ１６のデータ転送でも、同一バンクグループへのアクセスが連続する場合は、データラインにおいて、Ｔ１期間分の転送ペナルティが発生する。

本発明にかかるメモリアクセス制御装置、およびメモリアクセス制御方法は、転送ペナルティを抑制し、メモリ帯域を向上させる技術を提供することを可能とする。

実施例１では、本発明のメモリアクセス制御装置において、データブロック単位でバンクグループ間をインタリーブアクセスする場合のメモリアクセス制御方法を説明する。

実施例２では、本発明のメモリアクセス制御装置において、ライン単位でバンクグループ間をインタリーブアクセスする場合のメモリアクセス制御方法を説明する。

実施例３では、本発明のメモリアクセス制御装置において、あらかじめメモリの論理アドレス空間をバンキング方法によって分けた場合のメモリアクセス制御方法を説明する。

実施例４では、本発明のメモリアクセス制御装置において、最後にメモリライトした時のバンキング方法をメモリの論理アドレス空間毎に記録した場合のメモリアクセス制御方法を説明する。

＜実施例１＞
図２において、メモリマスター部１００は、メモリへのアクセス要求元となる回路モジュールで、例えば、画像処理ＬＳＩにおいて、メモリから画像データを入出力して画像処理する画像処理回路などが相当する。

次にメモリバス１０１は、例えばＡＭＢＡ（Ａｄｖａｎｃｅｄ Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｂｕｓ Ａｒｃｈｉｔｅｃｔｕｒｅ）で定義されているプロトコルを利用した内部バスである。

メモリマスター部１００は、メモリバス１０１を介してメモリアクセス要求をメモリコントローラ部１０２に送信する。

ここで、メモリアクセス要求とは、メモリへのアクセス情報として、アドレス情報、ライト／リードのアクセス方向情報、データ長といったコマンド系の情報と、ライト時はメモリマスター部１００から送信されるデータ情報が含まれる。

また、メモリマスター部１００は複数存在している場合もあるため、メモリコントローラ部１０２に到達したメモリアクセス要求は、リクエスト調停部１０３で、他のメモリマスター部１００からの要求とともに調停される。

調停されたメモリアクセス要求は、後段のバンキング制御部１０４に伝わる。バンキング制御部１０４では、コマンド生成部１０５において、受信したメモリアクセス要求の情報に含まれるアドレス情報やライト／リードのアクセス方向情報を基にメモリアクセス用のコマンドを生成する。

この時、コマンド生成部１０５では、受信したアドレス情報を基に、メモリアクセス用の物理アドレスを決定するため、バンキング制御もコマンド生成により実現することが可能である。

また例えば不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）から、メモリの駆動周波数に基づくバンクモードを、予めコマンド生成部１０５に通知しておくことでバンクモードによってバンキング制御を切り替えることが可能である。

更にコマンド生成部１０５では、メモリアクセス要求に含まれるデータ長の情報から、メモリ界面における最小アクセス単位でのコマンド発行数を決定する。よってコマンド生成部１０５では、データ長の情報を基に、ＢＬ１６でアクセスするか、ＢＬ３２でアクセスするかもコマンド生成として決定する。

次にライト時にメモリマスター部１００から送信されるデータ情報は、データ並び替え部１０６において、メモリ界面における最小アクセス単位で分割し、複数のデータブロックを生成する。

データ並び替え部１０６で生成されたデータブロックは、コマンド生成部１０５からの指示に従い、後段のＤＲＡＭ−ＩＦ部１０７へデータブロック単位で送信する。

ここで、コマンド生成部１０５からの指示によって、後段のＤＲＡＭ−ＩＦ部１０７へのデータブロック送信順は任意に並び替えることが可能である。

リード時も同様にＤＲＡＭ−ＩＦ部１０７から受信したリードデータをデータ並び替え部１０６で受け取り、コマンド生成部１０５の指示にしたがって、データブロック単位で任意に並び替え、メモリマスター部１００へ送信することが可能である。

次にバンキング制御部１０５で生成されたコマンドとデータブロックは、ＤＲＡＭ−ＩＦ部１０７に送信される。

ＤＲＡＭ−ＩＦ部１０７では、コマンド発行部１０８において、バンキング制御部１０４から受信した情報を基に、ＤＲＡＭ１１０に対しコマンドライン１１１を介してコマンドを発行する。

コマンド発行部１０８では、バンキング制御部１０５から受信した情報を基に、ライトやリードのコマンドを発行するだけでなく、リフレッシュなどのＪＥＤＥＣで規格化されているその他コマンドを自動発行する機能も有している。

またＤＲＡＭ−ＩＦ部１０７では、データ送受信部１０９において、ライト時は、バンキング制御部１０４から受信したデータブロックを、データライン１１２を介してＤＲＡＭ１１０へ送信する。

同様にリード時は、ＤＲＡＭ−ＩＦ部１０７のデータ送受信部１０９において、ＤＲＡＭ１１０から送信されるデータを、データライン１１２を介して受信し、バンキング制御部１０４へ送信する。

ここで、コマンド発行部１０８では、図１に示したように、データライン１１２においてデータブロックが連続転送されるようＪＥＤＥＣの規格に従い、連続するコマンド間隔を調整して、ＤＲＡＭ１１０に対しコマンドを発行する。

次に図３から図６を用いて、バンクモード毎のデータ並び替え方法とＤＲＡＭ１１０におけるデータ配置イメージについて説明する。

図３は、例えば画像処理回路を有するメモリマスター部１００が入出力する画像データの模式図である。

図３において、Ｄ００、Ｄ１０、Ｄ０１、Ｄ１１はデータブロックで、それぞれ水平方向に隣接したデータである。

以下、Ｄ００からＤ１１のデータブロックを例にして、ＤＲＡＭ１１０への転送イメージを説明していく。

また、メモリマスター部１００からのメモリアクセス要求としては、図３に示したデータブロックの配置順で送受信を要求するものとする。

図４は、バンクモードに依らずＢＬ１６で、ＤＲＡＭ１１０へデータを連続アクセスした場合のデータ転送とデータ配置の模式図である。

ＢＬ１６による連続メモリアクセスでは、コマンド単位、つまりデータブロック単位で、異なるバンクグループ間をインタリーブする。

ここで、図４に示したようにＤＲＡＭ１１０はＢ０からＢ１５までの１６個のバンクから構成されており、１６Ｂモードでは１６個のバンクを個別にリフレッシュなどの制御が可能である。

またＢＧモードでは、それぞれのバンクは、Ｂ０からＢ３はＢＧ０、Ｂ４からＢ７はＢＧ１、Ｂ８からＢ１１はＢＧ２、Ｂ１２からＢ１５はＢＧ３のように、４つのバンクグループと、１つのバンクグループ辺り４つのバンクで構成される。

次に、図４のライトデータ転送イメージ４００において、Ｗ００、Ｗ１０、Ｗ０１、Ｗ１１はＢＬ１６のライトコマンドで、Ｗ００とＷ０１はＢＧ０へのライトコマンドで、Ｗ１０とＷ１１はＢＧ２へのライトコマンドである。

図４のライトデータ転送イメージ４００に示したように、バンクモードに依らず、ライトのコマンドは、データブロックＤ００、Ｄ１０、Ｄ０１、Ｄ１１の順でデータライン１１２を転送するように、Ｗ００、Ｗ１０、Ｗ０１、Ｗ１１の順で発行する。

また、データブロックＤ００、Ｄ１０、Ｄ０１、Ｄ１１の順は、メモリマスター部１００から送信されるデータ順なので、データ並び替え部１０６では、データブロックの並び替えを行わずＤＲＡＭ１１０へ送信する。

これにより、データブロック単位で異なるバンクグループ間をインタリーブしながら連続ライトすることになり、特にＢＧモードでは、図１に示したような転送ペナルティを隠蔽する形でＤＲＡＭ１１０への連続ライトアクセスが可能となる。

次に、図４のリードデータ転送イメージ４０１について説明する。

図４のリードデータ転送イメージ４０１において、Ｒ００、Ｒ１０、Ｒ０１、Ｒ１１はＢＬ１６のリードコマンドで、Ｒ００とＲ０１はＢＧ０へのリードコマンドで、Ｒ１０とＲ１１はＢＧ２へのリードコマンドである。

図４のリードデータ転送イメージ４０１に示したように、バンクモードに依らず、リードのコマンドは、データブロックＤ００、Ｄ１０、Ｄ０１、Ｄ１１の順でデータライン１１２を転送するように、Ｒ００、Ｒ１０、Ｒ０１、Ｒ１１の順で発行する。

ＤＲＡＭ１１０から送信されるデータブロックは、Ｄ００、Ｄ１０、Ｄ０１、Ｄ１１の順で送信されるため、データ並び替え部１０６において、データブロックの並び替えを行わずメモリマスター部１００へリードデータを送信する。

これにより、データブロック単位で異なるバンクグループ間をインタリーブしながら連続リードすることになり、特にＢＧモードでは、図１に示したような転送ペナルティを隠蔽する形でＤＲＡＭ１１０への連続リードアクセスが可能となる。

次に図５を用いて、ＢＧモードにおけるＢＬ３２で、ＤＲＡＭ１１０への連続ライト、または連続リードした場合のデータ転送とデータ配置について説明する。

図５のライトデータ転送イメージ５００において、Ｗ０、Ｗ１は、ＢＬ３２のライトコマンドで、Ｗ０はＢＧ０へのライトコマンドで、Ｗ１はＢＧ２へのライトコマンドである。よって、Ｗ０に対するデータブロックはＤ００とＤ０１で、Ｗ１に対するデータブロックはＤ１０とＤ１１になる。

ここでＢＧモードでは、図１に示したように異なるバンクグループへの連続アクセスにおいて、ＢＬ１６単位でそれぞれのコマンドに対するデータブロックを入れ子にすることで、連続的にデータライン１１２を転送することができる。

よって、図５のライトデータ転送イメージ５００に示したように、ライト時は、データ並び替え部１０６においてデータ並び替えをせずに、ＢＬ３２のコマンドを連続発行し、Ｄ００、Ｄ１０、Ｄ０１、Ｄ１１の順で転送が可能である。

これにより、データブロック単位で異なるバンクグループ間をインタリーブしながら連続ライトすることになり、ＢＧモードにおいて発生する転送ペナルティを隠蔽する形でＤＲＡＭ１１０への連続アクセスが可能となる。

次に、図５のリードデータ転送イメージ５０１について説明する。

図５のリードデータ転送イメージ５０１において、Ｒ０、Ｒ１はＢＬ３２のリードコマンドで、Ｒ０はＢＧ０へのリードコマンドで、Ｒ１はＢＧ２へのリードコマンドである。ここでリードにおいても、ＢＧモードでは、図１に示したように異なるバンクグループへの連続アクセスにおいて、ＢＬ１６単位でそれぞれのコマンドに対するデータブロックを入れ子にすることで、連続的にデータライン１１２を転送することができる。

よって、図５のリードデータ転送イメージ５０１に示したように、リード時は、リードコマンドＲ０とＲ１を連続発行することで、ＤＲＡＭ１１０の出力は、Ｄ００、Ｄ１０、Ｄ０１、Ｄ１１の順でデータライン１１２を転送することになる。

これにより、リード時においても、データ並び替え部１０６においてデータ並び替えをせずに、メモリマスター部１００へデータブロックを送信することが可能となる。以上により、ＢＧモードのＢＬ３２コマンドによるデータ転送では、データ並び替えをせずにコマンドを連続発行し、データブロック単位で異なるバンクグループ間をインタリーブすることで、ＢＧモードにおける転送ペナルティの隠蔽が可能となる。

次に図６を用いて、１６ＢモードにおけるＢＬ３２で、ＤＲＡＭ１１０への連続ライト、または連続リードした場合のデータ転送とデータ配置について説明する。

図６のライトデータ転送イメージ６００において、Ｗ０、Ｗ１は、ＢＬ３２のライトコマンドである。

また、図６のライトデータ転送イメージ６００において、Ｗ０はＢＧ０に属するＢ０へのライトコマンドで、Ｗ１はＢＧ２に属するＢＧ２へのライトコマンドである。ここで、１６Ｂモードにおいても、ＤＲＡＭ１１０におけるデータ配置は、ＢＧモードと同じようにするため、ＢＧモードにおけるＢＧ０に属するＢ０からＢ３と、ＢＧ２に属するＢ８からＢ１１をデータブロック単位でインタリーブするようにデータ配置する。

本実施形態の説明では、ＢＧ０とＢＧ２をデータブロック単位でインタリーブする方法を例にして説明しているが、別のバンクグループ間、或いはバンク間をインタリーブするようなデータ配置でも構わない。

次に、１６Ｂモードでは、ＢＧモードと異なり、ＢＬ１６単位のデータライン１１２における転送ペナルティが存在しないため、一つのＢＬ３２コマンドに対して二つのデータブロックが連続してデータライン１１２を転送することになる。

そこで、ライト時はデータ並び替え部１０６において、例えばＢＧ２に配置予定のＤ１０とＢＧ０へ配置予定のＤ０１のデータブロックについて前後位置をいれかえる。

このデータ並び替えにより、Ｗ０とＷ１を連続発行することで、図６のライトデータ転送イメージ６００に示したように、Ｄ００、Ｄ０１、Ｄ１０、Ｄ１１の順でデータライン１１２を転送することが可能である。

以上により、１６ＢモードのＢＬ３２においても、ＤＲＡＭ１１０におけるデータ配置をＢＧモードと同様に、連続するデータブロックをバンクグループ間でインタリーブした配置にすることが可能となる。

次に、図６のリードデータ転送イメージ６０１について説明する。

図６のリードデータ転送イメージ６０１において、Ｒ０、Ｒ１はＢＬ３２のリードコマンドで、Ｒ０はＢ０へのリードコマンドで、Ｒ１はＢ８へのリードコマンドである。

１６Ｂモードでは、リードにおいても、ＢＧモードと異なり、ＢＬ１６単位のデータライン１１２における転送ペナルティが存在しないため、一つのＢＬ３２コマンドに対して二つのデータブロックが連続してデータライン１１２を転送することになる。

よって、図６のリードデータ転送イメージ６０１に示したように、リード時は、リードコマンドＲ０とＲ１を連続発行することで、ＤＲＡＭ１１０の出力は、Ｄ００、Ｄ０１、Ｄ１０、Ｄ１１の順でデータライン１１２を転送することになる。

受信したデータは、データ並び替え部１０６において、Ｄ０１とＤ１０を並び替えた上でメモリマスター部１００へデータブロックを送信する。これによりメモリマスター部１００にとっては、図３で示した画像データにおけるデータブロックの配置順でデータを受信することが可能となる。

以上により、１６ＢモードのＢＬ３２によるデータ転送では、送受信時にデータ並び替え部１０６においてデータブロックを並び替えることで、連続アクセスした場合でもＤＲＡＭ１１０におけるデータ配置をＢＧモードと等しくすることが可能となる。

本実施形態では、バンクモードによらずＤＲＡＭ１１０におけるデータ配置を同じようにするための構成とデータ転送方法を示した。

これにより、ライト時とリード時でバングモードが異なる場合でも、データブロック単位でバンクグループ間をインタリーブするため、ＢＧモードにおける転送ペナルティの隠蔽が可能となり、連続したメモリアクセスでもメモリ帯域性能の劣化を防ぐことになる。

＜実施例２＞
本実施形態は、実施例１と同じメモリアクセス制御装置の構成をとるが、ＤＲＡＭ１１０におけるデータ配置を画像データにおけるライン単位でバンクグループ間をインタリーブする点が異なるため、実施例１との差分を図７から図１１を用いて説明する。

図７は、図３と同じように、例えば画像処理回路を有するメモリマスター部１００が入出力する画像データの模式図である。

図７において、画像データは複数ラインで構成されるが、以降では、最上ラインのＬｉｎｅ０と、Ｌｉｎｅ０に隣接する次ラインのＬｉｎｅ１を使用して説明する。

また、Ｌｉｎｅ０では、ＤＬ００からＤＬ０ｎまでのｎ個のデータブロックが存在し、Ｌｉｎｅ１では、ＤＬ１０からＤＬ１ｎまでのｎ個のデータブロックが存在する。

次に、図８は、１６Ｂモードにおいて、ライン単位でバンクグループ間をインタリーブしたライト時のデータ転送とデータ配置の模式図である。

図８のライトデータ転送イメージ８００において、ＷＬ００からＷＬ０Ｘ、及びＷＬ１０からＷＬ１ＸはＢＬ３２のライトコマンドである。また、ＷＬ００からＷＬ０Ｘは、Ｂ０からＢ３へのライトコマンドで、ＷＬ１０からＷＬ１ＸはＢ８からＢ１１へのライトコマンドである。

つまりＢＧモードにおいては、Ｂ０からＢ３に配置されたデータはＢＧ０に属し、Ｂ８からＢ１１に配置されたデータはＢＧ２に属すことになる。

ここで、１６Ｂモードでは、ＢＧモードと異なり、ＢＬ１６単位のデータライン１１２における転送ペナルティが存在しないため、一つのＢＬ３２コマンドに対して二つのデータブロックが連続してデータライン１１２を転送することになる。

よって、図８のライトデータ転送イメージ８００に示したように、初めにＷＬ００からＷＬ０Ｘによって、Ｌｉｎｅ０のＤＬ００からＤＬ０ｎをライトし、その後、ＷＬ１０からＷＬ１Ｘによって、Ｌｉｎｅ１のＤＬ１０からＤＬ１ｎをライトする。

以上の様に、１６Ｂモードにおけるライト時は、ライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０に画像データをデータ配置する。

またこれらのライン単位でのライトアクセスは、実施例１で説明したメモリマスター部１００からのメモリアクセス要求に基づいて実行される。

次に図９を用いて、１６Ｂモードにおいて、ライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０にデータ配置された画像データをリードする時のデータ転送について説明する。

図９のリードデータ転送イメージ９００において、ＲＬ００からＲＬ０Ｘは、Ｌｉｎｅ０のＤＬ００からＤＬ０ｎのデータブロックに対する１６ＢモードにおけるＢＬ３２のリードコマンドである。

同様にＲＬ１０からＲＬ１Ｘは、Ｌｉｎｅ１のＤＬ１０からＤＬ１ｎのデータブロックに対する１６ＢモードにおけるＢＬ３２のリードコマンドである。

リードにおいても、１６Ｂモードでは、ＢＧモードと異なり、ＢＬ１６単位のデータライン１１２における転送ペナルティが存在しないため、一つのＢＬ３２コマンドに対して二つのデータブロックが連続してデータライン１１２を転送することになる。

よって、図９のリードデータ転送イメージ９００に示したように、初めにＲＬ００からＲＬ０Ｘによって、Ｌｉｎｅ０のＤＬ００からＤＬ０ｎをリードし、その後、ＲＬ１０からＲＬ１Ｘによって、Ｌｉｎｅ１のＤＬ１０からＤＬ１ｎをリードする。

以上の様に、１６Ｂモードにおけるリード時は、ライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０にデータ配置された画像データをリードする。またこれらのライン単位でのリードアクセスは、実施例１で説明したメモリマスター部１００からのメモリアクセス要求に基づいて実行される。

次に図１０と図１１を用いて、前述したライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０にデータ配置した画像データを、ＢＧモードでリードする時のデータ転送について説明する。

図１０は、図２のバンキング制御部１０４において、本実施形態特有のデータ保持部２００を追加した構成を示しており、その他のブロックは実施例１で説明した構成と同じである。

図１０において、データ保持部２００は、リード時にＤＲＡＭ１１０から送信され、ＤＲＡＭ−ＩＦ部１０７を介して、データ並び替え部１０６に到達したデータブロックについて任意にデータを保持するブロックである。

このデータ保持部２００は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの一時記憶メモリで構成されており、画像データの１ライン分程度の容量を持つ。

次に図１１を用いて、ライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０にデータ配置された画像データを、ＢＧモードでリードする時のデータ転送について説明する。

図１１のリードデータ転送イメージ１１００において、ＲＬ００からＲＬ０Ｘは、Ｌｉｎｅ０のＤＬ００からＤＬ０ｎのデータブロックに対するＢＧモードにおけるＢＬ３２のリードコマンドである。

同様にＲＬ１０からＲＬ１Ｘは、Ｌｉｎｅ１のＤＬ１０からＤＬ１ｎのデータブロックに対する１６ＢモードにおけるＢＬ３２のリードコマンドである。

ここで、ＢＧモードでは、図１で示したように、同一バンクグループへの連続アクセスでは、データライン１１２においてＢＬ１６間隔で転送ペナルティが発生してしまう。また、例えば画像処理回路のようなメモリマスター部１００では、通常、画像データをライン単位でＤＲＡＭ１１０にライトやリードをして、画像処理を行う。

そこで、本実施形態では、１６Ｂモードにおいて、ライン単位でバンクグループ間をインタリーブしてＤＲＡＭ１１０にデータ配置した画像データをＢＧモードで読み出す際、メモリマスター部１００からの要求に対し、次のラインを先読みする。

この先読みよって、ＢＧモードで発生する転送ペナルティを隠蔽することが可能となる。

図１１を用いて、先読み方法について説明する。図１１において、例えば、メモリマスター部１００からＬｉｎｅ０のデータについてリードのメモリアクセス要求が、メモリコントローラ部１０２に到達したとする。

通常ならＢＧモードでは、ＤＲＡＭ１１０に配置されたＬｉｎｅ０のデータＤＬ００からＤＬ０ｎは、ＢＬ１６毎に転送ペナルティを発生させながら間欠的にデータライン１１２を通ることになる。これにより、メモリ帯域は半分程度に低下してしまう。

そこで、メモリマスター部１００からのＬｉｎｅ０に対するリード要求が来たとき、メモリコントローラ部１０２におけるコマンド生成部１０５において、次ラインのＬｉｎｅ１もリードするためのコマンドを生成する。

更に、図１１のリードデータ転送イメージ１１００に示したように、Ｌｉｎｅ０に対するリードコマンドのＲＬ００からＲＬ０Ｘと、Ｌｉｎｅ１に対するリードコマンドのＲＬ１０からＲＬ１Ｘを、ＤＲＡＭ１１０に対し交互に発行する。

これにより、図１１のリードデータ転送イメージ１１００に示したように、データライン１１２において、Ｄ００からＤ０ｎ、及びＤ１０からＤ１ｎのデータは連続して転送することが可能となる。

次にＤＲＡＭ１１０から転送されたデータは、データ並び替え部１０６に到達すると、先読みしたＬｉｎｅ１に対するデータＤＬ１０からＤＬ１ｎは、データ保持部２００へ送られる。

また元々メモリマスター部１００からのメモリアクセス要求であったＬｉｎｅ０に対するデータＤＬ００からＤＬ０ｎは、メモリマスター部１００へ送られる。ここで、前述したように通常の画像処理では、Ｌｉｎｅ０のリードが完了すると次ラインの画像データが必要になるため、メモリマスター部１００からはＬｉｎｅ１に対するメモリアクセス要求が発行される。

図１１に示したように、Ｌｉｎｅ１に対するデータＤＬ１０からＤＬ１ｎは先読みによって、既にデータ保持部２００に格納されているため、メモリコントローラ部１０２は、データ保持部２００のデータをメモリマスター部１００に送る。

これにより、Ｌｉｎｅ１のリードについては、ＤＲＡＭ１１０へのアクセスが発生することなく、メモリマスター部１００のメモリアクセス要求を満たすことが可能となる。以上により、本実施形態の構成によれば、１６Ｂモードでライトする際は、ライン単位でバンクグループ間をインタリーブし、ＢＧモードでリードする際は、次ラインのデータを先読みすることで、ＢＧモードの転送ペナルティを隠蔽することが可能となる。

＜実施例３＞
本実施形態は、実施例１、２と同じメモリアクセス制御装置の構成をとるが、ＤＲＡＭ１１０におけるデータ配置の管理方法が異なるため、その差分について図１２を用いて説明する。

図１２は、例えば不図示のＣＰＵによって、あらかじめメモリの論理アドレス空間をバンキング方法によって使い分けた場合のＤＲＡＭ１１０におけるメモリ領域を示した模式図である。

ここで、バンキング方法とは、以下に説明するＢＧバンキングと１６Ｂバンキングを指す。

例えば、図１２において、ＢＧバンキング領域３００は、実施例１で示したデータブロック単位でバンクグループ間をインタリーブするデータ配置を、ライト時、リード時に関わらす行い、基本的にＢＧモードでのみ使用する領域である。

但し、駆動周波数の変更により、１６Ｂモードで、ＢＧバンキング領域３００からデータをリードする必要が発生した場合は、実施例１で示したようにデータ並び替え部１０６でデータ並び替えすることで、連続したデータリードが可能である。

また図１２において、１６Ｂバンキング領域３０１は、実施例２で示したライン単位でバンクグループ間をインタリーブするデータ配置、またはバンクグループを意識しないでバンク間でのインタリーブを行う領域で、基本的には１６Ｂモードで使用する。

ここでも、駆動周波数の変更により、ＢＧモードで、１６Ｂバンキング領域３０１からデータをリードする必要が発生した場合は、実施例２に示したようにライト時はライン単位でバンクグループ間をインタリーブするデータ配置にする。更に、ＢＧモードでリードする際に次ラインを先読みすることで、メモリ帯域を劣化させることなく連続したデータリートが可能となる。

よって、本実施形態の構成によれば、バンクモードによってアクセスする領域をあらかじめ分けておくことで、駆動周波数を動的に変更する場合でも、ＢＧモードにおける転送ペナルティを軽減することが可能となる。

＜実施例４＞
本実施形態は、実施例１、２と同じメモリアクセス制御装置の構成をとるが、ＤＲＡＭ１１０におけるデータ配置の管理方法が実施例３とも異なるため、その差分について図１３を用いて説明する。

図１３は、本実施形態におけるＤＲＡＭ１１０の論理アドレス空間を、バンキング方法によって領域管理した場合のメモリ領域を示した模式図である。

本実施形態では、例えば不図示のＣＰＵによって、メモリへの最後のライトアクセス時に、その領域におけるバンキング方法を記録しておく。

例えば図１３において、領域３１１は最後にライトアクセスした時は、ＢＧモードなので、ＢＧバンキングとして記録される。

同様に領域３１２は１６Ｂバンキング、領域３１３はＢＧバンキング、領域３１４は１６Ｂバンキングとして、ＤＲＡＭ１１０における領域が不図示のＣＰＵによって管理される。これにより、動的にＤＲＡＭ１１０の駆動周波数を変更した場合でも、実施例３の様に、それぞれの領域におけるバンキング方法と、リード時のバンクモードによって、最適な読み出し方法を選択することが可能となる。

よって、本実施形態の構成によれば、最後にライトアクセスした時のバンキング方法を領域毎に記録しておくことで、駆動周波数を変更したことによって、異なるバンクモードでリードする際も、ＢＧモードの転送ペナルティを軽減することが可能となる。

＜実施例５＞
ところで、ＬＰＤＤＲ５では、データコピー機能による省電力機能が追加された。

この機能は、転送データのうちリファレンスデータと一致した箇所に関して、実際に転送は行わず、ＬＰＤＤＲ５やメモリコントローラ内部で該当データを復元するものである。具体的には、ＤＲＡＭインターフェースのデータ端子ＤＱ０を介して転送されるデータパターンがＤＱ１〜７を介して転送されるデータパターンと全て一致した場合、ＤＱ０とデータコピーが有効である情報のみを転送し、ＤＱ１〜７は転送を行わない。受信側は、データコピーが有効である情報をもとに、ＤＱ０のデータパターンをＤＱ１〜７へコピーすることにより、元のデータパターンを復元する。ＤＱ８とＤＱ９〜１５の関係も同様である。

データパターンの一致判定は、８ビート転送毎に行われる。このように、より少ないデータ端子を用いてデータ転送することにより、データ端子のトグル率を下げ、ＤＲＡＭのＩＯ及びコア電力を削減することできる。

実施例５のメモリ制御装置は、画像データをＤＲＡＭに格納する場合に、画像データに対するデータパターン一致率を向上し、ＤＲＡＭと画像処理エンジン間のデータ転送を省電力化することを実現する。

図１４は、画像処理システムの概略構成を示したブロック図である。画像処理システム１４００は、イメージセンサー１４０１と画像処理エンジン１４０２とＤＲＡＭ１４０３を備えている。画像処理システム１４００は、ＤＲＡＭ１４０３を複数備えても良い。イメージセンサー１４０１は画像処理エンジン１４０２と接続され、画像処理エンジン１４０２はＤＲＡＭ１４０３と接続される。

次に、図１５を用いて伝送路１４０４および画像処理エンジン１４０２およびＤＲＡＭ１４０３の構成を示す。

伝送路１４０４は、一般的なＤＲＡＭインターフェースの信号群であり、差動クロックＣＫ＿ｔ／ＣＫ＿ｃやチップセレクトＣＳ、コマンド／アドレス信号ＣＡ［６：０］、データ信号ＤＱ［１５：０］などが含まれる。

画像処理エンジン１４０２は、画像処理マスター１５０３とメモリバス１５０２とメモリコントローラ１５０１を備える。画像処理マスターは複数備えても良い。その他、不図示のＣＰＵやシステムバス、イメージセンサー１４０１のインターフェース部を備えるが、本発明に無関係のため説明を省略する。

画像処理マスター１５０３は、イメージセンサー１４０１でキャプチャした画像データに対し、何らかの処理をした後、もしくは処理する過程で、メモリバス２００２を介してメモリコントローラ１５０１との間でデータ転送する。メモリコントローラ１５０１は、伝送路１４０４を介して、ＤＲＡＭ１４０３との間でデータ転送する。

画像処理エンジン１４０２内にあるメモリコントローラ１５０１は、データコピー機能に対応しており、エンコード処理部１５１２とエンコード処理部１５１３とインターフェース回路１５１４を備える。

本発明では、データコピー機能に対応したメモリコントローラ１５０１内に、データ変換処理部１５１１を備えることが特徴である。データ変換処理部１５１１の説明は後述する。

ＤＲＡＭ１４０３もまた、データコピー機能に対応しており、インターフェース回路１５２４とデコード処理部１５２２とデコード処理部１５２３と記憶部１５２０を備える。続いて、メモリコントローラ１５０１とＤＲＡＭ１４０３に関わるデータコピー機能について説明する。

ＤＲＡＭ１４０３への書き込みデータのデータコピー機能は、メモリコントローラ１５０１内のエンコード処理部１５１２とＤＲＡＭ１４０３内のデコード処理部１５２２が対になり実現される。同様に、ＤＲＡＭ１４０３からの読み込みデータのデータコピー機能は、ＤＲＡＭ１４０３内のデコード処理部１５２３とメモリコントローラ１５０１内のエンコード処理部１５１３が対になり実現される。

まず、画像処理エンジン１４０２からＤＲＡＭ１４０３への書き込みデータのデータコピー機能の処理について説明する。

メモリコントローラ１５０１内のエンコード処理部１５１２は、ＤＲＡＭ１４０３に対する書き込みデータのうち、ＤＱ０を介して転送されるデータパターンがＤＱ１〜７を介して転送されるデータパターンと全て一致するか否かを判定し、一致した場合、データコピーが有効である情報をコマンド／アドレス信号付加する。また、ＤＱ０を介するデータパターンのみを転送し、ＤＱ１〜７を介するデータパターンは転送しない。ＤＲＡＭ１４０３内のデコード処理部１５２２は、データコピーが有効である情報を受け取り、示された有効箇所に対して、ＤＱ０を介して転送されたデータパターンをＤＱ１〜７にコピーし、元のデータを復元して、記憶部１５２０に記憶する。

次に、ＤＲＡＭ１４０３から画像処理エンジン１４０２への読み出しデータのデータコピー機能の処理については、上記書き込みデータの説明のうち、エンコードとデコードの関係が逆になるだけのため、説明を省略する。

続いて、図１６と図１７を用いて、画像データと伝送路１４０４上のデータ配置を説明する。図１６（ａ）は、例えば水平３２０ピクセル、垂直２４０ラインの輝度画像であり、１ピクセル当たり８ビットの分解能をもつ。この画像は、左から右に進むにすれ、段階的に暗くなる画像である。図１６（ｂ）は、図１６（ａ）のラインＮにおける輝度信号グラフである。枠１６００は、輝度値２００のピクセルが水平方向に８ピクセル連続した後、輝度値１４７のピクセルが水平方向に８ピクセル連続した範囲を示している。

図１７（ａ）は、枠１６００の輝度値をピクセルとビットに分解した図である。図１７（ｃ）は、図１７（ａ）の画像データを、伝送路１４０４を介して転送する際のＤＱ０〜７端子に現れるデータパターンを示している。図示のとおり、８ビット分解能の画像は、ピクセルとビート、分解能ビットとＤＱ端子ビットがそれぞれ一致した状態で伝送路１４０４を介して転送される。

ここで、枠１７０１および枠１７０２は、データコピー機能のリファレンスとなるＤＱ０端子上のデータパターンである。枠１７０１は、最初の８ビートのリファレンスデータであり、枠１７０２は、２回目の８ビートのリファレンスデータである。枠１７０１は全て“０”のデータで構成されるが、最初の８ビートにおいて、ＤＱ３及びＤＱ６〜７に“１”となるデータがあるため、データコピー機能が有効にならない。同様に、２回目の８ビートにおいても、枠１７０２で示されるデータパターンに対し、ＤＱ２〜３およびＤＱ５〜６に異なるデータがあるため、データコピー機能が有効にならない。したがって、メモリコントローラ１５０１またはＤＲＡＭ１４０３は、図１７（ａ）の画像データを全てのＤＱ端子を用いてデータ転送する。

一方で、図１７（ｂ）の画像データでは、枠１７０１内のデータパターンが“０００１００１１”であり、ＤＱ１〜７端子もすべて同じデータパターンになるため、データコピー機能が有効になる。枠１７０２においても、ＤＱ０とＤＱ１〜７のデータパターンが一致しているため、データコピー機能が有効になる。図１７（ｄ）は、図１７（ｂ）の画像データをエンコード処理部１５１２またはデコード処理部１５２３で処理した後のＤＱ０〜７端子に現れる転送データであり、ＤＱ１〜７端子は非転送状態になる。

このように、リファレンスデータに対して、ビット値が一致しているビートが連続するような画像データが多ければ、その分データコピー機能が有効化される確率が上がる。
そこで、本発明は、画像データが近傍のピクセル値が同じ値になる確率が高いことに着目し、ビット値を一致させやすくする変換方法を考案した。

これより、図１８および図１９を用いて本実施例における画像データの変換方法について説明する。

図１８はメモリコントローラ１５０１内のデータ変換処理部１５１１の構成である。データ変換処理部１５１１は、ピクセルビット変換部１８００と、レート変換部１８０２および１８０４で構成される。経路１８１０から経路１８１３への経路がＤＲＡＭ１４０３への書き込みデータ処理、経路１８２３から経路１８２２への経路が、ＤＲＡＭ１４０３からの読み出しデータ処理に関わる。

経路１８１０および経路１８２２は、メモリバス２００２と接続されるデータレーンを示しており、本実施例では、１２８ビット幅で構成される。これを画像データに換算すると、分解能８ビット１６ピクセル分のデータ幅となる。経路１８１０Ａ／Ｂおよび経路１８１１Ａ／Ｂは、１６ピクセルを半分に分割した８ピクセル分、つまり６４ビット幅のデータレーンである。

レート変換部１８０２は、ＤＲＡＭ１４０３への書き込みデータ１２８ビット幅を１６ビット幅に変換する。逆に、レート変換部１８０４は、ＤＲＡＭ１４０３からの読み込みデータ１６ビット幅を１２８ビット幅に変換する。

次に、ピクセルビット変換部１８００について説明する。

図１９は、図１８における経路１８１０Ａ／Ｂおよび経路１８１１Ａ／Ｂで転送される画像データを図示したものである。データ１９１０Ａは、経路１８１０Ａで伝送されるデータレーンであって、ピクセル８〜１５番目の画像データを示す。ビット列１９１１Ａは、データ１９１０Ａをビット列で示したものである。

データ１９１０Ｂは、経路１８１０Ｂで伝送されるデータレーンであって、ピクセル０〜７番目の画像データを示す。ビット列１９１１Ｂは、データ１９１０Ｂをビット列で示したものである。例えばｐ０［０］は、ピクセル０のビット０を示す。

ピクセルビット変換部１８００は、ＤＲＡＭ１４０３への書き込みデータの場合、図１９で示すとおり、ビット列１９１１Ａおよびビット列１９１１Ｂを、それぞれビット列１９１２Ａおよびビット列１９１２Ｂへ変換する。ＤＲＡＭ１４０３からの読み込みデータの場合は、ビット列１９１２Ａおよびビット列１９１２Ｂをそれぞれビット列１９１１Ａおよびビット列１９１１Ｂへ変換する。つまり、８つのピクセルに格納されているビット列から、同じ番号のビットを８つ集めて、一つのピクセルとして再構築する処理を行う。

ここで、図１７（ｂ）は、図１７（ａ）の画像データをピクセルビット変換した後である。前述したように、図１７（ｂ）は、枠１７０１および枠１７０２のどちらも、ＤＱ０〜７端子全てのデータパターンが一致するため、図１７（ｄ）に示す通り、データコピー機能が有効になる。

本実施例では、８ピクセル単位のデータ変換例を示したが、８バイト単位のデータであれば、問題なく変換可能である。したがって、本実施例によるデータ変換方法は、画像データだけに限定されるものではない。

このように、本実施の形態における画像処理システムを用いれば、ＬＰＤＤＲ５で追加されたデータコピー機能が有効化される確率が上がり、ＤＲＡＭと画像処理エンジン間のデータ転送を省電力化できる。

＜実施例６＞
本実施例では、図２０および図２１を用いて、データ変換例を説明する。

図２０のメモリコントローラ２００１は、データ変換判定部２０１０が追加された。データ変換判定部２０１０は、メモリバス１５０２からＤＲＡＭ１４０３に対するデータ転送要求の中から、アドレス情報を取得し、データ変換すべきアドレス範囲に対するデータ転送要求か否かを判定する。上記アドレス範囲は、不図示のＣＰＵのレジスタやハードウェア的に決定しても良い。

図２１は、図２０のデータ変換判定部２０１０を含んだメモリコントローラ２００１における、データ変換処理部２０１１である。図１８で示されたデータ変換処理部１５１１に対して、セレクタ２１０１および制御信号２１１２が追加された。

経路２１１０から経路２１１３への経路がＤＲＡＭ１４０３への書き込みデータ処理、経路２１２３から経路２１２２への経路が、ＤＲＡＭ１４０３からの読み出しデータ処理に関わる。制御信号２１１２は、データ変換判定部２０１０の出力であり、ピクセルビット変換部１８００による処理前後の信号のいずれかをセレクタ２１０１または２１０３にて選択することにより、データ変換の可否を選択している。

このように、データ変換の対象となるデータが格納されるアドレス範囲を設定し、適応的にデータ変換することにより、データコピー機能が有効化される確率が上がり、ＤＲＡＭと画像処理エンジン間のデータ転送を省電力化できる。

なお、データ変換判定部２０１０は、メモリバス２００２からＤＲＡＭ１４０３に対するデータ転送要求の中から、そのデータが画像データであることを示す情報を取得し、データ変換の可否を判定するものであってもよい。

＜実施例７＞
ＬＰＤＤＲ５では新しい低消費電力ステートとしてＤｅｅｐ Ｓｌｅｅｐ Ｍｏｄｅが追加されている。Ｄｅｅｐ Ｓｌｅｅｐ ＭｏｄｅはＳＤＲＡＭへのアクセスがないとき、データ保持に必要な最小限の動作を行い、電力を削減するステートである。ＤｅｅｐＳｌｅｅｐ Ｍｏｄｅは、ＬＰＤＤＲ５以前から搭載されている低消費電力ステートであるＳＲＰｏｗｅｒ Ｄｏｗｎの改良版であり、さらに消費電力を低減できるメリットがある。
実施例７は、Ｄｅｅｐ Ｓｌｅｅｐ Ｍｏｄｅからの復帰を速やかに実行するメモリ制御装置、およびメモリ制御方法を提供する。

図２２は、本発明に掛かる実施例１における撮像装置のブロック図である。

撮像装置は、光学部２２０１、撮像部２２０２、画像処理エンジン２２１０、２つのＤＲＡＭ（ダイナミックランダムアクセスメモリー）２２３０、２２３１、表示部２２３２、記録部２２３３、視線センサー２２４０、接眼センサー２２４１、グリップセンサー２２４２、カメラマイコン２２４３を有する。

光学部２２０１は着脱可能なレンズであり、光学部２２０１が取り込んだ光を撮像部２２０２が受け、画像信号に変換する機能を有する。変換された画像信号は画像処理エンジン２２１０の入力部２２１１に出力される。

画像処理エンジン２２１０は半導体集積回路であり、撮像部２２０２から入力した画像信号の画像処理機能を有する。詳細は後述する。

ＤＲＡＭ２２３０はＬＰＤＤＲ５対応のＳＤＲＡＭであり、画像処理中の画像の一時記録や各種パラメータの記録部として使われる。

ＤＲＡＭ２２３１はＬＰＤＤＲ５対応のＳＤＲＡＭであり、画像処理中の画像の一時記録や各種パラメータの記録部として使われる。なお本実施例において、ＤＲＡＭ２２３１は静止画撮影モード時や動画記録時などの広帯域が必要なときのみ使用され、ライブビュー撮影においてはＤｅｅｐＳｌｅｅｐＭｏｄｅに遷移しているものとする。

表示部２２３２は、例えばＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）や液晶ディスプレイであり、ライブビュー画像の表示や再生画像の表示などを行う。また、タッチパネル構成になっていてもよい。

記録部２２３３は、着脱可能な可搬メモリであり、撮像画像の記録などに用いられる。視線センサー２２４０は、撮影者の視線を検知するセンサーであり、撮影者が表示部２２３２を見ているか否かを判定する機能を有する。

接眼センサー２２４１は、撮影者が撮像装置のファインダーに顔を近づけたか否かを判定する機能を有する。グリップセンサー２２４２は、撮影者が撮像装置を握っているか否かを判定する機能を有する。カメラマイコン２２４３は、撮影者側を撮影する機能を有する小型カメラであり、撮影者の顔を検出する機能を有する。

次に画像処理エンジン２２１０の詳細を説明する。

画像処理エンジン２２１０は、入力部２２１１、画像処理部２２１２、ＣＰＵ２２１３、メモリ制御部２２１４、メモリ制御部２２１５、表示制御部２２１６、視線センサー制御部２２１７、接眼センサー制御部２２１８、グリップセンサー制御部２２１９、カメラマイコン制御部２２２０、記録制御部２２２１を有している。

入力部２２１１は撮像部２２０２の出力信号である画像信号を入力し、内部バスに出力する。内部バスに出力された画像信号は、一度ＤＲＡＭ２２３０、２２３１へ記録してもいいし、画像処理部２２１２に送ってもよく限定されない。

画像処理部２２１２は、画像信号に対して所定の画像処理を行う機能を有する。所定の画像処理とは、光学部２２０１や撮像部２２０２の補正処理（欠陥画素補正）、ＡＦ（ＡｕｔｏＦｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（ＡｕｔｏＷｈｉｔｅ Ｂａｌａｎｃｅ）処理、データ符号化処理、データ復号化処理などを実施するものとする。

ＣＰＵ２２１３は、一般的なＣＰＵであり、ＤＲＡＭ２２３０、ＤＲＡＭ２２３１に記録されているプログラムを実行する機能を有する。また、電源ボタンやシャッターボタン、モードダイアルなどの各種スイッチ（不図示）からの信号を受信して、撮像装置の動作モードを判定・変更する機能も有する。

メモリ制御部２２１４、メモリ制御部２２１５は、各処理部からの要求を受け、ＤＲＡＭ２２３０、ＤＲＡＭ２２３１に対して各種データの書き込み、読み出しを行う機能を有する。

表示制御部２２１６は画像信号を入力し、表示部２２３２に表示するための表示用画像を生成し、出力する機能を有する。

視線センサー制御部２２１７は、視線センサー２２４０を制御する機能を有する。接眼センサー制御部２２１８は、接眼センサー２２４１を制御する機能を有する。グリップセンサー制御部２２１９は、グリップセンサー２２４２を制御する機能を有する。カメラマイコン制御部２２２０は、カメラマイコン２２４３を制御する機能を有する。記録制御部２２２１は、画像信号を記録部２２３３へ記録する機能と、記録部２２３３からの読み出し及び再生を行う機能を有する。

次に、図２３において、ＬＰＤＤＲ５ ＳＤＲＡＭにおけるＤｅｅｐ Ｓｌｅｅｐ Ｍｏｄｅのステートダイアグラムについて簡単に説明する。ＬＰＤＤＲ５ ＳＤＲＡＭの低消費電力ステートには、図２３に示す４つのステート（Ｉｄｌｅ、ＤｅｅｐＳｌｅｅｐ Ｍｏｄｅ、ＳＲ Ｐｏｗｅｒ Ｄｏｗｎ、ＳｅｌｆＲｅｆｒｅｓｈ Ｍｏｄｅ）が存在する。Ｉｄｌｅはコマンド待ちのステートである。ＳＲ ＰｏｗｅｒＤｏｗｎは通常のアクセスはできないが、自動的にリフレッシュ処理が実行されるため、消費電力を削減しながら記録データが保持できるステートである。ＤｅｅｐＳｌｅｅｐ ＭｏｄｅはＬＰＤＤＲ５から追加されたステートであり、ＳＲＰｏｗｅｒ Ｄｏｗｎよりもさらに消費電力削減効果が高いステートである。しかしながら、Ｉｄｌｅに復帰するまでに、ＳＲＰｏｗｅｒ ＤｏｗｎとＳｅｌｆ Ｒｅｆｒｅｓｈ Ｍｏｄｅを経由して復帰する必要があるため、復帰に時間が掛かってしまうという課題がある。

次に、図２４のフローチャートを用いて、撮像装置の制御フローを説明するが、本フローチャートは撮像装置の電源が投入されたことに応じて開始する。

まず、ステップＳ２４０１において、ライブビュー撮影処理が行われる。具体的には、光学部２２０１によって取り込まれた光は撮像部２２０２で画像信号に変換され、画像処理エンジン２２１０の入力部２２１１に取り込まれる。入力部２２１１はメモリ制御部２２１４を介して、ＤＲＡＭ２２３０に画像信号を記録する。次に画像処理部２２１２がメモリ制御部２２１４を介してＤＲＡＭ２２３０から画像信号を読み出し、欠陥画素補正や現像処理やリサイズ処理などの画像処理を実行する。最後に表示制御部２２１６が画像を表示部２２３２に表示する。なお、ライブビュー撮影処理における画像データの一時置き場としてはＤＲＡＭ２２３０が使われ、ＤＲＡＭ２２３１はＤｅｅｐＳｌｅｅｐ Ｍｏｄｅに遷移しているものとする。また、ＯＶＦ（ｏｐｔｉｃａｌｖｉｅｗｆｉｎｄｅｒ）を搭載している撮像装置でファインダー撮影している場合は、ライブビュー撮影処理は行われない。

次に、ステップＳ２４０２において、視線センサー２２４０、接眼センサー２２４１、グリップセンサー２２４２、カメラマイコン２２４３のいずれかによって撮影者が検知されたか否かをＣＰＵ２２１３が判定する。撮影者が検知されていない場合は、ステップＳ２４０１へ戻りライブビュー撮影処理を繰り返しながら各種センサーが撮影者を検知するのを待つ。撮影者が検知された場合は、ステップＳ２４０３へ進む。なお、ここでは４つのセンサーを搭載しているが、撮影者を検出する手段が１つあれば十分であり限定されない。

次に、ステップＳ２４０３において、メモリ制御部２２１５がＤＲＡＭ２２３１のステートをＤｅｅｐＳｌｅｅｐ ＭｏｄｅからＳＲ Ｐｏｗｅｒ Ｄｏｗｎに遷移させる。次に、ステップＳ２４０４において、ステップＳ２４０１同様にライブビュー撮影処理を行う。

次に、ステップＳ２４０５において、ＣＰＵ２２１３がシャッターボタンの半押し（ＳＷ１）を検知したかを判定する。シャッターボタンの半押しを検知していない場合は、ステップＳ２４０４に戻り、ライブビュー画像を表示し続けながらシャッターボタンが半押しされるのを待つ。シャッターボタンの半押しを検知した場合は、ステップＳ２４０６へ進む。

次に、ステップＳ２４０６において、メモリ制御部２２１５がＤＲＡＭ２２３１のステートをＳＲＰｏｗｅｒ ＤｏｗｎからＩｄｌｅに遷移させる。

次に、ステップ３０７において、ステップＳ２４０１、ステップＳ２４０７同様にライブビュー撮影処理を行う。

次に、ステップＳ２４０８において、ＣＰＵ２２１３がシャッターボタンの全押し（ＳＷ２）を検知したかを判定する。シャッターボタンの全押しを検知していない場合は、ステップＳ２４０７に戻り、ライブビュー画像を表示し続けながらシャッターボタンが全押しされるのを待つ。シャッターボタンの全押しを検知した場合は、ステップＳ２４０９へ進む。

次に、ステップＳ２４０９において、静止画撮影処理が行われる。具体的には、光学部２２０１によって取り込まれた光は撮像部２２０２で画像信号に変換され、画像処理エンジンの入力部２２１１に取り込まれる。入力部２２１１はメモリ制御部２２１４とメモリ制御部２２１５を介して、ＤＲＡＭ２２３０とＤＲＡＭ２２３１に画像信号を記録する。次に画像処理部２２１２がメモリ制御部２２１４とメモリ制御部２２１５を介して、ＤＲＡＭ２２３０とＤＲＡＭ２２３１から画像信号を読み出し、欠陥画素補正や現像処理や符号化処理を実行する。最後に符号化済みの画像信号を記録制御部２２２１が記録部２２３３に記録して、一連の静止画撮影処理が完了する。なお、ＤＲＡＭ２２３０とＤＲＡＭ２２３１の使い分けに関しては、例えば、現像処理と検出処理などで使うＤＲＡＭを分けたり、連写モードであれば奇数枚と偶数枚で分けたりするなどが考えられ限定されるものではない。

最後に、ステップＳ２４１０において、メモリ制御部２２１５がＤＲＡＭ２２３１のステートをＩｄｌｅからＤｅｅｐＳｌｅｅｐ Ｍｏｄｅに遷移させる。なお、静止画撮影処理終了後も各種センサーが撮影者を検知していた場合でも、撮影画像を表示部２２３２に表示している間は、ＤＲＡＭ２２３１のステートをＤｅｅｐＳｌｅｅｐ Ｍｏｄｅに遷移させる。これは撮影者が撮影画像を確認するために表示部２２３２を見たり、撮像装置のボディをグリップし続けたりすることが考えられるためである。

以上で、図２４のフローチャートの説明を終了する。図２４のフローに示すように、各種センサーによる検知とＳＷ１の２段階に分けて、ＤＲＡＭのステートをＤｅｅｐＳｌｅｅｐＭｏｄｅからＩｄｌｅまで復帰させることで復帰時間を分散させることができる。

なお、ステップＳ２４０２において、各種センサーが撮影者を検知した後、ステップＳ２４０３において各種センサーが撮影者を検知しなくなった場合、一定時間ＤＲＡＭ２２３１のステートをＳＲＰｏｗｅｒＤｏｗｎに保っていてもよい。これは撮影中に撮影者が被写体に指示を出すために表示部２２３２やファインダーから目を離すことが考えられるためである。一定時間経過後も各種センサーが撮影者を検知しない場合は、ＤＲＡＭ２２３１のステートをＤｅｅｐＳｌｅｅｐ Ｍｏｄｅに戻す。

図２４のフローチャートでは静止画撮影処理について説明したが、動画撮影においても同様であり限定されるものではない。

１００ メモリマスター部
１０１ メモリバス
１０２ メモリコントローラ部
１０３ リクエスト調停部
１０４ バンキング制御部
１０５ コマンド生成部
１０６ データ並び替え部
１０７ ＤＲＡＭ−ＩＦ部
１０８ コマンド発行部
１０９ データ送受信部
１１０ ＤＲＡＭ
１１１ コマンドライン
１１２ データライン
２００ データ保持部

Claims (14)

1. 駆動周波数によってバンクモードが異なるメモリ手段と、
   第一駆動周波数における第一バンクモードと、
   第一駆動周波数より高周波な第二駆動周波数における第二バンクモードのいずれかにバンクモードを切り替えるバンクモード切り替え手段と、
   前記メモリ手段へのアクセス要求を出すメモリマスター手段と、
   前記メモリマスター手段から要求される前記メモリ手段への書き込みデータ列を前記メモリ手段の最小アクセス単位で複数のデータブロックに分割するデータブロック分割手段と、
   それぞれのデータブロックに対応したコマンドを発行するコマンド発行手段と、
   を有し、
   隣接する前記データブロックを、異なるバンクグループに連続して交互に書き込むことを特徴とするメモリ制御装置。
2. 前記コマンド発行手段は、１つのデータブロックごとにコマンドを発行する第一コマンドと、２つのデータブロックごとにコマンドを発行する第二コマンドと、を有し、
   第一コマンド発行手段と第二コマンド発行手段を前記メモリマスター手段からの要求に応じて切り替えることを特徴とする請求項１に記載のメモリ制御装置。
3. 前記第二バンクモードにおいて、
   第一データブロックに隣接する第二データブロックと、前記第二データブロックに隣接する第三データブロックと、前記第三データブロックに隣接する第四データブロックを前記第一データブロック、前記第二データブロック、前記第三データブロック、前記第四データブロックの順に連続して前記メモリ手段のデータラインに流し、
   前記第一コマンド、或いは前記第二コマンドを連続発行して前記第一データブロックと前記第三データブロックを、第一バンクグループに書き込み、
   前記第二データブロックと前記第四データブロックを、第二バンクグループに書き込むことを特徴とする請求項１又は２に記載のメモリ制御装置。
4. 前記第一バンクモードにおいて、前記第一データブロックと前記第二データブロックと前記第三データブロックと前記第四データブロックを前記第一データブロック、前記第三データブロック、前記第二データブロック、前記第四データブロックの順に並び替えて前記メモリ手段のデータラインに流し、
   前記第一コマンド、或いは前記第二コマンドを連続発行して前記第一データブロックと前記第三データブロックを、第一バンクに書き込み、
   前記第二データブロックと前記第四データブロックを、第二バンクに書き込むことを特徴とする請求項１又は２に記載のメモリ制御装置。
5. 前記第一バンクは、前記第二バンクモードにおいて前記第一バンクグループに属したバンクで、前記第二バンクは、前記第二バンクモードにおいて前記第二バンクグループに属したバンクであることを特徴とする請求項４に記載のメモリ制御装置。
6. 前記メモリ手段からデータ列のデータブロックを読み出す読み出し手段をさらに備え、前記第二バンクモードにおいて、前記第一バンクグループに格納されている前記第一データブロックと前記第三データブロックを前記第二コマンドで読み出し、
   前記第二バンクグループに格納されている前記第二データブロックと前記第四データブロックを前記第二コマンドで読み出し、
   読み出したデータブロックが前記第一データブロック、前記第二データブロック、前記第三データブロック、前記第四データブロックの順で前記メモリ手段から出力するように前記第二コマンドを連続発行することを特徴とする請求項１又は２に記載のメモリ制御装置。
7. 前記メモリ手段からデータ列のデータブロックを読み出す読み出し手段をさらに備え、
   前記第一バンクモードにおいて、前記第一バンクグループに格納されている前記第一データブロックと前記第三データブロックを前記第二コマンドで前記メモリ手段から読み出し、
   その後、前記第二バンクグループに格納されている前記第二データブロックと前記第四データブロックを前記第二コマンドで前記メモリ手段から読み出し、
   読み出したデータブロックを前記第一データブロック、前記第二データブロック、前記第三データブロック、前記第四データブロックの順に並び替えて前記メモリマスター手段にデータを返すことを特徴とする請求項１又は２に記載のメモリ制御装置。
8. 前記第一バンクモードにおいて、第一データ列のデータブロックを前記第一バンクに書き込み、
   前記第一データ列とアドレスが隣接する第二データ列のデータブロックを前記第二バンクに書き込むことを特徴とする請求項１もしくは２、又は請求項５に記載のメモリ制御装置。
9. 前記メモリ手段からデータ列のデータブロックを読み出す読み出し手段をさらに備え、前記第一バンクモードにおいて、前記第一バンクから前記第一データ列を前記第一コマンド、或いは前記第二コマンドを連続発行して読み出し、
   前記第二バンクモードにおいて、前記第一バンクグループから前記第一データ列のデータブロックを前記第一コマンド、或いは前記第二コマンドを発行し読み出し、
   前記メモリマスター手段の要求に依らず、連続して前記第二バンクグループから前記第二データ列のデータブロックを前記第一コマンド、或いは前記第二コマンドを発行し読み出し、
   異なるバンクグループのデータブロックを連続して交互に読み出すことを特徴とする請求項８に記載のメモリ制御装置。
10. 同時に読み出した前記第二データ列のデータブロックを一時保持する保持手段を有し、前記メモリマスター手段から、前記第二データ列の読み出し要求が来た時に、前記保持手段に格納されたデータを返すことを特徴とする請求項８又は９に記載のメモリ制御装置。
11. 前記メモリ手段において、データブロック単位でバンクグループをインタリーブしてデータ配置する第一領域とデータ列単位でバンクグループをインタリーブしてデータ配置する第二領域を論理アドレス空間として定め、
    前記第一バンクモードでは、前記第一領域にアクセスし、前記第二バンクモードでは、前記第二領域にアクセスすることを特徴とする請求項１乃至１０のいずれか１項に記載のメモリ制御装置。
12. 前記メモリ手段において、領域毎に最後に書き込みアクセスした際の、データ配置が前記第一領域か前記第二領域かを記録しておくデータ配置記録手段を有し、
    前記メモリ手段よりデータを読み出す際に、前記データ配置記録手段の記録情報より、読み出し方法を切り替えることを特徴とする請求項１乃至１０のいずれか１項に記載のメモリ制御装置。
13. 撮像装置に設けられ、画像を一時的に記録するメモリ手段を制御するメモリ制御装置であって、
    前記同期型メモリを制御するメモリ制御部は、前記撮像装置の撮影待機状態において前記同期型メモリのステートを第１ステートに遷移させ、撮影者を検知したら前記同期型メモリのステートを第２ステートに遷移させ、その後、撮影開始指示が前記撮像装置に入力されたことに応じて前記同期型メモリのステートを第３ステートに遷移させることを特徴とするメモリ制御装置。
14. 撮像装置に設けられ、画像を一時的に記録するメモリ手段を制御するメモリ制御装置であって、
    前記メモリ手段に書きこむ画像データを８バイト単位でデータ変換する変換手段と、前記データ変換された画像データを前記メモリ手段に書き込む制御手段と、を備えることを特徴とするメモリ制御装置。

Images