JP2008217772A

JP2008217772A - フュージョンメモリ装置及び方法

Info

Publication number: JP2008217772A
Application number: JP2008024426A
Authority: JP
Inventors: Sung Jo Oh; 成祚呉
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-02-05
Filing date: 2008-02-04
Publication date: 2008-09-18
Also published as: TW200834594A; EP1959350A3; CN101261605A; US20080189491A1; KR20080073077A; EP1959350A2

Abstract

【課題】本発明は、マルチメディアデータを符号化して格納し、格納されたマルチメディアデータを復号化して出力することができるフュージョンメモリ装置及び方法に関する。
【解決手段】マルチメディアデータを格納するフュージョンメモリ装置は、マルチメディアデータを格納する主メモリと、主メモリのマルチメディアデータをバッファーする補助メモリと、符号器及び復号器とを備え、書込みモード時、入力されるマルチメディアデータを前記補助メモリにバッファーし、バッファーされたマルチメディアデータを符号化して主メモリに格納し、読出しモード時、主メモリに格納されたマルチメディアデータを復号化して前記補助メモリにバッファーし、バッファーされたマルチメディアデータをホスト装置側に出力するメモリ制御部とから構成される。
【選択図】図１

Description

本発明は、フュージョンメモリ装置及び方法（DEVICE AND METHOD FOR ACCESSING INFORMATION IN FUSION MEMORY）に関し、特に、情報を圧縮して格納し、格納された圧縮情報を圧縮解除して出力することができるフュージョンメモリ装置及び方法に関する。

フュージョンメモリ(fusion memory)とは、基本メモリ機能に他の特性のメモリ及び／またはロジック(logic)を一緒に集積して複合化したメモリを意味する。前記フュージョンメモリは、システム仕様に適合したソフトウェアも同時に提供できるメモリ(システムメモリ)として使用することができる。前記のようなフュージョンメモリは、メモリとロジックとの融合により一般メモリ機能の限界を超え、モバイル等のような機器の市場創出に大きく寄与するものと予想される。

現在の装置は、当該装置の固有機能以外に多様な機能が付加され、複合機器の形態へと発展している。例えば、携帯端末機は、基本的な通信機能以外にデジタル放送、カメラ、ＭＰ３プレーヤー、ブルートゥース(Bluetooth)機能等のような複合機能が搭載されている。したがって、前記携帯端末機は、前記のようなマルチメディアデータを処理するための多様な装置及びプログラムを備えなければならない。また、前記携帯端末機は、前記マルチメディアデータを処理するために符号化及び復号化機能を備えなければならない。

しかし、前記携帯端末機は、前記マルチメディアデータの符号化及び復号化をメイン制御部で動作するアプリケーション(application)で担当することにより、前記メイン制御部の負担が増加するという問題があった。また、前記マルチメディアデータを符号化及び復号化するときに必要なバッファーを外部メモリ(external RAM)から割り当てられて使用することによって、バッファーを多く使用するようになった。例えば、カメラが２Ｍｐｉｘｅｌの場合、前記カメラデータを符号化するときのバッファーの容量は２Ｍｐｉｘｅｌ＊２＝４Ｍｂｙｔｅｓが必要となる。

そこで、本発明の目的は、格納されるマルチメディアデータを符号化して格納することができるフュージョンメモリ装置及び方法を提供することにある。

本発明の他の目的は、実行時、符号化されたマルチメディアデータを復号化して出力することができるフュージョンメモリ装置及び方法を提供することにある。

本発明のさらに他の目的は、主メモリ、補助メモリ及びメモリ制御部から構成されているフュージョンメモリ装置から入力されるマルチメディアデータを符号化して主メモリに格納し、主メモリに格納されている符号化されたマルチメディアデータを復号化して出力することができる装置及び方法を提供することにある。

本発明の一局面に係るフュージョンメモリ装置は、フュージョンメモリ装置において、マルチメディアデータを格納する主メモリと、前記主メモリのマルチメディアデータをバッファーする補助メモリと、符号器及び復号器とを備え、書込みモード時、入力されるマルチメディアデータを前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータを符号化して前記主メモリに格納し、書込みモード時、前記主メモリに格納されたマルチメディアデータを復号化して前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータをホスト装置側に出力するメモリ制御部とからなる。本発明の他の一局面に係る主メモリ、補助メモリ、及び少なくとも一つの符号器及び／または復号器を備えるフュージョンメモリ装置のマルチメディアデータアクセス方法は、書込みモード時、入力されるデータストリームを分析して符号器を駆動し、入力されるマルチメディアデータを前記符号器を介して符号化して前記主メモリに格納するステップと、読出しモード時、符号化に係る復号器を駆動し、前記主メモリに格納されたマルチメディアデータを前記復号器を介して復号化して出力するステップとからなることを特徴とするフュージョンメモリ装置のマルチメディアデータアクセス方法である。

前述のように、本発明の実施例に係るマルチメディアメモリ装置は、マルチメディアデータを符号化及び復号化するための少なくとも一つの符号器及び／または復号器を内部に組み込む形態で構成し、メモリがホスト装置で実行するマルチメディアデータの符号化及び復号化の過程を、内部で自体的に実行することができ、ホスト装置の負荷を減らすことができるという利点がある。また、前記マルチメディアデータを符号化及び復号化するとき、メモリの内部に含まれている補助メモリを部分的バッファーとして使用することができるため、外部メモリの使用量を減らし、メモリを効率的に使用することができる。

以下、本発明の好ましい実施例について、詳細な説明が添付された図面を参照しながら説明する。図面中、同一構成に対しては、いずれの図においても同一符号を付している。

下記の説明において、メモリの種類、メモリの処理単位、符号化及び復号化処理単位等のような特定の詳細を記載し、本発明の十分な理解を図る。これらの特定詳細がなくても、また、これらの変形によっても本発明が容易に実施できるということは、この技術分野における通常の知識を有する者であれば自明なことである。

本発明の実施例における「フュージョンメモリ」とは、主メモリ以外に他の種類のメモリ、非メモリ及び／または特定のロジックを一つのチップに集積したメモリを意味する用語として使用される。本発明の実施例において、前記フュージョンメモリは、マルチメディアデータを格納するメモリになり得る。「マルチメディア」とは、メモリに格納される情報であり、イメージ、オーディオ、及び／またはデータファイル等である。「メモリ制御部」とは、本発明の実施例に係る前記マルチメディアデータを符号化及び復号化する機能を含め、前記フュージョンメモリ装置において、主メモリに前記マルチメディアデータを格納する動作及びリードする動作を制御する機能を行なう。ここで、前記「符号化及び復号化」とは、前記マルチメディアデータを圧縮する機能及び前記圧縮を解除する機能を含む用語として使用される。

本発明の実施例は、マルチメディア専用のフュージョンメモリ装置に関し、前記フュージョンメモリ装置にマルチメディアデータを符号化して主メモリに格納し、前記主メモリに格納されている符号化されたマルチメディアデータを復号化してロジックを追加する。前記のようなロジックを備えるフュージョンメモリ装置は、提供された特定のメモリスペースより多量のマルチメディアデータを格納及びロードすることができる。

そのために、本発明の実施例は、データの全ての符号化及び復号化をシステム制御部で動作するアプリケーションで担当するのではなく、マルチメディアデータに関しては、フュージョンメモリで直接行う。そのために、本発明の実施例に係るフュージョンメモリ装置は、内部の主制御部と連動する符号器及び復号器(built-in hardware device)がマルチメディアデータの符号化及び復号化を実行し、前記システムの制御部と、負荷を分散する。また、前記フュージョンメモリ装置が、マルチメディアデータを符号化及び復号化するときに必要なバッファーを外部メモリ(external RAM)から割り当てられて使用するのではなく、内部のメモリ(SRAM)を部分的に使用して(partially use)マルチメディアデータをバッファーする。したがって、本発明の実施例に係るフュージョンメモリ装置は、マルチメディアデータを符号化及び復号化するとき、外部メモリをバッファーとして使用しない。

前記マルチメディアデータは、ビデオ、オーディオ及び／または情報（文字データ等からなる）等がある。例えば、前記マルチメディアデータは、ＭＰ３、MPEG画像、H.264画像、WMV画像、WMA画像、デジタル放送(DVB, DMB, MediaFLO等)画像、JPEG画像、PNGイメージ等の多様な符号化及び復号化フォーマットを有するデータがある。ここで、前記フュージョンメモリ装置に入力されるマルチメディアデータは、符号化されたデータまたは符号化されていないデータ(coded data or raw data)である。例えば、ＭＰ３データは、符号化されたデータでとして、再生時に復号化されなければならないデータであり、カメラで撮影されたイメージは、符号化されていないデータとして、格納時に特定のフォーマットに符号化し、再生時には、これを復号化しなければならない。

本発明の実施例では、前記のような様々な形態のマルチメディアデータを符号化及び復号化できるコーデックをハードウェアの形態で前記フュージョンメモリ内に組み込ませ、前記コーデックが対応するマルチメディアデータの符号化及び復号化を直接実行し、これによってシステム制御部の負荷を減らすことができる。また、前記コーデックでマルチメディアデータを符号化及び復号化するとき、フュージョンメモリ内部のメモリをバッファーに使用することで外部メモリの使用量を減らすことができ、これによって、前記外部メモリの使用量を減らして空間の効率を高めることができる。

前記のような本発明の実施例におけるマルチメディアデータを格納するフュージョンメモリ装置は、マルチメディアデータを格納する主メモリと、前記主メモリのマルチメディアデータをバッファーする補助メモリと、符号器及び復号器とを備え、書込みモード時、入力されるマルチメディアデータを前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータを符号化して前記主メモリに格納し、読出しモード時、前記主メモリに格納されたマルチメディアデータを復号化して前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータをホスト装置側に出力するメモリ制御部からと構成される。

また、前記メモリ制御部は、前記マルチメディアデータを符号化する少なくとも一つの符号器と、復号化されたマルチメディアデータを復号化する少なくとも一つの復号器と、前記マルチメディアデータを分析して前記符号器及び復号器を選択するためのコーデック情報及びファイルアドレス情報を検出する情報検出器と、前記ファイルアドレス情報によって前記マルチメディアデータをアクセスするためのファイルシステム割当情報を発生するファイルシステム制御部と、前記情報検出器及びファイルシステム制御部の出力により、書込みモード時、前記符号化されたマルチメディアデータを前記主メモリに格納し、読出しモード時、前記主メモリの符号化されたデータを復号化して出力するコア制御部とから構成される。

ここで、前記コア制御部は、前記書込みモード時、前記コーデック情報によって符号器を駆動して前記主メモリを書込みモードで制御し、前記符号器で符号化されるマルチメディアデータを、前記ファイルシステム制御部によって設定される前記主メモリの位置に格納し、前記読出しモード時、前記コーデック情報によって復号器を駆動して前記主メモリを読出しモードで制御し、前記ファイルシステム制御部によって設定される前記主メモリのデータをリードして前記復号化されたデータを出力する。また、前記コア制御部は、書込みモード時、入力される前記マルチメディアデータを前記補助メモリにバッファーし、前記符号器を介して符号化されるマルチメディアデータを前記補助メモリにバッファーした上で前記主メモリに格納し、読出しモード時、前記主メモリでリードされるマルチメディアデータを前記復号器を介して復号化して前記補助メモリにバッファーした上で、外部に出力することができる。

前記のようにマルチメディアデータを格納するフュージョンメモリ装置において、前記符号器及び復号器は、ハードウェア的にフュージョンメモリのメモリ制御部内に組み込まれ、符号器及び復号器は、ビデオ符号器及び復号器、または、オーディオ符号器及び復号器にすることができ、または、ビデオ符号器／復号器及びオーディオ符号器／復号器を両方とも備えることもできる。

前記のように、本発明の実施例に係るマルチメディアフュージョンメモリ装置は、主メモリ、補助メモリ、及び少なくとも一つの符号器及び／または復号器を備え、前記のような構成を有するフュージョンメモリ装置のマルチメディアデータアクセス方法は、書込みモード時、入力されるデータストリームを分析して符号器を駆動し、入力されるマルチメディアデータを前記符号器を介して符号化して前記主メモリに格納するステップと、読出しモード時、符号化に係る復号器を駆動し、前記主メモリに格納されたマルチメディアデータを前記復号器を介して復号化して出力するステップとからなる。

前記マルチメディアデータを格納するステップは、入力される前記マルチメディアデータを前記補助メモリにバッファーするステップと、前記バッファーされたマルチメディアデータを符号化するステップと、前記符号化されたマルチメディアデータを前記主メモリに格納するステップとからなる。また、前記主メモリに格納するステップは、前記入力されるマルチメディアデータストリームからファイルシステムの割当情報を分析し、前記主メモリの格納位置を設定するステップをさらに備えることができる。

また、前記マルチメディアデータをリードするステップは、前記主メモリで符号化されたマルチメディアデータをリードするステップと、前記リードされたマルチメディアデータを復号化して前記補助メモリにバッファーするステップと、ホスト装置にこれを通報し、前記ホスト装置によって前記バッファーされた情報を出力するステップとからなる。

図１は、本発明の実施例に係るフュージョンメモリ装置の構成例を示す図である。前記フュージョンメモリ装置は、前記のように、マルチメディアデータを格納する主メモリ１３０と、補助メモリ１２０、非メモリ及び／またはロジック等を一つのチップに集積したメモリを意味する。ここで、前記ロジックは、単純なロジック、CPU、MPU、または、これらの結合形態から構成される。本発明の実施例では、メモリ制御部１１０が、マルチメディアデータを符号化及び復号化するコーデック１１５を備え、これをロジックに具現した場合を仮定して説明する。

前記フュージョンメモリ装置は、多様な形態があり、そのうちのひとつが、三星電子社製ｏｎｅＮＡＮＤメモリ(oneNAND memory)である。前記ｏｎｅＮＡＮＤメモリは、大容量メモリのＮＡＮＤフラッシュセルと、バッファー機能のＳラム(RAM)及びロジック回路を一つのチップに具現したメモリである。前記ｏｎｅＮＡＮＤメモリの特性は、大容量メモリであり、高速書込みといったＮＡＮＤフラッシュの長所と、高速読出しといったＮＯＲフラッシュの長所とを兼ね備えていることである。すなわち、大容量の前記ｏｎｅＮＡＮＤメモリの読出し及び書込み速度は、一般のＮＡＮＤフラッシュ及びＮＯＲフラッシュに比べて大幅に向上した。また、前記ｏｎｅＮＡＮＤメモリは、携帯端末機、コンピュータ、デジタルカメラ、デジタル放送受信機等の多様な製品に幅広く使用されると予想される。

本発明の実施例において、前記フュージョンメモリ装置は、前記ｏｎｅＮＡＮＤメモリの場合を仮定して説明する。すなわち、本発明の実施例では、前記フュージョンメモリのメモリ制御部１１０が、マルチメディアデータを符号化及び復号化するコーデック１１５を備え、前記主メモリ１３０を効率的に制御する装置及び方法を提案する。また、前記のように、フュージョンメモリのメモリ制御部１１０がコーデック１１５を備える本発明の実施例は、全てのフュージョンメモリに適用することができる。また、本発明の実施例では、前記フュージョンメモリ装置を使用するホスト装置は、携帯端末機と仮定して説明する。ここで、前記携帯端末機は、通信機能、マルチメディア機能等を実行できる装置にすることができる。

前記図１を参照すると、フュージョンメモリ１００は、前記のように主メモリ１３０、補助メモリ１２０及びメモリ制御部１１０から構成される。ここで、前記フュージョンメモリ１００がｏｎｅＮＡＮＤメモリであると、前記主メモリ１３０はＮＡＮＤフラッシュセル(NAND flash cell)にすることができ、補助メモリ１２０はＳＲＡＭにすることができ、メモリ制御部１１０はマルチメディアデータを符号化及び復号化するためのコーデック１１５を備えるロジックにすることができる。その場合、前記メモリ制御部１１０の機能は、前記フュージョンメモリ１００とつながる外部制御部（例えば、システム制御部）のソフトウェアで行うことができる。参照番号２１０は、システム制御部のソフトウェアの一部であり、フュージョンメモリの動作を制御するためのソフトウェアである。すなわち、前記メモリ制御部１１０の機能は、前記外部のメモリ制御ソフトウェア２１０によって実行することもできる。

前記主メモリ１３０は、ＮＡＮＤフラッシュセルから構成され、マルチメディアデータを格納する領域になり得る。補助メモリ１２０は、前記主メモリ１３０のバッファー機能を行う。メモリ制御部１１０は、入力されるマルチメディアデータを符号化した上で前記主メモリ１３０に格納し、また、前記主メモリ１３０に格納されている符号化されたデータを復号化して出力する。

前記のように、前記メモリ制御部１１０が符号化及び復号化するマルチメディアデータは、前記のようにイメージ（停止画像及び動画像）、オーディオ及び／またはデータ（ここでは、文字データにすることができる。：以下の説明では、前記データは情報という。）である。ここで、前記フュージョンメモリ１００を携帯端末機に使用する場合、前記メモリ制御部１１０がコーデック１１５を介して符号化及び復号化するマルチメディアデータは、以下のように設定することができる。

第一に、符号化されたデータを受信して格納する場合、前記コーデック１１５は復号器のみから構成される。例えば、ＭＰ３音源及びデジタル放送信号の場合、前記フュージョンメモリは符号化されたデータを受信する。このような場合、前記符号器は必要なくなる。したがって、このような場合、前記メモリ制御部１１０は、ＭＰ３復号器を備え、受信されるマルチメディアデータを前記主メモリ１３０にそのまま格納し、再生時には、前記格納された符号化データを元のデータに復号化して出力する。

第二に、前記符号化されていないデータを受信して格納する場合、前記コーデック１１５は符号器及び復号器から構成されたコーデックから構成される。例えば、カメラの場合、前記フュージョンメモリは符号化されていないイメージデータを受信する。このような場合、前記イメージデータを符号化するための符号器及び再生時にこのデータを復号化するための復号器を両方とも必要となる。したがって、前記メモリ制御部１１０は、前記カメラで生成されるイメージを符号化して前記主メモリ１３０に格納し、再生時には、前記格納された符号化イメージを復号器を介して復号化して出力する。

第三に、二つ以上のマルチメディアデータを受信して格納する場合、前記コーデック１１５は、ビデオコーデック（ビデオ符号器及びビデオ復号器）及びオーディオコーデック（オーディオ符号器及びオーディオ復号器）を備えなければならない。例えば、カメラを利用して動画像を撮影する場合、前記カメラで生成されるマルチメディアデータは、動画像イメージ及びオーディオから構成される。このような場合、前記メモリ制御部１１０は、前記カメラで発生されるイメージ及びオーディオを、それぞれビデオ符号器及びオーディオ符号器を介して符号化して主メモリ１３０に格納し、再生時には、前記主メモリ１３０に格納された符号化イメージ及びオーディオをそれぞれビデオ復号器及びオーディオ復号器を介して復号化して出力する。

前記のようにメモリ制御部１１０にコーデックを含ませて前記フュージョンメモリ１００を具現すると、前記フュージョンメモリ１００が自体的にマルチメディアデータを符号化及び復号化することにより、前記システム制御部の負荷を減らすことができ、それによって、システムの処理速度が向上するとともに前記主メモリ１３０の格納領域を効率的に使用することができる。

図２は、前記図１のような構成を有する本発明の実施例に係るフュージョンメモリ１００とホスト装置３００間の構成を示した図である。

前記図２を参照すると、ホスト装置３００は、ホストＣＰＵ３１０とホストメモリ３２０とを備える。ここで、前記ホスト装置３００は、前記のように携帯端末機にすることができる。その場合、前記ホストＣＰＵ３１０は、端末機制御部にすることができ、携帯端末機の全般の動作を制御する。また、前記ホストメモリ３２０はホスト装置３００の情報を格納する。また、前記ホストメモリ３２０は、ホスト装置のワーキングメモリ(working memory)を備え、前記ワーキングメモリは、前記フュージョンメモリ１００の外部メモリ(external RAM)にすることができる。また、ホストソフトウェアモジュール２００は、ホスト装置３００のソフトウェアであり、ホスト装置２００のアプリケーションを処理するアプリケーション２３０、前記フュージョンメモリ１００の動作を制御するメモリ制御ソフトウェア２１０及びフュージョンメモリ１００に格納されるマルチメディアデータの符号化及び復号化機能を制御する圧縮／解除ソフトウェア２２０等からなる。

前記図２のような構造において、フュージョンメモリ１００のメモリ制御部１１０は、内部に主メモリ１３０の情報を符号化して格納し、前記格納された符号化マルチメディアデータを復号化するコーデック１１５を備える。また、前記ホスト制御部３１０は、フュージョンメモリ１００のメモリ制御部１１０とアドレスライン、データライン及び命令語ラインへとつながり、メモリ制御ソフトウェア２１０は、各々の制御ソフトウェア、すなわち、符号化／復号化制御ソフトウェア２２０と連動し、前記フュージョンメモリ１００の当該アプリケーションの動作を制御する。そのとき、特定内容が変更される場合、前記アプリケーション２３０は、前記特定作業を全部行わず、メモリ制御部１１０及びメモリ制御ソフトウェア２１０が先に前記特定作業を行い、その後、該当するアプリケーションに結果をリターンする。すなわち、前記主メモリ１３０に格納するマルチメディアデータは、単純格納される形態ではなく、特定の形態に変化して格納することができる。ここで、前記特定の形態とは、ファイルシステム(embedded file system)にすることができる。

前記フュージョンメモリ１１０の主メモリ１３０は、前記のように、ＮＡＮＤフラッシュメモリにすることができる。前記ＮＡＮＤフラッシュメモリでは、ページ(page)は情報をアクセス(read及びwrite)する単位を表し、ブロック(block)は情報を削除する単位を表す。その場合、前記ＮＡＮＤフラッシュメモリにおけるページは５２８Ｂｙｔｅ以上の容量を有することができ、前記ブロックは３２ページ以上にすることができる。前記ＮＡＮＤフラッシュメモリは、情報を格納する前にデータを削除しなければならない。したがって、情報の格納時、前記メモリ制御部１１０は、前記主メモリ１３０の該当するアドレス領域をブロック単位で削除し(erase)、その後、ページ単位で情報をライト(write)する。

また、前記フュージョンメモリ１００の主メモリ１３０は、プログラム及びシステム情報を格納するシステム領域(system space)及びマルチメディアデータを格納するユーザー領域(user space)で区分される。その場合、前記ホスト制御部３２０は、前記主メモリ１３０のシステム領域の情報をＮＯＲインターフェース方法及びＮＡＮＤインターフェース方法でアクセスすることができる。そのとき、前記ＮＯＲインターフェース方法は、Ｂｙｔｅ単位で情報をアクセスし、ＮＡＮＤインターフェース方法は、前記のようにページ単位で情報をアクセスする。また、前記フュージョンメモリ１００は、マルチメディアデータをアクセスするとき、前記主メモリ１３０に格納されるマルチメディアデータを符号化し、前記格納されたマルチメディアデータを出力するときには、これを元のマルチメディアデータに復号化する。

図３は、本発明の実施例のように、フュージョンメモリ１００がマルチメディアデータを符号化して主メモリ１３０に格納し、前記符号化されたマルチメディアデータをアクセスして復号化した上で出力する動作を説明するための図である。前記フュージョンメモリ１００は、内部にロジックから構成された符号器４６０及び復号器４７０を備える。

前記図３を参照すると、前記フュージョンメモリ１００にマルチメディアデータを格納するとき、前記メモリ制御部１１０は、入力されるマルチメディアデータを符号化した上で前記主メモリ１３０のユーザー領域に格納し、前記格納されたマルチメディアデータの再生要求時、前記メモリ制御部１１０は、前記主メモリ１３０のユーザー領域に格納されたマルチメディアデータを復号化した上で出力する。すなわち、マルチメディアデータを格納するとき、前記フュージョンメモリ１００は、受信されるマルチメディアデータをすぐに主メモリ１３０のユーザー領域に格納するのではなく、メモリ制御部１１０の内部の符号器４６０を介して符号化した上で格納する。また、前記マルチメディアデータを再生するとき、前記主メモリ１３０でアクセスされる符号化されたマルチメディアデータを復号化して元のマルチメディアデータに復元した上で出力して再生する。

第一に、ホストメモリ３２０に格納されたマルチメディアデータ（ここでは、カメラ等のマルチメディア装置で生成されるマルチメディアデータにすることができる。その場合、前記マルチメディアデータは、符号化されたデータ(coded data)、または、符号化されていないデータ(raw data)にすることができる。）を前記主メモリ１３０に格納する場合、前記メモリ制御部１１０は、前記外部メモリ３２０に格納されたコード（前記図３では、２Ｍｂｙｔｅのコードの場合を仮定している。このような場合、前記ホスト装置につながっているカメラは２００万画素のイメージを生成する。）をアクセスした上で、符号器４６０を介して設定された方式で符号化し、前記符号化されたコードを前記主メモリ１３０のユーザー領域に格納する。

前記のように、マルチメディアデータの符号化ステップは、特定容量のマルチメディアデータが多様な形態のストリーム(input stream)として受信されると、前記主制御部１１０の内部に位置する符号器(一般的形態の符号器)が、内部の補助メモリ１２０を利用して符号化した上で、前記主メモリ１３０のユーザー領域に格納する。前記図３は、２Ｍｂｙｔｅの容量のマルチメディアデータを符号化して１００Ｋｂｙｔｅに変換した上で格納する例を図示している。

第二に、前記主メモリ１３０のユーザー領域に格納されたイメージを出力する場合、前記メモリ制御部１１０は、前記主メモリ１３０のシステム領域に格納している符号化されたマルチメディアデータをアクセスし、復号器４７０を介して復号化して元のイメージデータ（２Ｍｂｙｔｅ）に復元した上で表示モジュール３９０に出力する。ここで、前記表示モジュールは、マルチメディアデータの種類によって表示部(display module)及び／またはスピーカー(speaker)にすることができる。

前記のように、前記主メモリ１３０に格納されたマルチメディアデータの再生が要求されると、前記主制御部１１０の内部に位置している復号器（一般的形態の復号器）を使用して内部の補助メモリ１２０を介して復号化した上で特定の表示モジュールにて表示する。前記図３は、１００Ｋｂｙｔｅ単位で符号化されたマルチメディアデータを復号化して２Ｍｂｙｔｅ単位で表示する例を図示している。

前記図３における符号器４６０及び復号器４７０は、マルチメディアデータを符号化及び復号化するためのアルゴリズム(algorithm)を利用し、ハードウェアモジュールに設計して前記フュージョンメモリ１００の主制御部１１０の内部に設置する。そのとき、前記符号器及び復号器は、処理するマルチメディアの種類によって決定される。例えば、前記ホスト装置がＭＰ３プレーヤーであると、前記符号器及び復号器はＭＰ３復号器にすることができ、ＰＭＰ(Portable Multimedia Player)であると、前記符号器及び復号器はＭＰＥＧ(Moving Picture Experts Group)、または、Ｈ．２６４符号器及び復号器にすることができ、デジタル放送受信機(DMB: Digital Multimedia Broadcasting receiver, DVB: Digital Video Broadcasting receiver)であると、Ｈ．２６４復号器にすることができ、デジタルカメラであると、ＪＰＥＧ(Joint Photographic coding Experts Group)及び／またはＭＰＥＧ符号器及び復号器にすることができ、ＤＶＣ(Digital Video Camcorder, Digital Video Creator)であると、ＭＰＥＧ符号器及び復号器にすることができる。

また、一般的なマルチメディア装置は、オーディオ及びビデオデータを処理し、また、ビデオデータの場合、停止画像及び動画像データを処理することができる。したがって、前記符号器及び復号器は、オーディオ、停止画像及び動画像を処理することができる多数の符号器及び復号器から構成することもできる。また、動画像のように多様な符号化及び復号化方式を使用する場合、それに応じて、代表的に多く使用される方式の符号器及び復号器を複数個から構成して使用することもできる。

図４は、本発明の実施例に係るマルチメディアメモリ装置の内部構成を示した図である。

前記図４を参照すると、フュージョンメモリ１００は、前記のようにメモリ制御部１１０、補助メモリ１２０及び主メモリ１３０から構成される。ここで、前記主メモリ１３０は、コードを格納するシステム領域(system space)と、ユーザーデータを格納するユーザー領域(user space)とから構成される。

また、前記メモリ制御部１１０は、前記メモリ制御部１１０の全般の動作を制御するコア制御部(core controller)４１０、前記主メモリ１３０のユーザー領域に格納されるマルチメディアデータを特定の形態でアクセスするためのファイルシステム制御部(embedded file system controller)４２０と、エラー訂正コード(error correction code: ECC)を生成するエラー訂正制御部(ECC controller)４４０と、前記情報アクセスに該当するデータを検出する情報検出器(info detecter)４５０と、前記主メモリ１３０に格納されるマルチメディアデータを符号化する符号器４６０と、前記主メモリ１３０に格納されている符号化されたマルチメディアデータを復号化して復元する復号器４７０とから構成される。

図５は、前記図４のような構成を有するフュージョンメモリ１００とホスト装置３００間の関係を説明するための図である。

前記図５を参照すると、前記ホスト装置３００は、ホスト制御部３１０のホストメモリ３２０を備える。また、前記ホストメモリ３２０は、ホスト装置３００の情報を格納するメモリであり、前記ホスト装置のワーキングメモリ(working memory)として動作することができる。また、ホストソフトウェアモジュール２００は、前記フュージョンメモリ１００の動作を制御するメモリ制御ソフトウェア２１０を含む。ここで、前記ホストソフトウェアモジュール２００は、前記ホスト制御部３１０のソフトウェアモジュールであり、前記ホスト制御部３１０が前記フュージョンメモリ１００をアクセスするためのソフトウェアモジュールの構造を表す。

前記図４及び図５のような構成を有する装置における前記マルチメディアデータの格納及び出力動作を見ると、前記情報検出器４５０は、前記ホスト制御部３１０のメモリ制御ソフトウェアモジュール２１０から伝達されるアクセス情報から前記主メモリ１３０の情報をアクセスするためのアドレス変換及び符号化種類を決定する機能を行う。前記のような機能を実行する情報分析器４５０は、フラグ分析器(flag translator)及びアドレス変換機(address converter)４５５を備える。前記フラグ分析機能は、入力されるマルチメディアデータの制御情報(flag)を分析(translate)して各リクエストに応じた符号化フラグを前記メモリ制御部４１０に伝達する。そのとき、前記フラグは、前記主メモリ１３０のユーザー領域(user space; file system area)に格納されるマルチメディアデータの符号化を決定するフラグ(data.comp)等にすることができる。また、アドレス変換機は、前記ホスト制御部３１０から伝達されるアドレスを前記主メモリ１３０の当該領域のアドレスに変換する。そのとき、ユーザー領域のマルチメディアデータアクセスであると、前記アドレス変換機は、変換されたデータコマンドＣＭＤに対する信号に変換し、前記ファイルシステム制御部４２０に伝達する。ここで、前記ＣＭＤとは、読出し／書込みに対するコマンドを意味する。前記マルチメディアデータＣＭＤに対する信号を入力するファイルシステム制御部４２０は、前記コア制御部４１０にファイルシステムのファイルが位置している実際位置情報を伝達する。

すると、前記コア制御部４１０は、情報検出器４５０の出力によってアクセスされるマルチメディアデータの符号化／復号化方法を決定し、また、前記情報検出器４５０及びファイルシステム制御部４２０の出力によって、前記主メモリ１３０に前記マルチメディアデータをアクセスする位置を決定する。それから、前記コア制御部４１０は、前記マルチメディアデータを格納するとき、前記決定された符号化方法によって前記符号器４６０を制御して入力されるマルチメディアデータを圧縮し、前記変換されたアドレス情報に該当する主メモリ１３０のユーザー領域の該当する位置に前記符号化されたマルチメディアデータをライトするように制御する。また、前記コア制御部４１０は、前記マルチメディアデータのリード時、前記主メモリ１３０のユーザー領域で前記変換されたアドレス情報に該当する位置に格納されたマルチメディアデータをアクセスした上で、前記復号化方法によって前記復号器４７０を制御して符号化されたマルチメディアデータを復号化した上で出力する。

図６は、前記フュージョンメモリ１００のメモリ制御部１１０が、前記主メモリ１３０のマルチメディアデータを符号化して格納するステップを説明するための図であり、図７は、前記フュージョンメモリ１００のメモリ制御部１１０が、前記主メモリ１３０に格納されたマルチメディアデータを復号化して出力するステップを説明するための図である。

前記図６を参照しながら、前記主メモリ１３０のユーザー領域にマルチメディアデータを格納するステップを説明する。

前記主メモリ１３０のユーザー領域にマルチメディアデータを格納する場合、前記ホスト制御部３１０は、ホストメモリ３２０から格納しようとするマルチメディアデータを伝達される。そのときの前記マルチメディアデータは、ビデオストリーム(video stream)、カメライメージストリーム(camera raw image stream)、音楽ストリーム(music stream)等の基礎データであり、前記ホスト制御部３１０は、前記マルチメディアデータを情報検出器４５０に伝達する。

すると、前記情報検出器４５０は、入力されるマルチメディアデータストリームを分析し、該当するマルチメディアデータに適合した符号器または復号器を駆動できるように、制御情報を前記コア制御部４１０に伝達する。すると、コア制御部４１０は、前記情報検出器４５０から伝達されるマルチメディアデータの制御情報（ヘッダー(header)情報）を確認して該当する機能を駆動する。そのとき、前記マルチメディアデータを格納する機能であると、前記コア制御部４１０は符号器４６０を駆動する。それから、前記コア制御部４１０は、前記マルチメディアデータを補助メモリ１２０に伝達してバッファーし、符号器４６０は、符号化するデータの容量分だけ(partial encoding)マルチメディアデータをアクセスして符号化した上で、前記補助メモリ１２０にバッファーする。そのとき、前記コア制御部４１０は、前記主メモリ１３０に格納するためのファイルシステム情報を待機させ、前記ファイルシステム制御部４２０は、ファイルシステムの割当情報(file system allocation information)を確認して前記コア制御部４１０に伝達する。前記ファイルシステム情報を受信すると、前記コア制御部４１０は、前記主メモリにライトコマンドを出力し、前記バッファーされて符号化されたマルチメディアデータを前記主メモリ１３０の当該位置に格納する。すると、前記主メモリ１３０は、前記補助メモリ１２０から出力される符号化されたマルチメディアデータをユーザー領域の当該位置に格納する。前記主メモリ１３０にマルチメディアデータが格納されると、ＥＣＣ制御部４４０は、前記格納されたマルチメディアデータの正常であるかを判断してコア制御部４１０に伝達し、前記コア制御部４１０は、正常であると、前記マルチメディアデータの格納完了情報をファイルシステム制御部４２０に伝達してから次の動作を行う。

前記のような動作を繰り返し、前記フュージョンメモリ１００のメモリ制御部１１０は、前記ホスト装置３００から入力されるマルチメディアデータを符号化して前記主メモリ１３０のユーザー領域にライトする。

前記図７を参照しながら、前記主メモリ１３０のユーザー領域に格納されたマルチメディアデータをリードするステップを説明する。

前記図７を参照すると、前記ホスト制御部３１０における前記主メモリ１３０のユーザー領域に格納されたマルチメディアデータをリードするための制御情報を前記情報検出器４５０に伝達すると、前記情報検出器４５０は、前記マルチメディアデータをリードするための前記主メモリ１３０の位置及びマルチメディアデータの符号化フラグを検出して前記ファイルシステム４２０に伝達する。すると、前記ファイルシステム制御部４２０は、これを前記コア制御部４１０に伝達し、前記コア制御部４１０は、前記伝達されるアドレスを前記ユーザー領域のマルチメディアデータが格納された位置にマップ(mapping)して、前記主メモリ１３０の位置を決定し、前記マルチメディアデータをリードするためのコマンドを発生する。そのとき、ＥＣＣ制御部４４０は、前記主メモリ１３０からＥＣＣを読出してＥＣＣ情報を生成し、正常であると、前記コア制御部４１０にこれを通報する。すると、前記コア制御部４１０は、前記復号器４７０に符号化されたマルチメディアデータを復号化するための復号化方法を設定し、前記補助メモリ１２０は、前記コア制御部４１０の制御下で前記主メモリ１３０のユーザー領域でリードされる符号化されたマルチメディアデータをバッファーする。それから、前記復号器４７０は、前記補助メモリ１２０にバッファーされたマルチメディアデータを復号化して前記補助メモリ１２０にバッファーし、復号化完了時、前記コア制御部４１０にこれを通報する。すると、前記コア制御部４１０の制御下で前記ファイルシステム制御部４２０は、前記マルチメディアデータをホストメモリ３２０に格納するように制御する。

本発明は、図面に示された一実施例を参考にして説明したが、これは例示に過ぎず、この分野における通常の知識を有する者であれば、これらから様々な変形及び実施例の変更が可能であることは明白である。また、このような変形は、本発明の技術的保護範囲内にあるものであり、したがって、本発明の技術的保護範囲は、添付した特許請求範囲の技術的思想によって決められるべきである。

本発明の実施例におけるマルチメディアデータを格納するフュージョンメモリ装置の構成を示す図面。図１のような構成を有する本発明の実施例に係るフュージョンメモリとホスト装置間の構成を示す図面。本発明の実施例におけるフュージョンメモリがマルチメディアデータを符号化して主メモリに格納し、前記符号化されたマルチメディアデータをアクセスして復号化した上で出力する動作を説明するための図面。本発明の実施例に係るマルチメディアフュージョンメモリ装置の内部構成を示す図面。図４のような構成を有するフュージョンメモリとホスト装置間の関係を説明するための図面。フュージョンメモリのメモリ制御部が、主メモリにマルチメディアデータを符号化して格納するステップを説明するための図面。フュージョンメモリのメモリ制御部が、前記主メモリに格納されたマルチメディアデータを復号化して出力するステップを説明するための図面。

符号の説明

１００フュージョンメモリ
１１０メモリ制御部
１１５コーデック
１２０補助メモリ
１３０主メモリ
２１０メモリ制御ソフトウェア

Claims

フュージョンメモリ装置において、
マルチメディアデータを格納する主メモリと、
前記主メモリのマルチメディアデータをバッファーする補助メモリと、
符号器及び復号器を備え、書込みモード時、入力されるマルチメディアデータを前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータを符号化して前記主メモリに格納し、読出しモード時、前記主メモリに格納されたマルチメディアデータを復号化して前記補助メモリにバッファーし、前記バッファーされたマルチメディアデータをホスト装置側に出力するメモリ制御部と、
から構成されていることを特徴とするマルチメディアフュージョンメモリ装置。
前記メモリ制御部が、
書込みモードにおいて、前記補助メモリにバッファーされた前記マルチメディアデータを符号化する少なくとも一つの符号器と、
読出しモードにおいて、前記補助メモリにバッファーされたマルチメディアデータを復号化する少なくとも一つの復号器と、
前記マルチメディアデータ復号器からコーデック情報及びファイルアドレス情報を検出する情報検出器と、
前記ファイルアドレス情報によって前記マルチメディアデータをアクセスするためのファイルシステム割当情報を発生するファイルシステム制御部と、
前記情報検出機及びファイルシステム制御部の出力によって、書込みモード時、前記符号化されたマルチメディアデータを前記主メモリに格納し、読出しモード時、前記主メモリの符号化されたデータを復号化して出力するコア制御部と、
から構成されていることを特徴とする請求項１に記載のマルチメディアフュージョンメモリ装置。
前記コア制御部が、
前記書込みモード時、前記コーデック情報によって符号器を駆動し、前記主メモリを書込みモードで制御し、前記符号器で符号化されるマルチメディアデータを前記ファイルシステム制御部によって設定される前記主メモリの位置に格納し、前記読出しモード時、前記コーデック情報によって復号器を駆動して前記主メモリを読出しモードで制御し、前記ファイルシステム制御部によって設定される前記主メモリのデータをリードし、前記復号化されたデータを出力するコア制御部から構成されていることを特徴とする請求項２に記載のマルチメディアフュージョンメモリ装置。
前記コア制御部は、書込みモード時、入力される前記マルチメディアデータを前記補助メモリにバッファーし、前記符号器を介して符号化されるマルチメディアデータを前記補助メモリにバッファーした上で前記主メモリに格納し、読出しモード時、前記主メモリでリードされるマルチメディアデータを前記復号器を介して復号化し、前記補助メモリにバッファーした上で、外部に出力することを特徴とする請求項３に記載のマルチメディアフュージョンメモリ装置。
前記符号器及び復号器は、ハードウェア的にフュージョンメモリのメモリ制御部内に組み込まれ、ビデオ符号器及び復号器であることを特徴とする請求項４に記載のマルチメディアフュージョンメモリ装置。
前記符号器及び復号器は、ハードウェア的にフュージョンメモリのメモリ制御部内に組み込まれ、オーディオ符号器及び復号器であることを特徴とする請求項４に記載のマルチメディアフュージョンメモリ装置。
前記符号器及び復号器は、ハードウェア的にフュージョンメモリのメモリ制御部内に組み込まれ、ビデオ符号器及び復号器と、オーディオ符号器及び復号器と、
から構成されていることを特徴とする請求項４に記載のマルチメディアフュージョンメモリ装置。
主メモリ、補助メモリ、及び少なくとも一つの符号器及び／または復号器を備えるフュージョンメモリ装置のマルチメディアデータアクセス方法において、
書込みモード時、入力されるデータストリームを分析して符号器を駆動し、入力されるマルチメディアデータを前記符号器を介して符号化して、前記主メモリに格納するステップと、
読出しモード時、符号化に係る復号器を駆動し、前記主メモリに格納されたマルチメディアデータを前記復号器を介して復号化して出力するステップと、
からなることを特徴とするフュージョンメモリ装置のマルチメディアデータアクセス方法。
前記マルチメディアデータを格納するステップが、
入力される前記マルチメディアデータを前記補助メモリにバッファーするステップと、
前記バッファーされたマルチメディアデータを符号化するステップと、
前記符号化されたマルチメディアデータを前記主メモリに格納するステップと、
からなることを特徴とする請求項８に記載のフュージョンメモリ装置の情報格納方法。
前記主メモリに格納するステップが、
前記入力されるマルチメディアデータストリームからファイルシステムの割当情報を分析し、前記主メモリの格納位置を設定するステップをさらに備えることを特徴とする請求項９に記載のフュージョンメモリ装置のマルチメディアデータアクセス方法。
前記マルチメディアデータをリードするステップが、
前記主メモリで符号化されたマルチメディアデータをリードするステップと、
前記リードされたマルチメディアデータを復号化して前記補助メモリにバッファーするステップと、
ホスト装置にこれを通報し、前記ホスト装置によって前記バッファーされた情報を出力するステップと、
からなることを特徴とする請求項８に記載のフュージョンメモリ装置のマルチメディアデータアクセス方法。