JP2010097311A - 半導体装置及び半導体集積回路 - Google Patents

Abstract

【課題】メモリーアクセスのバストラフィックを大幅拡張するとともに、複数タスクのメモリーアクセスの自由度を向上し、入出力装置に対する処理の全体的な効率を高める。
【解決手段】メモリー１１０及び１１１に独立してアクセス可能な半導体装置１００であって、互いに独立してメモリー１１０及び１１１に対するメモリーアクセス要求を発行し、所定の処理を行うタスク処理部１０３及び１０４と、メモリー１１０及び１１１のそれぞれに対応し、タスク処理部１０３及び１０４からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続するメモリー制御部１０１及び１０２とを備える。
【選択図】図１

Description

本発明は、半導体装置及び半導体集積回路に関し、特に、複数のメモリーとの間でデータの転送を行いながら、複数の処理を並列動作する半導体装置及び半導体集積回路に関するものである。

近年、超高速出力センサーと専用画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）とを用いて、超高画素な高速連写機能、又は、毎秒６０フレームを越えるハイスピード撮影機能とスーパースロー再生機能とを標準搭載したユニークなデジタルカメラが商品化されてきている。このようなハイスピード撮影などの高速に動作する新たな機能を実現するためには、画像及びデータ処理のメモリーアクセスのバストラフィックを大幅拡張するとともに複数タスクのメモリーアクセスの自由度を向上する必要がある。すなわち、入出力装置に対する処理の全体的な効率を上げ高速アプリケーションを実現する画像処理を実施する必要が出てきている。

高速に動作する新たな機能を１つの専用画像処理ＬＳＩで実施する場合は、メモリーアクセスにより複数の処理を実施する際、１つのメモリーに対してアクセス要求（メモリーアクセス要求とも記載）の調停を行いながら、複数の処理（タスク処理）を並列動作で実行する（マルチタスク処理を行う）方法が現在主流となっている。また、メモリーアクセスのバストラフィックを拡張する方法としては、通常、メモリーアクセスのクロックスピードをあげるアプローチ及びデータバス幅の拡張などが一般的である。

また、画像処理を実現する半導体集積回路においては、プロセスの微細化展開とあわせて、高速・低電圧・低消費電力で動作が可能な要素技術開発が求められている。さらに、新たな機能を追加するために入出力部の増加が予想され、必要となる半導体集積回路上の入出力部の実装においてもチップの周辺以外でのレイアウトによる多ピンでかつ小面積な半導体集積回路の実現、及び、マルチチップを１パッケージに実装する技術も重要となってきている。

従来の一般的な画像記録再生装置では、撮影した画像を記録し、また記録された画像を再生するため、Ａ／Ｄ変換された画像データに対して、メモリー制御部を介した基本的な複数のタスク処理として、前処理、画像信号処理、表示処理、及び、メディアへの記録処理が行われる。これらのタスク処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）からのコマンドに従って、メモリー制御部を介して、処理途中の画像を一時的に記憶する画像メモリーに対するアクセス処理を行うことで実行される。このとき上述の複数のタスク処理は見かけ上同時に実行する、いわゆるマルチタスクで制御を行っている。

このようにマルチタスクで制御を行っている時に、異なるタスクが共通の入出力装置（例えば、メモリー制御部）にアクセスしようする場合、最も早くメモリー制御部にアクセスしたタスクがメモリーアクセス処理を実行し、その処理が終了するまで専有する。後から入出力装置にアクセスしようとしたタスクは、先にアクセスしたタスクのメモリーアクセス処理が終了し、メモリーアクセスのトラフィックが空き状態になった後、メモリーアクセス処理を行っていた。

上記のような入出力装置へのアクセス方法では、緊急性の高いタスクが入出力装置へのアクセスを要求しても、先にアクセスしているタスクがある場合にはそのタスクによる入出力装置へのアクセスが終了するまで待たなければならない。このため、緊急性の高いタスク（例えば、ユーザーが優先的に行いたい処理など）が待たされてしまうという問題があった。

上記問題点に対し、特許文献１には、優先レベルの低いタスクの中にスリープを入れ、スリープ中のタスクは処理の順番が回ってきたときに処理を行わずにスキップする、又は、共通のデバイスにアクセスする１回の時間を短縮するなどの技術が記載されている。これにより、緊急性の高いタスクが優先的に共通のデバイスに対する処理を行うことができる。

また、特許文献２には、優先順位が高いタスクには、データ量が多い処理単位を割り当て、優先順位が低いタスクには、データ量が少ない処理単位を割り当て、処理単位毎にタスクを切り換えて実行する技術が記載されている。

図７は、特許文献２に記載された画像処理装置４００の構成を示すブロック図である。同図に示す画像処理装置４００では、メモリー４０１は、Ａ／Ｄ変換器４０３から出力される画像データを記録媒体４０４に書き込むために一時的に記憶している。また、メモリー４０１は、記録媒体４０４から読み出された画像データを画像表示部４０５に表示させるために一時的に記憶している。

図７の画像処理装置４００では、複数のタスク処理として、例えば、メモリー４０１から記録媒体４０４に画像データを書き込む処理（書き込み処理）と、記録媒体４０４からメモリー４０１に画像データを読み出す処理（読み出し処理）とが実行される。メモリー制御部４０２がいずれの処理の優先度が高いかを判断し、優先度に応じて処理単位を各処理に割り当て、処理単位毎に各処理を実行する。これにより、優先度が高い処理を優先的に行うと共に、処理の全体的な効率を高めることができる。

また、非特許文献１には、高速に動作する新たな機能を１つの専用画像処理ＬＳＩで実施せず、複数のタスクを２つ以上の画像処理ＬＳＩに振り分けて実現する技術が記載されている。当該技術では、高速アプリケーションを実現するため、専用の大容量ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を実装するとともに、画像処理の前処理と後処理とで２つの専用画像処理ＬＳＩを用いて処理の役割分担を行っている。

以上のように、特許文献１及び特許文献２に記載の技術では、メモリーアクセス要求の調停を優先度などに応じて制御することで、メモリー制御部の処理の全体的な効率を高めることができる。また、非特許文献１に記載の技術では、２つ以上の専用画像処理ＬＳＩを用いて画像処理を実行することで、処理を分散させることができ、処理の効率を高めることができる。
特開平１０−２８３２０４号公報 特開２００６−８７０６９号公報 ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００８．４．２１ ｐ．１２〜ｐ．１３

しかしながら、上記従来技術では、以下のような課題がある。
まず、特許文献１及び特許文献２に記載された技術では、より大きなデータを高速に処理する場合にはメモリーアクセスのバストラフィックの絶対容量が不足するという課題がある。

具体的には、特許文献１には、限られたメモリーバストラフィックを効率よく使用する方法として、優先レベルに基づいて１回のアクセス時間とスリープ時間とを決定する技術が記載されているが、このような制御によれば、優先レベルの高いタスクが共通デバイスへのアクセスを要求しておらず、優先レベルの低いタスクのみが共通デバイスへのアクセスを要求している場合に、全てのタスクがスリープになる時間が発生してしまうことがある。この様な場合には共通デバイスにいずれのタスクからもアクセスが行われないために、処理効率が悪くなってしまう。

また、ある時点における複数のタスク間のアクセス時間とスリープ時間とが高い処理効率を実現していたとしても、複数のタスクの内の、例えば、いずれか１つが終了した場合に、同じアクセス時間とスリープ時間とが継続されてしまう。このため、特に優先レベルの高いタスクが終了した場合には、処理を継続している優先レベルの低いタスク全てがスリープとなる時間が生じることがあり、処理効率が悪くなってしまう。

さらには、複数のタスクが共通デバイスにアクセスしているときに、更に優先レベルが低いタスクが追加された場合には、結果的に優先レベルの低いタスクが全てスリープとなる時間が発生せず、複数のタスクが設定されたアクセス時間ずつ単に順番に処理されてしまい、優先レベルの高いタスクの処理に時間がかかってしまうことがある。

また、特許文献２には、優先度に応じてタスクごとに、大きさの異なる処理単位を割り当て、各タスクを切り換えながら並列に処理する技術が記載されており、特許文献１の問題点のいくつかは解決することができる。しかしながら、特許文献１と同様に、特許文献２に記載の技術は、メモリー制御部の処理効率を高める技術であって、メモリーアクセスのバストラフィックの絶対容量の不足を解決する技術ではない。

このように、特許文献１又は特許文献２に記載された技術を用いて、メモリー制御部の処理の効率を高めたとしても、バストラフィックの絶対容量の不足は解消されていないので、超高画素の高速連写により得られた画像データなどの大容量のデータを高速に処理しなければならない場合には、要求される処理速度で処理を行うことができない。

確かに、特許文献１と特許文献２とに示すバストラフィックの効率的な使用技術は、センサーの画素が任意の画素数以下の場合には有用である。しかしながら、今後は、超高画素センサーを用いたハイスピード撮影などの高速に動作する新たな機能を実現したいという要求に応じなければならない。この要求を実現する際には、特許文献１及び特許文献２に記載されたように、メモリー制御部の処理効率を高めるだけでは不十分であり、画像及びデータ処理のメモリーアクセスのバストラフィックの絶対容量が不足してしまう。

また、非特許文献１では、専用の大容量ＤＲＡＭを実装するとともに、複数のタスクを２つ以上の画像処理ＬＳＩに振り分けて実現する技術が記載されているが、ＬＳＩ間の大容量データ転送の発生や、機能の重複などが想定され、消費電力、コスト、及び、実装面積の観点で最適な手段ではなく、改善の余地が随所にある。

そこで、本発明は、このような事情に鑑みてなされたもので、メモリーアクセスのバストラフィックを大幅拡張するとともに、複数タスクのメモリーアクセスの自由度を向上し、入出力装置に対する処理の全体的な効率を高めることのできる半導体装置及び集積回路を提供することを目的とする。

上記従来技術の課題を解決するため、本発明の半導体装置は、複数のメモリーに独立してアクセス可能な半導体装置であって、半導体基板と、前記半導体基板上に形成され、互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、前記半導体基板上に形成され、前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備える。

これにより、複数のメモリー制御部を備えることで、メモリーとの間のバストラフィックを大幅に拡張することができる。また、複数のタスク処理部は、互いに独立して複数のメモリー制御部を介して複数のメモリーにアクセスすることができる、すなわち、任意に接続するメモリー制御部を選択することができるので、メモリーアクセスの自由度を高めることができる。

また、前記複数のタスク処理部は、外部から入力される第１画像データ、又は、前記複数のメモリーの少なくとも１つに記憶された第２画像データを処理する画像処理部と、前記第１画像データ、前記第２画像データ、又は、前記画像処理部による処理後の画像データのサイズを変更する圧縮伸張処理部と、前記第１画像データ、前記第２画像データ、又は、前記画像処理部若しくは前記圧縮伸張処理部による処理後の画像データを表示装置に表示させるための処理を行う表示処理部と、前記画像処理部、前記圧縮伸張処理部及び前記表示処理部の少なくとも１つを制御するプロセッサ処理部との少なくとも１つを含んでもよい。

これにより、より高速に大量のデータを処理することが求められている画像処理を高速化することができる。

また、前記半導体装置は、さらに、前記半導体基板上に形成され、前記複数のタスク処理部のそれぞれと、前記複数のメモリー制御部のそれぞれとを接続するマルチポートインタフェース部を備えてもよい。

これにより、複数のタスク処理部と複数のメモリー制御部との接続関係を容易に変更することができる。

また、前記マルチポートインタフェース部は、前記複数のタスク処理部のそれぞれへの出力端子と、前記複数のタスク処理部のそれぞれからの入力端子と、前記複数のメモリー制御部のそれぞれへの出力端子と、前記複数のメモリー制御部のそれぞれからの入力端子とを有してもよい。

また、前記マルチポートインタフェース部は、前記複数のタスク処理部の１つと前記複数のメモリー制御部の１つとを接続し、接続したタスク処理部から入力される入力データを、接続したメモリー制御部に出力してもよい。

また、前記マルチポートインタフェース部は、前記複数のタスク処理部の１つと前記複数のメモリー制御部のうち２つ以上とを接続し、接続したタスク処理部から入力される入力データを、接続した２つ以上のメモリー制御部に並列出力してもよい。

また、前記マルチポートインタフェース部は、前記複数のメモリー制御部の１つと前記複数のタスク処理部の１つとを接続し、接続した複数のメモリー制御部から入力される入力データを、接続したタスク処理部に出力してもよい。

また、前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、それぞれに予め定められたメモリー制御部を介して当該メモリー制御部に対応するメモリー空間との間でデータの転送を行ってもよい。

これにより、タスク処理部ごとに、接続するメモリー制御部を予め定めておくことで、同時に時間制限のある複数のタスクを動作させる際、メモリーアクセストラフィックの分散処理と分離処理とが容易に管理できる。

また、前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、それぞれが行う処理の種類に応じて、それぞれのデータの読み出し先のメモリーと書き込み先のメモリーとを前記複数のメモリーの中から選択し、選択したメモリーとの間でデータの転送を行ってもよい。

これにより、処理の種類に応じて接続するメモリーを選択するので、同時に時間制限のある複数のタスクを動作させる際、メモリーアクセストラフィックの分散処理と分離処理とが容易に管理できる。例えば、画像データの処理を行うタスク処理部は、第１メモリーと接続し、画像のリサイズ処理を行うタスク処理部は、第２メモリーと接続するといったように、処理の種類に応じて接続するメモリーを選択すればよい。

また、前記複数のタスク処理部はそれぞれ、同時に時間制限のある複数の処理を行う場合、前記複数のメモリー制御部のアクセス状況を監視し、アクセスの空きの割合が多いメモリー制御部を選択し、選択したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行ってもよい。

これにより、アクセス状況に応じて接続するメモリー制御部を選択するので、同時に時間制限のある複数のタスクを動作させる際、メモリーアクセストラフィックの分散処理と分離処理とが容易に管理できる。例えば、メモリーアクセスの空きがある閾値より大きい場合は、第１メモリー制御部と接続し、当該閾値より小さい場合は、第２メモリー制御部と接続するといったように、メモリーアクセスの空きの割合に応じて接続するメモリー制御部を選択すればよい。

また、前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、メモリーアクセス処理が少ない場合は、前記複数のメモリー制御部の１つのみを選択し、選択したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行い、前記複数のメモリー制御部のうち、前記複数のタスク処理部によって選択されたメモリー制御部以外のメモリー制御部は、スリープ動作にしてもよい。

これにより、アクセス処理が少ない場合は、１つのメモリー制御部における処理の集中動作として、他のメモリー制御部をスリープ動作にすることができる。よって、省電力化を図ることができる。

また、前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、１つのメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行い、さらに、他のメモリー制御部を介して異なるメモリーとの間でデータの転送を行ってもよい。

これにより、必要に応じて他のメモリー制御部を介して他のメモリーにアクセスすることもできるので、システムを拡張動作させることができる。

また、前記複数のタスク処理部の１つは、他のタスク処理部が行う処理より優先順位が高い処理を行う場合、前記複数のメモリー制御部の１つを専有し、専有したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行ってもよい。

これにより、１つのタスク処理部が、他のタスク処理部が行う処理より優先順位の高い処理を行う場合、メモリー制御部の１つを専有するので、他の処理部からの割り込みによる調停動作を必要としないので、高速に処理を行うことができる。これは、複数のＣＰＵを搭載してネットワークプロトコル処理、又は、ソフトグラフィック処理などのプロセッサ処理を実行する場合に特に有効である。

また、本発明の半導体集積回路は、複数のメモリーに独立してアクセス可能な半導体集積回路であって、半導体基板と、前記半導体基板上に形成され、互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、前記半導体基板上に形成され、前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備える。

これにより、複数のメモリー制御部を備えることで、メモリーとの間のバストラフィックを大幅に拡張することができる。また、複数のタスク処理部は、互いに独立して複数のメモリー制御部を介して複数のメモリーにアクセスする、すなわち、並列動作することができるので、メモリーアクセスの自由度を高めることができる。

また、前記半導体集積回路は、前記複数のメモリーの１つを当該半導体集積回路のチップ内部に搭載してもよい。

また、前記半導体集積回路は、前記複数のメモリーの１つと共に、同一のパッケージ内部に混載されてもよい。

また、前記半導体集積回路は、前記複数のメモリーである外部の汎用メモリーとの間でデータを転送してもよい。

これにより、外部の汎用メモリーに独立にアクセスすることができるので、現状のシステムプラットホームとの親和性を充分に図ることで、過去の設計資産を有効に活用することができる。

また、本発明の撮像装置は、被写体からの光を撮像することで画像データを生成する撮像部と、前記撮像部によって生成された画像データを記憶する複数のメモリーと、互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備え、前記複数のタスク処理部は、前記撮像部によって生成された画像データ、又は、前記複数のメモリーの少なくとも１つに記憶された画像データを処理する画像処理部と、前記第１画像データ、前記第２画像データ、又は、前記画像処理部による処理後の画像データのサイズを変更する圧縮伸張処理部と、前記第１画像データ、前記第２画像データ、又は、前記画像処理部若しくは前記圧縮伸張処理部による処理後の画像データを表示装置に表示させるための処理を行う表示処理部と、前記画像処理部、前記圧縮伸張処理部及び前記表示処理部の少なくとも１つを制御するプロセッサ処理部との少なくとも１つを含む。

これにより、撮像により得られた画像を高速に処理することができるので、高画素の高速連写機能、及び、ハイスピード撮影機能などを実現することができる。

本発明の半導体装置及び半導体集積回路によれば、画像及びデータ処理のメモリーアクセスのバストラフィックを大幅拡張するとともに、複数タスクのメモリーアクセスの自由度を向上し、メモリーアクセス処理の全体的な効率を上げて高速アプリケーションを実現することができる。

以下、添付図面に従って、本発明の半導体装置及び半導体集積回路の好ましい実施の形態について詳細に説明する。本発明の半導体装置及び半導体集積回路は、撮影により得られた画像データを記録、及び、再生する画像記録再生装置に実装される。

図１は、本実施の形態の半導体装置１００の基本的な構成を示すブロック図である。同図に示す半導体装置１００は、メモリー制御部１０１及び１０２と、タスク処理部１０３及び１０４と、マルチポートインタフェース１０５及び１０６とを半導体基板（図示せず）上に備える。この半導体装置１００は、メモリー１１０及び１１１にアクセスし、データの読み書きを行いながら複数の処理を行う。なお、メモリー１１０及び１１１の少なくとも１つは、同一の半導体基板上に形成されていてもよい。

メモリー制御部１０１及び１０２はそれぞれ、外部の２つのメモリー１１０及び１１１のそれぞれに対応するように備えられ、対応するメモリー１１０又は１１１に互いに独立してアクセスすることができる。例えば、メモリー制御部１０１は、タスク処理部１０３及び１０４からのアクセス要求を調停し、調停されたアクセス要求に従って、メモリー１１０からデータを読み出し、又は、メモリー１１０へデータを書き込む。メモリー制御部１０２は、同様にして、メモリー１１１からデータを読み出し、又は、メモリー１１１へデータを書き込む。これらのアクセス処理は互いに独立して実行される。

タスク処理部１０３及び１０４はそれぞれ、同時に動作可能な画像及びデータ処理を行う。具体的には、タスク処理部１０３及び１０４のそれぞれは、複数のメモリー１１０及び１１１に対するメモリーアクセス要求を発行することで、各メモリーとの間でデータを転送する。タスク処理部１０３及び１０４は、マルチポートインタフェース１０５及び１０６を介して２つのメモリー１１０及び１１１に、任意にデータの転送を行う。タスク処理部１０３及び１０４が、どのような場合にどのメモリーにアクセスするかは、具体例を用いて後述する。

マルチポートインタフェース１０５及び１０６は、タスク処理部１０３及び１０４から出力されるアクセス要求を、メモリー１１０及び１１１のいずれに対するアクセス要求であるかに応じて、対応するメモリー制御部１０１又は１０２に出力する。マルチポートインタフェース１０５及び１０６は、２つのメモリーに独立にアクセスするために、独立して動作可能である。

マルチポートインタフェース１０５及び１０６は、複数のタスク処理部ごとの入力端子と出力端子とを備え、さらに、複数のタスク処理部ごとに、複数のメモリー制御部ごとの入力端子と出力端子とを備える。具体的には、マルチポートインタフェース１０５及び１０６はそれぞれ、タスク処理部１０３及び１０４のそれぞれへデータを出力するための出力端子（タスク処理部用）と、タスク処理部１０３及び１０４のそれぞれからデータを入力するための入力端子（タスク処理部用）とを有する。さらに、メモリー制御部１０１及び１０２のそれぞれへデータを出力するための出力端子（メモリー制御部用）と、メモリー制御部１０１及び１０２のそれぞれからデータを入力するための入力端子（メモリー制御部用）とを有する。

マルチポートインタフェース１０５は、例えば、タスク処理部１０３からの制御に基づいて、タスク処理部１０３とメモリー制御部１０１とを接続し、タスク処理部１０３から入力端子（タスク処理部用）を介して入力されるデータを、出力端子（メモリー制御部用）を介してメモリー制御部１０１に出力する。あるいは、メモリー制御部１０１から入力端子（メモリー制御部用）を介して入力されるデータを、出力端子（タスク処理部用）を介してタスク処理部１０３に出力する。

また、マルチポートインタフェース１０５は、タスク処理部１０３とメモリー制御部１０１及び１０２の両方とを接続してもよい。そして、タスク処理部１０３から入力端子（タスク処理部用）を介して入力されるデータを、２つの出力端子（メモリー制御部用）を介してメモリー制御部１０１及び１０２の両方に出力する。すなわち、マルチポートインタフェース１０５は、メモリー制御部１０１及び１０２に同一のデータを出力する。

以上のように、本実施の形態の半導体装置１００では、メモリーごとにメモリー制御部を備えることで、複数のタスク処理部はそれぞれ、複数のメモリーに自由にアクセスすることができる。

図２は、本実施の形態の半導体装置を備える撮像装置２００の構成を示すブロック図である。同図の撮像装置２００は、例えば、図３（ａ）及び図３（ｂ）に示すような、撮像した被写体の光学像をデジタル画像データに変換して記録メディアに記録する単板式のデジタルカメラ（デジタルスチルカメラ又はデジタルビデオカメラ）である。撮像装置２００は、撮像部２１０と、画像処理部２２０と、メモリー２４０及び２４１と、操作パネル２５０とを備える。なお、画像処理部２２０が、図１に示す半導体装置１００に相当する。

撮像部２１０は、光学レンズ２１１と、光学ローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）２１２と、カラーフィルタ２１３と、撮像素子２１４と、アナログフロントエンド（ＡＦＥ：Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部２１５とを備える。

光学レンズ２１１は、被写体からの光を撮像素子２１４上に結像するレンズである。光学レンズ２１１を通過した光は、光学ＬＰＦ２１２とカラーフィルタ２１３とを通過して、撮像素子２１４の受光面で結像する。

光学ＬＰＦ２１２は、撮像素子２１４の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する。これにより、信号処理後の画像にエイリアシングが発生するのを防止する。

カラーフィルタ２１３は、特定の周波数成分のみを透過させるフィルタであり、例えば、撮像素子２１４の画素ごとに、ＲＧＢのそれぞれに相当する周波数成分のみを透過させるように構成される。

撮像素子２１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型、又は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などに代表されるイメージセンサである。撮像素子２１４の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、光学レンズ２１１を通過した光（被写体情報）を光電変換する。具体的には、撮像素子２１４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、信号電荷は、ドライバ回路（図示せず）から与えられるパルスに基づいて、信号電荷に応じた電圧信号（画像信号）として順次読み出される。

なお、撮像素子２１４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子２１４の動作（露光、及び、読み出しなど）は、ＣＰＵ２２５によって制御される。

ＡＦＥ部２１５は、撮像素子２１４から出力された画像信号に、アナログゲインの調整、及び、ＣＤＳ（相関二重サンプリング）などの処理を行い、Ａ／Ｄ変換処理によりデジタル信号に変換する。

以上のように撮像部２１０は、上記の処理部を備え、被写体からの光を電気信号に変換することで、デジタルの画像信号を生成する。デジタルの画像信号は、画像処理部２２０に出力され、必要に応じて様々な処理が実行され、メモリーカードなどの記録メディア（図示せず）に記録される。

なお、ＣＭＯＳ型に代表される撮像素子２１４においては、高速読み出しを実現する手段として、当該撮像素子２１４内にノイズ処理部とＡ／Ｄ変換器とパラレルシリアル変換器とを実装し、直接デジタル信号として出力してもよい。

画像処理部２２０は、必要に応じて、撮像部２１０から入力される画像データに画像処理を実行し、処理された画像データを記録メディアなどに記録する。画像処理部２２０は、前処理部２２１と、画像信号処理部２２２と、圧縮伸張処理部２２３と、記録メディアインタフェース２２４と、ＣＰＵ２２５と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２６と、ＲＡＭ２２７と、表示処理部２２８と、モニタインタフェース２２９と、メモリー制御部２３０及び２３１とを備える。なお、前処理部２２１と、画像信号処理部２２２と、圧縮伸張処理部２２３と、記録メディアインタフェース２２４と、ＣＰＵ２２５と、表示処理部２２８と、モニタインタフェース２２９とが、図１に示すタスク処理部１０３及び１０４に相当する。

前処理部２２１は、画像処理部２２０の外部から入力される画像データに対して画像データを処理する画像処理部の１つである。具体的には、前処理部２２１は、ＡＦＥ部２１５から供給される画像データ（画像信号）に対して、黒レベル補正及びゲイン補正などの処理（前処理）を実行する。前処理が実行された画像データは、メモリー制御部２３０又は２３１を介して、メモリー２４０又は２４１に記憶される。また、前処理部２２１は、撮像部２１０が撮像する際に、自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御及び自動焦点調節（ＡＦ：Ａｕｔｏ−Ｆｏｃｕｓ）制御に必要な演算を行うオート演算部を含み、操作パネル２５０に含まれるレリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算及びＡＥ演算などを行う。

画像信号処理部２２２は、メモリー２４０又は２４１に記憶された画像データを、メモリー制御部２３０又は２３１を介して読み出し、読み出した画像データに様々な画像処理を実行する。例えば、画像信号処理部２２２は、前処理部２２１による前処理が実行された後の画像データをメモリー２４０又は２４１から読み出し、読み出した画像データに画像処理を実行する。

画像処理は、例えば、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ：Ｗｈｉｔｅ Ｂａｌａｎｃｅ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などである。画像処理が適用された画像データは、メモリー制御部２３０又は２３１を介して、メモリー２４０又は２４１に記憶される。

圧縮伸張処理部２２３は、メモリー２４０又は２４１に記憶された画像データを、メモリー制御部２３０又は２３１を介して読み出し、所定の圧縮フォーマットに従って、読み出した画像データを圧縮する。例えば、圧縮伸張処理部２２３は、画像信号処理部２２２による画像処理が実行された後の画像データをメモリー２４０又は２４１から読み出し、読み出した画像データを圧縮、又は、伸張する。所定の圧縮フォーマットは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、及び、その他の形式に基づいた圧縮形式である。圧縮伸張処理部２２３には、使用される圧縮形式に対応した圧縮エンジンが用いられる。

記録メディアインタフェース２２４は、画像処理部２２０が備える各処理部（例えば、圧縮伸張処理部２２３など）、並びに、メモリー２４０及び２４１と、記録メディア（図示せず）との間でデータを転送するインタフェースである。記録メディアは、メモリーカードに代表される半導体メモリーに限定されず、磁気ディスク、光ディスク、光磁気ディスクなどの種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置２００に内蔵された記録媒体（内部メモリー）であってもよい。

ＣＰＵ２２５は、所定のプログラムに従って、撮像装置２００を統括制御する制御部であり、操作パネル２５０からの指示信号に基づいて撮像装置２００内の各処理部の動作を制御する。具体的には、ＣＰＵ２２５は、操作パネル２５０から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子２１４などの撮像部２１０を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、及び、記録メディアへの読み書き制御などを行う。

ＲＯＭ２２６は、ＣＰＵ２２５が実行するプログラム及び制御に必要な各種データなどが格納されている。

ＲＡＭ２２７は、ＣＰＵ２２５の作業用領域として利用される。
表示処理部２２８は、メモリー２４０又は２４１から読み出した画像データを、撮像装置２００が備える画像表示用のモニタに表示させるための処理を行う。例えば、表示処理部２２８は、画像信号処理部２２２と圧縮伸張処理部との少なくとも１つにより処理された後の画像データを読み出し、読み出した画像データに対して、画像表示用のモニタに表示させるための処理を行う。例えば、モニタの画素数に合わせて画像データのサイズを変更する。

モニタインタフェース２２９は、撮像装置２００が備える画像表示用のモニタに、表示処理部２２８によって処理された画像を表示させるために、表示処理部２２８とモニタとの間でデータを転送するインタフェースである。なお、画像表示用のモニタは、外部のディスプレイでもよい。

メモリー制御部２３０及び２３１は、画像処理部２２０が備える各処理部からのメモリーアクセス要求を調停し、調停したアクセス要求を発行した処理部とメモリーとの間でデータの転送を可能にする。メモリー制御部２３０及び２３１はそれぞれ、メモリー２４０及び２４１に対応し、対応するメモリーとの間でデータの転送を行う。なお、メモリー制御部２３０及び２３１はそれぞれ、図１に示すメモリー制御部１０１及び１０２に相当する。

メモリー２４０及び２４１は、撮像部２１０によって生成された画像データを記憶する。また、メモリー２４０及び２４１は、画像処理部２２０によって様々な処理が施された後の画像データを記憶する。なお、メモリー２４０及び２４１はそれぞれ、図１のメモリー１１０及び１１１に相当する。

操作パネル２５０は、撮像装置２００に対してユーザーが各種の指示を入力するための手段である。例えば、撮像装置２００の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）及び再生画像のコマ送り／コマ戻しなどの指示を入力する十字キー、選択項目の確定（登録）及び動作の実行を指示する実行キー、選択項目などの所望の対象の消去及び指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ並びにレリーズスイッチなどの各種のスイッチ及びタッチパネルなどの操作手段を含む。

なお、図１に示すマルチポートインタフェース１０５及び１０６は、図１に示すタスク処理部１０３及び１０４に相当する前処理部２２１、画像信号処理部２２２、圧縮伸張処理部２２３、記録メディアインタフェース２２４、ＣＰＵ２２５及び表示処理部２２８と、メモリー制御部２３０及び２３１との間をそれぞれ接続している。

続いて、本実施の形態の撮像装置２００が実行する撮像処理から、当該撮像処理で得られた画像データを記録メディアに記録する処理までの処理について簡単に説明する。

まず、ＣＰＵ２２５は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ２２５は必要に応じてストロボ制御回路（図示せず）にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。

レリーズスイッチの半押しが検知されると、前処理部２２１が備えるオート演算部が、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算及びＡＥ演算などを行い、その演算結果をＣＰＵ２２５に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ２２５は、焦点評価値演算の結果に基づいてレンズ駆動用モータ（図示せず）を制御し、光学レンズ２１１を合焦位置に移動させるとともに、絞り及び電子シャッタを制御して、露出制御を行う。撮像素子２１４で生成された電気信号は、ＡＦＥ部２１５によって、デジタル信号に変換され、画像処理部２２０に画像信号として供給される。

画像処理部２２０は、記録モードに従って、撮像部２１０から供給される画像データを、記録メディアインタフェース２２４を介して記録メディアに記録する。このとき、画像データは、ＪＰＥＧ形式による画像記録モード、及び、ＭＰＥＧ形式による動画記録モードで記録可能であり、さらに、圧縮処理などが実行されないＡ／Ｄ変換直後の画像として記録するＲＡＷ記録モードでも記録可能である。以下では、ＲＡＷモードで記録された画像を、ＣＣＤＲＡＷ画像と記載する。また、ＡＦＥ部２１５によるＡ／Ｄ変換直後の画像データをＲＡＷデータと記載する。

画像データをＪＰＥＧ形式で記録する場合、前処理部２２１がＲＡＷデータに前処理を実行し、メモリー制御部２３０又は２３１を介してメモリー２４０又は２４１に処理後の画像データを記憶する。なお、ここでは、メモリー制御部２３０を介してメモリー２４０に記憶させる場合について説明する。

画像信号処理部２２２は、メモリー制御部２３０を介して、メモリー２４０に記憶された画像データを読み出し、読み出した画像データに画像処理を実行する。そして、メモリー制御部２３１を介して、処理後の画像データをメモリー２４１に記憶する。このように、前処理部２２１と画像信号処理部２２２とは、互いに異なるメモリー制御部を介して、互いに異なるメモリーにアクセスするため、お互いの処理を並列動作させることができる。

さらに、圧縮伸張処理部２２３は、メモリー制御部２３１を介して、メモリー２４１から画像データを読み出し、読み出した画像データをＪＰＥＧ形式の圧縮フォーマットに従って圧縮する。圧縮後の画像データは、記録メディアインタフェース２２４を介して、記録メディアに記録される。

一方で、ＲＡＷモードの場合、ＲＡＷデータは、画像信号処理部２２２及び圧縮伸張処理部２２３などの信号処理を適用されることなく、メモリー制御部２３０又は２３１と、記録メディアインタフェース２２４とを介して、記録メディアに記録される。すなわち、ＣＣＤＲＡＷ画像は、ガンマ補正、ホワイトバランス調整、同時化などの信号処理が行われていない画像であり、カラーフィルタ２１３の配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。もちろん圧縮処理も行われていないので、大きなファイルサイズを有する。なお、ＣＣＤＲＡＷ画像を記録メディアに記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。

以上のように、本実施の形態の撮像装置２００は、２つのメモリー２４０及び２４１のそれぞれに対応するメモリー制御部２３０及び２３１を備える。これにより、メモリーとメモリー制御部との間のメモリーバストラフィックの絶対容量を大幅に拡張することができる。また、メモリーに対応するメモリー制御部を備えることで、各処理部はいずれのメモリーにアクセスするかを自由に設定することができ、メモリーアクセスの自由度を向上させることができる。

次に、上記のように構成された撮像装置２００によって、撮影の高速アプリケーションの１つである高画素での高速連写を実現する方法について説明する。

図４は、本実施の形態の半導体装置１００が行うタスクの信号の流れを示す一例である。同図においてタスク処理部１０３は、図２の前処理部２２１に割り当てられる。タスク処理部１０４は、図２の画像信号処理部２２２及び圧縮伸張処理部２２３に割り当てられる。これらの処理は、メモリーアクセスのバストラフィックに占める割合の大きいタスク処理であり、これらのタスク処理の流れを整理することにより高速連写を容易に実現することができる。なお、以下では、撮像部２１０が高速連写することで生成する画像データを、ＪＰＥＧ形式で記録する場合について説明する。

ＲＡＷデータには、タスク処理部１０３に割り当てられた前処理部２２１により前処理が実行される。タスク処理部１０３は、メモリー制御部１０１に接続されたマルチポートインタフェース１０５を介してメモリー１１０に連写枚数分の画像データを連続的に書き込む。

タスク処理部１０４に割り当てられた画像信号処理部２２２は、この書き込み動作と並列して、メモリー制御部１０１の調停動作により、マルチポートインタフェース１０６を介して、メモリー１１０から画像データを読み出す。そして、タスク処理部１０４は、同時化処理、ＷＢ調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍処理、画素数の変換処理などの各種処理を実行する。そして、タスク処理部１０４は、もう１つのメモリー制御部１０２に接続されたマルチポートインタフェース１０６を介して、メモリー１１１に処理後の画像データを書き込む。

さらに、タスク処理部１０４に割り当てられた圧縮伸張処理部２２３は、メモリー制御部１０２に接続されたマルチポートインタフェース１０６を介して、メモリー１１１から処理後の画像データを読み出す。タスク処理部１０４は、ＪＰＥＧ圧縮処理を実施してマルチポートインタフェース１０６を介して、メモリー１１１に圧縮処理後のＪＰＥＧ形式の画像データを書き込む。

以上のように、処理負荷が高い処理、すなわち、メモリーアクセスのバストラフィックに示す割合の大きいタスク処理を、それぞれ異なるメモリー制御部を利用して、異なるメモリーへアクセスさせることで、拡張したバストラフィックを有効に利用することができる。

なお、上記の説明の処理では、マルチポートインタフェース１０５は、タスク処理部１０３からの入力端子とメモリー制御部１０１への出力端子とを接続している。また、マルチポートインタフェース１０６は、メモリー制御部１０１からの入力端子とタスク処理部１０４への出力端子とを、タスク処理部１０４からの入力端子とメモリー制御部１０２への出力端子とを、メモリー制御部１０２からの入力端子とタスク処理部１０４への出力端子とをそれぞれ接続している。いずれの接続を行うかは、例えば、ＣＰＵ２２５などによって制御される。

また、ＪＰＥＧ形式で連写を実現する信号の流れを説明したが、フレームレートの高い動画撮影の場合も同様の処理にて、２つのメモリー制御部１０１及び１０２を使用してデータのバストラフィックを分散して処理を実施する。

また、図２では、タスク処理としてほかにも記録メディアインタフェース２２４、ＣＰＵ２２５及び表示処理部２２８などがあり、これらの処理部に相当するタスク処理部を追加してもよい。すなわち、追加したタスク処理部とメモリー制御部１０１及び１０２とを接続することにより、２つのメモリー制御部１０１及び１０２を使用してデータのバストラフィックを分散して並列動作による画像信号の処理を行う。

次に、本実施の形態の半導体装置１００が備える複数のタスク処理部が、図４に示すように、同時に時間制限のある複数の処理を実行する場合に、どのタスク処理部がどのメモリーとの間でデータの転送を行うかを制御する処理について説明する。

例えば、複数のタスク処理部１０３及び１０４は、それぞれが行う処理の種類に応じて、それぞれのデータの読み出し先（ソース）のメモリーと書き込み先（ディスティネーション）のメモリーとを選択してもよい。なお、どのタスク処理部がどのメモリーを利用するかは、例えば、ＣＰＵ２２５によって決定される。図４に示す例では、前処理が実行された画像データをメモリー１１０に記憶し、画像信号処理が実行された画像データをメモリー１１１に記憶するといったようにＣＰＵ２２５が制御する。

これにより、メモリーアクセストラフィックの分散処理と分離処理とを実行することができる。なお、タスク処理部１０３及び１０４にはそれぞれ、データの転送を行うメモリーを予め定められていてもよい。

また、メモリー制御部のアクセス状況に応じて、データの転送を行うメモリーを決定してもよい。具体的には、複数のタスク処理部１０３及び１０４は、動作する前に、複数のメモリー制御部１０１及び１０２のアクセス状況を監視する。そして、タスク処理部１０３及び１０４のそれぞれは、アクセスの空きの割合の多いメモリー制御部を選択する。そして、選択したメモリー制御部に対応するメモリーとの間でデータの転送を行うことで、メモリーアクセストラフィックの分散処理と分離処理とを実行することができる。

例えば、図４に示す例では、タスク処理部１０３は、メモリー制御部１０１を介してメモリー１１０に画像データを書き込んだ場合、タスク処理部１０４は、メモリー制御部１０１を介してメモリー１１０から画像データを読み出すことになる。したがって、これらの処理により、メモリー１１０へのアクセスは空きが少なくなるので、タスク処理部１０４は、メモリー制御部１０２を介して、処理した画像データをメモリー１１１に書き込むことで、メモリーアクセストラフィックを分散することができる。

また、メモリーアクセス処理が少ない場合は、１つのメモリー制御部のみを利用してもよい。具体的には、撮像素子２１４が有するセンサーの画素数が少ない場合、又は、動画のフレームレートが少ない場合などのメモリーアクセス処理が少ない場合は、複数のタスク処理部１０３及び１０４は、１つのメモリー制御部（例えば、メモリー制御部１０１）のみを選択し、選択したメモリー制御部に対応するメモリー（例えば、メモリー１１０）との間でデータの転送を行う。この場合、選択されたメモリー制御部１０１は、複数のタスク処理部１０３及び１０４からのメモリーアクセス要求を調停し、調停したタスク処理部とメモリー１１０との間でデータが転送されるように、マルチポートインタフェース１０５及び１０６を介して、調停したタスク処理と接続する。

これにより、１つのメモリー制御部しか用いないので、他のメモリー制御部（例えば、メモリー制御部１０２）をスリープ動作にすることができ、消費電力を少なくすることができる。

また、図５に示すように、メモリーを増設することでシステムを拡張動作させてもよい。図５は、本実施の形態の半導体装置の構成の変形例の一例を示すブロック図である。同図に示す半導体装置１００ａは、図１に示す半導体装置１００と比べて、新たに、メモリー制御部１２１を備える点が異なっている。

メモリー制御部１２１は、新たに増設されたメモリー１３０に対応し、メモリー１３０とタスク処理部１０３及び１０４との間でデータの転送を行う。

このように、半導体装置１００ａは、メモリー１３０が増設された場合にも、メモリー制御部１２１を備えておくことで、増設したメモリー１３０との間で他のメモリー１１０又は１１１と同じようにデータの転送を行うことができる。すなわち、半導体装置１００ａは、メモリーの増設に備えて、メモリーを接続する１つ以上のソケットを有し、そのソケットに対応する数のメモリー制御部を備えればよい。

また、優先順位が高い処理を行うタスク処理部に、１つのメモリー制御部を専有させてもよい。例えば、タスク処理部１０３が、タスク処理部１０４が行う処理より優先順位の高い処理を行う場合、メモリー制御部１０１を専有してもよい。これにより、メモリー制御部１０１は、タスク処理部１０４からの割り込みによるメモリーアクセス要求の調停を行わなくてもよいので、高速にタスク処理部１０３との間でデータの転送を行うことができる。

これは、複数のＣＰＵを搭載してネットワークプロトコル処理、又は、ソフトグラフィック処理などのプロセッサ処理を実行する場合に特に有効である。

次に、本実施の形態の半導体装置１００の実装例について説明する。
図６（ａ）〜図６（ｃ）は、本実施の形態の撮像装置２００が備える各処理部を半導体集積回路として半導体基板上に実装する場合の実装例を示す図である。図６（ａ）に示す例では、図１の半導体装置１００に相当するタスク機能ＬＳＩ３０１は、外部の汎用メモリー３０２及び３０３と接続するように実装される。

図６（ｂ）に示す例では、タスク機能ＬＳＩ３１１と汎用メモリー３１３とを１つのパッケージ内部に混載する。タスク機能ＬＳＩ３１１は、パッケージ内部の汎用メモリー３１３と、外部の汎用メモリー３１２と接続するように実装される。

図６（ｃ）に示す例では、タスク機能ＬＳＩ３２１は、チップ内部に汎用メモリー３２３を搭載する。タスク機能ＬＳＩ３２１は、チップ内部の汎用メモリー３２３と、外部の汎用メモリー３２２と接続するように実装される。なお、本実施の形態の半導体装置、すなわち、タスク機能ＬＳＩは、以上の実装例を組み合わせてもよく、また、他のメモリーと接続してもよく、実装方法は限定されない。

以上のように、本実施の形態の半導体装置及び半導体集積回路は、複数のメモリーに独立してアクセス動作が可能なメモリー制御部を複数実装することで、複数のタスク処理部に並列動作を可能とする。これにより、複数のタスク処理部と複数のメモリーとの間のメモリーアクセスのバストラフィックを大幅に拡張することができる。また、複数のタスク処理部は、互いに独立してメモリーにアクセスすることができるので、メモリーアクセスの自由度を向上させることができる。これにより、メモリーアクセス処理の全体的な効率を高めることができる。

以上、本発明の半導体装置及び半導体集積回路について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、図６（ａ）〜図６（ｃ）では、複数のメモリーのうち１つのメモリーは外部の汎用メモリーである構成について説明したが、複数のメモリーの全てをチップ内部に備えていてもよい。また、１つのパッケージに全ての汎用メモリーを混載してもよい。

以上説明してきたとおり、本発明の半導体装置及び半導体集積回路は、画像の撮影、記録、及び、再生処理を行う撮像装置に利用することができ、例えば、高画素の高速連写撮影、又は、ハイスピード撮影などの高速に動作するデジタルカメラとして有用である。

本実施の形態の半導体装置の基本的な構成を示すブロック図である。 本実施の形態の半導体装置を備える撮像装置の構成を示すブロック図である。 （ａ）本実施の形態の半導体装置を備えるデジタルスチルカメラの一例を示す図である。（ｂ）本実施の形態の半導体装置を備えるデジタルビデオカメラの一例を示す図である。 本実施の形態の半導体装置が行うタスクの信号の流れの一例を示す図である。 本実施の形態の半導体装置の構成の変形例の一例を示すブロック図である。 （ａ）本実施の形態の半導体集積回路の実装例を示す図である。（ｂ）本実施の形態の半導体集積回路の実装例を示す図である。（ｃ）本実施の形態の半導体集積回路の実装例を示す図である。 従来の画像処理装置の構成を示すブロック図である。

符号の説明

１００、１００ａ 半導体装置
１０１、１０２、１２１、２３０、２３１、４０２ メモリー制御部
１０３、１０４ タスク処理部
１０５、１０６ マルチポートインタフェース
１１０、１１１、１３０、２４０、２４１、４０１ メモリー
２００ 撮像装置
２１０ 撮像部
２１１ 光学レンズ
２１２ 光学ＬＰＦ
２１３ カラーフィルタ
２１４ 撮像素子
２１５ ＡＦＥ部
２２１ 前処理部
２２２ 画像信号処理部
２２３ 圧縮伸張処理部
２２４ 記録メディアインタフェース
２２５ ＣＰＵ
２２６ ＲＯＭ
２２７ ＲＡＭ
２２８ 表示処理部
２２９ モニタインタフェース
２５０ 操作パネル
３０１、３１１、３２１ タスク機能ＬＳＩ
３０２、３０３、３１２、３１３、３２２、３２３ 汎用メモリー
４００ 画像処理装置
４０３ Ａ／Ｄ変換器
４０４ 記録媒体
４０５ 画像表示部

Claims (18)

1. 複数のメモリーに独立してアクセス可能な半導体装置であって、
   半導体基板と、
   前記半導体基板上に形成され、互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、
   前記半導体基板上に形成され、前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備える
   半導体装置。
2. 前記複数のタスク処理部は、
   外部から入力される第１画像データ、又は、前記複数のメモリーの少なくとも１つに記憶された第２画像データを処理する画像処理部と、
   前記第１画像データ、前記第２画像データ、又は、前記画像処理部による処理後の画像データのサイズを変更する圧縮伸張処理部と、
   前記第１画像データ、前記第２画像データ、又は、前記画像処理部若しくは前記圧縮伸張処理部による処理後の画像データを表示装置に表示させるための処理を行う表示処理部と、
   前記画像処理部、前記圧縮伸張処理部及び前記表示処理部の少なくとも１つを制御するプロセッサ処理部との少なくとも１つを含む
   請求項１記載の半導体装置。
3. 前記半導体装置は、さらに、
   前記半導体基板上に形成され、前記複数のタスク処理部のそれぞれと、前記複数のメモリー制御部のそれぞれとを接続するマルチポートインタフェース部を備える
   請求項１又は２記載の半導体装置。
4. 前記マルチポートインタフェース部は、前記複数のタスク処理部のそれぞれへの出力端子と、前記複数のタスク処理部のそれぞれからの入力端子と、前記複数のメモリー制御部のそれぞれへの出力端子と、前記複数のメモリー制御部のそれぞれからの入力端子とを有する
   請求項３記載の半導体装置。
5. 前記マルチポートインタフェース部は、前記複数のタスク処理部の１つと前記複数のメモリー制御部の１つとを接続し、接続したタスク処理部から入力される入力データを、接続したメモリー制御部に出力する
   請求項３又は４記載の半導体装置。
6. 前記マルチポートインタフェース部は、前記複数のタスク処理部の１つと前記複数のメモリー制御部のうち２つ以上とを接続し、接続したタスク処理部から入力される入力データを、接続した２つ以上のメモリー制御部に並列出力する
   請求項３又は４記載の半導体装置。
7. 前記マルチポートインタフェース部は、前記複数のメモリー制御部の１つと前記複数のタスク処理部の１つとを接続し、接続した複数のメモリー制御部から入力される入力データを、接続したタスク処理部に出力する
   請求項３又は４記載の半導体装置。
8. 前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、それぞれに予め定められたメモリー制御部を介して当該メモリー制御部に対応するメモリー空間との間でデータの転送を行う
   請求項１〜４のいずれか１項に記載の半導体装置。
9. 前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、それぞれが行う処理の種類に応じて、それぞれのデータの読み出し先のメモリーと書き込み先のメモリーとを前記複数のメモリーの中から選択し、選択したメモリーとの間でデータの転送を行う
   請求項１〜４のいずれか１項に記載の半導体装置。
10. 前記複数のタスク処理部はそれぞれ、同時に時間制限のある複数の処理を行う場合、前記複数のメモリー制御部のアクセス状況を監視し、アクセスの空きの割合が多いメモリー制御部を選択し、選択したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行う
    請求項１〜４のいずれか１項に記載の半導体装置。
11. 前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、メモリーアクセス処理が少ない場合は、前記複数のメモリー制御部の１つのみを選択し、選択したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行い、
    前記複数のメモリー制御部のうち、前記複数のタスク処理部によって選択されたメモリー制御部以外のメモリー制御部は、スリープ動作にする
    請求項１〜４のいずれか１項に記載の半導体装置。
12. 前記複数のタスク処理部は、同時に時間制限のある複数の処理を行う場合、１つのメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行い、さらに、他のメモリー制御部を介して異なるメモリーとの間でデータの転送を行う
    請求項１〜４のいずれか１項に記載の半導体装置。
13. 前記複数のタスク処理部の１つは、他のタスク処理部が行う処理より優先順位が高い処理を行う場合、前記複数のメモリー制御部の１つを専有し、専有したメモリー制御部を介して、当該メモリー制御部に対応するメモリーとの間でデータの転送を行う
    請求項１〜４のいずれか１項に記載の半導体装置。
14. 複数のメモリーに独立してアクセス可能な半導体集積回路であって、
    半導体基板と、
    前記半導体基板上に形成され、互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、
    前記半導体基板上に形成され、前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備える
    半導体集積回路。
15. 前記半導体集積回路は、前記複数のメモリーの１つを当該半導体集積回路のチップ内部に搭載する
    請求項１４記載の半導体集積回路。
16. 前記半導体集積回路は、前記複数のメモリーの１つと共に、同一のパッケージ内部に混載される
    請求項１４記載の半導体集積回路。
17. 前記半導体集積回路は、前記複数のメモリーである外部の汎用メモリーとの間でデータを転送する
    請求項１４記載の半導体集積回路。
18. 被写体からの光を撮像することで画像データを生成する撮像部と、
    前記撮像部によって生成された画像データを記憶する複数のメモリーと、
    互いに独立して前記複数のメモリーに対するメモリーアクセス要求を発行し、所定の処理を行う複数のタスク処理部と、
    前記複数のメモリーのそれぞれに対応し、前記複数のタスク処理部からのメモリーアクセス要求を調停し、データの転送が可能になるように、調停したメモリーアクセス要求を発行したタスク処理部と対応するメモリーとを接続する複数のメモリー制御部とを備え、
    前記複数のタスク処理部は、
    前記撮像部によって生成された第１画像データ、又は、前記複数のメモリーの少なくとも１つに記憶された第２画像データを処理する画像処理部と、
    前記第１画像データ、前記第２画像データ、又は、前記画像処理部による処理後の画像データのサイズを変更する圧縮伸張処理部と、
    前記第１画像データ、前記第２画像データ、又は、前記画像処理部若しくは前記圧縮伸張処理部による処理後の画像データを表示装置に表示させるための処理を行う表示処理部と、
    前記画像処理部、前記圧縮伸張処理部及び前記表示処理部の少なくとも１つを制御するプロセッサ処理部との少なくとも１つを含む
    撮像装置。

Images