JP2009232004A - 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】消費電力を低減させるとともに、コストを増大させることなく各種処理機能を容易に搭載する。
【解決手段】センサＩ／Ｆ２２に供給されたＲＡＷデータは、センサ駆動系クロックからシステム系クロックへのクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部２３で各種補正処理が施され、信号処理部２４でベースバンドの動画データに変換され、解像度変換部２５に供給される。解像度変換部２５に供給された動画データは、例えば表示装置３５に表示するのに適した解像度に変換され、バス２１Ｂを介して内蔵メモリ５０に書き込まれる。内蔵メモリ５０に書き込まれた動画データは、所定に内蔵メモリ５０から読み出され、バス２１Ｂを介して表示制御部３０に供給され、モニタリング画像として表示装置３５に表示される。
【選択図】図２

Description

この発明は、動画像および静止画像に対する処理が可能な信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法に関する。

近年、ＣＣＤ（Charge Coupled Devices）などの固体撮像素子の小型化や低消費電力化、さらには、ＬＳＩ（Large Scale Integration）の高集積化や高機能化、低消費電力化などの技術の進展に伴い、静止画像の撮影を主とするディジタルスチルカメラなどのバッテリで駆動可能な携帯型撮像装置が一般に利用されるようになっている。

このようなバッテリで駆動される撮像装置では、バッテリによる動作時間を確保し、撮影枚数を可能な限り増やすために、消費電力の低減が求められている。

特に、撮像装置の消費電力は、撮像装置に設けられたモニタなどの表示装置に被写体を表示し、撮影前の画角合わせを行うモニタリング動作の際に消費する電力が支配的である。したがって、このモニタリング動作の際の消費電力を低減させることが、バッテリの消費量を低減させるために重要となっている。

一方、最近では、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージャなどの高速読み出しが可能な撮像素子の普及や、ディジタルハイビジョン放送に対応する受信装置の普及に伴う表示解像度の増大などにより、撮像装置の性能向上が図られたり、様々な機能が撮像装置に設けられるようになってきている。

撮像装置に設けられた新たな機能としては、例えば、予め学習されたパターン辞書などを用いてパターンマッチング処理を行い、画像から顔らしき部分を抽出する顔認識などの被写体認識機能や動体追尾機能、通常の動画データのフレームレートの６０ｆｐｓ(frame per second)よりも高いフレームレートで撮影する超高速連写機能、手ぶれ検出や動き検出を利用した画像合成によるノイズリダクション処理機能、ＨＤ（High Definition）サイズの動画データの記録／再生を行う機能などがある。

被写体認識機能におけるパターンマッチング処理や、複数のフレームを用いた動きベクトル検出処理などにおいては、撮影された画像データを繰り返し読み出して比較したり、演算を行うようにされている。例えば、下記の特許文献１には、動画データを扱う際に用いられる動きベクトルの検出処理に関する技術が記載されている。

特開２００４−８０２９５号公報

ここで、動きベクトル検出処理について、概略的に説明する。例えば、画像符号化方式としてのＭＰＥＧ（Moving Picture Experts Group）では、所定サイズの画像データのうちの、注目している注目ブロックについて、動きベクトルが検出され、さらに、その動きベクトルに基づいて動き補償が行われることで、注目ブロックの予測画像が求められる。そして、ＭＰＥＧでは、注目ブロックの各画素と予測画像の対応する画素との差分が演算され、その差分値が符号化されることによって高能率圧縮が実現されている。動きベクトルの検出アルゴリズムとしては、例えば、ブロックマッチング法が知られている。

例えば、図７Ａに示すように、撮像された第ｆフレームを注目フレームとし、第ｆフレームの所定ブロックを注目ブロックＢ１とするとともに、図７Ｂに示すように、第ｆ＋１フレームを動きベクトルの検出のために参照する参照フレームとして、第ｆ＋１フレームから第ｆフレームに向かう動きベクトルを注目ブロックＢ１の動きベクトルとして検出する場合について考える。ブロックマッチング法では、第ｆ＋１フレームの、注目ブロックＢ１の位置を中心とする所定の範囲が、動きベクトルの探索を行う探索範囲Ａ１として設定される。さらに、第ｆ＋１フレームの探索範囲Ａ１から、注目ブロックＢ１と同一の大きさのブロックが、注目ブロックＢ１の予測画像の候補である候補ブロックＢ２として選択され、注目ブロックＢ１と候補ブロックＢ２との差分に関する差分情報が求められる。

すなわち、例えば、注目ブロックＢ１および候補ブロックＢ２が、水平４画素、垂直４画素（４×４画素）のブロックである場合には、図８に示すように、注目ブロックＢ１の各画素と、候補ブロックＢ２の対応する画素との差分が求められ、その差分の絶対値（差分絶対値）が求められる。さらに、ブロック内の差分絶対値の総和が求められ、探索範囲Ａ１に選択しうる候補ブロックＢ２すべてについて、上述のような差分絶対値の総和が求められる。

そして、探索範囲Ａ１に選択しうる候補ブロックＢ２の中で、差分絶対値の総和を最小にする候補ブロック（以下、適宜、最小候補ブロックという）が求められ、その最小候補ブロックから注目ブロックＢ１に向かうベクトルが、注目ブロックＢ１の動きベクトルとして求められる。

なお、探索範囲Ａ１としては、注目ブロックＢ１および候補ブロックＢ２よりも大きい範囲が用いられ、注目ブロックＢ１および候補ブロックＢ２が４×４画素のブロックである場合には、例えば、３０×３０画素乃至５０×５０画素程度の範囲が、探索範囲Ａ１として用いられる。

このような動きベクトル検出処理は、動画処理の場合だけでなく、手ぶれ検出処理や動体検出処理などの用途でも用いられ、それぞれ個別の処理ブロックとして撮像装置に設けられる場合が多い。

また、被写体認識処理の際のパターンマッチング処理においても、画像データを探索領域の単位に区切り、所定のアルゴリズムを用いて検出目的に適応したパターン比較処理を繰り返し実行させることによって探索処理を行う。

これらの新たな機能は、撮影された画像データをメモリから繰り返し読み出して比較したり、演算を行う必要がある。そのため、駆動クロック周波数や画像データに対するアクセスによるメモリ帯域の増大を招き、消費電力を増加させてしまうという問題点があった。

そこで、最近では、動画処理や被写体認識処理などの処理を行う処理ブロックに対して、それぞれ画像メモリやキャッシュメモリを設け、これらのメモリを用いることによって外部のメモリへのアクセス量を削減することが行われている。

図９は、従来の撮像装置１００の一例の構成を示す。光学系１１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、後述するＣＰＵ（Central Processing Unit）１３１の命令に基づく駆動部１１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御される。被写体からの光が光学系１１０を介して撮像素子１１１に入射される。撮像素子１１１は、例えばＣＣＤ（Charge Coupled Device）からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。

フロントエンド（Ｆ／Ｅ）部１１２は、撮像素子１１１からアナログ信号として出力された撮像信号に対し、相関二重サンプリング処理を施すとともにゲインを制御し、ＲＡＷデータであるディジタル撮像信号に変換して出力する。なお、タイミングジェネレータ１１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されるとともに、フロントエンド部１１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部１２０は、センサインターフェース（Ｉ／Ｆ）１２２、検波補正部１２３、信号処理部１２４、解像度変換部１２５、ＮＲ（Noise Reduction）／超解像度処理部１２６、被写体認識処理部１２７、静止画コーデック（ＣＯＤＥＣ）部１２８、動画コーデック（ＣＯＤＥＣ）部１２９、表示制御部１３０、ＣＰＵ１３１、外部インターフェース（Ｉ／Ｆ）１３２、メモリコントローラ１３３および記録再生制御部１３４の各処理ブロックを含み、これら各処理ブロックがそれぞれバス１２１を介して接続される。

センサＩ／Ｆ１２２は、フロントエンド部１１２から出力されたＲＡＷデータが入力され、ＲＡＷデータに対して、後段での補正処理や色変換処理に適したデータ配列への並び替え処理を行う。また、センサＩ／Ｆ１２２は、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。

検波補正部１２３は、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施す。また、検波補正部１２３は、黒レベルやフォーカス、露出、ホワイトバランスなどの調整用との検波処理を行う。

信号処理部１２４は、ＲＡＷデータを後段の処理に適した形式の画像信号に変換する。例えば、信号処理部１２４は、ＲＡＷデータに対してデモザイク処理を施し、輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。信号処理部１２４は、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画像補正処理を施す。

解像度変換部１２５は、ベースバンドの動画データや静止画データの解像度を、後述する表示装置１３５に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１１から出力されたアナログ信号がフロントエンド部１１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

ＮＲ／超解像度処理部１２６は、画像メモリを有し、この画像メモリに格納された、撮影された複数のフレームの画像データから動体の動き成分や被写体のぶれ、手ぶれなどの成分を検出し、検出した成分を考慮しながら複数の画像データを重ね合わせる処理を行うことにより、センサに起因するノイズ成分を除去した画像を生成する。また、重ね合わせ処理を利用して、元の画像データの解像度よりも高解像度の画像データを取得することもできる。被写体認識処理部１２７は、画像メモリを有し、例えば予め学習されたパターン辞書などを用いて、画像メモリに格納された画像データから顔や表情、風景などの検出対象となる部分を抽出する。

静止画コーデック部１２８は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式としては、例えばＪＰＥＧ（Joint Photographic Experts Group）方式を適用することができる。

動画コーデック部１２９は、画像メモリを有し、この画像メモリを用いてベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式としては、例えばＭＰＥＧ２方式を適用することができる。

表示制御部１３０は、供給された画像データを表示装置１３５に表示可能な形式の信号に変換する。表示装置１３５は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像装置１００におけるビューファインダとして用いられるとともに、記録媒体１３６から再生された画像のモニタとして用いられる。

ＣＰＵ１３１に、ＲＯＭ（Read Only Memory）１３７と入力デバイス１３８とが接続される。ＣＰＵ１３１は、図示されないＲＡＭ（Random Access Memory）をワークメモリとして用い、ＲＯＭ１３７に予め記憶されたプログラムに従いこの撮像装置１００の全体の動作を制御する。

例えば、ＣＰＵ１３１は、バス１２１を介して信号処理部１２０の各部とコマンドやデータのやりとりを行い、信号処理部１２０の各部を制御する。また、ＣＰＵ１３１は、上述した入力デバイス１３８に対する操作に応じた制御信号や撮像信号などに基づき、光学系１１０を制御するための制御信号を生成し、駆動部１１３に供給する。また、ＣＰＵ１３１は、タイミングジェネレータ１１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

入力デバイス１３８は、この撮像装置１００を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。外部Ｉ／Ｆ１３２は、この撮像装置１００と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ１３３に対して、ＲＡＭ１３９が接続され、このＲＡＭ１３９に対するアクセス制御を行う。ＲＡＭ１３９は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ（Synchronous Dynamic Random-Access Memory）であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ１３９は、バス１２１に接続される各部と共用して用いられる。

記録再生制御部１３４は、記録媒体１３６に対するデータの記録制御や、記録媒体１３６に記録されたデータの再生制御を行う。記録媒体１３６としては、例えば着脱可能な不揮発性メモリを用いることができる。

しかしながら、上述した撮像装置のように、動画記録や手ぶれ検出、被写体認識などの新たな機能を処理するための処理ブロックを個別に設け、各処理ブロックに対してそれぞれ個別に画像メモリやキャッシュメモリを設けた場合、回路全体に占めるメモリの規模が非常に大きくなってしまうという問題点があった。また、各処理ブロックに対してそれぞれ画像メモリやキャッシュメモリを設けることにより、コストが嵩んでしまうという問題点があった。

したがって、この発明の目的は、消費電力を低減させるとともに、コストを増大させることなく各種処理機能を容易に搭載することができる信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法を提供することにある。

上述した課題を解決するために、第１の発明は、フレームタイミングに同期して画像信号が入力される入力部と、
画像信号に対して所定の信号処理を施す信号処理部と、
第１の電圧で駆動され、外部に設けられた外部メモリに対する書き込みおよび読み出しを制御するメモリ制御部と、
第２の電圧で駆動される内部メモリと、
内部メモリからフレームタイミングで読み出された画像信号を出力する表示制御部と
を有し、
内部メモリおよび信号処理部が１の集積回路内に構成され、
入力部から入力された画像信号が内部メモリに書き込まれ、
信号処理部は、
入力部から入力された画像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、
入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部メモリに書き込む
ことを特徴とする信号処理装置である。

また、第２の発明は、フレームタイミングに同期して画像信号が入力される入力ステップと、
画像信号に対して所定の信号処理を施す信号処理のステップと、
第１の電圧で駆動され、外部に設けられた外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、
第２の電圧で駆動される内部メモリからフレームタイミングで読み出された画像信号を出力する表示制御のステップと
を有し、
内部メモリおよび信号処理部が１の集積回路内に構成され、
入力部から入力された画像信号が内部メモリに書き込まれ、
信号処理のステップは、
入力部から入力された画像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、
入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部メモリに書き込む
ことを特徴とする信号処理方法である。

また、第３の発明は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、
撮像信号に対して所定の信号処理を施して画像信号を生成する信号処理部と、
第１の電圧で駆動される外部メモリと、
第１の電圧で駆動され、外部メモリに対する書き込みおよび読み出しを制御するメモリ制御部と、
第２の電圧で駆動される内部メモリと、
内部メモリからフレームタイミングで読み出された画像信号を出力する表示制御部と
を有し、
内部メモリおよび信号処理部が１の集積回路内に構成され、
撮像部から出力された撮像信号が内部メモリに書き込まれ、
信号処理部は、
撮像部から出力された撮像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、
撮像部から出力された撮像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部メモリに書き込む
ことを特徴とする撮像装置である。

また、第４の発明は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、
撮像信号に対して所定の信号処理を施して画像信号を信号処理部で生成する信号処理のステップと、
第１の電圧で駆動され、第１の電圧で駆動される外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、
第２の電圧で駆動される内部メモリからフレームタイミングで読み出された画像信号を出力する表示制御のステップと
を有し、
内部メモリおよび信号処理部が１の集積回路内に構成され、
撮像ステップで出力された撮像信号が内部メモリに書き込まれ、
信号処理のステップは、
撮像ステップで出力された撮像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、
撮像ステップで出力された撮像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部メモリに書き込む
ことを特徴とする撮像装置の制御方法である。

上述したように、第１および第２の発明では、内部メモリおよび信号処理部が１の集積回路内に構成され、入力部からフレームタイミングに同期して入力された画像信号が内部メモリに書き込まれ、信号処理部において、入力部から入力された画像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部に設けられた外部メモリに書き込むようにしているため、外部メモリに対するアクセス量が低減される。

また、第３および第４の発明では、内部メモリおよび信号処理部が１の集積回路内に構成され、撮像部からフレームタイミングで出力された撮像信号が内部メモリに書き込まれ、信号処理部において、撮像部から出力された撮像信号に対して所定の信号処理を行い、信号処理に伴う中間データを内部メモリに書き込み、撮像部から出力された撮像信号を所定のタイミングで１フレーム分取り込み、メモリ制御部を介して外部メモリに書き込むようにしているため、外部メモリに対するアクセス量が低減される。

この発明は、１の集積回路内に内部メモリを設け、信号処理に伴う中間データを内部メモリに書き込むことにより外部メモリに対するアクセス量を低減させるようにしているため、消費電力を低減させることができるという効果がある。

また、この発明は、内部メモリを各処理部で共用化して使用しているため、各処理部に設けられたメモリを削減することができ、コストを低減させることができるという効果がある。

以下に、この発明の最良の形態を説明するが、開示される発明と実施の一形態との対応関係を例示すると、次のようになる。

請求項１に記載の信号処理装置は、フレームタイミングに同期して画像信号が入力される入力部（例えば、図１のフロントエンド部１２）と、画像信号に対して所定の信号処理を施す信号処理部（例えば、図１の信号処理部２４）と、第１の電圧で駆動され、外部に設けられた外部メモリ（例えば、図１のＲＡＭ３９）に対する書き込みおよび読み出しを制御するメモリ制御部（例えば、図１のメモリコントローラ３３）と、第２の電圧で駆動される内部メモリ（例えば、図１の内蔵メモリ５０）と、上記内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御部（例えば、図１の表示制御部３０）とを有し、上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、上記入力部から入力された画像信号が上記内部メモリに書き込まれ、上記信号処理部は、上記入力部から入力された画像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、上記入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込むことを特徴とする。

請求項３に記載の信号処理方法は、フレームタイミングに同期して画像信号が入力される入力ステップと、画像信号に対して所定の信号処理を施す信号処理のステップと、第１の電圧で駆動され、外部に設けられた外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、第２の電圧で駆動される内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御のステップとを有し、上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、上記入力部から入力された画像信号が上記内部メモリに書き込まれ、上記信号処理のステップは、上記入力部から入力された画像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、上記入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込むことを特徴とする。

請求項４に記載の撮像装置は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部（例えば、図１の撮像素子１１）と、撮像信号に対して所定の信号処理を施して画像信号を生成する信号処理部（例えば、図１の信号処理部２４）と、第１の電圧で駆動される外部メモリ（例えば、図１のＲＡＭ３９）と、上記第１の電圧で駆動され、上記外部メモリに対する書き込みおよび読み出しを制御するメモリ制御部（例えば、図１のメモリコントローラ３３）と、第２の電圧で駆動される内部メモリ（例えば、図１の内蔵メモリ５０）と、上記内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御部（例えば、図１の表示制御部３０）とを有し、上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、上記撮像部から出力された撮像信号が上記内部メモリに書き込まれ、上記信号処理部は、上記撮像部から出力された撮像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、上記撮像部から出力された撮像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込むことを特徴とする。

請求項６に記載の撮像装置の制御方法は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、撮像信号に対して所定の信号処理を施して画像信号を信号処理部で生成する信号処理のステップと、上記第１の電圧で駆動され、該第１の電圧で駆動される外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、第２の電圧で駆動される内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御のステップとを有し、上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、上記撮像ステップで出力された撮像信号が上記内部メモリに書き込まれ、上記信号処理のステップは、上記撮像ステップで出力された撮像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、上記撮像ステップで出力された撮像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込むことを特徴とする。

以下、この発明の実施の一形態について、図面を参照しながら説明する。図１は、従来の撮像装置１の一例の構成を示す。この撮像装置１は、光学系１０を介して入射された光を撮像素子１１で受光して撮像信号に変換する。そして、この撮像信号を信号処理部２０で、信号処理部２０内に設けられる内蔵メモリ５０と、信号処理部２０に接続される外部メモリであるＲＡＭ（Random Access Memory）３９とを用いて所定に処理して記録媒体３６に記録する。

光学系１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、後述するＣＰＵ（Central Processing Unit）３１の命令に基づく駆動部１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御される。被写体からの光が光学系１０を介して撮像素子１１に入射される。撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。なお、撮像素子１１は、ＣＣＤに限らず、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージャを用いてもよい。

フロントエンド（Ｆ／Ｅ）部１２は、撮像素子１１からアナログ信号として出力された撮像信号に対し、相関二重サンプリング処理を施すとともにゲインを制御し、ＲＡＷデータであるディジタル撮像信号に変換して出力する。

なお、後述するタイミングジェネレータ１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されるとともに、フロントエンド部１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部２０は、センサインターフェース（Ｉ／Ｆ）２２、検波補正部２３、信号処理部２４、解像度変換部２５、ＮＲ（Noise Reduction）／超解像度処理部２６、被写体認識処理部２７、静止画コーデック（ＣＯＤＥＣ）部２８、動画コーデック（ＣＯＤＥＣ）部２９、表示制御部３０、ＣＰＵ３１、外部インターフェース（Ｉ／Ｆ）３２、メモリコントローラ３３、記録再生制御部３４および内蔵メモリ５０を備え、これら各処理ブロックがＲＡＭ３９および内蔵メモリ５０にアクセスするためのバスが、バス２１Ａおよび２１Ｂの２系統設けられている。また、ＲＡＭ３９および内蔵メモリ５０間で互いにデータを転送するためのブリッジ回路５０がバス２１Ａおよび２１Ｂ間に設けられている。

センサＩ／Ｆ２２、検波補正部２３、信号処理部２４、解像度変換部２５、ＮＲ／超解像度処理部２６、被写体認識処理部２７、静止画コーデック部２８、動画コーデック部２９および表示制御部３０がそれぞれバス２１Ａおよび２１Ｂに接続される。同様に、ＣＰＵ３１、外部Ｉ／Ｆ３２および記録再生制御部３４がそれぞれバス２１Ａおよび２１Ｂに接続される。一方、ＲＡＭ３９がメモリコントローラ３３を介してバス２１Ａに接続され、内蔵メモリ５０がバス２１Ｂに接続される。すなわち、ＲＡＭ３９に対するアクセスは、バス２１Ａを介してなされ、内蔵メモリ５０に対するアクセスは、バス２１Ｂを介してなされることになる。

センサＩ／Ｆ２２は、フロントエンド部１２から出力されたＲＡＷデータが入力され、ＲＡＷデータに対して、後段での補正処理や色変換処理に適したデータ配列への並び替え処理を行う。また、センサＩ／Ｆ２２は、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。すなわち、センサＩ／Ｆ２２に供給されるデータは、撮像素子１１の出力であって、撮像素子１１から電荷を読み出す際の駆動クロックに同期している。一方、センサＩ／Ｆ２２から出力されるデータは、信号処理部２０内部のクロックに同期している必要がある。センサＩ／Ｆ２２は、バッファメモリを有し、センサ駆動系のクロックに従いバッファメモリに入力データを書き込んでいき、システム系のクロックに従いバッファメモリからデータを読み出す。

検波補正部２３は、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施す。また、検波補正部２３は、黒レベルやフォーカス、露出、ホワイトバランスなどの調整用との検波処理を行う。

信号処理部２４は、ＲＡＷデータを後段の処理に適した形式の画像信号に変換する。例えば、信号処理部２４は、ＲＡＷデータに対してデモザイク処理を施し、輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。信号処理部２４は、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画像補正処理を施す。

なお、一般的に、動画像と静止画像とでは、求められる画質が異なると考えられている。そこで、信号処理部２４は、例えばＣＰＵ３１の制御により、動画データに対する処理を行う場合と、静止画データに対する処理を行う場合とで、これらの画質補正処理を行う際のパラメータを切り替えることができるようにされている。

解像度変換部２５は、ベースバンドの動画データや静止画データの解像度を、後述する表示装置３５に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１から出力されたアナログ信号がフロントエンド部１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

ＮＲ／超解像度処理部２６は、撮影された複数の画像データから動体の動き成分や被写体のぶれ、手ぶれなどの成分を検出し、検出した成分を考慮しながら複数の画像データを重ね合わせる処理を行うことにより、センサに起因するノイズ成分を除去した画像を生成する。また、重ね合わせ処理を利用して、元の画像データの解像度よりも高解像度の画像データを取得することもできる。被写体認識処理部２７は、例えば予め学習されたパターン辞書などを用いて、画像から顔や表情、風景などの検出対象となる部分を抽出する。

なお、ＮＲ／超解像度処理部２６および被写体認識処理部２７は、拡張的な画像処理を行う処理ブロックの一例であって、これに限られない。例えば、通常の動画データのフレームレートの６０ｆｐｓ（frame per second）に対し、例えば２４０ｆｐｓといった非常に高いフレームレートで撮像素子１１における電荷読み出しおよび撮像信号を出力する超高速連写を行う処理ブロックなどを設けてもよい。

静止画コーデック部２８は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式の種類は、特に問わないが、例えばＪＰＥＧ（Joint Photographic Experts Group）方式が適用される。すなわち、静止画コーデック部２５は、供給された静止画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。量子化されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。静止画コーデック部２８による圧縮静止画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

動画コーデック部２９は、ベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式の種類は特に問わないが、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式や、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）方式などを適用することができる。以下では、動画コーデック部２９は、圧縮符号化方式としてＭＰＥＧ２方式を適用するものとする。

動画コーデック部２９は、例えば、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、動画コーデック部２９は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。動画コーデック部２９による圧縮動画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

表示制御部３０は、供給された画像データを表示装置３５に表示可能な形式の信号に変換する。表示装置３５は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像装置１におけるビューファインダとして用いられるとともに、記録媒体３６から再生された画像のモニタとして用いられる。

ＣＰＵ３１に、ＲＯＭ（Read Only Memory）３７と入力デバイス３８とが接続される。ＣＰＵ３１は、図示されないＲＡＭ（Random Access Memory）をワークメモリとして用い、ＲＯＭ３７に予め記憶されたプログラムに従いこの撮像装置１の全体の動作を制御する。

例えば、ＣＰＵ３１は、バス２１Ａおよびバス２１Ｂを介して信号処理部２０の各部とコマンドやデータのやりとりを行い、信号処理部２０の各部を制御する。また、ＣＰＵ３１は、上述した入力デバイス３８に対する操作に応じた制御信号や撮像信号などに基づき、光学系１０のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、駆動部１３に供給する。駆動部１３は、供給された制御信号に応じて光学系１０の各部の制御を行う。また、ＣＰＵ３１は、タイミングジェネレータ１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

タイミングジェネレータ１４は、ＣＰＵ３１から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号をといった、撮像素子１１から出力された撮像信号に対する処理に必要なタイミング信号を生成する。

入力デバイス３８は、この撮像装置１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、電源部４１による電源供給のＯＮ／ＯＦＦを切り替える電源キー、撮影モードや記録モードといった撮像装置１における動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、入力デバイス３８には、この撮像装置１で静止画を撮影する際に用いられるシャッタボタンや、動画や静止画を撮影する際に光学系１０のフォーカス、絞り、ズームなどを操作するための操作子なども設けられる。

外部Ｉ／Ｆ３２は、この撮像装置１と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ３３に対して、ＲＡＭ３９が接続される。ＲＡＭ３９は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ（Synchronous Dynamic Random-Access Memory）であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ３９は、バス２１Ａに接続される各部と共用して用いられる。メモリコントローラ３３は、このＲＡＭ３９に対するアクセス制御を行う。バス２１Ａに接続される各処理ブロックにおいて、ＲＡＭ３９に対する転送要求が発生した場合には、バス２１Ａからメモリコントローラ３３に対して転送要求が渡され、メモリコントローラ３３は、この転送要求に従いＲＡＭ３９へのアクセスを発生させる。

記録再生制御部３４は、記録媒体３６に対するデータの記録制御や、記録媒体３６に記録されたデータの再生制御を行う。記録媒体３６としては、例えば着脱可能な不揮発性メモリを用いることができる。また、記録媒体３６として記録可能なタイプの光ディスクを用いることもできる。さらに、着脱可能または撮像装置１に内蔵されるハードディスクを記録媒体３６として用いることもできる。勿論、記録媒体３６は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。

内蔵メモリ５０は、バス２１Ｂに接続される各部と共用して用いられる。なお、ここでは図示しないが、内蔵メモリ５０には、この内蔵メモリ５０に対するアクセス制御を行うメモリコントローラが含まれているものとする。例えば、バス２１Ｂに接続される各処理ブロックにおいて、内蔵メモリ５０に対する転送要求が発生した場合には、バス２１Ｂから内蔵メモリ５０に対して転送要求が渡され、内蔵メモリ５０に設けられたメモリコントローラが、この転送要求に従い内蔵メモリ５０へのアクセスを発生させる。

内蔵メモリ５０としては、例えばＳＲＡＭ（Static Random-Access Memory）やＤＲＡＭ（Dynamic Random-Access Memory）などを用いることができる。内蔵メモリ５０としてＳＲＡＭを用いた場合には、データの入出力の際のデータ長に依らず、また、リフレッシュ動作が不要であるため、ＤＲＡＭを用いた場合と比較して転送効率がよく、書き込みや読み出し処理の際の応答時間を短縮することができる。また、ＳＲＡＭのデータ幅や分割構成によっては、メモリのアクセス帯域を向上させることができる。

このような構成による撮像装置１における一例の動作について、概略的に説明する。この発明の実施の一形態では、各処理ブロックにおけるそれぞれの処理の際に、共通に用いられるメモリとして内蔵メモリ５０を設け、動作モード毎の処理に応じて、内蔵メモリ５０に対するアクセス領域を割り当てるようにしている。ここでは、動作の一例として、静止画記録の際の画角合わせを行う動作モードであるモニタリングモード時および静止画記録モード時の動作について説明する。

（１）モニタリングモード
先ず、この実施の一形態による撮像装置１におけるモニタリングモードの際の動作について説明する。静止画記録の際の画角合わせを行う動作モードであるモニタリングモード時には、図２に示すように、被写体からの光が光学系１０を介して撮像素子１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１２から出力されたＲＡＷデータは、信号処理部２０に入力され、センサＩ／Ｆ２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部２３で各種補正処理が施されて信号処理部２４に供給され、ベースバンドの動画データに変換され、解像度変換部２５に供給される。解像度変換部２５に供給された動画データは、供給された動画データの解像度が、例えば表示装置３５に表示するのに適した解像度に変換される。そして、解像度変換部２５で解像度が変換された動画データは、バス２１Ｂを介して内蔵メモリ５０に書き込まれる。

内蔵メモリ５０に書き込まれた動画データは、所定に内蔵メモリ５０から読み出され、バス２１Ｂを介して表示制御部３０に供給され、モニタリング画像として表示装置３５に表示される。

また、例えば、モニタリング動作中に被写体認識処理を行う場合には、モニタリング画像をベースにして、パターンマッチング処理に必要な縮小画像データや探索領域単位の画像データが切り出され、内蔵メモリ５０に用意される。そして、これらの画像データがバス２１Ｂを介して被写体認識処理部２７に供給される。

ここで、この発明の実施の一形態による撮像装置１におけるモニタリングモードの際の動作についての理解を容易とするため、従来の撮像装置１００におけるモニタリングモードの際の動作について、概略的に説明する。従来の撮像装置１００におけるモニタリングモードでは、図３に示すように、被写体からの光が光学系１１０を介して撮像素子１１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１１２から出力されたＲＡＷデータは、信号処理部１２０に入力され、センサＩ／Ｆ１２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ１２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部１２３で各種補正処理が施されて信号処理部１２４に供給され、ベースバンドの動画データに変換され、解像度変換部１２５に供給される。解像度変換部１２５に供給された動画データは、供給された動画データの解像度が、例えば表示装置１３５に表示するのに適した解像度に変換される。そして、解像度変換部１２５で解像度が変換された動画データは、バス１２１を介してＲＡＭ１３９に書き込まれる。

ＲＡＭ１３９に書き込まれた動画データは、所定にＲＡＭ１３９から読み出され、バス１２１を介して表示制御部１３０に供給され、モニタリング画像として表示装置１３５に表示される。

また、例えば、モニタリング動作中に被写体認識処理を行う場合には、ＲＡＭ１３９に書き込まれた動画データがモニタリング画像として被写体認識処理部１２７に供給され、被写体認識処理部１２７に設けられたメモリに格納される。そして、モニタリング画像をベースにして、パターンマッチング処理に必要な縮小画像データや探索領域単位の画像データが切り出され、被写体認識処理が行われる。

このように、この実施の一形態では、モニタリングモードの際に、モニタリング画像をＲＡＭ３９を介さずに内蔵メモリ５０を介して表示させることにより、ＲＡＭ３９およびメモリコントローラ３３で消費される電力を削減することができる。例えば、内蔵メモリ５０を用いた場合の消費電力は、ＲＡＭ３９を用いた場合と比較して、１／５〜１／１０程度に削減することができる。

また、各処理ブロックで共通で使用される内蔵メモリ５０を設けることにより、通常、被写体認識処理部２７に設けられている画像メモリが不要となるため、メモリの増加を防ぎ、コストを低減することができる。

（２）静止画記録モード
次に、この実施の一形態による撮像装置１における静止画記録モードの際の動作について説明する。静止画記録は、通常、モニタリング中に行われる。先ず、例えばモニタリング中に、静止画の記録を指示するために、入力デバイス３８として設けられたシャッタボタンが押下される。シャッタボタンの押下に応じた制御信号が入力デバイス３８からＣＰＵ３１に供給される。ＣＰＵ３１は、この制御信号に基づき、撮像装置１の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、図４に示すように、シャッタボタンが押下されたタイミングに対応するＲＡＷデータが、フロントエンド部１２から出力され、信号処理部２０に入力される。信号処理部２０に入力されたＲＡＷデータは、センサＩ／Ｆ２２に供給され、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部２３で各種補正処理が施され、バス２１Ａを介してメモリコントローラ３３に供給され、ＲＡＭ３９に格納される。

ＲＡＭ３９に格納されたＲＡＷデータは、所定のタイミングでＲＡＭ３９から読み出され、信号処理部２４に供給される。信号処理部２４に供給されたＲＡＷデータは、ベースバンドの静止画データに変換され、バス２１Ｂを介して内蔵メモリ５０に格納される。内蔵メモリ５０に格納されたベースバンドの静止画データは、所定のタイミングで内蔵メモリ５０から読み出され、解像度変換部２５に供給されて解像度変換を施され、バス２１Ｂを介して内蔵メモリ５０に格納される。解像度変換された静止画データは、内蔵メモリ５０から所定に読み出され、バス２１Ｂを介して静止画コーデック部２８に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。そして、圧縮静止画データは、バス２１Ｂを介して記録再生制御部３４に供給され、記録媒体３６に記録される。

一方、従来の撮像装置１００における静止画記録モードでは、例えばモニタリング中に、静止画の記録を指示するために、入力デバイス３８として設けられたシャッタボタンが押下される。シャッタボタンの押下に応じた制御信号が入力デバイス３８からＣＰＵ３１に供給される。ＣＰＵ３１は、この制御信号に基づき、撮像装置１の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、図５に示すように、シャッタボタンが押下されたタイミングに対応するＲＡＷデータが、フロントエンド部１１２から出力され、信号処理部１２０に入力される。信号処理部１２０に入力されたＲＡＷデータは、センサＩ／Ｆ１２２に供給され、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部１２３で各種補正処理が施され、バス１２１を介してメモリコントローラ１３３に供給され、ＲＡＭ１３９に格納される。

ＲＡＭ１３９に格納されたＲＡＷデータは、所定のタイミングでＲＡＭ１３９から読み出され、信号処理部１２４に供給される。信号処理部１２４に供給されたＲＡＷデータは、ベースバンドの静止画データに変換され、バス１２１を介してＲＡＭ１３９に格納される。ＲＡＭ１３９に格納されたベースバンドの静止画データは、所定のタイミングでＲＡＭ１３９から読み出され、解像度変換部１２５に供給されて解像度変換を施され、バス１２１を介してＲＡＭ１３９に格納される。解像度変換された静止画データは、ＲＡＭ１３９から所定に読み出され、バス１２１を介して静止画コーデック部１２８に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。そして、圧縮静止画データは、バス１２１を介して記録再生制御部１３４に供給され、記録媒体１３６に記録される。

このように、この実施の一形態では、信号処理部２４で所定に信号処理を施された静止画データや、解像度変換された静止画データ、静止画コーデック部２８で圧縮処理が施された圧縮静止画データを内蔵メモリ５０に格納し、ＲＡＭ３９へのアクセス量を減らすことにより、消費電力を低減させることができる。

特に、より高い静止画処理性能が求められる場合には、各処理ブロックの処理性能を上げるとともに、ＲＡＭ３９へのアクセス帯域を上げる必要がある。しかしながら、この発明の実施の一形態では、所定に処理が施された静止画データなどの中間データのアクセス帯域分を内蔵メモリ５０へ配分することができるため、ＲＡＭ３９に対する駆動周波数の増大を抑制することができ、消費電力を低減させるとともにコストを抑えることができる。

なお、図示しないが、ＮＲ／超解像度処理部２６における処理についても同様に、従来ＮＲ／超解像度処理部２６に内蔵していた中間メモリの替わりに内蔵メモリ５０を用いることで、ＲＡＭ３９へのアクセスを抑制することができ、消費電力を低減させることができる。

ここで、例えば、モニタリング動作中に動画処理や被写体認識処理などの他の処理を行う場合について考える。例えば、水平３２０画素、垂直２４０画素を画枠とするＱＶＧＡ（Quad Video Graphics Array）程度のサイズの画像をモニタリング画像として表示装置３５に表示させる場合には、内蔵メモリ５０の容量として、「３２０画素×２４０画素×１６ｂｉｔ×２面＝２．３４Ｍｂｉｔ」程度必要となる。

このとき、例えば、内蔵メモリ５０として３．５Ｍｂｉｔの容量のメモリを用意すると、モニタリング画像用に用いられる容量を差し引いた残りの１．１６Ｍｂｉｔ分は、別の用途で使用することができる。また、内蔵メモリ５０にさらに空き容量がある場合には、例えば、ＣＰＵの処理領域としてプログラムや画像データのワークエリアとして使用することも可能である。

内蔵メモリ５０の容量は、各処理で扱う画像データのサイズやコストとのバランスを考慮して決定すると好ましい。すなわち、モニタリング画像のサイズがＱＶＧＡよりも大きい場合には、内蔵メモリ５０の容量を増やすことによって、上述と同様にモニタリングとは別の処理を行うことが可能となる。しかしながら、コストを考慮して内蔵メモリ５０の容量を増やすことが困難である場合には、例えば、画像処理に必要な２面のフレームメモリ分の容量のうち、少なくとも１面分の容量の内蔵メモリ５０を設け、一方の１面については内蔵メモリ５０を用い、他方の１面についてはＲＡＭ３９を用いることによっても処理を行うことができるとともに、コストに見合った消費電力の削減が可能となる。

また、内蔵メモリ５０を分割可能な構成とし、明らかに使用しないエリアが分割の単位である場合には、それらのメモリに供給される電源やクロックを遮断することにより、不要な待機電流の消費を抑えることもできる。

次に、各処理における内蔵メモリ５０の用途について説明する。図６は、それぞれの動作モードにおける各処理の際の、内蔵メモリ５０の用途を示す。モニタリングモードにおいて、内蔵メモリ５０は、モニタリング画像を表示装置３５に表示する際の画像データを格納するフレームメモリとして用いられる。また、被写体認識処理を行う場合には、パターンマッチング処理に用いられる画像データを格納する画像メモリとしても用いられる。

静止画記録モードにおいて、内蔵メモリ５０は、静止画データを所定に分割したブロック毎に信号処理を行う際の中間メモリとして用いられる。また、圧縮符号化処理が施された圧縮静止画データを、記録再生制御部３４を介して記録媒体３６に出力する際の中間バッファとしても用いられる。さらに、ＮＲ／超解像度処理を行う場合には、フレーム間の動きベクトルを検出する際に用いられる画像データを格納する画像メモリや、複数の画像データを重ね合わせる際の中間メモリとしても用いられる。

動画記録モードにおいて、内蔵メモリ５０は、モニタリング画像を表示装置３５に表示する際の画像データを格納するフレームメモリとして用いられる。また、フレーム間の動きベクトルを検出する際に用いられる画像データを格納する画像メモリとしても用いられる。さらに、被写体認識処理を行う場合には、パターンマッチング処理に用いられる画像データを格納する画像メモリとしても用いられる。

再生モードにおいて、内蔵メモリ５０は、モニタリング画像を表示装置３５に表示する際の画像データを格納するフレームメモリとして用いられる。また、静止画または動画を再生する場合には、記録再生制御部３４を介して記録媒体３６から入力された圧縮静止画データまたは圧縮動画データを格納するバッファとしても用いられる。

また、全ての動作モードに共通する用途として、例えば、内蔵メモリ５０に空き容量がある場合には、ＣＰＵ３１の処理領域として、内蔵メモリ５０をプログラムや画像データのワークエリアとして用いることもできる。

なお、各処理ブロックから内蔵メモリに対しては、通常、アドレス制御のみで任意にアクセス可能である。複数の処理ブロックなどからの転送要求を同時に受けた場合、内蔵メモリ５０に設けられたメモリコントローラは、優先順位づけやラウンドロビンなどのバス調停処理を行い、内蔵メモリ５０に対するトランザクションを発生させるようにされている。

このように、この発明の実施の一形態では、各処理において使用することができる内蔵メモリ５０を設け、この内蔵メモリ５０を共用化して使用することにより、ＲＡＭ３９に対するアクセスを抑制するようにしている。ＲＡＭ３９およびＲＡＭ３９に対するアクセスを制御するメモリコントローラ３３における消費電力は、内蔵メモリ５０を動作させるために必要な消費電力よりも高いため、ＲＡＭ３９に対するアクセスを抑制することにより、消費電力を削減することができる。

また、この発明の実施の一形態では、様々な処理において内蔵メモリ５０を共用化しているため、各処理ブロックに設けられた画像メモリやフレームメモリ等のメモリを削減することができ、コストを低減させることができる。

以上、この発明の実施の一形態について説明したが、この発明は、上述したこの発明の実施の一形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。この例では、ＲＡＭ３９にアクセスするためのバス２１Ａと、内蔵メモリ５０にアクセスするためのバス２１Ｂの２系統のバスを設けるように説明したが、これはこの例に限られず、例えば、ＲＡＭ３９および内蔵メモリ５０にアクセスするためのバスを共通化して１系統としてもよい。ただし、バスを２系統とした場合は、バスを１系統とした場合と比較して転送効率が向上するのでより好ましい。

この発明の実施の一形態に適用可能な撮像装置の一例の構成を示すブロック図である。 この発明の実施の一形態に適用可能な撮像装置におけるモニタリングモード時の一例の動作について説明するための略線図である。 従来の撮像装置におけるモニタリングモード時の一例の動作について説明するための略線図である。 この発明の実施の一形態に適用可能な撮像装置における静止画記録モード時の一例の動作について説明するための略線図である。 従来の撮像装置における静止画記録モード時の一例の動作について説明するための略線図である。 各動作モードにおける内蔵メモリの用途について説明するための略線図である。 動きベクトル検出処理について説明するための略線図である。 動きベクトル検出処理について説明するための略線図である。 従来の撮像装置の一例の構成を示すブロック図である。

符号の説明

１ 撮像装置
１１ 撮像素子
２０ 信号処理部
２１Ａ、２１Ｂ バス
２２ センサインターフェース
２３ 検波補正部
２４ 信号処理部
２５ 解像度変換部
２６ ＮＲ／超解像度処理部
２７ 被写体認識処理部
２８ 静止画コーデック部
２９ 動画コーデック部
３０ 表示制御部
３１ ＣＰＵ
３２ 外部インターフェース
３３ メモリコントローラ
３４ 記録再生制御部
３５ 表示装置
３６ 記録媒体
３７ ＲＯＭ
３８ 入力デバイス
３９ ＲＡＭ
４０ クロックジェネレータ
４１ 電源部
５０ 内蔵メモリ
５１ ブリッジ回路

Claims (6)

1. フレームタイミングに同期して画像信号が入力される入力部と、
   画像信号に対して所定の信号処理を施す信号処理部と、
   第１の電圧で駆動され、外部に設けられた外部メモリに対する書き込みおよび読み出しを制御するメモリ制御部と、
   第２の電圧で駆動される内部メモリと、
   上記内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御部と
   を有し、
   上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、
   上記入力部から入力された画像信号が上記内部メモリに書き込まれ、
   上記信号処理部は、
   上記入力部から入力された画像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、
   上記入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込む
   ことを特徴とする信号処理装置。
2. 請求項１に記載の信号処理装置において、
   上記内部メモリにアクセスするための第１のバスと、
   上記メモリ制御部を介して上記外部メモリにアクセスするための第２のバスと、
   上記第１のバスおよび上記第２のバスが接続され、上記内部メモリおよび上記外部メモリの間で互いにデータを転送するブリッジ回路と
   を有することを特徴とする信号処理装置。
3. フレームタイミングに同期して画像信号が入力される入力ステップと、
   画像信号に対して所定の信号処理を施す信号処理のステップと、
   第１の電圧で駆動され、外部に設けられた外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、
   第２の電圧で駆動される内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御のステップと
   を有し、
   上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、
   上記入力部から入力された画像信号が上記内部メモリに書き込まれ、
   上記信号処理のステップは、
   上記入力部から入力された画像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、
   上記入力部から入力された画像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込む
   ことを特徴とする信号処理方法。
4. 光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、
   撮像信号に対して所定の信号処理を施して画像信号を生成する信号処理部と、
   第１の電圧で駆動される外部メモリと、
   上記第１の電圧で駆動され、上記外部メモリに対する書き込みおよび読み出しを制御するメモリ制御部と、
   第２の電圧で駆動される内部メモリと、
   上記内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御部と
   を有し、
   上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、
   上記撮像部から出力された撮像信号が上記内部メモリに書き込まれ、
   上記信号処理部は、
   上記撮像部から出力された撮像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、
   上記撮像部から出力された撮像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込む
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   上記内部メモリにアクセスするための第１のバスと、
   上記メモリ制御部を介して上記外部メモリにアクセスするための第２のバスと、
   上記第１のバスおよび上記第２のバスが接続され、上記内部メモリおよび上記外部メモリの間で互いにデータを転送するブリッジ回路と
   を有することを特徴とする信号処理装置。
6. 光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、
   撮像信号に対して所定の信号処理を施して画像信号を信号処理部で生成する信号処理のステップと、
   上記第１の電圧で駆動され、該第１の電圧で駆動される外部メモリに対する書き込みおよび読み出しをメモリ制御部で制御するステップと、
   第２の電圧で駆動される内部メモリから上記フレームタイミングで読み出された画像信号を出力する表示制御のステップと
   を有し、
   上記内部メモリおよび上記信号処理部が１の集積回路内に構成され、
   上記撮像ステップで出力された撮像信号が上記内部メモリに書き込まれ、
   上記信号処理のステップは、
   上記撮像ステップで出力された撮像信号に対して所定の信号処理を行い、該信号処理に伴う中間データを上記内部メモリに書き込み、
   上記撮像ステップで出力された撮像信号を所定のタイミングで１フレーム分取り込み、上記メモリ制御部を介して上記外部メモリに書き込む
   ことを特徴とする撮像装置の制御方法。

Images