JP2021184576A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】メモリに供給するクロック信号の周波数を必要最低限の周波数に制御することにより、メモリへのアクセスを完全に停止することなく、メモリの消費電力を抑える。【解決手段】撮像装置は、光電変換により画像データを生成する撮像センサと、メモリと、前記メモリに対するアクセスを制御するメモリコントローラと、前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給するクロック信号の周波数を制御する周波数制御部とを有する。【選択図】図２

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

近年、デジタルスチルカメラやビデオカメラなどの撮像装置において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）用処理プログラムや画像処理部で生成される中間画像等を格納するために中間バッファが用いられる。その中間バッファとして、大容量で比較的安価なメモリのＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられる。撮像装置において電池（バッテリー）の消耗を抑えるため、消費電力を低減することが非常に重要であり、ＳＤＲＡＭの消費電力を抑えることが求められている。

特許文献１では、撮影開始の指示から処理開始の直前までＳＤＲＡＭに電流を供給せず、処理開始から処理終了の期間のみＳＤＲＡＭに電流を供給することで、バッテリーの消耗を抑える技術が開示されている。

また、低消費電力のＳＤＲＡＭ規格としてＬＰＤＤＲ５が規定されている。ＬＰＤＤＲ５では、動的に電圧と周波数を制御するＤＶＦＳ（Ｄｙｎａｍｉｃ Ｖｏｌｔａｇｅ ａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌｉｎｇ）に対応している。ＬＰＤＤＲ５の電源電圧は、ＶＤＤ１、ＶＤＤ２、ＶＤＤＱの３種類があり、ＶＤＤ２とＶＤＤＱは転送帯域によって必要となる電圧が異なる。このため、撮影時の動作状況に応じて、必要最低限の電圧と周波数となるように制御することで、ＳＤＲＡＭの消費電力を抑えることができる。

特開２００２−２８１４３０号公報

しかし、特許文献１では、消費電力を抑えるために電流を供給しない期間では、ＳＤＲＡＭにアクセスすることができない。このため、電流供給の制御プログラムや電流を供給しない期間のシステム制御プログラムをＳＤＲＡＭに配置することができないという課題がある。

本発明の目的は、メモリに供給するクロック信号の周波数を必要最低限の周波数に制御することにより、メモリへのアクセスを完全に停止することなく、メモリの消費電力を抑えることである。

本発明の撮像装置は、光電変換により画像データを生成する撮像センサと、メモリと、前記メモリに対するアクセスを制御するメモリコントローラと、前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給するクロック信号の周波数を制御する周波数制御部とを有する。

本発明によれば、メモリに供給するクロック信号の周波数を必要最低限の周波数に制御することにより、メモリへのアクセスを完全に停止することなく、メモリの消費電力を抑えることができる。

撮像装置の構成例を示す図である。 ＳＤＲＡＭに対するアクセスを示すタイミングチャートである。 転送帯域テーブルの説明図である。 撮像装置の構成例を示す図である。 圧縮率別の補正量を示す図である。 残転送量の変化を示すグラフである。 撮像装置の構成例を示す図である。 ＳＤＲＡＭに対するアクセスを示すタイミングチャートである。 ＶＤＤＱの電圧制御についての説明図である。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１７０の構成例を示す図である。撮像装置１７０は、ＬＳＩ１００と、撮像センサ１２０と、表示部１３０と、記録媒体１４０と、ＳＤＲＡＭ１５０と、電源制御部１６０とを有する。撮像センサ１２０は、被写体像の光電変換により、画像データを生成する。ＬＳＩ１００は、撮像センサ１２０により生成された画像データに対して、画像処理を行う。表示部１３０は、ＬＳＩ１００により処理された画像データを表示する。記録媒体１４０は、ＬＳＩ１００により処理された静止画データや動画データを記録する。ＳＤＲＡＭ１５０は、ＬＰＤＤＲ５規格に準拠したメモリであり、プログラムを記憶し、ＬＳＩ１００により処理された中間画像等を一時記憶する。電源制御部１６０は、撮像装置１７０の電源を制御する。

次に、ＬＳＩ１００の内部構成について説明する。ＬＳＩ１００は、ＣＰＵ１０１と、タイミング制御部１０２と、センサ制御部１０３と、表示制御部１０４と、撮像処理部１０５と、メモリコントローラ１０６とを有する。さらに、ＬＳＩ１００は、現像処理部１０７と、符号化処理部１０８と、周波数制御部１０９と、転送帯域テーブル１１０とを有する。

ＣＰＵ１０１は、ユーザの操作により選択された撮影モード（動画撮影や静止画撮影等の動作モードや撮影間隔等の情報）に応じて、タイミング制御部１０２に対して、周期設定を行う。タイミング制御部１０２は、設定された周期に応じて、センサ制御部１０３と表示制御部１０４に対して、水平および垂直の同期信号を出力する。

センサ制御部１０３は、入力された同期信号に合わせて、撮像センサ１２０を制御する。撮像処理部１０５は、撮像センサ１２０により生成された画像データに対して、欠陥画素補正およびシェーディング補正などの撮像処理を行う。

メモリコントローラ１０６は、撮像処理部１０５により処理された画像データをＳＤＲＡＭ１５０に記録する。メモリコントローラ１０６は、ＳＤＲＡＭ１５０の動作条件を設定するモードレジスタの制御や、ＳＤＲＡＭ１５０に対してリードやライトの転送を行うためのコマンド制御を行う。メモリコントローラ１０６は、ＳＤＲＡＭ１５０に対するアクセスを制御する。

現像処理部１０７は、メモリコントローラ１０６を経由して、ＳＤＲＡＭ１５０に記録されている撮像処理後の画像データを読み出す。現像処理部１０７は、その画像データに対して、画素補間、フィルタ処理、縮小のリサイズ処理、色変換処理、例えば圧縮画像データに保存するのに最適なフォーマットであるＹＣｂＣｒ形式のフォーマットに変換する処理などの現像処理を行う。現像処理部１０７は、現像処理後の画像データを、メモリコントローラ１０６経由でＳＤＲＡＭ１５０に記録する。

表示制御部１０４は、同期信号に合わせて、メモリコントローラ１０６を経由しＳＤＲＡＭ１５０より現像処理後の画像データを読み出し、読み出した画像データを表示部１３０に表示する。符号化処理部１０８は、メモリコントローラ１０６を経由し、ＳＤＲＡＭ１５０より現像処理後の画像データを読み出し、読み出した画像データに対して、Ｈ．２６４等の圧縮・符号化処理を行い、処理後の画像データを記録媒体１４０に記録する。

周波数制御部１０９は、ＣＰＵ１０１からの指示により、メモリコントローラ１０６に供給するクロック信号の周波数を制御する。転送帯域テーブル１１０は、撮影モード毎に必要となる転送帯域情報が予め記録されており、ＣＰＵ１０１より入力される撮影モードに対応した転送帯域情報をＣＰＵ１０１に出力する。

図２は、ＳＤＲＡＭ１５０に対するアクセスを示すタイミングチャートである。図３は、転送帯域テーブル１１０の説明図である。ＬＰＤＤＲ５の電源電圧は、ＶＤＤ２とＶＤＤＱの組み合わせで、第１〜第３の転送帯域グループに分けられる。図２〜図３において、周波数ＤａｔａＲａｔｅ１は、電源電圧ＶＤＤ２の下限値と電源電圧ＶＤＤＱの下限値で動作可能となる第１の転送帯域グループの最大周波数である。周波数ＤａｔａＲａｔｅ２は、電源電圧ＶＤＤ２の下限値と電源電圧ＶＤＤＱの上限値で動作可能となる第２の転送帯域グループの最大周波数である。周波数ＤａｔａＲａｔｅ３は、電源電圧ＶＤＤ２の上限値と電源電圧ＶＤＤＱの上限値で動作可能となる第３の転送帯域グループの最大周波数である。図２〜図３より、動画撮影中のＳＤＲＡＭ１５０の低電力制御について説明する。

図３のように、転送帯域テーブル１１０は、開始時間ｔ０では周波数ＤａｔａＲａｔｅ１を示し、開始時間ｔ１では周波数ＤａｔａＲａｔｅ３を示し、開始時間ｔ２ではＤａｔａＲａｔｅ２を示し、開始時間ｔ４では周波数ＤａｔａＲａｔｅ１を示す。

図２において、横軸は時間を示しており、時間ｔ０〜ｔ５は画像１枚の撮影期間を示す。図２では、ＣＰＵ１０１、表示制御部１０４、撮像処理部１０５、現像処理部１０７、および符号化処理部１０８が、それぞれ、ＳＤＲＡＭ１５０にアクセスする期間を示す。さらに、図２では、ＳＤＲＡＭ１５０にアクセスするために必要となる転送帯域に対応したクロック信号の周波数を示す。

図２では、ＣＰＵ１０１と表示制御部１０４は、画像１枚の撮影期間の時間ｔ０〜ｔ５では、常時、ＳＤＲＡＭ１５０にアクセスしている。時間ｔ０〜ｔ１およびｔ４〜ｔ５は、ＣＰＵ１０１と表示制御部１０４だけがＳＤＲＡＭ１５０にアクセスする時間である。時間ｔ０〜ｔ１およびｔ４〜ｔ５では、周波数制御部１０９は、図３の転送帯域テーブル１１０に従い、ＳＤＲＡＭ１５０にアクセスするためのクロック信号の周波数をＤａｔａＲａｔｅ１に制御する。

撮像処理部１０５が撮像センサ１２０から画像データを読み出し期間では、撮像センサ１２０から周期的に出力される画像データを止めることができない。そのため、撮像処理部１０５がＳＤＲＡＭ１５０にアクセスする時間ｔ１〜ｔ２では、周波数制御部１０９は、図３の転送帯域テーブル１１０に従い、ＳＤＲＡＭ１５０にアクセスするためのクロック信号の周波数をＤａｔａＲａｔｅ３に制御する。

現像処理部１０７と符号化処理部１０８は、１枚の撮影期間の時間ｔ０〜ｔ５内に必要な処理が完了可能な周波数で動作すればよい。現像処理部１０７と符号化処理部１０８がＳＤＲＡＭ１５０にアクセスする時間ｔ２〜ｔ４では、周波数制御部１０９は、図３の転送帯域テーブル１１０に従い、ＳＤＲＡＭ１５０にアクセスするためのクロック信号の周波数をＤａｔａＲａｔｅ２に制御する。

図３の転送帯域テーブル１１０は、図２に示したタイミングに応じて、撮影モード毎に開始時間と周波数を記憶する。ここで、実際には、周波数の変更や電源電圧の変更には、所定のシーケンスを踏む必要がある。このため、図２で示したタイミングより前の時間から処理を開始する必要があるが、説明を簡単化するため、変更にかかる時間はないものとしている。ＣＰＵ１０１は、転送帯域テーブル１１０の開始時間に合わせて、電源制御部１６０と周波数制御部１０９に、電源電圧と周波数の変更を指示する。

以上説明したように、第１の実施形態によれば、撮像装置１７０は、撮影モード毎に、図３の転送帯域テーブル１１０に合わせて、必要最低限の電源電圧と周波数を制御することで、ＳＤＲＡＭ１５０の消費電力を抑えることができる。

ＣＰＵ１０１、表示制御部１０４、撮像処理部１０５、現像処理部１０７、および符号化処理部１０８は、メモリコントローラ１０６を介してＳＤＲＡＭ１５０にアクセスする複数の処理部である。周波数制御部１０９は、複数の処理部の各々の処理の開始時間に応じて、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給するクロック信号の周波数を制御する。

周波数制御部１０９は、メモリコントローラ１０６とＳＤＲＡＭ１５０との間の転送量に応じて、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給するクロック信号の周波数を制御する。同様に、電源制御部１６０は、メモリコントローラ１０６とＳＤＲＡＭ１５０との間の転送量に応じて、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給する電源電圧を制御する。

（第２の実施形態）
第１の実施形態では、ＣＰＵ１０１が撮影モード毎に開始時間と周波数を転送帯域テーブル１１０に記録していた。この開始時間から次の開始時間までの期間は、予め固定的に決められた期間となる。しかし、実際のカメラシステムでは、キャプチャ画像によって、総転送量が変動するため、固定的に決められた期間は、変動分を考慮してマージンを持った、十分に長い期間を選択する必要がある。

変動要因としては、例えば、カメラシステムにおける顔検出数に応じた処理や、符号化処理における圧縮率が考えられる。第２の実施形態では、撮影モードを連写動作モードとした例を用いて、必要最小限の電圧と周波数で制御する期間を最大化する方法の一例を示す。

図４は、本発明の第２の実施形態による撮像装置１７０の構成例を示す図である。図４の撮像装置１７０は、図１の撮像装置１７０に対して、残帯域算出部１１１と、メモリ帯域観測部１１２を追加したものである。残帯域算出部１１１は、ＬＳＩ１００内に設けられる。メモリ帯域観測部１１２は、メモリコントローラ１０６内に設けられる。

撮像装置１７０は、電源電圧ＶＤＤ２とＶＤＤＱの組み合わせで決まる転送帯域グループのうち、より高い転送帯域の周波数（ＤａｔａＲａｔｅ２またはＤａｔａＲａｔｅ３）に設定した状態を通常モードとし、その期間を通常モード動作期間とする。

同様に、撮像装置１７０は、電源電圧ＶＤＤ２とＶＤＤＱの組み合わせで決まる転送帯域グループのうち、より低い転送帯域の周波数（ＤａｔａＲａｔｅ１）に設定した状態を低電力モードとし、その期間を低電力モード動作期間とする。

メモリ帯域観測部１１２は、メモリコントローラ１０６からＳＤＲＡＭ１５０に転送された転送量を、所定周期で観測し、観測した転送量を残帯域算出部１１１に通知する。

ＣＰＵ１０１は、所定周期を決定し、所定周期をメモリ帯域観測部１１２および残帯域算出部１１１に設定する。また、ＣＰＵ１０１は、撮影モードを転送帯域テーブル１１０に通知し、転送帯域テーブル１１０は、通知された撮影モードに応じた総転送量を、残帯域算出部１１１に通知する。さらに、ＣＰＵ１０１は、残帯域算出部１１１に対して、通常モード動作期間から低電力モードへ切り替え可能になる残転送量である低電力閾値を設定する。残転送量が低電力閾値より多ければ、高いメモリ転送帯域を必要とし、残転送量が低電力閾値より少なければ、低いメモリ転送帯域を必要とする。ＣＰＵ１０１は、残帯域算出部１１１に対して、変動パラメータ決定通知を出力し、補正転送量を設定する。

残帯域算出部１１１は、転送帯域テーブル１１０により通知された総転送量と、メモリ帯域観測部１１２で観測された所定周期毎の転送量と、変動パラメータ決定通知を受け取り、次のキャプチャ開始までの残転送量の算出を行う。ここで、変動パラメータは、例えば顔数であり、残帯域算出部１１１は、実際に検出された顔数に応じた補正転送量を用いて、残転送量を更新する。検出された顔数をＮ、顔一つ当たりの補正量をθ、現在の残転送量をＴＳａとしたとき、更新後の残転送量ＴＳｂの計算式を以下に示す。
ＴＳｂ＝ＴＳａ−Ｎ×θ

補正量θは、例えば６４００Ｂｙｔｅである。また、変動パラメータは、例えば符号化処理による圧縮率でもよい。図５は、圧縮率ごとの補正量を示す。例えば、圧縮率が８／８の場合、補正量は０ＫＢｙｔｅである。圧縮率が７／８の場合、補正量は２２１ＫＢｙｔｅである。圧縮率が６／８の場合、補正量は４４２ＫＢｙｔｅである。圧縮率が５／８の場合、補正量は６６３ＫＢｙｔｅである。圧縮率が４／８の場合、補正量は８８４ＫＢｙｔｅである。残帯域算出部１１１は、補正量を基に、残転送量を算出する。

残帯域算出部１１１は、変動パラメータ決定時以外では、総転送量から所定周期毎の転送量を減算することにより、残転送量を算出する。残帯域算出部１１１は、低電力閾値と残転送量を比較し、通常モードから低電力モードへ切り替えるタイミングを決定し、ＣＰＵ１０１に通知する。

次に、図６を用いて、変動パラメータ決定時の残転送量の変化、ならびに、低電力閾値における通常モードから低電力モードへの切り替えについて説明する。図６の実線は、変動パラメータによる補正を行わなかった場合の残転送量の推移である。図６の破線は、変動パラメータによる補正を行った場合の残転送量の推移である。時間ｔ０およびｔ５は、キャプチャ開始時である。時間ｔ１およびｔ６は、変動パラメータ決定時である。

残転送量Ａａは、キャプチャ開始時の時間ｔ０およびｔ５の総転送量を示す。残転送量Ａｂは、変動パラメータ決定時の時間ｔ１およびｔ６の補正直後の残転送量を示す。残転送量Ａｃは、通常モードや低電力モードにかかわらず一定量計上される残転送量を示す。λは補正転送量を示す。

残転送量がＡａから低電力閾値に到達するまでは、残帯域算出部１１１は、前回の残転送量から、メモリ帯域観測部１１２で観測された所定期間毎の転送量を減算することにより、今回の残転送量を算出する。

同様に、残転送量が低電力閾値からＡｃまでは、残帯域算出部１１１は、前回の残転送量から、メモリ帯域観測部１１２で観測された所定期間毎の転送量を減算することにより、今回の残転送量を算出する。ただし、低電力閾値からＡｃまでの残転送量は、Ａａから低電力閾値までの残転送量に対して、傾きが緩やかになる。これは、ＤＶＦＳ制御が低電力モードになり、ＳＤＲＡＭ１５０のクロック信号の周波数が低下するからである。

ここで、残転送量Ａｂにて変動パラメータによる補正を行った場合は、時間ｔ２で残転送量が低電力閾値に到達し、通常モードから低電力モードに切り替わる。それに対し、補正を行わない場合は、時間ｔ３で残転送量が低電力閾値に到達し、通常モードから低電力モードに切り替わる。この時間ｔ２からｔ３までが、本実施形態において低電力モード動作期間を最大化した期間である。

このように、本実施形態によれば、撮像装置１７０は、実際の動作状態に近い通常モード期間を算出でき、ＤＶＦＳによる十分な省電力効果が得られる。

メモリ帯域観測部１１２は、メモリコントローラ１０６とＳＤＲＡＭ１５０との間の所定周期ごとの転送量を観測する。周波数制御部１０９は、メモリコントローラ１０６とＳＤＲＡＭ１５０との間の撮影期間の総転送量と、メモリ帯域観測部１１２により観測された所定周期ごとの転送量とに応じて、クロック信号の周波数を制御する。そのクロック信号は、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給される。

周波数制御部１０９は、メモリコントローラ１０６とＳＤＲＡＭ１５０との間の撮影期間の総転送量から、メモリ帯域観測部１１２により観測された所定周期ごとの転送量を減算した残転送量に応じて、クロック信号の周波数を制御する。そのクロック信号は、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給される。

周波数制御部１０９は、その残転送量を転送量の変動パラメータに応じて補正した量に応じて、ＳＤＲＡＭ１５０に供給するクロック信号の周波数を制御する。変動パラメータは、画像データから検出された顔数、または画像データの圧縮率である。

（第３の実施形態）
第１の実施形態では、撮像装置１７０は、ＣＰＵ１０１が転送帯域テーブル１１０を用いてＳＤＲＡＭ１５０で必要となるクロック信号の周波数を決定し、電圧と周波数を制御していた。この電圧と周波数で動作する期間は、予め固定的に決められた期間となる。ＬＰＤＤＲ５の電源電圧において、電源電圧ＶＤＤ２は、上限電圧用の電源電圧ＶＤＤ２Ｈと下限電圧用の電源電圧ＶＤＤ２Ｌの２つの電源端子が用意されており、２つの電源電圧を常時供給しておくことで電源電圧変更の時間を不要とすることができる。

しかし、電源電圧ＶＤＤＱは、電源端子が１つしかないため、電源電圧変更時には供給する電源電圧を変更するための時間が必要となる。必要となる周波数に対して電源電圧が不足すると、処理が破綻するため、電源電圧を低電圧から高電圧に切り替える場合は、変更時間を考慮して、電源電圧を制御する必要がある。第３の実施形態では、撮影モードを静止画動作モードとした例を用いて、電源電圧ＶＤＤＱの電圧変更に必要な時間と撮影時の状況に応じて、電源電圧ＶＤＤＱを制御することで、ＳＤＲＡＭ１５０の消費電力を抑える方法の一例を示す。

図７は、本発明の第３の実施形態による撮像装置１７０の構成例を示す図である。図７の撮像装置１７０は、図１の撮像装置１７０に対して、画像評価部１１３を追加したものである。画像評価部１１３は、ＬＳＩ１００内に設けられる。

ＣＰＵ１０１は、シャッターが半押しされると、ＳＤＲＡＭ１５０に予め記録されている電源制御部１６０の電圧変更速度より、電源電圧ＶＤＤＱの下限値と上限値との一方から他方に変更するための時間を算出する。そして、ＣＰＵ１０１は、転送帯域テーブル１１０から通知される撮影モードで必要となる周波数と合わせて、電源電圧ＶＤＤＱを制御するタイミングを決定する。

画像評価部１１３は、撮像処理部１０５で補正処理された画像データをＳＤＲＡＭ１５０から読み出し、その画像データの被写体の明度を評価し、評価結果をＣＰＵ１０１に出力する。

ＣＰＵ１０１は、画像評価部１１３が出力する評価結果より、シャッター全押し時の露光時間を算出し、シャッター半押しが続く間は、露光時間を更新し続ける。シャッターが全押しされると、ＣＰＵ１０１は、露光時間をタイミング制御部１０２に出力する。また、ＣＰＵ１０１は、電源電圧ＶＤＤＱの電圧変更のための時間と露光時間より、電源電圧ＶＤＤＱの電圧変更タイミングを決定する。

図８（ａ）〜（ｄ）は、電源電圧ＶＤＤＱの電圧制御についての説明図である。図８（ａ）〜（ｄ）において、横軸は時間を示す。時間αは、電源電圧ＶＤＤＱの電圧を変更する時間である。時間βは、露光時間である。縦軸の周波数は、ＳＤＲＡＭ１５０に必要となるクロック信号の周波数を示している。電源電圧ＶＤＤＱは、電源電圧ＶＤＤＱの電圧レベルを示す。電源電圧ＶＤＤＱの上限値は、０．５Ｖである。電源電圧ＶＤＤＱの下限値は、０．３Ｖである。

時間ｔ０は、シャッター半押しを開始したタイミングである。シャッター半押しが続く間は、時間ｔ０〜ｔ３の動作が連続動作する。また、時間ｔ４は、シャッター全押しのタイミングである。シャッター全押しの時間ｔ４の後、時間ｔ６で１枚の撮影を実行する。

図９は、転送帯域テーブル１１０の説明図である。転送帯域テーブル１１０は、開始時間ｔ０では周波数ＤａｔａＲａｔｅ１を示し、開始時間ｔ１では周波数ＤａｔａＲａｔｅ２を示し、開始時間ｔ４では周波数ＤａｔａＲａｔｅ１を示し、開始時間ｔ５では周波数ＤａｔａＲａｔｅ３を示す。以下、図７〜図９を参照し、静止画撮影時の電源電圧ＶＤＤＱの電圧制御について説明する。

図８（ａ）および（ｂ）は、シャッター半押し継続時の電源電圧ＶＤＤＱの電圧制御を示している。図８（ａ）および（ｂ）において、シャッター半押しが続く期間は、時間ｔ２〜ｔ３と時間ｔ０〜ｔ１を一つの連続した期間γである。ここで、この期間γは、シャッター半押し時の撮影周期によって変化するものである。電源電圧ＶＤＤＱの電圧を上げ下げする時間は２αとなるため、時間βと２αの関係によって、電源電圧ＶＤＤＱの制御方法を変える必要がある。図８（ａ）は、γ＞２αの場合の制御を示し、図８（ｂ）は、γ＜２αの場合の制御を示す。

時間ｔ０でシャッターが半押しされると、時間ｔ１からα遡った時間ｔ１−αで電源電圧ＶＤＤＱの変更を開始し、電源電圧ＶＤＤＱの上限電圧が不要となる時間ｔ２で電源電圧ＶＤＤＱの変更を開始するように、ＣＰＵ１０１は電源制御部１６０を制御する。図８（ａ）では、時間ｔ２〜ｔ３と時間ｔ０〜ｔ１の合計期間γが２αより大きいため、時間ｔ２で電源電圧ＶＤＤＱの変更を許可している。図８（ｂ）では、時間ｔ２〜ｔ３と時間ｔ０〜ｔ１の合計期間γが２αより小さいため、電源電圧ＶＤＤＱの変更を禁止し、電源電圧ＶＤＤＱの変更を行わない。

周波数制御部１０９は、時間ｔ１〜ｔ２の期間では、クロック信号の周波数を周波数ＤａｔａＲａｔｅ２に制御する。そのクロック信号は、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給される。電源制御部１６０は、時間ｔ１〜ｔ２の期間では、電源電圧ＶＤＤＱを０．５Ｖの電圧に制御する。電源電圧ＶＤＤＱは、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給される。

周波数制御部１０９は、時間ｔ１〜ｔ２の期間に続く時間ｔ２〜ｔ１の期間では、クロック信号の周波数を周波数ＤａｔａＲａｔｅ１に制御する。周波数ＤａｔａＲａｔｅ１は、周波数ＤａｔａＲａｔｅ２より低い。

図８（ａ）は、時間ｔ２〜ｔ１の期間γが、電源電圧ＶＤＤＱの０．５Ｖの電圧から０．３Ｖの電圧に変化するのに要する期間αと電源電圧ＶＤＤＱの０．３Ｖの電圧から０．５Ｖの電圧に変化するのに要する期間αとの合計２αより長い場合である。電源制御部１６０は、時間ｔ２〜ｔ１の期間では、図８（ａ）の場合には、電源電圧ＶＤＤＱを０．５Ｖの電圧から０．３Ｖの電圧に変化させ、電源電圧ＶＤＤＱを０．３Ｖの電圧に維持し、電源電圧ＶＤＤＱを０．３Ｖの電圧から０．５Ｖの電圧に変化させる。

図８（ｂ）は、時間ｔ２〜ｔ１の期間γが、電源電圧ＶＤＤＱの０．５Ｖの電圧から０．３Ｖの電圧に変化するのに要する期間αと電源電圧ＶＤＤＱの０．３Ｖから０．５Ｖに変化するのに要する期間αとの合計２αより短い場合である。電源制御部１６０は、時間ｔ２〜ｔ１の期間では、図８（ｂ）の場合には、電源電圧ＶＤＤＱを０．５Ｖの電圧に制御する。

周波数制御部１０９は、時間ｔ２〜ｔ１の期間に続く時間ｔ１〜ｔ２の期間では、クロック信号の周波数を周波数ＤａｔａＲａｔｅ２に制御する。電源制御部１６０は、時間ｔ２〜ｔ１の期間に続く時間ｔ１〜ｔ２の期間では、電源電圧ＶＤＤＱを０．５Ｖの電圧に制御する。

図８（ｃ）および（ｄ）は、シャッター全押し時の電源電圧ＶＤＤＱの制御を示している。図８（ｃ）は、露光時間βが長い場合を示す。図８（ｄ）は、露光時間βが短い場合を示す。半押し時の時間ｔ１〜ｔ２で、撮像センサ１２０から出力された画像データが撮像処理部１０５で補正処理されてＳＤＲＡＭ１５０に記録される。時間ｔ２〜ｔ３で、画像評価部１１３は、補正後の画像データを評価し、ＣＰＵ１０１は、画像評価部１１３の評価結果を基に、被写体に最適な露光時間βを算出する。ＣＰＵ１０１は、電源電圧ＶＤＤＱの下限値と上限値との一方から他方に変更するための時間αと露光時間βを比較し、電源電圧ＶＤＤＱの変更のタイミングを決定する。

図８（ｃ）では、露光時間βが電圧変更するための時間αより長い。このため、シャッター全押しの時間ｔ４の後で、電源電圧ＶＤＤＱの上限電圧が必要となる時間ｔ５より時間α遡った時間ｔ５−αで、ＣＰＵ１０１は、電源制御部１６０を制御する。

図８（ｄ）では、露光時間βが電圧変更するための時間αより短い。この場合は、シャッター全押しの時間ｔ４時に、電源電圧ＶＤＤＱの変更を開始すると、画像入力のタイミングに電源電圧ＶＤＤＱの変更が間に合わなくなるため、時間ｔ３で、ＣＰＵ１０１は電源制御部１６０を制御する。

時間ｔ２〜ｔ５の期間は、シャッター全押しの時間ｔ４に基づく露光時間βとその前の時間を含む。周波数制御部１０９は、時間ｔ２〜ｔ５の期間では、クロック信号の周波数を周波数ＤａｔａＲａｔｅ１に制御する。そのクロック信号は、メモリコントローラ１０６とＳＤＲＡＭ１５０に供給される。周波数制御部１０９は、時間ｔ２〜ｔ５の期間に続く時間ｔ５〜ｔ６の期間では、クロック信号の周波数を周波数ＤａｔａＲａｔｅ３に制御する。周波数ＤａｔａＲａｔｅ３は、周波数ＤａｔａＲａｔｅ１より高い。

電源制御部１６０は、時間ｔ２〜ｔ５の期間では、電源電圧ＶＤＤＱを０．３Ｖの電圧から０．５Ｖの電圧に変化させる。電源制御部１６０は、時間ｔ５〜ｔ６の期間では、電源電圧ＶＤＤＱを０．５Ｖに制御する。

図８（ｃ）は、露光時間βが、電源電圧ＶＤＤＱの０．３Ｖの電圧から０．５Ｖの電圧に変化するのに要する期間αより長い場合である。電源制御部１６０は、図８（ｃ）の場合には、時間ｔ２〜ｔ５の期間の終わりで、電源電圧ＶＤＤＱを０．３Ｖの電圧から０．５Ｖの電圧に変化させる。

図８（ｄ）は、露光時間βが、電源電圧ＶＤＤＱの０．３Ｖの電圧から０．５Ｖの電圧に変化するのに要する期間αより短い場合である。電源制御部１６０は、図８（ｄ）の場合には、時間ｔ２〜ｔ５の期間では、露光時間βより前で、電源電圧ＶＤＤＱを０．３Ｖの電圧から０．５Ｖの電圧に変化させ、露光時間βでは、電源電圧ＶＤＤＱを０．５Ｖの電圧に制御する。

以上説明したように、第３の実施形態によれば、撮像装置１７０は、電源電圧ＶＤＤＱの変更に必要な時間αと撮影時の状況に応じて、電源電圧ＶＤＤＱを制御することで、ＳＤＲＡＭ１５０の消費電力を抑えることができる。

第１〜第３の実施形態によれば、撮像装置１７０は、撮影時の状況毎に必要となる転送量に応じて、必要最低限の電源電圧と周波数に制御することで、ＳＤＲＡＭ１５０へのアクセスを完全に停止することなく、ＳＤＲＡＭ１５０の消費電力を抑えることができる。

撮像装置１７０は、デジタルカメラまたはビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラまたは車載カメラ等に適用可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ ＬＳＩ、１０１ ＣＰＵ、１０２ タイミング制御部、１０３ センサ制御部、 １０４ 表示制御部、 １０５ 撮像処理部、 １０６ メモリコントローラ、１０７ 現像処理部、１０８ 符号化処理部、１０９ 周波数制御部、１１０ 転送帯域テーブル、１１１ 残帯域算出部、１１２ メモリ帯域観測部、１１３ 画像評価部、１２０ 撮像センサ、１３０ 表示部、１４０ 記録媒体、１５０ ＳＤＲＡＭ、１６０ 電源制御部

Claims (20)

1. 光電変換により画像データを生成する撮像センサと、
   メモリと、
   前記メモリに対するアクセスを制御するメモリコントローラと、
   前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給するクロック信号の周波数を制御する周波数制御部と
   を有することを特徴とする撮像装置。
2. 前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給する電源電圧を制御する電源制御部をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記メモリは、ＬＰＤＤＲ５規格に準拠したメモリであることを特徴とする請求項１または２に記載の撮像装置。
4. 前記メモリコントローラを介して前記メモリにアクセスする複数の処理部をさらに有し、
   前記周波数制御部は、前記複数の処理部の各々の処理の開始時間に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記メモリコントローラと前記メモリとの間の所定周期ごとの転送量を観測する観測部と、
   前記周波数制御部は、前記メモリコントローラと前記メモリとの間の撮影期間の総転送量と、前記観測部により観測された所定周期ごとの転送量とに応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
6. 前記周波数制御部は、前記メモリコントローラと前記メモリとの間の撮影期間の総転送量から、前記観測部により観測された所定周期ごとの転送量を減算した残転送量に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項５に記載の撮像装置。
7. 前記周波数制御部は、前記残転送量を前記転送量の変動パラメータに応じて補正した量に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項６に記載の撮像装置。
8. 前記変動パラメータは、前記画像データから検出された顔数、または前記画像データの圧縮率であることを特徴とする請求項７に記載の撮像装置。
9. 前記周波数制御部は、第１の期間では、前記クロック信号の周波数を第１の周波数に制御し、前記第１の期間に続く第２の期間では、前記クロック信号の周波数を前記第１の周波数より低い第２の周波数に制御し、前記第２の期間に続く第３の期間では、前記クロック信号の周波数を前記第１の周波数に制御し、
   前記電源制御部は、前記第１の期間と前記第３の期間では、前記電源電圧を第１の電圧に制御し、
   前記電源制御部は、前記第２の期間では、前記第２の期間が、前記第１の電圧から前記第１の電圧より低い第２の電圧に変化するのに要する期間と前記第２の電圧から前記第１の電圧に変化するのに要する期間との合計より長い場合には、前記電源電圧を前記第１の電圧から前記第２の電圧に変化させ、前記電源電圧を前記第２の電圧に維持し、前記電源電圧を前記第２の電圧から前記第１の電圧に変化させることを特徴とする請求項２に記載の撮像装置。
10. 前記電源制御部は、前記第２の期間では、前記第２の期間が、前記第１の電圧から前記第１の電圧より低い第２の電圧に変化するのに要する期間と前記第２の電圧から前記第１の電圧に変化するのに要する期間との合計より短い場合には、前記電源電圧を前記第１の電圧に制御することを特徴とする請求項９に記載の撮像装置。
11. 前記周波数制御部は、シャッター全押しに基づく露光時間とその前の時間を含む第４の期間では、前記クロック信号の周波数を第３の周波数に制御し、前記第４の期間に続く第５の期間では、前記クロック信号の周波数を前記第３の周波数より高い第４の周波数に制御し、
    前記電源制御部は、前記第４の期間では、前記電源電圧を第３の電圧から前記第３の電圧より高い第４の電圧に変化させ、前記第５の期間では、前記電源電圧を前記第４の電圧に制御し、
    前記電源制御部は、前記露光時間が、前記第３の電圧から前記第４の電圧に変化するのに要する期間より長い場合には、前記第４の期間の終わりで、前記電源電圧を前記第３の電圧から前記第４の電圧に変化させることを特徴とする請求項２、９、１０のいずれか１項に記載の撮像装置。
12. 前記電源制御部は、前記露光時間が、前記第３の電圧から前記第４の電圧に変化するのに要する期間より短い場合には、前記第４の期間では、前記露光時間より前で、前記電源電圧を前記第３の電圧から前記第４の電圧に変化させ、前記露光時間では、前記電源電圧を前記第４の電圧に制御することを特徴とする請求項１１に記載の撮像装置。
13. 光電変換により画像データを生成する撮像センサと、
    メモリと、
    前記メモリに対するアクセスを制御するメモリコントローラとを有する撮像装置の制御方法であって、
    前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給するクロック信号の周波数を制御する周波数制御ステップを有することを特徴とする撮像装置の制御方法。
14. 前記メモリコントローラと前記メモリとの間の転送量に応じて、前記メモリに供給する電源電圧を制御する電源制御ステップをさらに有することを特徴とする請求項１３に記載の撮像装置の制御方法。
15. 前記メモリは、ＬＰＤＤＲ５規格に準拠したメモリであることを特徴とする請求項１３または１４に記載の撮像装置の制御方法。
16. 前記撮像装置は、前記メモリコントローラを介して前記メモリにアクセスする複数の処理部をさらに有し、
    前記周波数制御ステップでは、前記複数の処理部の各々の処理の開始時間に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１３〜１５のいずれか１項に記載の撮像装置の制御方法。
17. 前記メモリコントローラと前記メモリとの間の所定周期ごとの転送量を観測する観測ステップをさらに有し、
    前記周波数制御ステップでは、前記メモリコントローラと前記メモリとの間の撮影期間の総転送量と、前記観測ステップで観測された所定周期ごとの転送量とに応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１３〜１５のいずれか１項に記載の撮像装置の制御方法。
18. 前記周波数制御ステップでは、前記メモリコントローラと前記メモリとの間の撮影期間の総転送量から、前記観測ステップで観測された所定周期ごとの転送量を減算した残転送量に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１７に記載の撮像装置の制御方法。
19. 前記周波数制御ステップでは、前記残転送量を前記転送量の変動パラメータに応じて補正した量に応じて、前記メモリに供給するクロック信号の周波数を制御することを特徴とする請求項１８に記載の撮像装置の制御方法。
20. 前記変動パラメータは、前記画像データから検出された顔数、または前記画像データの圧縮率であることを特徴とする請求項１９に記載の撮像装置の制御方法。

Images