JP2010153992A - 画像処理装置および固体撮像装置 - Google Patents

Abstract

【課題】特定の状態のときにクロック周波数を低くするが、プロセッサ自身は動作を継続しているため、消費電力削減が望めない。クロック周波数を通常に戻す際のレスポンスが悪い。アイドル時にクロック停止する場合は、処理開始時に必ずすべてのプロセッサを動作させるため、消費電力が大きい。
【解決手段】デジタル撮像信号に対する各種の処理を並行的に実行する複数のプロセッサを含むマルチプロセッサ部１３と、画像内での被写体の動きまたはカメラ本体の動きを検出する動き検出部７と、複数のプロセッサそれぞれの状態を管理するとともに動きの情報に応じて複数のプロセッサそれぞれへのクロック供給・停止を決定する状態管理部１４と、状態管理部の決定に従って複数のプロセッサそれぞれに対するクロック供給・停止を制御するクロック制御部１５を備える。
【選択図】図１

Description

本発明は、固体撮像装置等に搭載されるもので、デジタル撮像信号に対する各種の処理を並行的に実行する複数のプロセッサを含むマルチプロセッサ部を備えた画像処理装置にかかわり、特には複数のプロセッサの消費電力を削減するための技術に関する。

近年、最先端のカメラシステムでは、高画素化に伴いカメラ制御で使用する画像データは増加傾向にある。カメラ制御であるオートフォーカス（ＡＦ）やオートホワイトバランス（ＡＷＢ）、自動露出制御（オートエクスポージャ：ＡＥ）は高速性が求められており、プロセッサによって大量の画像データを極めて高速に処理する必要がある。カメラシステムの中には、１つのプロセッサを用いて高速処理を達成するものもあるが、高速処理のためにマルチプロセッサアーキテクチャが実装されたものもある。マルチプロセッサアーキテクチャでは、複数のサブプロセッサが並列に動作することで所望の処理結果を達成する。しかし、複数のプロセッサが常時高速な処理を行うと、速度に比例して消費電力も大きくなる。これを解消するため、プロセッサの処理速度を必要処理状態に合わせ、動作クロック周波数を小さくすることで消費電力を削減している。また、プロセッサがアイドル状態になった場合に、クロックを停止することで消費電力を削減するものもある。
特開２００８−７７６４０号公報 特開２０００−１２５５９号公報

従来のマルチプロセッサを含む画像処理装置においては、プロセッサがある特定の状態のときにクロック周波数を低くしている。しかし、プロセッサ自身は動作を継続していることから、大きな消費電力削減は望めない。しかも、クロック周波数を通常状態に戻す際に、クロック周波数を低くしていた分だけレスポンスが悪いものとなる。

また、プロセッサのアイドル時にクロック停止する画像処理装置においては、処理の開始時には必ずすべてのプロセッサを動作させるため、処理開始時の消費電力が大きくなってしまう。

本発明は、このような事情に鑑みて創作したものであり、デジタル撮像信号に対する各種の処理を並行的に実行する複数のプロセッサを含むマルチプロセッサ部を備えた画像処理装置において、できる限りの消費電力削減を図ることを目的としている。

本発明による画像処理装置は、
デジタル撮像信号に対する各種の処理を並行的に実行する複数のプロセッサを含むマルチプロセッサ部と、
画像内での被写体の動きまたはカメラ本体の動きを検出する動き検出部と、
前記複数のプロセッサそれぞれの状態を管理するとともに前記動き検出部が検出する動きの情報に応じて前記複数のプロセッサそれぞれへのクロック供給・停止を決定する状態管理部と、
前記状態管理部の決定に従って前記複数のプロセッサそれぞれに対するクロック供給・停止を制御するクロック制御部とを備えたものである。

上記構成において、動き検出部は画像内での被写体の動きまたはカメラ本体の動きを検出し、動きの情報を状態管理部に与える。動きの情報を受けた状態管理部は、プロセッサの現在の状態と動きの情報とに応じて各プロセッサについてクロックの供給・停止を決定し、その結果をクロック制御部に与える。クロック制御部は、状態管理部の決定に従って各プロセッサに対してクロックの供給・停止を制御する。一般に、動き量が大きいほどデジタル撮像信号の処理量が多くなり、逆に動き量が小さいほどデジタル撮像信号の処理量が少なくなる。処理量が多いときにはクロックを供給してアクティブにするプロセッサを多くし、処理量が少ないときにはアクティブにするプロセッサを少なくしたり、場合によってはすべてのプロセッサをクロック停止してインアクティブにする。このように、プロセッサの現在の状態と動き量ひいてはデジタル撮像信号の処理量の多少に応じて、アクティブにするプロセッサの数を適応的に制御するので、消費電力を効果的に削減することが可能となる。

上記構成の画像処理装置において、前記状態管理部は、前記動き検出部からの動きの情報に応じて、動き量が大きい場合はクロック供給してアクティブにするプロセッサを多くし、動き量が小さい場合はクロック供給してアクティブにするプロセッサを少なくし、さらに動き量が小さい場合はクロック停止するという態様がある。この構成によれば、プロセッサの現在の状態と動き量ひいてはデジタル撮像信号の処理量の多少に応じて、アクティブにするプロセッサの数を適応的に制御するので、消費電力を効果的に削減することが可能となる。

また上記構成の画像処理装置において、前記状態管理部は、アクティブにするプロセッサの数を決定するに当たり、前記動き量と所定の閾値との大小比較を通じて決定するという態様がある。この構成によれば、アクティブにするプロセッサの数の決定が正確かつ簡単に行える。

また上記構成の画像処理装置において、前記アクティブにされるプロセッサのデジタル撮像信号に対する処理はユーザ設定が可能で、常に最速で動作させる場合は任意の動き量ですべてのプロセッサにクロックを供給してアクティブにするという態様がある。この構成によれば、ユーザが設定するデジタル撮像信号の処理については、すべてのプロセッサにクロックを供給してアクティブにするので、ユーザ所望の処理（機能）に関してはユーザの所望通りに常に最速で動作させることが可能となる。

また上記構成の画像処理装置において、前記動き検出部は、今回の撮影で取得したデジタル撮像信号と前回の撮影で取得したデジタル撮像信号との差分を基に動き検出を行うという態様がある。これは、画像内での被写体の動きを検出するものである。

また上記構成の画像処理装置において、前記動き検出部は、動きセンサで構成されているという態様がある。これは、カメラ本体の動きを検出するものである。

また上記構成の画像処理装置において、前記アクティブにされるプロセッサのデジタル撮像信号に対する処理がオートフォーカスであるという態様がある。オートフォーカスは撮影開始時に行われるもので、デジタル撮像信号の処理量が大きいので、対象となる。

また上記構成の画像処理装置において、前記アクティブにされるプロセッサのデジタル撮像信号に対する処理がオートホワイトバランスであるという態様がある。オートホワイトバランスは撮影開始時に行われるもので、デジタル撮像信号の処理量が大きいので、対象となる。

また上記構成の画像処理装置において、前記アクティブにされるプロセッサのデジタル撮像信号に対する処理が自動露光制御（オートエクスポージャ）であるという態様がある。自動露光制御は撮影開始時に行われるもので、デジタル撮像信号の処理量が大きいので、対象となる。

また、本発明による固体撮像装置は、上記のいずれかの画像処理装置と、固体撮像素子と、固体撮像素子駆動部と、デジタル信号処理部と、画像信号圧縮・伸張処理部とを少なくとも備えたものである。

本発明によれば、画像内での被写体の動き量またはカメラ本体の動き量ひいてはデジタル撮像信号の処理量の多少に応じてアクティブにするプロセッサの数を適応的に制御し、場合によっては使用しないプロセッサへはクロックを停止するので、消費電力を効率良く削減することができる。

以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。図１は本発明の実施の形態における画像処理装置を含むカメラシステムの構成を示すブロック図である。

このカメラシステムは、レンズ制御部１、固体撮像素子２、固体撮像素子駆動部３、ＬＳＩ部４、記録メディア５、外部メモリ６、カメラ本体の動きを検出する動き検出部７で構成されている。ＬＳＩ部４の構成要素として、８はデジタル撮像信号の前処理部、９はデジタル信号処理部、１０は画像信号圧縮／伸張処理部、１１は画像データ記録部、１２は表示出力部、１３は複数のプロセッサからなるマルチプロセッサ部、１４はマルチプロセッサ部１３における複数のプロセッサの動作状態を管理するとともに動き量に応じてアクティブにするプロセッサを決定する状態管理部、１５は状態管理部１４の決定に従って複数のプロセッサそれぞれに対するクロックの供給と停止の制御を行うクロック制御部である。

次に、上記構成の本実施の形態の画像処理装置の動作を説明する。

レンズ制御部１に入射した被写体の光学像は合焦により固体撮像素子２上に結像される。固体撮像素子２は固体撮像素子駆動部３によってタイミング制御され、光学像を光電変換しアナログの撮像信号を生成し、撮像信号の増幅やノイズ除去等の処理を行い、撮像信号をデジタル撮像信号に変換し、ＬＳＩ部４の前処理部８に出力する。ＬＳＩ部４は外部メモリ６をワーク領域として動作する。前処理部８、デジタル信号処理部９、画像信号圧縮／伸張処理部１０、画像データ記録部１１および表示出力部１２はマルチプロセッサ部１３によって制御される。デジタル撮像信号に変換された撮像信号は前処理部８にてＡＦやＡＥの情報を取得してレンズ制御を実施し、入力されるデジタル撮像信号をＡＷＢ補正して出力する。補正された信号はデジタル信号処理部９によって輝度信号と色信号の映像信号に変換される。画像信号圧縮／伸張処理部１０は画像データを圧縮し、圧縮データを外部メモリ６に格納する。画像データ記録部１１は圧縮データを記録メディア５に記録する。デジタル信号処理部９から出力されたデータは表示出力部１２に送られ、画像を表示出力する。

図２は図１に示す画像処理装置における処理全体の流れを示すフローチャートである。以下、このフローチャートを参照して処理全体の流れを説明する。状態管理部１４は図３で示すように各プロセッサが動作状態か停止状態かをテーブルで管理している。

まずステップＳ１において、動き検出部７がカメラ本体の動き量を検出する。その動き量については、動きの単量や方向などは特に限定しないものとする。

次いでステップＳ２において、状態管理部１４は、各プロセッサの現在の状態を参照するとともに、動き検出部７から得られた動き量を所定の閾値と比較することに基づいて、どのプロセッサをアクティブにすべきかを決定する。その閾値は、プロセッサの能力に応じて予め定められている。

次のステップＳ３〜Ｓ９の処理は、マルチプロセッサ部１３における各プロセッサごとに実行される。ステップＳ３〜Ｓ６の処理は状態管理部１４が実行し、ステップＳ７〜Ｓ９の処理はクロック制御部１５が実行する。

ステップＳ３において、状態管理部１４は、対象のプロセッサにクロックを供給すべきかを判断し、クロックを供給をする場合はステップＳ４に進み、直ちには供給しない場合はステップＳ５に進む。状態管理部１４は、図３のテーブルを参照して各プロセッサにつき動作状態か停止状態かを確認する。

クロックを供給すべしとして進んだステップＳ４において、状態管理部１４は、対象のプロセッサの状態管理情報を処理中に変更し、クロック制御部１５に対してクロック供給の通知を行い、次いでステップＳ７に進む。

一方、クロックを直ちには供給すべしでないとして進んだステップＳ５において、状態管理部１４は、対象のプロセッサの状態管理情報を読み出し、プロセッサが処理完了状態でなければ、ステップ４に進んで、上記と同様にクロック制御部１５に対してクロック供給の通知を行い、次いでステップＳ７に進む。一方、処理完了状態であればステップＳ６に進み、クロック制御部１５に対してクロック停止の通知を行い、次いでステップＳ７に進む。

次いでステップＳ７において、クロック制御部１５は、状態管理部１４からのクロック制御通知を判別し、クロック供給通知の場合はステップＳ８に進み、クロック停止通知の場合はステップＳ９に進む。

クロック供給通知の場合のステップＳ８において、クロック制御部１５は、対象のプロセッサへクロックを供給する。

一方、クロック停止通知の場合のステップＳ９において、クロック制御部１５は、対象のプロセッサへのクロックを停止する。

次に、動作の具体例について説明する。ここでは、２プロセッサ構成にて動画記録時のコンティニアスＡＦ処理を行う場合について、図４のフローチャートを参照して説明する。

まずステップＳ１１において、動画記録開始時にフォーカスを合わせるため、撮影開始時に動き検出部７にて動き情報の取得を実施し、得られた動き情報を状態管理部１４へ通知する。

次いでステップＳ１２において、状態管理部１４は、動き情報に基づいてどのプロセッサをアクティブにすべきかの判断を実施する。動画開始時のフォーカスはレスポンス性能を最優先することから、２つのプロセッサを使用して高速にフォーカス制御を実施するものとする。

ステップＳ１３とステップＳ１４は、プロセッサ＃１とプロセッサ＃２とで個別的に実行される。動画開始時は両プロセッサともクロック供給を必要とする。すなわち、状態管理部１４はクロック制御部１５に対してクロック供給の通知を行い、クロック制御部１５は対象のプロセッサ＃１，＃２の両者に対してクロック供給を実施し、クロック供給を受けたプロセッサ＃１，＃２はオートフォーカス制御を実行する。

次いでステップＳ１５において、固体撮像素子２からＬＳＩ部４へ画像データの取り込みが行われる。すなわち、被写体の光学像が固体撮像素子２上に結像され、固体撮像素子２によって固体撮像素子駆動部３の駆動タイミングで光電変換され、アナログ撮像信号として出力される。さらに、アナログ撮像信号の増幅やノイズ除去等の処理が行われ、デジタル撮像信号に変換され、前処理部８に出力される。前処理部８はデジタル撮像信号をＡＷＢ補正してデジタル信号処理部９に出力する。デジタル信号処理部９はＡＷＢ補正されたデジタル撮像信号から輝度信号と色信号の映像信号を生成し、外部メモリ６に一時記憶させる。符号化されたデータを記録メディア５へ記録する。また、デジタル信号処理部９から出力された表示データが表示出力部１２を介して表示される。

次いでステップＳ１６において、動き検出部７により動画記録中の動き情報を取得する。得られた動き情報を状態管理部１４へ通知する。

次いでステップＳ１７において、状態管理部１４は、動き情報に基づいてどのプロセッサをアクティブにすべきかの判断を実施する。すなわち、ステップＳ１６で取得した動き情報とステップＳ１１または前回のステップＳ１６で取得した動き情報との差分から判断して、動きが０％未満の場合はＡＦ処理を行わないものと決定し、０％以上から５０％未満の場合はプロセッサ＃１のみを使用すると決定し、５０％以上の場合は両プロセッサ＃１，＃２を使用すると決定する。図５に記録開始から時系列に動き量が変化した場合の各プロセッサへのクロック供給状態を示す。記録開始時からカメラ動き量に合わせ、各プロセッサへのクロック供給が変動する。

ステップＳ１８とステップＳ１９は、プロセッサ＃１とプロセッサ＃２とで個別的に実行される。

ステップＳ１８において、ステップＳ１７の判別に従ってアクティブにするプロセッサであればクロックを供給し、アクティブにしないプロセッサであればクロックは停止する。ステップＳ１９では、クロック供給されたプロセッサによってオートフォーカス制御を実行する。

次いでステップＳ２０において、ステップＳ１５と同様に固体撮像素子２より画像データを取り込み、符号化されたデータを記録メディア５へ記録する。

なお、上記において、動き検出および状態管理は必ずしも回路を必要とせず、プロセッサによるソフトウェアにて実現することもできる。

本発明の画像処理装置は、カメラシステムでの撮影時のカメラ制御において、アクティブとするプロセッサ数を制限したり使用不要なプロセッサのクロックを停止することで、消費電力を効果的に削減することができ、画像処理装置や固体撮像装置の分野での省エネルギー技術として有用である。

本発明の実施の形態における画像処理装置を含むカメラシステムの構成を示すブロック図 本発明の実施の形態の画像処理装置における処理全体の流れを示すフローチャート 本発明の実施の形態における各プロセッサの状態を管理するテーブルの構成を示す図 本発明の実施の形態の画像処理装置における動画記録時のコンティニアスＡＦ処理を示すフローチャート 本発明の実施の形態における撮影中の動き量と各プロセッサへのクロック状態を示す図

符号の説明

１ レンズ制御部
２ 固体撮像素子
３ 固体撮像素子駆動部
４ ＬＳＩ部
５ 記録メディア
６ 外部メモリ
７ 動き検出部
８ 前処理部
９ デジタル信号処理部
１０ 画像信号圧縮／伸張処理部
１１ 画像データ記録部
１２ 表示出力部
１３ マルチプロセッサ部
１４ 状態管理部
１５ クロック制御部

Claims (10)

1. デジタル撮像信号に対する各種の処理を並行的に実行する複数のプロセッサを含むマルチプロセッサ部と、
   画像内での被写体の動きまたはカメラ本体の動きを検出する動き検出部と、
   前記複数のプロセッサそれぞれの状態を管理するとともに前記動き検出部が検出する動きの情報に応じて前記複数のプロセッサそれぞれへのクロック供給・停止を決定する状態管理部と、
   前記状態管理部の決定に従って前記複数のプロセッサそれぞれに対するクロック供給・停止を制御するクロック制御部とを備えた画像処理装置。
2. 前記状態管理部は、前記動き検出部からの動きの情報に応じて、動き量が大きい場合はクロック供給してアクティブにするプロセッサを多くし、動き量が小さい場合はクロック供給してアクティブにするプロセッサを少なくし、さらに動き量が小さい場合はクロック停止する請求項１に記載の画像処理装置。
3. 前記状態管理部は、アクティブにするプロセッサの数を決定するに当たり、前記動き量と所定の閾値との大小比較を通じて決定する請求項２に記載の画像処理装置。
4. 前記アクティブにされるプロセッサのデジタル撮像信号に対する処理はユーザ設定が可能で、常に最速で動作させる場合は任意の動き量ですべてのプロセッサにクロックを供給してアクティブにする請求項２または請求項３に記載の画像処理装置。
5. 前記動き検出部は、今回の撮影で取得したデジタル撮像信号と前回の撮影で取得したデジタル撮像信号との差分を基に動き検出を行う請求項１から請求項４までのいずれかに記載の画像処理装置。
6. 前記動き検出部は、動きセンサで構成されている請求項１から請求項４までのいずれかに記載の画像処理装置。
7. 前記アクティブにされるプロセッサのデジタル撮像信号に対する処理がオートフォーカスである請求項１から請求項６までのいずれかに記載の画像処理装置。
8. 前記アクティブにされるプロセッサのデジタル撮像信号に対する処理がオートホワイトバランスである請求項１から請求項６までのいずれかに記載の画像処理装置。
9. 前記アクティブにされるプロセッサのデジタル撮像信号に対する処理が自動露光制御である請求項１から請求項６までのいずれかに記載の画像処理装置。
10. 請求項１から請求項９までのいずれかに記載の画像処理装置と、固体撮像素子と、固体撮像素子駆動部と、デジタル信号処理部と、画像信号圧縮・伸張処理部とを少なくとも備える固体撮像装置。

Images