JP2009278199A

JP2009278199A - 撮像装置

Info

Publication number: JP2009278199A
Application number: JP2008125295A
Authority: JP
Inventors: Yukihiro Sugimoto; 行弘杉本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-05-12
Filing date: 2008-05-12
Publication date: 2009-11-26

Abstract

【課題】複数の画像処理ブロックを備える場合において、ＬｉｖｅＶｉｅｗ処理による消費電力や回路規模の増大、本撮像処理の効率低下、及びフレームメモリの容量の増大を抑えることが可能な撮像装置を提供することを目的とする。
【解決手段】センサ７、１０により得られるＬｉｖｅＶｉｅｗ画像及び分割後の本撮像画像をそれぞれ処理する画像処理ブロック１４、１６を備え、画像処理ブロック１４にＬｉｖｅＶｉｅｗ処理を集中して処理させると共に、画像処理ブロック１４への本撮像画像の一部と画像処理ブロック１６への残りの本撮像画像の分割比率をＬｉｖｅＶｉｅｗ処理の処理量に応じて算出する。
【選択図】図１

Description

本発明は、複数の画像処理ブロックを用いて処理能力を向上させる撮像装置に関する。

図１４は、複数の画像処理ブロックを用いた撮像装置の従来例である。
図１４に示す撮像装置では、センサ５０１により得られる画像データが２分割され、一方の画像データが画像処理ブロック５０５に入力され他方の画像データが画像処理ブロック５０６に入力され、オーバーラップ部の画像データが画像処理ブロック５０５、５０６の間でやりとりされ、画像処理ブロック５０５、５０６においてそれぞれ並列して画像処理が行われる。そして、一方の画像処理ブロックにおいて画像処理後の各画像データが統合され、画像処理ブロック５０５、５０６において交互に圧縮処理が行われ画像処理ブロック５０５、５０６にそれぞれ接続される記録メディアに記録される。

このように、図１４に示す撮像装置では、画像処理ブロック５０５、５０６において画像処理が並列に行われるので、画像処理が高速化され、連写速度を向上させることができる（例えば、特許文献１参照）。

図１５は、複数の画像処理ブロックを用いた撮像装置の別の従来例である。
センサ５０１により得られる画像が一旦フレームメモリ５１２に格納され、画像処理ブロック５０５、５０６がそれぞれ１フレーム分の画像データに対して画像処理を独立に行い、それら画像処理後の各画像データを圧縮及び記録する。

このように、図１５に示す撮像装置においても、画像処理ブロック５０５、５０６において画像処理が並列に行われるので、画像処理が高速化され、連写速度を向上させることができる（例えば、特許文献２参照）。
特開２００５−１５９９９２号公報特開２００５−１５９９９５号公報

図１４に示す撮像装置において、連写中に画像データをリアルタイムにＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）表示する処理（以下、ＬｉｖｅＶｉｅｗ処理という）を行うためには、画像データを記録メディア５０７に記録する撮影処理（以下、本撮像処理という）とＬｉｖｅＶｉｅｗ処理を共に行う必要がある。ＬｉｖｅＶｉｅｗ処理は、撮影者が露出やホワイトバランス（ＷＢ）等を確認する際に利用されたり、画角調整や被写体の追従を行うのにも利用されるため、ＬｉｖｅＶｉｅｗ処理の表示遅延を最低限に抑える必要がある。例えば、画像処理ブロック５０５、５０６の他に、ＬｉｖｅＶｉｅｗ処理用の画像処理ブロックを備える場合は、ＬｉｖｅＶｉｅｗ処理の動作遅延を最低限に抑えることが可能であるが、画像処理ブロックが増える分回路規模が増大してしまう。

また、連写の合間にＬｉｖｅＶｉｅｗ処理を行う場合、本撮像処理よりも優先してＬｉｖｅＶｉｅｗ処理を行う必要がある。すなわち、本撮像処理を中断してＬｉｖｅＶｉｅｗ処理を行う必要がある。そのため、画像処理ブロック５０５、５０６がＬｉｖｅＶｉｅｗ処理を分担する場合において、画像処理ブロック５０５、５０６で、それぞれ、本撮像処理の中断が発生する。本撮像処理が中断すると、そのオーバーヘッドの為に本撮像処理の効率が低下してしまう。また、画像処理ブロック５０５、５０６がＬｉｖｅＶｉｅｗ処理を分担する場合は、本撮像処理により生成される記録用画像データの他に、ＬｉｖｅＶｉｅｗ処理により生成される表示用画像データも１つに統合する必要があり、表示用画像データの転送処理が必要になる。そのため、そのデータ転送分消費電力が増大すると共に、画像処理ブロック５０５、５０６のＩＯ端子が増加し回路規模が増大してしまう。

また、画像処理ブロック５０５、５０６がＬｉｖｅＶｉｅｗ処理を分担する場合は、表示部に接続される画像処理ブロックが自身で生成した表示用画像データともう１つの画像処理ブロックから転送される表示用画像データとをフレームメモリにおいて統合した後、その統合した画像を表示部に表示させる必要がある。そのため、フレームメモリには、本撮像処理やＬｉｖｅＶｉｅｗ処理のために多くのアクセス要求が発生する。そして、上述したように、ＬｉｖｅＶｉｅｗ処理は優先されるため、本撮像処理に必要なアクセス要求の停滞が起こりやすくなり、本撮像処理の効率が低下してしまう。

このように、図１４に示す撮像装置においてＬｉｖｅＶｉｅｗ処理を考慮すると、消費電力や回路規模の増大又は本撮像処理の効率低下という問題が発生してしまう。
また、図１５に示す撮像装置において、画像処理ブロック５０５でＬｉｖｅＶｉｅｗ処理を行いながら、その合間に本撮像処理を行い、画像処理ブロック５０６で常に本撮像処理を行う場合を想定する。

図１６は、図１５に示す撮像装置にＬｉｖｅＶｉｅｗ処理用のセンサ５１５を備えたものを示す図である。
レンズ５１１からの光は、ハーフミラー５１３により本撮像処理用のセンサ５０１側とＬｉｖｅＶｉｅｗ処理用のセンサ５１５側とに分割され、センサ５１５にはミラー５１４を介して被写体像が結像される。

センサ５０１に結像された画像は、センサ５０１において低フレームレートで、かつ、高解像度の電気信号に変換され、ＣＤＳ／ＡＤＣ５０３においてデジタル値に変換される。このデジタル値に変換された信号は、フレームメモリ５１２に一旦格納され、後段の画像処理ブロック５０５、５０６で画像処理され記録メディアに記録される。

センサ５１５に結像された画像は、センサ５１５において高フレームレートで、かつ、低解像度の電気信号に変換され、ＣＤＳ／ＡＤＣ５１６においてデジタル値に変換される。このデジタル値に変換された信号は、フレームメモリ５１２に一旦格納され、後段の画像処理ブロック５０５で画像処理が行われた後、フレームメモリ５１２に戻され、画像処理ブロック５０５内部の表示Ｉ／Ｆ部を介して表示部５１７に表示される。画像処理ブロック５０５はセンサ５１５からの表示用画像データを優先的に処理する。

図１７は、センサ５０１から記録用画像データがＫ、Ｌ、Ｍ、Ｎ・・・の順に出力される際の撮像装置の動作のタイミングチャートを示す図である。
本撮像処理は、画像データよりホワイトバランス、ゲイン、又は階調補正等の補正量を決定するために、全ての画像データが入力され評価された後で開始するものとする。

センサ５０１からの画像データＬの出力終了時、画像処理ブロック５０５がＬｉｖｅＶｉｅｗ処理のみを行っており、画像処理ブロック５０６が画像データＫを処理している。そのため、画像処理ブロック５０５はＬｉｖｅＶｉｅｗ処理の合間に画像データＬの処理を行う。このように、ＬｉｖｅＶｉｅｗ処理の合間に本撮像画像の処理を行うため、画像データＬの処理終了に時間がかかる。画像処理ブロック５０６において画像データＫの処理が終了したとき、画像データＬは画像処理ブロック５０５において処理中であり、画像データＭはまだ入力が完了しておらず、処理を開始できない。そのため、画像データＭの入力が完了するまで、待ち状態となり、入力完了後に処理が開始される。

次に、画像データＮの入力が完了したとき、画像処理ブロック５０５、５０６が共に画像処理中である。これは、画像処理ブロック５０５がＬｉｖｅＶｉｅｗ処理のために、画像データＬの処理に時間がかかっていることと、主に画像処理ブロック５０６だけで目標のフレームレートの本撮像処理を行うことができないためである。

そこで、画像処理ブロック５０６が画像データＭの処理終了後、直ぐに画像データの処理を開始する。画像処理ブロック５０５が画像データＬの処理を終えたときには、まだ画像データＯの入力が完了していないため、画像処理ブロック５０５はＬｉｖｅＶｉｅｗ処理をしながら、画像データＯの入力完了まで待って、処理を開始する。

このように、図１４に示す撮像装置においてＬｉｖｅＶｉｅｗ処理を考慮すると、画像処理ブロック５０６の負荷状況にムラが生じてしまう。図１５に示すフレームメモリの段のように、フレームメモリ５１２に格納される記録用画像データは、画像データＯの入力開始時、画像データＬが画像処理ブロック５０５で処理中、画像データＭが画像処理ブロック５０６で処理中、画像データＮが未処理で処理待ち、画像データＯが入力中というように、４フレームの画像を格納する必要がある。このフレームメモリ５１２には、表示用画像データや記録用画像データ等も格納されるため、記録用画像データの解像度が大きい場合、４フレーム分の領域を確保するために、大きな記憶容量が必要になる。

そこで、本発明では、複数の画像処理ブロックを備える場合において、ＬｉｖｅＶｉｅｗ処理による消費電力や回路規模の増大、本撮像処理の効率低下、及びフレームメモリの記憶容量の増大を抑えることが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、撮像素子と、前記撮像素子により得られる画像データのうち表示用画像データ及び記録用画像データの全部又は一部に対して画像処理を行う第１の画像処理手段と、前記第１の画像処理手段において前記記録用画像データの一部に対して画像処理が行われる場合、前記画像データのうち残りの記録用画像データに対して画像処理を行う第２の画像処理手段と、１フレーム分の前記表示用画像データに対して画像処理を行うためにかかる処理量に応じて、前記記録用画像データの一部と前記残りの記録用画像データとの分割比率を算出する算出手段とを備え、前記第２の画像処理手段は、前記第１の画像処理手段から送られてくる画像処理後の前記記録用画像データの一部と画像処理後の前記残りの記録用画像データとを統合して１フレーム分の前記記録用画像データを生成する。

また、上記撮像装置は、前記分割比率に基づいて、前記記録用画像データを各画像処理手段での画像処理に必要な前記記録用画像データを分配する分配手段を備えるように構成してもよい。

また、前記第２の画像処理手段は、前記分割比率に基づいて、前記第１の画像処理手段での処理に必要な記録用画像データを前記第１の画像処理手段に分配するように構成してもよい。

また、前記撮像素子は、前記表示用画像データを得る第１の撮像素子と、前記記録用画像データを得る第２の撮像素子とから構成してもよい。
また、前記算出手段は、１フレーム分の前記表示用画像データを生成するためにかかる処理量としての（（前記１フレーム分の前記表示用画像データを生成するためにかかる処理量）×（前記表示用画像データのフレームレート））と、１フレーム分の前記記録用画像データを生成するためにかかる処理量としての（（１フレーム分の前記記録用画像データを生成するためにかかる処理量）×（前記記録用画像データのフレームレート））とに基づいて、前記分割比率を算出するように構成してもよい。

また、上記撮像装置は、記録手段と、前記記録手段と、前記第１の画像処理手段又は前記第２の画像処理手段とを接続する接続手段とを備え、前記接続手段は、前記第１の画像処理手段において前記記録用画像データの一部に対して画像処理が行われると共に前記第２の画像処理手段において前記残りの記録用画像データに対して画像処理が行われる場合、前記記録手段と前記第２の画像処理手段とを接続し、前記第１の画像処理手段において前記記録用画像データの全部に対して画像処理が行われる場合、前記記録手段と前記第１の画像処理手段とを接続するように構成してもよい。

また、前記算出手段は、前記記録用画像データの圧縮処理が所望のサイズに収まらず、その記録用画像データに対して再度圧縮処理が行われる場合、次に得られる前記記録用画像データに対する前記分割比率を１：１にするように構成してもよい。

本発明によれば、複数の画像処理ブロックを備える撮像装置において、ある画像処理ブロックにＬｉｖｅＶｉｅｗ処理を集中させることができるので、ＬｉｖｅＶｉｅｗ処理による消費電力や回路規模の増大、本撮像処理の効率低下を抑えることができる。また、ＬｉｖｅＶｉｅｗ処理の処理量に応じて、本撮像処理の分担比率を変えているので、フレームメモリの記憶容量を抑えることができる。

本発明の実施形態の撮像装置の特徴とする点は、撮像素子により得られる画像データの分割後の各画像データをそれぞれ処理する複数の画像処理ブロックを備え、ある画像処理ブロックにＬｉｖｅＶｉｅｗ処理を集中させると共に、ＬｉｖｅＶｉｅｗ処理を行っている画像処理ブロックへの本撮像画像の一部と他の画像処理ブロックへの残りの本撮像画像の分割比率をＬｉｖｅＶｉｅｗ処理の処理量に応じて算出している点である。

以下、図面を用いて本発明の実施形態の撮像装置について説明する。
図１は、本発明の第１実施形態の撮像装置のブロック構成図である。なお、ストロボ制御処理や音声処理等本発明に関係が無いブロックの図示は省略している。

図１に示す撮像装置は、例えば、デジタルカメラであって、ＣＰＵ１と、レンズ駆動部２と、レンズ部３と、ハーフミラー４と、ミラー５と、ＴＧ６、９と、センサ７、１０と、ＣＤＳ／ＡＤＣ８、１１と、分配部１２と、分割設定部１３と、画像処理ブロック１４、１６と、フレームメモリ１５、１７と、表示部１８と、セレクタ１９と、記録メディア２０と、スイッチ類２１と、バッテリー２２とを備えて構成されている。なお、フレームメモリ１５、１７は、例えば、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）、又はＤＤＲＳＤＲＡＭ（ＤｏｕｂｌｅＤａｔａＲａｔｅＳＤＲＡＭ）等により構成されているものとする。

ＣＰＵ１は、撮像装置全体の制御を行うものであって、撮影者によるスイッチ類２１の操作により撮影モード（単写モードや連写モード等）の変更を行ったり、バッテリー２２の状態により撮影の制御を行う。

レンズ駆動部２は、ＣＰＵ１からの指示により、レンズ部３のフォーカス、絞り、又はズーム等を駆動制御する。
レンズ部３は、レンズ駆動部２の駆動制御又はマニュアルの場合は撮影者の手動操作により、センサ７、１０に被写体像を結像したり、輝度や画角（ズーム）の調整を行う。

ハーフミラー４は、レンズ部３からの光の一部を本撮像処理用のセンサ７に、残りをＬｉｖｅＶｉｅｗ処理用のセンサ１０に分割する。
ミラー５は、ハーフミラー４から分割された被写体像をセンサ１０に導く。

ＴＧ６、９は、それぞれ、ＣＰＵ１からの制御及び表示部１８のタイミングに合わせて、センサ７、１０のそれぞれの撮像タイミング、露光時間、又は電気信号の出力タイミングを制御する。

センサ７、１０は、例えば、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等の撮像素子であって、それぞれ、レンズ部３により結像される被写体像の輝度に応じた電気信号を出力する。

ＣＤＳ／ＡＤＣ８は、センサ７から出力される電気信号をデジタル値に変換して画像データ（ＬｉｖｅＶｉｅｗ画像：表示用画像データ）を分配部１２に出力する。
ＣＤＳ／ＡＤＣ１１は、センサ１０から出力される電気信号をデジタル値に変換して画像データ（本撮像画像：記録用画像データ）を分配部１２に出力する。

分配部１２は、ＣＤＳ／ＡＤＣ１１から出力されるＬｉｖｅＶｉｅｗ画像を画像処理ブロック１４に送ると共に、分割設定部１３の制御に基づいて、ＣＤＳ／ＡＤＣ８から出力される本撮像画像を分割し本撮像画像の一部を画像処理ブロック１４に送り、残り及び、処理に必要なオーバーラップ部を含んだ本撮像画像を画像処理ブロック１６に送る。

画像処理ブロック１４は、分配部１２から送られたＬｉｖｅＶｉｅｗ画像及び分配部１２により分割された本撮像画像の一部を一旦フレームメモリ１５に格納し、分配部１２の評価演算結果によりＣＰＵ１で設定される調整値に基づいて、フレームメモリ１５に格納したＬｉｖｅＶｉｅｗ画像に対してＬｉｖｅＶｉｅｗ処理を行うと共に、本撮像画像の一部に対して本撮像処理を行う。このとき、ＬｉｖｅＶｉｅｗ処理が優先的に行われる。このとき、ＬｉｖｅＶｉｅｗ処理として、例えば、カラー化画像処理が行われる。また、本撮像処理として、例えば、カラー化画像処理や圧縮処理が行われる。また、画像処理ブロック１４において圧縮された本撮像画像の一部は、画像処理ブロック１６において圧縮された残りの本撮像画像と統合されて記録メディア２０に記録される。

画像処理ブロック１６は、分配部１２により分割された残りの本撮像画像及び、処理に必要なオーバーラップ部の本撮像画像を一旦フレームメモリ１７に格納し、分配部１２の評価演算結果によりＣＰＵ１で設定される調整値に基づいて、フレームメモリ１７に格納した本撮像画像に対して本撮像処理を行い、画像処理ブロック１４で圧縮された本撮像画像の一部と統合して記録メディア２０に記録する。

表示部１８は、画像処理ブロック１４から出力されるＬｉｖｅＶｉｅｗ画像を表示する。なお、表示部１８は、画像処理ブロック１４から出力されるＬｉｖｅＶｉｅｗ画像を映像信号として出力し、外部の表示装置にその映像信号を表示させるものとしてもよい。

セレクタ１９は、画像処理ブロック１４又は画像処理ブロック１６と、記録メディア２０とを接続するものであり、ＣＰＵ１の制御に基づいて記録メディア２０の接続先を切り替える。本撮像画像の再生時、セレクタ１９は、画像処理ブロック１４に記録メディア２０を接続し、画像処理ブロック１４は、記録メディア２０から本撮像画像を読み込み、その読み込んだ本撮像画像が圧縮されていれば、伸長して表示部１８に出力する。

分割設定部１３は、ＣＰＵ１から出力される撮影モード及びＬｉｖｅＶｉｅｗ処理の処理量に応じて、本撮像画像の分割比率を設定する。
図２は、分配部１２のブロック構成図である。

図２に示す分配部１２は、プリプロセス部１０１、１０６と、画素位置検出部１０２、１０７と、評価部１０３、１０８と、Ｂｕｆｆｅｒ１０４、１０９、１１１と、比較部１１０、１１２と、制御部１１３と、セレクタ１０５とを備えて構成されている。

画素位置検出部１０２は、ＣＤＳ／ＡＤＣ１１から出力される同期信号に基づいて、ＣＤＳ／ＡＤＣ１１から出力されるＬｉｖｅＶｉｅｗ画像の画素位置を検出する。
プリプロセス部１０１は、画素位置検出部１０２で検出される画素位置に基づいて、固定パターンノイズ除去、画素欠陥補正、及びシェーディング補正等を行う。

評価部１０３は、ＡＦ（ＡｕｔｏＦｏｃｕｓ）用、ＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ）用、又はＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）用に、プリプロセス部１０１から出力されるＬｉｖｅＶｉｅｗ画像を複数に分割し、それら分割した各ＬｉｖｅＶｉｅｗ画像に対してそれぞれ評価演算を行う。ＣＰＵ１は、評価部１０３の評価演算結果に基づいて、レンズ部３の駆動制御やカラー化画像処理の設定値の更新を行う。

同様に、画素位置検出部１０７は、ＣＤＳ／ＡＤＣ８から出力される同期信号に基づいて、ＣＤＳ／ＡＤＣ８から出力される本撮像画像の画素位置を検出する。
プリプロセス部１０６は、画素位置検出部１０７で検出される画素位置に基づいて、固定パターンノイズ除去、画素欠陥補正、及びシェーディング補正等を行う。

評価部１０８は、ＡＦ用、ＡＥ用、又はＡＷＢ用に、プリプロセス部１０６から出力される本撮像画像を複数に分割し、それら分割した各本撮像画像に対してそれぞれ評価演算を行う。ＣＰＵ１は、評価部１０８の評価演算結果に基づいて、レンズ部３の駆動制御やカラー化画像処理の設定値の変更新を行う。

なお、ＡＦ情報としては、通常、ＬｉｖｅＶｉｅｗ処理の更新レートが高いので応答性向上のためにＬｉｖｅＶｉｅｗ画像が使われるが、高精度ＡＦ処理モードが設定される場合、評価部１０８の評価演算結果が使われるものとする。

また、ＣＰＵ１は、評価部１０３、１０８のそれぞれの評価演算結果に基づいて、レンズ部３の駆動制御、センサ７、１０のそれぞれのシャッタ速度、ゲインの制御、又は画像処理ブロック１４、１６のＷＢや画質調整制御を行う。

Ｂｕｆｆｅｒ１０４は、プリプロセス部１０１から出力されるＬｉｖｅＶｉｅｗ画像が画素単位で書き込まれる。
Ｂｕｆｆｅｒ１０９、１１１は、プリプロセス部１０６から出力される本撮像画像が画素単位で書き込まれる。

Ｂｕｆｆｅｒ１０４、１０９は、それぞれ、所定数以上の画素（例えば、４画素）が溜まると、制御部１１３に画素の出力準備ができたことを知らせるＥｎ信号を出力する。なお、各プリプロセスの出力には画素データの他に同期信号が含まれているとする。

制御部１１３は、このＥｎ信号を検出し、Ｅｎ信号を出力している方のＢｕｆｆｅｒに対してＲＥ信号を出力し、画素をセレクタ１０５に高速に出力させる。なお、もし同時にＥｎ信号が出力されている場合は、予めどちらかを優先して出力するものとする。本実施例では、本撮像画像を出力するＢｕｆｆｅｒ１０９にＲＥ信号を出力するものとする。また、制御部１１３は、セレクタ１０５を制御してＲＥ信号を出力しているＢｕｆｆｅｒの画素を選択してその画素を画像処理ブロック１４に出力する。また、制御部１１３は、選択した画素（Ｄａｔａ）がＬｉｖｅＶｉｅｗ画像か本撮像画像かを示すフラグ（Ｆｌｇ）と、選択した画素が有効であることを示すＥｎ信号を画像処理ブロック１４に出力する。

なお、Ｂｕｆｆｅｒ１０４、１０９から画素を読み出す速度は、センサ７からの入力速度と、センサ１０からの入力速度の和以上の速度とすることで、Ｂｕｆｆｅｒ１０４、１０９がオーバーフローせずに画素を出力することができる。

また、それぞれのバッファサイズを１Ｈ分持てば、ブランキング期間もデータ出力に割り当てられるので、出力速度を下げることができる。
また、Ｂｕｆｆｅｒ１１１もＢｕｆｆｅｒ１０４、１０９と同様に制御部１１３を設けてもよいが、特に出力を切り替える必要が無いので、Ｂｕｆｆｅｒ１１１内に画素が有れば出力し、画素が無ければＥｎ信号をＤｉｓａｂｌｅにすることで、画像処理ブロック１６で正しく画像データを取り込むことができる。

また、Ｂｕｆｆｅｒ１０９に書き込まれた画素に本撮像処理用の画素を示すフラグが付加されて画像処理ブロック１４に出力される。
図３はセンサ７、１０のそれぞれのデータ出力タイミングと、Ｂｕｆｆｅｒ１０４、１０９、及び１１１のそれぞれの書き込みタイミング（ＷＥ）及び読み出しタイミング（ＯＵＴ）との一例を水平方向（Ｈ）の周期のスケールで示す図である。

図３に示すように、センサ７から出力されるデータがＢｕｆｆｅｒ１０４に書き込まれ、センサ１０から出力されるデータの水平方向の画素の前の部分がＢｕｆｆｅｒ１０９に、オーバーラップ部を含んだ水平方向の画素の後ろ部分がＢｕｆｆｅｒ１１１に書き込まれる。

図４は、ＬｉｖｅＶｉｅｗ画像の入力中に、本撮像処理を開始した時のタイミングをクロックのスケールで示す図である。
図４に示す例は、解像度が高い本撮像画像が高速なデータレートで入力され、解像度が低いＬｉｖｅＶｉｅｗ画像が低速なデータレートで入力されている場合を示し、ＬｉｖｅＶｉｅｗ処理におけるＢｕｆｆｅｒ読み出しクロックが本撮像処理のデータレートの２倍としている。

Ｂｕｆｆｅｒ１０４にはＬｉｖｅＶｉｅｗ画像が書き込まれ、４画素書き終わった時点でＥｎ信号をハイレベルにして、制御部１１３は、このＥｎ信号を見てＢｕｆｆｅｒ１０４へのＲＥ信号をハイレベルにして４画素を読み出す。Ｂｕｆｆｅｒ１０４は読み出しが開始されると、記憶している画素数が４画素未満となるため、Ｅｎ信号をローレベルにして、内部に記憶している画素が４画素以上となると再びＥｎ信号をハイレベルにする。同様に、Ｂｕｆｆｅｒ１０９に４画素書き込まれると、Ｅｎ信号をハイレベルにして、制御部１１３は、Ｂｕｆｆｅｒ１０９より４画素を読み出す。Ｂｕｆｆｅｒ１０４、１０９のそれぞれのＥｎ信号がハイレベルの場合は、Ｂｕｆｆｅｒ１０９を先に読み出し、その間Ｂｕｆｆｅｒ１０４の読み出しを停止する。制御部１１３はセレクタ１０５を制御して、画素を出力している方のＢｕｆｆｅｒを選択して出力させ、同時に、選択信号Ｆｌｇを出力する。データが有効である期間、Ｅｎ信号が出力される。この例ではＬｉｖｅＶｉｅｗ画像の画素レートの方が、本撮像画像の画素レートよりも遅いとしたが、ＬｉｖｅＶｉｅｗ画像の画素レートの方が速くても良く、出力の画素レートはＬｉｖｅＶｉｅｗ画像と本撮像画像の画素レートの和よりも速くすれば良い。

図５は、画像処理ブロック１４のブロック構成図である。なお、画像処理ブロック１６のブロック構成図は、図５に示す画像処理ブロック１４と同じであるため省略する。また、画像処理ブロック１４、１６は、それぞれ、図５に示す機能の内少なくともチップ間Ｉ／Ｆ１２３と、外部Ｉ／Ｆ１２５と、フレームメモリ制御部１２６と、表示Ｉ／Ｆ１２７と、３板化部１２８と、リサイズ部１２９と、圧縮・伸張部１３０と、記録メディアＩ／Ｆ１３１と、バス１３２とを備えていれば良く、他の機能のブロックをさらに備えていてもよい。

図５に示す画像処理ブロック１４は、プリプロセス部１２１と、評価部１２２と、チップ間Ｉ／Ｆ１２３と、ＣＰＵ１２４と、外部Ｉ／Ｆ１２５と、フレームメモリ制御部１２６と、表示Ｉ／Ｆ１２７と、３板化部１２８と、リサイズ部１２９と、圧縮・伸張部１３０と、記録メディアＩ／Ｆ１３１と、バス１３２、１３３とを備えて構成されている。なお、画像処理ブロック１４は、低価格デジタルカメラ向けに、一通りの機能を有しているものとする。

プリプロセス部１２１は、分配部１２のプリプロセス部１０１、１０６と同じ機能を有している。なお、分配部１２の画素位置検出部１０２、１０７と同じ機能も、プリプロセス部１２１に含まれているものとする。

評価部１２２は、分配部１２の評価部１０３、１０８と同様に、プリプロセス部１２１から出力される画像に対して評価演算を行う。
なお、本実施形態では、プリプロセス部１２１及び評価部１２２のそれぞれの処理は分配部１２で既に終了しているため、画像処理ブロック１４に入力された画像は、プリプロセス部１２１及び評価部１２２をバイパスし、フレームメモリ制御部１２６を介して一旦フレームメモリ１５に格納される。そして、フレームメモリ１５に格納された画像は、ＣＰＵ１２４で設定される設定値に基づいて３板化部１２８においてカラー化画像処理が行われ輪郭強調や色補正等の高画質化が行われる。また、カラー化画像処理が行われた画像は、必要に応じてリサイズ部１２９において表示用又は記録用に画像サイズの変更が行われる。ＬｉｖｅＶｉｅｗ画像は、一旦フレームメモリ１５に格納された後、表示Ｉ／Ｆ１２７を介して表示部１８に出力される。本撮像画像の一部は、圧縮・伸張部１３０において所望のデータ量に圧縮される。圧縮された本撮像画像の一部は、チップ間Ｉ／Ｆ１２３を介して画像処理ブロック１６に出力される。画像処理ブロック１６では、圧縮・伸張部１３０で圧縮した残りの本撮像画像と、画像処理ブロック１４から出力される本撮像画像の一部とを統合した後、記録メディアＩ／Ｆ１３１を介して記録メディア２０に記録する。例えば、ＪＰＥＧ圧縮により圧縮された本撮像画像を統合する場合、リスタートマーカーが適切に挿入されれば、リスタートマーカー単位で、統合することができるので、リスタートマーカー番号を書き換えてマージするだけで統合することができる。

なお、画像処理ブロック１４に記録メディアＩ／Ｆ１３１を介して別の記録メディアを接続してもよい。このように構成することにより、画像処理ブロック１４において本撮像画像を統合してその別の記録メディアに記録することができる。

記録メディア２０に記録された本撮像画像の再生時では、記録メディアＩ／Ｆ１３１を介して記録メディア２０から本撮像画像が読み込まれ、圧縮・伸張部１３０において本撮像画像が伸張された後、リサイズ部１２９において表示系に合わせて画像サイズが調整又は画像の一部が拡大され表示Ｉ／Ｆ１２７を介して表示部１８に出力される。

チップ間Ｉ／Ｆ１２３は、本撮像画像を画像処理ブロック１４、１６間でやりとりするためのＩ／Ｆである。
外部Ｉ／Ｆ１２５は、ＣＰＵ１により動作が制御され、撮像装置と周辺回路や外部機器とで通信を行うためのＩ／Ｆである。

図６は、分割設定部１３の動作を説明するためのフローチャートである。
まず、撮影者によりスイッチ類２１におけるシャッタが押され、分割設定部１３の動作が開始される（Ｓ２０１）。

次に、分割設定部１３は、ＣＰＵ１から出力される撮像装置の動作モードが、連写モードか否かを判定する（Ｓ２０２）。
連写モードでないと判定すると（Ｓ２０２がＮｏ）、すなわち、単写モード（一枚撮影）であると判定すると、分割設定部１３は、分割比率を予め定めたデフォルト値に設定する（Ｓ２０３）。例えば、低消費電力が重視された撮像装置の場合において単写モードであると判定され、ＬｉｖｅＶｉｅｗ画像及び本撮像画像に対する処理を全て画像処理ブロック１４で行うようにデフォルト値が設定されると、画像処理ブロック１６の電源を落とすことができ消費電力を低減することができると共に、画像処理ブロック１４、１６間の通信も不要となり消費電力がさらに低減できる。単写モードの場合、撮影者がシャッタ操作をするため、撮影間隔は比較的長く、画像処理ブロック１４のみで処理しても余り問題にならない。また、再撮影可能となる時間を短縮したい場合は、デフォルト値を最速の連写時の分割比率と同じにすればよい。

次に、分割設定部１３は、センサ７、１０のそれぞれの動作状況を確認して、撮像を開始できる状態になるのを待つ（Ｓ２１０）。モードによっては、各部に対し次の撮像を直ぐに開始できる様に、各部に処理を中断させる様にしても良い。

次に、分割設定部１３は、撮像が開始できる状態になると、撮像を開始させる（Ｓ２１１）。
次に、分割設定部１３は、連写モードで且つスイッチ類２１におけるシャッタがまだ押されている場合（Ｓ２１２がＹｅｓ）、Ｓ２０２に戻り、その他の場合、動作を終了する（Ｓ２１３）。再度の撮影開始はシャッタの押下であり、一旦シャッタが離されないと次の撮影は開始されない。

一方、Ｓ２０２において連写モードであると判定すると（Ｓ２０２がＹｅｓ）、分割設定部１３は、画像処理した画像の符号量が全て所望な値に収まっているか否かを判定する（Ｓ２０４）。

符号量制御が所望の値以下にならなかった画像が有る場合（Ｓ２０４がＹｅｓ）、分割設定部１３は、符号量制御を失敗した画像が均等分されたものか否かを判定する（Ｓ２０５）。

画像処理中の画像の符号量が所定な値に収まっていない場合は画像に対して再度画像処理を行う。このとき、カラー化画像処理及び圧縮処理前の画像に対して再度画像処理が行われる。これにより、カラー化画像処理後で、かつ、圧縮処理前の画像を記憶するための記憶領域をフレームメモリ１５、１７に確保する必要がなくなりフレームメモリ１５、１７の記憶容量を増大させないようにすることができる。また、その非圧縮画像をアクセスする必要がないためメモリバスが圧迫されない。

符号量制御を失敗した画像が均等分されたものでないと判定すると（Ｓ２０５がＮｏ）、分割設定部１３は、符号量制御を失敗した画像が均等分されるように分割比率を１：１に設定し（Ｓ２０６）該当する記録を処理済みとし、Ｓ２１０に進む。

一方、Ｓ２０４において画像処理した画像の符号量が全て所望な量に収まっていると判定すると（Ｓ２０４がＮｏ）、又は、Ｓ２０５において符号量制御を失敗した画像が均等分されたものであると判定すると（Ｓ２０５がＹｅｓ）、分割設定部１３は、ＬｉｖｅＶｉｅｗ処理における処理時間ＶＬ（サイクル）及びフレームレートＲＬ（ｆｐｓ）と、本撮像処理における処理時間ＶＭ（サイクル）及びフレームレートＲＭ（ｆｐｓ）とを、予め撮影者等により設定される撮影モードから参照する（Ｓ２０７）。

次に、分割設定部１３は、ＬｉｖｅＶｉｅｗ処理用処理時間ＶＬ、フレームレートＲＬ、本撮像処理用処理時間ＶＭ、及びフレームレートＲＭに基づいて、本撮像画像の分割比率を算出する（Ｓ２０８）。

ＬｉｖｅＶｉｅｗ処理と本撮像処理の総処理量（負荷）は、（ＶＬ×ＲＬ＋ＶＭ×ＲＭ）（サイクル）になる。この負荷を等分に分割すれば、画像処理ブロック１４、１６のそれぞれの処理量は、（ＶＬ×ＲＬ＋ＶＭ×ＲＭ）／２（サイクル）になる。画像処理ブロック１４はＬｉｖｅＶｉｅｗ処理を行うため、画像処理ブロック１４における本撮像処理の処理量は、（ＶＬ×ＲＬ＋ＶＭ×ＲＭ）／２−ＶＬ×ＲＬ＝（−（ＶＬ×ＲＬ）＋ＶＭ×ＲＭ）／２になる。これにより、画像処理ブロック１６における本撮像処理の処理量は、ＶＭ×ＲＭ−（−（ＶＬ×ＲＬ）＋ＶＭ×ＲＭ）／２＝（ＶＬ×ＲＬ＋ＶＭ×ＲＭ）／２になる。従って、画像処理ブロック１４における本撮像処理の一部の処理量（α）：画像処理ブロック１６における残りの本撮像処理の処理量（β）＝（−（ＶＬ×ＲＬ）＋ＶＭ×ＲＭ）：（ＶＬ×ＲＬ＋ＶＭ×ＲＭ）になる。

また、本撮像処理中にＬｉｖｅＶｉｅｗ処理が割り込む際に生じるロス時間ＥＬ（サイクル）を考慮すると、ＬｉｖｅＶｉｅｗ処理と本撮像処理の総処理量は、（（ＶＬ＋ＥＬ）×ＲＬ＋ＶＭ×ＲＭ）（サイクル）になる。そのため、画像処理ブロック１４、１６のそれぞれの処理量は、（（ＶＬ＋ＥＬ）×ＲＬ＋ＶＭ×ＲＭ）／２（サイクル）になる。画像処理ブロック１４はＬｉｖｅＶｉｅｗ処理を行うため、画像処理ブロック１４における本撮像処理の処理量は、（（ＶＬ＋ＥＬ）×ＲＬ＋ＶＭ×ＲＭ）／２−（ＶＬ＋ＥＬ）×ＲＬ＝（−（（ＶＬ＋ＥＬ）×ＲＬ）＋ＶＭ×ＲＭ）／２になる。これにより、画像処理ブロック１６における本撮像処理の処理量は、ＶＭ×ＲＭ−（−（（ＶＬ＋ＥＬ）×ＲＬ）＋ＶＭ×ＲＭ）／２＝（（ＶＬ＋ＥＬ）×ＲＬ＋ＶＭ×ＲＭ）／２になる。従って、画像処理ブロック１４における本撮像処理の一部の処理量（α）：画像処理ブロック１６における残りの本撮像処理の処理量（β）＝（−（（ＶＬ＋ＥＬ）×ＲＬ）＋ＶＭ×ＲＭ）：（（ＶＬ＋ＥＬ）×ＲＬ＋ＶＭ×ＲＭ）になる。

なお、上記分割比率が割り切れない場合は、近い値に丸めるか、又は、画像処理ブロック１４、１６のそれぞれの本撮像処理の終了タイミングを比較して遅く終わった方の画像処理ブロックの負荷が軽くなるような値に丸める。

そして、分割設定部１３は、算出した本撮像画像の分割比率を設定し（Ｓ２０９）、Ｓ２１０に進む。
このように、本撮像処理の度に、分割比率を動的に変化させることにより、途中で撮影者による設定変更、表示機器の切り替え、又はバッテリー２２の残量低下等により、ＬｉｖｅＶｉｅｗ画像の解像度に基づく処理時間やフレームレート又は本撮像画像の解像度に基づく処理時間やフレームレートが変化しても、画像処理ブロック１４、１６のそれぞれの処理量を均一化することができるので、本撮像処理の効率を向上させることができる。

図７は、第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。
第１実施形態の撮像装置では、明るさ調整やホワイトバランス等の画質調整係数を求めるために、一旦全画像をフレームメモリ１５、１７に格納する、画像を格納する間に、評価部１０３、１０８により評価が行われ、画質調整係数が決定される。そのため、画像処理ブロック１４、１６は、図７の矢印に示すように、一旦全画像をフレームメモリ１５、１７に格納した後でその画像に対して処理を開始することになる。

画像処理ブロック１４では、ＬｉｖｅＶｉｅｗ画像に対する処理と、そのＬｉｖｅＶｉｅｗ処理の合間に本撮像画像の一部に対する処理を行い、画像処理ブロック１６では、残りの本撮像画像に対する処理を行う。画像処理ブロック１４で処理される本撮像画像の一部及び画像処理ブロック１６で処理される残りの本撮像画像はそれぞれ圧縮処理される。画像処理ブロック１４で圧縮処理された本撮像画像の一部は、チップ間Ｉ／Ｆ１２３を介して画像処理ブロック１６に送られ、画像処理ブロック１６で圧縮処理された残りの本撮像画像と統合されて記録メディア２０に記録される。

画像処理ブロック１４から画像処理ブロック１６に送られた本撮像画像は、圧縮されているので、チップ間通信の帯域を低く抑えることができる。
また、画像処理ブロック１４、１６のそれぞれの処理量は、ＬｉｖｅＶｉｅｗ処理による処理量を含めてほぼ均等にしているため、処理が行われていない余裕時間がほぼ等しく画像処理ブロック１４、１６に発生する。

また、本撮像画像の統合方法は、例えば、本撮像画像の圧縮方式がＪＰＥＧ圧縮方式である場合、本撮像画像にリスタートマーカーを適切な間隔で挿入すれば、リスタートマーカーまでの単位でデータを並び替えることができ圧縮処理後の本撮像画像の統合ができる。なお、統合時のリスタートマーカーの並びが正しくなるように、予め圧縮処理時にリスタートマーカーの順番を飛ばして挿入してもよいし、統合時に書き換えてもよい。

図８は、圧縮処理時にサイズエラーとなり、再度画像処理を行った際の第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。すなわち、図６のＳ２０４がＹｅｓと判定された場合の撮像装置の動作を示している。

例えば、画像処理ブロック１６は、本撮像画像Ｋに対する圧縮処理において符号量が所望な値に収まっておらず、本撮像画像Ｋに対する画像処理を再度行っている。本撮像画像Ｋに対する画像処理を一旦完了させ、所望な値との差を検出してから、その差に基づいて圧縮処理の係数を調整して再度画像処理を行う。

そのため、このタイミングチャートでは、画像処理ブロック１６での画像処理が完了した後に、本撮像画像Kに対する画像処理を再度行っている。このとき、本撮像画像Ｌに対する分割比率は不均等分割比率で取り込んでしまっているため、その次の本撮像画像Ｍの取り込みタイミングにおいて本撮像画像Ｍが等分割になるように分割比率が変えられている。本撮像画像Ｋの再処理が成功で終わると、直ぐに既にフレームメモリ１７に格納されている本撮像画像Ｌに対する画像処理が行われる。

この本撮像画像Ｌは、通常の分割比率（図６のＳ２０８で算出される分割比率）で分割格納されているので、画像処理ブロック１４、１６のそれぞれの処理量は、ＬｉｖｅＶｉｅｗ処理を含めてほぼ等しい。そのため、画像処理ブロック１４、１６のそれぞれの処理量は変わらない。但し、再度画像処理が発生し、画像処理ブロック１４において余裕時間分先に画像処理を開始しているため、ＬｉｖｅＶｉｅｗ処理の分速く終了している。そのため、画像処理ブロック１４は先に本撮像画像Ｍの処理準備が出来た時点で、処理を開始する。もしも、本撮像画像Ｌが目標のサイズに収まらなかった場合は、本撮像画像Ｍの処理後に再処理を行う。

図９は、均等分割した本撮像画像Ｍの圧縮処理が失敗した場合の第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。すなわち、図６のＳ２０５がＹｅｓと判定された場合の撮像装置の動作を示している。

失敗検出時、本撮像画像Ｎの準備ができているため、本撮像画像Ｎの画像処理を行い、その後で本撮像画像Ｍの画像処理を行っている。このとき、新たに追加される本撮像画像Ｍは、均等分割されているため、画像処理ブロック１４、１６のそれぞれの処理量も均等に増えている。そのため、新たに入力される本撮像画像Ｏや本撮像画像Ｐは、通常の分割比率で分割すればよい。

第１実施形態の撮像装置では、ＬｉｖｅＶｉｅｗ処理を画像処理ブロック１４のみで実行させているので、画像処理ブロック間のＬｉｖｅＶｉｅｗ画像転送が不要になり、消費電力を削減することができる。また、連写中、画像処理ブロック１４においてＬｉｖｅＶｉｅｗ処理と本撮像処理を行っているので、ＬｉｖｅＶｉｅｗ処理を専用に行う画像処理ブロックを備える撮像装置に比べて回路規模の増大を抑えることができる。また、画像処理ブロック１４、１６のそれぞれの処理量を常時均等にさせることができるので、本撮像処理の効率低下を抑えることができ画像処理ブロック１４、１６のそれぞれの要求性能をより低く抑えることができる。すなわち、低価格及び低消費電力の画像処理ブロック１４、１６を構成することができる。また、フレームメモリ１５、１７にそれぞれ格納される画像は１フレーム分であるため、フレームメモリ１５、１７のそれぞれの容量の増大を抑えることができる。

なお、第１実施形態の撮像装置では、画像処理ブロック１４、１６とは別にＣＰＵ１を備えているが、画像処理ブロック１４又は画像処理ブロック１６に内蔵されているＣＰＵ１２４を利用してもよい。

本実施例では、原理を説明する為、等分割した画像の符号量制御の失敗も検出する様にしているが、分割設定部は均等分割画像の符号量制御の正否では分割処理は変わらないので、不均等分割した画像の符号量制御の正否のみ考慮すれば良く、図６のＳ２０４は、不均等分割画像での俯仰量制御失敗をチェックし、Ｓ２０５はバイパスしても良い。

図１０は、画像処理ブロック１４、１６にそれぞれ画像分割機能を備えた場合で、かつ、分割比率を画像処理ブロック１６に内蔵されているＣＰＵ１２４で算出する場合の第１実施形態の撮像装置のブロック構成図である。なお、チップ間Ｉ／Ｆ１２３により本撮像画像の一部の転送を行うものとする。ＣＰＵ１２４は、第１実施形態の撮像装置の分割設定部１３と同様に、処理時間ＶＬ、フレームレートＲＬ、処理時間ＶＭ、及びフレームレートＲＭに基づいて、本撮像画像の分割比率を算出するものとする。

まず、センサ１０からのＬｉｖｅＶｉｅｗ画像を画像処理ブロック１４が受け、センサ７からの本撮像画像を画像処理ブロック１６が受ける。
次に、画像処理ブロック１６に内蔵されるＣＰＵ１２４は、本撮像画像の分割比率を算出し、その算出した分割比率により本撮像画像を分割し、その分割した本撮像画像の一部を画像処理ブロック１４に送る。

そして、画像処理ブロック１４は、ＬｉｖｅＶｉｅｗ画像を、画像処理ブロック１４のプリプロセス部１２１において画像処理した後、評価部１２２において評価し、画像処理する。本撮像画像は、画像処理ブロック１６のプリプロセス部１２１で処理された画像の内、画像処理ブロック１４に割り当てられた部分と、画像処理ブロック１６内の評価部１２２での評価値を受け取り、画像処理と圧縮処理を行い、画像処理ブロック１６に送る。また、画像処理ブロック１６は、プリプロセス部１２１で処理し、評価部１２２で評価した後、算出した分割比率に応じて画像の一部を画像処理ブロック１４に送り、残りの本撮像画像を処理圧縮し、画像処理ブロック１４から送られてきた本撮像画像の一部と統合する。

これにより、分割設定部１３やＣＰＵ１を備える必要がなくなるので、低価格及び低消費電力の撮像装置を構成することができる。
図１１は、本発明の第２実施形態の撮像装置のブロック構成図である。なお、図１に示す構成と同じ構成には同じ符号を付している。

図１１に示す第２実施形態の撮像装置では、センサ３１を１つだけ備え、センサ３１からＬｉｖｅＶｉｅｗ画像と本撮像画像とを得る。
ＣＰＵ３４は、ＴＧ３２に撮影モードを指示し、ＬｉｖｅＶｉｅｗ処理時の解像度やフレームレート、本撮像処理の動作タイミング等を指示する。

ＴＧ３２は、ＣＰＵ３４からの指示及び表示部１８からの同期信号に合わせて、センサ３１を駆動する。センサ３１からの電気信号は、ＣＤＳ／ＡＤＣ３３においてデジタル値に変換され、画像処理ブロック１４、１６にそれぞれ入力される。

画像処理ブロック１４は、ＬｉｖｅＶｉｅｗ画像と、ＣＰＵ３４により算出された分割比率により分割された本撮像画像の一部とを取り込むと、プリプロセス部１２１においてＬｉｖｅＶｉｅｗ画像及び本撮像画像の一部に対して所定の画像処理を行うと共に、評価部１２２においてＬｉｖｅＶｉｅｗ画像に対してＡＥ、ＡＦ、ＡＷＢ等を行うための評価値を算出する。同様に、画像処理ブロック１６は、プリプロセス部１２１において残りの本撮像画像に対して所定の画像処理を行うと共に、その結果に基づいて評価部１２２においてＡＥ、ＡＦ、ＡＷＢ等を行うための評価値を算出する。以降の動作は、第１実施形態の撮像装置と同様である。

図１２は、第２実施形態の撮像装置の各ブロックにおける連写中の動作のタイミングチャートを示す図である。
センサ３１は、本撮像画像（Ｌ〜Ｏ）の撮像の合間に、ＬｉｖｅＶｉｅｗ画像（ａ〜ｉ）の撮像を行う。ＬｉｖｅＶｉｅｗ画像は、画像処理ブロック１４において全て画像処理し、表示部１８に表示される。本撮像処理期間では、ＬｉｖｅＶｉｅｗ画像の撮像ができないため、ＬｉｖｅＶｉｅｗ画像の更新ができない。図１２の灰色の部分は、ＬｉｖｅＶｉｅｗ画像の更新ができないことを示している。そのため、この期間は表示部１８に黒を表示する。勿論直前のＬｉｖｅＶｉｅｗ画像をフリーズして表示させてもよく、撮影者の好みに合わせて変更できるものとする。また、被写体の動きが比較的小さい場合は、フリーズさせて表示し、被写体の動きがある程度大きい場合は、黒を表示させた方が撮影者の違和感を少なくすることができる。

再生時は、画像処理ブロック１６を停止し、画像処理ブロック１４がセレクタ１９を介して記録メディア２０から画像を読み込み、伸長処理を行った後、表示部１８に表示させる。

ＣＰＵ３４は、第１実施形態の撮像装置の分割設定部１３と同様に、処理時間ＶＬ、フレームレートＲＬ、処理時間ＶＭ、及びフレームレートＲＭに基づいて、本撮像画像の分割比率を算出する。

画像処理ブロック１４は、ＬｉｖｅＶｉｅｗ処理の合間に、ＣＰＵ３４により算出された分割比率により分割された本撮像画像の一部に対して画像処理を行い、圧縮した本撮像画像の一部を、チップ間Ｉ／Ｆ１２３を介して、画像処理ブロック１６に送る。そして、画像処理ブロック１６に送られた本撮像画像の一部は、画像処理ブロック１６において圧縮処理された残りの本撮像画像と統合され記録メディア２０に記録される。

図１３は、第２実施形態の撮像装置の動作を説明するためのフローチャートである。
図６に示すフローチャートとの違いは、ＬｉｖｅＶｉｅｗ処理が追加された点である。

第１実施形態の撮像装置では、ＬｉｖｅＶｉｅｗ処理が別のフローにより本撮像処理よりも優先的に処理されているものとしているが、第２実施形態の撮像装置では、センサ３１からＬｉｖｅＶｉｅｗ画像と本撮像画像とを得るため、それに合わせて画像処理ブロック１４、１６のそれぞれの動作を制御する必要がある。

まず、ＣＰＵ３４は、撮像装置の電源がオンすると（Ｓ２３１）、処理開始時に、次の処理がＬｉｖｅＶｉｅｗ処理であるか否かを判定する（Ｓ２３２）。
ＬｉｖｅＶｉｅｗ処理であると判定すると（Ｓ２３２がＹｅｓ）、ＣＰＵ３４は、次に開始する処理をＬｉｖｅＶｉｅｗ処理に設定する（Ｓ２３３）。

次に、ＣＰＵ３４は、画像処理ブロック１４のみで全ての処理を行うように設定する（Ｓ２３４）。
以降の動作は、図６に示すＳ２１０〜Ｓ２１３と同様である。なお、Ｓ２１２においてスイッチ類２１におけるシャッタがまだ押されている場合（Ｓ２１２がＹｅｓ）、Ｓ２３２に戻り、シャッタが押されていない場合又はＬｉｖｅＶｉｅｗ処理の停止指示があった場合（Ｓ２１２がＮｏ）、動作を終了する（Ｓ２１３）。例えば、撮影者によりメニュー画面においてＬｉｖｅＶｉｅｗ表示がオフされる、再生モードに切り替えられる、又は電源がオフされると、動作を終了する（Ｓ２１３）。

一方、ＬｉｖｅＶｉｅｗ処理でないと判定すると（Ｓ２３２がＮｏ）、ＣＰＵ３４は、次に開始する処理を本撮像処理に設定する（Ｓ２３５）。
以降の動作は、図６に示すＳ２０２〜Ｓ２０９と同様である。

このように、第２実施形態の撮像装置は、センサ３１が1つの場合でも、ＬｉｖｅＶｉｅｗ処理中に連写が可能となるため、連写中に被写体を追い続けることができる。
なお、第１実施形態の撮像装置及び第２実施形態の撮像装置では、画像処理ブロックを２つ備える構成であるが、３つ以上備える構成でもよい。

Ｎ個の画像処理ブロックのうち、ＬｉｖｅＶｉｅｗ処理を１つの画像処理ブロックで行う場合で、かつ、ＬｉｖｅＶｉｅｗ処理の処理量と本撮像処理の処理量とのフレームレートも考慮した合計値をＳ、ＬｉｖｅＶｉｅｗ処理のフレームレートも考慮した処理量をＬとすると、ＬｉｖｅＶｉｅｗ処理を行う画像処理ブロックに入力される本撮像画像：残りの各画像処理ブロックにそれぞれ入力される本撮像画像＝（Ｓ／Ｎ−Ｌ）：（Ｓ／Ｎ＋Ｌ／（Ｎ−１））となる。

また、ＬｉｖｅＶｉｅｗ処理が１つの画像処理ブロックで処理しきれない場合、例えば、２．５個分の画像処理ブロックでＬｉｖｅＶｉｅｗ処理を行う必要がある場合、２個の画像処理ブロックをＬｉｖｅＶｉｅｗ処理専用とし、残りのＬｉｖｅＶｉｅｗ処理を１個の画像処理ブロックで行い、この画像処理ブロックと残りの画像処理ブロックとで本撮像画像を分担するようにしてもよい。このときの分割比率は、残りのＬｉｖｅＶｉｅｗ処理における処理量に基づいて算出する。途中で、ＬｉｖｅＶｉｅｗ処理の処理量が変更された場合は、ＬｉｖｅＶｉｅｗ処理を改めて専用で動かす画像処理ブロックの数と、残りのＬｉｖｅＶｉｅｗ処理の処理量と、本撮像処理を行う画像処理ブロックの数とに基づいて、本撮像処理の分担を計算すればよい。

本発明の第１実施形態の撮像装置のブロック構成図である。分配部を示す図である。センサのデータ出力タイミングと、Ｂｕｆｆｅｒの書き込みタイミング及び読み出しタイミングとを示す図である。ＬｉｖｅＶｉｅｗ画像の入力中に、本撮像処理を開始した時のタイミングを示す図である。画像処理ブロックのブロック構成図である。分割設定部の動作を説明するためのフローチャートである。第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。第１実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。第１実施形態の撮像装置の他のブロック構成図である。本発明の第２実施形態の撮像装置のブロック構成図である。第２実施形態の撮像装置の各ブロックにおけるそれぞれの動作のタイミングチャートを示す図である。第２実施形態の撮像装置の動作を説明するためのフローチャートである。従来の撮像装置を示す図である。従来の他の撮像装置を示す図である。従来のさらに他の撮像装置を示す図である。従来の撮像装置の動作のタイミングチャートを示す図である。

符号の説明

１ＣＰＵ
２レンズ駆動部
３レンズ部
４ハーフミラー
５ミラー
６、９ＴＧ
７、１０センサ
８、１１ＣＤＳ／ＡＤＣ
１２分配部
１３分割設定部
１４、１６画像処理ブロック
１５、１７フレームメモリ
１８表示部
１９セレクタ
２０記録メディア
２１スイッチ類
２２バッテリー
３１センサ
３２ＴＧ
３３ＣＤＳ／ＡＤＣ
３４ＣＰＵ
１０１プリプロセス部
１０２、１０７画素位置検出部
１０３評価部
１０４、１０９、１１１Ｂｕｆｆｅｒ
１０５セレクタ
１０６、１２１プリプロセス部
１０８、１２２評価部
１１０、１１２Ｄｅｃｏｄｅ
１２３チップ間Ｉ／Ｆ
１２４ＣＰＵ
１２５外部Ｉ／Ｆ
１２６フレームメモリ制御部
１２７表示Ｉ／Ｆ
１２８３板化部
１２９リサイズ部
１３０圧縮・伸張部
１３１記録メディアＩ／Ｆ
１３２、１３３バス

Claims

撮像素子と、
前記撮像素子により得られる画像データのうち表示用画像データ及び記録用画像データの全部又は一部に対して画像処理を行う第１の画像処理手段と、
前記第１の画像処理手段において前記記録用画像データの一部に対して画像処理が行われる場合、前記画像データのうち残りの記録用画像データに対して画像処理を行う第２の画像処理手段と、
１フレーム分の前記表示用画像データに対して画像処理を行うためにかかる処理量に応じて、前記記録用画像データの一部と前記残りの記録用画像データとの分割比率を算出する算出手段と、
を備え、
前記第２の画像処理手段は、前記第１の画像処理手段から送られてくる画像処理後の前記記録用画像データの一部と画像処理後の前記残りの記録用画像データとを統合して１フレーム分の前記記録用画像データを生成する
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記分割比率に基づいて、前記記録用画像データを各画像処理手段での画像処理に必要な前記記録用画像データを分配する分配手段を備える
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記第２の画像処理手段は、前記分割比率に基づいて、前記第1の画像処理手段での処理に必要な記録用画像データを前記第1の画像処理手段に分配する
ことを特徴とする撮像装置。
請求項１〜３の何れか１項に記載の撮像装置であって、
前記撮像素子は、前記表示用画像データを得る第１の撮像素子と、前記記録用画像データを得る第２の撮像素子とからなる
ことを特徴とする撮像装置。
請求項１〜４の何れか１項に記載の撮像装置であって、
前記算出手段は、１フレーム分の前記表示用画像データを生成するためにかかる処理量としての（（前記１フレーム分の前記表示用画像データを生成するためにかかる処理量）×（前記表示用画像データのフレームレート））と、１フレーム分の前記記録用画像データを生成するためにかかる処理量としての（（１フレーム分の前記記録用画像データを生成するためにかかる処理量）×（前記記録用画像データのフレームレート））とに基づいて、前記分割比率を算出する
ことを特徴とする撮像装置。
請求項１〜５の何れか１項に記載の撮像装置であって、
記録手段と、
前記記録手段と、前記第１の画像処理手段又は前記第２の画像処理手段とを接続する接続手段と、
を備え、
前記接続手段は、前記第１の画像処理手段において前記記録用画像データの一部に対して画像処理が行われると共に前記第２の画像処理手段において前記残りの記録用画像データに対して画像処理が行われる場合、前記記録手段と前記第２の画像処理手段とを接続し、前記第１の画像処理手段において前記記録用画像データの全部に対して画像処理が行われる場合、前記記録手段と前記第１の画像処理手段とを接続する
ことを特徴とする撮像装置。
請求項１〜６の何れか１項に記載の撮像装置であって、
前記算出手段は、前記記録用画像データの圧縮処理が所望のサイズに収まらず、その記録用画像データに対して再度圧縮処理が行われる場合、次に得られる前記記録用画像データに対する前記分割比率を１：１にする
ことを特徴とする撮像装置。