JP2008005048A - 撮像装置及び信号処理装置 - Google Patents

Abstract

【課題】多様な撮像部に対応できる汎用性の高い信号処理装置を備えた撮像装置及びこのような撮像装置に搭載される信号処理装置を提供すること。
【解決手段】第１の撮像信号と第２の撮像信号の２種の撮像信号を出力可能になされた撮像部１０と、２種の撮像信号を選択的に処理してＡＥ評価値を生成するＡＥ評価値演算部５０と、２種の撮像信号を選択的に処理して輝度信号を生成し、生成した輝度信号からＡＦ評価値を生成するＡＦ評価値演算部６０と、２種の撮像信号に対して画像処理を施して画像データを得る画像処理部３０及び４０とを備える。
【選択図】図１

Description

本発明は、撮像装置及び信号処理装置に関する。

近年の撮像装置（例えば、デジタルカメラ）に搭載される撮像部は様々な形態を有している。例えば、特許文献１においては、動画像と静止画像とを別の撮像光学系で撮像可能な撮像部を有している。この特許文献１においては、動画像を撮像するための撮像光学系と静止画像を撮像するための撮像光学系とが独立して備えられており、一方の撮像光学系を介して得られた撮像信号と他方の撮像光学系を介して得られた撮像信号とは非同期の関係にある。そして、これら撮像信号は選択的に撮像信号の処理部に入力されて信号処理される。

また、特許文献２には、Bayer配列のカラーフィルタが撮像面に貼付された撮像素子の垂直方向に隣接する２画素の撮像信号を別のチャネルより同時に出力可能に構成された撮像部が示されている。さらには、Bayer配列のカラーフィルタが撮像面に貼付された撮像素子の水平方向に隣接する２画素の撮像信号を別のチャネルより同時に出力可能に構成された撮像部もある。これらのような構成を有する撮像部においては、撮像素子の各チャネルから出力される撮像信号がそれぞれ撮像信号の処理部に入力されて信号処理される。
特開２００３−２３５５５号公報 特開昭６２−９２５８７号公報

今後、撮像装置に搭載される撮像部は、性能等に応じて上述したような様々な構成を採ると考えられる。ところで、デジタルカメラにおける撮像信号は、ＡＥやＡＦ等の処理に用いられる。これらの処理を実現するための信号処理装置の構成は撮像部の構成によって異なるものであるが、同一の構成の信号処理装置で多様な撮像部に対応できることが望ましい。

本発明は、上記の事情に鑑みてなされたもので、多様な撮像部に対応できる汎用性の高い信号処理装置を備えた撮像装置及びこのような撮像装置に搭載される信号処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による撮像装置は、第１の撮像信号と第２の撮像信号の２種の撮像信号を出力可能になされた撮像部と、上記２種の撮像信号を選択的に処理してＡＥ評価値を生成する第１の演算部と、上記２種の撮像信号を選択的に処理して輝度信号を生成し、該生成した輝度信号からＡＦ評価値を生成する第２の演算部と、上記２種の撮像信号に対して画像処理を施して画像データを得る画像処理部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様による信号処理装置は、第１の撮像信号と第２の撮像信号の２種の撮像信号を処理する信号処理装置であって、上記２種の撮像信号を選択的に処理してＡＥ評価値を生成する第１の演算部と、上記２種の撮像信号を選択的に処理して輝度信号を生成し、該生成した輝度信号からＡＦ評価値を生成する第２の演算部と、上記２種の撮像信号に対して画像処理を施して画像データを得る画像処理部とを具備することを特徴とする。

本発明によれば、多様な撮像部に対応できる汎用性の高い信号処理装置を備えた撮像装置及びこのような撮像装置に搭載される信号処理装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の主要な構成について示すブロック図である。図１に示す撮像装置は、撮像部１０と、前処理部２０と、信号処理装置（図１では、画像処理部３０及び４０と、ＡＥ評価値演算部５０と、ＡＦ評価値演算部６０とからなる）と、データバス７０と、記憶部８０とから構成されている。

撮像部１０は、少なくとも１つの撮像光学系と、撮像光学系の後方に配置される少なくとも１つの撮像素子とから構成される。撮像光学系は、図示しない被写体からの光を撮像素子に集光する。撮像素子は、例えば、ＣＣＤ方式の撮像素子であり、図示しない被写体からの光を受光し、受光した光に応じた撮像信号を出力する。この撮像素子の撮像面には、図２に示すようなBayer配列のカラーフィルタが貼付されている。ここで、本実施形態における撮像部１０は、後述するような種々の態様の撮像信号を出力する、種々の構成の撮像部を用いることが可能である。

前処理部２０は、撮像部１０から出力される撮像信号に含まれるノイズ成分を除去するための相関２重サンプリング（ＣＤＳ）処理、撮像信号の増幅処理、撮像信号をデジタル化する処理等の各種の前処理を行う。

画像処理部３０及び４０は、前処理部２０から出力される撮像信号に対して所定の画像処理を施して画像データを得る。ここで、図１では、画像処理の例として、図示しない表示装置に画像表示を行うためのリサイズ処理を行う構成について示しているがリサイズ処理以外の画像処理を行うようにしても良い。図１に示すように、画像処理部３０は、ローパスフィルタ（ＬＰＦ）３１と、リサイズ部３２と、選択部３３と、アドレス制御部３４と、ＤＭＡＩＦ３５とから構成されている。また、画像処理部４０は、ＬＰＦ４１と、リサイズ部４２と、アドレス制御部４３と、ＤＭＡＩＦ４４とから構成されている。ここで、選択部３３と、アドレス制御部３４と、ＤＭＡＩＦ３５と、アドレス制御部４３と、ＤＭＡＩＦ４４とで記憶処理部を構成している。

ＬＰＦ３１及び４１は後段におけるリサイズ処理による折り返し歪みを防止するために、前処理部２０から入力される撮像信号の高周波成分を除去する。リサイズ部３２及び４２は、ＬＰＦ３１及び４１から入力される撮像信号に対してリサイズ処理を施して画像データを得る。選択部３３は、リサイズ部３２とリサイズ部４２とに接続されており、リサイズ部３２とリサイズ部４２の何れかからの画像データを選択してＤＭＡＩＦ３５に出力する。アドレス制御部３４及び４３は、画像データを記憶部８０に書き込む際の書き込みアドレスを制御する。ＤＭＡＩＦ３５及び４４は、画像データのＤＭＡ転送を行う。

第１の演算部としてのＡＥ評価値演算部５０は、複数の領域に分割された撮像面のそれぞれの領域に対応する撮像信号を色毎に累積（Bayer配列の場合は、Ｒ、Ｇｒ、Ｇｂ、Ｂの３色４成分）することにより、ＡＥ評価値を求める。図１に示すように、ＡＥ評価値演算部５０は、選択部５１と、累積部５２と、アドレス制御部５３と、ＤＭＡＩＦ５４とから構成されている。

選択部５１は、前処理部２０において処理された撮像信号を累積部５２において色毎に累積可能なように処理してから出力する。図３は、選択部５１の詳細な構成を示す図である。図３に示すように、選択部５１は、フリップフロップ（ＦＦ）５１１及び５１２と、加算部５１３及び５１４と、選択部５１５及び５１６と、選択部５１７とから構成されている。

ＦＦ５１１及び５１２は、前処理部２０からの撮像信号を１画素分だけ保持する。第１の加算部としての加算部５１３は、前処理部２０からの撮像信号とＦＦ５１１に保持された撮像信号とを加算して選択部５１５に出力する。第２の加算部としての加算部５１４は、前処理部２０からの撮像信号とＦＦ５１２に保持された撮像信号とを加算して選択部５１６に出力する。

第１の選択部としての選択部５１５は、前処理部２０からの撮像信号と加算部５１３において加算された撮像信号の何れかを選択信号ｓｅｌ１の設定に従って選択して選択部５１７に出力する。ここで、選択部５１５は、選択信号ｓｅｌ１が“０”の場合に前処理部２０からの撮像信号を選択し、選択信号ｓｅｌ１が“１”の場合に加算部５１３からの撮像信号を選択する。第２の選択部としての選択部５１６は、前処理部２０からの撮像信号と加算部５１４において加算された撮像信号の何れかを選択信号ｓｅｌ２の設定に従って選択して選択部５１７に出力する。ここで、選択部５１６は、選択信号ｓｅｌ２が“０”の場合に前処理部２０からの撮像信号を選択し、選択信号ｓｅｌ２が“１”の場合に加算部５１４からの撮像信号を選択する。第３の選択部としての選択部５１７は、選択信号ｓｅｌ３の設定に従って選択部５１５からの撮像信号と選択部５１６の何れかを選択して累積部５２に出力する。ここで、選択部５１７は、選択信号ｓｅｌ３が“０”の場合に選択部５１５からの撮像信号を選択し、選択信号ｓｅｌ３が“１”の場合に選択部５１６からの撮像信号を選択する。

ＡＥ評価値生成部としての累積部５２は、選択部５１から入力される撮像信号を領域毎かつ色毎に累積してＡＥ評価値を求める。ここで、累積部５２は、例えばBayer配列の順で入力される撮像信号を領域毎かつ色毎に累積可能に構成されている。アドレス制御部５３は、ＡＥ評価値を記憶部８０に書き込む際の書き込みアドレスを制御する。ＤＭＡＩＦ５４は、ＡＥ評価値のＤＭＡ転送を行う。

第２の演算部としてのＡＦ評価値演算部６０は、前処理部２０で処理された撮像信号から輝度（Ｙ）信号を生成した後（Ｒ、Ｇｒ、Ｇｂ、Ｂのそれぞれに係数を掛けてから加算する）、複数の領域に分割された撮像面のそれぞれの領域に対応するＹ信号を累積することにより、ＡＦ評価値を求める。このＡＦ評価値演算部６０は、Ｙ生成部６１と、累積部６２と、アドレス制御部６３と、ＤＭＡＩＦ６４とから構成されている。

Ｙ生成部６１は、前処理部２０から出力される２種の撮像信号からＹ信号を生成して累積部６２に出力する。図４は、Ｙ生成部６１の詳細な構成を示す図である。図４に示すように、Ｙ生成部６１は、加算部６１１と、選択部６１２と、ラインメモリ６１３と、選択部６１４と、加算部６１５とから構成されている。

第３の加算部としての加算部６１１は、前処理部２０において前処理された２画素分の撮像信号を加算して選択部６１２及び選択部６１４に出力する。第４の選択部としての選択部６１２は、前処理部２０からの撮像信号と加算部６１１において加算された撮像信号の何れかを選択信号ｓｅｌ０の設定に従って選択してラインメモリ６１３に出力する。ここで、選択部６１２は、選択信号ｓｅｌ０が“０”の場合に前処理部２０からの撮像信号を選択し、選択信号ｓｅｌ０が“１”の場合に加算部６１１からの撮像信号を選択する。

保持部としてのラインメモリ６１３は、選択部６１２から出力される撮像信号を１ライン分だけ保持する。第５の選択部としての選択部６１４は、前処理部２０からの撮像信号（図４の“１”及び“４”）と、ラインメモリ６１３からの撮像信号（図４の“２”）及び加算部６１１からの撮像信号（図４の“３”）の何れかを選択信号ｓｅｌ１の設定に従って選択して加算部６１５に出力する。第４の加算部としての加算部６１５は、選択部６１２から出力される２つの撮像信号を加算してＹ信号を生成し、生成したＹ信号を累積部６２に出力する。

ＡＦ評価値生成部としての累積部６２は、Ｙ生成部６１から出力されるＹ信号を領域毎に累積してＡＦ評価値を求める。アドレス制御部６３は、ＡＦ評価値を記憶部８０に書き込む際の書き込みアドレスを制御する。ＤＭＡＩＦ６４は、ＡＦ評価値のＤＭＡ転送を行う。

ここで、図１に示す構成においては、画像処理部３０及び４０における画像処理、ＡＥ評価値演算部５０におけるＡＥ評価値の演算、及びＡＦ評価値演算部６０におけるＡＦ評価値の演算を同時に行うことが可能である。

データバス７０は、画像処理部３０及び４０からの画像データ、ＡＥ評価値演算部５０からのＡＥ評価値、及びＡＦ評価値演算部６０からのＡＦ評価値をそれぞれ転送するための転送路である。記憶部８０は、例えばＳＤＲＡＭから構成され、データバス７０を介して転送された画像データ、ＡＥ評価値、ＡＦ評価値等の各種データを一時記憶する。

以下、上述したような構成を有する撮像装置の動作について説明する。
まず、図５に示すような２種の撮像信号を出力する撮像部１０に対応する動作について説明する。図５に示す撮像部１０は、チャネル１（ｃｈ１）とチャネル２（ｃｈ２）の２つの出力チャネルを有している。そして、図５の撮像部１０は、１水平期間（１Ｈ）の間に、ｃｈ１から奇数ライン（Bayer配列の場合にはＲ、Ｇｒのライン）の撮像信号を第１の撮像信号として出力し、ｃｈ２から偶数ライン（Bayer配列の場合にはＧｂ、Ｂのライン）の撮像信号を第２の撮像信号として出力するように構成されている。

図１に示す撮像装置において、図５に示す撮像部１０を用いる場合には、図６、図７、図８の破線で示す部分は使用しない。このために、選択部３３においてはリサイズ部３２からの画像データを選択させるようにする。また、ＡＥ評価値演算部５０内の選択部５１においては、選択部５１５の選択信号ｓｅｌ１及び選択部５１６の選択信号ｓｅｌ２を何れも“０”とする。さらに、ＡＦ評価値演算部６０内のＹ生成部６１においては、選択部６１４の選択信号ｓｅｌ１を“１及び４”とする。

図９は、図５に示す撮像部１０に対応して画像処理部３０及び４０で行われる画像処理について示した図である。上述したように、１水平期間内に撮像部１０のｃｈ１からは奇数ラインの撮像信号がクロック信号に応じて１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して画像処理部３０に出力する。画像処理部３０のＬＰＦ３１及びリサイズ部３２は入力された撮像信号に対して画像処理を施して画像データを得る。そして、選択部３３は、この画像データを選択してＤＭＡＩＦ３５に出力する。同時に、１水平期間内にｃｈ２からは偶数ラインの撮像信号がクロック信号に応じて１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して画像処理部４０に出力する。画像処理部４０のＬＰＦ４１及びリサイズ部４２は入力された撮像信号に対して画像処理を施して画像データを得る。そして、この画像データをＤＭＡＩＦ４４に出力する。

アドレス制御部３４及び４３は、ＤＭＡＩＦ３５及び４４による画像データの書き込みの際の書き込みアドレスを制御する。具体的には、リサイズ部３２からの画像データとリサイズ部４２からの画像データとが１ラインずつ交互に記憶部８０に書き込まれるように書き込みアドレスを制御する。これにより、撮像部１０で取り込まれた撮像信号に対して画像処理を施した結果が得られる。

図１０は、図５に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。図１０には、垂直同期信号ＶＤ、水平同期信号ＨＤ、撮像部１０のｃｈ１における出力、撮像部１０のｃｈ２における出力、選択部５１５の選択信号ｓｅｌ１、選択部５１６の選択信号ｓｅｌ２、選択部５１７の選択信号ｓｅｌ３、及び選択部５１７からの出力を示している。

撮像部１０に垂直同期信号ＶＤが入力されると１フレーム分の撮像信号の読み出しが開始される。以後は水平同期信号ＨＤが入力される毎に、ｃｈ１からはクロック信号に応じて奇数ラインの撮像信号が１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して選択部５１のＦＦ５１１、加算部５１３、及び選択部５１５に出力する。ここで、選択部５１５の選択信号ｓｅｌ１は“０”に設定されているので、選択部５１５は、前処理部２０からの撮像信号を選択して選択部５１７に出力する。

一方、ｃｈ２からはクロック信号に応じて偶数ラインの撮像信号が１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して選択部５１のＦＦ５１２、加算部５１４、及び選択部５１６に出力する。ここで、選択部５１６の選択信号ｓｅｌ２は“０”に設定されているので、選択部５１６は、前処理部２０からの撮像信号を選択して選択部５１７に出力する。

図１０に示すように、選択部５１７の選択信号ｓｅｌ３は、奇数ライン目の水平期間では“０”とし、偶数ライン目の水平期間では“１”とする。これにより、選択部５１７は、奇数ライン目の水平期間においてはｃｈ１からの撮像信号を選択して累積部５２に出力し、偶数ライン目の水平期間においてはｃｈ２からの撮像信号を選択して累積部５２に出力する。つまり、選択部５１７の出力は図１０に示すものとなり、累積部５２には撮像部１０で取り込まれた撮像信号がBayer配列の順で入力される。これにより、累積部５２においてＡＥ評価値を演算することが可能である。

なお、ＡＥ評価値が演算された後は、アドレス制御部５３の制御の下、ＤＭＡＩＦ５４によりＡＥ評価値が記憶部８０に書き込まれる。そして、このＡＥ評価値が評価されることにより撮影時の露光条件が決定される。この手法については領域毎にＡＦ評価値を評価する手法、画面内の一部の領域を重点的に評価する手法等、周知の技術を利用すれば良いのでここでは詳細な説明を省略する。

図１１は、図５に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。図１１には、垂直同期信号ＶＤ、水平同期信号ＨＤ、撮像部１０のｃｈ１における出力、撮像部１０のｃｈ２における出力、選択部６１２の選択信号ｓｅｌ０、選択部６１４の選択信号ｓｅｌ１、加算部６１５の出力を示している。

撮像部１０に垂直同期信号ＶＤが入力されると１フレーム分の撮像信号の読み出しが開始される。以後は水平同期信号ＨＤが入力される毎に、ｃｈ１からはクロック信号に応じて奇数ラインの撮像信号が１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施してＹ生成部６１の加算部６１１、選択部６１２、及び選択部６１４に出力する。ここで、選択部６１４の選択信号ｓｅｌ１は“１及び４”に設定されているので、選択部６１４は、前処理部２０からの撮像信号を選択して加算部６１５に出力する。

一方、ｃｈ２からはクロック信号に応じて偶数ラインの撮像信号が１画素ずつ１ライン分前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施してＹ生成部６１の加算部６１１及び選択部６１４に出力する。ここで、選択部６１４の選択信号ｓｅｌ１は“１及び４”に設定されているので、選択部６１４は、前処理部２０からの撮像信号を選択して加算部６１５に出力する。

加算部６１５は、入力されてきた撮像信号の各色に所定の係数を掛けてから加算することでＹ信号を生成し、累積部６２に出力する。例えば、ＮＴＳＣ形式の場合、色信号とＹ信号とには、
Ｙ＝０.３Ｒ＋０.５９Ｇ＋０.１１Ｂ
の関係がある。なお、上式において、Ｇ＝（Ｇｒ＋Ｇｂ）/２である。このようにして生成されたＹ信号は累積部６２において領域毎に累積され、ＡＦ評価値が演算される。

なお、ＡＦ評価値が演算された後は、アドレス制御部６３の制御の下、ＤＭＡＩＦ６４によりＡＦ評価値が記憶部８０に書き込まれる。そして、このＡＦ評価値から画像のコントラストが評価され、画像のコントラストが最も高くなる撮影レンズの位置を合焦位置とするようなレンズ駆動が行われる。この手法については周知の技術であるのでここでは詳細な説明を省略する。

次に、図１２に示すような２種の撮像信号を出力する撮像部１０に対応する動作について説明する。図１２に示す撮像部１０は、チャネル１（ｃｈ１）とチャネル２（ｃｈ２）の２つの出力チャネルを有している。そして、図１２の撮像部１０は、１水平期間（１Ｈ）の間に、ｃｈ１から奇数列画素（Bayer配列の場合にはＲ又はＧｂ）の撮像信号を第１の撮像信号として出力し、ｃｈ２から偶数列画素（Bayer配列の場合にはＧｒ、Ｂ）の撮像信号を第２の撮像信号として出力するように構成されている。なお、図１２の場合は、１水平期間内には同色の撮像信号のみが入力される。

図１に示す撮像装置において、図１２に示す撮像部１０を用いる場合には、図１３、図１４、図１５の破線で示す部分は使用しない。このために、ＤＭＡＩＦ４４を動作させないようにする。また、ＡＥ評価値演算部５０内の選択部５１においては、選択部５１５の選択信号ｓｅｌ１及び選択部５１６の選択信号ｓｅｌ２を何れも“１”とする。さらに、ＡＦ評価値演算部６０内のＹ生成部６１においては、選択部６１２の選択信号ｓｅｌ０を“１”とし、選択部６１４の選択信号ｓｅｌ１を“２及び３”とする。

図１２に示す撮像部１０に対応して画像処理部３０及び４０で行われる画像処理について説明する。上述したように、撮像部１０のｃｈ１からは奇数列の撮像信号がクロック信号に応じて１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して画像処理部３０に出力する。画像処理部３０のＬＰＦ３１及びリサイズ部３２は入力された撮像信号に対して画像処理を施して画像データを得る。そして、この画像データを選択部３３に出力する。同時に、ｃｈ２からは偶数列の撮像信号がクロック信号に応じて１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して画像処理部４０に出力する。画像処理部４０のＬＰＦ４１及びリサイズ部４２は入力された撮像信号に対して画像処理を施して画像データを得る。そして、この画像データを選択部３３に出力する。

選択部３３は、リサイズ部３２とリサイズ部４２から入力される画像データを１画素ずつ交互に選択してＤＭＡＩＦ３５に出力する。アドレス制御部３４は、ＤＭＡＩＦ３５による画像データの書き込みの際の書き込みアドレスを制御する。具体的には、選択部３３により所定画素分（例えば１ライン分）の画像データが選択された時点で、選択された画像データが選択された順序で記憶部８０に書き込まれるように制御する。これにより、撮像部１０で取り込まれた撮像信号に対して画像処理を施した結果が得られる。

図１６は、図１２に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。図１６には、垂直同期信号ＶＤ、水平同期信号ＨＤ、撮像部１０のｃｈ１における出力、撮像部１０のｃｈ２における出力、加算部５１３の出力、加算部５１４の出力、選択部５１５の選択信号ｓｅｌ１、選択部５１６の選択信号ｓｅｌ２、選択部５１７の選択信号ｓｅｌ３、及び選択部５１７からの出力を示している。

撮像部１０に垂直同期信号ＶＤが入力されると１フレーム分の撮像信号の読み出しが開始される。以後は水平同期信号ＨＤが入力される毎に、ｃｈ１からはクロック信号に応じて奇数列の撮像信号が１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して選択部５１のＦＦ５１１、加算部５１３、及び選択部５１５に出力する。加算部５１３は、ＦＦ５１１に保持された撮像信号と前処理部２０からの撮像信号を加算して選択部５１５に出力する。これにより、図１６に示すようにしてＲ同士及びＧｂ同士が加算されることになる。さらに、選択部５１５の選択信号ｓｅｌ１は“１”に設定されているので、選択部５１５は、加算部５１３からの撮像信号を選択して選択部５１７に出力する。

一方、ｃｈ２からはクロック信号に応じて偶数列の撮像信号が１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施して選択部５１のＦＦ５１２、加算部５１４、及び選択部５１６に出力する。加算部５１４は、ＦＦ５１２に保持された撮像信号と前処理部２０からの撮像信号を加算して選択部５１６に出力する。これにより、図１６に示すようにしてＧｒ同士及びＢ同士が加算されることになる。さらに、選択部５１６の選択信号ｓｅｌ２は“１”に設定されているので、選択部５１６は、加算部５１４からの撮像信号を選択して選択部５１７に出力する。

図１６に示すように、選択部５１７の選択信号ｓｅｌ３は、２クロック目以降から、１クロック毎に“０”と“１”を交互に設定する。したがって、選択部５１７の出力は図１６に示すものとなり、累積部５２には撮像部１０で取り込まれた撮像信号がBayer配列の順で入力される。これにより、累積部５２においてＡＥ評価値を演算することが可能である。

図１７は、図１２に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。図１７には、垂直同期信号ＶＤ、水平同期信号ＨＤ、撮像部１０のｃｈ１における出力、撮像部１０のｃｈ２における出力、加算部６１１の出力、ラインメモリ６１３の出力、選択部６１２の選択信号ｓｅｌ０、選択部６１４の選択信号ｓｅｌ１、加算部６１５の出力を示している。

撮像部１０に垂直同期信号ＶＤが入力されると１フレーム分の撮像信号の読み出しが開始される。以後は水平同期信号ＨＤが入力される毎に、ｃｈ１からはクロック信号に応じて奇数列の撮像信号が１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施してＹ生成部６１の加算部６１１、選択部６１２、及び選択部６１４に出力する。

一方、ｃｈ２からはクロック信号に応じて偶数ラインの撮像信号が１画素ずつ前処理部２０に入力される。前処理部２０は、入力された撮像信号に対して前処理を施してＹ生成部６１の加算部６１１及び選択部６１４に出力する。

加算部６１１は、ｃｈ１からの撮像信号とｃｈ２からの撮像信号の各色に所定の係数を掛けてから加算して選択部６１２と選択部６１４とに出力する。ここでの係数は上記したＹ信号を求めるための係数に準じたものである。つまり、加算部６１１には、１クロック毎に、Ｙ信号を求めるための４成分のうちの２成分のみが入力されるので、この２成分に応じた係数を掛けた後で加算する。さらに、選択部６１２の選択信号ｓｅｌ０は“１”に設定されているので、選択部６１２は加算部６１１からの撮像信号を選択してラインメモリ６１３に出力する。ラインメモリ６１３に１ライン分の撮像信号が入力されると、ラインメモリ６１３から撮像信号が出力される。

ここで、選択部６１４の選択信号ｓｅｌ１は“２及び３”に設定されているので、選択部６１４は、加算部６１１からの撮像信号とラインメモリ６１３からの撮像信号とを選択して加算部６１５に出力する。図１６に示すようにして、加算部６１１からの撮像信号とラインメモリ６１３からの撮像信号とを選択することにより、Ｙ信号を生成するために必要な各色の撮像信号が全て揃うことになる。

加算部６１５は、入力されてきた撮像信号を加算することでＹ信号を生成し、累積部６２に出力する。このようにして生成されたＹ信号は累積部６２において領域毎に累積され、ＡＦ評価値が演算される。

次に、図１８に示すような撮像部１０に対応する動作について説明する。図１８に示す撮像部１０は２つの撮像部１０ａ及び１０ｂから構成され、これに伴って前処理部２０も２つの前処理部２０ａ及び２０ｂから構成されている。

撮像部１０ａ及び１０ｂはそれぞれが撮像光学系と、撮像光学系の後方に配置される撮像素子とから構成される。ここで、撮像部１０ａと撮像部１０ｂの撮像素子はそれぞれ、図２に示したようなBayer配列で撮像信号を出力する。また、前処理部２０ａは撮像部１０ａで得られた撮像信号を前処理し、前処理部２０ｂは撮像部１０ｂで得られた撮像信号を前処理する。

図１８に示す撮像部１０に対応して画像処理部３０及び４０で行われる画像処理について説明する。上述したように、撮像部１０ａ及び撮像部１０ｂからはそれぞれBayer配列の撮像信号が出力されるので、画像処理部３０と画像処理部４０の何れか一方のみを動作させて画像処理を行えば良い。若しくは、例えば画像処理部３０で静止画撮影用の画像処理を行い、画像処理部４０で動画撮影用の画像処理を行うというように両者に全く異なる画像処理を行わせるようにしても良い。この場合、画像処理部３０と画像処理部４０とで得られる画像データはそれぞれ独立して記憶部８０に記憶させる。

図１９は、図１８に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。図１９に示すように、撮像部１０ａと撮像部１０ｂからはそれぞれBayer配列の撮像信号が出力されるので、選択部５１５の選択信号ｓｅｌ１及び選択部５１６の選択信号ｓｅｌ２を共に“０”とし、選択部５１７の選択信号ｓｅｌ３を使用したいチャネルのほうに設定することにより、撮像部１０ａと撮像部１０ｂの所望のほうでＡＥ評価値演算を行うことが可能である。

図２０は、図１８に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。図１９に示すように、撮像部１０ａと撮像部１０ｂからはそれぞれBayer配列の撮像信号が出力されるので、選択部６１２の選択信号ｓｅｌ０を使用したいチャネルのほうに設定し、選択部６１４の選択信号ｓｅｌ１を２と、１又は４に設定することにより、撮像部１０ａと撮像部１０ｂの所望のほうでＡＥ評価値演算を行うことが可能である。

なお、図１９及び図２０のような選択部の設定は、Bayer配列の撮像信号を出力する１つのみの撮像部の場合でも適用可能なことは言うまでもない。

以上説明したように、第１の実施形態によれば、画像処理部３０、ＡＥ評価値演算部５０、及びＡＦ評価値演算部６０内部の各選択部の設定を変えるのみで、構成の異なる複数種類の撮像部１０に対応した画像処理、ＡＥ評価値演算、及びＡＦ評価値演算を行うことが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では撮像部１０が２種の異なる撮像信号を出力可能になされているが、３種以上の異なる撮像信号を出力可能な撮像部でも上述した実施形態の手法を適用することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る撮像装置の主要な構成について示すブロック図である。 Bayer配列について示した図である。 選択部５１の詳細な構成について示した図である。 Ｙ生成部６１の詳細な構成について示した図である。 撮像部１０の第１の構成例について説明するための図である。 図５の撮像部を用いる場合の画像処理部３０及び４０の設定について示す図である。 図５の撮像部を用いる場合のＡＥ評価値演算部５０の設定について示す図である。 図５の撮像部を用いる場合のＡＦ評価値演算部６０の設定について示す図である。 図５に示す撮像部１０に対応して画像処理部３０及び４０で行われる画像処理について示した図である。 図５に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。 図５に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。 撮像部１０の第２の構成例について説明するための図である。 図１２の撮像部を用いる場合の画像処理部３０及び４０の設定について示す図である。 図１２の撮像部を用いる場合のＡＥ評価値演算部５０の設定について示す図である。 図１２の撮像部を用いる場合のＡＦ評価値演算部６０の設定について示す図である。 図１２に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。 図１２に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。 撮像部１０の第３の構成例について説明するための図である。 図１８に示す撮像部１０に対応してＡＥ評価値演算部５０において行われるＡＥ評価値演算に係る処理について示したタイミングチャートである。 図１８に示す撮像部１０に対応してＡＦ評価値演算部６０において行われるＡＦ評価値演算に係る処理について示したタイミングチャートである。

符号の説明

１０，１０ａ，１０ｂ…撮像部、２０，２０ａ，２０ｂ…前処理部、３０，４０…画像処理部、３１，４１…ローパスフィルタ（ＬＰＦ）、３２，４２…リサイズ部、３３…選択部、３４，４３，５３，６３…アドレス制御部、３５，４４，５４，６４…ＤＭＡＩＦ、５０…ＡＥ評価値演算部、５１…選択部、５２，６２…累積部、６０…ＡＦ評価値演算部、６１…Ｙ生成部、７０…データバス、８０…記憶部、５１１，５１２…フリップフロップ（ＦＦ）、５１３，５１４，６１１，６１５…加算部、５１５，５１６，５１７，６１２，６１４…選択部、６１３…ラインメモリ

Claims (14)

1. 第１の撮像信号と第２の撮像信号の２種の撮像信号を出力可能になされた撮像部と、
   上記２種の撮像信号を選択的に処理してＡＥ評価値を生成する第１の演算部と、
   上記２種の撮像信号を選択的に処理して輝度信号を生成し、該生成した輝度信号からＡＦ評価値を生成する第２の演算部と、
   上記２種の撮像信号に対して画像処理を施して画像データを得る画像処理部と、
   を具備することを特徴とする撮像装置。
2. 上記第１の演算部は、
   連続して出力される２画素分の上記第１の撮像信号を加算する第１の加算部と、
   連続して出力される２画素分の上記第２の撮像信号を加算する第２の加算部と、
   上記撮像部からの第１の撮像信号と上記第１の加算部からの撮像信号の何れかを選択する第１の選択部と、
   上記撮像部からの第２の撮像信号と上記第２の加算部からの撮像信号の何れかを選択する第２の選択部と、
   上記第１の選択部からの撮像信号と上記第２の選択部からの撮像信号の何れかを選択する第３の選択部と、
   上記第３の選択部からの撮像信号から上記ＡＥ評価値を生成するＡＥ評価値生成部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
3. 上記第２の演算部は、
   上記撮像部からの第１の撮像信号と第２の撮像信号とを加算する第３の加算部と、
   上記撮像部からの第１の撮像信号と上記第３の加算部からの撮像信号の何れかを選択する第４の選択部と、
   上記第４の選択部からの撮像信号を保持する保持部と、
   上記撮像部からの第１の撮像信号及び第２の撮像信号と、上記保持部からの撮像信号及び上記第３の加算部からの撮像信号との何れかを選択する第５の選択部と、
   上記第５の選択部からの２つの撮像信号を加算して輝度信号を生成する第４の加算部と、
   上記第４の加算部からの輝度信号から上記ＡＦ評価値を生成するＡＦ評価値生成部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
4. 上記画像処理部で得られた画像データを記憶する記憶部をさらに具備し、
   上記画像処理部は、
   上記第１の撮像信号に対して画像処理を施して画像データを得る第１の画像処理部と、
   上記第２の撮像信号に対して画像処理を施して画像データを得る第２の画像処理部と、
   上記第１の画像処理部で得られた画像データと上記第２の画像データを選択的に上記記憶部に書き込む記憶処理部と、
   を備えることを特徴とする請求項１に記載の撮像装置。
5. 上記撮像部は、画素がアレイ状に配列され、隣接する２ラインの垂直方向に隣接する２画素の撮像信号をそれぞれ上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
   上記第１の演算部において、上記第１の選択部は上記撮像部からの第１の撮像信号を選択し、上記第２の選択部は上記撮像部からの第２の撮像信号を選択し、上記第３の選択部は上記第１の選択部からの第１の撮像信号と上記第２の選択部からの第２の撮像信号を１ライン毎に交互に選択することを特徴とする請求項２に記載の撮像装置。
6. 上記撮像部は、画素がアレイ状に配列され、隣接する２ラインの垂直方向に隣接する２画素の撮像信号のそれぞれを上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
   上記第２の演算部において、上記第５の選択部は上記撮像部からの第１の撮像信号と上記撮像部からの第２の撮像信号の２つを選択することを特徴とする請求項３に記載の撮像装置。
7. 上記撮像部は、画素がアレイ状に配列され、隣接する２ラインの垂直方向に隣接する２画素の撮像信号のそれぞれを上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
   上記画像処理部において、上記記憶処理部は、上記第１の画像処理部と上記第２の画像処理部でそれぞれ得られた画像データを１ライン毎に交互に上記記憶部に書き込むことを特徴とする請求項４に記載の撮像装置。
8. 上記撮像部は、画素がアレイ状に配列され、１ラインの水平方向に隣接する２画素の撮像信号のそれぞれを上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
   上記第１の演算部において、上記第１の選択部は上記第１の加算部からの撮像信号を選択し、上記第２の選択部は上記第２の加算部からの撮像信号を選択し、上記第３の選択部は上記第１の選択部からの撮像信号と上記第２の選択部からの撮像信号を１クロック毎に交互に選択することを特徴とする請求項２に記載の撮像装置。
9. 上記撮像部は、画素がアレイ状に配列され、１ラインの水平方向に隣接する２画素の撮像信号のそれぞれを上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
   上記第２の演算部において、上記第４の選択部は上記第３の加算部からの撮像信号を選択し、上記第５の選択部は上記保持部からの撮像信号と上記第３の加算部からの撮像信号の２つを選択することを特徴とする請求項３に記載の撮像装置。
10. 上記撮像部は、画素がアレイ状に配列され、１ラインの水平方向に隣接する２画素の撮像信号のそれぞれを上記第１の撮像信号及び上記第２の撮像信号として、１クロック毎に１画素ずつ同時に出力し、
    上記画像処理部において、上記記憶処理部は、上記第１の画像処理部と上記第２の画像処理部でそれぞれ得られた画像データを１クロック毎に交互に選択して上記記憶部に書き込むことを特徴とする請求項４に記載の撮像装置。
11. 上記撮像部は、
    第１の撮像光学系と第２の撮像光学系とを有する撮像光学系と、
    上記第１の撮像光学系からの光を受光して上記第１の撮像信号を出力する第１の撮像素子と、
    上記第２の撮像光学系からの光を受光して上記第２の撮像信号を出力する第２の撮像素子と、
    を有し、
    上記画像処理部は、
    上記第１の撮像信号に対して第１の画像処理を施す第１の画像処理部と、
    上記第２の撮像信号に対して上記第１の画像処理とは異なる第２の画像処理を施す第２の画像処理部と、
    を有することを特徴とする請求項１に記載の撮像装置。
12. 上記第１の撮像素子と上記第２の撮像素子はそれぞれ静止画像撮影用の撮像素子と動画像撮影用の撮像素子であり、
    上記第１の画像処理と上記第２の画像処理はそれぞれ静止画像撮影用の画像処理と動画像撮影用の画像処理であることを特徴とする請求項１１に記載の撮像装置。
13. 上記第１の演算部によるＡＥ評価値の生成と、上記第２の演算部によるＡＦ評価値の生成と、上記画像処理部による画像処理とは同時に行われることを特徴とする請求項１乃至１２の何れか１つに記載の撮像装置。
14. 第１の撮像信号と第２の撮像信号の２種の撮像信号を処理する信号処理装置であって、
    上記２種の撮像信号を選択的に処理してＡＥ評価値を生成する第１の演算部と、
    上記２種の撮像信号を選択的に処理して輝度信号を生成し、該生成した輝度信号からＡＦ評価値を生成する第２の演算部と、
    上記２種の撮像信号に対して画像処理を施して画像データを得る画像処理部と、
    を具備することを特徴とする信号処理装置。

Images