JP2013084001A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 焦点検出画素における画像信号を少ない記憶容量で生成すること。
【解決手段】 撮像装置は、撮像用画素群と焦点検出用画素群とを含む撮像素子１０と、前記焦点検出用画素群の位置分布を示す分布情報を記憶するメモリ２０と、前記位置分布を示す分布情報に基づいて前記焦点検出用画素群の各画素の位置における画像信号から前記撮像用画素群の画像信号から生成する補正回路１３と、前記撮像用画素群の画像信号と、補正回路１３により生成された前記焦点検出用画素群の画像信号と、に基づいて撮像画像を形成する信号処理回路１５と、を備える。
【選択図】 図１

Description

本発明は、焦点検出機能を有し、更に光電変換素子を用いて撮像を行う撮像装置及び画像処理方法に関する。

従来より、光電変換素子を使用して被写体像を電子的に撮像すると共に焦点検出機能も備えた撮像装置に関する種々の技術が開示されている。

特許文献１においては、撮像素子の画素のうちに、本来の画像情報取り込み以外の焦点検出等のための機能画素を設けることで、本来の撮像面において、撮像素子そのもので焦点検出を行う位相差方式による焦点検出技術が開示されている。

この場合、機能画素の位置に対応する被写体像は直接得られないが、この課題に対して特許文献１では周辺にある被写体撮像用の画素から補間して画素値を得るという技術が開示されている。そして、機能画素の位置についてはＲＯＭに記録された情報に基づいて判別するとされている。

また、被写体像の画素値が得られない画素に対して周辺画素から補間して画素値を得る技術については、特許文献２で周辺画素との相関により任意の画像中の任意の欠陥判定を行い補正するという技術が開示されている。

特許文献１と特許文献２の技術を組み合わせれば、簡単な構成で焦点検出等のための機能画素の位置に対応する被写体像が補間された被写体像を得ることは容易である。

特開２０００−１５６８２３号公報 特開平９−２４７５４８号公報

しかしながら、特許文献１ではＲＯＭに記録されている情報の詳細については開示がない。

また、特許文献１と特許文献２を組み合わせた上述の技術では焦点検出等の機能画素を誤判定する可能性があるという問題がある。

本発明は上記の問題に鑑みてなされたものであり、焦点検出画素における画像信号を少ない記憶容量で生成することを目的とする。

本発明の第１の側面は、撮像装置に係り、撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子と、前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を記憶する記憶手段と、前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置における画像信号を前記撮像用画素群の画像信号から生成する生成手段と、前記撮像用画素群の画像信号と、前記生成手段により生成された画像信号と、に基づいて撮像画像を形成する形成手段と、を備えることを特徴とする。

本発明の第２の側面は、撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子を備える撮像装置における画像処理方法に係り、読み出し手段が、記憶手段に予め記憶された前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を読み出す工程と、生成手段が、前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置における画像信号を前記撮像用画素群の画像信号から生成する工程と、形成手段が、前記撮像用画素群の画像信号と、前記生成された画像信号と、に基づいて撮像画像を形成する工程と、を含むことを特徴とする。

本発明によれば、焦点検出画素における画像信号を少ない記憶容量で生成することができる。

本発明の第１の実施形態と第２の実施形態における撮像装置を説明するための図。 本発明の第１の実施形態と第２の実施形態における撮像素子の間引き方法と焦点検出用Ｗ画素位置分布を説明するための図。 本発明の第１の実施形態と第２の実施形態における撮像素子の焦点検出モードを説明するための図。 本発明の第１の実施形態と第２の実施形態における撮像素子の間引きモードを説明するための図。 本発明の第１の実施形態と第２の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。 本発明の第１の実施形態と第２の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。 本発明の第１の実施形態と第２の実施形態における撮像素子の間引き方法と焦点検出用Ｗ画素位置分布を説明するための図。 本発明の第１の実施形態と第２の実施形態において焦点検出用Ｗ画素位置分布をウィンドウ毎に持つ場合を説明するための図。 本発明の第１の実施形態と第２の実施形態において焦点検出用Ｗ画素位置分布をウィンドウ毎に持つ場合に中心画素だけ読み出す時の動作を説明するための図。 本発明の第１の実施形態と第２の実施形態において画像データをジグザグに読み出すときの焦点検出用Ｗ画素位置分布情報を説明するための図。 本発明の第３の実施形態における撮像装置を説明するための図。 本発明の第３の実施形態においてＡＦＥから焦点検出用Ｗ画素分布情報と属性情報とブロックパターン情報が出力されるタイミングを説明するための図。 本発明の第３の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１、本発明の好適な第１の実施形態に係る撮像装置の構成を示す図である。本実施形態では、デジタルスチルカメラの構成を例示的に示す。

図１において、撮像素子１０は、色フィルタがベイヤー配列で構成されたエリアセンサであり、撮像用画素群と焦点検出用画素群とで構成されている。すなわち、一部の画素は、焦点検出用画素として透明フィルタの色フィルタで構成されている。

タイミングジェネレータ（ＴＧ）１１は、撮像素子１０の駆動パルスを静止画撮影モード、間引きモード、焦点検出モードに応じて生成する。また、ＴＧ１１は、マイクロプロセッサ２４と制御線で接続され、マイクロプロセッサ２４からの指令に応じて駆動パルスを、静止画撮影モード、間引きモード、焦点検出モードに切り替える。

撮像素子１０の出力は、アナログフロントエンド（ＡＦＥ）１２でサンプリング、ゲイン調整された後、Ａ／Ｄ変換される。Ａ／Ｄ変換されたＡＦＥ出力は、スイッチ２６及びメモリコントローラ１９に接続されている。

補正回路１３は、焦点検出用画素の位置にある画像信号を形成する形成手段として機能する。具体的には、Ａ／Ｄ変換された撮像素子１０の出力信号に基づいて、焦点検出用画素の位置にある撮像画像の画素値を周辺の通常画素から補正（補間及び補外を含む）する。補間は、例えば、周辺の通常画素を用いて公知のバイキュービック法などにより行われうる。

信号処理回路１５は、補正回路１３の出力に基づいて、輝度色差画像データを形成する回路である。

圧縮回路１６は、信号処理回路１５で形成された輝度色差画像データをＪＰＥＧなどの規格に従って圧縮処理する回路である。

位相差演算回路２１は、Ａ／Ｄ変換された撮像素子１０の出力信号に基づいて、焦点検出用の画素値による位相差演算を行う。マイクロプロセッサ２４は、位相差演算回路２１の位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。

位置演算回路１４は、マイクロプロセッサ２４から焦点検出用画素の位置分布を示す分布情報（以下「分布情報」という。）と属性情報とを受信して、焦点検出用画素の位置情報を算出する位置演算手段である。位置演算回路１４は、分布情報と属性情報とを、ベイヤー配列に従った場合における色フィルタ情報（色情報）と共に出力する。

２０はメモリであり、ＤＲＡＭなどのメモリ素子によって構成される。

メモリコントローラ１９は、入力されたデータをメモリ２０に記録するための制御を行ったり、メモリ２０上のデータを他のブロックからのリクエストに応じて読み出すための制御を行ったりする。

外部記録メディア２３は、不揮発性のメモリ素子によって構成され、画像データファイルなどの保存を行う。

外部記録メディア制御回路２２は、外部記録メディア２３に対してデータの書き出しなどを制御する回路である。

ディスプレイ１８は、ＬＣＤなどによって構成され、撮影した静止画を表示したり、電子ビューファインダーとして撮影前に撮像素子１０に入射する光学系により結像された被写体像を表示したりする。

撮影レンズ２８は、マイクロプロセッサ２４からの指令によって撮像素子１０に対する焦点位置を調整可能なレンズである。

シャッタースイッチ２５は、半押しすると制御信号ＳＷ１が出力され、全押しすると制御信号ＳＷ２が出力され、何も押さない状態ではＳＷ０を出力するスイッチで、焦点検出時に半押し、撮影時に全押しして使用される。

２７はシャッターであり、羽根を開閉させることにより撮像素子１０への光の入射を制御する。

マイクロプロセッサ２４は、システム全体を制御する回路である。マイクロプロセッサ２４は、不揮発性のメモリ素子などで構成されたＲＯＭを含み、ＲＯＭにはマイクロプロセッサ２４を制御するプログラムや焦点検出用画素の分布情報及び属性情報などが記憶されている。

図２は、撮像素子１０の色フィルタ配列と読み出しモードを説明するための図である。本実施形態において、撮像素子１０は、画素数が（水平）×（垂直）＝１６００×１２００画素であり、色フィルタはベイヤー配列であるとする。ただし、本発明は、上記の画素数や色フィルタ配列に限定されず、他の画素数や補色フィルタなどを用いたものでもよい。また、図２において、Ｒはレッド、Ｇはグリーン、Ｂはブルーの色フィルタであるとする。Ｗは透明フィルタであり、焦点検出に用いるものとする。なお、焦点検出には、測距、測光などが含まれる。また、本実施形態に係る撮像装置は、静止画モード、焦点検出モード、間引きモードの３つの読み出しモードを有し、各読み出しモードに対して左矢印で示したラインが読み出されるものとする。ただし、本発明は、上記３つのモードのみを持つものに限定されず、その他の読み出しモードを有していてもよい。

焦点検出用画素の属性情報は、図２のブロックパターンの形式でＲＯＭに保持している。Ｒはレッド、Ｂはブルー、Ｇ１はレッド画素が存在する行のグリーン、Ｇ２はブルー画素が存在する行のグリーン、ＷＲ、ＷＧ１、ＷＧ２、ＷＢは焦点検出用のＷ画素でＷに続く文字はベイヤー配列の場合に存在するはずの色フィルタの色を示している。ただし、本発明は、ブロックパターンの形式を図２に限るものではなく、例えば色フィルタの種類は８種類ではなくて、例えば、２種類（Ｗ以外とＷだけ）などでもよい。また、例えば、ブロック内のベクトル表示で（０，０）、（１，１）のような形式で持つのみでもよい。また、ベイヤー配列でＲＢ画素をＷ画素に置き換えることが前提のシステムであればブロックパターン自体を持たなくてもよい。

焦点検出用画素の分布情報は、Ｗ画素が存在するブロックパターンの分布情報を持つものとし、以下の多項式の各係数及びＮをＲＯＭに保持している。ここで、ＨＣＯＵＮＴは水平画素カウンタ、ＶＣＯＵＮＴは垂直ラインカウンタであり、それぞれ１１ビットのカウンタである。
ｆ（ｘ）＝ａ２ｘ^２＋ａ１ｘ＋ａ０
ｇ（ｙ）＝ｂ２ｙ^２＋ｂ１ｙ＋ｂ０
θ（ｙ）＝（ｃ２ｙ^２＋ｃ１ｙ＋ｃ０）ｍｏｄ（Ｎ）
ｘ＝ＨＣＯＵＮＴ（１０：１）
ｙ＝ＶＣＯＵＮＴ（１０：１）

ただし、本発明は、分布情報を焦点検出用のＷ画素の分布情報で持ってもよいし、多項式の次数に制限を設けるものでもない。また関数は多項式でなくてもよく、例えば三角関数や指数関数などを含んでもよい。

位置演算回路１４は、マイクロプロセッサ２４から分布情報を取得してＷ画素ブロックパターンの位置を算出する。図２は、静止画モードの分布情報（分布関数）が示されている。つまり、静止画モードにおいては、分布情報として以下の情報をマイクロプロセッサ２４から取得してＷ画素ブロックパターンの位置を算出する。
ａ２＝ａ１＝０，ａ０＝６
ｂ２＝ｂ１＝０，ｂ０＝６
ｃ２＝０，ｃ１＝１，ｃ０＝０，Ｎ＝６

本実施形態では、ｆ（ｘ）は、次のＷ画素ブロックパターンまでの水平距離を示している。例えば、ｘ＝０、ｙ＝０であればｆ（ｘ）＝６となり、次のＷ画素ブロックパターンはｘ＝６、ｙ＝０にある。同様に、ｇ（ｙ）は、次のＷ画素ブロックパターンまでの垂直距離を示している。例えば、ｙ＝０であればｇ（ｙ）＝６なので次のＷ画素ブロックパターンはｙ＝６のラインにある。θ（ｙ）は、ｆ（ｘ）を開始する水平位置を示している。例えば、ｙ＝３であればθ（ｙ）＝３なのでｘ＝３、ｙ＝３を始点として次のＷ画素ブロックはｘ＝９、ｙ＝３となる。ただし、本発明は、分布情報を次のＷ画素ブロックパターンまでの距離に限るものではなく、例えば単位距離あたりのＷ画素ブロックパターンの個数（密度）などで表現してもよい。

位置演算回路１４は算出結果をＷ画素の位置と色フィルタ情報として出力する。つまり、静止画撮影モードであれば、以下の（ＨＣＯＵＮＴ、ＶＣＯＵＮＴ、色）のフォーマットでデータを出力する。
（０，０，４），（１２，０，４），（２４，０，４），…
（６，６，７），（１８，６，７），（３０，６，４），…
…

ただし、本発明においては、上記に限られず、例えば、一度だけブロックパターン情報を出力し、その後は焦点検出用のＷ画素を含むブロックパターンの位置を出力してもよい。

図３は、焦点検出モードの分布関数を説明するための図である。本実施形態における焦点検出モードでは焦点検出用のＷ画素が存在するラインだけを読み出すものとする。つまり、焦点検出モードにおいては、以下の分布情報をマイクロプロセッサ２４から取得する。
ａ２＝ａ１＝０，ａ０＝６
ｂ２＝ｂ１＝０，ｂ０＝１
ｃ２＝０，ｃ１＝３，ｃ０＝０，Ｎ＝６

図４は、間引きモードの分布関数を説明するための図である。本実施形態における間引きモードは電子ビューファインダー時に使用するモードであり、焦点検出用のＷ画素が存在しないラインを読み出すものとする。つまり、間引きモードにおいては、以下の分布情報をマイクロプロセッサ２４から取得する。
ａ２＝ａ１＝ａ０＝０
ｂ２＝ｂ１＝ｂ０＝０
ｃ２＝ｃ１＝ｃ０＝０，Ｎ＝０

係数が全てゼロであれば、位置演算回路１４は、焦点検出用のＷ画素位置を算出しない。

本実施形態においては、撮像素子１０の読み出しモードに応じて分布関数を切り替えているが、本発明はこれに限られず、例えば、ブロックパターンを切り替えるように構成されてもよい。

図７は、撮像素子１０の読み出しモードに応じてブロックパターンを切り替える場合を説明するための図である。静止画撮影モード用のブロックパターンは、全ての画素について色フィルタ情報を持っている。焦点検出モード用のブロックパターンは、読み出される画素のみブロックパターンを持っていて、ＷＲ及びＷＢの画素が存在する。間引きモード用のブロックパターンは、読み出される画素のみがブロックパターンを持っており、Ｒ、Ｇ１、Ｇ２、Ｂの画素のみが存在する。

図５に本実施形態のデジタルスチルカメラの動作の流れを示す。

ステップＳ１では、カメラに電源が投入される。

ステップＳ２では、スイッチ２９を端子ｄ（マイクロプロセッサ２４）と接続する。そして、カメラはまず電子ビューファインダーを起動する。

ステップＳ３では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に対して指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。

ステップＳ４では、マイクロプロセッサ２４は、位置演算回路１４に間引きモードの分布情報と属性情報とをセットする。間引きモードの分布情報では、係数が全てゼロなので、位置演算回路１４は、位置を算出しない。

ステップＳ５では、マイクロプロセッサ２４は、スイッチ２６を端子ａに接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は、位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）１８によって被写体を決定し、シャッタースイッチ２５を半押しする。

ステップＳ６では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１の状態であることを判断すると、処理をＳ７に進め、オートフォーカス動作を開始する。

ステップＳ７では、マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。その後、処理をＳ８に進める。

ステップＳ８では、位置演算回路１４に焦点検出モードの分布情報と属性情報をセットする。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、位置演算回路１４の算出結果に従って焦点検出用Ｗ画素の画像信号をメモリ２０から読み出し、位相差演算回路２１に出力する。位相差演算回路２１は、焦点検出用Ｗ画素の画素値に基づいて位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。一方、補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、焦点検出モードの分布情報（分布関数）に従って位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。

ステップＳ９では、撮影者がシャッタースイッチ２５を全押ししたとすると、シャッタースイッチ２５は制御信号ＳＷ２を出力する。

ステップＳ１０では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ１１に進める。

ステップＳ１１では、ＴＧ１１のモードを静止画撮影モードに切り替える。その後、処理をＳ１２に進める。

ステップＳ１２では、位置演算回路１４に静止画撮影モードの分布情報と属性情報をセットする。

ステップＳ１３では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。

ステップＳ１４では、ＴＧ１１は、静止画撮影モードの駆動パルスを生成する。メモリコントローラ１９は、映像信号をＡＦＥ１２から取り込み、これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、静止画撮影モードの分布情報（関数）に従って位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ３に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２６を端子ａに接続し、再び電子ビューファインダ動作を開始する。

このように、本発明によれば、少ないＲＯＭサイズで確実に焦点検出等の機能画素を判定し、対応する被写体像の画素値を補間することができる。また、撮像素子１０の読み出しモードが複数あっても対応が可能になる。

図６に本実施形態のデジタルスチルカメラの別の動作の流れを示す。

ステップＳ１０１では、カメラに電源が投入される。

ステップＳ１０２では、スイッチ２９を端子ｄ（マイクロプロセッサ２４）と接続する。

ステップＳ１０３では、マイクロプロセッサ２４は、位置演算回路１４に全モードの分布情報と属性情報とをセットする。位置演算回路１４は、算出結果をメモリコントローラ１９に出力し、メモリコントローラ１９によりメモリ２０に記録される。

ステップＳ１０４では、スイッチ２９を端子ｃ（メモリコントローラ１９）と接続する。次いで、カメラはまず電子ビューファインダーを起動する。

ステップＳ１０５では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。

ステップＳ１０６では、マイクロプロセッサ２４は、位置演算回路１４に間引きモードの分布情報と属性情報とをセットする。間引きモードの分布情報では、係数が全てゼロなので、位置演算回路１４は、位置を算出しない。

ステップＳ１０７では、マイクロプロセッサは、スイッチ２６を端子ａに接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力はＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）１８によって被写体を決定し、シャッタースイッチ２５を半押しする。

ステップＳ１０８では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１状態であることを判断すると、処理をＳ１０９に進める。

ステップＳ１０９では、オートフォーカス動作を開始する。マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。その後、処理をＳ１１０に進める。

ステップＳ１１０では、位置演算回路１４に焦点検出モードの分布情報と属性情報をセットする。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、位置演算回路１４の算出結果に従って焦点検出用Ｗ画素の画像信号をメモリ２０から読み出し、位相差演算回路２１に出力する。位相差演算回路２１は、焦点検出用Ｗ画素の画素値に基づいて位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。一方、補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、焦点検出モードの分布情報（分布関数）に従って位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。

ステップＳ１１１では、撮影者がシャッタースイッチ２５を全押ししたとすると、シャッタースイッチ２５は制御信号ＳＷ２を出力する。

ステップＳ１１２では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ１１３に進める。

ステップＳ１１３では、ＴＧ１１のモードを静止画撮影モードに切り替える。その後、処理をＳ１１４に進める。

ステップＳ１１４では、位置演算回路１４に静止画撮影モードの分布情報と属性情報をセットする。

ステップＳ１１５では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。

ステップＳ１１６では、ＴＧ１１は静止画撮影モードの駆動パルスを生成する。

メモリコントローラ１９は、映像信号をＡＦＥ１２から取り込み、これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、静止画撮影モードの分布情報（関数）に従って位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ３に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２６を端子ａに接続し、再び電子ビューファインダー動作を開始する。

このように、本発明によれば、更に、分布情報を予めメモリ２０に画素位置として展開しておく。これにより、焦点検出用Ｗ画素が水平方向にも垂直方向にも粗密の分布を持っていて、ＨＶ分離することが難しい場合であっても、簡単な構成で位置演算回路１４を構成することが可能になる。

また、図２〜図４では焦点検出用Ｗ画素の分布が水平方向にも垂直方向にも均一であるが、本発明はこれに限定されず、粗密の分布を持っていてもよい。

図８は、水平方向に粗密の分布がある場合であり、外側が密で中央に近づくほど粗い場合を示している。

図８における水平方向の分布関数は以下のようになる。
・Ｗｉｎｄｏｗ１（１≦ｘ≦８）
ｆ（ｘ）＝０．５ｘ
・Ｗｉｎｄｏｗ２（１２≦ｘ≦１９）
ｆ（ｘ）＝−０．５ｘ＋１０

ただし、本発明は上記の分布関数に限られず、撮像素子内の領域を指定するウィンドウを複数有して、分布情報が複数のウィンドウの各々に対して設定されてもよいし、同じような分布関数を垂直方向にも持っていてもよい。

このように、本発明によれば、更に、ウィンドウ毎に分布関数を持つことによって、任意の粗密の分布を表現することができる。

また、本発明では電子ズームなどで撮像素子１０の中心付近だけ読み出す場合に、分布関数を座標変換してウィンドウを切り替えてもよい。

図９は、電子ズームにより撮像素子１０の中央付近だけ読み出す場合を水平方向において例示的に示している。この場合は、ｆ（ｘ）及びウィンドウは、以下のように切り替わる。
・Ｗｉｎｄｏｗ１（０≦ｘ≦４）
ｆ（ｘ）＝０．５（ｘ＋４）
・Ｗｉｎｄｏｗ２（８≦ｘ≦１２）
ｆ（ｘ）＝−０．５（ｘ＋４）＋１０

ただし、本発明は、上記のウィンドウに限られず、切り替えるウィンドウの組を３つ以上持ってもよいし、同じような分布を垂直方向にも持っていてもよい。

このように、本発明によれば、更に、ウィンドウ切り替えと同時に分布関数の座標変換を行う。これにより、電子ズームなどで撮像素子１０の中央付近だけを読み出すような場合に複数の分布情報を保持する必要がない。

また、本実施形態では、画像信号を処理する順番はラスタ順であるが、これに限定されず、その他の順番で補正や位相差演算を行ってもよい。

図１０は、ブロックパターンがジグザグに読み出される場合を説明するための図である

。ブロックパターンは、図１０に示す数字の順番のようにジグザグに読まれる。ジグザグ
方向のカウンタをｌｅｎとし、分布関数をｈ（ｌｅｎ）とすると、以下のようになる。
・Ｗｉｎｄｏｗ ｎ（ｗｎ＿ｍｉｎ≦ｌｅｎ≦ｗｎ＿ｍａｘ）
ｈ（ｌｅｎ）＝Ｄ＝３
ｗｎ＿ｍｉｎ＝（１＋２Ｄ×ｎ）（１＋２Ｄ×ｎ）／２−Ｄ×ｎ
ｗｎ＿ｍａｘ＝（１＋２Ｄ×ｎ）（１＋２Ｄ×ｎ）／２＋Ｄ×ｎ
ｎ＝０，１，２，…
この場合、ＲＯＭに記憶しておく分布情報はＤ＝３である。また、分布関数をスカラ値ではなくベクトル値で表現してもよい。その場合は、以下のようになる。
・Ｗｉｎｄｏｗ ｎ（ｗｎ＿ｍｉｎ≦ｌｅｎ≦ｗｎ＿ｍａｘ）
ｌｅｎ＝ｍ×ｅ＋ｗｎ＿ｍｉｎ＝（ｍ，−ｍ＋６ｎ）
ｈ（ｌｅｎ）＝Ｄ×ｅ＝（３，−３）
ｗｎ＿ｍｉｎ＝２Ｄ×ｎ×ｅｙ＝（０，６ｎ）
ｗｎ＿ｍａｘ＝２Ｄ×ｎ×ｅｘ＝（６ｎ，０）
ｅ＝（１，−１）
ｅｘ＝（１，０）
ｅｙ＝（０，１）
ｍ＝０，１，２，…
ｎ＝０，１，２，…

この場合、ＲＯＭに記憶しておく分布情報はＤ＝３である。

このように、本発明によれば、ウィンドウを複数持つことにより、ラスタ順以外で入力される画像データの補正や位相差演算を実施することができる。

（第２の実施形態）
第２の実施形態の構成は図１と同様である。本実施形態では、焦点検出焦点検出用Ｗ画素の分布情報及び属性情報はＡＦＥ１２が保持されて、電源投入時など処理開始前の適当なタイミングでＡＦＥ１２から出力され、メモリコントローラ１９を介してメモリ２０に転送される。

本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報は、ＡＦＥ１２が保持しているが、本発明はこれに限られず、ＴＧ１１が保持してもよいし、撮像素子１０が保持していてもよい。また、本実施形態では、メモリ２０に焦点検出用Ｗ画素の分布情報及び属性情報が転送されるが、本発明はこれに限られず、転送されたデータでＲＯＭを更新してもよい。

本実施形態では、マイクロプロセッサ２４が転送された焦点検出用Ｗ画素の分布情報及び属性情報をメモリ２０から読み出して位置演算回路１４にセットするかＲＯＭを更新するが、それ以外は第１の実施の形態と同様である。

このように、本発明によれば、更に、焦点検出用Ｗ画素の分布情報及び属性情報を撮像素子、タイミングジェネレータ、アナログフロントエンド等が保持する。これにより、撮像素子、タイミングジェネレータ、アナログフロントエンド等の仕様変更等が発生した時のＲＯＭ修正によるコスト上昇やセンサーモジュール交換に煩雑なユーザ作業の発生を抑えることができる。

（第３の実施形態）
図１１は、第３の実施形態の撮像装置の構成を示す。第３の実施形態はデジタルスチルカメラの構成例である。

図１１では、スイッチ２９の端子（入力端子）ｄがマイクロプロセッサ２４ではなくＡＦＥ１２である以外は、図１と同様である。本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報をＡＦＥ１２が保持しており、適当なタイミングでＡＦＥ１２から出力される。

本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報をＡＦＥ１２が保持しているが、本発明はこれに限られず、ＴＧ１１が保持してもよいし、撮像素子１０が保持してもよい。

図１２は、本実施形態においてＡＦＥ１２が焦点検出用Ｗ画素の分布情報及び属性情報をどのようなタイミングかつどのようなフォーマットで出力するかを説明するための図である。

図１２（ａ）は、Ａ／Ｄ変換データに属性情報用ビットを付加して出力する場合を示す図である。画素信号は１０ビットデータにＡ／Ｄ変換され、３ビットの属性データは色フィルタ情報を持っている。ただし、本発明はこれに限定されず、属性データは３ビット以外でもよいし、ＭＳＢ側以外にビットが配置されてもよい。

図１２（ｂ）は、フィールド読み出し開始前の垂直ブランキング期間に属性情報を出力し、ライン読み出し開始前の水平ブランキング期間に各ラインにおける分布情報を出力する場合を示す図である。出力される属性情報及び分布情報は、第１の実施形態で説明されたものと同様である。ただし、本発明はこれに限定されず、カラム順に画素信号を読み出すタイプの撮像素子であれば、水平と垂直の関係を逆に適用しても構わない（カラム毎に分布情報を出力しても構わない）。

図１２（ｃ）は、フィールド読み出し開始前の垂直ブランキング期間に属性情報と分布情報を出力する場合を示す図である。出力される属性情報及び分布情報は、第１の実施形態で説明されたものと同様である。本発明では、１フィールド毎に属性情報と分布情報とを出力してもよいし、複数フィールド毎に適当なタイミングで属性情報と分布情報とを出力してもよい。

図１３は、本実施形態に係るデジタルスチルカメラの動作の流れを示す図である。

ステップＳ２０１では、カメラに電源が投入される。カメラはまず電子ビューファインダーを起動する。

ステップＳ２０２では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。

ステップＳ２０３では、マイクロプロセッサ２４は、スイッチ２９を端子ｄ（ＡＦＥ１２）と接続する。

ステップＳ２０４では、マイクロプロセッサ２４は、スイッチ２６を端子ａ（ＡＦＥ１２）と接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は、位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）によって被写体を決定し、シャッタースイッチ２５を半押しする。

ステップＳ２０５では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１状態であることを判断すると、処理をＳ２０６に進め、オートフォーカス動作を開始する。

ステップＳ２０６では、マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、焦点検出用Ｗ画素をメモリ２０から読み出し位相差演算回路２１に出力し、位相差演算回路２１は、焦点検出用Ｗ画素の画素値から位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。位相差演算に使用される焦点検出用Ｗ画素の位置は、メモリ２０に画像データと共に記録された分布情報と属性情報とを解読して特定する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。

一方、補正回路１３は位置演算回路１４の算出結果にしたがって焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４はＡＦＥ１２から出力されるデータを解読して位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。

ステップＳ２０７では、ここで撮影者がシャッタースイッチ２５を全押ししたとする。シャッタースイッチ２５は制御信号ＳＷ２を出力する。

ステップＳ２０８では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ２０９に進める。

ステップＳ２０９では、ＴＧ１１のモードを静止画撮影モードに切り替える。

ステップＳ２１０では、スイッチ２９を端子ｃ（メモリコントローラ１９）に切り替える。

ステップＳ２１１では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。

ステップＳ２１２では、ＴＧ１１は、静止画撮影モードの駆動パルスを生成する。メモリコントローラ１９は映像信号をＡＦＥ１２から取り込み，これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、メモリ２０に画像データと共に記録されている分布情報と属性情報を解読して位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ２０２に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２９を端子ｄに、スイッチ２６を端子ａに接続し、再び電子ビューファインダー動作を開始する。ただし、本発明はこれに限定されない。例えば、水平ブランキング期間又は垂直ブランキング期間に分布情報と属性情報とをＡＦＥ１２から受ける。そして、予めメモリ２０に（ＨＣＯＵＮＴ、ＶＣＯＵＮＴ、色）のフォーマットで属性情報を含む焦点検出用Ｗ画素位置情報を展開し、展開した情報に基づいて補正や位相差演算を行うようにしても良い。

このように、本発明によれば、撮像素子、タイミングジェネレータ、アナログフロントエンド等の仕様変更等が発生した時のＲＯＭ修正によるコスト上昇やセンサーモジュール交換に煩雑なユーザ作業を低減することができる。更に、Ａ／Ｄ変換データに属性ビットを割り当てておけば位置演算回路を簡単な構成で実現することができる。

また、本発明によれば、更に撮像素子の読み出しの水平又は垂直ブランキング期間に分布情報をＡＦＥから転送することで、ライン単位又はカラム単位又はフィールド単位できめ細かい分布情報のメンテナンスを実現することができる。

１０ 撮像素子
２０ メモリ
１３ 補正回路
１５ 信号処理回路

本発明の第１の側面は、撮像装置に係り、撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子と、前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を記憶する記憶手段と、前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置に対応する画素値を前記撮像用画素群から出力された信号に基づいて生成する生成手段と、前記撮像用画素群から出力された信号と、前記生成手段により生成された画素値と、に基づいて撮像画像を形成する形成手段と、を備えることを特徴とする。

本発明の第２の側面は、撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子を備える撮像装置における画像処理方法に係り、読み出し手段が、記憶手段に予め記憶された前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を読み出す工程と、生成手段が、前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置に対応する画素値を前記撮像用画素群から出力された信号に基づいて生成する工程と、形成手段が、前記撮像用画素群から出力された信号と、前記生成された画素値と、に基づいて撮像画像を形成する工程と、を含むことを特徴とする。

Claims (13)

1. 撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子と、
   前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を記憶する記憶手段と、
   前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置における画像信号を前記撮像用画素群の画像信号から生成する生成手段と、
   前記撮像用画素群の画像信号と、前記生成手段により生成された画像信号と、に基づいて撮像画像を形成する形成手段と、
   を備えることを特徴とする撮像装置。
2. 前記分布情報に基づいて前記焦点検出用画素群の各画素の位置を算出する位置演算手段を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記位置演算手段は、前記記憶手段から前記分布情報を取得することを特徴とする請求項２に記載の撮像装置。
4. 前記位置演算手段は、前記分布情報に前記焦点検出用画素群の各画素の属性情報を付加して出力することを特徴とする請求項２に記載の撮像装置。
5. 前記属性情報は、色フィルタの色情報であることを特徴とする請求項４に記載の撮像装置。
6. 前記分布情報は、前記焦点検出用画素群の水平方向における位置分布を含むことを特徴とする請求項１に記載の撮像装置。
7. 前記撮像素子は、複数の異なる読み出しモードで読み出し可能であり、
   前記分布情報は、前記複数の異なる読み出しモードに応じた前記水平方向における複数の前記位置分布を含み、
   前記位置演算手段は、前記水平方向における複数の前記位置分布の内、前記複数の異なる読み出しモードの内、選択された読み出しモードに対応する位置分布に基づいて前記焦点検出用画素群の各画素の位置を算出することを特徴とする請求項２に記載の撮像装置。
8. 前記分布情報は、更に、前記撮像用画素群及び前記焦点検出用画素群の垂直方向における位置分布を含むことを特徴とする請求項６又は請求項７に記載の撮像装置。
9. 前記分布情報は、更に、前記複数の異なる読み出しモードに応じた前記垂直方向における複数の前記位置分布を含み、
   前記位置演算手段は、更に、前記垂直方向における複数の前記位置分布の内、前記複数の異なる読み出しモードの内、選択された読み出しモードに対応する位置分布に基づいて前記焦点検出用画素群の各画素の位置を算出することを特徴とする請求項７に記載の撮像装置。
10. 前記位置演算手段は、前記垂直方向における位置に応じて前記水平方向における前記位置分布の適用を開始する位置を切り替え、前記水平方向における位置に応じて前記垂直方向における前記位置分布の適用を開始する位置を切り替えることを特徴とする請求項９に記載の撮像装置。
11. 前記撮像素子は、水平ブランキング期間又は垂直ブランキング期間の間に前記位置分布を示す分布情報を出力することを特徴とする請求項１に記載の撮像装置。
12. 前記撮像素子内の領域を指定するウィンドウを複数有し、
    前記分布情報は、前記複数のウィンドウの各々に設定されていることを特徴とする請求項１に記載の撮像装置。
13. 撮像用画素群と、所定パターンで位置する焦点検出用画素群とを含む撮像素子を備える撮像装置における画像処理方法であって、
    読み出し手段が、記憶手段に予め記憶された前記所定パターンで位置する焦点検出用画素群の各画素の位置を求めるための、当該所定パターンに対応する分布情報を読み出す工程と、
    生成手段が、前記分布情報に基づいて前記所定パターンで位置する焦点検出用画素群の各画素の位置を求め、該求めた位置における画像信号を前記撮像用画素群の画像信号から生成する工程と、
    形成手段が、前記撮像用画素群の画像信号と、前記生成された画像信号と、に基づいて撮像画像を形成する工程と、
    を含むことを特徴とする画像処理方法。

Images