JP2021072594A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】像信号の読出しにおいてライン単位での間引きを行う際により多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出する。【解決手段】撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、を備え、前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、ことを特徴とする。【選択図】図８

Description

本発明は、焦点検出機能を有する撮像素子を用いる撮像装置およびその制御方法に関する。

撮像装置は撮像画像を取得するための撮像素子を備えている。そして、近年の撮像装置の中には、撮像機能に加え、位相差検出方式による焦点検出機能を持つ撮像素子を備えるものがある。このような撮像素子を構成する各画素は、マイクロレンズと光電変換素子との間に遮光層を有しており、遮光層の配置を変更することで焦点検出機能を実現する。具体的には、まず、焦点検出のための位相差検出用画像から得た一対の像信号から、Ａ画素出力とＡ＋Ｂ画素出力を減算処理することでＢ画素出力を求める。そして、Ａ画素出力とＢ画素出力との位相差により対象物からのズレ量を演算して、焦点距離を導出する。

上記焦点検出機能を利用する際、要求される焦点検出精度に応じ行単位（ライン単位）で像信号の読み出しを間引くことで、画素からの信号読み出しやズレ量演算の処理負荷を削減する技術がある。このライン単位での間引き技術においては、焦点検出の対象物を中心とした検出領域内では、読み出すラインが１ラインや２ライン違っても精度への影響が少ない一方で、読み出すライン内に欠陥画素がある場合、正確な焦点検出ができなくなるという特徴がある。この点、特許文献１には、読み出し対象のラインの中に、欠陥画素を含んだラインが存在する場合に、当該欠陥画素を含むラインからの像信号を用いずに焦点検出を行う技術が開示されている。

特開２０１４−１４６０２３号公報

しかしながら、上記特許文献１の技術は、読み出し対象のラインが欠陥画素を含むラインであった場合、前回の読み出しで使用した値（欠陥画素を含まないラインから読み出した値）で補正するもので、代わりとなるラインを新たに決定することは行わない。このため、ライン単位での間引きを行った際に、読出し対象ラインに欠陥画素がある場合、間引くライン数や欠陥画素の数によっては著しく読み出しに使用されるラインが少なくなってしまう。その結果、焦点検出に必要な焦点距離（位相差）を精度よく導出することができないことがあった。

本開示に係る撮像装置は、撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、を備え、前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、ことを特徴とする。

本開示の技術によれば、像信号の読出しにおいてライン単位での間引きを行う際により多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出することができる。

撮像装置の構成を示す図 撮像素子の画素構成の概要を示す図 レンズの射出瞳から出る光束と単位画素との関係を模式的に示す図 （ａ）及び（ｂ）は、一方の副画素から得られる像信号波形と他方の副画素から得られる像信号波形との相関関係を示す図 実施形態１に係る、焦点距離の導出に関する機能構成を示すブロック図 （ａ）は検出領域の一例を示す図、（ｂ）は欠陥画素の分布を示す欠陥画素情報の一例を示す図 実施形態１に係る、焦点距離導出処理の大まかな流れを示すフローチャート 読出しライン決定処理の詳細を示すフローチャート 欠陥画素情報に基づくグループ分けの結果をまとめたテーブルを示す図 実施形態１に係る、（ａ）は仮の読出しラインを示す図、（ｂ）は実際の読出しラインを示す図 仮の読出しラインからの変更内容を記したテーブルを示す図 実施形態１に係る、画像処理部における焦点距離の導出に関する機能構成を示すブロック図 初期欠陥画素に加えて後発欠陥画素が発生した状態を示す図 実施形態２に係る、焦点距離の導出処理の大まかな流れを示すフローチャート 欠陥画素検出処理の詳細を示すフローチャート 更新後の画素欠陥情報としてのテーブルを示す図 欠陥画素情報に基づくグループ分けの結果をまとめたテーブルを示す図 実施形態２に係る、（ａ）は仮の読出しラインを示す図、（ｂ）は実際の読出しラインを示す図 仮の読出しラインからの変更内容を記したテーブルを示す図 初期欠陥画素に加えて後発欠陥画素が発生した状態を示す図 更新後の画素欠陥情報としてのテーブルを示す図 欠陥画素情報に基づくグループ分けの結果をまとめたテーブルを示す図 実施形態２の変形例に係る、（ａ）は仮の読出しラインを示す図、（ｂ）は実際の読出しラインを示す図 仮の読出しラインからの変更内容を記したテーブルを示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
図１は、本実施形態における撮像装置の構成を示す図である。撮像装置１００は、レンズ１０１、フォーカス駆動部１０２、撮像素子１０３、タイミングジェネレータ１０４、及び画像処理部１０５を有する。加えて、ＣＰＵ１０６、メモリバス１０７、表示部１０８、メモリ１０９、外部ＩＦ１１０、外部メモリ１１１及びＵＩ１１２を有する。

レンズ１０１は、撮像素子１０３に被写体を結像させる撮影光学系である。フォーカス駆動部１０２は、撮像素子１０３において被写体を結像させるため、レンズ１０１に対して焦点（フォーカス）調節を行う。撮像素子１０３は、ＣＭＯＳセンサ等により構成され、入射する光を光電変換する画素が２次元に配置されている。撮像素子１０３の詳細については後述する。

タイミングジェネレータ１０４は、撮像素子１０３への露光（電荷蓄積）制御、および撮像素子１０３内に配置された画素群からのライン単位での像信号の読出しタイミングを制御する。画像処理部１０５は、撮像素子１０３から読み出した像信号をアナログ信号からデジタル信号に変換し、撮像画像の生成及び焦点距離の導出を行う。また、画像処理部１０５は、タイミングジェネレータ１０４の制御も行う。

ＣＰＵ１０６は、メモリ１０９内のＲＯＭに記憶されたコンピュータプログラムを実行することにより、撮像装置１００全体を制御する。例えば、画像処理部１０５にて導出された焦点距離に基づき被写体に合わせてフォーカス値を決定し、フォーカス駆動部１０２を制御する。また、ＵＩ１１２からのユーザの操作に合わせた制御も行う。メモリバス１０７は、メモリ１０９へのデータバスである。画像処理部１０５にて得られた撮像画像や焦点距離のデータの保存、ＣＰＵ１０６からコンピュータプログラムの読出し、表示部１０８からの撮像画像データの読出しなど、メモリ１０９に対するアクセス制御を行う。表示部１０８は、メモリ１０９や外部メモリ１１１に格納されている撮像画像データをユーザに表示する。メモリ１０９は、ＲＡＭとＲＯＭで構成されており、撮像画像や焦点距離、コンピュータプログラムといったデータを保存する。外部ＩＦ１１０は、外部メモリ１１１へのデータバスである。撮像画像でーたのメモリ１０９への書き出しや読出しといった外部メモリ１１１に対するアクセス制御を行う。ＵＩ１１２は、スイッチやボタン、タッチパネルなどで構成され、ユーザ操作を受け付けたり、受け付けたユーザ操作をＣＰＵ１０６に伝えたりするためのインタフェースである。

（撮像素子の詳細）
図２は、撮像素子１０３の画素構成の概要を示す図である。実線で示した１６個の矩形２００は各画素の領域を示しており、各画素はＲ、Ｇ、Ｂのいずれかのカラーフィルタを備えている。カラーフィルタの配列はいわゆるベイヤー配列となっている。図２では、説明を簡単にするために４ｘ４画素の例を示しているが、実際の撮像素子はより多くの、例えば水平４０９６ｘ垂直２１６０画素、または水平８１９２ｘ垂直４３２０画素といった画素配列を有する。そして、各画素は点線で示した部分で左右２つの小領域に分離されている。各小領域はそれぞれ独立に電荷を保持し、独立に像信号を読み出すことが可能である。ここで、実線の矩形２００が示す１つの画素を「単位画素」と呼び、破線で分離後の各領域を「副画素ａ」、「副画素ｂ」と呼ぶこととする。図３は、レンズ１０１の射出瞳から出る光束と単位画素２００との関係を模式的に示す図である。図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、破線で示す単位画素２００上に形成されている。レンズ１０１の射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。レンズ１０１の射出瞳３０３の一部の領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａ内のフォトダイオード３０７ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂ内のフォトダイオード３０７ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、レンズ１０１の射出瞳３０３の別々の瞳領域３０５、３０６の光を受光している。このため、副画素ａから出力される像信号と副画素ｂから出力される像信号とを比較することで位相差方式の焦点検出が可能となる。なお、双方の像信号を加算した信号であるａ／ｂ合成信号は、画像生成用に利用される。図４の（ａ）及び（ｂ）は、副画素ａから得られる像信号波形４０１と副画素ｂから得られる像信号波形４０２との相関関係を示している。図４（ａ）に示すように、合焦状態から外れている場合には、副画素ａと副画素ｂのそれぞれから得られる像信号波形４０１と４０２とは一致せず、大きくずれた状態となる。合焦状態に近づくと、図４（ｂ）に示すように、像信号波形４０１と４０２とのずれは小さくなり、合焦状態では像信号波形４０１と４０２とが重なり合うことになる。このように副画素ａと副画素ｂのそれぞれから得られる像信号波形４０１と４０２のズレ量から、焦点のずれ量（デフォーカス量）を検出することで、焦点調節を行うことができる。

（画像処理部の詳細）
図５は、本実施形態に係る、画像処理部１０５の行う処理のうち焦点距離の導出に関する機能構成を示すブロック図である。画像処理部１０５は、像信号処理部５０１と、制御部５０２と、欠陥画素管理部５０３と、ライン決定部５０４を有している。画像処理部１０５は、露光や読出し対象のラインから像信号を読み出すタイミングに合わせてタイミングジェネレータ１０４を制御する。そして、当該制御の下で撮像素子１０３から読み出した像信号から焦点距離を導出する。以下、各部の機能を説明する。

画像処理部１０５は、撮像素子１０３から入力されるアナログ信号をＡＤコンバータによってデジタル信号に変換する。そして、ＡＤコンバータから出力されたデジタル信号のうち、焦点距離を導出するための一対の像信号とを用いて、２つの像信号の位相差により被写体からのズレ量を求める処理を行って焦点距離を導出する。ここで、一対の像信号とは、前述した副画素ａから出力される像信号と副画素ｂから出力される像信号との組み合わせを意味する。

制御部５０２は、ＣＰＵ１０６によって設定された、焦点距離導出処理時の動作モード（以下、「処理モード」と表記）に基づき、読み出し対象となるライン（読出しライン）を、ライン決定部５０４に決定させる。処理モードには、１ライン間引きモードや２ライン間引きモードといった種類があり、指定された処理モードによって、所定の間引き間隔が決まる。つまり、設定された処理モードに応じて、ライン決定部５０４は、焦点検出を行う所定領域内にて間引くライン数を決定することになる。そして、ライン決定部５０４が最終決定した読出しラインに基づきタイミングジェネレータ１０４を制御し、撮像素子１０３からの像信号の読み出しを制御する。

欠陥画素管理部５０３は、メモリ１０９に保持されている欠陥画素情報の更新や読出しを行う。欠陥画素情報は、撮像素子１０３内の焦点検出を行う所定領域（以下、「検出領域」と表記）における欠陥画素の分布状態（位置）を示す情報である。検出領域のサイズは、撮像素子１０３の全画素領域でもよいし、その一部領域でもよい。図６（ａ）は、１１画素×１１画素の検出領域を示している。図６（ａ）において、符号６０１は検出領域の縦（ｘ）方向の画素番号（列番号）を示し、符号６０２は検出領域の横（ｙ）方向の画素番号（行番号）を示している。また、バツ印は、工場での初期チェック等で見つかった、正しく像信号を読み出せない恒久的な欠陥を持つ画素（以下、「初期欠陥画素」と表記）の位置を示している。図６（ａ）の例では、８個の初期欠陥画素があり、それぞれの位置を座標（ｘ，ｙ）で表すと、（２，２）、（３，４）、（３，６）、（７，３）、（７，５）、（７，９）、（１１，７）となる。図６（ｂ）は、図６（ａ）においてバツ印で示される初期欠陥画素の分布状態を示す欠陥画素情報としてのテーブルである。図６（ｂ）のテーブルは、欠陥画素の存在するラインを示す「行番号」６０３と、各ラインにおける初期欠陥画素の数を示す「欠陥画素数」６０４の２つの項目で構成されている。例えば、行番号２のラインには初期欠陥画素が１個あることが、この欠陥画素情報から分かる。

ライン決定部５０４は、焦点距離導出のための一対の像信号の読出し対象となる、所定方向（ここではｙ方向）に複数の画素が並んだラインを、制御部５０２が設定した処理モード、および、欠陥画素情報で特定される欠陥画素の分布状態に基づいて決定する。

（焦点距離導出処理）
図７は、本実施形態に係る、画像処理部１０５における焦点距離導出処理の大まかな流れを示すフローチャートである。図７に示す一連の処理は、ＵＩ１１２を介したユーザ操作に基づき開始されるものとする。この場合において、処理の開始前には、ＣＰＵ１０６によって、間引きラインを規定する処理モードの設定が、画像処理部１０５内の制御部５０２に対してなされているものとする。ここで、処理モードの設定は、撮像装置１００の電源投入直後に前回動作時の処理モードの情報をメモリ１０９から読み出して設定してもよいし、予め決められたデフォルトの処理モードを設定してもよい。また、撮像装置１００の起動後に、ＵＩ１１２を介したユーザ選択に基づき設定しても構わない。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ７０１では、ライン決定部５０４が、焦点距離の導出に用いる読み出しラインを、上述の画素欠陥情報に基づいて決定する処理を行う。読出しライン決定処理の詳細については後述する。次のＳ７０２では、像信号処理部５０１が、Ｓ７０１にて決定された読出しライン内の各画素から焦点検出用の一対の像信号を読み出す。この際、画像処理部１０５内の制御部５０２によってタイミングジェネレータ１０４が制御され、撮像素子１０３から焦点検出用の像信号が画像処理部１０５に出力される。そして、Ｓ７０３では、像信号処理部５０１が、Ｓ７０２にて読み出した像信号に基づき焦点距離を導出する。

以上が、画像処理部１０５における焦点距離導出処理の大まかな流れである。

（読出しライン決定処理の詳細）
図８は、前述のＳ７０１における、読出しライン決定処理の詳細を示すフローチャートである。もし、ユーザによって処理モードが変更された場合には、以下に述べる処理が改めて実行されることになる。以下、図８のフローチャートに沿って説明する。

Ｓ８０１では、ＣＰＵ１０６によって設定された処理モードの情報が、制御部５０２から取得される。ここでは、１ライン間引きモードを示す情報が取得されたとの前提で以下の説明を行うものとする。

Ｓ８０２では、取得した処理モードの情報に基づき、読出し開始ラインと間引きライン数が決定される。ここで、読出し開始ラインは、上述の行番号で特定される最初に像信号の読出しを行うラインであり、通常は検出領域内の１ライン目（行番号“１”のライン）となる。また、間引きライン数は、１度に間引くラインの数、すなわち、間引き間隔を表す。１行間引きモードが設定されている場合の間引きライン数は“１”となる。なお、読出し開始ラインと間引きライン数は処理モード毎に予め決められているものとするが、ユーザ操作に基づき変更可能な構成であってもよい。決定された読出し開始ラインと間引きライン数の情報はメモリ１０９に格納される。

Ｓ８０３では、検出領域についての欠陥画素情報が欠陥画素管理部５０３から取得される。ここでは、検出領域が前述の図６（ａ）に示す１１画素×１１画素のサイズであり、その欠陥画素情報として前述の図６（ｂ）に示す内容が取得されたものとする。すなわち、２行目に１個、３行目に２個、７行目に３個、９行目に１個、１１行目に１個の初期欠陥画素があることを示す欠陥画素情報が取得される。

Ｓ８０４では、検出領域内に存在する複数のラインを対象として、欠陥画素の数に基づくグループ化がなされる。具体的には、Ｓ８０３にて取得した欠陥画素情報を用いて、等しい数の欠陥画素を持つライン同士を同じグループにするグループ分けを行なう。図９は、図６（ｂ）に示す欠陥画素情報に基づき得られた、グループ分けの結果をまとめたテーブルである。図９のテーブルにおいて、「欠陥画素重み」９０１は、各ラインに含まれる欠陥画素の数に応じた重みを示している。ここでは、初期欠陥画素１個に対して重みが“１”ずつ大きくなるようにしている。図９の例では、“０”の欠陥画素重みを持つグループ、“１”の欠陥画素重みを持つグループ、“２”の欠陥画素重みを持つグループ、“３”の欠陥画素重みを持つグループ、の計４種類のグループに分けられたことになる。そして、「該当ライン数」９０２は同じグループに属するラインの総数を示し、「該当ライン」９０３は当該グループに属する各ラインの行番号を示している。例えば、欠陥画素重みが“０”のグループについて見ると、当該グループに属するラインの総数は“６”であり、図６（ｂ）に記載がない行番号（１、４、５、６、８、１０）に対応する６つのラインが属していることが分かる。なお、上述したグループ化は一例であって、要は、検出領域内のどのラインにおいて欠陥画素が少ないのかが把握できればよい。

Ｓ８０５では、現在の処理モードに従った、読出しライン候補となる仮の読出しライン（以下、「仮読出しライン」と表記）が、検出領域に対して設定される。処理モードとして１ライン間引きモードが設定されている場合においては、読出し開始ラインが“１”、間引きライン数が“１”なので、仮読出しラインとして、行番号１、３、５、７、９、１１が設定されることになる。図１０（ａ）は、図６（ａ）に示す７つの欠陥画素を含む検出領域に対して、１ライン間引きモードにて設定された仮読出しラインを示す図である。図１０（ａ）において横長の枠１００１ａ〜１０００ｆは、１ライン間隔で設定された仮読出しラインをそれぞれ示している。なお、２ライン間引きモードが設定されていた場合には、間引きライン数は“２”なので、仮読出しラインとして、行番号１、４、７、１０が設定されることになる。

Ｓ８０６では、S８０５にて設定された仮読出しラインと、Ｓ８０４における検出領域内の複数ラインを対象としたグループ化の結果とに基づき、実際に像信号の読出しを行うライン（以下、「実読出しライン」と表記）を決定する処理を行う。具体的には、設定された仮読出しラインの中に欠陥画素を含むラインがある場合、当該ラインを非読出しラインへと変更する。さらに、仮読出しラインとして設定されていないラインのうち欠陥画素を含まないライン（或いはその数がより少ないライン）を、読み出しラインに設定する。いま、図９のテーブルから、欠陥画素重みが“０”の該当ライン数は“６”であり、１ライン間引きモードの下で設定すべき読出しラインの総数“６”と一致している。したがって、欠陥画素重みが“０”のグループに属するラインを、実読出しラインに決定する。いま、仮読出しラインに設定されているラインの行番号は“１、３、５、７、９、１１”であり、欠陥画素重みが“０”のグループに属するラインの行番号は“１、４、５、６、８、１０”である。よって、重複している行番号“１”と“５”に対応するラインはそのまま残して実読出しラインに決定し、新たに行番号“４”、“６”、“８”、“１０”のラインを選択して実読出しラインに決定する。図１０（ｂ）は、決定された実読出しラインを示している。図１０（ａ）に示す仮読出しライン１００１ａ〜１００１ｆのうち、欠陥画素のない１００１ａと１００１ｃのラインだけが実読出しラインとして残っており、欠陥画素を含む１００１ｂ、１００１ｄ、１００１ｅ、１００１ｆは非読出しラインに変更されている。そして、行番号“４”、“６”、“８”、“１０”に対応する、欠陥画素を含まない４つのライン１００２ａ〜１００２ｄが、実読出しラインとして選択されているのが分かる。図１１は、仮読出しラインを設定した時からの変更内容を記したテーブルの一例である。図１１のテーブルにおいて、「間引きライン数」１１０１は、処理モードで定まる、１ライン間引きや２ライン間引きといった１度に間引かれるラインの本数（＝間引き間隔）を示す。「変更数」１１０２は、仮読出しラインのうち非読出しラインへと変更されるラインの総数を示す。「実読出しライン」１１０３は、実際に像信号の読み出し対象となるラインの行番号を示す。「読出し順」１１０４は、実読出しラインそれぞれについての像信号の読み出し順を示す。このテーブルから、行番号“１”と“３”の２本のラインについては、仮設定されたものがそのまま維持されて実読出しラインとして決定されたことが分かる。この例の場合、設定された６本の仮読出しラインのうち欠陥画素のあるラインが４本あって、当該ライン内には計７個の欠陥画素が存在したが、決定された実読出しラインでは欠陥画素のあるラインは０本になっている。なお、本実施形態では、処理モードから定まる読出しラインの総数と、欠陥画素重みが最も小さい“０”のラインの総数とが同じであったため、欠陥画素重みが“０”のグループに属するラインの全部を、実読出しラインとして設定できた。しかし、欠陥画素重みが最も小さいラインの総数が、処理モードから定まる読出しラインの総数に満たないこともある。この場合には、欠陥画素重みが最も小さいラインだけを実読出しラインに決定してもよいし、欠陥画素重みが次に小さいグループから実読出しラインとするラインを追加的に選択してもよい。この際には、処理モードから定まる読出しラインの総数が可能な限り確保されるようにする。例えば上述の例では、処理モードが２ライン間引きモードであった場合の読出しラインの総数は４本なので、実読出しラインの本数が少なくとも４本以下にならないように制御する。また、実読出しラインを他のグループから選択する際に、読出し対象となるライン同士がなるべく離間するように設定するのが望ましい。

Ｓ８０７では、Ｓ８０６にて決定された実読出しラインの情報が、現在設定されている処理モードと対応付けてメモリ１０９内に格納される。

以上が、読出しライン決定処理の内容である。上述した処理により、検出領域に対して処理モードにより決まる間引き間隔に従って単純にラインを間引いた場合よりも、読出しラインに含まれる欠陥画素の合計をより少なくすることができる。

＜変形例＞
本実施形態では、Ｓ８０６にて実読出しラインを決定する際に、その数が処理モードによって定まる読出しライン総数と同じになるようにしているが、異なっていてもよい。その際には、現在の処理モードよりも間引きライン数の多い処理モードが設定された場合における読出しラインの総数を下回らないことが望ましい。例えば、前述の例では、処理モードから導き出される設定すべき読出しラインの本数は、１ライン間引きモードにおいて６本、２ライン間引きモードで４本である。したがって、１ライン間引きモードが設定されている場合においては、実読出しラインの本数が４本以下とならないように制御することが望ましい。

以上のとおり、本実施形態によれば、処理モードで定まる読出しラインの本数を原則維持しつつ、より欠陥画素の少ない読出しラインから像信号を読み出すことができる。これにより、より多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出することができる

［実施形態２］
実施形態１では、初期不良による恒久的な欠陥を持つ画素だけを、欠陥画素として扱っていた。しかしながら、欠陥の中には、長時間の動作や撮影環境といった後発的な要因により発生する欠陥もある。そこで、このような後発的な要因による欠陥を持つ画素をも対象として実読出しラインを決定する態様を、実施形態２として説明する。なお、撮像装置の基本構成といった実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。また、以下の説明においては、後発的な要因で生じる欠陥を持つ画素を、実施形態１で対象とした初期欠陥画素と区別するため、「後発欠陥画素」と表記することとする。

（画像処理部の詳細）
図１２は、本実施形態に係る、画像処理部１０５’における焦点距離の導出に関する機能構成を示すブロック図である。画像処理部１０５’は、像信号処理部５０１’、制御部５０２、欠陥画素管理部５０３’、ライン決定部５０４’及び欠陥画素検出部１２０１を有している。実施形態１との大きな違いは、欠陥画素検出部１２０１が追加されている点である。欠陥画素検出部１２０１は、撮像素子１０３を構成する全画素の中から欠陥を持つ画素を検出する。図１３は、前述の図６」（ａ）に示す検出領域内において、初期欠陥画素に加えて後発欠陥画素が発生した状態を示している。図１３において、後発欠陥画素は三角印で示されており、３行目に１個、７行目に２個、８行目に３個、９行目に３個発生している。欠陥画素それぞれの位置を座標（ｘ，ｙ）で表すと、以下のとおりである。
初期欠陥画素：（２，２）、（３，４）、（３，６）、（７，３）、（７，５）、（７，９）、（９，１１）、（１１，７）
後発欠陥画素：（３，９）、（７，２）、（７，４）、（８，２）、（８，３）、（８，４）、（９，２）、（９，３）、（９，４）

（焦点距離導出処理）
図１４は、本実施形態に係る、画像処理部１０５’における焦点距離導出処理の大まかな流れを示すフローチャートである。実施形態１の図７に示すフローチャートとの違いは、処理開始直後のＳ１４０１にて欠陥画素検出部１２０１による欠陥画素の検出処理が実行され、検出結果に応じて欠陥画素情報が更新される点である。

なお、本実施形態では焦点距離導出処理の中に欠陥画素の検出処理を組み込んでいるが、別個に実行してもよい。例えば、撮像画像データの取得時に併せて実行してもよい。あるいは、検出処理の実行回数をカウントしておき一定回数に達する都度実行してもよいし、タイマーなどを用いて一定時間経過する都度実行してもよい。また、本実施形態では、ＣＰＵ１０６によって処理モードが設定された後に行っているが、処理モードの設定前に行ってもよい。欠陥画素の検出タイミングは任意である。

Ｓ１４０１では、欠陥画素検出部１２０１にて、欠陥を持つ画素を検出し、さらに検出された欠陥画素が後発欠陥画素であるか特定する処理が実行される。この欠陥を持つ画素の種別判定を含む欠陥画素検出処理の詳細については後述する。

Ｓ１４０２では、欠陥画素管理部５０３’にて、後発欠陥画素と判定された画素についての欠陥画素情報が必要に応じて更新される。具体的には、検出された後発欠陥画素が、既に後発欠陥画素として登録済みのものとは異なる新たな後発欠陥画素であった場合に、その種別と位置を欠陥画素情報内に追加登録する処理がなされる。

Ｓ１４０３〜Ｓ１４０５は、実施形態１の図７のフローチャートにおけるＳ７０１〜Ｓ７０３にそれぞれ対応し、異なるところはない。ただし、本実施形態における読出しライン決定処理（Ｓ１４０２）においては、欠陥画素に付与される重みを、欠陥画素の種類に応じて異ならせる。具体的には、後発欠陥画素に対して付与する重みを、初期欠陥画素に対して付与する重みよりも小さくする。このように重みを変える理由は、後発欠陥画素の場合は、後発的に生じた欠陥であって動作環境の変化等によって再び正常に動作する可能性があるためである。つまり、後発欠陥画素の場合は、その欠陥が一時的なもので後に回復する可能性があることから、そのような初期欠陥画素との違いを実読出しラインの決定時に考慮するためである。本実施形態では、一例として、初期欠陥画素については“１．０”の重みを付与するのに対して、後発欠陥画素については“０．５”の重みを付与することとする。

（欠陥画素検出処理の詳細）
図１５は、本実施形態における、欠陥画素検出処理の詳細を示すフローチャートである。以下、図１５のフローチャートに沿って説明する。

Ｓ１５０１では、撮像素子１０３が有する全ての画素から、像信号処理部５０１’を介して所定の信号値が取得される。続くＳ１５０２では、全画素のうち注目する画素が決定される。そして、Ｓ１５０３では、注目画素が欠陥を持つ画素であるかが判定される。欠陥を持つ画素であるか否かの判定は、公知の技術を適用すればよい。例えば、注目画素の信号レベルとその周辺画素の信号レベルとの差分を求め、当該差分を所定の閾値と比較することで、欠陥を持つ画素であるか否かを判定することができる。判定によって欠陥のある画素と判定された場合はＳ１５０４へ進む。一方、欠陥のない画素と判定された場合はＳ１５０２に戻って、次の画素を注目画素に決定して処理を続行する。

Ｓ１５０４では、Ｓ１５０３にて欠陥を持つと判定された注目画素が、直る可能性のある後発欠陥画素であるか否かが判定される。後発欠陥画素であるか否かは、例えば、検出タイミングや検出された欠陥の内容に基づいて判定可能である。検出タイミングに基づく判定の場合、撮像装置１００の出荷時や購入直後など使用前の時点で欠陥画素として検出されたものは初期欠陥画素、撮像装置１００の使用中に検出されたものは後発欠陥画素、と判別する。また、欠陥内容に基づく判定の場合は、いわゆる黒キズであれば後発欠陥画素、いわゆる白キズであれば初期欠陥画素と判別する。なお、ここで示した判別法は一例であり、欠陥画素の種別が特定されればよい。判定結果としての欠陥画素の種別情報とその位置情報は、欠陥画素管理部５０３’に送られる。

Ｓ１５０５では、撮像素子１０３の全画素についての処理が完了したか否かが判定される。全画素の処理が完了していれば本処理を抜ける。一方、未処理の画素があれば、Ｓ１５０２に戻って、次の画素を注目画素に決定して処理を続行する。

以上が、本実施形態に係る、欠陥画素検出処理の内容である。図１６は、図１３の状態の検出領域を対象として上述の検出処理を行った場合に、前述の更新処理（Ｓ１４０２）によって得られる更新後の画素欠陥情報としてのテーブルを示している。なお、更新前の欠陥画素情報は、図６（ｂ）に示すテーブルの状態であったものとする。図１６のテーブルにおいて、「欠陥画素数」１６０２内の小項目「恒久的」１６０３の列に記載の欠陥画素数が、図１３においてバツ印で示される８個の初期欠陥画素に対応している。そして、図１６のテーブルにおいて、「欠陥画素数」１６０２内の小項目「一時的」１６０４の列に記載の欠陥画素数が、図１３において三角印で示される９個の後発欠陥画素に対応している。例えば位置座標が（２，２）の画素は、図１５のフローで示す検出処理において、欠陥画素と判定された後（Ｓ１５０３でＹｅｓ）、その種類は初期欠陥画素であると判定されることになる（Ｓ１５０４）。そして、行番号が“２”のラインからは、他に欠陥画素は検出されない。この判定結果に基づき、前述の図１４のフローにおける更新処理では、「行番号」１６０１が“２”の「恒久的」１６０３の列においては、既に欠陥画素数として“１”が入っているので、更新されずにそのままとなる。位置座標が（３，４）、（３，６）の初期欠陥画素についても同様である。これに対し、位置座標が（３，９）の画素については、図１５のフローで示す検出処理において、欠陥画素と判定された後（Ｓ１５０３でＹｅｓ）、その種類は後発欠陥画素であると判定されることになる（Ｓ１５０４）。この判定結果に基づき、図１４のフローにおける更新処理では、「行番号」１６０１が“３”の「一時的」１６０３の列がブランクの状態となっているので“１”に更新されることになる。同様の処理が検出領域内の全ての画素について繰り返される結果、図１６のテーブルで示す内容の欠陥画素情報が得られることになる。

（読出しライン決定処理の詳細）
続いて、本実施形態における読出しライン決定処理について、実施形態１で用いた図８のフローチャートを参照して説明する。Ｓ８０１〜Ｓ８０３の各処理は実施形態１と共通であるので説明を省く。そして、Ｓ８０３においては、前述した図１６のテーブルに示すような、初期欠陥画素と後発欠陥画素のそれぞれの数を示す欠陥画素情報が欠陥画素管理部５０３から取得されることになる。

次のＳ８０４では、検出領域内のすべてのラインを対象とした、欠陥画素の数に基づくグループ化が、Ｓ８０３にて取得した欠陥画素情報を用いてなされる。図１７は、図１６に示す欠陥画素情報に基づくグループ分けの結果をまとめたテーブルである。図１７のテーブルにおいて、「欠陥画素重み」１７０１は、各ラインに含まれる欠陥画素の数に応じた重みを示している。ここでは、初期欠陥画素については１個につき重みが“１”ずつ大きくなるように、後発欠陥画素については１個につき重みが“０．５”ずつ大きくなるようにしている。図１７の例では、欠陥画素重みが、“０．０”のグループ、“１．０”のグループ、“１．５”のグループ、“２．５”のグループ、“４．０”のグループの計５種類のグループに分けられることになる。そして、「該当ライン数」１７０２には同じグループに属するラインの総数が示され、「該当ライン」１７０３には当該グループに属する各ラインの行番号が示されている。例えば、欠陥画素重みが“０．０”のグループについて見ると、当該グループに属するラインの総数は“５”で、図１６に記載がない行番号（１、４、５、６、１０）に対応する５つのラインが属している。そして、図６（ｂ）に示す更新前の状態から内容が変化しているのが分かる。また、初期欠陥画素が元々２個存在し、さらに後発欠陥画素が１個検出された行番号“３”のラインについては、欠陥画素重みが“０．５”増えて、欠陥画素重みが“２．５”のグループに新たに属している。同様に、後発欠陥画素が検出されたラインについては、その数に応じた欠陥画素重みのグループへと所属先が変化している。なお、上述したグループ化は一例であって、要は、検出領域内のどのラインに初期欠陥画素と後発欠陥画素がそれぞれどのくらいあるのかが把握できればよい。

次のＳ８０５では、現在の処理モードに従った本数の仮読出しラインが、実施形態１の場合と同様、検出領域に対して設定される。処理モードとして１ライン間引きモードが設定されている場合、読出し開始ラインが“１”、間引きライン数が“１”なので、仮読出しラインとして、前述の図１０（ａ）に示すように、行番号１、３、５、７、９、１１の各ラインが設定されることになる。

続くＳ８０６では、Ｓ８０４でのグループ分けの結果に基づき、実読出しラインが決定される。いま、図１７に示すグループ分けの結果において、欠陥画素重みが“０．０”のグループの「該当ライン数」１７０２は“５”である。設定中の１ライン間引きモードで求められる読出しライン総数は“６”でありこれに満たないが、２ライン間引きモードで求められる読出しライン総数“４”よりも大きいので、設定すべき実読出しラインの本数を“５”に決定する。もし、残り１ラインをさらに実際の読みしラインとして決定しようとした場合は、欠陥画素重みが“１．０”のグループに属する行番号“２”と“１１”の２つのラインのうちいずれかを選択することになる。しかし、どちらのラインも、欠陥画素重みが“０．０”である行番号“１”と“１０”の２つのラインに隣接している。また、欠陥画素重みが“１．０”の行番号“２”と“１１”のラインに近い仮読出しラインは、行番号“１”、“３”、“１１”の各ラインであり、いずれも欠陥画素重みが“０．０”の行番号“４”及び“１０”のラインと隣接している。そのため、欠陥画素重みが“０．０”のグループに属する５本のみを選択しても、最終的に得られる焦点検出情報の精度への影響はないと判断し、実読出しラインの本数を５本と決定している。図１８（ｂ）は、決定された実読出しラインを示している。図１８（ａ）に示す仮読出しライン１８０１ａ〜１８０１ｆのうち、欠陥画素のない１８０１ａと１８０１ｃのラインだけが実読出しラインとして残っており、欠陥画素を含む１８０１ｂ、１８０１ｄ、１８０１ｅ、１８０１ｆは非読出しラインに変更されている。そして、行番号“４”、“６”“１０”に対応する、欠陥画素を含まない３つのライン１８０２ａ〜１８０２ｃが、実読出しラインとして設定されているのが分かる。図１９は、仮読出しラインからの変更内容を記したテーブルである。図１９のテーブルにおいて、「間引きライン数」１９０１、「変更数」１９０２、「実読出しライン」１９０３、「読出し順」１９０４の各項目の意味は、実施形態１の図１１のテーブルと同じである。図１９のテーブルから、行番号“１”と“３”の２本のラインについては仮設定されたものがそのまま維持されて実読出しラインとして決定され、さらに欠陥画素のない３本のラインが実読出しラインとして決定されていることが分かる。また、１ライン行間引きモードの下で求められる読出しラインの総数は“６”であるが、決定された実読出しラインの総数は“５”であるため、「読出し順」１９０３が“５”のときと“６”のときとで共通の行番号“１０”が指定されている。これは、５回目の読出し対象ラインと６回目の読出し対象ラインとが同じラインであることを意味している。この場合、像信号の読出し処理（Ｓ１４０４）においては、指定された行番号“１０”のラインからの像信号の読出しを繰り返すことはせず、読出し順“５”において読み出した像信号の処理結果を、読出し順“６”における処理結果として利用する。これにより、１ライン分の像信号読み出し処理と読み出し後の演算処理を削減することができる。

Ｓ８０７では、Ｓ８０６にて決定された実読出しラインの情報が、現在設定されている処理モードと対応付けてメモリ１０９内に格納される。

以上が、本実施形態における、読出しライン決定処理の内容である。

＜変形例＞
次に、欠陥画素を全く含まないラインが検出領域内に存在しない場合に、欠陥画素のより少ないラインを実読出しラインとして決定する態様を、変形例として説明する。図２０は、前述の図１３に相当する図であり、図８（ａ）に示す検出領域内において、初期欠陥画素が１個、後発欠陥画素が２個、追加的に検出されている。図２０における欠陥画素それぞれの位置を座標（ｘ，ｙ）で表すと、以下のとおりである。
初期欠陥画素：（２，２）、（３，４）、（３，６）、（５，８）、（７，３）、（７，５）、（７，９）、（９，１１）、（１１，７）
後発欠陥画素：（３，９）、（６，３）、（７，２）、（７，４）、（８，２）、（８，３）、（８，４）、（９，２）、（９，３）、（９，４）、（１０，３）

また、画像処理部１０５’における焦点距離導出処理の流れは、前述の図１４のフローで示されるとおりである。そして、本変形例における読出しライン決定処理（図８のフロー）のＳ８０３においては、図２１のテーブルに示すような、初期欠陥画素と後発欠陥画素のそれぞれの数を示す欠陥画素情報が欠陥画素管理部５０３から取得されることになる。そして、続くＳ８０４では、検出領域内のすべてのラインを対象とした、欠陥画素の数に基づくグループ化が、Ｓ８０３にて取得した欠陥画素情報を用いてなされる。図２２は、図２１に示す欠陥画素情報に基づくグループ分けの結果をまとめたテーブルである。「欠陥画素重み」２２０１から明らかなように、ここでは、欠陥画素重みが、“０．０”のグループ、“０．５”のグループ、“１．０”のグループ、“１．５”のグループ、“２．５”のグループ、“４．０”のグループの計６種類のグループに分けられることになる。そして、「該当ライン数」２２０２には同じグループに属するラインの総数が示され、「該当ライン」２２０３には当該グループに属する各ラインの行番号が示されている。

そして、Ｓ８０５にて仮読出しラインが設定されると、続くＳ８０６では、Ｓ８０４でのグループ分けの結果に基づき、実読出しラインが決定される。いま、１ライン間引きモードが設定されているものとする。この場合の読出しライン総数は“６”となる。図２２に示すグループ分けの結果において、欠陥画素重みが“０．０”のグループの「該当ライン数」１２０２は“２”であり、その次に欠陥画素重みが小さい“０．５”のグループの「該当ライン数」１２０２も“２”である。よって、この２つのグループに属するラインは、優先的に実読出しラインとして決定する。次に欠陥画素重みが小さいのは“１．０”のグループであるが、当該グループには、行番号“２”、“５”、“１１”の３本のラインが属している。そこで、この３本の中から残りの２ラインを選択することになるが、この際には、仮読出しラインと共通するラインを優先的に選択するようにする。いま、行番号“５”と“１１”については仮読出しラインとして設定されているが、行番号“２”のラインについては非読出しラインとなっている。したがって、行番号“５”と“１１”のラインを、実読み出しラインとして選択する。このように、グループ化の結果に基づき、仮読出しラインのうち重みが相対的に大きいラインは非読出しラインに変更され、仮読出しラインとして選択されなかったラインのうち重みが相対的に小さいラインが、実読出しラインとして選択されることになる。なお、上述の例において、実読出しラインを欠陥画素重みが“０．５”までの２つのグループに属する４本に留めることは行わない。処理モードが２ライン間引きモードのときの読出しライン総数である４本と同じになり、１ライン間引きモードが設定されている意義が失われてしまうためである。図２３（ｂ）は、決定された実読出しラインを示している。図２３（ａ）に示す仮読出しライン２３０１ａ〜２３０１ｆのうち、欠陥画素のない２３０１ａと２３０１ｃのラインに加え、欠陥画素を１個含む２３０１ｆも実読出しラインとして残っている。そして、同じく欠陥画素を１個含む行番号“４”、“６”“１０”に対応する３つのライン２３０２ａ〜２３０２ｃが、実読出しラインとして設定されているのが分かる。

図２４は、仮読出しラインからの変更内容を記したテーブルである。図２４のテーブルにおいて、「間引きライン数」２４０１、「変更数」２４０２、「実読出しライン」２４０３、「読出し順」２４０４の各項目の意味は、前述の図１９のテーブルと同じである。図２４のテーブルから、行番号“１”、“３”、“６”の３本のラインについては仮設定されたものがそのまま維持されて実読出しラインとして決定され、新たに行番号“４”、“６”、“１０”の３本のラインが実読出しラインとして決定されていることが分かる。

以上が、本変形例における、読出しライン決定処理の内容である。本変形例によれば、より欠陥画素重みの小さいグループに属するラインを優先して実読出しラインとして決定するので、たとえ欠陥画素を含んでいてもその数が少ないラインによって実読出しラインが構成されることになる。

以上のとおり本実施形態においては、欠陥画素を動的に検出することで、恒久的な欠陥画素だけでなく一時的な欠陥画素についても考慮して、欠陥画素の少ないラインが読出しラインとして決定される。これにより、より精度の高い焦点距離を得ることができる。また、検出領域内において欠陥画素として扱われる画素が増えることになる結果、処理モードから求められる読み出しライン総数が確保できずにライン数を削減した場合においても、焦点距離導出の精度低下を抑制することができる。そして、ライン数の削減を行った場合においても、当該削減されたライン分の読み出し処理に要する通信や電力消費、さらには演算処理における負荷が低減されるという副次的な効果が得られる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ 撮像素子
１０５ 画像処理部
５０１ 像信号処理部
５０３ 欠陥画素管理部
５０４ ライン決定部

Claims (10)

1. 撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、
   前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、
   前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、
   前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、
   を備え、
   前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、
   ことを特徴とする撮像装置。
2. 前記決定手段は、前記欠陥画素情報に基づいて前記読出しラインを決定したときに当該決定したすべての読出しラインに含まれる欠陥画素の合計が、前記所定領域に対して所定の間引き間隔でラインを間引いた場合のすべての読出しラインに含まれる欠陥画素の合計よりも少なくなるように、前記読出しラインを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記間引き間隔を指定する動作モードの情報を取得する取得手段をさらに備え、
   前記決定手段は、
   前記取得手段が取得した前記動作モードにて指定される間引き間隔に基づき、前記所定領域内で間引くべきラインの数を決定し、
   前記所定領域内の複数ラインの数から前記決定した数を差し引いた数の前記読出しラインを決定する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は、
   前記欠陥画素情報を用いて、前記所定領域に含まれるラインを、各ラインに存在する欠陥画素の数が多いほどより大きな重みを付与する重み付けを行ってグループ化し、
   前記間引くべきラインの数に応じた前記読出しラインの候補を設定し、
   前記グループ化の結果、前記候補として設定された前記読出しラインのうち重みが相対的に大きいラインを非読出しラインに変更し、前記候補として設定されなかったラインのうち重みが相対的に小さいラインを前記読出しラインに変更することで、前記所定領域内の複数ラインの数から前記決定した数を差し引いた数の前記読出しラインを決定する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像素子が備える前記全画素の中から欠陥画素を検出する検出手段をさらに備え、
   前記管理手段は、前記検出手段による検出結果に基づき前記重み付けを行って前記欠陥画素情報を更新し、
   前記決定手段は、更新後の前記欠陥画素情報に基づいて、前記読出しラインを決定する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記検出手段は、検出した欠陥画素における欠陥が、恒久的な欠陥であるか一時的な欠陥であるかを判定し、
   前記管理手段は、前記更新の際に、前記恒久的な欠陥を持つ画素に対し、前記一時的な欠陥を持つ画素よりも大きな重みを付与する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記検出手段は、欠陥を検出したタイミングに基づき、前記恒久的な欠陥を持つ画素であるか、前記一時的な欠陥を持つ画素であるかを判定する、ことを特徴とする請求項６に記載の撮像装置。
8. 前記検出手段は、検出された欠陥の内容が、白キズであれば恒久的な欠陥を持つ画素と判定し、黒キズであれば一時的な欠陥を持つ画素と判定する、ことを特徴とする請求項６に記載の撮像装置。
9. 撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置の制御方法であって、
   前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定ステップと、
   前記決定ステップにて決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する処理ステップと、
   を含み、
   前記決定ステップでは、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、
   ことを特徴とする制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置として機能させるためのプログラム。

Images