JP2021072594A - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP2021072594A JP2021072594A JP2019199886A JP2019199886A JP2021072594A JP 2021072594 A JP2021072594 A JP 2021072594A JP 2019199886 A JP2019199886 A JP 2019199886A JP 2019199886 A JP2019199886 A JP 2019199886A JP 2021072594 A JP2021072594 A JP 2021072594A
- Authority
- JP
- Japan
- Prior art keywords
- line
- lines
- pixel
- read
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】像信号の読出しにおいてライン単位での間引きを行う際により多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出する。【解決手段】撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、を備え、前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、ことを特徴とする。【選択図】図8
Description
本発明は、焦点検出機能を有する撮像素子を用いる撮像装置およびその制御方法に関する。
撮像装置は撮像画像を取得するための撮像素子を備えている。そして、近年の撮像装置の中には、撮像機能に加え、位相差検出方式による焦点検出機能を持つ撮像素子を備えるものがある。このような撮像素子を構成する各画素は、マイクロレンズと光電変換素子との間に遮光層を有しており、遮光層の配置を変更することで焦点検出機能を実現する。具体的には、まず、焦点検出のための位相差検出用画像から得た一対の像信号から、A画素出力とA+B画素出力を減算処理することでB画素出力を求める。そして、A画素出力とB画素出力との位相差により対象物からのズレ量を演算して、焦点距離を導出する。
上記焦点検出機能を利用する際、要求される焦点検出精度に応じ行単位(ライン単位)で像信号の読み出しを間引くことで、画素からの信号読み出しやズレ量演算の処理負荷を削減する技術がある。このライン単位での間引き技術においては、焦点検出の対象物を中心とした検出領域内では、読み出すラインが1ラインや2ライン違っても精度への影響が少ない一方で、読み出すライン内に欠陥画素がある場合、正確な焦点検出ができなくなるという特徴がある。この点、特許文献1には、読み出し対象のラインの中に、欠陥画素を含んだラインが存在する場合に、当該欠陥画素を含むラインからの像信号を用いずに焦点検出を行う技術が開示されている。
しかしながら、上記特許文献1の技術は、読み出し対象のラインが欠陥画素を含むラインであった場合、前回の読み出しで使用した値(欠陥画素を含まないラインから読み出した値)で補正するもので、代わりとなるラインを新たに決定することは行わない。このため、ライン単位での間引きを行った際に、読出し対象ラインに欠陥画素がある場合、間引くライン数や欠陥画素の数によっては著しく読み出しに使用されるラインが少なくなってしまう。その結果、焦点検出に必要な焦点距離(位相差)を精度よく導出することができないことがあった。
本開示に係る撮像装置は、撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、を備え、前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、ことを特徴とする。
本開示の技術によれば、像信号の読出しにおいてライン単位での間引きを行う際により多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
[実施形態1]
図1は、本実施形態における撮像装置の構成を示す図である。撮像装置100は、レンズ101、フォーカス駆動部102、撮像素子103、タイミングジェネレータ104、及び画像処理部105を有する。加えて、CPU106、メモリバス107、表示部108、メモリ109、外部IF110、外部メモリ111及びUI112を有する。
図1は、本実施形態における撮像装置の構成を示す図である。撮像装置100は、レンズ101、フォーカス駆動部102、撮像素子103、タイミングジェネレータ104、及び画像処理部105を有する。加えて、CPU106、メモリバス107、表示部108、メモリ109、外部IF110、外部メモリ111及びUI112を有する。
レンズ101は、撮像素子103に被写体を結像させる撮影光学系である。フォーカス駆動部102は、撮像素子103において被写体を結像させるため、レンズ101に対して焦点(フォーカス)調節を行う。撮像素子103は、CMOSセンサ等により構成され、入射する光を光電変換する画素が2次元に配置されている。撮像素子103の詳細については後述する。
タイミングジェネレータ104は、撮像素子103への露光(電荷蓄積)制御、および撮像素子103内に配置された画素群からのライン単位での像信号の読出しタイミングを制御する。画像処理部105は、撮像素子103から読み出した像信号をアナログ信号からデジタル信号に変換し、撮像画像の生成及び焦点距離の導出を行う。また、画像処理部105は、タイミングジェネレータ104の制御も行う。
CPU106は、メモリ109内のROMに記憶されたコンピュータプログラムを実行することにより、撮像装置100全体を制御する。例えば、画像処理部105にて導出された焦点距離に基づき被写体に合わせてフォーカス値を決定し、フォーカス駆動部102を制御する。また、UI112からのユーザの操作に合わせた制御も行う。メモリバス107は、メモリ109へのデータバスである。画像処理部105にて得られた撮像画像や焦点距離のデータの保存、CPU106からコンピュータプログラムの読出し、表示部108からの撮像画像データの読出しなど、メモリ109に対するアクセス制御を行う。表示部108は、メモリ109や外部メモリ111に格納されている撮像画像データをユーザに表示する。メモリ109は、RAMとROMで構成されており、撮像画像や焦点距離、コンピュータプログラムといったデータを保存する。外部IF110は、外部メモリ111へのデータバスである。撮像画像でーたのメモリ109への書き出しや読出しといった外部メモリ111に対するアクセス制御を行う。UI112は、スイッチやボタン、タッチパネルなどで構成され、ユーザ操作を受け付けたり、受け付けたユーザ操作をCPU106に伝えたりするためのインタフェースである。
(撮像素子の詳細)
図2は、撮像素子103の画素構成の概要を示す図である。実線で示した16個の矩形200は各画素の領域を示しており、各画素はR、G、Bのいずれかのカラーフィルタを備えている。カラーフィルタの配列はいわゆるベイヤー配列となっている。図2では、説明を簡単にするために4x4画素の例を示しているが、実際の撮像素子はより多くの、例えば水平4096x垂直2160画素、または水平8192x垂直4320画素といった画素配列を有する。そして、各画素は点線で示した部分で左右2つの小領域に分離されている。各小領域はそれぞれ独立に電荷を保持し、独立に像信号を読み出すことが可能である。ここで、実線の矩形200が示す1つの画素を「単位画素」と呼び、破線で分離後の各領域を「副画素a」、「副画素b」と呼ぶこととする。図3は、レンズ101の射出瞳から出る光束と単位画素200との関係を模式的に示す図である。図3に示すように、カラーフィルタ301とマイクロレンズ302とが、破線で示す単位画素200上に形成されている。レンズ101の射出瞳303を通過した光は、光軸304を中心として単位画素200に入射する。レンズ101の射出瞳303の一部の領域である瞳領域305を通過する光束は、マイクロレンズ302を通って、副画素a内のフォトダイオード307aで受光される。一方、射出瞳303の他の一部の領域である瞳領域306を通過する光束は、マイクロレンズ302を通って、副画素b内のフォトダイオード307bで受光される。したがって、副画素aと副画素bは、それぞれ、レンズ101の射出瞳303の別々の瞳領域305、306の光を受光している。このため、副画素aから出力される像信号と副画素bから出力される像信号とを比較することで位相差方式の焦点検出が可能となる。なお、双方の像信号を加算した信号であるa/b合成信号は、画像生成用に利用される。図4の(a)及び(b)は、副画素aから得られる像信号波形401と副画素bから得られる像信号波形402との相関関係を示している。図4(a)に示すように、合焦状態から外れている場合には、副画素aと副画素bのそれぞれから得られる像信号波形401と402とは一致せず、大きくずれた状態となる。合焦状態に近づくと、図4(b)に示すように、像信号波形401と402とのずれは小さくなり、合焦状態では像信号波形401と402とが重なり合うことになる。このように副画素aと副画素bのそれぞれから得られる像信号波形401と402のズレ量から、焦点のずれ量(デフォーカス量)を検出することで、焦点調節を行うことができる。
図2は、撮像素子103の画素構成の概要を示す図である。実線で示した16個の矩形200は各画素の領域を示しており、各画素はR、G、Bのいずれかのカラーフィルタを備えている。カラーフィルタの配列はいわゆるベイヤー配列となっている。図2では、説明を簡単にするために4x4画素の例を示しているが、実際の撮像素子はより多くの、例えば水平4096x垂直2160画素、または水平8192x垂直4320画素といった画素配列を有する。そして、各画素は点線で示した部分で左右2つの小領域に分離されている。各小領域はそれぞれ独立に電荷を保持し、独立に像信号を読み出すことが可能である。ここで、実線の矩形200が示す1つの画素を「単位画素」と呼び、破線で分離後の各領域を「副画素a」、「副画素b」と呼ぶこととする。図3は、レンズ101の射出瞳から出る光束と単位画素200との関係を模式的に示す図である。図3に示すように、カラーフィルタ301とマイクロレンズ302とが、破線で示す単位画素200上に形成されている。レンズ101の射出瞳303を通過した光は、光軸304を中心として単位画素200に入射する。レンズ101の射出瞳303の一部の領域である瞳領域305を通過する光束は、マイクロレンズ302を通って、副画素a内のフォトダイオード307aで受光される。一方、射出瞳303の他の一部の領域である瞳領域306を通過する光束は、マイクロレンズ302を通って、副画素b内のフォトダイオード307bで受光される。したがって、副画素aと副画素bは、それぞれ、レンズ101の射出瞳303の別々の瞳領域305、306の光を受光している。このため、副画素aから出力される像信号と副画素bから出力される像信号とを比較することで位相差方式の焦点検出が可能となる。なお、双方の像信号を加算した信号であるa/b合成信号は、画像生成用に利用される。図4の(a)及び(b)は、副画素aから得られる像信号波形401と副画素bから得られる像信号波形402との相関関係を示している。図4(a)に示すように、合焦状態から外れている場合には、副画素aと副画素bのそれぞれから得られる像信号波形401と402とは一致せず、大きくずれた状態となる。合焦状態に近づくと、図4(b)に示すように、像信号波形401と402とのずれは小さくなり、合焦状態では像信号波形401と402とが重なり合うことになる。このように副画素aと副画素bのそれぞれから得られる像信号波形401と402のズレ量から、焦点のずれ量(デフォーカス量)を検出することで、焦点調節を行うことができる。
(画像処理部の詳細)
図5は、本実施形態に係る、画像処理部105の行う処理のうち焦点距離の導出に関する機能構成を示すブロック図である。画像処理部105は、像信号処理部501と、制御部502と、欠陥画素管理部503と、ライン決定部504を有している。画像処理部105は、露光や読出し対象のラインから像信号を読み出すタイミングに合わせてタイミングジェネレータ104を制御する。そして、当該制御の下で撮像素子103から読み出した像信号から焦点距離を導出する。以下、各部の機能を説明する。
図5は、本実施形態に係る、画像処理部105の行う処理のうち焦点距離の導出に関する機能構成を示すブロック図である。画像処理部105は、像信号処理部501と、制御部502と、欠陥画素管理部503と、ライン決定部504を有している。画像処理部105は、露光や読出し対象のラインから像信号を読み出すタイミングに合わせてタイミングジェネレータ104を制御する。そして、当該制御の下で撮像素子103から読み出した像信号から焦点距離を導出する。以下、各部の機能を説明する。
画像処理部105は、撮像素子103から入力されるアナログ信号をADコンバータによってデジタル信号に変換する。そして、ADコンバータから出力されたデジタル信号のうち、焦点距離を導出するための一対の像信号とを用いて、2つの像信号の位相差により被写体からのズレ量を求める処理を行って焦点距離を導出する。ここで、一対の像信号とは、前述した副画素aから出力される像信号と副画素bから出力される像信号との組み合わせを意味する。
制御部502は、CPU106によって設定された、焦点距離導出処理時の動作モード(以下、「処理モード」と表記)に基づき、読み出し対象となるライン(読出しライン)を、ライン決定部504に決定させる。処理モードには、1ライン間引きモードや2ライン間引きモードといった種類があり、指定された処理モードによって、所定の間引き間隔が決まる。つまり、設定された処理モードに応じて、ライン決定部504は、焦点検出を行う所定領域内にて間引くライン数を決定することになる。そして、ライン決定部504が最終決定した読出しラインに基づきタイミングジェネレータ104を制御し、撮像素子103からの像信号の読み出しを制御する。
欠陥画素管理部503は、メモリ109に保持されている欠陥画素情報の更新や読出しを行う。欠陥画素情報は、撮像素子103内の焦点検出を行う所定領域(以下、「検出領域」と表記)における欠陥画素の分布状態(位置)を示す情報である。検出領域のサイズは、撮像素子103の全画素領域でもよいし、その一部領域でもよい。図6(a)は、11画素×11画素の検出領域を示している。図6(a)において、符号601は検出領域の縦(x)方向の画素番号(列番号)を示し、符号602は検出領域の横(y)方向の画素番号(行番号)を示している。また、バツ印は、工場での初期チェック等で見つかった、正しく像信号を読み出せない恒久的な欠陥を持つ画素(以下、「初期欠陥画素」と表記)の位置を示している。図6(a)の例では、8個の初期欠陥画素があり、それぞれの位置を座標(x,y)で表すと、(2,2)、(3,4)、(3,6)、(7,3)、(7,5)、(7,9)、(11,7)となる。図6(b)は、図6(a)においてバツ印で示される初期欠陥画素の分布状態を示す欠陥画素情報としてのテーブルである。図6(b)のテーブルは、欠陥画素の存在するラインを示す「行番号」603と、各ラインにおける初期欠陥画素の数を示す「欠陥画素数」604の2つの項目で構成されている。例えば、行番号2のラインには初期欠陥画素が1個あることが、この欠陥画素情報から分かる。
ライン決定部504は、焦点距離導出のための一対の像信号の読出し対象となる、所定方向(ここではy方向)に複数の画素が並んだラインを、制御部502が設定した処理モード、および、欠陥画素情報で特定される欠陥画素の分布状態に基づいて決定する。
(焦点距離導出処理)
図7は、本実施形態に係る、画像処理部105における焦点距離導出処理の大まかな流れを示すフローチャートである。図7に示す一連の処理は、UI112を介したユーザ操作に基づき開始されるものとする。この場合において、処理の開始前には、CPU106によって、間引きラインを規定する処理モードの設定が、画像処理部105内の制御部502に対してなされているものとする。ここで、処理モードの設定は、撮像装置100の電源投入直後に前回動作時の処理モードの情報をメモリ109から読み出して設定してもよいし、予め決められたデフォルトの処理モードを設定してもよい。また、撮像装置100の起動後に、UI112を介したユーザ選択に基づき設定しても構わない。なお、以下の説明において記号「S」はステップを意味する。
図7は、本実施形態に係る、画像処理部105における焦点距離導出処理の大まかな流れを示すフローチャートである。図7に示す一連の処理は、UI112を介したユーザ操作に基づき開始されるものとする。この場合において、処理の開始前には、CPU106によって、間引きラインを規定する処理モードの設定が、画像処理部105内の制御部502に対してなされているものとする。ここで、処理モードの設定は、撮像装置100の電源投入直後に前回動作時の処理モードの情報をメモリ109から読み出して設定してもよいし、予め決められたデフォルトの処理モードを設定してもよい。また、撮像装置100の起動後に、UI112を介したユーザ選択に基づき設定しても構わない。なお、以下の説明において記号「S」はステップを意味する。
S701では、ライン決定部504が、焦点距離の導出に用いる読み出しラインを、上述の画素欠陥情報に基づいて決定する処理を行う。読出しライン決定処理の詳細については後述する。次のS702では、像信号処理部501が、S701にて決定された読出しライン内の各画素から焦点検出用の一対の像信号を読み出す。この際、画像処理部105内の制御部502によってタイミングジェネレータ104が制御され、撮像素子103から焦点検出用の像信号が画像処理部105に出力される。そして、S703では、像信号処理部501が、S702にて読み出した像信号に基づき焦点距離を導出する。
以上が、画像処理部105における焦点距離導出処理の大まかな流れである。
(読出しライン決定処理の詳細)
図8は、前述のS701における、読出しライン決定処理の詳細を示すフローチャートである。もし、ユーザによって処理モードが変更された場合には、以下に述べる処理が改めて実行されることになる。以下、図8のフローチャートに沿って説明する。
図8は、前述のS701における、読出しライン決定処理の詳細を示すフローチャートである。もし、ユーザによって処理モードが変更された場合には、以下に述べる処理が改めて実行されることになる。以下、図8のフローチャートに沿って説明する。
S801では、CPU106によって設定された処理モードの情報が、制御部502から取得される。ここでは、1ライン間引きモードを示す情報が取得されたとの前提で以下の説明を行うものとする。
S802では、取得した処理モードの情報に基づき、読出し開始ラインと間引きライン数が決定される。ここで、読出し開始ラインは、上述の行番号で特定される最初に像信号の読出しを行うラインであり、通常は検出領域内の1ライン目(行番号“1”のライン)となる。また、間引きライン数は、1度に間引くラインの数、すなわち、間引き間隔を表す。1行間引きモードが設定されている場合の間引きライン数は“1”となる。なお、読出し開始ラインと間引きライン数は処理モード毎に予め決められているものとするが、ユーザ操作に基づき変更可能な構成であってもよい。決定された読出し開始ラインと間引きライン数の情報はメモリ109に格納される。
S803では、検出領域についての欠陥画素情報が欠陥画素管理部503から取得される。ここでは、検出領域が前述の図6(a)に示す11画素×11画素のサイズであり、その欠陥画素情報として前述の図6(b)に示す内容が取得されたものとする。すなわち、2行目に1個、3行目に2個、7行目に3個、9行目に1個、11行目に1個の初期欠陥画素があることを示す欠陥画素情報が取得される。
S804では、検出領域内に存在する複数のラインを対象として、欠陥画素の数に基づくグループ化がなされる。具体的には、S803にて取得した欠陥画素情報を用いて、等しい数の欠陥画素を持つライン同士を同じグループにするグループ分けを行なう。図9は、図6(b)に示す欠陥画素情報に基づき得られた、グループ分けの結果をまとめたテーブルである。図9のテーブルにおいて、「欠陥画素重み」901は、各ラインに含まれる欠陥画素の数に応じた重みを示している。ここでは、初期欠陥画素1個に対して重みが“1”ずつ大きくなるようにしている。図9の例では、“0”の欠陥画素重みを持つグループ、“1”の欠陥画素重みを持つグループ、“2”の欠陥画素重みを持つグループ、“3”の欠陥画素重みを持つグループ、の計4種類のグループに分けられたことになる。そして、「該当ライン数」902は同じグループに属するラインの総数を示し、「該当ライン」903は当該グループに属する各ラインの行番号を示している。例えば、欠陥画素重みが“0”のグループについて見ると、当該グループに属するラインの総数は“6”であり、図6(b)に記載がない行番号(1、4、5、6、8、10)に対応する6つのラインが属していることが分かる。なお、上述したグループ化は一例であって、要は、検出領域内のどのラインにおいて欠陥画素が少ないのかが把握できればよい。
S805では、現在の処理モードに従った、読出しライン候補となる仮の読出しライン(以下、「仮読出しライン」と表記)が、検出領域に対して設定される。処理モードとして1ライン間引きモードが設定されている場合においては、読出し開始ラインが“1”、間引きライン数が“1”なので、仮読出しラインとして、行番号1、3、5、7、9、11が設定されることになる。図10(a)は、図6(a)に示す7つの欠陥画素を含む検出領域に対して、1ライン間引きモードにて設定された仮読出しラインを示す図である。図10(a)において横長の枠1001a〜1000fは、1ライン間隔で設定された仮読出しラインをそれぞれ示している。なお、2ライン間引きモードが設定されていた場合には、間引きライン数は“2”なので、仮読出しラインとして、行番号1、4、7、10が設定されることになる。
S806では、S805にて設定された仮読出しラインと、S804における検出領域内の複数ラインを対象としたグループ化の結果とに基づき、実際に像信号の読出しを行うライン(以下、「実読出しライン」と表記)を決定する処理を行う。具体的には、設定された仮読出しラインの中に欠陥画素を含むラインがある場合、当該ラインを非読出しラインへと変更する。さらに、仮読出しラインとして設定されていないラインのうち欠陥画素を含まないライン(或いはその数がより少ないライン)を、読み出しラインに設定する。いま、図9のテーブルから、欠陥画素重みが“0”の該当ライン数は“6”であり、1ライン間引きモードの下で設定すべき読出しラインの総数“6”と一致している。したがって、欠陥画素重みが“0”のグループに属するラインを、実読出しラインに決定する。いま、仮読出しラインに設定されているラインの行番号は“1、3、5、7、9、11”であり、欠陥画素重みが“0”のグループに属するラインの行番号は“1、4、5、6、8、10”である。よって、重複している行番号“1”と“5”に対応するラインはそのまま残して実読出しラインに決定し、新たに行番号“4”、“6”、“8”、“10”のラインを選択して実読出しラインに決定する。図10(b)は、決定された実読出しラインを示している。図10(a)に示す仮読出しライン1001a〜1001fのうち、欠陥画素のない1001aと1001cのラインだけが実読出しラインとして残っており、欠陥画素を含む1001b、1001d、1001e、1001fは非読出しラインに変更されている。そして、行番号“4”、“6”、“8”、“10”に対応する、欠陥画素を含まない4つのライン1002a〜1002dが、実読出しラインとして選択されているのが分かる。図11は、仮読出しラインを設定した時からの変更内容を記したテーブルの一例である。図11のテーブルにおいて、「間引きライン数」1101は、処理モードで定まる、1ライン間引きや2ライン間引きといった1度に間引かれるラインの本数(=間引き間隔)を示す。「変更数」1102は、仮読出しラインのうち非読出しラインへと変更されるラインの総数を示す。「実読出しライン」1103は、実際に像信号の読み出し対象となるラインの行番号を示す。「読出し順」1104は、実読出しラインそれぞれについての像信号の読み出し順を示す。このテーブルから、行番号“1”と“3”の2本のラインについては、仮設定されたものがそのまま維持されて実読出しラインとして決定されたことが分かる。この例の場合、設定された6本の仮読出しラインのうち欠陥画素のあるラインが4本あって、当該ライン内には計7個の欠陥画素が存在したが、決定された実読出しラインでは欠陥画素のあるラインは0本になっている。なお、本実施形態では、処理モードから定まる読出しラインの総数と、欠陥画素重みが最も小さい“0”のラインの総数とが同じであったため、欠陥画素重みが“0”のグループに属するラインの全部を、実読出しラインとして設定できた。しかし、欠陥画素重みが最も小さいラインの総数が、処理モードから定まる読出しラインの総数に満たないこともある。この場合には、欠陥画素重みが最も小さいラインだけを実読出しラインに決定してもよいし、欠陥画素重みが次に小さいグループから実読出しラインとするラインを追加的に選択してもよい。この際には、処理モードから定まる読出しラインの総数が可能な限り確保されるようにする。例えば上述の例では、処理モードが2ライン間引きモードであった場合の読出しラインの総数は4本なので、実読出しラインの本数が少なくとも4本以下にならないように制御する。また、実読出しラインを他のグループから選択する際に、読出し対象となるライン同士がなるべく離間するように設定するのが望ましい。
S807では、S806にて決定された実読出しラインの情報が、現在設定されている処理モードと対応付けてメモリ109内に格納される。
以上が、読出しライン決定処理の内容である。上述した処理により、検出領域に対して処理モードにより決まる間引き間隔に従って単純にラインを間引いた場合よりも、読出しラインに含まれる欠陥画素の合計をより少なくすることができる。
<変形例>
本実施形態では、S806にて実読出しラインを決定する際に、その数が処理モードによって定まる読出しライン総数と同じになるようにしているが、異なっていてもよい。その際には、現在の処理モードよりも間引きライン数の多い処理モードが設定された場合における読出しラインの総数を下回らないことが望ましい。例えば、前述の例では、処理モードから導き出される設定すべき読出しラインの本数は、1ライン間引きモードにおいて6本、2ライン間引きモードで4本である。したがって、1ライン間引きモードが設定されている場合においては、実読出しラインの本数が4本以下とならないように制御することが望ましい。
本実施形態では、S806にて実読出しラインを決定する際に、その数が処理モードによって定まる読出しライン総数と同じになるようにしているが、異なっていてもよい。その際には、現在の処理モードよりも間引きライン数の多い処理モードが設定された場合における読出しラインの総数を下回らないことが望ましい。例えば、前述の例では、処理モードから導き出される設定すべき読出しラインの本数は、1ライン間引きモードにおいて6本、2ライン間引きモードで4本である。したがって、1ライン間引きモードが設定されている場合においては、実読出しラインの本数が4本以下とならないように制御することが望ましい。
以上のとおり、本実施形態によれば、処理モードで定まる読出しラインの本数を原則維持しつつ、より欠陥画素の少ない読出しラインから像信号を読み出すことができる。これにより、より多くの欠陥画素を回避しつつ、焦点検出に必要な焦点距離を高精度に導出することができる
[実施形態2]
実施形態1では、初期不良による恒久的な欠陥を持つ画素だけを、欠陥画素として扱っていた。しかしながら、欠陥の中には、長時間の動作や撮影環境といった後発的な要因により発生する欠陥もある。そこで、このような後発的な要因による欠陥を持つ画素をも対象として実読出しラインを決定する態様を、実施形態2として説明する。なお、撮像装置の基本構成といった実施形態1と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。また、以下の説明においては、後発的な要因で生じる欠陥を持つ画素を、実施形態1で対象とした初期欠陥画素と区別するため、「後発欠陥画素」と表記することとする。
実施形態1では、初期不良による恒久的な欠陥を持つ画素だけを、欠陥画素として扱っていた。しかしながら、欠陥の中には、長時間の動作や撮影環境といった後発的な要因により発生する欠陥もある。そこで、このような後発的な要因による欠陥を持つ画素をも対象として実読出しラインを決定する態様を、実施形態2として説明する。なお、撮像装置の基本構成といった実施形態1と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。また、以下の説明においては、後発的な要因で生じる欠陥を持つ画素を、実施形態1で対象とした初期欠陥画素と区別するため、「後発欠陥画素」と表記することとする。
(画像処理部の詳細)
図12は、本実施形態に係る、画像処理部105’における焦点距離の導出に関する機能構成を示すブロック図である。画像処理部105’は、像信号処理部501’、制御部502、欠陥画素管理部503’、ライン決定部504’及び欠陥画素検出部1201を有している。実施形態1との大きな違いは、欠陥画素検出部1201が追加されている点である。欠陥画素検出部1201は、撮像素子103を構成する全画素の中から欠陥を持つ画素を検出する。図13は、前述の図6」(a)に示す検出領域内において、初期欠陥画素に加えて後発欠陥画素が発生した状態を示している。図13において、後発欠陥画素は三角印で示されており、3行目に1個、7行目に2個、8行目に3個、9行目に3個発生している。欠陥画素それぞれの位置を座標(x,y)で表すと、以下のとおりである。
初期欠陥画素:(2,2)、(3,4)、(3,6)、(7,3)、(7,5)、(7,9)、(9,11)、(11,7)
後発欠陥画素:(3,9)、(7,2)、(7,4)、(8,2)、(8,3)、(8,4)、(9,2)、(9,3)、(9,4)
図12は、本実施形態に係る、画像処理部105’における焦点距離の導出に関する機能構成を示すブロック図である。画像処理部105’は、像信号処理部501’、制御部502、欠陥画素管理部503’、ライン決定部504’及び欠陥画素検出部1201を有している。実施形態1との大きな違いは、欠陥画素検出部1201が追加されている点である。欠陥画素検出部1201は、撮像素子103を構成する全画素の中から欠陥を持つ画素を検出する。図13は、前述の図6」(a)に示す検出領域内において、初期欠陥画素に加えて後発欠陥画素が発生した状態を示している。図13において、後発欠陥画素は三角印で示されており、3行目に1個、7行目に2個、8行目に3個、9行目に3個発生している。欠陥画素それぞれの位置を座標(x,y)で表すと、以下のとおりである。
初期欠陥画素:(2,2)、(3,4)、(3,6)、(7,3)、(7,5)、(7,9)、(9,11)、(11,7)
後発欠陥画素:(3,9)、(7,2)、(7,4)、(8,2)、(8,3)、(8,4)、(9,2)、(9,3)、(9,4)
(焦点距離導出処理)
図14は、本実施形態に係る、画像処理部105’における焦点距離導出処理の大まかな流れを示すフローチャートである。実施形態1の図7に示すフローチャートとの違いは、処理開始直後のS1401にて欠陥画素検出部1201による欠陥画素の検出処理が実行され、検出結果に応じて欠陥画素情報が更新される点である。
図14は、本実施形態に係る、画像処理部105’における焦点距離導出処理の大まかな流れを示すフローチャートである。実施形態1の図7に示すフローチャートとの違いは、処理開始直後のS1401にて欠陥画素検出部1201による欠陥画素の検出処理が実行され、検出結果に応じて欠陥画素情報が更新される点である。
なお、本実施形態では焦点距離導出処理の中に欠陥画素の検出処理を組み込んでいるが、別個に実行してもよい。例えば、撮像画像データの取得時に併せて実行してもよい。あるいは、検出処理の実行回数をカウントしておき一定回数に達する都度実行してもよいし、タイマーなどを用いて一定時間経過する都度実行してもよい。また、本実施形態では、CPU106によって処理モードが設定された後に行っているが、処理モードの設定前に行ってもよい。欠陥画素の検出タイミングは任意である。
S1401では、欠陥画素検出部1201にて、欠陥を持つ画素を検出し、さらに検出された欠陥画素が後発欠陥画素であるか特定する処理が実行される。この欠陥を持つ画素の種別判定を含む欠陥画素検出処理の詳細については後述する。
S1402では、欠陥画素管理部503’にて、後発欠陥画素と判定された画素についての欠陥画素情報が必要に応じて更新される。具体的には、検出された後発欠陥画素が、既に後発欠陥画素として登録済みのものとは異なる新たな後発欠陥画素であった場合に、その種別と位置を欠陥画素情報内に追加登録する処理がなされる。
S1403〜S1405は、実施形態1の図7のフローチャートにおけるS701〜S703にそれぞれ対応し、異なるところはない。ただし、本実施形態における読出しライン決定処理(S1402)においては、欠陥画素に付与される重みを、欠陥画素の種類に応じて異ならせる。具体的には、後発欠陥画素に対して付与する重みを、初期欠陥画素に対して付与する重みよりも小さくする。このように重みを変える理由は、後発欠陥画素の場合は、後発的に生じた欠陥であって動作環境の変化等によって再び正常に動作する可能性があるためである。つまり、後発欠陥画素の場合は、その欠陥が一時的なもので後に回復する可能性があることから、そのような初期欠陥画素との違いを実読出しラインの決定時に考慮するためである。本実施形態では、一例として、初期欠陥画素については“1.0”の重みを付与するのに対して、後発欠陥画素については“0.5”の重みを付与することとする。
(欠陥画素検出処理の詳細)
図15は、本実施形態における、欠陥画素検出処理の詳細を示すフローチャートである。以下、図15のフローチャートに沿って説明する。
図15は、本実施形態における、欠陥画素検出処理の詳細を示すフローチャートである。以下、図15のフローチャートに沿って説明する。
S1501では、撮像素子103が有する全ての画素から、像信号処理部501’を介して所定の信号値が取得される。続くS1502では、全画素のうち注目する画素が決定される。そして、S1503では、注目画素が欠陥を持つ画素であるかが判定される。欠陥を持つ画素であるか否かの判定は、公知の技術を適用すればよい。例えば、注目画素の信号レベルとその周辺画素の信号レベルとの差分を求め、当該差分を所定の閾値と比較することで、欠陥を持つ画素であるか否かを判定することができる。判定によって欠陥のある画素と判定された場合はS1504へ進む。一方、欠陥のない画素と判定された場合はS1502に戻って、次の画素を注目画素に決定して処理を続行する。
S1504では、S1503にて欠陥を持つと判定された注目画素が、直る可能性のある後発欠陥画素であるか否かが判定される。後発欠陥画素であるか否かは、例えば、検出タイミングや検出された欠陥の内容に基づいて判定可能である。検出タイミングに基づく判定の場合、撮像装置100の出荷時や購入直後など使用前の時点で欠陥画素として検出されたものは初期欠陥画素、撮像装置100の使用中に検出されたものは後発欠陥画素、と判別する。また、欠陥内容に基づく判定の場合は、いわゆる黒キズであれば後発欠陥画素、いわゆる白キズであれば初期欠陥画素と判別する。なお、ここで示した判別法は一例であり、欠陥画素の種別が特定されればよい。判定結果としての欠陥画素の種別情報とその位置情報は、欠陥画素管理部503’に送られる。
S1505では、撮像素子103の全画素についての処理が完了したか否かが判定される。全画素の処理が完了していれば本処理を抜ける。一方、未処理の画素があれば、S1502に戻って、次の画素を注目画素に決定して処理を続行する。
以上が、本実施形態に係る、欠陥画素検出処理の内容である。図16は、図13の状態の検出領域を対象として上述の検出処理を行った場合に、前述の更新処理(S1402)によって得られる更新後の画素欠陥情報としてのテーブルを示している。なお、更新前の欠陥画素情報は、図6(b)に示すテーブルの状態であったものとする。図16のテーブルにおいて、「欠陥画素数」1602内の小項目「恒久的」1603の列に記載の欠陥画素数が、図13においてバツ印で示される8個の初期欠陥画素に対応している。そして、図16のテーブルにおいて、「欠陥画素数」1602内の小項目「一時的」1604の列に記載の欠陥画素数が、図13において三角印で示される9個の後発欠陥画素に対応している。例えば位置座標が(2,2)の画素は、図15のフローで示す検出処理において、欠陥画素と判定された後(S1503でYes)、その種類は初期欠陥画素であると判定されることになる(S1504)。そして、行番号が“2”のラインからは、他に欠陥画素は検出されない。この判定結果に基づき、前述の図14のフローにおける更新処理では、「行番号」1601が“2”の「恒久的」1603の列においては、既に欠陥画素数として“1”が入っているので、更新されずにそのままとなる。位置座標が(3,4)、(3,6)の初期欠陥画素についても同様である。これに対し、位置座標が(3,9)の画素については、図15のフローで示す検出処理において、欠陥画素と判定された後(S1503でYes)、その種類は後発欠陥画素であると判定されることになる(S1504)。この判定結果に基づき、図14のフローにおける更新処理では、「行番号」1601が“3”の「一時的」1603の列がブランクの状態となっているので“1”に更新されることになる。同様の処理が検出領域内の全ての画素について繰り返される結果、図16のテーブルで示す内容の欠陥画素情報が得られることになる。
(読出しライン決定処理の詳細)
続いて、本実施形態における読出しライン決定処理について、実施形態1で用いた図8のフローチャートを参照して説明する。S801〜S803の各処理は実施形態1と共通であるので説明を省く。そして、S803においては、前述した図16のテーブルに示すような、初期欠陥画素と後発欠陥画素のそれぞれの数を示す欠陥画素情報が欠陥画素管理部503から取得されることになる。
続いて、本実施形態における読出しライン決定処理について、実施形態1で用いた図8のフローチャートを参照して説明する。S801〜S803の各処理は実施形態1と共通であるので説明を省く。そして、S803においては、前述した図16のテーブルに示すような、初期欠陥画素と後発欠陥画素のそれぞれの数を示す欠陥画素情報が欠陥画素管理部503から取得されることになる。
次のS804では、検出領域内のすべてのラインを対象とした、欠陥画素の数に基づくグループ化が、S803にて取得した欠陥画素情報を用いてなされる。図17は、図16に示す欠陥画素情報に基づくグループ分けの結果をまとめたテーブルである。図17のテーブルにおいて、「欠陥画素重み」1701は、各ラインに含まれる欠陥画素の数に応じた重みを示している。ここでは、初期欠陥画素については1個につき重みが“1”ずつ大きくなるように、後発欠陥画素については1個につき重みが“0.5”ずつ大きくなるようにしている。図17の例では、欠陥画素重みが、“0.0”のグループ、“1.0”のグループ、“1.5”のグループ、“2.5”のグループ、“4.0”のグループの計5種類のグループに分けられることになる。そして、「該当ライン数」1702には同じグループに属するラインの総数が示され、「該当ライン」1703には当該グループに属する各ラインの行番号が示されている。例えば、欠陥画素重みが“0.0”のグループについて見ると、当該グループに属するラインの総数は“5”で、図16に記載がない行番号(1、4、5、6、10)に対応する5つのラインが属している。そして、図6(b)に示す更新前の状態から内容が変化しているのが分かる。また、初期欠陥画素が元々2個存在し、さらに後発欠陥画素が1個検出された行番号“3”のラインについては、欠陥画素重みが“0.5”増えて、欠陥画素重みが“2.5”のグループに新たに属している。同様に、後発欠陥画素が検出されたラインについては、その数に応じた欠陥画素重みのグループへと所属先が変化している。なお、上述したグループ化は一例であって、要は、検出領域内のどのラインに初期欠陥画素と後発欠陥画素がそれぞれどのくらいあるのかが把握できればよい。
次のS805では、現在の処理モードに従った本数の仮読出しラインが、実施形態1の場合と同様、検出領域に対して設定される。処理モードとして1ライン間引きモードが設定されている場合、読出し開始ラインが“1”、間引きライン数が“1”なので、仮読出しラインとして、前述の図10(a)に示すように、行番号1、3、5、7、9、11の各ラインが設定されることになる。
続くS806では、S804でのグループ分けの結果に基づき、実読出しラインが決定される。いま、図17に示すグループ分けの結果において、欠陥画素重みが“0.0”のグループの「該当ライン数」1702は“5”である。設定中の1ライン間引きモードで求められる読出しライン総数は“6”でありこれに満たないが、2ライン間引きモードで求められる読出しライン総数“4”よりも大きいので、設定すべき実読出しラインの本数を“5”に決定する。もし、残り1ラインをさらに実際の読みしラインとして決定しようとした場合は、欠陥画素重みが“1.0”のグループに属する行番号“2”と“11”の2つのラインのうちいずれかを選択することになる。しかし、どちらのラインも、欠陥画素重みが“0.0”である行番号“1”と“10”の2つのラインに隣接している。また、欠陥画素重みが“1.0”の行番号“2”と“11”のラインに近い仮読出しラインは、行番号“1”、“3”、“11”の各ラインであり、いずれも欠陥画素重みが“0.0”の行番号“4”及び“10”のラインと隣接している。そのため、欠陥画素重みが“0.0”のグループに属する5本のみを選択しても、最終的に得られる焦点検出情報の精度への影響はないと判断し、実読出しラインの本数を5本と決定している。図18(b)は、決定された実読出しラインを示している。図18(a)に示す仮読出しライン1801a〜1801fのうち、欠陥画素のない1801aと1801cのラインだけが実読出しラインとして残っており、欠陥画素を含む1801b、1801d、1801e、1801fは非読出しラインに変更されている。そして、行番号“4”、“6”“10”に対応する、欠陥画素を含まない3つのライン1802a〜1802cが、実読出しラインとして設定されているのが分かる。図19は、仮読出しラインからの変更内容を記したテーブルである。図19のテーブルにおいて、「間引きライン数」1901、「変更数」1902、「実読出しライン」1903、「読出し順」1904の各項目の意味は、実施形態1の図11のテーブルと同じである。図19のテーブルから、行番号“1”と“3”の2本のラインについては仮設定されたものがそのまま維持されて実読出しラインとして決定され、さらに欠陥画素のない3本のラインが実読出しラインとして決定されていることが分かる。また、1ライン行間引きモードの下で求められる読出しラインの総数は“6”であるが、決定された実読出しラインの総数は“5”であるため、「読出し順」1903が“5”のときと“6”のときとで共通の行番号“10”が指定されている。これは、5回目の読出し対象ラインと6回目の読出し対象ラインとが同じラインであることを意味している。この場合、像信号の読出し処理(S1404)においては、指定された行番号“10”のラインからの像信号の読出しを繰り返すことはせず、読出し順“5”において読み出した像信号の処理結果を、読出し順“6”における処理結果として利用する。これにより、1ライン分の像信号読み出し処理と読み出し後の演算処理を削減することができる。
S807では、S806にて決定された実読出しラインの情報が、現在設定されている処理モードと対応付けてメモリ109内に格納される。
以上が、本実施形態における、読出しライン決定処理の内容である。
<変形例>
次に、欠陥画素を全く含まないラインが検出領域内に存在しない場合に、欠陥画素のより少ないラインを実読出しラインとして決定する態様を、変形例として説明する。図20は、前述の図13に相当する図であり、図8(a)に示す検出領域内において、初期欠陥画素が1個、後発欠陥画素が2個、追加的に検出されている。図20における欠陥画素それぞれの位置を座標(x,y)で表すと、以下のとおりである。
初期欠陥画素:(2,2)、(3,4)、(3,6)、(5,8)、(7,3)、(7,5)、(7,9)、(9,11)、(11,7)
後発欠陥画素:(3,9)、(6,3)、(7,2)、(7,4)、(8,2)、(8,3)、(8,4)、(9,2)、(9,3)、(9,4)、(10,3)
次に、欠陥画素を全く含まないラインが検出領域内に存在しない場合に、欠陥画素のより少ないラインを実読出しラインとして決定する態様を、変形例として説明する。図20は、前述の図13に相当する図であり、図8(a)に示す検出領域内において、初期欠陥画素が1個、後発欠陥画素が2個、追加的に検出されている。図20における欠陥画素それぞれの位置を座標(x,y)で表すと、以下のとおりである。
初期欠陥画素:(2,2)、(3,4)、(3,6)、(5,8)、(7,3)、(7,5)、(7,9)、(9,11)、(11,7)
後発欠陥画素:(3,9)、(6,3)、(7,2)、(7,4)、(8,2)、(8,3)、(8,4)、(9,2)、(9,3)、(9,4)、(10,3)
また、画像処理部105’における焦点距離導出処理の流れは、前述の図14のフローで示されるとおりである。そして、本変形例における読出しライン決定処理(図8のフロー)のS803においては、図21のテーブルに示すような、初期欠陥画素と後発欠陥画素のそれぞれの数を示す欠陥画素情報が欠陥画素管理部503から取得されることになる。そして、続くS804では、検出領域内のすべてのラインを対象とした、欠陥画素の数に基づくグループ化が、S803にて取得した欠陥画素情報を用いてなされる。図22は、図21に示す欠陥画素情報に基づくグループ分けの結果をまとめたテーブルである。「欠陥画素重み」2201から明らかなように、ここでは、欠陥画素重みが、“0.0”のグループ、“0.5”のグループ、“1.0”のグループ、“1.5”のグループ、“2.5”のグループ、“4.0”のグループの計6種類のグループに分けられることになる。そして、「該当ライン数」2202には同じグループに属するラインの総数が示され、「該当ライン」2203には当該グループに属する各ラインの行番号が示されている。
そして、S805にて仮読出しラインが設定されると、続くS806では、S804でのグループ分けの結果に基づき、実読出しラインが決定される。いま、1ライン間引きモードが設定されているものとする。この場合の読出しライン総数は“6”となる。図22に示すグループ分けの結果において、欠陥画素重みが“0.0”のグループの「該当ライン数」1202は“2”であり、その次に欠陥画素重みが小さい“0.5”のグループの「該当ライン数」1202も“2”である。よって、この2つのグループに属するラインは、優先的に実読出しラインとして決定する。次に欠陥画素重みが小さいのは“1.0”のグループであるが、当該グループには、行番号“2”、“5”、“11”の3本のラインが属している。そこで、この3本の中から残りの2ラインを選択することになるが、この際には、仮読出しラインと共通するラインを優先的に選択するようにする。いま、行番号“5”と“11”については仮読出しラインとして設定されているが、行番号“2”のラインについては非読出しラインとなっている。したがって、行番号“5”と“11”のラインを、実読み出しラインとして選択する。このように、グループ化の結果に基づき、仮読出しラインのうち重みが相対的に大きいラインは非読出しラインに変更され、仮読出しラインとして選択されなかったラインのうち重みが相対的に小さいラインが、実読出しラインとして選択されることになる。なお、上述の例において、実読出しラインを欠陥画素重みが“0.5”までの2つのグループに属する4本に留めることは行わない。処理モードが2ライン間引きモードのときの読出しライン総数である4本と同じになり、1ライン間引きモードが設定されている意義が失われてしまうためである。図23(b)は、決定された実読出しラインを示している。図23(a)に示す仮読出しライン2301a〜2301fのうち、欠陥画素のない2301aと2301cのラインに加え、欠陥画素を1個含む2301fも実読出しラインとして残っている。そして、同じく欠陥画素を1個含む行番号“4”、“6”“10”に対応する3つのライン2302a〜2302cが、実読出しラインとして設定されているのが分かる。
図24は、仮読出しラインからの変更内容を記したテーブルである。図24のテーブルにおいて、「間引きライン数」2401、「変更数」2402、「実読出しライン」2403、「読出し順」2404の各項目の意味は、前述の図19のテーブルと同じである。図24のテーブルから、行番号“1”、“3”、“6”の3本のラインについては仮設定されたものがそのまま維持されて実読出しラインとして決定され、新たに行番号“4”、“6”、“10”の3本のラインが実読出しラインとして決定されていることが分かる。
以上が、本変形例における、読出しライン決定処理の内容である。本変形例によれば、より欠陥画素重みの小さいグループに属するラインを優先して実読出しラインとして決定するので、たとえ欠陥画素を含んでいてもその数が少ないラインによって実読出しラインが構成されることになる。
以上のとおり本実施形態においては、欠陥画素を動的に検出することで、恒久的な欠陥画素だけでなく一時的な欠陥画素についても考慮して、欠陥画素の少ないラインが読出しラインとして決定される。これにより、より精度の高い焦点距離を得ることができる。また、検出領域内において欠陥画素として扱われる画素が増えることになる結果、処理モードから求められる読み出しライン総数が確保できずにライン数を削減した場合においても、焦点距離導出の精度低下を抑制することができる。そして、ライン数の削減を行った場合においても、当該削減されたライン分の読み出し処理に要する通信や電力消費、さらには演算処理における負荷が低減されるという副次的な効果が得られる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
103 撮像素子
105 画像処理部
501 像信号処理部
503 欠陥画素管理部
504 ライン決定部
105 画像処理部
501 像信号処理部
503 欠陥画素管理部
504 ライン決定部
Claims (10)
- 撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置であって、
前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定手段と、
前記決定手段で決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する像信号処理手段と、
前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報を管理する管理手段と、
を備え、
前記決定手段は、前記欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、
ことを特徴とする撮像装置。 - 前記決定手段は、前記欠陥画素情報に基づいて前記読出しラインを決定したときに当該決定したすべての読出しラインに含まれる欠陥画素の合計が、前記所定領域に対して所定の間引き間隔でラインを間引いた場合のすべての読出しラインに含まれる欠陥画素の合計よりも少なくなるように、前記読出しラインを決定することを特徴とする請求項1に記載の撮像装置。
- 前記間引き間隔を指定する動作モードの情報を取得する取得手段をさらに備え、
前記決定手段は、
前記取得手段が取得した前記動作モードにて指定される間引き間隔に基づき、前記所定領域内で間引くべきラインの数を決定し、
前記所定領域内の複数ラインの数から前記決定した数を差し引いた数の前記読出しラインを決定する、
ことを特徴とする請求項2に記載の撮像装置。 - 前記決定手段は、
前記欠陥画素情報を用いて、前記所定領域に含まれるラインを、各ラインに存在する欠陥画素の数が多いほどより大きな重みを付与する重み付けを行ってグループ化し、
前記間引くべきラインの数に応じた前記読出しラインの候補を設定し、
前記グループ化の結果、前記候補として設定された前記読出しラインのうち重みが相対的に大きいラインを非読出しラインに変更し、前記候補として設定されなかったラインのうち重みが相対的に小さいラインを前記読出しラインに変更することで、前記所定領域内の複数ラインの数から前記決定した数を差し引いた数の前記読出しラインを決定する、
ことを特徴とする請求項3に記載の撮像装置。 - 前記撮像素子が備える前記全画素の中から欠陥画素を検出する検出手段をさらに備え、
前記管理手段は、前記検出手段による検出結果に基づき前記重み付けを行って前記欠陥画素情報を更新し、
前記決定手段は、更新後の前記欠陥画素情報に基づいて、前記読出しラインを決定する、
ことを特徴とする請求項4に記載の撮像装置。 - 前記検出手段は、検出した欠陥画素における欠陥が、恒久的な欠陥であるか一時的な欠陥であるかを判定し、
前記管理手段は、前記更新の際に、前記恒久的な欠陥を持つ画素に対し、前記一時的な欠陥を持つ画素よりも大きな重みを付与する、
ことを特徴とする請求項5に記載の撮像装置。 - 前記検出手段は、欠陥を検出したタイミングに基づき、前記恒久的な欠陥を持つ画素であるか、前記一時的な欠陥を持つ画素であるかを判定する、ことを特徴とする請求項6に記載の撮像装置。
- 前記検出手段は、検出された欠陥の内容が、白キズであれば恒久的な欠陥を持つ画素と判定し、黒キズであれば一時的な欠陥を持つ画素と判定する、ことを特徴とする請求項6に記載の撮像装置。
- 撮像素子から出力される一対の像信号に基づき焦点距離を導出する機能を有する撮像装置の制御方法であって、
前記撮像素子が備える全画素の領域のうち所定領域において、前記一対の像信号の読み出し対象となる、所定方向に複数の画素が並んだ読出しラインを決定する決定ステップと、
前記決定ステップにて決定された前記読出しラインを構成する各画素から前記一対の像信号を読み出して、前記焦点距離を導出する処理ステップと、
を含み、
前記決定ステップでは、前記所定領域に存在する欠陥画素の分布状態を示す欠陥画素情報に基づき、前記所定領域内の複数ラインのうち欠陥画素がより少ないラインを、前記読出しラインとして決定する、
ことを特徴とする制御方法。 - コンピュータを、請求項1乃至8のいずれか1項に記載の撮像装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199886A JP2021072594A (ja) | 2019-11-01 | 2019-11-01 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199886A JP2021072594A (ja) | 2019-11-01 | 2019-11-01 | 撮像装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021072594A true JP2021072594A (ja) | 2021-05-06 |
Family
ID=75713513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019199886A Pending JP2021072594A (ja) | 2019-11-01 | 2019-11-01 | 撮像装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021072594A (ja) |
-
2019
- 2019-11-01 JP JP2019199886A patent/JP2021072594A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6878604B2 (ja) | 撮像方法および電子装置 | |
KR101368715B1 (ko) | 화상 처리장치, 화상 처리방법 및 기억매체 | |
JP5547338B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5867806B2 (ja) | 撮像装置及びこれを用いた物体識別装置 | |
JP2009049858A (ja) | 撮像装置 | |
EP3015892A1 (en) | Image pickup device and image pickup method | |
US20160360093A1 (en) | Imaging apparatus, imaging method, and storage medium | |
JP2013190734A (ja) | 焦点検出装置および撮像装置 | |
JP2015212794A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5223912B2 (ja) | 撮像装置、および焦点判定プログラム | |
CN109565556B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP2021072594A (ja) | 撮像装置及びその制御方法 | |
US20060219920A1 (en) | IR Camera | |
JP4605582B2 (ja) | ステレオ画像認識装置及びその方法 | |
JP4573789B2 (ja) | 被写体追尾システム | |
JP2013162173A (ja) | 撮像装置、及びプログラム | |
US10791290B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP2012169990A (ja) | 撮像装置及び撮像装置の画像歪補正方法 | |
JP2011211523A (ja) | 画像処理方法および撮影装置 | |
JPH0693059B2 (ja) | 焦点検出装置 | |
JP3678438B2 (ja) | 測距装置 | |
JP2003057531A (ja) | 位相差検出方法、位相差検出装置、測距装置および撮像装置 | |
JP6448324B2 (ja) | 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム | |
JP4615912B2 (ja) | カメラの焦点演算装置 | |
JP2009044535A (ja) | 電子カメラ |