JP2018056944A - Imaging device and imaging element - Google Patents
Imaging device and imaging element Download PDFInfo
- Publication number
- JP2018056944A JP2018056944A JP2016194230A JP2016194230A JP2018056944A JP 2018056944 A JP2018056944 A JP 2018056944A JP 2016194230 A JP2016194230 A JP 2016194230A JP 2016194230 A JP2016194230 A JP 2016194230A JP 2018056944 A JP2018056944 A JP 2018056944A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- area
- image
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置および撮像素子に関する。 The present invention relates to an imaging device and an imaging element.
撮像素子からの信号により被写体検出を行う技術を搭載した撮像装置が知られている(特許文献1参照)。
従来から被写体検出の精度向上が要求されていた。
2. Description of the Related Art An imaging device equipped with a technique for detecting a subject using a signal from an imaging element is known (see Patent Document 1).
Conventionally, it has been required to improve the accuracy of subject detection.
第1の態様によると、撮像装置は、光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、前記撮像領域ごとに配置され、前記画素で生成された信号を出力する信号線と、を有する撮像素子と、前記撮像領域のうち、第1撮像領域に配置された画素から、前記第1撮像領域の前記信号線に出力された第1画素の信号を用いて、撮像された被写体の画像を生成する生成部と、前記撮像領域のうち、前記第1撮像領域とは異なる第2撮像領域に配置された画素から、前記第2撮像領域の前記信号線に出力された、前記第1画素の数よりも多い第2画素の信号を用いて、被写体を検出する検出部と、を備える。
第2の態様によると、撮像素子は、光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、前記撮像領域ごとに配置され、前記画素で生成された信号を出力する信号線と、を備え、前記撮像領域は、撮像された被写体の画像を生成するために用いられる第1画素を有する第1撮像領域と、被写体を検出するために用いられる、前記第1画素の数よりも多い第2画素を有する第2撮像領域と、を含む。
第3の態様によると、撮像装置は、被写体を撮像する撮像領域のうち、光を電荷に変換する第1光電変換部と光を電荷に変換する第2光電変換部とが配置された第1撮像領域と、光を電荷に変換する第3光電変換部と光を電荷に変換する第4光電変換部とが配置された第2撮像領域と、を有する撮像素子と、前記第1撮像領域において、前記第1光電変換部と前記第2光電変換部とで変換された電荷により生成された第1信号を用いて、撮像された被写体の画像を生成する生成部と、前記第2撮像領域において、前記第3光電変換部で変換された電荷により生成された信号と前記第4光電変換部で変換された電荷により生成された信号とを用いて、被写体を検出する検出部と、を備える。
According to the first aspect, the imaging device includes a plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and a signal that is arranged in each of the imaging regions and that is generated by the pixels. An image sensor having a signal line to output, and a signal of the first pixel output to the signal line of the first imaging area from a pixel arranged in the first imaging area of the imaging area A generation unit that generates an image of the imaged subject, and a pixel arranged in a second imaging region that is different from the first imaging region in the imaging region, and outputs to the signal line of the second imaging region A detection unit that detects a subject using a signal of a second pixel larger than the number of the first pixels.
According to the second aspect, the imaging element includes a plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and the signals generated by the pixels are arranged for each of the imaging regions. The first imaging area having a first pixel used for generating an image of the captured subject, and the first imaging area used for detecting the subject. And a second imaging region having a second pixel larger than the number of pixels.
According to the third aspect, in the imaging apparatus, a first photoelectric conversion unit that converts light into electric charge and a second photoelectric conversion unit that converts light into electric charge are arranged in an imaging region for imaging a subject. In the first imaging region, an imaging device having an imaging region, a second imaging region in which a third photoelectric conversion unit that converts light into electric charge and a fourth photoelectric conversion unit that converts light into electric charge are arranged, In the second imaging region, a generation unit that generates an image of a captured subject using the first signal generated by the electric charges converted by the first photoelectric conversion unit and the second photoelectric conversion unit, A detection unit that detects a subject using a signal generated by the electric charge converted by the third photoelectric conversion unit and a signal generated by the electric charge converted by the fourth photoelectric conversion unit.
一実施の形態による撮像素子、およびこの撮像素子を搭載する電子機器について説明する。図1デジタルカメラ1(以降、カメラ1と称する)は、電子機器の一例である。カメラ1には、イメージセンサの一例として撮像素子32aが搭載される。撮像素子32aは、撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。カメラ1の画像処理部33は、撮像条件が異なる領域に対して、それぞれ適切な処理を行う。このようなカメラ1の詳細について、図面を参照して説明する。
An image sensor according to an embodiment and an electronic device in which the image sensor is mounted will be described. A
<カメラの説明>
図1は、一実施の形態によるカメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37とを有する。
<Explanation of camera>
FIG. 1 is a block diagram illustrating the configuration of a
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子32aおよび駆動部32bを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像面の全域において同じ条件で撮像したり、撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32bは、撮像素子32aに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部32bに対する電荷蓄積時間、ISO感度(ゲイン)、フレームレートなどの撮像指示は、制御部34から駆動部32bへ送信される。
The imaging
画像処理部33は、入力部33aと、補正部33bと、生成部33cとを含む。入力部33aには、撮像部32によって取得された画像データが入力される。補正部33bは、上記入力された画像データに対して補正を行う。補正は、例えば、後述する第1撮像領域B1からのデータ(信号)と後述する第2撮像領域B2からのデータ(信号)のレベルを合わせるなどの処理を含む。生成部33cは、上記入力された画像データ、補正処理後の画像データに対して画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部33cは、表示部35により表示する画像を生成する。
The
制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部32で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子32aの電荷蓄積時間(露光時間)、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32bへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。
The
制御部34には、物体検出部34aと、設定部34bと、撮像制御部34cと、レンズ移動制御部34dとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
The
物体検出部34aは、公知の物体認識処理を行うことにより、撮像部32によって取得された画像データから、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの被写体要素を検出する。設定部34bは、撮像部32により取得した画像データを、上述のように検出した被写体要素を含む複数の領域に分割する。
The
設定部34bはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域に同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
The
撮像制御部34cは、設定部34bによって領域ごとに設定された撮像条件を適用して撮像部32(撮像素子32a)、画像処理部33を制御する。これにより、撮像部32に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。また、領域間で画素の数が異なっていてもよい。
The
レンズ移動制御部34dは、撮像画面の所定の位置(フォーカスポイントと呼ぶ)において、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)動作を制御する。フォーカスを合わせると、被写体の像の尖鋭度が高まる。すなわち、撮像光学系31のフォーカスレンズを光軸方向に移動させることによって、撮像光学系31による像を調節する。レンズ移動制御部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号、例えば被写体の像を撮像光学系31のフォーカスレンズで調節するための信号を、撮像光学系31のレンズ駆動機構31mに送る。このように、レンズ移動制御部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを光軸方向に移動させる移動部として機能する。レンズ移動制御部34dがAF動作のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
The lens
表示部35は、画像処理部33によって生成された画像や画像処理された画像、記録部37によって読み出された画像などを再生表示する。表示部35は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
The
操作部材36は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材36は、各操作に対応する操作信号を制御部34へ送出する。操作部材36には、表示部35の表示面に設けられたタッチ操作部材も含まれる。
The
記録部37は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部37は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
In response to an instruction from the
<積層型の撮像素子の説明>
上述した撮像素子32aの一例として積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプや電極である。撮像チップ111は、被写体からの光像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。
<Description of Laminated Image Sensor>
A
図2に示すように、入射光は、主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As shown in FIG. 2, the incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. Further, as shown in the coordinate axes, the left direction of the paper orthogonal to the Z axis is the X axis plus direction, and the front side of the paper orthogonal to the Z axis and X axis is the Y axis plus direction. In the following several figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.
撮像チップ111は、例えば、CMOSイメージセンサである。撮像チップ111は、具体的には、裏面照射型のCMOSイメージセンサである。撮像チップ111は、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108を有する。撮像チップ111は、Z軸プラス方向に向かってマイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108の順に配置されている。
The
マイクロレンズ層101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部104に集光する。カラーフィルタ層102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層103は、窒化膜や酸化膜で構成され、半導体層106を保護する。
The
半導体層106は、光電変換部104および読出回路105を有する。半導体層106は、光の入射面である第1面106aと第1面106aの反対側の第2面106bとの間に複数の光電変換部104を有する。半導体層106は、光電変換部104がX軸方向およびY軸方向に複数配列されている。光電変換部104は、光を電荷に変換する光電変換機能を有する。また、光電変換部104は、光電変換信号による電荷を蓄積する。光電変換部104は、例えば、フォトダイオードである。半導体層106は、光電変換部104よりも第2面106b側に読出回路105を有する。半導体層106は、読出回路105がX軸方向およびY軸方向に複数配列されている。読出回路105は、複数のトランジスタにより構成され、光電変換部104によって光電変換された電荷により生成される画像データを読み出して配線層108へ出力する。
The
配線層108は、複数の金属層を有する。金属層は、例えば、Al配線、Cu配線等である。配線層108は、読出回路105により読み出された画像データが出力される。画像データは、接続部109を介して配線層108から信号処理チップ112へ出力される。
The
なお、接続部109は、光電変換部104ごとに設けられていてもよい。また、接続部109は、複数の光電変換部104ごとに設けられていてもよい。接続部109が複数の光電変換部104ごとに設けられている場合、接続部109のピッチは、光電変換部104のピッチよりも大きくてもよい。また、接続部109は、光電変換部104が配置されている領域の周辺領域に設けられていてもよい。
Note that the
信号処理チップ112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路等である。信号処理回路は、光電変換部104ごとに設けられていてもよい。
The
また、信号処理回路は、複数の光電変換部104ごとに設けられていてもよい。信号処理チップ112は、複数の貫通電極110を有する。貫通電極110は、例えばシリコン貫通電極である。貫通電極110は、信号処理チップ112に設けられた回路を互いに接続する。貫通電極110は、撮像チップ111の周辺領域、メモリチップ113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ111に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ112に設けてもよい。
In addition, the signal processing circuit may be provided for each of the plurality of
メモリチップ113は、複数の記憶部を有する。記憶部は、信号処理チップ112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
The
図3は、撮像チップ111の画素配列と単位領域131を説明する図である。特に、撮像チップ111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が1つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。
FIG. 3 is a diagram for explaining the pixel array and the
画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the
本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so as to include at least one
図4は、単位領域131における回路を説明する図である。図4の例では、隣接する2画素×2画素の4画素により1つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域131の二次元的な位置を符号A〜Dにより示す。
FIG. 4 is a diagram for explaining a circuit in the
単位領域131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線330が設けられている。
The reset transistor (RST) of the pixel included in the
単位領域131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線332が設けられている。
The pixel transfer transistor (TX) included in the
さらに、単位領域131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線336が設けられている。
Further, the pixel selection transistor (SEL) included in the
なお、電源配線304は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ111側に設けられてもよいし、信号処理チップ112側に設けられてもよい。
The
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を共通の出力配線308を介して出力することができる。
By individually turning on and off the reset transistor and the transfer transistor in the
ここで、単位領域131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCD」の順序で光電変換信号が出力される。
Here, a so-called rolling shutter system is known in which charge accumulation is controlled in a regular order with respect to rows and columns for pixels A to D included in the
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。例えば、単位領域131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ111において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休止させることにより、撮像チップ111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
Thus, by configuring the circuit with the
図5は、図4に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。マルチプレクサ411は、単位領域131を形成する4個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ111に形成される。
FIG. 5 is a block diagram illustrating a functional configuration of the
マルチプレクサ411を介して出力された画素信号は、信号処理チップ112に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ113に形成される。
The pixel signal output through the
メモリチップ113に形成された演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ112に設けられてもよい。なお、図5では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
また、演算回路415は、後段の制御部、画像処理部等の機能を含めた構成としてもよい。
The
The
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ111、信号処理チップ112およびメモリチップ113を積層しているので、これら出力配線308に接続部109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the
<撮像素子のブロック制御>
本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34の撮像制御部34cは、上記複数の領域を上記ブロックに対応させて、ブロックごとに設定された撮像条件で撮像を行わせる。ブロックを構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。
<Block control of image sensor>
In the present embodiment, an imaging condition can be set for each of a plurality of blocks in the
カメラ1は、例えば、撮像指示が行われる前、あるいは動画像を撮像中に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。図6(a)は、ライブビュー画像を取得する際に撮像素子32aの撮像面に設定される第1撮像領域B1および第2撮像領域B2の配置を例示する図である。
For example, the
<第1撮像領域と第2撮像領域>
図6(a)によれば、第1撮像領域B1は、ブロックの奇数列における偶数行のブロックと、ブロックの偶数列における奇数行のブロックとによって構成される。また、第2撮像領域B2は、ブロックの偶数列における偶数行のブロックと、ブロックの奇数列における奇数行のブロックとによって構成される。このように、撮像素子32aの撮像面が第1撮像領域B1に属する複数のブロックと、第2撮像領域B2に属する複数のブロックとによって市松模様状に分割されている。
<First imaging region and second imaging region>
According to FIG. 6 (a), the first imaging region B1 is composed of blocks of even rows in odd columns of blocks and blocks of odd rows in even columns of blocks. The second imaging region B2 is composed of even-numbered blocks in even-numbered columns of blocks and odd-numbered blocks in odd-numbered columns of blocks. As described above, the imaging surface of the
<表示用画像と検出用画像>
図7(a)、図7(b)は、後に詳述する表示用画像81と、検出用画像82とを例示する図である。制御部34は、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、表示用画像81を生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された光電変換信号に基づいて、検出用画像82を生成する。
以降の説明では、光電変換信号を画像データまたは輝度データと称する。
<Display image and detection image>
FIGS. 7A and 7B are diagrams illustrating a
In the following description, the photoelectric conversion signal is referred to as image data or luminance data.
制御部34は、表示用画像81をライブビュー表示に用いるとともに、検出用画像82を、被写体検出用、焦点調節用、撮像条件設定用として用いる。本実施の形態では、ライブビュー画像として表示部35に表示する画像を表示用画像81と称する。また、制御部34は、検出用画像82に基づいて物体検出部34aにより被写体要素を検出し、検出用画像82に基づいてレンズ移動制御部34dにより焦点検出処理を行い、検出用画像82に基づいて設定部34bにより露出演算処理を行う。本実施の形態では、被写体要素の検出、焦点検出、および露出演算に用いる画像を検出用画像82と称する。
The
<ブロック当たりの読み出し信号数>
制御部34は、表示用画像81のために画像データを読み出す撮像素子32aの第1撮像領域B1と、検出用画像82のために画像データを読み出す撮像素子32aの第2撮像領域B2とで、上記1ブロック当たりの読み出し信号数を異ならせることができる。例えば、撮像素子32aの第1撮像領域B1と第2撮像領域B2とで、所定の画素数当たりに読み出す画像データの密度を異ならせてもよい。
なお、ブロックを構成する画素の数が1のときは、1ブロック当たりの読み出し信号数はゼロか1である。
<Number of read signals per block>
The
When the number of pixels constituting the block is 1, the number of readout signals per block is zero or one.
一般に、カメラ1の表示部35は、撮像素子22が有する画素数に比べて表示解像度が低い。このため、制御部34は、撮像素子32aの第1撮像領域B1に含まれる全画素よりも少ない数の画素から画像データを読み出す。制御部34は、例えば、第1撮像領域B1において2画素おき、あるいは4画素おきで間引き読み出しするなどして、表示部35の表示解像度に対応させた数の画像データを第1撮像領域B1から読み出す。
In general, the
なお、制御部34は、単に間引き読み出しを行うのではなく、第1撮像領域B1に含まれる画素のうちの所定数の画素のデータを足し合わせて1つの画素信号として扱う画素加算処理を行うことによって、第1撮像領域B1に含まれる画素の数より少ない数のデータを読み出してもよい。画素加算処理は、例えば、信号処理チップ112またはメモリチップ113に設けた演算回路415によって行う。
Note that the
一方、被写体要素の検出、焦点検出、および露出演算に用いる検出用画像82は、撮像素子22によって得られた情報をできるだけ参照できることが望ましい。このために制御部34は、例えば、撮像素子32aの第2撮像領域B2に含まれる全ての画素から画像データを読み出す。
なお、全画素からの読み出しが必要でない場合には、第2撮像領域B2に含まれる全画素よりも少ない数の画素から画像データを読み出してもよい。
On the other hand, it is desirable that the
Note that when reading from all pixels is not necessary, image data may be read from a smaller number of pixels than all the pixels included in the second imaging region B2.
制御部34は、以上説明したように、1フレームの撮像を行った撮像素子32aから読み出した画像データによって、表示用画像81および検出用画像82をそれぞれ生成する。図7(a)、図7(b)によると、表示用画像81および検出用画像82は同じ画角で撮像され、共通の被写体の像を含む。表示用画像81の取得と検出用画像82の取得は、並行して行うことができる。
As described above, the
<第1撮像領域および第2撮像領域の他の分割例>
なお、撮像領域における第1撮像領域B1および第2撮像領域B2を市松模様状に分割する代わりに、図6(b)または図6(c)のように分割してもよい。図6(b)の例によれば、第1撮像領域B1は、ブロックの偶数列によって構成される。また、第2撮像領域B2は、ブロックの奇数列によって構成される。また、図6(c)の例によれば、第1撮像領域B1は、ブロックの奇数行によって構成される。また、第2撮像領域B2は、ブロックの偶数行によって構成される。
<Another example of division of the first imaging area and the second imaging area>
Note that the first imaging area B1 and the second imaging area B2 in the imaging area may be divided as shown in FIG. 6B or FIG. According to the example of FIG. 6B, the first imaging region B1 is configured by even columns of blocks. Further, the second imaging region B2 is configured by an odd number of blocks. Further, according to the example of FIG. 6C, the first imaging region B1 is configured by odd-numbered rows of blocks. Further, the second imaging region B2 is configured by even rows of blocks.
図6(b)、図6(c)のいずれの場合も、制御部34は、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された画像データに基づいて、表示用画像81を生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された画像データに基づいて、検出用画像82を生成する。
In both cases of FIG. 6B and FIG. 6C, the
なお、上記の表示用画像81を、ライブビュー表示以外の用途として焦点検出処理等に用いてもよい。また、ライブビュー画像を表示部35に表示させる代わりに、カメラ1の外部にあるモニタへカメラ1からライブビュー画像を送信し、外部のモニタにライブビュー画像を表示させてもよい。
Note that the
本実施の形態において、表示用画像81を撮像する第1撮像領域B1に設定する撮像条件を第1撮像条件と呼び、検出用画像82を撮像する第2撮像領域B2に設定する撮像条件を第2撮像条件と呼ぶことにする。制御部34は、第1撮像条件と第2撮像条件とを同じ条件に設定してもよく、異なる条件に設定してもよい。
In the present embodiment, the imaging condition set in the first imaging area B1 for capturing the
一例をあげると、制御部34は、第1撮像領域B1に設定する第1撮像条件を、表示部35のライブビュー表示に適した条件に設定する。このとき、撮像画面の第1撮像領域B1の全体で一様に同じ第1撮像条件を設定する。一方、制御部34は、第2撮像領域B2に設定する第2撮像条件を、上記検出等に適した条件に設定する。第2撮像条件として設定する条件は、撮像画面の第2撮像領域B2の全体で一様に同じ第2撮像条件を設定してもよいし、第2撮像領域B2のうちの領域ごとに異なる第2撮像条件を設定してもよい。
As an example, the
制御部34は、例えば、被写体要素の検出、焦点検出、および露出演算処理に適した条件がそれぞれ異なる場合は、第2撮像領域B2に設定する第2撮像条件を、第2撮像領域B2のうちの領域ごとに、被写体要素の検出に適した条件、焦点検出処理に適した条件、および露出演算処理に適した条件をそれぞれ設定する。
For example, when the conditions suitable for subject element detection, focus detection, and exposure calculation processing are different, the
また、制御部34は、第2撮像領域B2に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、1フレーム目に第2撮像領域B2に設定する第2撮像条件を被写体要素の検出に適した条件とし、2フレーム目に第2撮像領域B2に設定する第2撮像条件を焦点検出処理に適した条件とし、3フレーム目に第2撮像領域B2に設定する第2撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける撮像画面の第2撮像領域B2の全体で一様に同じ第2撮像条件を設定してもよいし、領域ごとに異なる第2撮像条件を設定してもよい。
Further, the
<第1撮像領域と第2撮像領域の面積比>
さらにまた、図6(a)〜図6(c)において、第1撮像領域B1と第2撮像領域B2との面積比を異ならせてもよい。制御部34は、例えば、ユーザによる操作または制御部34の判断に基づき、撮像画面で第1撮像領域B1が占める比率を第2撮像領域B2が占める比率よりも高く設定したり、撮像画面で第1撮像領域B1と第2撮像領域B2とが占める比率を図6(a)〜図6(c)に例示したように同等に設定したり、撮像画面で第1撮像領域B1が占める比率を第2撮像領域B2が占める比率よりも低く設定したりする。
<Area ratio between first imaging region and second imaging region>
Furthermore, in FIG. 6A to FIG. 6C, the area ratio between the first imaging region B1 and the second imaging region B2 may be different. For example, the
<第1撮像領域と第2撮像領域の稼働率>
また、制御部34は、第1撮像領域B1に含まれるブロックの稼働率と第2撮像領域B2に含まれるブロックの稼働率とを、それぞれ設定することができる。例えば、第1撮像領域B1に含まれるブロックの稼働率と第2撮像領域B2に含まれるブロックの稼働率をともに100%に設定する場合、図6(a)〜図6(c)に例示した第1撮像領域B1に含まれる全ブロックで撮像を行うとともに、第2撮像領域B2に含まれる全ブロックで撮像を行う。
<Occupancy rate of first imaging area and second imaging area>
Moreover, the
これに対して、例えば、第1撮像領域B1と第2撮像領域B2とに含まれるブロックの稼働率をそれぞれ50%と100%とに設定する場合、図6(a)〜図6(c)に例示した第1撮像領域B1に含まれるブロックの半数で撮像を行うとともに、第2撮像領域B2に含まれる全ブロックで撮像を行う。第1撮像領域B1に含まれるブロックの半数で撮像を行う場合、例えば、1ブロックおきに駆動するなどして、半数のブロックを駆動して、残り半数のブロックの駆動を休止させる。 On the other hand, for example, when the operating rates of the blocks included in the first imaging area B1 and the second imaging area B2 are set to 50% and 100%, respectively, FIG. 6 (a) to FIG. 6 (c). In addition to performing imaging with half of the blocks included in the first imaging area B1 illustrated in FIG. 5, imaging is performed with all blocks included in the second imaging area B2. When imaging is performed with half of the blocks included in the first imaging area B1, for example, driving every other block is performed to drive half of the blocks and stop driving the remaining half of the blocks.
図8(a)は、撮像画面の全域において、第1撮像領域B1に含まれるブロックと第2撮像領域B2に含まれるブロックとで同じ稼働率を設定する例を示す図である。斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 8A is a diagram illustrating an example in which the same operation rate is set for the blocks included in the first imaging region B1 and the blocks included in the second imaging region B2 in the entire imaging screen. The hatched
例えば、ライブビュー画像の取得を開始して1フレーム目の撮像時、制御部34は、撮像画面のどこに被写体が存在するのかが不明なので、被写体検出に用いる検出用画像82を得るために、第2撮像領域B2に含まれるブロックの稼働率を撮像画面の全域で100%に設定する。このとき、制御部34が第1撮像領域B1に含まれるブロックの稼働率を撮像画面の全域で50%に設定している場合には、第2撮像領域B2に含まれるブロックの稼働率が、第1撮像領域B1に含まれるブロックの稼働率よりも高くなる。これにより、撮像画面の全域で、相対的に、第2撮像領域B2からのデータ(信号)を第1撮像領域B1からのデータ(信号)よりも数多く得ることができる。
For example, at the time of capturing the first frame after starting the acquisition of the live view image, the
図8(b)は、撮像画面の領域ごとに、第1撮像領域B1に含まれるブロックの稼働率と第2撮像領域B2に含まれるブロックの稼働率とを設定する例を示す図である。白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。また、斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 8B is a diagram illustrating an example of setting the operating rate of the blocks included in the first imaging area B1 and the operating rate of the blocks included in the second imaging area B2 for each area of the imaging screen. The
例えば、ライブビュー画像の取得を開始して2フレーム目以降の撮像時において、既に物体検出部34aによって主要被写体としての人物Tが検出されている場合に、制御部34は、人物Tを含む領域91の第2撮像領域B2に含まれるブロックの稼働率を40%に設定する。人物Tが検出されている領域91の第2撮像領域B2に含まれるブロックの稼働率を下げた理由は、1フレーム目の場合よりも第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が低いという考え方に基づく。このとき、制御部34が領域91に対して第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、領域91の第1撮像領域B1に含まれるブロックの稼働率が、領域91の第2撮像領域B2に含まれるブロックの稼働率よりも高くなる。これにより、領域91については、相対的に、第1撮像領域B1からのデータ(信号)を第2撮像領域B2からのデータ(信号)よりも数多く得ることができる。
For example, when the person T as the main subject has already been detected by the
また、制御部34は、撮像画面の左右の領域92に対しては、撮像画面の外に存在する被写体が撮像画面内に移動してくる場合に備えた設定を行う。具体的には、撮像画面の左右の領域92において撮影画面の中へ移動する被写体を精度よく検出する検出用画像82を得るために、領域92の第2撮像領域B2に含まれるブロックの稼働率を100%に設定する。このとき、制御部34が撮像画面の左右の領域92に対して第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、領域92の第2撮像領域B2に含まれるブロックの稼働率が、領域92の第1撮像領域B1に含まれるブロックの稼働率よりも高くなる。これにより、領域92については、相対的に、第2撮像領域B2からのデータ(信号)を第1撮像領域B1からのデータ(信号)よりも数多く得ることができる。
In addition, the
図8(c)は、主要被写体が撮像画面内を移動する例を示す図である。斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 8C illustrates an example in which the main subject moves within the imaging screen. The hatched
例えば、ライブビュー画像の取得を開始して2フレーム目以降の撮像時において、既に物体検出部34aによって移動するボールTが検出されている場合に、制御部34は、ボールTを含む領域92の第2撮像領域B2に含まれるブロックの稼働率を100%に設定する。移動するボールTを含む領域92の第2撮像領域B2に含まれるブロックの稼働率を下げない理由は、ボールTを追尾するために第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が高いという考え方に基づく。
For example, when a moving ball T has already been detected by the
制御部34はさらに、撮像画面の右から左へ移動するボールTの移動先方向(本例ではボールの左方向)に広げた領域92を設定する。ボールTの移動方向に広い面積の領域92を設定するのは、移動するボールTが領域92から外れにくくするためである。このとき、制御部34が領域92の第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、領域92の第2撮像領域B2に含まれるブロックの稼働率が、領域92の第1撮像領域B1に含まれるブロックの稼働率よりも高くなる。これにより、領域92については、相対的に、第2撮像領域B2からのデータ(信号)を第1撮像領域B1からのデータ(信号)よりも数多く得ることができる。
The
また、制御部34は、領域92以外の背景領域91に対しては、第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が領域92よりも低いという考え方に基づき、背景領域91の第2撮像領域B2に含まれるブロックの稼働率を40%に設定する。このとき、制御部34が背景領域91に対して第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、背景領域91の第1撮像領域B1に含まれるブロックの稼働率が、背景領域91の第2撮像領域B2に含まれるブロックの稼働率よりも高くなる。これにより、領域91については、相対的に、第1撮像領域B1からのデータ(信号)を第2撮像領域B2からのデータ(信号)よりも数多く得ることができる。
Further, the
上記の説明では、1フレーム目と2フレーム目以降とで、第2撮像領域B2に含まれるブロックの稼働率を第1撮像領域B1に含まれるブロックの稼働率よりも高くする領域92と、第1撮像領域B1に含まれるブロックの稼働率を第2撮像領域B2に含まれるブロックの稼働率よりも高くする領域91の設定を変更する例を説明した。被写体の移動は、前後するフレームの検出用画像82に基づいて検出することができるので、移動する被写体を検出した場合は、フレームごとに上記領域92と上記領域91の設定を見直すようにしてよい。
また、フレームごとに上記領域92と上記領域91の設定を見直すことに代えて、ライブビュー画像(動画像)の撮像を開始してからの時間の経過とともに、上記領域92と上記領域91の設定を見直すようにしてもよい。
In the above description, in the first frame and the second and subsequent frames, the
In addition, instead of reviewing the settings of the
図8(d)は、主要被写体が奥行き方向(例えば自動車Tがカメラ1に近づく)に移動する例を示す図である。斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 8D is a diagram illustrating an example in which the main subject moves in the depth direction (for example, the automobile T approaches the camera 1). The hatched
制御部34は、例えば、レンズ移動制御部34dによる焦点調節結果を用いることにより、カメラ1から自動車Tまでの距離を検出する。一般に、カメラ1から自動車Tまでの距離は、焦点調節後のフォーカスレンズの位置に対応するので、自動車Tにピントが合うフォーカスレンズの位置が決まれば、その位置に対応するカメラ1から自動車Tまでの距離を求めることができる。すなわち、撮像光学系31の設計データに基づく距離情報(ルックアップテーブルでも関数でもよい)をフォーカスレンズの位置ごとに用意し、予め制御部34内の不揮発性メモリ(不図示)に格納しておくことで、フォーカスレンズの位置に対応する、自動車Tまでの距離が得られる。
なお、焦点距離が可変のズームレンズの場合は、焦点距離ごとに距離情報を用意し、制御部34の不揮発性メモリ格納しておいてもよい。
For example, the
In the case of a zoom lens having a variable focal length, distance information may be prepared for each focal length and stored in the nonvolatile memory of the
制御部34は、例えば、異なるフレームの検出用画像82に基づいてレンズ移動制御部34dがそれぞれ求めた自動車Tの距離(カメラ1から自動車Tまでの距離)の差を、ライブビュー画像のフレーム間の撮像開始時刻の差で除算することにより、自動車Tの移動速度を算出する。制御部34は、自動車Tを含む領域92において移動する自動車Tを精度よく検出する検出用画像82を得るために、領域92の第2撮像領域B2に含まれるブロックの稼働率を100%に設定する。
For example, the
制御部34はさらに、カメラ1に近づく自動車Tの移動速度が速いほど、自動車Tを含む領域92の面積を広く設定する。制御部34が自動車Tの移動速度が速いほど広い面積の領域92を設定するのは、近づく自動車Tが領域92からはみ出しにくくするためである。このとき、制御部34が領域92の第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、領域92の第2撮像領域B2に含まれるブロックの稼働率が、領域92の第1撮像領域B1に含まれるブロックの稼働率よりも高くなる。これにより、領域92については、相対的に、第2撮像領域B2からのデータ(信号)を第1撮像領域B1からのデータ(信号)よりも数多く得ることができる。
The
また、制御部34は、領域92以外の背景領域91に対しては、第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が領域92よりも低いという考え方に基づき、背景領域91の第2撮像領域B2に含まれるブロックの稼働率を40%に設定する。このとき、制御部34が背景領域91に対して第1撮像領域B1に含まれるブロックの稼働率を50%に設定している場合には、背景領域91の第1撮像領域B1に含まれるブロックの稼働率が、背景領域91の第2撮像領域B2に含まれるブロックの稼働率よりも高くなる。これにより、領域91については、相対的に、第1撮像領域B1からのデータ(信号)を第2撮像領域B2からのデータ(信号)よりも数多く得ることができる。
Further, the
<被写体の例示>
図9は、カメラ1の撮像画面における被写体領域を例示する図である。図9において、被写体領域には、人物61と、自動車62と、バッグ63と、山64と、雲65、雲66とが含まれている。人物61は、バッグ63を両手で抱えている。人物61の右後方に、自動車62が止まっている。第1撮像領域B1および第2撮像領域B2を図6(a)、図6(b)または図6(c)のように定めると、第1撮像領域B1から読み出した画像データによって図7(a)のような表示用画像81が得られる。また、第2撮像領域B2から読み出した画像データによって図7(b)のような検出用画像82が得られる。
<Example of subject>
FIG. 9 is a diagram illustrating a subject area on the imaging screen of the
被写体に対応させて、撮像素子32aのブロックに異なる撮像条件を設定する一例として、各被写体領域に対応するブロックごとに撮像条件を設定することができる。例えば、人物61の領域に含まれるブロックと、自動車62に含まれるブロックと、バッグ63に含まれるブロックと、山64に含まれるブロックと、雲65に含まれるブロックと、雲66に含まれるブロックとに対し、それぞれ撮像条件を設定する。これら各ブロックに対して適切に撮像条件を設定するためには、上述した検出用画像82を適切な露出条件で撮像し、白とびや黒つぶれがない画像が得られていることが必要である。白飛びは、オーバー露光によって画像の高輝度部分のデータの階調が失われるこという。また、黒潰れは、アンダー露光によって画像の低輝度部分のデータの階調が失われることをいう。
白とびや黒つぶれが生じた検出用画像82では、例えば個々の被写体領域の輪郭(エッジ)が現れず、検出用画像82に基づいて被写体要素を検出することが困難になるからである。
As an example of setting different imaging conditions for the blocks of the
This is because in the
<第2撮像領域に設定する撮像条件>
そこで、本実施の形態では、撮像素子32aの第2撮像領域B2に対し、検出用画像82を取得するための第2撮像条件を適切に設定することにより、検出用画像82に基づく被写体検出処理、焦点検出処理、および露出演算処理を適切に行えるようにする。本実施の形態では、第2撮像条件を以下のように設定する。
<Imaging conditions set in the second imaging area>
Therefore, in the present embodiment, subject detection processing based on the
仮に、検出用画像82が暗い画像であると仮定すると、撮像画面内のエッジや色差等が抽出しづらくなり、被写体を検出しづらくなる。これに対し、検出用画像82が、白飛びや黒つぶれがない適切な明るさで得られていると、画面内のエッジや色差等が抽出しやすくなり、被写体検出や被写体認識の精度の向上を期待できる。制御部34は、例えば、検出用画像82を得るための第2撮像条件としての第2ゲインを、表示用画像81を得るための第1撮像条件としての第1ゲインに比べて高くする。表示用画像81の第1ゲインに比べて高い第2ゲインを検出用画像82のために設定するので、表示用画像81が暗い画像である場合でも、物体検出部34aは、明るい検出用画像82に基づいて正確に被写体検出を行うことが可能になる。被写体検出を正確に行うことができると、画像を被写体ごとに適切に分割することができる。
If it is assumed that the
なお、上述した例は、ライブビュー表示用の表示用画像81を撮像する場合であるが、ライブビュー表示しながら動画撮像する場合も含む。すなわち、ライブビュー表示している画像を動画像として記録する場合も含む概念である。
In addition, although the example mentioned above is a case where the
<検出用画像に基づく被写体要素の検出>
例えば、カメラ1のメインスイッチがオン操作されると、制御部34は、撮像素子32aに第1撮像領域B1および第2撮像領域B2をセットする。上述したように、第1撮像領域B1は、ライブビュー表示用の表示用画像81を撮像する領域である。また、第2撮像領域B2は、検出用の検出用画像82を撮像する領域である。
<Detection of subject element based on detection image>
For example, when the main switch of the
次に、制御部34は、撮像素子32aの第1撮像領域B1にライブビュー表示用の第1ゲインを設定するとともに、撮像素子32aの第2撮像領域B2に上記第1ゲインよりも高い第2ゲインを設定する。ゲイン設定を行った制御部34は、撮像素子32aの第2撮像領域B2で検出用画像82のための撮像を行わせ、撮像素子32aの第2撮像領域B2から読み出した画像データに基づき検出用画像82を生成する。制御部34は、物体検出部34aによって、検出用画像82に基づいて被写体要素を検出させる。設定部34bは、物体検出部34aによって検出された被写体要素に基づき、撮像部32で取得された画像(例えば表示用画像81)を分割する。
Next, the
<領域ごとの撮像条件の設定>
図9を参照して説明すると、撮像部32で取得された画像は、例えば人物61の領域と、自動車62の領域と、バッグ63の領域と、山64の領域と、雲65の領域と、雲66の領域と、その他の領域とに分割される。制御部34は、物体検出部34aによって被写体検出処理が行われ、設定部34bによって画像を自動で分割すると、図10に例示するような設定画面を表示部35に表示させる。図10において、表示用画像81に基づくライブビュー画像60aが表示部35に表示され、ライブビュー画像60aの右側に撮像条件の設定画面70が表示される。
<Setting imaging conditions for each area>
Referring to FIG. 9, the image acquired by the
設定画面70には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード(TV)、ゲイン(ISO感度)が挙げられている。フレームレートは、1秒間に取得するライブビュー画像やカメラ1により録画される動画像のフレーム数である。シャッタースピードは露光時間に対応する。ゲインはISO感度に対応する。撮像条件の設定項目は、図10に例示した他にも適宜加えて構わない。全ての設定項目が設定画面70の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
The
本実施の形態において、制御部34は、設定部34bによって分割された領域のうち、ユーザ操作によって選択された領域を撮像条件の設定(変更)の対象にすることができる。例えば、タッチ操作が可能なカメラ1において、ユーザは、ライブビュー画像60aが表示されている表示部35の表示面上で、撮像条件を設定(変更)したい被写体の表示位置をタッチ操作する。制御部34は、例えば人物61の表示位置がタッチ操作された場合に、ライブビュー画像60aにおいて人物61に対応する領域を撮像条件の設定(変更)対象領域にするとともに、人物61に対応する領域の輪郭を強調して表示させる。
In the present embodiment, the
図10において、輪郭を強調して表示する領域は、撮像条件の設定(変更)の対象となる領域を示す。強調した表示とは、例えば、太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等である。図10の例では、人物61に対応する領域の輪郭を強調したライブビュー画像60aが表示されているものとする。この場合は、強調表示されている領域が、撮像条件の設定(変更)の対象である。例えば、タッチ操作が可能なカメラ1において、ユーザによってシャッタースピード(TV)の表示71がタッチ操作されると、制御部34は、強調して表示されている領域(人物61)に対するシャッタースピードの現設定値を画面内に表示させる(符号68)。
以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。
In FIG. 10, an area to be displayed with an emphasized outline represents an area that is a target for setting (changing) imaging conditions. The highlighted display is, for example, a thick display, a bright display, a display with a different color, a broken line display, a blinking display, or the like. In the example of FIG. 10, it is assumed that a
In the following description, the
シャッタースピード(TV)の上アイコン71aまたは下アイコン71bがユーザによってタッチ操作されると、設定部34bは、シャッタースピードの表示68を現設定値から上記タッチ操作に応じて増減させるとともに、強調して表示されている領域(人物61)に対応する撮像素子32aの単位領域131(図3)の撮像条件を、上記タッチ操作に応じて変更するように撮像部32(図1)へ指示を送る。決定アイコン72は、設定された撮像条件を確定させるための操作アイコンである。設定部34bは、フレームレートやゲイン(ISO)の設定(変更)についても、シャッタースピード(TV)の設定(変更)の場合と同様に行う。
When the upper icon 71a or the
なお、設定部34bは、ユーザの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部34bは、ユーザの操作に基づかずに、制御部34の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、制御部34の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域(人物61以外の他の領域)については、設定されている撮像条件が維持される。
Although the
For the area that is not highlighted (area other than the person 61), the set imaging conditions are maintained.
制御部34は、撮像条件の設定(変更)の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部34は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部34は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
Instead of highlighting the outline of the area for which the imaging condition is set (changed), the
制御部34は、操作部材36を構成するレリーズボタン36B、または撮像開始を指示する表示(例えば図10のレリーズアイコン74)が操作されると、撮像部32を制御することによって撮像素子32aの第1撮像領域B1および第2撮像領域B2の設定を解除し、例えば、撮像面の画素領域の全画素を用いて撮像を行わせる(本撮像)。本撮像の撮像条件は、上記の分割された領域ごと(人物61、自動車62、バッグ63、山64、雲65、雲66)に異なる撮像条件を適用することもできる。そして、画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。画像処理は、上記の分割された領域ごとに異なる画像処理条件で行うこともできる。
なお、レリーズボタン36Bまたはレリーズアイコン74が操作された場合に、撮像面の画素領域の全画素を用いて撮像を行わせる本撮像以外の撮像を行ってもよい。例えば、撮像素子32aの第1撮像領域B1のみで撮像を行ったり、撮像素子32aの第2撮像領域B2のみで撮像を行ったりしてよい。また、上述したように第1撮像領域B1で動画像の撮像を行わせてもよい。
When the release button 36B constituting the
Note that when the release button 36B or the
上記画像処理部33による画像処理の後、制御部34から指示を受けた記録部37が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
After the image processing by the
<画像処理の例示>
画像処理部33(生成部33c)によって行う画像処理の一例について説明する。生成部33cは、例えば、画像データのうちの注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いる。図11は、カーネルを例示する図である。図11において、注目画素Pを中心とする注目領域90(例えば3×3画素)に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素Pr1〜Pr8とする。注目画素Pの位置が注目位置であり、注目画素Pを囲む参照画素Pr1〜Pr8の位置が参照位置である。
<Example of image processing>
An example of image processing performed by the image processing unit 33 (
(1)画素欠陥補正処理
画素欠陥補正処理は、撮像した画像に対して行う画像処理の1つである。一般に、固体撮像素子である撮像素子32aは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部33の生成部33cは、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。
(1) Pixel Defect Correction Process The pixel defect correction process is one of image processes performed on a captured image. In general, the
画像処理部33の生成部33cは、例えば、1フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素P(処理対象画素)とし、注目画素Pを中心とする注目領域90に含まれる注目画素Pの周囲の画素を参照画素Pr1〜Pr8とする。
The
画像処理部33の生成部33cは、参照画素Pr1〜Pr8における画像データの最大値、最小値を算出し、注目画素Pから出力された画像データがこれら最大値または最小値を超えるときは注目画素Pから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
The
本実施の形態において、画像処理部33の生成部33cは、上述したMax,Minフィルタ処理を検出用画像82の画像データに対して行うことができる。これにより、検出用画像82に基づく被写体検出処理、焦点検出処理、および露出演算処理において画素欠陥の影響が及ぶことを防止できる。また、画像処理部33の生成部33cは、上述したMax,Minフィルタ処理を表示用画像81の画像データに対して行うことができる。これにより、表示用画像81に基づくライブビュー画像に画素欠陥の影響が及ぶことを防止できる。
In the present embodiment, the
(2)色補間処理
色補間処理は、撮像した画像に対して行う画像処理の1つである。図3に例示したように、撮像素子100の撮像チップ111は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rがベイヤー配列されている。画像処理部33の生成部33cは、各画素位置において配置されたカラーフィルタFの色成分と異なる色成分の画像データが不足するので、公知の色補間処理を行うことにより、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する。
(2) Color Interpolation Processing Color interpolation processing is one of image processing performed on a captured image. As illustrated in FIG. 3, in the
本実施の形態において、画像処理部33の生成部33cは、色補間処理を検出用画像82の画像データに対して行うことができる。これにより、色補間された検出用画像82に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことが可能になる。また、画像処理部33の生成部33cは、上述した色補間処理を表示用画像81の画像データに対して行うことができる。これにより、色補間された表示用画像81に基づき、ライブビュー画像を適切にカラー表示することができる。
In the present embodiment, the
(3)輪郭強調処理
輪郭強調処理は、撮像した画像に対して行う画像処理の1つである。画像処理部33の生成部33cは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素Prの位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。
(3) Outline Enhancement Process The outline enhancement process is one of image processes performed on a captured image. The
The kernel size may be N × M pixels.
画像処理部33の生成部33cは、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
The
本実施の形態において、画像処理部33の生成部33cは、上述した線型フィルタ処理を検出用画像82の画像データに対して行うことができる。これにより、輪郭が強調された検出用画像82に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことができる。また、画像処理部33の生成部33cは、上述した線型フィルタ処理を表示用画像81の画像データに対して行うことができる。これにより、輪郭が強調された表示用画像81に基づき、ライブビュー画像を適切に表示することができる。
なお、輪郭強調の強さは、検出用画像82の画像データに対して行う場合と、表示用画像81の画像データに対して行う場合とで異なっていてもよい。
In the present embodiment, the
Note that the strength of contour enhancement may be different between the case of performing the image data of the
(4)ノイズ低減処理
ノイズ低減処理は、撮像した画像に対して行う画像処理の1つである。画像処理部33の生成部33cは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素Prの位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。
(4) Noise reduction processing Noise reduction processing is one type of image processing performed on a captured image. The
The kernel size may be N × M pixels.
画像処理部33の生成部33cは、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
The
本実施の形態において、画像処理部33の生成部33cは、上述した線型フィルタ処理を検出用画像82の画像データに対して行うことができる。これにより、検出用画像82に基づく被写体検出処理、焦点検出処理、および露出演算処理においてノイズの影響が及ぶことを防止できる。また、画像処理部33の生成部33cは、上述した線型フィルタ処理を表示用画像81の画像データに対して行うことができる。これにより、表示用画像81に基づくライブビュー画像にノイズの影響が及ぶことを防止できる。
なお、ノイズ低減の度合いは、検出用画像82の画像データに対して行う場合と、表示用画像81の画像データに対して行う場合とで異なっていてもよい。
In the present embodiment, the
Note that the degree of noise reduction may be different between the case of performing the image data of the
<焦点検出処理の例示>
制御部34(レンズ移動制御部34d)が行う焦点検出処理の一例について説明する。制御部34のレンズ移動制御部34dは、撮像画面の所定の位置(フォーカスポイント)に対応する信号データ(画像データ)を用いて焦点検出処理を行う。本実施の形態のAF動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザーが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部34のレンズ移動制御部34d(生成部)は、撮像光学系31の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を算出する。制御部34のレンズ移動制御部34dは、デフォーカス量をゼロ(許容値以下)にする位置、すなわち合焦位置へ撮像光学系31のフォーカスレンズを移動させ、撮像光学系31の焦点を調節する。
<Example of focus detection processing>
An example of focus detection processing performed by the control unit 34 (lens
図12は、撮像素子32aの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ111のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図12の例では、15本の焦点検出画素ライン160が所定の間隔で設けられる。焦点検出画素ライン160を構成する焦点検出用画素は、焦点検出用の画像データを出力する。撮像チップ111において焦点検出画素ライン160以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、表示用画像81と検出用画像82、および本撮像時の画像データを出力する。
FIG. 12 is a diagram illustrating the position of the focus detection pixel on the imaging surface of the
図13は、図12に示すフォーカスポイント80Aに対応する上記焦点検出画素ライン160の一部の領域を拡大した図である。図13において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素S1、および焦点検出用画素S2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。
FIG. 13 is an enlarged view of a part of the focus
赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系31(図1)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。
The square area illustrated for the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B indicates a light receiving area of the imaging pixel. Each imaging pixel receives a light beam passing through the exit pupil of the imaging optical system 31 (FIG. 1). That is, the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B each have a square-shaped mask opening, and light passing through these mask openings reaches the light-receiving portion of the imaging pixel. .
In addition, the shape of the light receiving region (mask opening) of the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B is not limited to a quadrangle, and may be, for example, a circle.
焦点検出用画素S1、および焦点検出用画素S2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素S1は、図13において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S1の受光部に到達する。一方、焦点検出用画素S2は、図13において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S2の受光部に到達する。このように、焦点検出用画素S1および焦点検出用画素S2は、撮像光学系31(図1)の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。 The semicircular region exemplified for the focus detection pixel S1 and the focus detection pixel S2 indicates a light receiving region of the focus detection pixel. That is, the focus detection pixel S1 has a semicircular mask opening on the left side of the pixel position in FIG. 13, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S1. On the other hand, the focus detection pixel S2 has a semicircular mask opening on the right side of the pixel position in FIG. 13, and light passing through the mask opening reaches the light receiving portion of the focus detection pixel S2. As described above, the focus detection pixel S1 and the focus detection pixel S2 respectively receive a pair of light beams passing through different areas of the exit pupil of the imaging optical system 31 (FIG. 1).
なお、撮像チップ111における焦点検出画素ライン160の位置は、図12に例示した位置に限定されない。また、焦点検出画素ライン160の数についても、図12の例に限定されるものではない。さらに、焦点検出用画素S1および焦点検出用画素S2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。
Note that the position of the focus
また、撮像チップ111における焦点検出画素ライン160は、撮像チップ111のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものであってもよい。図13のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
Further, the focus
なお、図13の例では、焦点検出用画素S1、S2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる1PD構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる2PD構造にしてもよい。2PD構造にすることにより、焦点検出用画素で得られた光電変換信号を、表示用画像81と検出用画像82、および本撮像時の画像データとして用いることが可能になる。
In the example of FIG. 13, the configuration in which the focus detection pixels S <b> 1 and S <b> 2 each receive one of a pair of focus detection light beams, the so-called 1PD structure, has been described. Instead of this, the focus detection pixels may be configured to receive both of a pair of light beams for focus detection, that is, a so-called 2PD structure. With the 2PD structure, the photoelectric conversion signal obtained by the focus detection pixels can be used as the
制御部34のレンズ移動制御部34dは、焦点検出用画素S1および焦点検出用画素S2から出力される焦点検出用の光電変換信号に基づいて、撮像光学系31(図1)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出する。そして、像ズレ量(位相差)に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
The lens
フォーカスポイント80A(図12)は、図10に例示したライブビュー画像60aにおいて、ユーザーによって選ばれているものとする。図14は、フォーカスポイント80Aを拡大した図である。図14において枠170で囲む位置は、焦点検出画素ライン160(図12)に対応する。
It is assumed that the
本実施の形態において、制御部34のレンズ移動制御部34dは、検出用画像82のうちの枠170で示す焦点検出用画素による信号データを用いて焦点検出処理を行うことができる。例えば、ゲインを高めに設定したり、像ズレ量(位相差)の検出に適した画像処理を施したりした検出用画像82の焦点検出用画素の信号データを用いることで、焦点検出処理を適切に行うことができる。
In the present embodiment, the lens
以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合は以下のように行うことができる。
In the above description, the focus detection process using the pupil division phase difference method is exemplified. However, in the case of the contrast detection method in which the focus lens of the imaging
コントラスト検出方式を用いる場合、制御部34は、撮像光学系31のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子32aの撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
すなわち、制御部34のレンズ移動制御部34dは、検出用画像82のうちのフォーカスポイント80Aに対応する撮像用画素による信号データを用いて焦点評価値演算を行う。これにより、例えば、ゲインを高めに設定したり、像ズレ量(位相差)の検出に適した画像処理を施したりした検出用画像82の信号データを用いることで、焦点検出処理を適切に行うことができる。
When the contrast detection method is used, the
That is, the lens
<被写体検出処理>
図15(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図15(b)は、ライブビュー画像60(a)および探索範囲190を例示する図である。制御部34の物体検出部34aは、ライブビュー画像から対象物(例えば、図9の被写体要素の1つであるバッグ63)を検出する。制御部34の物体検出部34aは、対象物を検出する範囲をライブビュー画像60aの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像60aの一部を探索範囲190としてもよい。
<Subject detection processing>
FIG. 15A is a diagram illustrating a template image representing an object to be detected, and FIG. 15B is a diagram illustrating a live view image 60 (a) and a
図10に例示したライブビュー画像60aにおいて、人物61の持ち物であるバッグ63を検出する場合を説明する。制御部34の物体検出部34aは、人物61を含む領域の近傍に探索範囲190を設定する。なお、人物61を含む領域61を探索範囲に設定してもよい。
A case where the
本実施の形態において、制御部34の物体検出部34aは、検出用画像82のうちの探索範囲190を構成する画像データを用いて被写体検出処理を行うことができる。例えば、ゲインを高めに設定したり、被写体要素の検出に適した画像処理を施したりした検出用画像82の画像データを用いることで、被写体検出処理を適切に行うことができる。
In the present embodiment, the
<撮像条件を設定する処理>
制御部34の設定部34bは、例えば、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、撮像画面のうちの測光範囲を構成する画像データを用いて露出演算処理を行う。設定部34bは、露出演算結果に基づき以下のように撮像条件を設定する。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、白とびまたは黒つぶれを解消するように撮像条件を設定する。
<Processing for setting imaging conditions>
For example, when the
本実施の形態において、制御部34の設定部34bは、検出用画像82のうちの測光範囲を構成する画像データを用いて露出演算処理を行うことができる。例えば、ゲインを低めに設定した検出用画像82の画像データを用いることで、演算処理を適切に行うことができる。
In the present embodiment, the
上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光(測色)範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。 Not only the photometric range when performing the exposure calculation process described above, but also the photometric (colorimetric) range used when determining the white balance adjustment value and the necessity of emission of the auxiliary photographing light by the light source that emits the auxiliary photographing light are determined. The same applies to the photometric range performed at the time, and further to the photometric range performed at the time of determining the light emission amount of the photographing auxiliary light by the light source.
<フローチャートの説明>
図16は、領域ごとに撮像条件を設定して撮像するカメラ1の処理の流れを説明するフローチャートである。例えば、カメラ1のメインスイッチがオン操作されると、制御部34は、図16に示す処理を実行するプログラムを起動させる。ステップS10において、制御部34は、撮像素子32aに第1撮像領域B1および第2撮像領域B2をセットしてステップS20へ進む。上述したように、第1撮像領域B1は表示用画像81を撮像する領域であり、第2撮像領域B2は検出用画像82を撮像する領域である。
<Description of flowchart>
FIG. 16 is a flowchart for explaining the flow of processing of the
ステップS20において、制御部34は、表示部35にライブビュー表示を開始させるとともに、第2撮像領域B2で撮像された検出用画像82に基づいて被写体を検出する処理を物体検出部34aで開始させてステップS30へ進む。また、制御部34は初期設定として、図8(a)に示したように、撮像画面の全域で第2撮像領域B2に含まれるブロックの稼働率を第1撮像領域B1に含まれるブロックの稼働率よりも高く設定する。また、第1撮像領域B1および第2撮像領域B2に対してそれぞれ、撮像画面の全域に同じ撮像条件を設定する。
In step S20, the
ライブビュー表示の開始により、第1撮像領域B1で撮像された表示用画像81に基づくライブビュー画像が表示部35に逐次表示される。なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部34のレンズ移動制御部34dは、第2撮像領域B2で撮像された検出用画像82に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。
また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部34のレンズ移動制御部34dは、後にAF動作が指示された時点でAF動作を行う。
With the start of live view display, live view images based on the
If the setting for performing the AF operation is not performed during live view display, the lens
ステップS30において、制御部34の設定部34bは、撮像素子32aによる撮像画面を、被写体要素を含む複数の領域に分割するとともに、第1撮像領域B1および第2撮像領域B2にそれぞれ含まれるブロックの稼働率を設定してステップS40へ進む。ブロックの稼働率は、撮像画面における被写体の位置や動きにより、第2撮像領域B2に含まれるブロックの稼働率を第1撮像領域B1に含まれるブロックの稼働率よりも高く設定したり(図8の斜線に対応)、第1撮像領域B1に含まれるブロックの稼働率を第2撮像領域B2に含まれるブロックの稼働率よりも高く設定したりする(図8の白地に対応)。
In step S30, the
例えば、静止している被写体の場合(フレーム間で被写体の位置が変わらない)は、図8(b)に示したように、人物Tを含む領域91に対して、第1撮像領域B1に含まれるブロックの稼働率を第2撮像領域B2に含まれるブロックの稼働率よりも高く設定する。
また、移動している被写体の場合(フレーム間で被写体の位置、大きさが異なっている場合)は、図8(c)や図8(d)に示したように、被写体Tを含む領域92に対して、第2撮像領域B2に含まれるブロックの稼働率を第1撮像領域B1に含まれるブロックの稼働率よりも高く設定する。
For example, in the case of a stationary object (the position of the object does not change between frames), as shown in FIG. 8B, the
In the case of a moving subject (when the position and size of the subject are different between frames), as shown in FIG. 8C and FIG. On the other hand, the operating rate of the blocks included in the second imaging area B2 is set higher than the operating rate of the blocks included in the first imaging area B1.
ステップS40において、制御部34は表示部35に領域の表示を行う。制御部34は、図10に例示したように、ライブビュー画像60aのうち撮像条件の設定(変更)の対象となる領域を強調表示させる。制御部34は、強調表示する領域を、ユーザによるタッチ操作位置に基づいて決定する。また、制御部34は、撮像条件の設定画面70を表示部35に表示させてステップS50へ進む。
なお、制御部34は、ユーザの指で表示画面上の他の被写体の表示位置がタッチ操作された場合は、その被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。
In step S <b> 40, the
Note that when the display position of another subject on the display screen is touched with the user's finger, the
ステップS50において、制御部34は、AF動作が必要か否かを判定する。制御部34は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によってフォーカスポイントの位置が変更された場合、またはユーザー操作によってAF動作の実行が指示された場合に、ステップS50を肯定判定してステップS70へ進む。制御部34は、焦点調節状態が変化せず、ユーザー操作によりフォーカスポイントの位置が変更されず、ユーザー操作によってAF動作の実行も指示されない場合には、ステップS50を否定判定してステップ60へ進む。
In step S50, the
ステップS70において、制御部34は、AF動作を行わせてステップS40へ戻る。制御部34のレンズ移動制御部34dは、第2撮像領域B2で撮像された検出用画像82に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体にフォーカスを合わせるAF動作を制御する。また、ステップS40へ戻った制御部34は、AF動作後に第1撮像領域B1で撮像される表示用画像81と、第2撮像領域B2で撮像される検出用画像82とに基づき、上述した処理と同様の処理を繰り返す。
In step S70, the
ステップS60において、制御部34の設定部34bは、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定(変更)してステップS80へ進む。設定部34bは、例えば第1撮像領域B1に対する撮像条件を設定(変更)する。また、設定部34bは、第2撮像領域B2に対する撮像条件を設定(変更)してもよい。
なお、撮像条件を設定(変更)するユーザー操作が行われない場合、設定部34bは、第1撮像領域B1および第2撮像領域B2に対し、それぞれ撮像画面の全域で同じ撮像条件を設定する(領域ごとの設定(変更)を行わない)。
設定部34bは、撮像条件を設定(変更)した状態で新たに測光し直して本撮像用の撮像条件を決定する場合、第2撮像領域B2で撮像される検出用画像82に基づいて露出演算処理を行う。
In step S60, the
When the user operation for setting (changing) the imaging condition is not performed, the
The
ステップS80において、制御部34は、撮像指示の有無を判定する。制御部34は、操作部材36を構成する不図示のレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップS80を肯定判定してステップS90へ進む。制御部34は、撮像指示が行われない場合には、ステップS80を否定判定してステップS50へ戻る。
In step S80, the
ステップS90において、制御部34は、所定の撮像処理を行う。すなわち、撮像制御部34cが上記領域ごとに設定(変更)された撮像条件で本撮像するように撮像素子32aを制御してステップS100へ進む。本撮像では、撮像素子32aの第1撮像領域B1および第2撮像領域B2の設定を解除して、撮像素子32aの全てのブロック(画素)を用いることができる。
In step S90, the
ステップS100において、制御部34の撮像制御部34cは画像処理部33へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップS110へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
In step S100, the
ステップS110において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップS120へ進む。
In step S110, the
ステップS120において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、終了操作が行われた場合にステップS120を肯定判定して図16による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS120を否定判定してステップS20へ戻る。ステップS20へ戻った場合、制御部34は、上述した処理を繰り返す。
In step S120, the
以上の説明では、撮像素子32aとして積層型の撮像素子100を例示したが、撮像素子(撮像チップ111)における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。
In the above description, the
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1が搭載する撮像素子32aは、被写体を撮像し、表示のための被写体の表示用画像81(画像データとも称する)を生成する第1撮像領域B1と、被写体を撮像し、被写体に関する情報を得るための検出用画像82(輝度データとも称する)を生成する第2撮像領域B2とを備え、第1撮像領域B1から読み出されるデータ数と、第2撮像領域B2から読み出されるデータ数とが異なるようにした。これにより、撮像素子32aは、表示のための画像データを生成しながら被写体に関する情報を得るための輝度データを生成することができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出しデータ数を多くすることによって被写体に関する情報を増やせるので、被写体検出の精度を高めることができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The
(2)上記(1)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像データが間引いて読み出されるので、第2撮像領域B2から読み出すデータ数が第1撮像領域B1から読み出すデータ数よりも多くなる。この結果、第1撮像領域B1からの画像データに基づいて被写体検出を行う場合と比べて、被写体検出の精度を高めることができる。
(2) Since the
(3)上記(2)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度データが間引いて読み出され、第1撮像領域B1で生成された画像データは、第2撮像領域B2で生成された輝度データよりも数多くのデータが間引かれるようにした。これにより、第2撮像領域B2から読み出すデータ数が第1撮像領域B1から読み出すデータ数よりも多くなる。この結果、第1撮像領域B1からの画像データに基づいて被写体検出を行う場合と比べて、被写体検出の精度を高めることができる。
(3) In the
(4)上記(1)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像データを加算したデータが読み出されるので、第2撮像領域B2から読み出すデータ数が第1撮像領域B1から読み出すデータ数よりも多くなる。この結果、第1撮像領域B1からの画像データに基づいて被写体検出を行う場合と比べて、被写体検出の精度を高めることができる。
(4) Since the
(5)上記(4)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度データを加算したデータが読み出され、第1撮像領域B1で生成された画像データは、第2撮像領域B2で生成された輝度データよりも数多くのデータが加算されるようにした。これにより、第2撮像領域B2から読み出すデータ数が第1撮像領域B1から読み出すデータ数よりも多くなる。この結果、第1撮像領域B1からの画像データに基づいて被写体検出を行う場合と比べて、被写体検出の精度を高めることができる。
(5) The
(6)上記(1)から(5)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とは同じ被写体を撮像し、撮像画面の領域91、92ごとに、第1撮像領域B1で画像データを生成する画素数(ブロック)と第2撮像領域B2で輝度データを生成する画素数(ブロック)との比が設定されるようにした。これにより、例えば領域91、領域92の双方で第1撮像領域B1と第2撮像領域B2に含まれるブロックを100%稼働させる場合に比べて、消費電力や発熱を抑えることができる。
(6) The
(7)上記(6)の撮像画面の領域91は、被写体としての人物Tの位置に基づいて設定される(図8(b))ようにしたので、既に被写体を検出した領域91と、撮像画面の外から撮像画面内に移動してくる被写体を検出したい領域92とにおいて、第1撮像領域B1で画像データを生成する画素数(ブロック)と第2撮像領域B2で輝度データを生成する画素数(ブロック)との比を適切に設定することができる。
(7) Since the
(8)上記(6)または(7)の撮像画面の領域91は、被写体としてのボールTの移動により設定が変更される(図8(c))ようにしたので、ボールTの移動に合わせて第1撮像領域B1で画像データを生成する画素数(ブロック)と第2撮像領域B2で輝度データを生成する画素数(ブロック)との比を適切に変更することができる。
(8) Since the setting of the
(9)上記(6)から(8)の撮像画面の領域91は、時間の経過により設定が変更されるようにしたので、例えば時間の経過にともなって第1撮像領域B1で画像データを生成する画素数(ブロック)と第2撮像領域B2で輝度データを生成する画素数(ブロック)との比を適切に変更することができる。
(9) Since the setting of the
(10)上記(1)から(9)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とで異なる撮像条件が設定されるので、例えば、第1撮像領域B1と第2撮像領域B2とで異なるゲインをかけることによって、表示に適した画像データと、被写体に関する情報の検出に適した輝度データとを得ることができる。
(10) Since the
(11)上記(10)の撮像素子32aの第1撮像領域B1は、第2撮像領域B2から読み出された輝度データに基づいて撮像条件の設定が変更される。これにより、撮像素子32aの第1撮像領域B1から表示用画像81の画像データを出力しながら、撮像素子32aの第2撮像領域B2から出力する輝度データに基づいて、第1撮像領域B1の撮像条件が設定される。
(11) In the first imaging area B1 of the
(12)被写体検出装置を備えるカメラ1は、被写体を撮像し、表示のための被写体の表示用画像81(画像データとも称する)を生成する第1撮像領域B1と、被写体を撮像し、被写体に関する情報を得るための検出用画像82(輝度データとも称する)を生成する第2撮像領域B2と、を有する撮像部32から、第1データ数の画像データと、第1データ数と異なる第2データ数の輝度データを入力する画像処理部33、制御部34と、入力された輝度データにより、撮像部34で撮像された被写体を検出する制御部34と、を備える。これにより、カメラ1は、表示用画像81を表示しながら検出用画像82に基づいて被写体検出を行うことができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出しデータ数を多くすることによって被写体に関する情報を増やせるので、被写体検出の精度を高めることができる。
(12) The
(13)被写体検出装置を備えるカメラ1は、被写体を撮像し、表示のための被写体の表示用画像81(画像データとも称する)を生成する第1撮像領域B1と、被写体を撮像し、被写体に関する情報を得るための検出用画像82(輝度データとも称する)を生成する第2撮像領域B2と、を有する撮像部32から、第1データ数の画像データと、第1データ数と異なる第2データ数の輝度データを入力する画像処理部33、制御部34と、入力された輝度データにより、撮像部34で撮像された被写体を検出するための信号を生成する制御部34とを備える。これにより、カメラ1は、表示用画像81を表示しながら検出用画像82に基づいて被写体検出を行うことができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出しデータ数を多くすることによって被写体に関する情報を増やせるので、被写体検出の精度を高めることができる。
(13) The
(14)カメラ1が搭載する撮像素子32aは、撮像光学系31からの光を撮像し、表示のための被写体に基づく画像信号を生成する第1撮像領域B1と、撮像光学系31からの光を撮像し、光の像の調節に関する情報を得るための輝度信号を生成する第2領域とを備え、第1撮像領域B1から読み出される信号数と、第2撮像領域B2から読み出される信号数とが異なるようにした。これにより、撮像素子32aは、表示のための画像信号を生成しながら光の像の調節に関する情報を得るための輝度信号を生成することができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって光の像の調節に関する情報を増やせるので、焦点調節の精度を高めることができる。
(14) The
(15)上記(14)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像信号が間引いて読み出されるので、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて焦点検出を行う場合と比べて焦点検出精度が高まるので、適切なフォーカス合わせが可能になる。
(15) In the
(16)上記(15)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度信号が間引いて読み出され、第1撮像領域B1で生成された画像信号は、第2撮像領域B2で生成された輝度信号よりも数多くの信号が間引かれるようにした。これにより、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて焦点検出を行う場合と比べて焦点検出精度が高まるので、適切なフォーカス合わせが可能になる。
(16) In the
(17)上記(14)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像信号を加算した信号が読み出されるので、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて焦点検出を行う場合と比べて焦点検出精度が高まるので、適切なフォーカス合わせが可能になる。
(17) Since the
(18)上記(17)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度信号を加算した信号が読み出され、第1撮像領域B1で生成された画像信号は、第2撮像領域B2で生成された輝度信号よりも数多くの信号が加算されるようにした。これにより、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて焦点検出を行う場合と比べて焦点検出精度が高まるので、適切なフォーカス合わせが可能になる。
(18) The
(19)上記(14)から(18)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とは同じ被写体を撮像し、撮像画面の領域91、92ごとに、第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)の比が設定されるようにした。これにより、例えば領域91、領域92の双方で第1撮像領域B1と第2撮像領域B2に含まれるブロックを100%稼働させる場合に比べて、消費電力や発熱を抑えることができる。
(19) The
(20)上記(19)の撮像画面の領域91は、被写体としての人物Tの位置に基づいて設定される(図8(b))ようにしたので、既に被写体を検出した領域91と、撮像画面の外から撮像画面内に移動してくる被写体を検出したい領域92とにおいて、第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に設定することができる。
(20) Since the
(21)上記(19)または(20)の撮像画面の領域91は、被写体としてのボールTの移動により設定が変更される(図8(c))ようにしたので、ボールTの移動に合わせて第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に変更することができる。
(21) Since the setting of the
(22)上記(19)から(21)の撮像画面の領域91は、時間の経過により設定が変更されるようにしたので、例えば時間の経過にともなって第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に変更することができる。
(22) Since the setting of the
(23)上記(14)から(22)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とで異なる撮像条件が設定されるので、例えば、第1撮像領域B1と第2撮像領域B2とで異なるゲインをかけることによって、表示に適した画像信号と、光の像の調節に関する情報の検出に適した輝度信号とを得ることができる。
(23) Since the
(24)上記(23)の撮像素子32aの第1撮像領域B1は、第2撮像領域B2から読み出された輝度信号に基づいて撮像条件の設定が変更される。これにより、撮像素子32aの第1撮像領域B1から表示用画像81の画像信号を出力しながら、撮像素子32aの第2撮像領域B2から出力する輝度信号に基づいて、第1撮像領域B1の撮像条件が設定される。
(24) In the first imaging area B1 of the
(25)レンズ調節装置を備えるカメラ1は、撮像光学系31からの光を撮像し、表示のための被写体に基づく画像信号を生成する第1撮像領域B1と、撮像光学系31からの光を撮像し、光の像の調節に関する情報を得るための輝度信号を生成する第2撮像領域B2と、を有する撮像部32から、第1信号数の画像信号と、第1信号数と異なる第2信号数の輝度信号を入力する画像処理部33、制御部34と、入力された輝度信号により、撮像部32に入射した光の像を調節するように撮像光学系31を移動させる制御部34と、を備える。これにより、カメラ1は、画像信号に基づいて表示しながら輝度信号に基づいてフォーカス合わせを行うことができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって光の像の調節に関する情報を増やせるので、焦点調節の精度を高めることができる。
(25) The
(26)レンズ調節装置を備えるカメラ1は、撮像光学系31からの光を撮像し、表示のための被写体に基づく画像信号を生成する第1撮像領域B1と、撮像光学系31からの光を撮像し、光の像の調節に関する情報を得るための輝度信号を生成する第2撮像領域B2と、を有する撮像部32から、第1信号数の画像信号と、第1信号数と異なる第2信号数の輝度信号を入力する画像処理部33、制御部34部と、入力された輝度信号により、撮像部32に入射した光の像を撮像光学系31で調節するための信号を生成する制御部34と、を備える。これにより、カメラ1は、画像信号に基づいて表示しながら輝度信号に基づいてフォーカス合わせを行うことができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって光の像の調節に関する情報を増やせるので、焦点調節の精度を高めることができる。
(26) The
(27)カメラ1が搭載する撮像素子32aは、被写体を撮像し、表示のための被写体に基づく画像信号を生成する第1撮像領域B1と、被写体を撮像し、撮像条件の設定に関する情報を得るための輝度信号を生成する第2撮像領域B2とを備え、第1撮像領域B1から読み出される信号数と、第2撮像領域B2から読み出される信号数とが異なるようにした。これにより、撮像素子32aは、表示のための画像信号を生成しながら撮像条件の設定に関する情報を得るための輝度信号を生成することができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって撮像条件の設定に関する情報を増やせるので、例えば露出条件の設定精度を高めることができる。
(27) The
(28)上記(27)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像信号が間引いて読み出されるので、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて行う場合と比べて、例えば露出条件の設定精度を高めることができる。
(28) Since the
(29)上記(28)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度信号が間引いて読み出され、第1撮像領域B1で生成された画像信号は、第2撮像領域B2で生成された輝度信号よりも数多くの信号が間引かれるようにした。これにより、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて行う場合と比べて、例えば露出条件の設定精度を高めることができる。
(29) The
(30)上記(27)の撮像素子32aは、第1撮像領域B1の複数の画素でそれぞれ生成された画像信号を加算した信号が読み出されるので、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて行う場合と比べて、例えば露出条件の設定精度を高めることができる。
(30) Since the
(31)上記(30)の撮像素子32aは、第2撮像領域B2の複数の画素でそれぞれ生成された輝度信号を加算した信号が読み出され、第1撮像領域B1で生成された画像信号は、第2撮像領域B2で生成された輝度信号よりも数多くの信号が加算されるようにした。これにより、第2撮像領域B2から読み出す信号数が第1撮像領域B1から読み出す信号数よりも多くなる。この結果、第1撮像領域B1からの画像信号に基づいて行う場合と比べて、例えば露出条件の設定精度を高めることができる。
(31) The
(32)上記(27)から(31)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とは同じ被写体を撮像し、撮像画面の領域91、92ごとに、第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)の比が設定されるようにした。これにより、例えば領域91、領域92の双方で第1撮像領域B1と第2撮像領域B2に含まれるブロックを100%稼働させる場合に比べて、消費電力や発熱を抑えることができる。
(32) The
(33)上記(32)の撮像画面の領域91は、被写体としての人物Tの位置に基づいて設定される(図8(b))ようにしたので、既に被写体を検出した領域91と、撮像画面の外から撮像画面内に移動してくる被写体を検出したい領域92とにおいて、第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に設定することができる。
(33) Since the
(34)上記(32)または(33)の撮像画面の領域91は、被写体としてのボールTの移動により設定が変更される(図8(c))ようにしたので、ボールTの移動に合わせて第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に変更することができる。
(34) Since the setting of the
(35)上記(32)から(34)の撮像画面の領域91は、時間の経過により設定が変更されるようにしたので、例えば時間の経過にともなって第1撮像領域B1で画像信号を生成する画素数(ブロック)と第2撮像領域B2で輝度信号を生成する画素数(ブロック)との比を適切に変更することができる。
(35) Since the setting of the
(36)上記(27)から(35)の撮像素子32aは、第1撮像領域B1と第2撮像領域B2とで異なる撮像条件が設定されるので、例えば、第1撮像領域B1と第2撮像領域B2とで異なるゲインをかけることによって、表示に適した画像信号と、撮像条件の設定に関する情報の検出に適した輝度信号とを得ることができる。
(36) Since the
(37)上記(36)の撮像素子32aの第1撮像領域B1は、第2撮像領域B2から読み出された輝度信号に基づいて撮像条件の設定が変更される。これにより、撮像素子32aの第1撮像領域B1から表示用画像81の画像信号を出力しながら、撮像素子32aの第2撮像領域B2から出力する輝度信号に基づいて、第1撮像領域B1の撮像条件が設定される。
(37) In the first imaging area B1 of the
(38)カメラ1は、被写体を撮像し、表示のための被写体に基づく表示用画像81(画像信号とも称する)を生成する第1撮像領域B1と、被写体を撮像し、撮像条件の設定に関する情報を得るための検出用画像82(輝度信号とも称する)を生成する第2撮像領域B2と、を有する撮像部32から、第1信号数の画像信号と、第1信号数と異なる第2信号数の輝度信号を入力する画像処理部33、制御部34と、入力された輝度信号により、撮像部32の撮像条件を設定する制御部34と、を備える。これにより、カメラ1は、画像信号に基づいて表示しながら輝度信号に基づいて撮像条件の設定を行うことができる。また、例えば、撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって撮像条件の設定に関する情報を増やせるので、例えば露出条件の設定精度を高めることができる。
(38) The
(39)カメラ1は、被写体を撮像し、表示のための被写体に基づく表示用画像81(画像信号とも称する)を生成する第1撮像領域B1と、被写体を撮像し、撮像条件の設定に関する情報を得るための検出用画像82(輝度信号とも称する)を生成する第2撮像領域B2と、を有する撮像部32から、第1信号数の画像信号と、第1信号数と異なる第2信号数の輝度信号を入力する画像処理部33、制御部34と、入力された輝度信号により、撮像部32の撮像条件を設定するための信号を生成する制御部34と、を備える。これにより、カメラ1は、画像信号に基づいて表示しながら輝度信号に基づいて撮像条件の設定を行うことができる。また、例えば撮像素子32aの第2撮像領域B2からの読み出し信号数を多くすることによって撮像条件の設定に関する情報を増やせるので、例えば露出条件の設定精度を高めることができる。
(39) The
−−−上記実施の形態の変形例−−−
次のような変形も本発明の範囲内であり、変形例の1つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
上記実施の形態では、図8(c)を参照して、移動する被写体が一つ検出された場合における領域92と領域91について説明した。変形例1において、制御部34は、移動する被写体が複数検出された場合において領域92と領域91を以下のように設定する。
--- Modification of the above embodiment ---
The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(Modification 1)
In the above embodiment, the
図17(a)は、主要被写体TAが左方向に移動し、主要被写体TBが右方向に移動する例を示す図である。斜線の領域92A、92Bはそれぞれ、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 17A is a diagram illustrating an example in which the main subject TA moves in the left direction and the main subject TB moves in the right direction. The hatched
制御部34は、撮像画面の中央から左へ移動する人物TAの移動先方向に領域92Aを設定する。人物TAの移動方向に領域92Aを設定するのは、移動する人物TAを追尾するために、第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が高いからである。
The
同様に、制御部34は、撮像画面の中央から右へ移動する人物TBの移動先方向に領域92Bを設定する。人物TBの移動方向に領域92Bを設定するのは、移動する人物TBを追尾するために、第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が高いからである。
Similarly, the
図17(b)は、主要被写体TAが撮像画面の中央に向かって右方向に移動し、主要被写体TBが撮像画面の中央に向かって左方向に移動する例を示す図である。斜線の領域92A、領域92Bはそれぞれ、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 17B is a diagram illustrating an example in which the main subject TA moves rightward toward the center of the imaging screen, and the main subject TB moves leftward toward the center of the imaging screen. The hatched
制御部34は、移動する人物TAの移動先方向に領域92Aを設定するとともに、移動する人物TBの移動先方向に領域92Bを設定する。図17(a)の場合と同様に、移動する人物TAおよび人物TBを追尾するために、第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が高いからである。
The
図17(c)は、統合した領域92を示す図である。斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 17C is a diagram showing the integrated
制御部34は、図17(b)の主要被写体TAと主要被写体TBとの間隔が所定距離まで近づくと、領域92Aと領域92Bとを統合して一つの領域92とする。この場合の領域92は、移動する人物TAおよび人物TBの双方を追尾するために用いることができる。
When the distance between the main subject TA and the main subject TB in FIG. 17B approaches a predetermined distance, the
図17(d)は、主要被写体TAが撮像画面の左下方向に向かって移動し、主要被写体TBが撮像画面の右上方向に向かって移動する例を示す図である。斜線の領域92A、92Bはそれぞれ、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 17D is a diagram illustrating an example in which the main subject TA moves in the lower left direction of the imaging screen and the main subject TB moves in the upper right direction of the imaging screen. The hatched
制御部34は、移動する人物TAの移動先方向に領域92Aを設定するとともに、移動する人物TBの移動先方向に領域92Bを設定する。図17(a)〜図17(c)の場合と同様に、移動する人物TAおよび人物TBを追尾するために第2撮像領域B2からのデータ(信号)である検出用画像82を得る必要性が高いという考え方に基づく。仮に、人物TAが撮像画面の右上方向へ移動するように移動の向きを変更した場合、制御部34は、領域92Bに基づいて得られる第2撮像領域B2からのデータ(信号)である検出用画像82を用いて、人物TAを追尾してもよい。同様に、人物TBが撮像画面の左下方向へ移動するように移動の向きを変更した場合、制御部34は、領域92Aに基づいて得られる第2撮像領域B2からのデータ(信号)である検出用画像82を用いて、人物TBを追尾してもよい。
The
以上説明したように、複数の主要被写体が移動する場合には、それぞれの被写体に対応して上記領域92および上記領域91を設定してよい。そして、フレームごと、あるいは時間の経過とともに上記領域92と上記領域91の設定を見直してよい。
As described above, when a plurality of main subjects move, the
(変形例2)
制御部34は、領域92および領域91を図18に示すように設定してもよい。図18(a)は、主要被写体が左右方向に移動する場合の領域91および領域92の設定例を示す図である。縦帯状の複数の斜線の領域92はそれぞれ、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、縦帯状の複数の白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
(Modification 2)
The
制御部34は、主要被写体が左右方向に移動することが予めわかっている場合、または、主要被写体が左右方向に移動していることを検出した場合、図18(a)に示す領域92および領域91を設定する。複数の縦帯状の領域92を設定するのは、左右方向に移動する被写体が高い頻度で領域92で撮像されることとなり、追尾に必要な第2撮像領域B2からのデータ(信号)に移動する被写体の情報が含まれやすくなるからである。
When it is known in advance that the main subject moves in the left-right direction, or when the
図18(b)は、主要被写体が上下方向に移動する場合の領域91および領域92の設定例を示す図である。横帯状の複数の斜線の領域92はそれぞれ、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、横帯状の複数の白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 18B is a diagram illustrating a setting example of the
制御部34は、主要被写体が上下方向に移動することが予めわかっている場合、または、主要被写体が上下方向に移動していることを検出した場合、図18(b)に示す領域92および領域91を設定する。複数の横帯状の領域92を設定するのは、上下方向に移動する被写体が高い頻度で領域92で撮像されることとなり、追尾に必要な第2撮像領域B2からのデータ(信号)に移動する被写体の情報が含まれやすくなるからである。
When it is known in advance that the main subject moves in the vertical direction, or when the
図18(c)は、カメラ1を監視用途に用いる場合の領域91および領域92の設定例を示す図である。撮像画面の外縁に設けられた枠状の斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、撮像画面の中央部の白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 18C is a diagram illustrating a setting example of the
制御部34は、例えばカメラ1が監視用途に用いられる場合、撮像画面の外に存在する被写体が撮像画面内に移動してくる場合に備えた設定を行う。具体的には、撮影画面の中に入ってくる被写体を精度よく検出する検出用画像82を得るために、撮像画面の外縁に領域92を設定する。
For example, when the
図18(d)は、カメラ1を横位置に構えて横長の画像を撮像する場合の領域91および領域92の設定例を示す図である。撮像画面の左右に設けられた斜線の領域92は、第2撮像領域B2に含まれるブロックの稼働率が第1撮像領域B1に含まれるブロックの稼働率よりも高い領域であることを示す。また、撮像画面の中央部の白地の領域91は、第1撮像領域B1に含まれるブロックの稼働率が第2撮像領域B2に含まれるブロックの稼働率よりも高い領域であることを示す。
FIG. 18D is a diagram illustrating a setting example of the
制御部34は、カメラ1が横位置に構えられた場合、例えば姿勢センサによってこれを検出し、横長の撮像画面に対応する設定を行う。具体的には、撮像画面の外に存在する被写体が左右から撮像画面内に移動してくる場合に備えた設定を行う。一般に、手持ち撮影時に被写体が上から撮像画面内に落下してくる可能性は低いので、撮像画面の上下については領域92でなく領域91に含める設定を行う。
When the
(変形例3)
制御部34は、検出用画像82に基づいて高精細画像を生成してもよい。制御部34は、図19(a)に示すように、表示部35に表示用画像81に基づくライブビュー画像81Aを表示させるとともに、検出用画像82に基づく高精細画像82Aをピクチャーインピクチャー(PIP)表示させる。ユーザーがピクチャーインピクチャー表示されているウィンドウの表示位置をタッチ操作すると、制御部34は、図19(b)に示すように、高精細画像82Aを表示部35に大きく表示させるとともに、ライブビュー画像81Aをピクチャーインピクチャー表示させる。
(Modification 3)
The
上述したように、撮像素子32aの第2撮像領域B2から読み出した検出用画像82は、撮像素子32aの第1撮像領域B1から読み出した表示用画像81よりも読み出したデータ数が多い(画像データの密度が高い)ので、高精細な画像である。このため、表示部35に大きく表示させることによって高精細な画像として表示させることができる。制御部34は、図19(b)においてユーザーがピクチャーインピクチャー表示されているウィンドウの表示位置をタッチ操作すると、図19(a)に示す表示に戻す。
As described above, the
(変形例4)
上記実施形態では、制御部34の設定部34bがライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例4において、制御部34は、撮像素子32aと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。
(Modification 4)
In the embodiment described above, the
制御部34は、測光用センサからの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子32bによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。
The
制御部34はさらに、撮像素子32aの撮像面の前景領域に対応する位置に対して、図6(a)〜図6(c)に例示したように、第1撮像領域B1および第2撮像領域B2を配置する。一方、制御部34は、撮像素子32aの撮像面の背景領域に対応する位置に対して、撮像素子32aの撮像面に第1撮像領域B1のみを配置する。制御部34は、表示用画像81をライブビュー表示に用いるとともに、検出用画像82を被写体要素の検出、焦点検出、および露出演算に用いる。
Further, as illustrated in FIG. 6A to FIG. 6C, the
変形例4によれば、測光用センサからの出力信号を用いることにより、撮像素子32bによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用画像81と検出用画像82とを得ることができ、背景領域に対しては、表示用画像81のみを得ることができる。
According to the modified example 4, by using the output signal from the photometric sensor, it is possible to perform region division of the live view image acquired by the
(変形例5)
上述した説明では、カメラ1を例に説明したが、撮像素子32aを備えるスマートフォンのようにカメラ機能を備えた高機能携帯電話機、タブレット端末、ウエアラブル機器などのモバイル電子機器によって構成してもよい。
(Modification 5)
In the above description, the
以上説明した撮像光学系31は、ズームレンズやアオリレンズを含んでいてもよい。レンズ移動制御部34dは、ズームレンズを光軸方向に移動させることによって、撮像光学系31による画角を調節する。すなわち、ズームレンズの移動によって、広い範囲の被写体の像を得たり、遠くの被写体について大きな像を得たりするなど、撮像光学系31による像を調節することができる。
また、レンズ移動制御部34dは、アオリレンズを光軸に直交する方向に移動させることによって、撮像光学系31による像の歪みを調節することができる。
そして、撮像光学系31による像の状態(例えば画角の状態、または像の歪みの状態)を調節するために、上述したような前処理後の画像データを用いる方が好ましいという考え方に基づき、上述した前処理を行うとよい。
The imaging
Further, the lens
Based on the idea that it is preferable to use the preprocessed image data as described above in order to adjust the state of the image by the imaging optical system 31 (for example, the state of the angle of view or the state of distortion of the image). The pre-processing described above may be performed.
上述した実施の形態および変形例には、次のような撮像装置、撮像素子を含む。
(1)光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を有する撮像素子と、上記撮像領域のうち、第1撮像領域に配置された画素から、上記第1撮像領域の上記信号線に出力された第1画素の信号を用いて、撮像された被写体の画像を生成する生成部と、上記撮像領域のうち、上記第1撮像領域とは異なる第2撮像領域に配置された画素から、上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、被写体を検出する検出部と、を備える撮像装置。
(2)(1)のような撮像装置において、上記生成部は、上記第1撮像領域に配置された画素から間引いて上記第1撮像領域の上記信号線に出力された上記第1画素の信号を用いて、撮像された被写体の画像を生成する。
(3)(2)のような撮像装置において、上記検出部は、上記第2撮像領域に配置された画素から間引いて上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、被写体を検出する。
(4)(1)から(3)のいずれかの撮像装置において、上記検出部で検出された被写体により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する設定部を備える。
(5)(4)のような撮像装置において、上記設定部は、上記検出部で検出された被写体の移動方向により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する。
(6)(4)または(5)のような撮像装置において、上記設定部は、上記撮像領域のうち、上記検出部により検出された被写体に対して、上記被写体の移動方向側に上記被写体の移動方向とは反対方向側よりも多くの上記第2撮像領域として用いる領域を設定する。
(7)(4)から(6)のいずれかの撮像装置において、上記設定部は、撮像時間の経過により、上記撮像領域のうち、上記第2撮像領域として用いる領域の設定を変更する。
(8)(4)から(7)のいずれかの撮像装置において、上記設定部は、上記第1撮像領域を、上記第2撮像領域の撮像条件とは異なる撮像条件に設定する。
(9)(8)のような撮像装置において、上記設定部は、上記第2撮像領域から読み出された上記第2画素の信号により、上記第1撮像領域の撮像条件を設定する。
(10)光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を備え、上記撮像領域は、撮像された被写体の画像を生成するために用いられる第1画素を有する第1撮像領域と、被写体を検出するために用いられる、上記第1画素の数よりも多い第2画素を有する第2撮像領域と、を含む撮像素子。
(11)被写体を撮像する撮像領域のうち、光を電荷に変換する第1光電変換部と光を電荷に変換する第2光電変換部とが配置された第1撮像領域と、光を電荷に変換する第3光電変換部と光を電荷に変換する第4光電変換部とが配置された第2撮像領域と、を有する撮像素子と、上記第1撮像領域において、上記第1光電変換部と上記第2光電変換部とで変換された電荷により生成された第1信号を用いて、撮像された被写体の画像を生成する生成部と、上記第2撮像領域において、上記第3光電変換部で変換された電荷により生成された信号と上記第4光電変換部で変換された電荷により生成された信号とを用いて、被写体を検出する検出部と、を備える撮像装置。
The above-described embodiments and modifications include the following imaging device and imaging element.
(1) It has a plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and a signal line that is arranged for each of the imaging regions and that outputs signals generated by the pixels. An image of the imaged subject is captured using the first pixel signal output to the signal line of the first imaging area from the imaging element and the pixels arranged in the first imaging area of the imaging area. A generating unit configured to generate the first pixel output to the signal line of the second imaging region from a pixel arranged in a second imaging region different from the first imaging region out of the imaging region; An imaging apparatus comprising: a detection unit that detects a subject using signals of a second pixel that is larger than the number of second pixels.
(2) In the imaging device as in (1), the generation unit thins out the pixels arranged in the first imaging region and outputs the signal of the first pixel output to the signal line in the first imaging region. Is used to generate a captured image of the subject.
(3) In the imaging device as in (2), the detection unit thins out the pixels arranged in the second imaging region and outputs the first pixel output to the signal line in the second imaging region. A subject is detected using signals of the second pixels larger than the number.
(4) The imaging device according to any one of (1) to (3) includes a setting unit that sets an area to be used as the second imaging area among the imaging areas by the subject detected by the detection unit.
(5) In the imaging device as in (4), the setting unit sets an area to be used as the second imaging area among the imaging areas, according to the moving direction of the subject detected by the detection unit.
(6) In the imaging device as in (4) or (5), the setting unit may move the subject in the moving direction side of the subject with respect to the subject detected by the detection unit in the imaging region. More areas to be used as the second imaging area than the direction opposite to the moving direction are set.
(7) In the imaging device according to any one of (4) to (6), the setting unit changes a setting of an area used as the second imaging area in the imaging area as the imaging time elapses.
(8) In the imaging device according to any one of (4) to (7), the setting unit sets the first imaging area to an imaging condition different from the imaging condition of the second imaging area.
(9) In the imaging device as in (8), the setting unit sets the imaging condition of the first imaging area based on the signal of the second pixel read from the second imaging area.
(10) A plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and a signal line that is arranged for each of the imaging regions and that outputs signals generated by the pixels. The imaging area includes a first imaging area having a first pixel used for generating an image of the captured subject, and a second number larger than the number of the first pixels used for detecting the subject. A second imaging region having pixels;
(11) A first imaging region in which a first photoelectric conversion unit that converts light into electric charge and a second photoelectric conversion unit that converts light into electric charge are arranged, and light is converted into electric charge. An imaging device having a third photoelectric conversion unit for converting and a second imaging region in which a fourth photoelectric conversion unit for converting light into charges is disposed; and in the first imaging region, the first photoelectric conversion unit and A generation unit that generates an image of a captured subject using the first signal generated by the electric charge converted by the second photoelectric conversion unit, and the third photoelectric conversion unit in the second imaging region. An imaging apparatus comprising: a detection unit that detects a subject using a signal generated by the converted charge and a signal generated by the charge converted by the fourth photoelectric conversion unit.
また、上述した実施の形態および変形例には、次のような撮像装置、撮像素子も含む。
(1)光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を有する撮像素子と、上記撮像領域のうち、第1撮像領域に配置された画素から、上記第1撮像領域の上記信号線に出力された第1画素の信号を用いて、撮像された被写体の画像を生成する生成部と、上記撮像領域のうち、上記第1撮像領域とは異なる第2撮像領域に配置された画素から、上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、上記レンズの移動を制御する制御部と、を備える撮像装置。
(2)(1)のような撮像装置において、上記生成部は、上記第1撮像領域に配置された画素から間引いて上記第1撮像領域の上記信号線に出力された上記第1画素の信号を用いて、撮像された被写体の画像を生成する。
(3)(2)のような撮像装置において、上記制御部は、上記第2撮像領域に配置された画素から間引いて上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、上記レンズの移動を制御する。
(4)(1)から(3)のいずれかの撮像装置において、上記第2画素の信号を用いて、被写体を検出する検出部と、上記検出部で検出された被写体により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する設定部と、を備える。
(5)(4)のような撮像装置において、上記設定部は、上記検出部で検出された被写体の移動方向により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する。
(6)(4)または(5)のような撮像装置において、上記設定部は、上記撮像領域のうち、上記検出部により検出された被写体に対して、上記被写体の移動方向側に上記被写体の移動方向とは反対方向側よりも多くの上記第2撮像領域として用いる領域を設定する。
(7)(4)から(6)のいずれかの撮像装置において、上記設定部は、撮像時間の経過により、上記撮像領域のうち、上記第2撮像領域として用いる領域の設定を変更する。
(8)(4)から(7)のいずれかの撮像装置において、上記設定部は、上記第1撮像領域を、上記第2撮像領域の撮像条件とは異なる撮像条件に設定する。
(9)(8)のような撮像装置において、上記設定部は、上記第2撮像領域から読み出された上記第2画素の信号により、上記第1撮像領域の撮像条件を設定する。
(10)光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を備え、上記撮像領域は、撮像された被写体の画像を生成するために用いられる第1画素を有する第1撮像領域と、上記レンズの移動を制御するために用いられる、上記第1画素の数よりも多い第2画素を有する第2撮像領域と、を含む撮像素子。
(11)光学系の光軸方向に移動可能なレンズを介して被写体を撮像する撮像領域のうち、光を電荷に変換する第1光電変換部と光を電荷に変換する第2光電変換部とが配置された第1撮像領域と、光を電荷に変換する第3光電変換部と光を電荷に変換する第4光電変換部とが配置された第2撮像領域と、を有する撮像素子と、上記第1撮像領域において、上記第1光電変換部と上記第2光電変換部とで変換された電荷により生成された第1信号を用いて、撮像された被写体の画像を生成する生成部と、上記第2撮像領域において、上記第3光電変換部で変換された電荷により生成された信号と上記第4光電変換部で変換された電荷により生成された信号とを用いて、上記レンズの移動を制御する制御部と、を備える撮像装置。
Moreover, the following embodiments and modifications include the following imaging device and imaging element.
(1) A plurality of imaging regions in which a plurality of pixels that generate signals by charges photoelectrically converted through a lens that is movable in the optical axis direction of the optical system are arranged, and the pixels are arranged for each of the imaging regions. An image sensor that outputs a signal generated in step (1), and a first pixel output to the signal line in the first imaging region from a pixel arranged in the first imaging region among the imaging regions. The second imaging region is generated from a generation unit that generates an image of a captured subject using a signal of the pixel and pixels arranged in a second imaging region different from the first imaging region in the imaging region. And a control unit that controls movement of the lens using a signal of the second pixel that is output to the signal line and is larger than the number of the first pixels.
(2) In the imaging device as in (1), the generation unit thins out the pixels arranged in the first imaging region and outputs the signal of the first pixel output to the signal line in the first imaging region. Is used to generate a captured image of the subject.
(3) In the imaging device as in (2), the control unit thins out the pixels arranged in the second imaging region and outputs the first pixel output to the signal line in the second imaging region. The movement of the lens is controlled using signals of the second pixels larger than the number.
(4) In the imaging device according to any one of (1) to (3), a detection unit that detects a subject using the signal of the second pixel and a subject detected by the detection unit A setting unit configured to set an area to be used as the second imaging area.
(5) In the imaging device as in (4), the setting unit sets an area to be used as the second imaging area among the imaging areas, according to the moving direction of the subject detected by the detection unit.
(6) In the imaging device as in (4) or (5), the setting unit may move the subject in the moving direction side of the subject with respect to the subject detected by the detection unit in the imaging region. More areas to be used as the second imaging area than the direction opposite to the moving direction are set.
(7) In the imaging device according to any one of (4) to (6), the setting unit changes a setting of an area used as the second imaging area in the imaging area as the imaging time elapses.
(8) In the imaging device according to any one of (4) to (7), the setting unit sets the first imaging area to an imaging condition different from the imaging condition of the second imaging area.
(9) In the imaging device as in (8), the setting unit sets the imaging condition of the first imaging area based on the signal of the second pixel read from the second imaging area.
(10) A plurality of imaging regions in which a plurality of pixels that generate signals by charges photoelectrically converted through a lens that is movable in the optical axis direction of the optical system are arranged, and the pixels are arranged for each of the imaging regions. And a signal line for outputting the signal generated in step (b), wherein the imaging region controls a movement of the lens and a first imaging region having a first pixel used for generating a captured image of the subject. And a second imaging region having a second pixel that is larger than the number of the first pixels.
(11) A first photoelectric conversion unit that converts light into electric charge and a second photoelectric conversion unit that converts light into electric charge in an imaging region for imaging an object via a lens movable in the optical axis direction of the optical system An imaging device having a first imaging region in which is arranged, a second photoelectric conversion unit in which a third photoelectric conversion unit that converts light into electric charge and a fourth photoelectric conversion unit that converts light into electric charge are arranged, A generating unit configured to generate an image of the imaged subject using the first signal generated by the charge converted by the first photoelectric conversion unit and the second photoelectric conversion unit in the first imaging region; In the second imaging region, the movement of the lens is performed using a signal generated by the charge converted by the third photoelectric conversion unit and a signal generated by the charge converted by the fourth photoelectric conversion unit. A control unit for controlling the imaging device.
さらにまた、上述した実施の形態および変形例には、次のような撮像装置、撮像素子も含む。
(1)光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を有する撮像素子と、上記撮像領域のうち、第1撮像領域に配置された画素から、上記第1撮像領域の上記信号線に出力された第1画素の信号を用いて、撮像された被写体の画像を生成する生成部と、上記撮像領域のうち、上記第1撮像領域とは異なる第2撮像領域に配置された画素から、上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、上記第1撮像領域の撮像条件を設定する設定部と、を備える撮像装置。
(2)(1)のような撮像装置において、上記生成部は、上記第1撮像領域に配置された画素から間引いて上記第1撮像領域の上記信号線に出力された上記第1画素の信号を用いて、撮像された被写体の画像を生成する。
(3)(2)のような撮像装置において、上記設定部は、上記第2撮像領域に配置された画素から間引いて上記第2撮像領域の上記信号線に出力された、上記第1画素の数よりも多い第2画素の信号を用いて、上記第1撮像領域の撮像条件を設定する。
(4)(1)から(3)のいずれかの撮像装置において、上記第2画素の信号を用いて、被写体を検出する検出部を備え、上記設定部は、上記検出部で検出された被写体により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する。
(5)(4)のような撮像装置において、上記設定部は、上記検出部で検出された被写体の移動方向により、上記撮像領域のうち、上記第2撮像領域として用いる領域を設定する。
(6)(4)または(5)のような撮像装置において、上記設定部は、上記撮像領域のうち、上記検出部により検出された被写体に対して、上記被写体の移動方向側に上記被写体の移動方向とは反対方向側よりも多くの上記第2撮像領域として用いる領域を設定する。
(7)(4)から(6)のいずれかの撮像装置において、上記設定部は、撮像時間の経過により、上記撮像領域のうち、上記第2撮像領域として用いる領域の設定を変更する。
(8)(1)から(7)のいずれかの撮像装置において、上記設定部は、上記第1撮像領域を、上記第2撮像領域の撮像条件とは異なる撮像条件に設定する。
(9)光電変換された電荷により信号を生成する複数の画素が配置された複数の撮像領域と、上記撮像領域ごとに配置され、上記画素で生成された信号を出力する信号線と、を備え、上記撮像領域は、撮像された被写体の画像を生成するために用いられる第1画素を有する第1撮像領域と、上記第1撮像領域の撮像条件を設定するために用いられる、上記第1画素の数よりも多い第2画素を有する第2撮像領域と、を含む撮像素子。
(10)被写体を撮像する撮像領域のうち、光を電荷に変換する第1光電変換部と光を電荷に変換する第2光電変換部とが配置された第1撮像領域と、光を電荷に変換する第3光電変換部と光を電荷に変換する第4光電変換部とが配置された第2撮像領域と、を有する撮像素子と、上記第1撮像領域において、上記第1光電変換部と上記第2光電変換部とで変換された電荷により生成された第1信号を用いて、撮像された被写体の画像を生成する生成部と、上記第2撮像領域において、上記第3光電変換部で変換された電荷により生成された信号と上記第4光電変換部で変換された電荷により生成された信号とを用いて、上記第1撮像領域の撮像条件を設定する設定部と、を備える撮像装置。
Furthermore, the above-described embodiments and modifications include the following imaging device and imaging element.
(1) It has a plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and a signal line that is arranged for each of the imaging regions and that outputs signals generated by the pixels. An image of the imaged subject is captured using the first pixel signal output to the signal line of the first imaging area from the imaging element and the pixels arranged in the first imaging area of the imaging area. A generating unit configured to generate the first pixel output to the signal line of the second imaging region from a pixel arranged in a second imaging region different from the first imaging region out of the imaging region; An imaging apparatus comprising: a setting unit configured to set an imaging condition of the first imaging region by using more second pixel signals.
(2) In the imaging device as in (1), the generation unit thins out the pixels arranged in the first imaging region and outputs the signal of the first pixel output to the signal line in the first imaging region. Is used to generate a captured image of the subject.
(3) In the imaging device as in (2), the setting unit thins out the pixels arranged in the second imaging region and outputs the first pixel output to the signal line in the second imaging region. The imaging condition of the first imaging area is set using signals of the second pixels larger than the number.
(4) The imaging device according to any one of (1) to (3), further including a detection unit that detects a subject using the signal of the second pixel, wherein the setting unit detects the subject detected by the detection unit Thus, an area to be used as the second imaging area among the imaging areas is set.
(5) In the imaging device as in (4), the setting unit sets an area to be used as the second imaging area among the imaging areas, according to the moving direction of the subject detected by the detection unit.
(6) In the imaging device as in (4) or (5), the setting unit may move the subject in the moving direction side of the subject with respect to the subject detected by the detection unit in the imaging region. More areas to be used as the second imaging area than the direction opposite to the moving direction are set.
(7) In the imaging device according to any one of (4) to (6), the setting unit changes a setting of an area used as the second imaging area in the imaging area as the imaging time elapses.
(8) In the imaging device of any one of (1) to (7), the setting unit sets the first imaging area to an imaging condition different from the imaging condition of the second imaging area.
(9) A plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged, and a signal line that is arranged for each of the imaging regions and outputs a signal generated by the pixels. The imaging area includes a first imaging area having a first pixel that is used to generate an image of a captured subject, and the first pixel that is used to set an imaging condition of the first imaging area. And a second imaging region having more second pixels than the number of the imaging elements.
(10) A first imaging region in which a first photoelectric conversion unit that converts light into electric charge and a second photoelectric conversion unit that converts light into electric charge are arranged, and the light is converted into electric charge. An imaging device having a third photoelectric conversion unit for converting and a second imaging region in which a fourth photoelectric conversion unit for converting light into charges is disposed; and in the first imaging region, the first photoelectric conversion unit and A generation unit that generates an image of a captured subject using the first signal generated by the electric charge converted by the second photoelectric conversion unit, and the third photoelectric conversion unit in the second imaging region. An imaging device comprising: a setting unit that sets an imaging condition of the first imaging region using a signal generated by the converted charge and a signal generated by the charge converted by the fourth photoelectric conversion unit .
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
1…カメラ
31…撮像光学系
32…撮像部
32a、100…撮像素子
33…画像処理部
33a…入力部
33b…補正部
33c…生成部
34…制御部
34a…物体検出部
34b…設定部
34c…撮像制御部
34d…レンズ移動制御部
35…表示部
DESCRIPTION OF
Claims (11)
前記撮像領域のうち、第1撮像領域に配置された画素から、前記第1撮像領域の前記信号線に出力された第1画素の信号を用いて、撮像された被写体の画像を生成する生成部と、
前記撮像領域のうち、前記第1撮像領域とは異なる第2撮像領域に配置された画素から、前記第2撮像領域の前記信号線に出力された、前記第1画素の数よりも多い第2画素の信号を用いて、被写体を検出する検出部と、
を備える撮像装置。 An imaging device comprising: a plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are disposed; and a signal line that is disposed in each of the imaging regions and outputs a signal generated by the pixels; ,
A generation unit that generates an image of a captured subject using a signal of the first pixel output to the signal line of the first imaging area from pixels arranged in the first imaging area of the imaging area When,
A second number larger than the number of the first pixels output from the pixels arranged in a second imaging area different from the first imaging area to the signal line in the second imaging area. A detection unit that detects a subject using a signal of a pixel;
An imaging apparatus comprising:
前記生成部は、前記第1撮像領域に配置された画素から間引いて前記第1撮像領域の前記信号線に出力された前記第1画素の信号を用いて、撮像された被写体の画像を生成する撮像装置。 The imaging device according to claim 1,
The generation unit generates an image of a captured subject using a signal of the first pixel that is thinned out from pixels arranged in the first imaging region and output to the signal line of the first imaging region. Imaging device.
前記検出部は、前記第2撮像領域に配置された画素から間引いて前記第2撮像領域の前記信号線に出力された、前記第1画素の数よりも多い第2画素の信号を用いて、被写体を検出する撮像装置。 The imaging device according to claim 2,
The detection unit uses a second pixel signal larger than the number of the first pixels, which is thinned out from the pixels arranged in the second imaging region and output to the signal line in the second imaging region, An imaging device that detects a subject.
前記検出部で検出された被写体により、前記撮像領域のうち、前記第2撮像領域として用いる領域を設定する設定部を備える撮像装置。 In the imaging device according to any one of claims 1 to 3,
An imaging apparatus comprising: a setting unit that sets an area to be used as the second imaging area in the imaging area based on the subject detected by the detection unit.
前記設定部は、前記検出部で検出された被写体の移動方向により、前記撮像領域のうち、前記第2撮像領域として用いる領域を設定する撮像装置。撮像装置。 The imaging apparatus according to claim 4,
The setting unit is an imaging device that sets an area to be used as the second imaging area among the imaging areas according to the moving direction of the subject detected by the detection unit. Imaging device.
前記設定部は、前記撮像領域のうち、前記検出部により検出された被写体に対して、前記被写体の移動方向側に前記被写体の移動方向とは反対方向側よりも多くの前記第2撮像領域として用いる領域を設定する撮像装置。 In the imaging device according to claim 4 or 5,
The setting unit includes, as the second imaging region, the number of the second imaging region in the moving direction side of the subject is larger than that in the direction opposite to the moving direction of the subject with respect to the subject detected by the detecting unit. An imaging device that sets an area to be used.
前記設定部は、撮像時間の経過により、前記撮像領域のうち、前記第2撮像領域として用いる領域の設定を変更する撮像装置。 In the imaging device according to any one of claims 4 to 6,
The said setting part is an imaging device which changes the setting of the area | region used as said 2nd imaging area among the said imaging areas with progress of imaging time.
前記設定部は、前記第1撮像領域を、前記第2撮像領域の撮像条件とは異なる撮像条件に設定する撮像装置。 In the imaging device according to any one of claims 4 to 7,
The setting unit is an imaging apparatus that sets the first imaging region to an imaging condition different from the imaging condition of the second imaging region.
前記設定部は、前記第2撮像領域から読み出された前記第2画素の信号により、前記第1撮像領域の撮像条件を設定する撮像装置。 The imaging device according to claim 8,
The imaging unit is configured to set an imaging condition of the first imaging region based on a signal of the second pixel read from the second imaging region.
前記撮像領域は、撮像された被写体の画像を生成するために用いられる第1画素を有する第1撮像領域と、被写体を検出するために用いられる、前記第1画素の数よりも多い第2画素を有する第2撮像領域と、を含む撮像素子。 A plurality of imaging regions in which a plurality of pixels that generate signals by photoelectrically converted charges are arranged; and a signal line that is arranged for each of the imaging regions and outputs a signal generated by the pixels;
The imaging area includes a first imaging area having a first pixel that is used to generate an image of a captured subject, and second pixels that are larger than the number of the first pixels that are used to detect the subject. And a second imaging region.
前記第1撮像領域において、前記第1光電変換部と前記第2光電変換部とで変換された電荷により生成された第1信号を用いて、撮像された被写体の画像を生成する生成部と、
前記第2撮像領域において、前記第3光電変換部で変換された電荷により生成された信号と前記第4光電変換部で変換された電荷により生成された信号とを用いて、被写体を検出する検出部と、
を備える撮像装置。 Of the imaging region for imaging the subject, a first imaging region in which a first photoelectric conversion unit that converts light into charges and a second photoelectric conversion unit that converts light into charges are disposed, and a first imaging region that converts light into charges. An imaging device having a second imaging region in which a third photoelectric conversion unit and a fourth photoelectric conversion unit that converts light into charges are disposed;
A generating unit configured to generate an image of the imaged subject using the first signal generated by the charge converted by the first photoelectric conversion unit and the second photoelectric conversion unit in the first imaging region;
Detection for detecting an object using the signal generated by the charge converted by the third photoelectric conversion unit and the signal generated by the charge converted by the fourth photoelectric conversion unit in the second imaging region And
An imaging apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194230A JP2018056944A (en) | 2016-09-30 | 2016-09-30 | Imaging device and imaging element |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194230A JP2018056944A (en) | 2016-09-30 | 2016-09-30 | Imaging device and imaging element |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018056944A true JP2018056944A (en) | 2018-04-05 |
Family
ID=61837135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016194230A Pending JP2018056944A (en) | 2016-09-30 | 2016-09-30 | Imaging device and imaging element |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018056944A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114258672A (en) * | 2019-08-14 | 2022-03-29 | 富士胶片株式会社 | Imaging device, method for operating imaging device, and program |
JP7444958B1 (en) | 2022-12-12 | 2024-03-06 | レノボ・シンガポール・プライベート・リミテッド | Information processing device and control method |
-
2016
- 2016-09-30 JP JP2016194230A patent/JP2018056944A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114258672A (en) * | 2019-08-14 | 2022-03-29 | 富士胶片株式会社 | Imaging device, method for operating imaging device, and program |
US11689816B2 (en) | 2019-08-14 | 2023-06-27 | Fujifilm Corporation | Imaging apparatus, operation method of imaging apparatus, and program |
CN114258672B (en) * | 2019-08-14 | 2024-05-14 | 富士胶片株式会社 | Image pickup apparatus, method of operating image pickup apparatus, and storage medium |
JP7444958B1 (en) | 2022-12-12 | 2024-03-06 | レノボ・シンガポール・プライベート・リミテッド | Information processing device and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6604384B2 (en) | Imaging device | |
WO2017057279A1 (en) | Imaging device, image processing device and display device | |
WO2017170716A1 (en) | Image pickup device, image processing device, and electronic apparatus | |
WO2017057492A1 (en) | Imaging device and image processing device | |
JP2018056944A (en) | Imaging device and imaging element | |
WO2018181612A1 (en) | Electronic device | |
JP2018160830A (en) | Imaging apparatus | |
JPWO2017170717A1 (en) | IMAGING DEVICE, FOCUS ADJUSTMENT DEVICE, AND ELECTRONIC DEVICE | |
JP2018056945A (en) | Imaging device and imaging element | |
WO2018181615A1 (en) | Electronic device | |
WO2017057494A1 (en) | Imaging device and image processing device | |
JP2018056943A (en) | Imaging device and imaging element | |
JP6589989B2 (en) | Imaging device | |
JP6551533B2 (en) | Imaging apparatus and image processing apparatus | |
JP6604385B2 (en) | Imaging device | |
JP6589988B2 (en) | Imaging device | |
WO2018181611A1 (en) | Electronic device | |
WO2018181614A1 (en) | Electronic device | |
WO2018181610A1 (en) | Electronic device | |
WO2018181613A1 (en) | Electronic device | |
WO2017057493A1 (en) | Imaging device and image processing device | |
WO2017057268A1 (en) | Imaging device and control device | |
WO2017057280A1 (en) | Imaging device and subject detection device | |
WO2017057267A1 (en) | Imaging device and focus detection device | |
JPWO2017170719A1 (en) | Imaging apparatus and electronic device |