JP2021193811A - 撮像素子、及び撮像装置 - Google Patents
撮像素子、及び撮像装置 Download PDFInfo
- Publication number
- JP2021193811A JP2021193811A JP2021145150A JP2021145150A JP2021193811A JP 2021193811 A JP2021193811 A JP 2021193811A JP 2021145150 A JP2021145150 A JP 2021145150A JP 2021145150 A JP2021145150 A JP 2021145150A JP 2021193811 A JP2021193811 A JP 2021193811A
- Authority
- JP
- Japan
- Prior art keywords
- image pickup
- unit
- pixels
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title abstract description 27
- 238000009825 accumulation Methods 0.000 claims abstract description 14
- 239000004065 semiconductor Substances 0.000 claims abstract description 10
- 239000000758 substrate Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 16
- 238000009792 diffusion process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 18
- 230000002093 peripheral effect Effects 0.000 description 43
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000007792 addition Methods 0.000 description 31
- 230000015654 memory Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004397 blinking Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 235000002673 Dioscorea communis Nutrition 0.000 description 3
- 241000544230 Dioscorea communis Species 0.000 description 3
- 208000035753 Periorbital contusion Diseases 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000002161 passivation Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 239000007790 solid phase Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
図面を参照して本発明の第1の実施形態について説明する。
きるので、主要被写体500及び特徴領域510を精度よく検出することができる。
(1)カメラ100は、複数の単位グループ231(撮像領域)を有し、単位グループ231に入射した光像に応じた画像信号を生成する撮像チップ213を有する。またカメラ100は、撮像チップ213から出力された画像信号に基づいて当該画像信号の示す画像の特徴領域510を検出する特徴領域検出部112と、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231を特徴領域用フレームレートで撮像を行うように制御し、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231以外の単位グループ231を特徴領域用フレームレートとは異なるフレームレートで撮像を行うように制御する制御部101と、を含む信号処理チップ211を有する。これにより、撮像素子200の全体の撮像領域から画像信号を読み出しても、撮像素子200の特定の撮像領域(特徴領域510に対応する光像が入射した単位グループ231)から画素信号を高速に読み出すことができ、特徴領域510の認識精度を向上することができる。また、特徴領域510以外の他の領域についてはフレームレートを低くして画像信号を取得しているので、全画素からの高速読み出しに比べて、撮像素子200の駆動や画像処理の負荷を減らし、消費電力や発熱を抑えることができる。
次に、本発明の第2の実施形態について説明する。第2の実施形態のカメラ100及び撮像素子200の構成は、第1の実施形態と同様であるため、説明を省略する。
(1)カメラ100は、主要被写体領域のデフォーカス量が大きいほど、主要被写体領域に対応する光像が入射した撮像領域(単位グループ231)を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、撮像画像の画素数を増やしても主要被写体の状態を精度よく認識できない状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
上述した実施形態において、画像処理部103は、複数の主要被写体(顔)を検出した場合には、その複数の主要被写体の中から優先する被写体(優先被写体)を1つ選択するようにしてもよい。
上述した第1の実施形態において、特徴領域に対応する特徴領域単位グループ群については、主要被写体及び周辺領域よりも高いフレームレートで撮像を行うので、その分電荷の蓄積時間が短くなり、画像信号の出力が小さくなる場合がある。そこで、画像処理部103は、特徴領域単位グループ群については、被写体単位グループ群及び周辺単位グループ群よりも、単位グループ231に含まれる画素から読み出す画素信号のゲインを大きく設定するようにしてもよい。
上述した第1の実施形態において、画像処理部103は、特徴領域単位グループ群に特徴領域用フレームレートを設定する際、撮像面における主要被写体の占める割合に応じて設定する値を変化させるようにしてもよい。撮像面における主要被写体の占める割合が大きいほど特徴領域用フレームレートの設定値を低くし、撮像面における主要被写体の占める割合が小さいほど特徴領域用フレームレートの設定値を高くする。撮像面における主要被写体の占める割合が大きい場合には、撮像画像上で主要被写体に関する情報量が多く、特徴領域の変化も検出しやすいので、特徴領域用フレームレートを下げることで消費電力を低減できる。一方、撮像面における主要被写体の占める割合が小さい場合には、撮像画像上で主要被写体に関する情報量が少なく、特徴領域の変化も検出しにくいので、特徴領域用フレームレートを上げることで、主要被写体の状態の認識精度を高くできる。
主要被写体として複数の人物の顔を検出した際、顔の数が所定値よりも多い場合には、撮像画像において一つ一つの顔に関する情報量が少なく、顔の状態を認識しにくいことが予測される。そこで、画像処理部103は、このような場合には、特徴領域についての画素の間引き率または加算数を小さい値に設定して、顔の状態の認識精度を高くするようにしてもよい。
特徴領域、主要被写体領域及び周辺領域について、上述した第1の実施形態ではフレームレートを設定し、上述した第2の実施形態では、画素の間引き率または加算数を設定する例について説明した。しかしながら、設定する撮像条件は、上述した実施形態で説明した例に限定しなくてもよい。例えば、特徴領域、主要被写体領域及び周辺領域について、画素の間引き率と加算数の両方を設定するようにしてもよい。この場合は、画素が間引かれた後、残った画素の画素信号を加算することで、さらに画素数を少なくする。また、フレームレートと画素の間引き率または加算数との両方を設定するようにしてもよい。
上述した実施形態では、静止画の自動撮影を行う自動撮影モードに本発明を適用する例について説明したが、通常の撮影モード(すなわちユーザのレリーズボタン押下により静止画を記録するモード)に本発明を適用するようにしてもよい。この場合、カメラ100は、例えば、ユーザがレリーズボタンを半押しした場合に上述した図6の処理を開始し、上述した実施形態と同様にステップS101〜S108の処理を行う。そして、カメラ100は、ユーザによりレリーズボタンが全押しされると、静止画を記録する。
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。これにより、動物の状態等の認識精度や認識速度を向上させることができる。
上述した実施形態では、複数の画素から構成される単位グループ231ごとに撮像条件を設定可能な撮像素子200を用いる例について説明したが、1つの画素ごとに個別に撮像条件を設定可能な撮像素子を用いるようにしてもよい。この場合、上述したステップS103,S203では、特徴領域、主要被写体領域及び周辺領域のそれぞれに対応する画素群を設定し、各画素群に対してフレームレートや画素の間引き率または加算数を設定すればよい。
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも2つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。
Claims (13)
- 光電変換された電荷に基づく画素信号を出力する複数の画素が行方向と列方向とに並んで配置される画素領域を有する第1半導体基板と、
前記画素領域の第1領域において前記列方向に並んで配置される複数の第1画素と、前記画素領域の、前記第1領域から前記行方向側の第2領域において前記列方向に並んで配置される複数の第2画素とで光電変換された電荷を蓄積する蓄積時間が異なるように制御する駆動部を有する第2半導体基板と、
を備える撮像素子。 - 請求項1に記載の撮像素子において、
前記第2半導体基板は、複数の前記第1画素からそれぞれ出力された第1画素信号をデジタル信号に変換する第1変換部と、複数の前記第2画素からそれぞれ出力された第2画素信号をデジタル信号に変換する第2変換部とを有する撮像素子。 - 請求項2に記載の撮像素子において、
複数の前記第1画素に接続され、前記第1画素信号が出力される第1出力線と、
複数の前記第2画素に接続され、前記第2画素信号が出力される第2出力線と、を備え、
前記第1変換部は、前記第1出力線に出力された前記第1画素信号をデジタル信号に変換し、
前記第2変換部は、前記第2出力線に出力された前記第2画素信号をデジタル信号に変換する撮像素子。 - 請求項3に記載の撮像素子において、
前記第2半導体基板は、前記第1出力線に電流を供給する第1電流源と、前記第2出力線に電流を供給する第2電流源とを有する撮像素子。 - 請求項1から請求項4のいずれか一項に記載の撮像素子において、
複数の前記第1画素に接続され、前記第1画素の前記蓄積時間を制御する第1制御信号が出力される第1制御線と、
複数の前記第2画素に接続され、前記第2画素の前記蓄積時間を制御する第2制御信号が出力される第2制御線と、を備え、
前記駆動部は、前記第1制御信号を前記第1制御線に出力し、前記第2制御信号を前記第2制御線に出力する撮像素子。 - 請求項5に記載の撮像素子において、
前記画素は、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷を転送する転送部を有し、
前記第1制御線は、複数の前記第1画素がそれぞれ有する第1転送部に接続され、
前記第2制御線は、複数の前記第2画素がそれぞれ有する第2転送部に接続される撮像素子。 - 請求項5に記載の撮像素子において、
前記画素は、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷が転送されるフローティングディフュージョンと、前記フローティングディフュージョンの電位をリセットするリセット部とを有し、
前記第1制御線は、複数の前記第1画素がそれぞれ有する第1リセット部に接続され、
前記第2制御線は、複数の前記第2画素がそれぞれ有する第2リセット部に接続される撮像素子。 - 請求項1から請求項7のいずれか一項に記載の撮像素子において、
前記第1半導体基板は、前記第2半導体基板により積層される撮像素子。 - 請求項1から請求項8のいずれか一項に記載の撮像素子を備える撮像装置。
- 請求項9に記載の撮像装置において、
前記撮像素子に接続される画像処理部を備える撮像装置。 - 請求項10に記載の撮像装置において、
前記画像処理部は、前記撮像素子で撮像された被写体から特定被写体を検出する検出部を有する撮像装置。 - 請求項11に記載の撮像装置において、
前記検出部は、前記撮像素子で撮像された被写体から人物と推定される被写体を前記特定被写体として検出する撮像装置。 - 請求項11に記載の撮像装置において、
前記検出部は、前記撮像素子で撮像された被写体から人物の目又は人物の口と推定される被写体を前記特定被写体として検出する撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145150A JP2021193811A (ja) | 2020-01-23 | 2021-09-07 | 撮像素子、及び撮像装置 |
JP2023117144A JP2023133378A (ja) | 2020-01-23 | 2023-07-18 | 撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020009351A JP2020074596A (ja) | 2020-01-23 | 2020-01-23 | 撮像装置 |
JP2021145150A JP2021193811A (ja) | 2020-01-23 | 2021-09-07 | 撮像素子、及び撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009351A Division JP2020074596A (ja) | 2020-01-23 | 2020-01-23 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117144A Division JP2023133378A (ja) | 2020-01-23 | 2023-07-18 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021193811A true JP2021193811A (ja) | 2021-12-23 |
Family
ID=70610324
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009351A Pending JP2020074596A (ja) | 2020-01-23 | 2020-01-23 | 撮像装置 |
JP2021145150A Pending JP2021193811A (ja) | 2020-01-23 | 2021-09-07 | 撮像素子、及び撮像装置 |
JP2023117144A Pending JP2023133378A (ja) | 2020-01-23 | 2023-07-18 | 撮像装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009351A Pending JP2020074596A (ja) | 2020-01-23 | 2020-01-23 | 撮像装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117144A Pending JP2023133378A (ja) | 2020-01-23 | 2023-07-18 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2020074596A (ja) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177759A (ja) * | 1999-12-16 | 2001-06-29 | Casio Comput Co Ltd | 撮像装置及び撮像方法 |
JP2006049361A (ja) * | 2004-07-30 | 2006-02-16 | Sony Corp | 半導体モジュール及びmos型固体撮像装置 |
JP2006157862A (ja) * | 2004-11-08 | 2006-06-15 | Matsushita Electric Ind Co Ltd | Mos型撮像素子および撮像装置 |
JP2006270292A (ja) * | 2005-03-23 | 2006-10-05 | Sony Corp | 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置 |
JP2009164767A (ja) * | 2007-12-28 | 2009-07-23 | Hitachi Ltd | 撮像装置及びその表示方法 |
JP2010021697A (ja) * | 2008-07-09 | 2010-01-28 | Sony Corp | 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム |
JP2010233186A (ja) * | 2009-03-30 | 2010-10-14 | Nikon Corp | 電子カメラ及び符号化方法 |
US20110141331A1 (en) * | 2009-12-10 | 2011-06-16 | Samsung Electronics Co., Ltd. | Multi-step exposure method using electronic shutter and photography apparatus using the same |
JP2012054876A (ja) * | 2010-09-03 | 2012-03-15 | Sony Corp | 固体撮像素子およびカメラシステム |
JP2012186514A (ja) * | 2011-02-16 | 2012-09-27 | Keyence Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2013005017A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4277216B2 (ja) * | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
JP2009010616A (ja) * | 2007-06-27 | 2009-01-15 | Fujifilm Corp | 撮像装置および画像出力制御方法 |
JP5655291B2 (ja) * | 2009-11-05 | 2015-01-21 | 株式会社ニコン | 電子カメラ |
JP5567922B2 (ja) * | 2010-07-21 | 2014-08-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5696513B2 (ja) * | 2011-02-08 | 2015-04-08 | ソニー株式会社 | 固体撮像装置とその製造方法、及び電子機器 |
JP2012175234A (ja) * | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP6781140B2 (ja) * | 2017-12-05 | 2020-11-04 | 株式会社ニコン | 撮像装置 |
-
2020
- 2020-01-23 JP JP2020009351A patent/JP2020074596A/ja active Pending
-
2021
- 2021-09-07 JP JP2021145150A patent/JP2021193811A/ja active Pending
-
2023
- 2023-07-18 JP JP2023117144A patent/JP2023133378A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177759A (ja) * | 1999-12-16 | 2001-06-29 | Casio Comput Co Ltd | 撮像装置及び撮像方法 |
JP2006049361A (ja) * | 2004-07-30 | 2006-02-16 | Sony Corp | 半導体モジュール及びmos型固体撮像装置 |
JP2006157862A (ja) * | 2004-11-08 | 2006-06-15 | Matsushita Electric Ind Co Ltd | Mos型撮像素子および撮像装置 |
JP2006270292A (ja) * | 2005-03-23 | 2006-10-05 | Sony Corp | 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置 |
JP2009164767A (ja) * | 2007-12-28 | 2009-07-23 | Hitachi Ltd | 撮像装置及びその表示方法 |
JP2010021697A (ja) * | 2008-07-09 | 2010-01-28 | Sony Corp | 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム |
JP2010233186A (ja) * | 2009-03-30 | 2010-10-14 | Nikon Corp | 電子カメラ及び符号化方法 |
US20110141331A1 (en) * | 2009-12-10 | 2011-06-16 | Samsung Electronics Co., Ltd. | Multi-step exposure method using electronic shutter and photography apparatus using the same |
JP2012054876A (ja) * | 2010-09-03 | 2012-03-15 | Sony Corp | 固体撮像素子およびカメラシステム |
JP2012186514A (ja) * | 2011-02-16 | 2012-09-27 | Keyence Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2013005017A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023133378A (ja) | 2023-09-22 |
JP2020074596A (ja) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11595604B2 (en) | Image sensor and imaging device including a plurality of semiconductor substrates | |
JP6375607B2 (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP2014179892A (ja) | 撮像装置 | |
JP2014178603A (ja) | 撮像装置 | |
JP6561428B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
JP6413233B2 (ja) | 撮像装置および撮像素子 | |
CN105934944B (zh) | 摄像元件及摄像装置 | |
JP2014179778A (ja) | 信号処理装置、撮像素子、撮像装置および電子機器 | |
JP6520036B2 (ja) | 電子機器 | |
JP6781140B2 (ja) | 撮像装置 | |
JP2021193811A (ja) | 撮像素子、及び撮像装置 | |
JP6349659B2 (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP6601465B2 (ja) | 撮像装置 | |
JP7176583B2 (ja) | 撮像素子および撮像装置 | |
JP6885374B2 (ja) | 電子機器 | |
JP2018174543A (ja) | 電子機器 | |
JP2019092219A (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2019092220A (ja) | 電子機器 | |
JP2018207544A (ja) | 撮像装置および撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240129 |