JP2021193811A - 撮像素子、及び撮像装置 - Google Patents

撮像素子、及び撮像装置 Download PDF

Info

Publication number
JP2021193811A
JP2021193811A JP2021145150A JP2021145150A JP2021193811A JP 2021193811 A JP2021193811 A JP 2021193811A JP 2021145150 A JP2021145150 A JP 2021145150A JP 2021145150 A JP2021145150 A JP 2021145150A JP 2021193811 A JP2021193811 A JP 2021193811A
Authority
JP
Japan
Prior art keywords
image pickup
unit
pixels
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021145150A
Other languages
English (en)
Inventor
朗 木下
Akira Kinoshita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2021145150A priority Critical patent/JP2021193811A/ja
Publication of JP2021193811A publication Critical patent/JP2021193811A/ja
Priority to JP2023117144A priority patent/JP2023133378A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すこと。【解決手段】撮像素子は、光電変換された電荷に基づく画素信号を出力する複数の画素が行方向と列方向とに並んで配置される画素領域を有する第1半導体基板と、前記画素領域の第1領域において前記列方向に並んで配置される複数の第1画素と、前記画素領域の、前記第1領域から前記行方向側の第2領域において前記列方向に並んで配置される複数の第2画素とで光電変換された電荷を蓄積する蓄積時間が異なるように制御する駆動部を有する第2半導体基板と、備える。【選択図】図1

Description

本発明は、撮像素子、及び撮像装置に関する。
撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すことで、高速読み出しが可能なデジタルカメラが知られている(特許文献1参照)。
特開2012−58464号公報
上記従来技術では、撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すため、この部分読み出しのときには、撮像素子の全体の撮像領域から画像信号を読み出すことはできない。
発明の一態様による撮像素子は、光電変換された電荷に基づく画素信号を出力する複数の画素が行方向と列方向とに並んで配置される画素領域を有する第1半導体基板と、前記画素領域の第1領域において前記列方向に並んで配置される複数の第1画素と、前記画素領域の、前記第1領域から前記行方向側の第2領域において前記列方向に並んで配置される複数の第2画素とで光電変換された電荷を蓄積する蓄積時間が異なるように制御する駆動部を有する第2半導体基板と、備える。
本発明によれば、撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すことができる。
カメラの構成を示すブロック図である。 撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第1の実施形態に係る自動撮影モードの処理を説明するフローチャートである。 撮像素子の撮像面の一例を示す図である。 撮像素子の撮像面の一例を示す図である。 撮像素子の撮像面の一例を示す図である。 第2の実施形態に係る自動撮影モードの処理を説明するフローチャートである。
−第1の実施形態−
図面を参照して本発明の第1の実施形態について説明する。
図1は、撮像装置の一例であるカメラ100の構成を示すブロック図である。カメラ100は、撮像光学系としての撮影レンズ120及びカメラボディ110を備える。カメラボディ110には、撮影レンズ120が装着される。カメラ100は、カメラボディ110及び撮影レンズ120が一体として構成されていてもよい。撮影レンズ120は、光軸に沿って入射する被写体光束を撮像素子200へ導く。カメラボディ110は、撮像素子200、制御部101、駆動部102、画像処理部103、ワークメモリ部104、記録部105及び表示部106を備える。
撮影レンズ120は、複数の光学レンズで構成され、シーンからの被写体光束を撮像素子200の受光面に結像させる。図1では仮想的な1枚のレンズで当該撮影レンズ120を代表して表している。
駆動部102は、制御部101からの指示に従って撮像素子200のタイミング制御や撮像素子200に含まれる撮像領域制御等の電荷蓄積制御を実行する制御回路である。駆動部102は、撮像素子200に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担う。駆動部102は、一部または全部が後述する撮像素子200に含まれる撮像チップ213に搭載されてもよい。駆動部102は、一部または全部が信号処理チップ211に搭載されてもよい。制御部101は、一部が撮像チップ213または信号処理チップ211に搭載されてもよい。
撮像素子200から出力された画像信号は、画像処理部103へ入力される。画像処理部103は、ワークメモリ部104をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、画像データを生成した後に圧縮処理を実行する。生成された画像データは、記録部105に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部106に表示される。
また画像処理部103は、機能ブロックとして、主要被写体検出部111及び特徴領域検出部112を有する。これらの各機能は、後述する。
図2は、カメラボディ110が備える撮像素子200の断面図である。撮像素子200は、入射光に対応した画素信号を生成する撮像チップ213と、撮像チップ213から出力された画素信号を処理する信号処理チップ211と、画素信号を記憶するメモリチップ212とを備える。
撮像チップ213は、信号処理チップ211に積層されている。撮像チップ213は、例えば、Cu等の導電性を有するバンプ209により信号処理チップ211と互いに電気的に接続される。信号処理チップ211は、メモリチップ212に積層されている。信号処理チップ211は、例えば、Cu等の導電性を有するバンプ209によりメモリチップ212と互いに電気的に接続される。
図2に示すように、入射光は主に白抜き矢印で示され、Z軸プラス方向に沿って撮像素子200へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ213の一例は、裏面照射型のCMOSイメージセンサである。撮像チップ213は、入射光が入射する側から順にZ軸プラス方向に沿って、マイクロレンズ201、カラーフィルタ202、パッシベーション膜203、受光層206及び配線層208を有する。受光層206は、入射光に応じた電荷を蓄積する複数のフォトダイオード204とフォトダイオード204で蓄積された電荷に応じた画素信号を読み出すための読出回路205とを有する。読出回路205は、複数のトランジスタを含む。
マイクロレンズ201は、対応するフォトダイオード204へ向けて入射光を集光する。カラーフィルタ202は、互いに異なる波長を透過する複数の種類を有しており、フォトダイオード204のそれぞれに対応して特定の配列を有している。カラーフィルタ202の配列については後述する。パッシベーション膜203は、受光層206を保護するとともに平坦化膜としての機能を有する。
配線層208は、それぞれのフォトダイオード204から読出回路205を介して読み出された画素信号を信号処理チップ211に出力するための配線207を有する。配線207は多層配線で構成されてもよく、また、受動素子及び能動素子が設けられてもよい。
配線層208における受光層206と反対側の面には複数のバンプ209が配される。当該複数のバンプ209は、信号処理チップ211の対向する面に設けられた複数のバンプ209と位置合わせされて、撮像チップ213と信号処理チップ211とが加圧等されることにより、位置合わせされたバンプ209同士が接合されて、電気的に接続される。
同様に、信号処理チップ211及びメモリチップ212の互いに対向する面には、複数のバンプ209が配される。これらのバンプ209は、互いに位置合わせされて、信号処理チップ211とメモリチップ212とが加圧等されることにより、位置合わせされたバンプ209同士が接合されて、電気的に接続される。
撮像チップ213と信号処理チップ211との間の接合は、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。信号処理チップ211とメモリチップ212との間の接合は、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。バンプ209は、例えば後述する一つの単位グループに対して一つ程度設ければよい。したがって、バンプ209の大きさは、隣り合うフォトダイオード204間のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ209よりも大きなバンプを併せて設けてもよい。
信号処理チップ211は、表裏面にそれぞれ設けられた回路を互いに接続するシリコン貫通電極(TSV)210を有する。シリコン貫通電極210は、周辺領域に設けられることが好ましい。また、シリコン貫通電極210は、撮像チップ213の周辺領域又はメモリチップ212にも設けられてもよい。
図3は、撮像チップ213の画素配列と単位グループ231を説明する図である。特に、撮像チップ213を入射面側から観察した様子を示す。撮像チップ213は、画素領域を有する。画素領域には複数の画素がマトリックス状に配列されている。本実施形態においては、隣接する4画素×4画素の16画素が一つの単位グループ231を形成する。一つの単位グループ231は、換言すれば一つの撮像領域であり、撮像チップ213は複数の撮像領域(単位グループ231)を有している。図の格子線は、隣接する画素がグループ化されて単位グループ231を形成する概念を示す。単位グループ231を形成する画素の数はこれに限られず2000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、単位グループ231は、緑色画素Gb、緑色画素Gr、青色画素B及び赤色画素Rの4画素から成るいわゆるベイヤー配列で配列されている。緑色画素Gb及び緑色画素Grは、カラーフィルタ202として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、カラーフィルタ202として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素Rは、カラーフィルタ202として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態の撮像素子200では、特定の単位グループ231について、他の単位グループ231とは異なる撮像条件での撮像を行えるように構成されている。撮像条件とは、例えば、フレームレート、画素の間引き率、画素の加算数、画素信号のゲイン等である。
単位グループ231の画素の間引き率とは、単位グループ231に含まれる画素のうち、画素信号の読み出しを行わない画素の数を規定するものである。例えば、間引き率が「0」の場合には、単位グループ231に含まれる全ての画素から画素信号が読み出されるが、間引き率が「0.5」の場合には、単位グループ231に含まれる画素のうち、半分の画素については画素信号の読み出しが行われ、残り半分の画素については画素信号の読み出しが行われない。画素を間引く場合には、画像の情報が減るものの、消費電力を低減することができる。
また、単位グループ231の画素の加算数とは、単位グループ231に含まれる画素について、画素信号を加算する画素の数を規定するものである。例えば、加算数が「1」の場合には、隣接する画素同士で加算が行われずに画素信号の読み出しが行われるが、加算数が「2」の場合には、隣接する2つの画素同士で画素信号が加算されて読み出しが行われる。画素同士の画素信号を加算する場合には、画像の情報を維持しつつも画素数を減らすことができるので、その後の画像処理の演算量を低減することができる。
図4は、撮像チップ213の単位グループ231に対応する回路図である。図において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。以下に説明する各トランジスタは、図2の読出回路205に含まれる。
上述のように、単位グループ231は、16画素から形成される。それぞれの画素に対応する16個のフォトダイオード204は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302の各ゲートに対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソースとの間に形成されたいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線350に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303の各ゲートに対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線350に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタ305の各ゲートは、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源351は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。負荷電流源351は、撮像チップ213側に設けてもよいし、信号処理チップ211側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303のゲートに印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302のゲートに印加されると、フォトダイオード204及びフローティングディフュージョンFDの電位は、電源電圧に対応した電圧であるリセット電位にリセットされる。
フォトダイオード204は、転送パルスの印加が解除されると、受光した入射光を電荷に変換して蓄積する。その後、リセットパルスがリセットトランジスタ303のゲートに印加されていない状態で再び転送パルスが転送トランジスタ302のゲートに印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305のゲートに印加されると、フローティングディフュージョンFDのリセット電圧から信号電位への変動に対応した画素信号が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。
図示するように、本実施形態においては、単位グループ231を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、単位グループ231を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305が選択パルスによって順次印加されて、選択的に出力配線309に出力される。また、リセット配線306、TX配線307及び出力配線309は、単位グループ231毎に別個に設けられる。TX配線307は、本実施形態では16個の転送トランジスタ302の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれる転送トランジスタ302の各ゲートに対して共通接続されてもよいし、16個それぞれの転送トランジスタ302の各ゲートに対して接続されてもよい。リセット配線306は、本実施形態では16個のリセットトランジスタ303の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれるリセットトランジスタ303の各ゲートに対して共通接続されてもよいし、16個それぞれのリセットトランジスタ303の各ゲートに対して接続されてもよい。
このように単位グループ231を基準として回路を構成することにより、単位グループ231ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ231同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ231に1回の電荷蓄積を行わせている間に、他方の単位グループ231に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ231同士で異なるフレームレートで動画用の各フレームを出力することもできる。
図5は、撮像素子200の機能的構成を示すブロック図である。マルチプレクサ411は、単位グループ231を形成する16個のフォトダイオード204を順番に選択して、それぞれの画素信号を当該単位グループ231に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、フォトダイオード204と共に、撮像チップ213に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ211に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDS及びA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。画素メモリ414のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ413及び画素メモリ414は、メモリチップ212に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ211に設けられてもよいし、メモリチップ212に設けられてもよい。図では1つの単位グループ231の分の接続を示すが、実際にはこれらが単位グループ231ごとに存在して、並列で動作する。ただし、演算回路415は単位グループ231ごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれの単位グループ231に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位グループ231のそれぞれに対応して出力配線309が設けられている。撮像素子200は撮像チップ213、信号処理チップ211及びメモリチップ212を積層しているので、これら出力配線309にバンプ209を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
カメラ100は、自動で静止画を撮影する自動撮影モードを有する。図6は、この自動撮影モードにおける処理の流れを説明するフローチャートである。また、図7〜図9は、撮像素子200の撮像面の一例を示す図である。図7〜図9では、格子線が単位グループ231の境目を示しており、一つの矩形領域が一つの単位グループ231の撮像領域に対応している。カメラ100は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図6に示す処理を開始する。
ステップS101において、画像処理部103の主要被写体検出部111は、駆動部102を駆動して撮像素子200からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体500を検出する。本実施形態において、主要被写体500とは、人物の顔である。画像から人物の顔を検出する顔検出処理については、公知の手法を用いればよいため、説明を省略する。
ステップS102において、画像処理部103の特徴領域検出部112は、撮像素子200から取得した画像データに基づいて、主要被写体検出部111により検出された主要被写体500における特徴的な領域(特徴領域)510を検出する。本実施形態において、特徴領域510とは、人物の目や口の領域である。画像から人物の目や口を検出する処理については、公知の手法を用いればよいため、説明を省略する。
ステップS103において、画像処理部103は、特徴領域検出部112により検出された特徴領域510の少なくとも一部を撮像している単位グループ231の集合を特徴領域単位グループ群520として設定する。また、画像処理部103は、主要被写体検出部111により検出された主要被写体500の少なくとも一部を撮像している単位グループ231のうち、特徴領域単位グループ群520に含まれない単位グループ231の集合を被写体単位グループ群530として設定する。さらに、画像処理部103は、撮像素子200が有する単位グループ231のうち、特徴領域単位グループ群520及び被写体単位グループ群530に含まれない単位グループ231の集合を周辺単位グループ群540として設定する。
制御部101は、特徴領域単位グループ群520に含まれる単位グループ231については撮像条件として特徴領域用フレームレートを設定する。制御部101は、被写体単位グループ群530に含まれる単位グループ231については撮像条件として被写体用フレームレートを設定する。制御部101は、周辺単位グループ群540に含まれる単位グループ231については撮像条件として周辺用フレームレートを設定する。このとき制御部101は、周辺用フレームレートよりも被写体用フレームレートのフレームレートを高く設定する。また、制御部101は、被写体用フレームレートよりも特徴領域用フレームレートのフレームレートを高く設定する。すなわち制御部101は、特徴領域510に対応する特徴領域単位グループ群520については最も高いフレームレートを設定する。また制御部101は、特徴領域510以外の主要被写体500に対応する被写体単位グループ群530については、特徴領域510に対応する特徴領域単位グループ群520に設定されたフレームレートよりは低いフレームレートであるが周辺領域に対応する周辺単位グループ群540に設定されたフレームレートよりは高いフレームレートを設定する。特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートの値については、予め設定されてカメラ100内に格納されていてもよいし、ユーザが後から設定値を変更できるようになっていてもよい。
ステップS104において、制御部101は、主要被写体500に対して撮影レンズ120のピントを合わせるAF処理を行った後、撮像素子200に撮像を行わせる。
制御部101は、特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540のそれぞれに含まれる単位グループ231を特定する情報とそれぞれに設定したフレームレートの情報とを駆動部102に伝達する。駆動部102は、制御部101から伝達された情報に従って撮像素子200を駆動して撮像を行わせる。すなわち、駆動部102は、特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540について、それぞれ設定されたフレームレートに従って、単位グループ231に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。
例えば、制御部101により特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートがそれぞれ120fps、60fps、及び30fpsに設定されたとする。この場合、駆動部102は、周辺単位グループ群540から1フレーム分の画像信号を得る時間(1/30sec)の間に、被写体単位グループ群530からは2フレーム分の画像信号を得ると共に、特徴領域単位グループ群520からは4フレーム分の画像信号を得る。このとき駆動部102は、周辺単位グループ群540に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組と、被写体単位グループ群530に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組と、特徴領域単位グループ群520に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。
ステップS105において、画像処理部103は、特徴領域単位グループ群520からの画像信号をワークメモリ部104の予め定められた記憶領域に、フレームごとに順次、記憶する。同様に、画像処理部103は、被写体単位グループ群530からの画像信号をワークメモリ部104の予め定められた記憶領域に、フレームごとに順次、記憶する。また同様に、画像処理部103は、周辺単位グループ群540からの画像画号をワークメモリ部104の予め定められた記憶領域に、フレームごとに順次、記憶する。
ステップS106において、画像処理部103は、ワークメモリ部104から特徴領域単位グループ群520の複数フレームの画像信号を読み出し、この複数フレーム間の差分を算出することで、特徴領域510の変化を検出する。そして画像処理部103は、この検出結果に基づいて主要被写体500の状態を判定する。
図8及び図9は、図7に示す撮像面から、主要被写体500を含む領域のみを切り出した図である。図8は、人物が瞬きをしている状態を示す。図9は、人物が視線の方向を変化させている状態を示す。画像処理部103は、例えば、主要被写体500の状態として、図8に示すような瞬きの状態を判定する。瞬きの状態を判定する場合、画像処理部103は、例えば、目の黒目部分が検出されていた箇所で黒目部分が検出されなくなった場合に瞬きが行われたと判定する。また、画像処理部103は、例えば、主要被写体500の状態として、図9に示すような視線の方向を判定する。視線の方向を判定する場合、画像処理部103は、例えば、目の黒目部分の位置の変化に基づいて判定する。画像処理部103は、例えば、人物の目及び口が笑っている状態であれば、笑顔と判定するなど、顔の表情を主要被写体500の状態として判定するようにしてもよい。
ステップS107において、画像処理部103は、ワークメモリ部104から特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540からの画像信号をそれぞれ読み出し、この画像信号に基づいて表示用の動画(スルー画)を生成する。画像処理部103は、被写体単位グループ群530からの画像信号に基づくフレームを周辺単位グループ群540からの画像信号に基づくフレームの被写体単位グループ群530に対応する箇所に嵌め込む。また、画像処理部103は、特徴領域単位グループ群520からの画像信号に基づくフレームを被写体単位グループ群530からの画像信号に基づくフレームの特徴領域単位グループ群520に対応する箇所に嵌めこむ。このようにして画像処理部103は、特徴領域510、主要被写体500及び周辺領域のフレームを合成して、スルー画を生成する。スルー画の表示フレームレートについては、特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートのいずれのフレームレートにしてもよいし、その他のフレームレートにしてもよい。また、単位時間あたりにおけるフレーム数は、特徴領域510、主要被写体500及び周辺領域でそれぞれ異なるので、適宜フレームを間引いたり補完したりしてフレーム数を整合させるようにすればよい。
ステップS108において、画像処理部103は、ステップS107で生成したスルー画を表示部106に表示する。このとき画像処理部103は、人物の顔等の主要被写体500と人物の目又は人物の口等の特徴領域510との位置を示す枠などをスルー画に重ねて表示する。また画像処理部103は、ステップS106で判定した瞬き、視線の方向及び顔の表情等の主要被写体500の状態を示すアイコンなどをスルー画に重ねて表示する。このようにすることで、カメラ100が認識している人物の顔の位置や状態と人物の目の位置や状態と人物の口の位置や状態とをユーザに通知することができる。
ステップS109において、画像処理部103は、ステップS106で判定した主要被写体500の状態に基づいて、静止画記録(静止画撮影)を行うか否かを判定する。画像処理部103は、ステップS106で判定した人物の目の視線がカメラ100側を向いている場合や、ステップS106で判定した人物の顔の表情が笑顔である場合などに静止画記録を行う。このとき、画像処理部103は、特徴領域、主要被写体500及び周辺領域のフレームを合成して1枚の静止画を生成して、記録部105に記録する。一方、画像処理部103は、ステップS106で瞬きをしていると判定した場合などには、静止画記録を行わない。
ステップS110において、制御部101は、次の単位時間の撮像を行うか否かを判断する。次の単位時間の撮像を行うか否かは、その時点でユーザから自動撮影モードの終了が指示されているか否かで判断される。制御部101は、次の単位時間の撮像を行う場合は、ステップ110を肯定判定して上記ステップS101に戻り、次の単位時間の撮像を行わない場合は、ステップ110を否定判定して図6の処理を終了する。
「単位時間」とは、予め制御部101に設定されている時間であって、例えば、数秒程度である。また、図6に示す処理において、次の単位時間が開始されるときに、ステップS101及びS102で改めて主要被写体500及び特徴領域510が検出され、特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540が更新される。これにより、主要被写体500及び特徴領域510が移動してもこれに追従して特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540を逐次、更新することができる。また、ステップS101及びS102で改めて主要被写体500及び特徴領域510を検出する際には、前の単位時間で周辺領域よりも高いフレームレートで撮像した主要被写体500及び特徴領域510の撮像画像を参照で
きるので、主要被写体500及び特徴領域510を精度よく検出することができる。
以上説明した実施形態によれば、次の作用効果が得られる。
(1)カメラ100は、複数の単位グループ231(撮像領域)を有し、単位グループ231に入射した光像に応じた画像信号を生成する撮像チップ213を有する。またカメラ100は、撮像チップ213から出力された画像信号に基づいて当該画像信号の示す画像の特徴領域510を検出する特徴領域検出部112と、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231を特徴領域用フレームレートで撮像を行うように制御し、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231以外の単位グループ231を特徴領域用フレームレートとは異なるフレームレートで撮像を行うように制御する制御部101と、を含む信号処理チップ211を有する。これにより、撮像素子200の全体の撮像領域から画像信号を読み出しても、撮像素子200の特定の撮像領域(特徴領域510に対応する光像が入射した単位グループ231)から画素信号を高速に読み出すことができ、特徴領域510の認識精度を向上することができる。また、特徴領域510以外の他の領域についてはフレームレートを低くして画像信号を取得しているので、全画素からの高速読み出しに比べて、撮像素子200の駆動や画像処理の負荷を減らし、消費電力や発熱を抑えることができる。
(2)カメラ100は、特徴領域510に対応する単位グループ231から出力される画像信号に基づいて、主要被写体500の状態を判定する。これにより、主要被写体500の状態の判定結果を用いて適切なシャッターチャンスを捉えて自動で静止画を記録することができる。
−第2の実施形態−
次に、本発明の第2の実施形態について説明する。第2の実施形態のカメラ100及び撮像素子200の構成は、第1の実施形態と同様であるため、説明を省略する。
図10は、第2の実施形態における自動撮影モードにおける処理の流れを説明するフローチャートである。第2の実施形態に係るカメラ100は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図10に示す処理を開始する。ステップS201〜S202については、上記第1の実施形態のステップS101〜S102と同様の処理を行う。すなわち、画像処理部103は、撮像素子200により撮像された画像から主要被写体を検出し、主要被写体から特徴領域を検出する。
ステップS203において、画像処理部103は、上記第1の実施形態と同様にして、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群を設定する。そして画像処理部103は、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ231の画素の間引き率または加算数を設定する。
主要被写体の状況として、例えば、制御部101が、主要被写体に対する撮影レンズ120の焦点調節状態(デフォーカス量)を算出する。デフォーカス量の算出方法については、公知の方法を用いればよいので説明を省略する。
デフォーカス量が大きく(すなわち所定値以上であり)、主要被写体がある程度ボケていると判定できる場合には、細かいパターンを認識できず、主要被写体の状態を精度よく認識できないことが予測される。そこで、画像処理部103は、全ての単位グループ231において画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子200から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子200の消費電力を抑制することができる。
一方、デフォーカス量が小さく(すなわち所定値以下であり)、主要被写体に撮影レンズ120のピントが合っていると判定できる場合には、主要被写体の状態を正しく認識するために撮像素子200から読み出す画像信号の画素数が多い方が望ましいが、画素数が多くなるとその分演算量や消費電力が大きくなってしまう。そこで、画像処理部103は、主要被写体の状態を認識するために使用する特徴領域に対応する特徴領域単位グループ群については、上記デフォーカス量が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、特徴領域単位グループ群からの画像信号については画素数が多くなるため、精度よく主要被写体の状態を認識することができる。また画像処理部103は、この他被写体単位グループ群及び周辺単位グループ群については、特徴領域単位グループ群よりも画素の間引き率または加算数を大きい値に設定する。これにより、全体としては、画像処理の演算量が増えるのを防止でき、且つ撮像素子200の消費電力を抑制できる。ただし、AF動作が行われる場合には主要被写体である顔に焦点を合わせるので、これからデフォーカス量が小さくなるものとして、デフォーカス量が所定値以下の場合と同様に間引き率と加算数を小さい設定にしてもよい。AF動作が行われる場合とは、撮影者によるAF起動部材の操作や動画などの常時AF動作中に行われる。
また、主要被写体の状況として、画像処理部103が、撮像素子200の撮像面において主要被写体が占める割合、すなわち撮像面の大きさに対する主要被写体の大きさの割合を算出するようにしてもよい。
撮像面において主要被写体が占める割合が所定値(たとえば30%)以上である場合には、撮像画像上で主要被写体に関する情報量が多くなるので、画素の間引き率または加算数をある程度大きくしても、精度よく主要被写体の状態を認識できることが予測される。そこで画像処理部103は、全ての単位グループ231において、画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子200から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子200の消費電力を抑制することができる。
一方、撮像面において主要被写体が占める割合が所定値(たとえば10%)以下である場合には、撮像画像上で主要被写体に関する情報量が少なくなるので、細かいパターンを認識しづらく、主要被写体の状態を認識しづらくなることが予測される。そこで、画像処理部103は、全ての単位グループ231において、上記主要被写体が占める割合が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、撮像素子200から読み出す画像信号の画素数が多くなるので、精度よく主要被写体の状態を認識することができる。
設定する画素の間引き率または加算数の値については、画像の用途に応じて上限値を設定しておくことが望ましい。画像をスルー画像として表示する場合には、表示画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、表示部106の解像度を満たす画素数となる間引き率または加算数を上限値として設定する。また、画像を静止画あるいは動画として記録する場合には、記録画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、記録解像度を満たす画素数となる間引き率または加算数を上限値として設定する。
ステップS203では、このようにして、画像処理部103が、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに対する画素の間引き率または加算数を設定する。
ステップS204において、制御部101は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ231を特定する情報と、それぞれに設定した画素の間引き率または加算数の情報とを、駆動部102に伝達する。駆動部102は、制御部101から伝達された情報に従って撮像素子200を駆動して撮像を行わせ、画像信号を出力させる。すなわち、駆動部102は、特徴領域単位グループ群520、被写体単位グループ群530及び周辺単位グループ群540について、それぞれ設定された画素の間引き率または加算数に従って、単位グループ231に含まれる画素の電荷蓄積及び画像信号の出力を実行させる。この場合、駆動部102は、特徴領域単位グループ群に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組と、被写体単位グループ群に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組と、周辺単位グループ群に含まれる単位グループ231のリセットトランジスタ303、転送トランジスタ302及び選択トランジスタ305の組とを別個に駆動することにより、異なる画素の間引き率または加算数で画像信号を得る。
ステップS205〜S210の処理は、上記第1の実施形態のステップS105〜S510と同様の処理を行う。すなわち、画像処理部103は、撮像素子200からの画像信号をワークメモリ部104に記憶した後、特徴領域単位グループ群からの画像信号に基づいて主要被写体の状態を判定する。画像処理部103は、この判定結果に応じて静止画記録を行う。
また画像処理部103は、撮像素子200からの画像信号に基づいてスルー画像を生成して、表示部106に表示する。特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群においてそれぞれ画素の間引き率または加算数が異なる場合には、特徴領域、主要被写体及び周辺領域で画素数がそれぞれ異なるので、適宜画素を間引いたり補間したりして画素数を整合させるようにすればよい。
以上説明した実施形態によれば、次の作用効果が得られる。
(1)カメラ100は、主要被写体領域のデフォーカス量が大きいほど、主要被写体領域に対応する光像が入射した撮像領域(単位グループ231)を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、撮像画像の画素数を増やしても主要被写体の状態を精度よく認識できない状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
(2)カメラ100は、撮像チップ213から出力された画像信号の示す画像において主要被写体領域が占める割合が大きいほど、主要被写体領域に対応する光像が入射した撮像領域(単位グループ231)を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、主要被写体の状態を十分認識できる状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
(変形例1)
上述した実施形態において、画像処理部103は、複数の主要被写体(顔)を検出した場合には、その複数の主要被写体の中から優先する被写体(優先被写体)を1つ選択するようにしてもよい。
この場合、画像処理部103は、上述したステップS106と同様に、特徴領域の変化を検出して、主要被写体(顔)の状態を判定する。例えば、瞬きをしている顔は本物の人物の顔であるが、瞬きをしていない顔は絵や写真など本物の人物ではない可能性がある。そこで画像処理部103は、瞬きをしている顔を、優先被写体として選択する。
また、喋っている人物は、優先度が高いと考えられる。そこで、カメラ100は、主要被写体の状態として、人物が喋っているか否かを判定する。カメラ100は、マイクから得られる音声信号の変化と特徴領域である口の形の変化とが同時に検出された場合には、その人物が喋っていると判定する。そして、喋っている人物(顔)を、優先被写体として選択する。
制御部101は、優先被写体として選択した主要被写体について、撮影レンズ120のピントを合わせるAF処理を行うようにする。また、優先被写体として選択されなかった主要被写体については、その後、特徴領域の検出を行わず、例えば周辺領域と同じフレームレートで撮像するようにする。
(変形例2)
上述した第1の実施形態において、特徴領域に対応する特徴領域単位グループ群については、主要被写体及び周辺領域よりも高いフレームレートで撮像を行うので、その分電荷の蓄積時間が短くなり、画像信号の出力が小さくなる場合がある。そこで、画像処理部103は、特徴領域単位グループ群については、被写体単位グループ群及び周辺単位グループ群よりも、単位グループ231に含まれる画素から読み出す画素信号のゲインを大きく設定するようにしてもよい。
この場合、駆動部102は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群について、それぞれ設定されたゲインで、単位グループ231に含まれる画素から読み出した画素信号を増幅して出力させる。特徴領域単位グループ群については、ゲインの設定値が大きいので、画像信号の出力が大きくなり、特徴領域の変化の検出精度を高めることができる。
(変形例3)
上述した第1の実施形態において、画像処理部103は、特徴領域単位グループ群に特徴領域用フレームレートを設定する際、撮像面における主要被写体の占める割合に応じて設定する値を変化させるようにしてもよい。撮像面における主要被写体の占める割合が大きいほど特徴領域用フレームレートの設定値を低くし、撮像面における主要被写体の占める割合が小さいほど特徴領域用フレームレートの設定値を高くする。撮像面における主要被写体の占める割合が大きい場合には、撮像画像上で主要被写体に関する情報量が多く、特徴領域の変化も検出しやすいので、特徴領域用フレームレートを下げることで消費電力を低減できる。一方、撮像面における主要被写体の占める割合が小さい場合には、撮像画像上で主要被写体に関する情報量が少なく、特徴領域の変化も検出しにくいので、特徴領域用フレームレートを上げることで、主要被写体の状態の認識精度を高くできる。
(変形例4)
主要被写体として複数の人物の顔を検出した際、顔の数が所定値よりも多い場合には、撮像画像において一つ一つの顔に関する情報量が少なく、顔の状態を認識しにくいことが予測される。そこで、画像処理部103は、このような場合には、特徴領域についての画素の間引き率または加算数を小さい値に設定して、顔の状態の認識精度を高くするようにしてもよい。
また、主要被写体として検出した人物の顔の位置が撮像面の中央近傍である場合には、ポートレート撮影であり、撮像画像における顔の情報量が多く、顔の状態を認識しやすいことが予測される。そこで画像処理部103は、このような場合には、全体的に、画素の間引き率または加算数を大きい値に設定して、消費電力や演算負荷を低減するようにしてもよい。
(変形例5)
特徴領域、主要被写体領域及び周辺領域について、上述した第1の実施形態ではフレームレートを設定し、上述した第2の実施形態では、画素の間引き率または加算数を設定する例について説明した。しかしながら、設定する撮像条件は、上述した実施形態で説明した例に限定しなくてもよい。例えば、特徴領域、主要被写体領域及び周辺領域について、画素の間引き率と加算数の両方を設定するようにしてもよい。この場合は、画素が間引かれた後、残った画素の画素信号を加算することで、さらに画素数を少なくする。また、フレームレートと画素の間引き率または加算数との両方を設定するようにしてもよい。
また、主要被写体領域及び周辺領域のフレームレートは同じにして、特徴領域だけフレームレートを高くしてもよい。特徴領域のフレームレートを所定のフレームレートよりも高くすれば、特徴領域の認識精度を高めることができる。また、逆に特徴領域と主要被写体領域のフレームレートは同じにして周辺領域だけフレームレートを低くしたりしてもよい。特徴領域や主要被写体領域のフレームレートを所定のフレームレートのまま維持し、周辺領域のフレームレートを低くすることで、特徴領域や主要被写体領域の認識精度を維持しながら、消費電力や画像処理の負荷を低減することができる。
(変形例6)
上述した実施形態では、静止画の自動撮影を行う自動撮影モードに本発明を適用する例について説明したが、通常の撮影モード(すなわちユーザのレリーズボタン押下により静止画を記録するモード)に本発明を適用するようにしてもよい。この場合、カメラ100は、例えば、ユーザがレリーズボタンを半押しした場合に上述した図6の処理を開始し、上述した実施形態と同様にステップS101〜S108の処理を行う。そして、カメラ100は、ユーザによりレリーズボタンが全押しされると、静止画を記録する。
また、動画撮影モードに本発明を適用するようにしてもよい。この場合、カメラ100は、例えば、ユーザが録画ボタンを押下した場合に上術した図6の処理を開始して、撮像素子200により撮像された動画を記録し、再度ユーザが録画ボタンを押下した場合に図6の処理を終了する。
(変形例7)
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。これにより、動物の状態等の認識精度や認識速度を向上させることができる。
また、主要被写体は、人工物であってもよい。この場合は、人工物の色情報やパターン情報などから特徴領域を検出する。例えば、色や輝度のコントラストが大きい部分を特徴領域として上述した実施形態と同様の制御を行う。これにより、人工物の状態等の認識精度や認識速度を向上させることができる。
(変形例8)
上述した実施形態では、複数の画素から構成される単位グループ231ごとに撮像条件を設定可能な撮像素子200を用いる例について説明したが、1つの画素ごとに個別に撮像条件を設定可能な撮像素子を用いるようにしてもよい。この場合、上述したステップS103,S203では、特徴領域、主要被写体領域及び周辺領域のそれぞれに対応する画素群を設定し、各画素群に対してフレームレートや画素の間引き率または加算数を設定すればよい。
(変形例9)
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。
(変形例10)
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも2つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。
以上の説明はあくまで一例であり、上記実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
100…カメラ、101…制御部、102…駆動部、103…画像処理部、111…主要被写体検出部、112…特徴領域検出部、120…撮影レンズ、200…撮像素子、204…フォトダイオード、209…バンプ、211…信号処理チップ、213…撮像チップ、FD…フローティングディフュージョン

Claims (13)

  1. 光電変換された電荷に基づく画素信号を出力する複数の画素が行方向と列方向とに並んで配置される画素領域を有する第1半導体基板と、
    前記画素領域の第1領域において前記列方向に並んで配置される複数の第1画素と、前記画素領域の、前記第1領域から前記行方向側の第2領域において前記列方向に並んで配置される複数の第2画素とで光電変換された電荷を蓄積する蓄積時間が異なるように制御する駆動部を有する第2半導体基板と、
    を備える撮像素子。
  2. 請求項1に記載の撮像素子において、
    前記第2半導体基板は、複数の前記第1画素からそれぞれ出力された第1画素信号をデジタル信号に変換する第1変換部と、複数の前記第2画素からそれぞれ出力された第2画素信号をデジタル信号に変換する第2変換部とを有する撮像素子。
  3. 請求項2に記載の撮像素子において、
    複数の前記第1画素に接続され、前記第1画素信号が出力される第1出力線と、
    複数の前記第2画素に接続され、前記第2画素信号が出力される第2出力線と、を備え、
    前記第1変換部は、前記第1出力線に出力された前記第1画素信号をデジタル信号に変換し、
    前記第2変換部は、前記第2出力線に出力された前記第2画素信号をデジタル信号に変換する撮像素子。
  4. 請求項3に記載の撮像素子において、
    前記第2半導体基板は、前記第1出力線に電流を供給する第1電流源と、前記第2出力線に電流を供給する第2電流源とを有する撮像素子。
  5. 請求項1から請求項4のいずれか一項に記載の撮像素子において、
    複数の前記第1画素に接続され、前記第1画素の前記蓄積時間を制御する第1制御信号が出力される第1制御線と、
    複数の前記第2画素に接続され、前記第2画素の前記蓄積時間を制御する第2制御信号が出力される第2制御線と、を備え、
    前記駆動部は、前記第1制御信号を前記第1制御線に出力し、前記第2制御信号を前記第2制御線に出力する撮像素子。
  6. 請求項5に記載の撮像素子において、
    前記画素は、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷を転送する転送部を有し、
    前記第1制御線は、複数の前記第1画素がそれぞれ有する第1転送部に接続され、
    前記第2制御線は、複数の前記第2画素がそれぞれ有する第2転送部に接続される撮像素子。
  7. 請求項5に記載の撮像素子において、
    前記画素は、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷が転送されるフローティングディフュージョンと、前記フローティングディフュージョンの電位をリセットするリセット部とを有し、
    前記第1制御線は、複数の前記第1画素がそれぞれ有する第1リセット部に接続され、
    前記第2制御線は、複数の前記第2画素がそれぞれ有する第2リセット部に接続される撮像素子。
  8. 請求項1から請求項7のいずれか一項に記載の撮像素子において、
    前記第1半導体基板は、前記第2半導体基板により積層される撮像素子。
  9. 請求項1から請求項8のいずれか一項に記載の撮像素子を備える撮像装置。
  10. 請求項9に記載の撮像装置において、
    前記撮像素子に接続される画像処理部を備える撮像装置。
  11. 請求項10に記載の撮像装置において、
    前記画像処理部は、前記撮像素子で撮像された被写体から特定被写体を検出する検出部を有する撮像装置。
  12. 請求項11に記載の撮像装置において、
    前記検出部は、前記撮像素子で撮像された被写体から人物と推定される被写体を前記特定被写体として検出する撮像装置。
  13. 請求項11に記載の撮像装置において、
    前記検出部は、前記撮像素子で撮像された被写体から人物の目又は人物の口と推定される被写体を前記特定被写体として検出する撮像装置。
JP2021145150A 2020-01-23 2021-09-07 撮像素子、及び撮像装置 Pending JP2021193811A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021145150A JP2021193811A (ja) 2020-01-23 2021-09-07 撮像素子、及び撮像装置
JP2023117144A JP2023133378A (ja) 2020-01-23 2023-07-18 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020009351A JP2020074596A (ja) 2020-01-23 2020-01-23 撮像装置
JP2021145150A JP2021193811A (ja) 2020-01-23 2021-09-07 撮像素子、及び撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020009351A Division JP2020074596A (ja) 2020-01-23 2020-01-23 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023117144A Division JP2023133378A (ja) 2020-01-23 2023-07-18 撮像装置

Publications (1)

Publication Number Publication Date
JP2021193811A true JP2021193811A (ja) 2021-12-23

Family

ID=70610324

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020009351A Pending JP2020074596A (ja) 2020-01-23 2020-01-23 撮像装置
JP2021145150A Pending JP2021193811A (ja) 2020-01-23 2021-09-07 撮像素子、及び撮像装置
JP2023117144A Pending JP2023133378A (ja) 2020-01-23 2023-07-18 撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020009351A Pending JP2020074596A (ja) 2020-01-23 2020-01-23 撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023117144A Pending JP2023133378A (ja) 2020-01-23 2023-07-18 撮像装置

Country Status (1)

Country Link
JP (3) JP2020074596A (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177759A (ja) * 1999-12-16 2001-06-29 Casio Comput Co Ltd 撮像装置及び撮像方法
JP2006049361A (ja) * 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びmos型固体撮像装置
JP2006157862A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Mos型撮像素子および撮像装置
JP2006270292A (ja) * 2005-03-23 2006-10-05 Sony Corp 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置
JP2009164767A (ja) * 2007-12-28 2009-07-23 Hitachi Ltd 撮像装置及びその表示方法
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2010233186A (ja) * 2009-03-30 2010-10-14 Nikon Corp 電子カメラ及び符号化方法
US20110141331A1 (en) * 2009-12-10 2011-06-16 Samsung Electronics Co., Ltd. Multi-step exposure method using electronic shutter and photography apparatus using the same
JP2012054876A (ja) * 2010-09-03 2012-03-15 Sony Corp 固体撮像素子およびカメラシステム
JP2012186514A (ja) * 2011-02-16 2012-09-27 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
JP2009010616A (ja) * 2007-06-27 2009-01-15 Fujifilm Corp 撮像装置および画像出力制御方法
JP5655291B2 (ja) * 2009-11-05 2015-01-21 株式会社ニコン 電子カメラ
JP5567922B2 (ja) * 2010-07-21 2014-08-06 キヤノン株式会社 画像処理装置及びその制御方法
JP5696513B2 (ja) * 2011-02-08 2015-04-08 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP6781140B2 (ja) * 2017-12-05 2020-11-04 株式会社ニコン 撮像装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177759A (ja) * 1999-12-16 2001-06-29 Casio Comput Co Ltd 撮像装置及び撮像方法
JP2006049361A (ja) * 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びmos型固体撮像装置
JP2006157862A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Mos型撮像素子および撮像装置
JP2006270292A (ja) * 2005-03-23 2006-10-05 Sony Corp 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置
JP2009164767A (ja) * 2007-12-28 2009-07-23 Hitachi Ltd 撮像装置及びその表示方法
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2010233186A (ja) * 2009-03-30 2010-10-14 Nikon Corp 電子カメラ及び符号化方法
US20110141331A1 (en) * 2009-12-10 2011-06-16 Samsung Electronics Co., Ltd. Multi-step exposure method using electronic shutter and photography apparatus using the same
JP2012054876A (ja) * 2010-09-03 2012-03-15 Sony Corp 固体撮像素子およびカメラシステム
JP2012186514A (ja) * 2011-02-16 2012-09-27 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP2023133378A (ja) 2023-09-22
JP2020074596A (ja) 2020-05-14

Similar Documents

Publication Publication Date Title
US11595604B2 (en) Image sensor and imaging device including a plurality of semiconductor substrates
JP6375607B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP2014179892A (ja) 撮像装置
JP2014178603A (ja) 撮像装置
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6413233B2 (ja) 撮像装置および撮像素子
CN105934944B (zh) 摄像元件及摄像装置
JP2014179778A (ja) 信号処理装置、撮像素子、撮像装置および電子機器
JP6520036B2 (ja) 電子機器
JP6781140B2 (ja) 撮像装置
JP2021193811A (ja) 撮像素子、及び撮像装置
JP6349659B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6601465B2 (ja) 撮像装置
JP7176583B2 (ja) 撮像素子および撮像装置
JP6885374B2 (ja) 電子機器
JP2018174543A (ja) 電子機器
JP2019092219A (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2019092220A (ja) 電子機器
JP2018207544A (ja) 撮像装置および撮像素子

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129