JP2020022142A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2020022142A JP2020022142A JP2018147010A JP2018147010A JP2020022142A JP 2020022142 A JP2020022142 A JP 2020022142A JP 2018147010 A JP2018147010 A JP 2018147010A JP 2018147010 A JP2018147010 A JP 2018147010A JP 2020022142 A JP2020022142 A JP 2020022142A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- time
- exposure time
- image
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 113
- 230000015654 memory Effects 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 239000004065 semiconductor Substances 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000005484 gravity Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 10
- 238000009792 diffusion process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/7795—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14634—Assemblies, i.e. Hybrid structures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
複数の画素回路と、
メモリと、
前記複数の画素回路から読み出された画素信号に基づく画像データを生成して前記メモリに保存する信号処理手段と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、1つのフレームに対応する画像データとして前記メモリに保存するものであり、
少なくとも、第1の露光時間に対応する第1のフレームに対応する画像データと、前記第1の露光時間とは異なる第2の露光時間に対応する第2のフレームに対応する画像データと、前記第2の露光時間とは異なる第3の露光時間に対応する第3のフレームに対応する画像データと、を保存し、
前記第2のフレームのための露光は、前記第1のフレームのための露光と前記第3のフレームのための露光の間に行われるものであり、
前記演算手段は、前記メモリに保存された、前記第1のフレームおよび前記第3のフレームに対応する画像データを用いて第1の画像を生成し、前記第2のフレームに対応する画像データを用いて第2の画像を生成する
ことを特徴とする撮像装置である。
本発明はまた、以下の構成を採用する。すなわち、
複数の画素回路と、
第1のメモリおよび第2のメモリを含むメモリと、
前記複数の画素回路に蓄積された電荷に基づく画像データを取得して前記メモリに保存する信号処理手段と、
前記画像データを、前記第1のメモリと前記第2のメモリのいずれに保存するかを選択する選択部と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、1つのフレームに対応する画像データとして前記第1のメモリに保存するものであり、
少なくとも、第1の露光時間に対応する第1のフレームに対応する画像データと、第2の露光時間に対応する第2のフレームに対応する画像データを保存し、
前記信号処理手段が前記1つのフレームに対応する画像データを保存するのに要する時間は、前記演算手段が前記1つのフレームに対応する画像データを読み出すのに要する時間よりも短い
ことを特徴とする撮像装置である。
(装置構成)
図1は実施例1に関わる撮像装置1の模式図である。撮像装置1は概略、光電変換チップ10と信号処理チップ20を備える。光電変換チップ10は、画素アレイ110、垂直走査回路120、信号線130を含む。画素アレイ110は、各々が少なくとも1つの光電変換素子を含む複数の画素回路100をマトリクス状に配置して構成され、ここでは行1,2,…,nまでのn行の画素回路100がある。なお、光電変換チップ10には画素回路100の少なくとも光電変換素子が設けられていればよく、画素回路100の内の光
電変換素子以外の半導体素子は、他のチップに配されてもよい。信号処理チップ20は、電流源140、ランプ生成器150、比較器160、カウンタ170、ラッチ部180、シリアライザ部190、メモリIF部210、行デコーダ220、フレームメモリ230、演算部280、出力部290を含む。
素子としてのフォトダイオード400、転送トランジスタ410、フローティングディフュージョン420、アンプトランジスタ430、選択トランジスタ440、リセットトランジスタ450を含む。選択トランジスタ440は、接続された信号線からの選択パルスSELのレベルにより制御される。リセットトランジスタ450は、接続された信号線からのリセットパルスRESのレベルにより制御される。転送トランジスタ410は、接続された信号線からのリードパルスREADのレベルにより制御される。
図3のタイミング図を用いて、本実施例の動作について説明する。本例では、相対的に露光時間が長、短、長、となる連続する3フレーム分の画像データの読出し動作、フレームメモリへの書き込み動作、演算処理及び出力動作に関して説明する。これ以降、組になっている3つのフレーム(フレーム1,フレーム2,フレーム3)をそれぞれ、第1のフレーム、第2のフレームおよび第3のフレームとも呼ぶ。また、本例では第1および第3のフレームに適用される露光時間を第1の露光時間と、第2のフレームに適用される露光時間を第2の露光時間とも呼ぶ。図3の例では、第1の露光時間は比較的長く、第2の露光時間は比較的短い。これら所定の露光時間は、予め、または利用者の操作によって設定される。
以下、詳細に説明する。まず、垂直走査回路120により、画素アレイ110中の一番上の行(L1)の画素回路100が選択され、それぞれの画素回路100から信号線130へ信号を出力可能な状態となる。1行分の画素回路100の信号は、電流源140によりバイアスされた信号線130へ出力される。
続いて、時刻t304から再び、画素アレイ110の行順次の読み出し動作およびフレームメモリ230への書き込みが開始される。この時、画素回路100の露光時間は、時
刻t303〜t304の時間間隔となる。この時間間隔は、時刻t302から読み出したフレームよりも短い。つまり、時刻t304からは露光時間を変更した画像データの読み出しを行う。このフレームは、比較的短い第2の露光時間を持つ第2のフレームである。
続いて、時刻t306から再び、画素アレイ110の行順次の読み出し動作およびフレームメモリ230への書き込みが開始される。この時、画素回路100の露光時間は、時刻t305〜t306の時間間隔となる。これは、時刻t301〜t302と等しくなっている。このフレームは、比較的長い第1の露光時間を持つ第3のフレームである。なお、ここでの例では第3のフレームの露光時間は第1の露光時間と等しいものとしているが、本発明はこれに限られない。第3のフレームは、少なくとも、第2の露光時間とは異なる第3の露光時間に対応していれば良い。
このように、時刻t302から始まる読み出し処理と、時刻t306から始まる読み出し処理においては、露光時間が等しい信号が読み出される。一方、時刻t304から始まる読み出し処理では、他の2つとは異なる露光時間の信号が読み出される。
上述したように、ワイドダイナミックレンジの画像を取得するために長露光時間画像と短露光時間画像の2枚を合成する場合、画像取得タイミングのズレに起因して不自然な画像が生じるおそれがあった。一方、本実施例においては、長露光時間画像について、短露光時間画像の前後それぞれにあるフレームの画像を合成することにより、長露光時間画像と短露光時間画像の露光時間の重心が比較的揃っている。これにより、画像取得タイミングのズレが低減し、画質を改善することが可能となる。
なお、上の説明においては、長露光時間画像と短露光画像時間を合成するために、読出し開始時刻の重心を揃えている。すなわち、時刻t302(1フレーム目の読み出し開始時刻)と時刻t306(3フレーム目の読み出し開始時刻)の中央の時刻が、時刻t304(2フレーム目の読み出し開始時刻)と重なっている。
例えば、暗い条件では長露光をx/6、短露光をx/24とし、明るい条件では長露光を暗いと
きの4倍、短露光を20usとしても良い。
図3では1、3フレーム目を長露光時間画像、2フレーム目を短露光時間画像としたが、逆でも構わない。つまり、1、3フレーム目を短露光時間画像、2フレーム目を長露光時間画像としても構わない。この変形例におけるタイミング図を図4に示す。図に示されるように、1フレーム目の露光時間(時刻t401〜t402)と、3フレーム目の露光時間(時刻t405〜t406)は比較的短く、2フレーム目の露光時間(時刻t403〜t404)は比較的長い。なお、図4の場合でも図3の場合と同様に、2つの短露光時間の間で重心を揃えるために、画素読み出し開始時刻の重心を揃える方法や、露光時間の中心時刻の重心を揃える方法など、様々な方法を利用できる。
図4の例によれば、1フレーム目のシャッタ動作開始から3フレーム目の画素読み出し開始までの時間(時刻t401〜t406)を短縮できるため、処理時間の短縮という観点からはより好ましい。
図5に実施例2に関わる画素回路100の回路図を示す。以下では、実施例1との相違点を中心に述べることとし、共通する部分については同じ符号を付し、説明を簡略化する。
続いて、時刻t601〜t602で転送トランジスタ410をオン状態とする(READA=ハイ)ことにより、フォトダイオード400に蓄積された電荷をフローティングディフュージョン420に転送する。これにより、信号線130には、フォトダイオード400の電荷に基づく画素信号が読み出され、後段でAD変換が行われる。
続いて、時刻t603〜t604では、転送トランジスタ410、411をオン状態と
する(READA,READB=ハイ)ことにより、フォトダイオード400、401に蓄積された電荷をフローティングディフュージョン420に転送する。これにより、信号線130には、フォトダイオード400、401の電荷に基づく加算信号が読み出され、後段でAD変換が行われる。
なお、A画像のみ、B画像のみ、A+B画像のみを得る読み出し方も可能である。A+B画像のみを得る場合は、AF情報等は得られない代わりに、読み出しが高速化できるメリットがある。
フレーム1(読み出し時刻t302〜):A画像のフレームメモリ230への書き込み。
フレーム2(読み出し時刻t304〜):A+B画像のフレームメモリ230への書き込み。
フレーム3(読み出し時刻t306〜):A画像のフレームメモリ230への書き込み。
これにより、フレームメモリ230から読み出し・演算・出力(時刻t308〜)においては、フレーム1と3のA画像から合成した長露光時間画像と、フレーム2のA+B画像である短露光時間画像とが対象になる。
ドであればよい。すなわち、フォトダイオードの数が3つ以上の場合でも本実施例は適用できる。
図7に、実施例3に関わる撮像装置の模式図を示す。以下では、実施例1との相違点を中心に述べることとし、共通する部分については同じ符号を付し、説明を簡略化する。
図7の信号処理チップ20は、マルチプレクサ200、第2のメモリIF部240、第2のフレームメモリ250、第2の行デコーダ260、第2のマルチプレクサ270をさらに備える。この場合、フレームメモリ230を第1のメモリ、第2のフレームメモリ250を第2のメモリと呼んでもよい。
本例では、図7の撮像装置を用いた画像処理動作の別の例に関して説明する。実施例1〜3では、3フレームの読出し、2フレームの出力を前提としていた。一方、本例では2フレーム分の読出し、出力動作を実行する。
る。時刻t902から、画素アレイ110の行順次の読み出し動作およびフレームメモリ230への信号書き込みが開始される。この時、画素回路100の露光時間は、t901〜t902の時間間隔となる。この時、マルチプレクサ200はシリアライザ部190をメモリIF部210と接続する。メモリIF部210は、シリアライザ部190から送られてくる信号をフレームメモリ230へと書き込む。これにより、1フレーム分の画像データがフレームメモリ230に書き込まれる。
また、図7の構成を用いて同一露光時間の2枚の画像間での加算や平均化を行った場合でも、SNの向上や2枚間の時間同時性の向上が可能になり、動体の歪を低減する効果が期待できる。
また、図7の構成を用いて同一露光時間の2枚の画像間での差分による動体検出を行う場合に、2枚間の時間同時性を向上しておくことで、検出の精度が向上する。
図10に、実施例5に関わるタイミング図を示す。本例では、図1の撮像装置の回路ブロック構成において、2枚の画像を用いて演算を行う際の時間同時性を改善する動作例について説明する。図10においては、時刻t1002〜と、時刻t1004〜とで、2枚の画像をフレームメモリ230に書き込む。そして、時刻t1005から2枚の画像を行順次で、フレームメモリ230から読み出し、演算部280において2枚の画像間で演算を行い、出力部290から画像の出力を行う。その結果、図9の場合と比較して、2枚の画像の時間同時性を更に向上させられる。もちろん、「フレームメモリ230への書き込み(1枚目)→フレームメモリ230からの読み出し→フレームメモリ230への書き込み(2枚目)」の順で処理する場合と比較しても、画像間の時間同時性は向上する。
なお、上記各実施例では、光電変換チップ10、信号処理チップ20の2チップを用いた撮像装置を例にとって説明したが、これに限られるものではない。例えば、図11に示すように、シリアライザ部190より後段の構成を備える第2の信号処理チップ30を設け、3チップ構成としても構わない。かかる構成によれば、撮像装置の構造を柔軟に決定できるようになる。なお、チップの数や、どの構成要素をどのチップに配置するかは任意であり、装置規模、コスト、所望の処理能力などの条件に応じて好適に構成すればよい。
本発明の撮像システムへの適用例を、図12の模式図を用いて説明する。上記各実施例で述べた撮像装置1は、種々の撮像システムに適用可能である。適用可能な撮像システムとして、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図にはこれらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
撮像光学系3020は、被写体の光学像を形成するための光学系であり、レンズ群や、可動遮光部3040等を含む。可動遮光部3040は、静止画撮影時には露光秒時調節用シャッタ(先述の機械シャッタ)としての機能を備えるほか、その開口径を調節することで撮影時の光量調節を行なう絞り機能も備えることができる。レンズ群及び可動遮光部3040は、光軸方向に沿って進退可能に保持されており、これらの連動した動作によって変倍機能(ズーム機能)や焦点調節機能を実現する。撮像光学系3020は、撮像システムに一体化されていてもよいし、撮像システムへの装着が可能な撮像レンズでもよい。
元配置され、これらの光電変換素子に対してカラーフィルタが配置されることで、2次元単板カラーセンサを構成している。撮像装置1は、撮像光学系3020により結像された被写体像を光電変換し、画像信号や焦点検出信号として出力する。
本発明の撮像システム及び移動体について、図13を用いて説明する。図13(a)は、車載カメラに関する撮像システム4000の一例を示したものである。撮像システム4000は、上述の各実施例に記載の撮像装置のいずれかである撮像装置1を有する。撮像システム4000は、撮像装置1により取得された複数の画像データに対し、画像処理を行う画像処理部4120と、撮像装置4100により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部4140を有する。また、撮像システム4000は、算出された視差に基づいて対象物までの距離を算出する距離取得部4160と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部4180と、を有する。ここで、視差取得部4140や距離取得部4160は、対象物までの距離情報を取得する距離情報取得部の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部4180はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計さ
れたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
Claims (16)
- 複数の画素回路と、
メモリと、
前記複数の画素回路から読み出された画素信号に基づく画像データを生成して前記メモリに保存する信号処理手段と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、1つのフレームに対応する画像データとして前記メモリに保存するものであり、
少なくとも、第1の露光時間に対応する第1のフレームに対応する画像データと、前記第1の露光時間とは異なる第2の露光時間に対応する第2のフレームに対応する画像データと、前記第2の露光時間とは異なる第3の露光時間に対応する第3のフレームに対応する画像データと、を保存し、
前記第2のフレームのための露光は、前記第1のフレームのための露光と前記第3のフレームのための露光の間に行われるものであり、
前記演算手段は、前記メモリに保存された、前記第1のフレームおよび前記第3のフレームに対応する画像データを用いて第1の画像を生成し、前記第2のフレームに対応する画像データを用いて第2の画像を生成する
ことを特徴とする撮像装置。 - 前記演算手段は、前記第1の画像と前記第2の画像を合成する
ことを特徴とする請求項1に記載の撮像装置。 - 前記第1の露光時間および前記第3の露光時間は、前記第2の露光時間より長いまたは短い
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記第1の露光時間と前記第3の露光時間の長さの差は、前記第2の露光時間と前記第1の露光時間との差および前記第2の露光時間と前記第3の露光時間との差より小さい
ことを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。 - 前記第3の露光時間は前記第1の露光時間に等しい
ことを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。 - 前記第2のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻は、前記第1のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻と前記第3のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻の中央の時刻である
ことを特徴とする請求項1ないし5のいずれか1項に記載の撮像装置。 - 前記第1のフレームのための露光時間の中心時刻と前記第2のフレームのための露光時間の中心時刻との時間間隔を第1の時間間隔とし、前記第2のフレームのための露光時間の中心時刻と前記第3のフレームのための露光時間の中心時刻との時間間隔を第2の時間間隔として、
前記第1の時間間隔と前記第2の時間間隔との差が、前記第1の露光時間、前記第2の露光時間および前記第3の露光時間のうちの最短の露光時間よりも小さい
ことを特徴とする請求項1ないし5のいずれか1項に記載の撮像装置。 - 前記複数の画素回路のそれぞれは、少なくとも2つの光電変換素子を備えており、
前記信号処理手段は、前記第1のフレームおよび前記第3のフレームに対応する画像データを取得するために前記2つの光電変換素子のいずれか一方から電荷を読み出し、前記第2のフレームに対応する画像データを取得するために前記2つの光電変換素子の両方から電荷を読み出す
ことを特徴とする請求項1ないし7のいずれか1項に記載の撮像装置。 - 前記演算手段は、前記第1の画像と前記第2の画像に基づいて、焦点検出を行う
ことを特徴とする請求項8に記載の撮像装置。 - 前記メモリは、第1のメモリおよび第2のメモリを含み、
前記撮像装置は、前記画像データを、前記第1のメモリと前記第2のメモリのいずれに保存するかを選択する選択部をさらに有し、
前記信号処理手段は、前記演算手段が前記第1のメモリおよび前記第2のメモリの一方から読み出しを行っている間に、前記第1のメモリおよび前記第2のメモリの他方に、前記画像データを保存する
ことを特徴とする請求項1ないし9のいずれか1項に記載の撮像装置。 - 複数の画素回路と、
第1のメモリおよび第2のメモリを含むメモリと、
前記複数の画素回路に蓄積された電荷に基づく画像データを取得して前記メモリに保存する信号処理手段と、
前記画像データを、前記第1のメモリと前記第2のメモリのいずれに保存するかを選択する選択部と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、1つのフレームに対応する画像データとして前記第1のメモリに保存するものであり、
少なくとも、第1の露光時間に対応する第1のフレームに対応する画像データと、第2の露光時間に対応する第2のフレームに対応する画像データを保存し、
前記信号処理手段が前記1つのフレームに対応する画像データを保存するのに要する時間は、前記演算手段が前記1つのフレームに対応する画像データを読み出すのに要する時間よりも短い
ことを特徴とする撮像装置。 - 前記画素回路に含まれる光電変換素子が設けられた第1半導体層と、前記信号処理手段に含まれる半導体素子が設けられた第2半導体層とが積層された
ことを特徴とする請求項1ないし11のいずれか1項に記載の撮像装置。 - 前記メモリに含まれる半導体素子が前記第2半導体層に設けられている、請求項12に記載の撮像装置。
- 前記メモリが設けられた第3半導体層が前記第2半導体層に積層された、請求項12に記載の撮像装置。
- 請求項1ないし14のいずれか1項に記載の撮像装置と、
前記撮像装置から出力される信号を処理する処理手段と、
を有することを特徴とする撮像システム。 - 請求項1ないし14のいずれか1項に記載の撮像装置と、
前記撮像装置から出力される信号から情報を取得する情報取得手段と、
前記情報に基づいて移動体を制御する移動体制御手段と
を有することを特徴とする移動体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147010A JP7129264B2 (ja) | 2018-08-03 | 2018-08-03 | 撮像装置 |
US16/525,733 US11575842B2 (en) | 2018-08-03 | 2019-07-30 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147010A JP7129264B2 (ja) | 2018-08-03 | 2018-08-03 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020022142A true JP2020022142A (ja) | 2020-02-06 |
JP2020022142A5 JP2020022142A5 (ja) | 2021-09-09 |
JP7129264B2 JP7129264B2 (ja) | 2022-09-01 |
Family
ID=69227645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147010A Active JP7129264B2 (ja) | 2018-08-03 | 2018-08-03 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11575842B2 (ja) |
JP (1) | JP7129264B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341578A (ja) * | 1999-05-25 | 2000-12-08 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2016225971A (ja) * | 2015-05-29 | 2016-12-28 | キヤノン株式会社 | 撮像素子および撮像装置 |
JP2017183786A (ja) * | 2016-03-28 | 2017-10-05 | ルネサスエレクトロニクス株式会社 | 撮像装置、カメラシステム及び撮像方法 |
JP2018011162A (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP2018056941A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社ニコン | 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6031964A (en) * | 1996-06-20 | 2000-02-29 | Apple Computer, Inc. | System and method for using a unified memory architecture to implement a digital camera device |
JP2009267739A (ja) | 2008-04-24 | 2009-11-12 | Yamaha Corp | 固体撮像装置 |
TWI583195B (zh) | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
JP6057630B2 (ja) | 2012-09-12 | 2017-01-11 | オリンパス株式会社 | 撮像装置 |
JP6172967B2 (ja) | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
KR101545951B1 (ko) * | 2013-12-02 | 2015-08-21 | (주)실리콘화일 | 이미지 처리 패키지 및 이를 구비하는 카메라 모듈 |
JP6070599B2 (ja) | 2014-02-18 | 2017-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、および撮像装置 |
US9888198B2 (en) * | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
US20160037043A1 (en) * | 2014-08-01 | 2016-02-04 | Omnivision Technologies, Inc. | High dynamic range (hdr) images free of motion artifacts |
US9912886B2 (en) | 2014-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Image capturing apparatus and driving method of image sensor |
JP6701710B2 (ja) | 2015-12-14 | 2020-05-27 | 株式会社ニコン | 撮像素子および撮像装置 |
CN106303269A (zh) * | 2015-12-28 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
JP2017183870A (ja) | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
JP6762766B2 (ja) | 2016-06-01 | 2020-09-30 | キヤノン株式会社 | 撮像素子、撮像装置、および撮像信号処理方法 |
US10425599B2 (en) * | 2017-02-01 | 2019-09-24 | Omnivision Technologies, Inc. | Exposure selector for high-dynamic range imaging and associated method |
US10084967B1 (en) * | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
WO2018190649A1 (en) * | 2017-04-12 | 2018-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for generating hdr images |
US10708524B2 (en) * | 2017-09-01 | 2020-07-07 | Semiconductor Components Industries, Llc | Methods and apparatus for high dynamic range imaging |
-
2018
- 2018-08-03 JP JP2018147010A patent/JP7129264B2/ja active Active
-
2019
- 2019-07-30 US US16/525,733 patent/US11575842B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341578A (ja) * | 1999-05-25 | 2000-12-08 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2016225971A (ja) * | 2015-05-29 | 2016-12-28 | キヤノン株式会社 | 撮像素子および撮像装置 |
JP2017183786A (ja) * | 2016-03-28 | 2017-10-05 | ルネサスエレクトロニクス株式会社 | 撮像装置、カメラシステム及び撮像方法 |
JP2018011162A (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP2018056941A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社ニコン | 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 |
Also Published As
Publication number | Publication date |
---|---|
US20200045220A1 (en) | 2020-02-06 |
JP7129264B2 (ja) | 2022-09-01 |
US11575842B2 (en) | 2023-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7091080B2 (ja) | 装置、システム、および移動体 | |
JP7389586B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP7237622B2 (ja) | 光電変換装置 | |
US10979067B2 (en) | Image pickup device, image pickup system, and moving apparatus | |
JP7157529B2 (ja) | 撮像装置、撮像システム、および撮像装置の駆動方法 | |
JP6806553B2 (ja) | 撮像装置、撮像装置の駆動方法及び撮像システム | |
JP2021029017A (ja) | 光電変換装置、撮像システム、移動体及び露光制御装置 | |
US10645322B2 (en) | Image pickup device | |
JP2019047267A (ja) | 固体撮像装置、撮像システム、及び移動体 | |
JP2021190823A (ja) | 撮像装置、撮像システム、移動体および撮像装置の駆動方法 | |
JP7129264B2 (ja) | 撮像装置 | |
US10965896B2 (en) | Photoelectric conversion device, moving body, and signal processing device | |
JP2021097382A (ja) | 撮像装置及び撮像システム | |
US11792529B2 (en) | Imaging apparatus, method of driving imaging apparatus, imaging system and mobile body | |
JP7299711B2 (ja) | 光電変換装置及びその駆動方法 | |
US11700467B2 (en) | Photoelectric conversion device, photoelectric conversion system, and movable body | |
JP7419309B2 (ja) | 固体撮像装置 | |
JP7374630B2 (ja) | 撮像装置及びその駆動方法 | |
US20240171874A1 (en) | Photoelectric conversion device and method of driving photoelectric conversion device | |
JP2021166369A (ja) | 撮像装置および撮像装置の駆動方法 | |
JP2024073685A (ja) | 光電変換装置及びその駆動方法 | |
JP2023124986A (ja) | 光電変換装置及びその駆動方法 | |
JP2024073687A (ja) | 光電変換装置及び撮像システム | |
JP2019145911A (ja) | 撮像装置、撮像システム、および移動体 | |
JP2019153985A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |