JP2014154982A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2014154982A JP2014154982A JP2013021802A JP2013021802A JP2014154982A JP 2014154982 A JP2014154982 A JP 2014154982A JP 2013021802 A JP2013021802 A JP 2013021802A JP 2013021802 A JP2013021802 A JP 2013021802A JP 2014154982 A JP2014154982 A JP 2014154982A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- exposure time
- control
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】 動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供する。
【解決手段】 撮像素子のうち、長い露光時間で撮影を行った領域から読み出された信号から得られるH画像と、短い露光時間で撮影を行った領域から読み出された信号から得られるL画像とを合成して合成画像を生成する。この際、長い露光時間での撮影が1回行われる予め定められた期間内に、短い露光時間での撮影を複数回行い、1枚のH画像と、複数枚のL画像とから合成画像を生成する。
【選択図】 図4
【解決手段】 撮像素子のうち、長い露光時間で撮影を行った領域から読み出された信号から得られるH画像と、短い露光時間で撮影を行った領域から読み出された信号から得られるL画像とを合成して合成画像を生成する。この際、長い露光時間での撮影が1回行われる予め定められた期間内に、短い露光時間での撮影を複数回行い、1枚のH画像と、複数枚のL画像とから合成画像を生成する。
【選択図】 図4
Description
本発明は、撮像装置及びその制御方法に関し、特には動画像撮影機能を備えた撮像装置およびその制御方法に関する。
ビデオカメラやデジタルスチルカメラなどに用いられるCCDイメージセンサやCMOSイメージセンサのような固体撮像素子は、入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換素子が2次元配列された構成を有する。しかし、光電変換素子の電荷蓄積量には上限(飽和レベル)があるため、飽和レベルに対応する輝度以上の明るさを有する被写体領域はすべて飽和レベルに変換され、階調性を失う。このような現象を白とびと呼ぶ。
白とびの発生を防止するため、例えば、明るい被写体に対しては、シャッタスピードを速くして光電変換素子の電荷蓄積期間(露光時間)を短くし、蓄積電荷量が飽和レベルに達しないようにする一方、出力に対するゲイン(感度)を上昇させる。このような処理により被写体の高輝度部の階調性を維持した画像を得ることができる。
しかし、明暗の差の大きな被写体の場合、シャッタスピードを速くすると、暗い部分の階調性が低下する黒つぶれが発生し、画質が低下する。このように、明暗の差が大きな被写体について階調性の良好な画像を得るためには、明るい部分については露光時間を短くする一方で、暗い部分については露光時間を長くする必要がある。
このような露光制御を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法(ハイダイナミックレンジ:HDR)が知られている。HDRではまず、露出過剰(オーバー)画像(以下、H画像)と露出不足(アンダー)画像(以下、L画像)とを連続的に撮影する。そして、暗い領域についてはH画像を、H画像では白とびしまうような明るい領域ではL画像を利用して1つの合成画像(HDR画像)を生成する。このように、露光量の異なる複数の画像の、白とびや黒つぶれをしていない領域を合成することで、白とびや黒つぶれの発生を抑制もしくは回避した、ダイナミックレンジの広いHDR画像を得ることができる。
しかし、HDR手法は、露光量の異なる複数の画像を合成する手法であるため、少なくとも2回の撮影と、画像合成処理のための時間を必要とする。また、撮影シーンに動体が含まれる場合など、合成に用いる複数の画像間で位置が異なる被写体がある場合には良好な画像合成ができず、合成画像の品質が低下するという問題もあった。
そのため、広ダイナミックレンジの画像を1回の撮影で得ることが提案されている(特許文献1)。特許文献1では、例えば隣接する行で異なる露光時間を設定することにより露出量の異なる画像を1回の撮影で取得し、それらを合成して広ダイナミックレンジの画像を生成する。
特許文献1記載の方法は、1枚の画像しか撮影しないが、領域によって露光時間が異なるため、移動する被写体が存在する場合には良好な合成画像が得られない。このことについて図14を用いて説明する。図14は、特許文献1記載の方法を採用して、奇数行と偶数行とで異なる露光時間を設定した場合に得られる画像を模式的に示している。
移動する被写体が存在する場合、露光時間の長い行から得られるH画像では、露光時間中の被写体の移動量が大きいため、被写体の移動が連続的に記録される。一方、露光時間の短い行から得られるL画像では被写体が静止もしくは移動量が少なく、H画像と比較して被写体が鮮明に写った画像となる。
このように、被写体の移動を連続的に捉えたH画像と、被写体の移動を瞬間的に捉えたL画像とを合成すると、合成画像中の被写体部分が不自然になってしまう。
本発明はこのような従来技術の課題に鑑みてなされたものであり、動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供する。
上述の目的は、撮像素子と、撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御手段と、撮像素子のうち、第1の露光時間で撮影を行った領域から読み出された信号から得られる第1の画像と、第1の露光時間よりも短い第2の露光時間で撮影を行った領域から読み出された信号から得られる第2の画像とを合成した合成画像を生成する合成手段と、を有し、制御手段が、第1の露光時間での撮影が1回行われる予め定められた期間内に、第2の露光時間での撮影が複数回行われるように制御を行い、合成手段が、予め定められた期間内の撮影で得られる第1の画像と、複数の第2の画像とから合成画像を生成する、ことを特徴とする撮像装置によって達成される。
このような構成により、本発明によれば、動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供することができる。
(第1の実施形態)
以下、図面を参照して、本発明の例示的な実施形態について説明する。
図1は本発明の例示的な実施形態にかかる撮像装置の一例としてのデジタルスチルカメラ(DSC)100の機能構成例を示すブロック図である。なお、本発明は動画撮影機能を有する任意の撮像装置および、そのような撮像装置を内蔵する任意の装置に適用可能である。
以下、図面を参照して、本発明の例示的な実施形態について説明する。
図1は本発明の例示的な実施形態にかかる撮像装置の一例としてのデジタルスチルカメラ(DSC)100の機能構成例を示すブロック図である。なお、本発明は動画撮影機能を有する任意の撮像装置および、そのような撮像装置を内蔵する任意の装置に適用可能である。
レンズ部101は、被写体からの光を撮像部103へ集光する。レンズ部101には、合焦距離を調節するためのフォーカスレンズや、メカニカルシャッターなどが含まれる。
光量調節部102はレンズ部101と撮像部103との間に配置され、撮像部103に入射する光量を調整する。光量調節部102は具体的には例えば減光フィルタを光路中に挿入したり光路から退避させたりする機構や、絞り機構である。
光量調節部102はレンズ部101と撮像部103との間に配置され、撮像部103に入射する光量を調整する。光量調節部102は具体的には例えば減光フィルタを光路中に挿入したり光路から退避させたりする機構や、絞り機構である。
撮像部103は、レンズ部101と光量調節部102を通して入射した光をアナログ電気信号に変換する画素が2次元配列された画素部(撮像素子)と、各画素が出力するアナログ信号をデジタル信号に変換するA/D変換回路等を含んでいる。
信号処理部104は、撮像部103から出力される画素信号に対する補正用のパラメータを生成したり、画素信号に対して補正処理を適用する。
撮像制御部105は、後述する主制御部106からの入力信号を元に、撮像部103及び信号処理部104等に必要なタイミング信号、映像信号を増幅するためのゲインの設定信号、露出時間を設定信号、及びその他の制御に必要な信号の生成を行う。
制御手段としての主制御部106は、内外の機能ブロックを制御して、DSC100の各種動作を実現する。主制御部106は、以下の機能ブロックを有している。信号処理部104等からの信号を一時的に記憶する記憶部107。L画像とH画像からHDR画像を生成するHDR画像生成部108。複数のL画像から1枚のL画像を生成するL画像合成部109。撮像部103からの信号をもとに画面内の動く被写体を検出する動き検出部110。露出条件を決定する露出演算部111。
なお、これら機能ブロックのうち、記憶部107を除く機能ブロックは、ハードウェアで構成されてもよいし、ソフトウェア的に実現されてもよい。例えば主制御部106がプログラマブルプロセッサである場合、主制御部106がプログラムを実行することにより機能ブロックを実現してもよい。
主制御部106は露出演算部111の演算結果に基づき、光量調節部102を用いて光量を調整するか、撮像制御部105を用いて露光時間や映像信号を増幅するためのゲインを調整する。なお、本実施形態においては、信号処理部104が主制御部106から独立した構成であるが、信号処理部104は主制御部106に含まれていてもよいし、撮像部103の中に含まれていてもよい。また、撮像制御部105は、撮像部103の中に含まれていてもよい。
操作部112はボタン、ダイヤル、スイッチ、タッチパネル等の入力デバイス群で構成され、ユーザがDSC100に指示やデータなどの入力を行うために設けられている。
記録部113は主制御部106にて生成される画像データを半導体メモリやディスク状の記録媒体などに記録する。
表示部114は信号処理部104からの信号をもとにして主制御部106にて生成される画像データを表示したり、操作部112の操作に対応したアイコン等を表示したりする。
記録部113は主制御部106にて生成される画像データを半導体メモリやディスク状の記録媒体などに記録する。
表示部114は信号処理部104からの信号をもとにして主制御部106にて生成される画像データを表示したり、操作部112の操作に対応したアイコン等を表示したりする。
図2は、図1の撮像部103に含まれる撮像素子の一部の構成例を示す回路図である。画素201はレンズ部101から表面に入射した光を光電変換して電気信号として出力する。画素201はフォトダイオード202、転送トランジスタ203、信号増幅アンプ204、信号リセット用トランジスタ205から構成されている。転送トランジスタ203及び信号リセット用トランジスタ205は、撮像素子に配置された水平駆動用回路206からの信号によって動作する。ここで、水平駆動用回路206にはシフトレジスタや、転送トランジスタ203等の各画素を駆動させる信号生成回路等が含まれる。そして、生成されたタイミング信号(TX1〜4、RS1〜4等)によって、転送トランジスタ203及び信号リセット用トランジスタ205を制御することで、フォトダイオード202の電荷をリセットしたり、読み出したりして露光時間を制御することができる。撮像素子には、画素201と同様の画素が複数、2次元的に配置されている。
垂直駆動回路209にはシフトレジスタ、列アンプ回路及びAD変換回路210、信号出力選択スイッチ211及び外部への出力回路(図示せず)等が含まれる。列アンプ回路及びAD変換回路210の設定を、撮像制御部105からの信号によって変化させることによって、画素から読みだされた信号を増幅することができる。
図3は本実施形態で得られるH画像、L画像と、それらの合成により生成されるHDR画像の一例を模式的に示した図である。
図3で示すように、本実施形態においては、H画像を1枚撮影する間に複数枚撮影したL画像から1枚のL画像を生成し、このL画像をH画像と合成することで、HDR画像を生成する。それにより、露光期間内に移動する被写体がある場合でも、H画像と同様に被写体の動きを連続的に捉えたL画像を得ることができ、違和感のないHDR画像を生成することができる。
図3で示すように、本実施形態においては、H画像を1枚撮影する間に複数枚撮影したL画像から1枚のL画像を生成し、このL画像をH画像と合成することで、HDR画像を生成する。それにより、露光期間内に移動する被写体がある場合でも、H画像と同様に被写体の動きを連続的に捉えたL画像を得ることができ、違和感のないHDR画像を生成することができる。
図15は、本実施形態のDSC100において、従来のHDR動画撮影を行う場合の動作を模式的に示した図である。本実施形態における撮像素子は、L画像用とH画像用のそれぞれ露出条件を所定数の行(ここでは2行とする)を単位として設定することができる。一方で、主制御部106が生成する1/30秒毎の垂直同期信号によって、30fpsのフレームレートで撮影を行う。予め定められた期間である1フレームの撮影期間内において、L画像用の行とH画像用の行とで異なる時間、露光(電荷蓄積)が行われ、得られた画素信号が記憶部107に一時的に記憶される。以後、行ごとに露光(電荷蓄積)が順次行われ、L画像とH画像の画素信号が全て得られると、HDR画像生成部108で両画像を合成しHDR画像を作成する。
図16はこの従来のHDR画像生成方法を実現するために垂直駆動回路209が生成するタイミング信号のタイミングチャートである。TX信号およびRS信号が立ち上がることによって、フォトダイオード202の電荷がリセットされ露光(電荷蓄積)が開始する。この動作は撮像制御部105によって設定された条件で、所定の順番で各画素に対して順次行われる。その後、L画像用の行において、所定の露光時間の経過後に、TX1およびTX2信号が順次立ち上がり、フォトダイオード202の電荷を信号増幅アンプ204に読みだし、水平駆動用回路206を通して出力され、L画像を取得する。そして、H画像用の所定の露光時間の経過後に、TX3およびTX4信号が順次立ち上がり、フォトダイオード202の電荷を信号増幅アンプ204に読みだし、水平駆動用回路206を通して出力され、H画像を取得する。
次に、本実施形態におけるHDR動画の取得方法に関して説明する。
図4は、本実施形態のHDR動画撮影を行う場合の動作を図15と同様に模式的に示した図である。上述したように、本実施形態はH画像(第1の画像)の撮影を1回行う間にL画像(第2の画像)の撮影を複数回行うように露光および読み出しを制御することを特徴とする。そのため、L画像用の行は、H画像用の行の露光期間中に2回以上露光および読み出し動作を行う。
図4は、本実施形態のHDR動画撮影を行う場合の動作を図15と同様に模式的に示した図である。上述したように、本実施形態はH画像(第1の画像)の撮影を1回行う間にL画像(第2の画像)の撮影を複数回行うように露光および読み出しを制御することを特徴とする。そのため、L画像用の行は、H画像用の行の露光期間中に2回以上露光および読み出し動作を行う。
本実施形態において、H画像用の露光期間(第1の露光時間)は、適正露出のための露光時間よりも長く、L画像用の露光期間(第2の露光時間)は、適正露出のための露光時間よりも短い。このようにして取得した複数枚のL画像をL画像合成部109で合成し、1枚のL画像を生成する。その後、L画像合成部109により合成されたL画像と、H画像とを用いてHDR画像生成部108で合成処理を行ないHDR画像を作成する。L画像合成部109での合成処理については後述する。
図5はこの本実施形態のHDR画像生成方法を実現するために垂直駆動回路209が生成するタイミング信号のタイミングチャートである。TX信号およびRS信号の立ち上がりタイミングが異なることを除き、画素における電荷蓄積および読み出し動作は図16に関して説明した通りである。
上から2行目までのH画像用の行における露光期間(電荷蓄積期間)に、3行目および4行目のL画像用の行について、TX3およびTX4が6回ずつ立ち上がっており、1枚のH画像に対し、3枚のL画像を取得していることが分かる。また、図5では、対となるH画像用の行とL画像用の行について、H画像用の行の露光開始時刻T1とH画像の読み出し開始時刻T4の時間中心Mと、L画像用の行の最初の露光開始時刻T2と最後の読み出し開始時刻T3の時間中心mとが一致するようにしている。特には、H画像用の行の露光期間と、L画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しくなるようにしている。
図6(a)および(b)は、H画像用の行の露光期間と、L画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しくなるようにした場合と、等しくない場合のタイミングチャートと画像を模式的に示した図である。
図6(a)では、H画像用の行の露光期間と、L画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しいため、時間中心が一致している。この場合、最初のL画像で捉えられる被写体と、最後のL画像で捉えられる被写体の位置の差はH画像において捉えられる被写体の移動範囲とほぼ等しくなる。そのため、動きのある被写体の見えを、H画像と合成後のL画像とで同等とすることができる。一方、図6(b)では、最初のL画像で捉えられる被写体と、最後のL画像で捉えられる被写体の位置の差はH画像において捉えられる被写体の移動範囲よりも短くなるため、H画像と合成後のL画像とで動きのある被写体の見えが異なる。そのため、HDR画像において移動被写体領域が不自然な印象を与える可能性が高くなる。
図6(a)では、H画像用の行の露光期間と、L画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しいため、時間中心が一致している。この場合、最初のL画像で捉えられる被写体と、最後のL画像で捉えられる被写体の位置の差はH画像において捉えられる被写体の移動範囲とほぼ等しくなる。そのため、動きのある被写体の見えを、H画像と合成後のL画像とで同等とすることができる。一方、図6(b)では、最初のL画像で捉えられる被写体と、最後のL画像で捉えられる被写体の位置の差はH画像において捉えられる被写体の移動範囲よりも短くなるため、H画像と合成後のL画像とで動きのある被写体の見えが異なる。そのため、HDR画像において移動被写体領域が不自然な印象を与える可能性が高くなる。
複数のL画像から1枚のL画像を生成する処理について、図7を用いて説明する。この処理はL画像合成部109で行なわれる。
図7(a)は撮影した複数枚のL画像を、図7(b)はL画像合成部109によって生成される合成L画像をそれぞれ示している。なお、便宜上、図7では撮影画像あるいは出力されるL画像の一部領域のみを示している。
図7(a)に示す複数枚のL画像は、図3の撮像素子の画素の構成に対応する図である。本例において、画素にはベイヤー配列のカラーフィルタが設けられており、R,Gb,Gr,B画素が規定の順序で配列されている。
図7(a)は撮影した複数枚のL画像を、図7(b)はL画像合成部109によって生成される合成L画像をそれぞれ示している。なお、便宜上、図7では撮影画像あるいは出力されるL画像の一部領域のみを示している。
図7(a)に示す複数枚のL画像は、図3の撮像素子の画素の構成に対応する図である。本例において、画素にはベイヤー配列のカラーフィルタが設けられており、R,Gb,Gr,B画素が規定の順序で配列されている。
図7では、図4におけるL1画像からL3画像の画素を、L1画像はR1、B1、Gr1、Gb1、L2画像はR2、B2、Gr2、Gb2、L3画像はR3、B3、Gr3、Gb3として表記している。
図7(b)に示すL画像の左上角の画素Gr_L(0,0)の画素値は、L1画像〜L3画像の対応する位置の画素、すなわち、Gr1(0,0)、Gr2(0,0)、Gr3(0,0)の画素値に基づいて算出される。
図7(b)に示すL画像の左上角の画素Gr_L(0,0)の画素値は、L1画像〜L3画像の対応する位置の画素、すなわち、Gr1(0,0)、Gr2(0,0)、Gr3(0,0)の画素値に基づいて算出される。
L画像合成部109は、同様の画素値算出処理を、カラーフィルタの種別ごとに、図7(b)のL画像のすべての画素、すなわち、Gb_L、Gr_L、B_L、R_Lについて実行する。すなわち、これらのすべての出力画像の画素値を、図7(a)の3枚のL画像の画素値を利用して算出する。
L画像合成部109は例えば、L1画像〜L3画像の画素値を加算して、合成後のL画像の画素値を算出する。すなわち、L画像合成部109は例えばGb_L(0,0)を、
Gb_L(0,0)=Gb1(0,0)+Gb2(0,0)+Gb3(0,0) (式1)
として算出する。
L画像合成部109は例えば、L1画像〜L3画像の画素値を加算して、合成後のL画像の画素値を算出する。すなわち、L画像合成部109は例えばGb_L(0,0)を、
Gb_L(0,0)=Gb1(0,0)+Gb2(0,0)+Gb3(0,0) (式1)
として算出する。
なお、ここでは単純に加算する例を示したが、合成後のL画像がHDR画像生成に適した輝度レベルを有するように、合成時の各画素値に重みを付与したり、加算後の画素値を調整したりしてもよい。本実施形態においては、HDR画像に用いるL画像を合成により生成するため、L画像用画素の露光時間を合成枚数を踏まえて短く設定することができる。例えば、合成しない場合のL画像用画素の露光時間が1/60秒であれば、2枚のL画像を合成する場合には1段分速い露光時間(1/125秒)とすることができる。この場合、式1のように単純な加算により合成を行うことができる。しかし、露光時間を短くすることでノイズが増加するため、露光時間の短縮は少なめとして、合成時に画素値に1未満の係数を乗じるといった方法を用いてもよい。
このように、本実施形態によれば、撮像素子をH画像の取得画素とL画像の取得画素とに分けて異なる露光期間を設定することで、1枚の撮影で得られた画素データからH画像とL画像を取得するので、HDR画像の生成に必要な画像の撮影時間を短縮できる。また、1枚の撮影期間内に複数のL画像を取得し、複数のL画像を合成して得たL画像をHDRの生成に用いるので、動きのある被写体が存在する場合であっても、HDR画像の不自然さを抑制することができる。特に、複数のL画像を取得する期間の長さを、H画像を取得する期間の長さと等しくすれば、HDR画像の不自然さを大幅に抑制することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態では、複数枚のL画像を合成してHDR画像生成用の1枚のL画像を生成したが、合成によるノイズ増加により画質が悪化してしまう。加えて、複数回の露光と読み出しを行なうため、電力が増加してしまうという問題も発生する。
従って、被写体の動きが少ない場合には、H画像1枚あたりのL画像の取得枚数を減らすことが望ましい。
次に、本発明の第2の実施形態について説明する。第1の実施形態では、複数枚のL画像を合成してHDR画像生成用の1枚のL画像を生成したが、合成によるノイズ増加により画質が悪化してしまう。加えて、複数回の露光と読み出しを行なうため、電力が増加してしまうという問題も発生する。
従って、被写体の動きが少ない場合には、H画像1枚あたりのL画像の取得枚数を減らすことが望ましい。
本実施形態では、HDR動画撮影時に被写体の動きを検出し、動き検出の結果に応じて次のフレームのL画像の撮影枚数を決定する。
図8は本実施形態におけるL画像撮影時のフローチャート、図9(a),(b)は本実施形態におけるHDR動画取得動作のタイミングチャートである。
以下、図8および図9を用いて、本実施形態におけるHDR動画撮影の動作について説明する。なお、DSC100の構成は第1の実施形態と同様でよいため、説明を省略する。また、本実施形態においても、撮像素子はL画像用とH画像用のそれぞれ露出条件を2行周期で設定することができるものとする。
図8は本実施形態におけるL画像撮影時のフローチャート、図9(a),(b)は本実施形態におけるHDR動画取得動作のタイミングチャートである。
以下、図8および図9を用いて、本実施形態におけるHDR動画撮影の動作について説明する。なお、DSC100の構成は第1の実施形態と同様でよいため、説明を省略する。また、本実施形態においても、撮像素子はL画像用とH画像用のそれぞれ露出条件を2行周期で設定することができるものとする。
ここでは便宜上、1フレームの撮影におけるL画像用の行とH画像用の行とに対する個別の処理についての説明は省き、H画像およびL画像単位で撮影が行われるように説明する。また、L画像の撮影に特徴があるため、H画像の撮影に関する説明も省く。なお、図9においては、L画像の撮影枚数に着目しているため、最初のL画像の露光開始から最後のL画像の露光終了までの期間の長さをH画像の露光期間の長さと合わせて記載していないが、実際には第1の実施形態で説明したように露光タイミングを設定する。
1フレーム目の撮影が開始されると、主制御部106はS802で変数Nを初期値(0)にする。そしてS803で主制御部106は、(N+1)枚目のL画像を撮影する。これにより、図9における1フレーム目の1枚目(N=0)の撮影が行われる。
次にS804において主制御部106はN=1かどうか、つまり、直前のS803で2枚目のL画像が撮影されたかを判定する。N=0で、まだ1枚しかL画像が撮影されていない場合、主制御部106は処理をS808に進め、カウントを一つ進める(N=N+1)。S809で主制御部106は、現フレーム期間におけるL画像の撮影枚数が前フレームで定められた上限枚数に等しいかどうか(N=Nmaxかどうか)判定する。現フレームに設定された上限枚数まで撮影を行なっていない場合、主制御部106は処理をS803に戻し、2枚目の撮影を行う。
2枚目の撮影が行われると、S804からS805に処理が移行し、S805で主制御部106は動き検出部110を用いて1枚目(N=0)と2枚目(N=1)のL画像から動き検出を行なう。動き検出の結果、動きがあると判断されると主制御部106は処理をS806に進め、次フレーム期間におけるL画像の撮影上限枚数を4枚に設定する(Nmax=3)。そして、主制御部106は処理をS808に進め、カウントを一つ進める(N=N+1)。
一方、S805における動き検出の結果、動きがないと判定されると、主制御部106は処理をS807に進め、次フレーム期間におけるL画像の撮影上限枚数を2枚に設定する(Nmax=1)。
S807またはS808で次フレーム期間におけるL画像の撮影上限枚数を設定した以降は、現フレーム期間に設定されている撮影上限枚数のL画像が撮影されるまで、S803からS809までの動作を繰り返す。
S809で上限枚数まで撮影を終えたと判断(N=Nmax)されると、主制御部106は処理をS810に進め、撮影終了の指示があったか否かを判断する。
S810で撮影終了指示が検出されなければ、主制御部106は処理をS811に進め、次フレーム期間の撮影に進み、S802からS810までの動作を繰り返す。
一方、S810で撮影終了の指示が検出されれば、主制御部106は処理をS812に進め、撮影を終了する。
S810で撮影終了指示が検出されなければ、主制御部106は処理をS811に進め、次フレーム期間の撮影に進み、S802からS810までの動作を繰り返す。
一方、S810で撮影終了の指示が検出されれば、主制御部106は処理をS812に進め、撮影を終了する。
本実施形態においては、説明を簡便にするために被写体に動きがあるか否かで、1フレーム期間内に行うL画像の撮影枚数(回数)を2段階で変更する方法について説明したが、被写体の動き量に応じて撮影枚数(回数)をさらに細かく多段階で変更してもよい。
S805において動き検出部110(検出手段および領域検出手段)で行われる被写体の動き検出動作について図10を用いて説明する。
動き検出はフレーム期間内に撮影される1枚目と2枚目のL画像を用いて行われる。動き検出部110は、2枚のL画像を例えば水平方向と垂直方向にそれぞれ3等分して9ブロックに分割し、対応するブロック間の差分から動き領域を検出する。以下の式(2)は、ブロック(1)における差分を算出する式を示す。
動き検出はフレーム期間内に撮影される1枚目と2枚目のL画像を用いて行われる。動き検出部110は、2枚のL画像を例えば水平方向と垂直方向にそれぞれ3等分して9ブロックに分割し、対応するブロック間の差分から動き領域を検出する。以下の式(2)は、ブロック(1)における差分を算出する式を示す。
FrN(x,y)は2枚目(N=1)のL画像の座標(x,y)の画素値で、FrN−1(x,y)は1枚目(N=0)の画像の座標(x,y)の画素値である。動き検出部110はこのような差分の総和をブロック(1)の差分Diff1として求める。動き検出部110はブロック(2)〜(9)についても同様にして、Diff2からDiff9まで算出し、Diff1からDiff9までの総和Diffが予め定めた閾値Th未満の場合には動きがないと判断し、閾値Th以上の場合には動きがあると判断する。
また、動き検出部110は、動きの有無だけでなく、動きの方向を検出してもよい。動きの方向に関してもブロックごとに判定を行う。具体的には、図10に示すように基準画像(1枚目のL画像)を、水平、垂直方向に一定画素(本実施形態では水平にα画素、垂直にβ画素)ずらした画像A〜H(V=A〜H)と、2枚目のL画像との差分をとり判定する。ブロックごとに、画像A〜HとN−1フレームと差分を取り、もっとも差分が小さい画像の方向に動いたと判定する。例えば、ブロック(1)について、画像Aと2枚目のL画像との差分が一番小さい場合、ブロック(1)は左上方向に動いたと判断される。
動きがあると判断された場合には、全ブロックについて動き方向の検出を行ない、領域ごとに動体の有無及び方向を判断する。動きの方向および量は、L画像を合成する場合に利用するなどしてもよい。
動きがあると判断された場合には、全ブロックについて動き方向の検出を行ない、領域ごとに動体の有無及び方向を判断する。動きの方向および量は、L画像を合成する場合に利用するなどしてもよい。
以上説明したように、本実施形態では、被写体の動きが少ないほどL画像の撮影枚数を少なくすることで、第1の実施形態の効果に加え、消費電力の抑制および、ノイズを抑えたより良質なHDR画像の生成を実現することができる。
(第3の実施形態)
本発明は、H画像と同じフレーム期間内で撮影した複数枚のL画像を合成して用いることで、動きがある被写体があるシーンについても違和感の少ないHDR画像の生成を実現するものである。動画撮影時におけるフレーム期間は数十分の1秒という短い時間ではあるが、被写体の動きが極端に早い場合などは合成後のL画像が被写体の動きを連続的に捉えきれない場合も発生し得る。
本発明は、H画像と同じフレーム期間内で撮影した複数枚のL画像を合成して用いることで、動きがある被写体があるシーンについても違和感の少ないHDR画像の生成を実現するものである。動画撮影時におけるフレーム期間は数十分の1秒という短い時間ではあるが、被写体の動きが極端に早い場合などは合成後のL画像が被写体の動きを連続的に捉えきれない場合も発生し得る。
合成後のL画像で被写体の動きを連続的に捉えられている場合と捉えられていない場合では、H画像との合成により生成されるHDR画像の被写体輝度が変化してしまう可能性がある。連続してHDR画像を生成するHDR動画撮影においては、被写体輝度が変化することで、違和感のある動画となってしまう。
そのため、本実施形態では、動きのある領域に関しては、被写体の動き量によらず被写体の動きを連続的に捉えることができるH画像の信号値を用いてHDR画像を生成する。こうすることで、被写体の動きを捉えられたか否かに関わらず、HDR画像の輝度の変化を抑制もしくは発生させないようにすることができる。
図11は、HDR画像生成部108において、合成後のL画像の1つの画素値と、H画像の1つの画素値とから、HDR画像の1つの画素値を決定する処理の例を模式的に示している。
図11(b)に示すHDR画像の左上角の画素Gr(out)の画素値は、図11(a)に示す合成後のL画像およびH画像の対応する位置(左上角)の画素、すなわち、Gr_L(0,0)、Gr_H(0,0)の画素値に基づいて算出される。
図11(b)に示すHDR画像の左上角の画素Gr(out)の画素値は、図11(a)に示す合成後のL画像およびH画像の対応する位置(左上角)の画素、すなわち、Gr_L(0,0)、Gr_H(0,0)の画素値に基づいて算出される。
HDR画像生成部108は、図11(b)に示すGr(out)の画素値を例えば以下の式(式3)に従って算出する。
出力[Gr(out)]=[Gr_H(0,0)×(Gain_H)×WH]+[Gr_L(0,0)×(Gain_L)×WL] 式(3)
ここで、
Gain_H:H画像の感度比を補償するゲイン値
Gain_L:L画像の感度比を補償するゲイン値
WH:H画像の画素に対する重み係数
WL:L画像の画素に対する重み係数
(ただし、WH+WL=1)
である。
出力[Gr(out)]=[Gr_H(0,0)×(Gain_H)×WH]+[Gr_L(0,0)×(Gain_L)×WL] 式(3)
ここで、
Gain_H:H画像の感度比を補償するゲイン値
Gain_L:L画像の感度比を補償するゲイン値
WH:H画像の画素に対する重み係数
WL:L画像の画素に対する重み係数
(ただし、WH+WL=1)
である。
図12(a)〜(d)はL画像、H画像、HDR画像(動体領域)、HDR画像(動体領域以外)の入出力特性の例を表す図である。なお、動きのある領域(動体領域)の検出に関しては、第2の実施形態で説明した通りであるため、ここでの説明は省略する。
L画像合成部109では適正露出のための露光時間より短い、1段アンダーの低露出条件で撮影されたものと同等の(フルレンジ−1段のレンジを有する)合成L画像を生成する(図12(a)に点線で示す入出力特性)。そして、合成L画像に対して信号処理部104の露出補正処理により+1段のゲインアップを適用することで、フルレンジ(図12(a)に実線で示す入出力特性を有する)画像に補正される。このゲインアップにより、出力レンジの下位側では黒潰れが生じやすい。
L画像合成部109では適正露出のための露光時間より短い、1段アンダーの低露出条件で撮影されたものと同等の(フルレンジ−1段のレンジを有する)合成L画像を生成する(図12(a)に点線で示す入出力特性)。そして、合成L画像に対して信号処理部104の露出補正処理により+1段のゲインアップを適用することで、フルレンジ(図12(a)に実線で示す入出力特性を有する)画像に補正される。このゲインアップにより、出力レンジの下位側では黒潰れが生じやすい。
一方、H画像は、適正露出のための露光時間より長い、1段オーバーの高露出条件にてフルレンジ+1段のレンジを用いて撮影がなされる(図12(b)に点線で示す入出力特性)。そして、信号処理部104の露出補正処理により−1段のゲインダウンで適正レンジとなるように補正される(図12(b)に実線で示す入出力特性)。この際に出力レンジの上位側では、レンジオーバーにあるため正しく再現できず、白飛びとなる。
このような合成L画像と、H画像とから、HDR画像生成部108は、黒潰れしている領域(0〜a)についてはH画像の画素値を、白飛びしている領域(b〜最大入力)については合成L画像の画素値を使用して合成画像を生成する。この際、黒潰れも白飛びもしていない領域(a〜b)が発生する。
本実施形態では、黒潰れも白飛びもしていない画素値の領域について、動体領域と、動体領域外で処理を異ならせる。
本実施形態では、黒潰れも白飛びもしていない画素値の領域について、動体領域と、動体領域外で処理を異ならせる。
図13は、式(3)のゲイン値Gain_HとGain_L、重み係数WHとWLの設定例を示し、(a)は動体領域以外の領域、(b)は動体領域に対する設定例である。
まず図13(a)の動体領域以外の領域のゲイン値及び重み係数の設定値について説明する。
ここでは、H画像の画素値に応じて、異なる係数を利用する設定としている。なお、各画素の画素値は10bit(0〜1023)の入力であるとする。
H画像の画素値(data)に応じて以下の設定とする。
i)0≦data<200の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
ii)200≦data<1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0.5,WL=0.5
iii)data=1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0,WL=1.0
ここでは、H画像の画素値に応じて、異なる係数を利用する設定としている。なお、各画素の画素値は10bit(0〜1023)の入力であるとする。
H画像の画素値(data)に応じて以下の設定とする。
i)0≦data<200の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
ii)200≦data<1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0.5,WL=0.5
iii)data=1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0,WL=1.0
まず、ゲイン値(補正ゲイン)については、H画像は1段オーバーの高露出条件で撮影しているため、適正露出に戻すため、H画像の画素値によらずGain_H=0.5として設定される。同様に、L画像は1段アンダーの低露出条件で撮影しているため、H画像の画素値によらずGain_L=2.0として設定される。
重み係数WHと重み係数WLに関しては、H画像の画素値に応じて異なる。その理由について以下に説明する。
i)0≦data<200の場合
この範囲は、合成L画像において黒潰れが生じるか、SN比が低いと判断される部分である。従って、上限値の200は一例であり、他の値であってもよいし、合成L画像の解析によって動的に設定されてもよい。
i)0≦data<200の場合
この範囲は、合成L画像において黒潰れが生じるか、SN比が低いと判断される部分である。従って、上限値の200は一例であり、他の値であってもよいし、合成L画像の解析によって動的に設定されてもよい。
この場合、L画像の画素値の信頼度が低いと判断されるため、L画像に対する重み係数WLを0、H画素に対する重み係数WHを1として、H画像の画素値のみに依存したHDR画像の画素値を算出する。
ii)data=1023の場合
H画像の画素値(data)が上限値の場合、白とびしていると考えられるため、H画像の画素値を使用することができない。したがって、H画像に対する重み係数WHを0、L画素に対する重み係数WLを1として、L画像の画素値のみに依存したHDR画像の画素値を算出する。
H画像の画素値(data)が上限値の場合、白とびしていると考えられるため、H画像の画素値を使用することができない。したがって、H画像に対する重み係数WHを0、L画素に対する重み係数WLを1として、L画像の画素値のみに依存したHDR画像の画素値を算出する。
iii)200≦data<1023の場合
H画像の画素値(data)が中程度である場合、被写体の明るさが中程度であり、L画像の画素値のSN比も良好であると推定される。このような場合は、低感度画素の画素値と高感度画素の画素値をブレンドする。ここでは一例として、WLおよびWHをいずれも0.5として、L画像とH画像の画素値の平均値をHDR画像の画素値として算出する。
H画像の画素値(data)が中程度である場合、被写体の明るさが中程度であり、L画像の画素値のSN比も良好であると推定される。このような場合は、低感度画素の画素値と高感度画素の画素値をブレンドする。ここでは一例として、WLおよびWHをいずれも0.5として、L画像とH画像の画素値の平均値をHDR画像の画素値として算出する。
一方、動体領域のゲイン値及び重み係数の設定値は、図13(b)に示すように、H画像の画素値(data)に応じて以下の設定とする。
i)0≦data<200の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
ii)200≦data<1023の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
iii)data=1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0,WL=1.0
i)0≦data<200の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
ii)200≦data<1023の場合:Gain_H=0.5,Gain_L=2.0,WH=1.0,WL=0
iii)data=1023の場合:Gain_H=0.5,Gain_L=2.0,WH=0,WL=1.0
まず、ゲイン値:Gain_Hおよびゲイン値:Gain_Lについては、動体領域以外の領域同様に、H画像の画素値によらずGain_H=0.5,Gain_L=2.0に設定される。
重み係数WHと重み係数WLの設定される値に関しても、i)0≦data<200の場合と、ii)data=1023の場合は動体領域以外の領域と同様である。
一方、iii)200≦data<1023の場合、合成L画像のSN比は良好であると推定されるが、L画像では被写体の動きを連続的に捉えていない可能性があるため、動体領域についてそれ以外の領域ほど合成L画像の信頼度は高くないと判断される。従って、動体領域については、0≦data<200の場合と同様、L画像に対する重み係数WLを0、H画素に対する重み係数WHを1として、H画像の画素値のみに依存したHDR画像の画素値を算出する。
一方、iii)200≦data<1023の場合、合成L画像のSN比は良好であると推定されるが、L画像では被写体の動きを連続的に捉えていない可能性があるため、動体領域についてそれ以外の領域ほど合成L画像の信頼度は高くないと判断される。従って、動体領域については、0≦data<200の場合と同様、L画像に対する重み係数WLを0、H画素に対する重み係数WHを1として、H画像の画素値のみに依存したHDR画像の画素値を算出する。
このように、動き検出された領域以外の領域については、L画像での黒潰れもH画像での白とびもない中間域ではL画像とH画像の両方の画素値を用いてHDR画像の画素値を算出する。一方、動き検出された領域に関しては、中間域においてもL画像で黒潰れしている範囲と同様に、H画像の画素値のみからHDR画像の画素値を算出する。
本実施形態によれば、被写体の動きが非常に速い場合であっても、違和感が抑制されたHDR画像を生成することができる。
(他の実施形態)
なお、1枚目と2枚目のL画像から被写体の動き量を検出し、複数のL画像を合成しても被写体の動きをH画像と同様に捉えられないと判断される場合に、第3の実施形態を実施し、そうでない場合には第1の実施形態を実施するようにしてもよい。
なお、1枚目と2枚目のL画像から被写体の動き量を検出し、複数のL画像を合成しても被写体の動きをH画像と同様に捉えられないと判断される場合に、第3の実施形態を実施し、そうでない場合には第1の実施形態を実施するようにしてもよい。
また、1フレーム期間内に撮影するL画像の数が少ない場合ほど、また被写体の移動速度が速いほど、H画像と合成後のL画像とにおける被写体領域の差が大きくなるため、これらを考慮して第1の実施形態と第3の実施形態とを切り替えるように構成してもよい。具体的には、同じ被写体移動速度(または動き量)であっても、L画像の最大撮影数が多いほど、第3の実施形態が実施されにくく、L画像の最大撮影数が少ないほど、第3の実施形態が実施されやすくなるようにすることができる。
もちろん、第2の実施形態における最大撮影数の制御は、第1および第3の実施形態の少なくとも1つ以上と組み合わせることができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (11)
- 撮像素子と、
前記撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御手段と、
前記撮像素子のうち、第1の露光時間で撮影を行った領域から読み出された信号から得られる第1の画像と、前記第1の露光時間よりも短い第2の露光時間で撮影を行った領域から読み出された信号から得られる第2の画像とを合成した合成画像を生成する合成手段と、を有し、
前記制御手段が、前記第1の露光時間での撮影が1回行われる予め定められた期間内に、前記第2の露光時間での撮影が複数回行われるように前記制御を行い、
前記合成手段が、前記予め定められた期間内の撮影で得られる前記第1の画像と、複数の前記第2の画像とから前記合成画像を生成する、ことを特徴とする撮像装置。 - 前記撮像素子には複数の画素が2次元配列され、
前記制御手段は、前記画素の所定数の行を単位として前記制御を行う、ことを特徴とする請求項1記載の撮像装置。 - 前記合成手段が、前記合成画像を、前記複数の前記第2の画像の合成画像と、前記第1の画像とを合成することにより生成する、ことを特徴とする請求項1または請求項2に記載の撮像装置。
- 前記制御手段は、前記予め定められた期間内に行う複数回の前記第2の露光時間での撮影の最初の撮影の露光開始から、最後の撮影の露光終了までの期間の時間中心が、前記第1の露光時間での撮影における露光開始から終了までの期間の時間中心と等しくなるように前記制御を行う、ことを特徴とする請求項1から請求項3の何れか1項に記載の撮像装置。
- 前記制御手段は、前記予め定められた期間内に行う複数回の前記第2の露光時間での撮影の最初の撮影の露光開始から、最後の撮影の露光終了までの期間の長さが、前記第1の露光時間での撮影における露光開始から終了までの期間の長さと等しくなるように前記制御を行う、ことを特徴とする請求項1から請求項4の何れか1項に記載の撮像装置。
- 前記予め定められた期間に得られる2つの前記第2の画像から動きの有無を検出する動き検出手段をさらに有し、
前記制御手段は、前記検出手段により動きが検出されない場合は、動きが検出された場合よりも、次の前記予め定められた期間における前記第2の露光時間での撮影の回数を少なくする、ことを特徴とする請求項1から請求項5のいずれか1項に記載の撮像装置。 - 前記予め定められた期間に得られる2つの前記第2の画像から動きのある領域を検出する動き領域検出手段をさらに有し、
前記合成手段は、前記動きのある領域については、前記第2の画像に基づかずに前記第1の画像に基づいて前記合成画像を生成する、ことを特徴とする請求項1から請求項6のいずれか1項に記載の撮像装置。 - 前記制御手段は、前記第1の露光時間を、適正露出のための露光時間よりも長く設定し、前記第2の露光時間を、前記適正露出のための露光時間よりも短く設定する、ことを特徴とする請求項1から請求項7のいずれか1項に記載の撮像装置。
- 撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御工程と、
合成手段が、前記撮像素子のうち、第1の露光時間で撮影を行った領域から読み出された信号から得られる第1の画像と、前記第1の露光時間よりも短い第2の露光時間で撮影を行った領域から読み出された信号から得られる第2の画像とを合成した合成画像を生成する合成工程と、を有し、
前記制御工程において前記制御手段は、前記第1の露光時間での撮影が1回行われる予め定められた期間内に、前記第2の露光時間での撮影が複数回行われるように前記制御を行い、
前記合成工程において前記合成手段は、前記予め定められた期間内の撮影で得られる前記第1の画像と、複数の前記第2の画像とから前記合成画像を生成する、ことを特徴とする撮像装置の制御方法。 - コンピュータに請求項9記載の撮像装置の制御方法の各工程を実施させるためのプログラム。
- コンピュータに請求項9記載の撮像装置の制御方法の各工程を実施させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021802A JP2014154982A (ja) | 2013-02-06 | 2013-02-06 | 撮像装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021802A JP2014154982A (ja) | 2013-02-06 | 2013-02-06 | 撮像装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014154982A true JP2014154982A (ja) | 2014-08-25 |
Family
ID=51576461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013021802A Withdrawn JP2014154982A (ja) | 2013-02-06 | 2013-02-06 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014154982A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015082677A (ja) * | 2013-10-21 | 2015-04-27 | ソニー株式会社 | イメージセンサおよびその動作方法、並びに電子機器 |
JP2017504262A (ja) * | 2014-01-10 | 2017-02-02 | クアルコム,インコーポレイテッド | 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 |
WO2017077775A1 (ja) * | 2015-11-05 | 2017-05-11 | ソニー株式会社 | 固体撮像素子、撮像装置、及び、電子機器 |
JP2017162314A (ja) * | 2016-03-10 | 2017-09-14 | キヤノン株式会社 | 画像処理装置 |
WO2017169216A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 |
JP2018045386A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社デンソー | 視線計測装置 |
WO2019225071A1 (ja) * | 2018-05-23 | 2019-11-28 | ソニー株式会社 | 信号処理装置及び信号処理方法、並びに撮像装置 |
CN110786003A (zh) * | 2017-05-11 | 2020-02-11 | 索尼半导体解决方案公司 | 摄像器件、摄像器件驱动方法和电子设备 |
CN111917993A (zh) * | 2019-05-07 | 2020-11-10 | 株式会社摩如富 | 图像处理装置、方法、拍摄装置及其程序的记录介质 |
US10917591B2 (en) | 2017-04-14 | 2021-02-09 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and method of controlling solid-state imaging device, and electronic device |
JP2021168499A (ja) * | 2015-09-30 | 2021-10-21 | 株式会社ニコン | 撮像素子及び撮像装置 |
WO2022097999A1 (ko) * | 2020-11-04 | 2022-05-12 | 한국 천문 연구원 | 변형거울 없는 인공지능 적응광학 시스템 |
US11388323B2 (en) | 2018-02-05 | 2022-07-12 | Sony Corporation | Imaging apparatus and imaging method |
WO2023070660A1 (zh) * | 2021-11-01 | 2023-05-04 | 华为技术有限公司 | 处理图像的方法及装置 |
-
2013
- 2013-02-06 JP JP2013021802A patent/JP2014154982A/ja not_active Withdrawn
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015082677A (ja) * | 2013-10-21 | 2015-04-27 | ソニー株式会社 | イメージセンサおよびその動作方法、並びに電子機器 |
US10091434B2 (en) | 2014-01-10 | 2018-10-02 | Qualcomm Incorporated | System and method for capturing digital images using multiple short exposures |
JP2017504262A (ja) * | 2014-01-10 | 2017-02-02 | クアルコム,インコーポレイテッド | 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 |
JP2021168499A (ja) * | 2015-09-30 | 2021-10-21 | 株式会社ニコン | 撮像素子及び撮像装置 |
US10541259B2 (en) | 2015-11-05 | 2020-01-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device, imaging device, and electronic apparatus |
WO2017077775A1 (ja) * | 2015-11-05 | 2017-05-11 | ソニー株式会社 | 固体撮像素子、撮像装置、及び、電子機器 |
CN108293098B (zh) * | 2015-11-05 | 2021-01-19 | 索尼半导体解决方案公司 | 固态成像器件、成像装置和电子设备 |
CN108293098A (zh) * | 2015-11-05 | 2018-07-17 | 索尼半导体解决方案公司 | 固态成像器件、成像装置和电子设备 |
US10846837B2 (en) | 2016-03-10 | 2020-11-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
WO2017154423A1 (ja) * | 2016-03-10 | 2017-09-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2017162314A (ja) * | 2016-03-10 | 2017-09-14 | キヤノン株式会社 | 画像処理装置 |
US10498984B2 (en) | 2016-03-31 | 2019-12-03 | Sony Corporation | Solid-state image pickup device, method of driving the same, and electronic apparatus |
WO2017169216A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 |
WO2018051681A1 (ja) * | 2016-09-13 | 2018-03-22 | 株式会社デンソー | 視線計測装置 |
JP2018045386A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社デンソー | 視線計測装置 |
US10917591B2 (en) | 2017-04-14 | 2021-02-09 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and method of controlling solid-state imaging device, and electronic device |
CN110786003A (zh) * | 2017-05-11 | 2020-02-11 | 索尼半导体解决方案公司 | 摄像器件、摄像器件驱动方法和电子设备 |
US11388323B2 (en) | 2018-02-05 | 2022-07-12 | Sony Corporation | Imaging apparatus and imaging method |
WO2019225071A1 (ja) * | 2018-05-23 | 2019-11-28 | ソニー株式会社 | 信号処理装置及び信号処理方法、並びに撮像装置 |
US11297252B2 (en) | 2018-05-23 | 2022-04-05 | Sony Corporation | Signal processing apparatus and signal processing method, and imaging device |
US11159725B2 (en) | 2019-05-07 | 2021-10-26 | Morpho, Inc. | Image processing apparatus, image processing method, and recording medium |
CN111917993B (zh) * | 2019-05-07 | 2022-06-07 | 株式会社摩如富 | 图像处理装置、方法、拍摄装置及其程序的记录介质 |
CN111917993A (zh) * | 2019-05-07 | 2020-11-10 | 株式会社摩如富 | 图像处理装置、方法、拍摄装置及其程序的记录介质 |
WO2022097999A1 (ko) * | 2020-11-04 | 2022-05-12 | 한국 천문 연구원 | 변형거울 없는 인공지능 적응광학 시스템 |
WO2023070660A1 (zh) * | 2021-11-01 | 2023-05-04 | 华为技术有限公司 | 处理图像的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014154982A (ja) | 撮像装置およびその制御方法 | |
JP6172967B2 (ja) | 撮像装置、及びその制御方法 | |
JP5215262B2 (ja) | 撮像装置 | |
TWI390971B (zh) | 成像裝置,成像處理方法及成像控制程式 | |
JP5715436B2 (ja) | 撮像装置、及びその制御方法 | |
JP2013066145A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2012063634A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US9210333B2 (en) | Image capturing apparatus for generating composite image and control method thereof | |
JP2012235332A (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
JP2014050042A (ja) | 画像処理装置及び固体撮像装置 | |
JP2013066140A (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
JP2009088927A (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
JP2008252790A (ja) | 固体撮像素子の駆動方法,撮像装置,撮像装置の画像合成方法 | |
CN109474781B (zh) | 摄像装置、摄像装置的控制方法、记录介质 | |
JP2016208402A (ja) | 固体撮像素子およびその駆動方法、並びに電子機器 | |
JP5947625B2 (ja) | 撮像装置、及びその制御方法 | |
JP2014175778A (ja) | 撮像装置および撮像方法 | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
JP2015056758A (ja) | 撮像装置、その制御方法、及び制御プログラム | |
JP2014155002A (ja) | 撮像装置 | |
JP4049142B2 (ja) | 撮像装置、撮像素子駆動装置および撮像方法 | |
CN110233972B (zh) | 一种摄像方法和装置 | |
JP4693602B2 (ja) | 撮像装置、及び画像用信号処理方法 | |
JP2020022034A (ja) | 撮像素子、撮像装置および制御方法 | |
JP2003234964A (ja) | ディジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161012 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20161109 |