JP2005065119A - 撮像装置及び方法 - Google Patents

撮像装置及び方法 Download PDF

Info

Publication number
JP2005065119A
JP2005065119A JP2003295562A JP2003295562A JP2005065119A JP 2005065119 A JP2005065119 A JP 2005065119A JP 2003295562 A JP2003295562 A JP 2003295562A JP 2003295562 A JP2003295562 A JP 2003295562A JP 2005065119 A JP2005065119 A JP 2005065119A
Authority
JP
Japan
Prior art keywords
exposure
image
luminance distribution
exposure time
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003295562A
Other languages
English (en)
Other versions
JP2005065119A5 (ja
JP4257165B2 (ja
Inventor
Toshiro Kinugasa
敏郎 衣笠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003295562A priority Critical patent/JP4257165B2/ja
Publication of JP2005065119A publication Critical patent/JP2005065119A/ja
Publication of JP2005065119A5 publication Critical patent/JP2005065119A5/ja
Application granted granted Critical
Publication of JP4257165B2 publication Critical patent/JP4257165B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数種類の露光時間で撮像を行なってダイナミックレンジを拡大する場合、被写体の動きによる影響を抑圧できるようにする。
【解決手段】輝度分布検出部7は、信号処理部3から出力される輝度信号SYの輝度分布を検出し、この輝度分布での信号レベル範囲毎に露光時間Tを決める。決められた露光時間Tは露光時間設定信号STによって駆動部2に通知され、駆動部2はこの露光時間設定信号STに応じて撮像素子1を駆動する。撮像素子1では、輝度分布検出部7で決められた露光時間Tが順次設定され、夫々の露光時間で露光が行なわれる毎に、走査が行なわれて画像信号が出力される。これら露光時間毎の画像信号は時系列で得られ、信号処理部3において、メモリ4で所定時間長の同時化された信号に変換された後、加算部5で所定の重み付けがなされて加算される。
【選択図】図1

Description

本発明は、画素群を有する撮像装置に係わり、特に、輝度分布が広い範囲にわたる被写体の撮像に好適な撮像装置及び方法に関する。
半導体プロセス技術の進展などにより、CCDやMOSタイプの撮像素子の性能が向上し、ビデオカメラやデジタルスチルカメラあるいはスキャナーなどの撮像装置に広範に使われている。
撮像装置に要求される性能は種々あり、代表的な性能としてダイナミックレンジが挙げられる。即ち、撮像する対象(被写体)の照明状態がどのような状態であっても、その高輝度部が白一色になって諧調を失う、いわゆる白飛びやその低輝度部が雑音に埋もれてしまう、いわゆる黒沈みが生じないように、信号のダイナミックレンジをなるべく広くすることが望ましい。
しかしながら、撮像素子のダイナミックレンジは、人間の目と比較すると、非常に狭く、レンズ絞りや電子シャッタなどの光量制限手段や露光時間制御手段によって、屋外や屋内での照明状態の変化に対応させている。この場合でも、例えば、屋内の人物と窓の外の景色とを同時に撮像する場合のように、同一画面内に非常に明るい部分と暗い部分がある場合には、一般的には、白飛びや黒沈みが発生してしまう。
以上の撮像環境でも、白飛びや黒沈みを軽減して撮像素子のダイナミックレンジを拡張するために、露光時間の異なる2枚以上の画像を用いる方法が知られている(例えば、特許文献1参照)。
これは、露光時間が短い露光と長い露光を行ない、短い露光時間を用いて得られる被写体の高輝度の部分の画像信号と、長い露光時間を用いて得られる被写体の低輝度の部分の画像信号とを合成することにより、白飛びや黒沈みを軽減するものである。
特開平6−141229号公報
しかしながら、上記方法によると、複数の露光を時系列で行なうので、被写体が動く場合や照明状態が変化する場合、短い露光時間を用いて得られた画像と長い露光時間を用いて得られた画像とに位置ずれが生じ、これら合成して得られる画像では、画面上でこの位置ずれよる画質の劣化が生ずることになる。
本発明の目的は、かかる問題を解消し、合成画面の位置ずれによる画質の劣化を防止して、ダイナミックレンジを拡張することができるようにした撮像装置及び方法を提供することにある。
上記目的を達成するために、本発明は、被写体の輝度情報に基づいて露光回数を制御する。これにより、被写体の輝度分布が狭くなるに従って露光回数を少なくできるので、画面上での被写体の動きの影響が改善される。
また、露光回数もしくは合計の露光に要する時間に比例して撮像素子の信号読み出し速度を変化させる。これにより、露光回数が増えても、全体の露光に要する時間はほとんど変化がなく、被写体の動きの影響が低減できる。
さらに、画像の動きに応じて露光回数や時間を制御する。これにより、動きの大きい被写体の場合には、露光回数や露光時間を低減できるので、被写体の動きの影響を軽減できる。
さらにまた、撮像素子に画素データの読み出し経路を複数設けた。これにより、順次行なわれる異なる露光時間による露光を時間的に互いに近づけることができ、被写体の動きの影響を軽減できる。
以上説明したように、本発明によると、露光回数もしくは露光時間、あるいは撮像素子の信号読み出し速度を制御することにより、または、撮像素子の読み出し経路を複数設けることにより、ダイナミックレンジを広げながら、画面上での被写体の動きによる影響を改善することができる。
以下、本発明の実施形態を図面により説明する。
図1は本発明による撮像装置及び方法の第1の実施形態を示す構成図であって、1は撮像素子、2は駆動部、3は信号処理部、4はメモリ、5は加算部、6は輝度・色信号生成部、7は輝度分布検出部、8,8a,8bは画素である。
同図において、駆動部2からの駆動信号PDによって駆動される撮像素子1から出力される画像信号SPは信号処理部3で処理され、輝度信号SYと色信号SCとが生成される。輝度分布検出部7はこの輝度信号SYから撮像素子1での輝度分布を検出し、この輝度分布をもとに撮像素子1の画素8が配列されてなる撮像領域を撮像する被写体の異なる照度範囲毎に区分し、区分された領域(以下、輝度領域という)毎にその照度範囲に応じた露光時間Tを設定する。かかる露光時間Tは、後述するように、それに該当する照度範囲内で画素8が飽和することなく、従って、白飛びのない良好な撮像が可能に設定されるものである。つまり、撮像領域での各画素8には、それが属する輝度領域の照度範囲に応じた露光時間Tが設定されて画素データの読み取りが行なわれることになる。例えば、画素8aと画素8bとが異なる輝度領域に属しているとすると、画素8aの画素データは露光時間Taで露光されときに有効とし、画素8bの画素データは露光時間Tbで露光されたときに有効とする。
輝度分布検出部7は、検出した輝度分布から撮像素子1の撮像領域でどのような輝度領域が生じているかを検出して、夫々の輝度領域に該当する(即ち、良好に撮像できる)露光時間Tを割り当る(設定する)処理を行ない、この処理結果を示す情報を露光時間設定信号STとして駆動部2に供給する。駆動部2は、この露光時間設定信号STに基づいて、設定された露光時間Tで撮像素子1を動作させるための露光時間切換パルスと撮像素子1での走査のための走査パルスなどからなる駆動パルスPDを生成する。撮像素子1はこの駆動パルスPDに基づいて動作するものであって、輝度分布検出部7で設定された露光時間Tが順番に設定されて露光時間T毎に画素データの読み取りを行ない(これを、露光時間Tでの撮像という)、これら露光時間Tの画像信号SPを出力する(ここでは、撮像領域に3個の輝度領域が生じ、従って、3種類の露光時間Tが順番に切り換えられて、夫々の露光時間Tで撮像が行なわれるものとしている)。この場合、これら露光時間T毎の画素データの読み取りタイミングが異なるため、これら露光時間T毎に得られる画像信号SPのタイミングがずれている。そこで、信号処理部3のメモリ4でこれら画像信号SPが同時化され、加算部5で所定の重み付けがなされて加算されて1つの画像信号SPAとする。
ここで、この加算部5での重み付けの一具体例としては、夫々の露光時間Tで正規化する方法がある。即ち、いま、3種類の露光時間T1,T2,T3(但し、T1>T3>T2)を用い、露光を3回行なうものとすると、露光時間T1で読み出された画像信号SPに対しては重み係数を1とし、露光時間T2で読み出された画像信号SPに対しては重み係数をT1/T2とし、露光時間T3で読み出された画像信号SPに対しては重み係数をT1/T3とするものである。
加算部5から出力される画像信号SPAは輝度・色信号生成部6に供給され、輝度信号SYと色信号SCとが生成される。撮像素子1から出力される露光時間T1,T2,T3夫々での画像信号SPは、かかる露光時間Tにより、ほぼ同じ信号レベル範囲の信号として出力されるが、上記の重み付けにより、露光時間T1の輝度領域からの画像信号SPに対し、露光時間T2のときの画像信号SPはその信号レベル範囲がT1/T2倍となり、露光時間T3のときの画像信号SPはその信号レベル範囲がT1/T3倍となる。従って、信号処理部3から出力される輝度信号SYは、これが得られたときの露光時間T毎に信号レベル範囲が異なることになる。
輝度分布検出部7は、この輝度信号SYを用いて撮像素子1の撮像領域での輝度分布を検出し、この撮像領域をこの輝度分布に応じて複数の輝度領域に区分し、各領域毎に露光時間Tを設定して露光時間設定信号STを生成する。なお、輝度分布と露光時間Tとの対応関係は予め設定されている。
ここで、検出された輝度分布とそれに対する露光時間Tの設定について説明する。
図2は横軸に信号レベルを、縦軸に各信号レベルに対する信号数(画素数)を夫々取ったものであって、この横軸の信号レベルは照度に対応するものであり、照度範囲全体を信号レベルに換算して表わすものである。ここでは、照明条件の良い室内とその窓を通して屋外とを同時に撮像する場合を想定している。
D(ダイナミック)レンジ1は露光時間T1で室内を良好に撮像できる(即ち、画素8が飽和しない)信号レベル範囲であって、室内の照度に応じた輝度分布(信号レベル毎の画素数の分布)が得られる。Dレンジ2は露光時間T2で室内から屋外を良好に撮像できる信号レベル範囲であって、室外の照度に応じた輝度分布が得られる。即ち、室内はその信号レベルがDレンジ1内にあり、良好に撮影するときには、露光時間TをT1に設定しなければならない。ここで、露光時間T1で室内とその窓を通して屋外とを同時に撮像しようとすると、室内と屋外との照度の大きな差により、屋外のDレンジ2では、画素8が飽和し、画像が白一色となることになる。
また、屋外はその信号レベルがDレンジ2内にあり、良好に撮像するときには、露光時間TをT2にする。ここで、露光時間T2で室内とその窓を通して屋外とを同時に撮像しようとすると、室内のDレンジ1はその信号レベルが雑音レベル以下となる。
このように、室内と屋外とを同時に撮像するときには、室内と屋外との照度の大きな差により、Dレンジ1,2の2つの信号レベル群に分かれる場合が多く、1種類の露光時間Tでは、全体として露光状態が良好な画像を得ることができない。この第1の実施形態では、夫々の信号レベル群毎に露光時間Tを、即ち、2種類の露光時間T1,T2を設定して露光回数を2回にし、夫々の露光時間T1,T2で白飛びや黒沈みがない良好な画像信号が得られるように(即ち、良好な撮像ができるように)、撮像素子1のダイナミックレンジを拡張するものである。輝度分布検出部7がかかる輝度分布、即ち、信号レベル群を検出し、夫々毎に露出時間Tを設定するものである。
図3は室内とその窓からの屋外とを同時に撮像するものであるが、室内の照明が均一でない場合の輝度分布の例を示すものである。このような場合、室内の照度と屋外の照度とは大きな差があるとともに、室内においても、照明光が直接照射されている場所と物陰になって照明光が届き難い場所が混在しており、図示すように、室内の信号レベル(照度)範囲が広過ぎて1種類の露光時間Tだけでは、室内を良好な露光状態で撮像ができない。
このため、輝度分布検出部7は、このように信号レベル範囲が広いと判定すると、この信号レベル範囲をDレンジ1とDレンジ3とに分割し(図2と対応付けると、Dレンジ1にDレンジ3を追加し)、さらに、このDレンジ3に対して露光時間T3を設定して露光回数を3回とする。この露光時間T3も、撮像領域のこれに該当する輝度領域から得られる画像信号SPが露光時間T1,T2の輝度領域から得られる画像信号SPとほぼ等しい信号レベル範囲となるように、設定されるものである。なお、この露光時間T3で室内とその窓を通しての屋外とを同時に撮像しようとすると、照度の差により、屋外のDレンジ2の輝度領域では信号レベルが飽和して画像が白飛びし、また、室内のDレンジ1の輝度領域では信号レベルが雑音レベルとなる。このように、露光回数を3回にし、夫々の露光時間T1,T2,T3毎に撮像を行なうことにより、白飛びや黒沈みがない良好な画像信号が得られるように(即ち、良好な撮像ができるように)、撮像素子1のダイナミックレンジを拡張するものである。
なお、以上のように、室内とその窓からの屋外とを同時に撮像する場合も、屋外の被写体での照度が低い部分は、室内と同じ露光時間Tで(即ち、Dレンジ1又はDレンジ3の信号レベル範囲で)撮像されることになる。
図4は輝度分布検出部7での上記の露光回数と露光時間の設定アルゴリズムの一具体例を示す図である。
図4(a)に示すように、検出した輝度分布により、信号レベル範囲L1〜L2(信号レベル範囲LAという)と信号レベル範囲L3〜L4(信号レベル範囲LBという)とが検出されたものとする(但し、L1<L2<L3<L4)。
まず、露光時間として、一例として、Ta,Tb,Tc,Td,Te(但し、Ta>Tb>Tc>Td>Te)の5種類の撮像を行なうものとするが、例えば、NTSC方式でのフィールド周期の整数倍となるように露光時間Taを設定し、図4(b)に露光群1として示すように、この露光時間Taで良好に撮像できる信号レベル範囲0〜Laを信号レベル範囲Aとすると、この信号レベル範囲Aに隣接する信号レベル範囲La〜Lbを信号レベル範囲Bとし、これに対する露光時間Tbを設定する。この信号レベル範囲Bはこの露光時間Tbで良好に撮像できる信号レベル範囲である。次いで、この信号レベル範囲Bに隣接する信号レベル範囲Lb〜Lcを信号レベル範囲Cとして、これに対する露光時間Tcを設定する。この信号レベル範囲Cもこの露光時間Tcで良好に撮像できる信号レベル範囲である。以下同様にして、信号レベル範囲Lc〜Ldを信号レベル範囲Dとして露光時間Td、信号レベル範囲Ld〜Leを信号レベル範囲Eとして露光時間Teを夫々設定する。
ここで、露光時間Tbは露光時間Taを基準に設定され、露光時間Tcは露光時間Tbを基準に設定され、露光時間Tdは露光時間Tcを基準に設定され、露光時間Teは露光時間Tdを基準に設定される。かかる設定の一方法としては、露光時間TがTaのときの飽和レベル(最大信号レベル)が雑音レベル(最小信号レベル)のa倍とすると、露光時間Tbを
Tb=Ta/a
とし、露光時間Tbでの飽和レベルが雑音レベルのb倍とすると、露光時間Tcを
Tc=Tb/b
とし、露光時間Tcでの飽和レベルが雑音レベルのc倍とすると、露光時間Tdを
Td=Tc/c
とし、露光時間Tdでの飽和レベルが雑音レベルのd倍とすると、露光時間Teを
Te=Td/d
とする。例えば、露光時間Taのときの飽和レベルが雑音レベルの100倍とすると、露光時間Tb=Ta/100とする。また、設定する露光時間Tの最小値を所定の値Tminとし、この最小露光時間Tminより小さな露光時間とならないように制御する。以上のことは、簡単に可能である。
図5は異なる露光時間T毎の照度(図2,図3での横軸の信号レベルに相当)に対する信号レベルの変化を示す図である。ここでは、露光時間Tとして、露光時間Taと露光時間Tb(=Ta/a)とを例に説明する。
同図において、いま、露光時間Taについてみると、信号レベルが雑音レベルとなる照度I1から信号レベルが飽和レベルとなる照度I2までの間が、この露光時間Taで撮像可能な照度範囲(信号レベル範囲)とする。ここで、この露光時間Taのときの飽和レベル(これは画素の容量で決まり、この容量いっぱいに電荷が蓄積されると、信号レベルは飽和する)が雑音レベルのa倍のとき、露光時間TbはTb=Ta/aであるから、露光時間Tbのときには、露光時間Taで信号レベルが飽和するときの照度I2で信号レベルが雑音レベルとなる。そして、この照度I2から信号レベルが飽和するときの照度I3までがこの露光時間Tbで撮像可能な照度範囲である。以下、露光時間Tc,Td,Teについても同様である。そして、露光時間Taで撮像可能な照度範囲I1〜I2が図4の露光群1での信号レベル範囲Aに相当するものであり、露光時間Tbで撮像可能な照度範囲I2〜I3が図4での露光群1の信号レベル範囲Bに相当するものである。信号レベル範囲C,D,Eに相当する露光時間Tc,Td,Teで撮像可能な照度範囲も、同様にして求まることになる。
図4(b)に示す露光群1の各信号レベル範囲A〜Eはこのようにして設定されたものであり、夫々の信号レベル範囲毎に露光時間Ta〜Teが設定されている。かかる信号レベル範囲A〜E及びこれらに該当する露光時間Ta〜Teは、実際に検出された輝度分布に応じて修正される。これを、図4(c)に露光群2として示す。
図4(a)において、検出された信号レベル範囲LAは信号レベルL1〜L2であり、信号レベル0と信号レベルL1との差ΔSaだけこの信号レベル範囲LAをシフトして、図4(c)に露光群2として示す信号レベル範囲A’とする。また、これとともに、露光時間Taも修正して露光時間Ta’とし、この信号レベル範囲A’で良好な撮像ができるようにする。
そして、信号レベル範囲A’が図4(a)に示す信号レベル範囲LA全体を包含するものであれば、この信号レベル範囲LAに対しては、露光時間A’のみを用いて撮像が行なわれるが、信号レベル範囲A’のみで信号レベル範囲LAを包含しきれない場合には、図4(b)の露光群1での次の信号レベル範囲Bをも用いる。この場合には、この信号レベル範囲Bを上記の差ΔSaだけシフトした図4(c)の露光群2での信号レベル範囲B’とし、これとともに、露光時間Tbも修正して露光時間Tb’とする。ここで、L2−Lb=ΔScとし、
ΔSa+La+Lb≦L2(=La+Lb+ΔSc)
のとき、従って、ΔSa≦ΔScのとき、信号レベル範囲LAに対しては、露光時間Ta’,Tb’の2回の露光によって撮像を行なえばよい。なお、ΔSa>ΔScのときには、さらに、信号レベル範囲C,……というように、露光回数が増えることになる。
また、図4(a)に示す信号レベル範囲LBが、図4(b)の露光群1での信号レベル範囲Eによって全体が包含されるならば、信号レベル範囲Eに対して設定された露光時間Teによる撮像が行なわれる。勿論、レベル範囲LB全体を包含するのに2以上の露光群1の信号レベル範囲が必要な場合には、レベル範囲LB全体を包含するに必要な露光群1の2以上の信号レベル範囲を、先の信号レベル範囲LAの場合のように、シフトしてレベル範囲LBの最小信号レベルから有効となるようにし、これに応じて修正されたこれら信号レベル範囲に該当する露光時間Tを用い、2以上の露光回数で撮像を行なう。
なお、輝度分布検出部7で2以上の信号レベル範囲(図2,図3での信号レベル群)が検出されても、これらが全て図4(b)の露光群1のいずれか1つの信号レベル範囲に包含されるものであれば、この信号レベル範囲に設定されている露光時間Tのみを用いて撮像が行なわれることになる。
以上のように、例えば、5個の露光時間Tが設定されていても、そのうちの輝度分布検出部7で検出される信号レベル範囲に応じて該当する露光時間Tのみを用いればよく、これにより、露光回数、従って、撮像回数を減らすことが可能となる。
なお、信号分布が図4(a)のようなデジタル的でない場合には、例えば、予め決められた所定の信号数よりも少ない信号レベルについては、信号数を0として、図4(a)に示すような信号分布とすることができる。
以上のようにして、この第1の実施形態では、図1において、撮像素子1の撮像領域での輝度領域毎に露光時間Tが設定され、設定された露光時間T毎に撮像が行なわれる。ここで、3種類の露光時間T1,T2,T3(但し、T1>T3>T2)が設定されている場合の撮像素子の動作を図6により説明する。
同図において、露光が露光時間T1,T2,T3の順で、かつ繰り返し設定されるが、これら露光時間Tが経過する毎に撮像領域全体の画素8の画素データの読み取りが行なわれ、読み取った画素データからなる画像信号SPが得られる。なお、露光の順序は、これに限られるものでなく、任意である。
即ち、いま、露光時間T1が経過すると、読取パルス(これは、駆動部2からの走査パルスSPによる)により、撮像領域全体の画素8からの画素データの読み出しとこれら画像データの転送パルスによる垂直,水平転送用のCCDでの転送が行なわれ(かかる一連の動作を、以下、走査といい、かかる走査によって画像信号を得ることが撮像である)、時間長TPで画像信号SP1が得られる。かかる露光時間T1に対する走査が終了すると、次の露光時間T3による露光が開始し、この露光時間T3が経過すると、この露光に続いて走査が行なわれて時間長TPで画像信号SP3が得られる。そして、かかる露光時間T3に対する走査が終了すると、次の露光時間T2による露光が開始し、この露光時間T2が経過すると、これに続いて走査が行なわれ、時間長TPで画像信号SP2が得られる。かかる露光時間T2に対する走査が終了した後、次の露光時間T1による露光が開始し、以下、かかる動作が繰り返される。
かかる画像信号SP1,SP2,SP3が、図1において、画像信号として順番に(即ち、時系列的に)撮像素子1から出力され、信号処理部3に供給されてメモリ4に記憶される。そして、これら画像信号SP1,SP2,SP3は、メモリ4から同時に、かつ規定の時間長(例えば、1フィールド長)に変換されて読み出され、加算部5に供給されるが、以上のように得られた画像信号SP1,SP2,SP3を単純に加算することはできない。以下、この点について、図7により説明する。
いま、図7(a)に示すように、撮像素子1の撮像領域12に、上記の露光時間T1で良好な撮像が可能な照度の輝度領域12aと上記の露光時間T2で良好な撮像が可能な照度の輝度領域12bと上記の露光時間T3で良好な撮像が可能な照度の輝度領域12cとが生じている場合、最も短い露光時間T2で撮像すると、図7(b)に示すように、輝度領域12bは良好な撮像ができるが、輝度領域12a,12cは信号が得られない。従って、このとき得られる画像信号SP2は、輝度領域12bの画素8から得られた画素データのみの画像信号である。また、次に短い露光時間T3で撮像すると、図7(c)に示すように、輝度領域12cは良好な撮像ができ、輝度領域12aからは信号が得られないが、輝度領域12cの画素8は全て飽和しており、飽和した信号が得られる。従って、このとき得られる画像信号SP3は、輝度領域12cの画素8から得られた入射光量に応じた信号レベルの画素データと輝度領域12bの画素8から得られる飽和レベルの画素データとから画像信号である。さらに、最も長い露光時間T1で撮像すると、図7(d)に示すように、輝度領域12aは良好な撮像ができるが、輝度領域12b,12cの画素8は全て飽和しており、飽和した信号が得られる。従って、このとき得られる画像信号SP1は、輝度領域12aの画素8から得られた入射光量に応じた信号レベルの画素データと輝度領域12b,12cの画素8から得られる飽和レベルの画素データとから画像信号である。
以上の画像信号SP1,SP2,SP3を単純に加算したのでは、輝度領域12aでのみ正しい信号レベル範囲の画像信号が得られるだけとなる。
そこで、上記の重み付けがなされているこれら画像信号SP1,SP2,SP3を加算部5で加算する場合、露光時間T3での画像信号SP3のうち、画像信号SP2に対応する部分(即ち、図7(c)での輝度領域12bに対応する部分)をこの画像信号SP2で置き換え、さらに、露光時間T1での画像信号SP1のうち、画像信号SP2に対応する部分(即ち、図7(d)での輝度領域12b,12cに対応する部分)を画像信号SP2への置換が行なわれた画像信号SP3で置き換えるようにする。これにより、輝度領域12a,12b,12cで夫々該当する信号レベル範囲の画像信号SPAが得られることになる。
このようにして、被写体の照度にかかわらず、全体として好適な信号レベル範囲の画像信号SPAが得られることになり、撮像素子1のダイナミックレンジを拡大することが可能となる。そして、設定される各露光時間Tは1画像の期間内に順番に行なうようにしているので、被写体の動きの影響を抑制でき、高品質の画像が得られることになる。
図8は本発明による撮像装置及び方法の第2の実施形態を示す構成図であって、2aはレジスタ、2bは変換テーブル、2cは発振器、2dは分周器、2eは走査パルス発生器、7’は輝度分布検出部であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
先に、図1に示した第1の実施形態では、駆動部2からの駆動パルスPDのうち、走査パルスを一定周波数のパルスとし、走査周波数を一定として、各露光時間T毎の画像信号の時間長TPを一定としたものであるが、図8に示すこの第2の実施形態では、走査パルスの周波数を実行される露光回数に応じて異ならせるものであり(従って、撮像素子1の走査周波数を異ならせるものであり(但し、同時に実行される各露光時間Tでの走査周波数は等しい))、設定されて露光回数にかかわらず、この露光回数に対する撮像時間がほぼ一定となるようにするものである。
図8において、予め露光時間Tが決められており、これらを、例えば、露光時間Ta,Tb,Tc,Td,Teとする(但し、Ta>Tb>Tc>Td>Te)。輝度分布検出部7’は、信号処理部3からの輝度信号SYからその輝度分布を検出するが、この輝度分布に応じて、撮像素子1に設定する露光時間Tを、
Ta
Ta,Tb
Ta,Tb,Tc
Ta,Tb,Tc,Td
Ta,Tb,Tc,Td,Te
の5通りの組み合わせの1つを用いるようにする。つまり、輝度分布検出部7’は、検出した輝度分布に応じてこれら5通りの露光時間の組み合わせの1つを選択し、選択した組み合わせを露光回数(また、走査回数でもある)に対応させて、この露光回数を表わす露光回数設定信号SKを駆動部2に供給する。露光回数設定信号SKによって露光回数がk回と設定されたときには、露光時間Taから露光時間が長い順にk個の露光時間Ta,……が選択されたことになる。
このために、輝度分布検出部7’は、輝度信号SYから輝度分布を検出すると、その最大の信号レベル範囲をみてこれに該当する露光時間Tを判定し、この判定した露光時間Tから露光回数を決定する。例えば、図4に示すように、検出した輝度分布において、最大の信号レベル範囲がLBであって、これに該当する露光時間TがTeとすると、露光時間Ta,Tb,Tc,Td,Teの組み合わせが選択されることになり、露光回数が5回の露光回数設定信号SKが作成されて駆動部2に供給される。また、図4において、検出した輝度分布が信号レベル範囲LAだけの場合には、選択される露光時間Tの組み合わせはTa,Tbであるから、露光回数は2回となる。
駆動部2では、輝度分布検出部7’からの露光回数設定信号SKが一旦レジスタ2aに蓄積され、変換テーブル2bにより、この露光回数設定信号SKによる露光回数が走査周波数指示情報に変換される。この走査周波数指示情報は分周器2dの分周比を指示するものであって、分周器2dは発振器2cの出力パルスをこの指示される分周比で分周する。この分周器2dの出力パルスは走査パルス発生器2eに供給され、露光回数設定信号SKで指定される露光回数に応じた走査周波数の走査パルスPSが生成される。この走査パルスPSが、撮像素子1で各露光の開始と各走査の開始とを行なうための開始パルスPRとともに、駆動パルスPD として、撮像素子1に供給される。
図9は図8における変換テーブル2bの一具体例を模式的に示す図である。
同図において、変換テーブル2bは、上記のように、露光回数設定信号SKが指定する露光回数と分周器2dとの対応関係を示し、これら間の変換を行なうものであるが、説明の便宜上、露光回数と走査周波数との対応関係で示している。
ここでは、露光回数が1回のとき(即ち、露光時間Taだけの場合)、走査周波数が13.5MHzとなるように、分周器2dの分周比が設定されるものであり、露光回数が2回となると(即ち、露光時間Ta,Tbの場合)、走査周波数が13.5MHzの2倍の27.0MHzとなる。また、露光回数が3回となると(即ち、露光時間Ta,Tb,Tcの場合)、走査周波数が13.5MHzの3倍の40.5MHzとなる。なお、例えば、撮像素子1の走査の最大周波数を設定し、走査周波数がこの最大周波数を越えならないようにしており、このために、図9に示す具体例では、露光回数が3回以上の場合、走査周波数が13.5MHzの3倍の40.5MHzとしている。
図10はこの第2の実施形態での露光回数と撮像素子1から得られる画像信号SPとの関係を示す図である。ここでは、露光回数が1回のときの画像信号SPの時間長をTPとし、図9に合わせて、露光回数が2回,3回のときの画像信号SPの時間長をTP/2,TP/3としている。
図10(a)は露光回数が1回の場合を示しており、このときには、露光時間T1の露光が終了すると、走査が行なわれ、時間長TPで画像信号SPが得られる。露光回数が2回のときには、図10(b)に示すように、露光時間T1の露光が終了すると、走査が行なわれて時間長TP/2で画像信号SP1が得られ、この走査が終了すると、次の露光時間T2の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/2で画像信号SP2が得られる。この場合、露光時間T1の露光があってから時間TP/2後に次の露光時間T2の露光が行なわれるが、図1に示した第1の実施形態のように、露光回数にかかわらず各露光毎の走査時間がTP と一定の場合に比べ、露光間の時間間隔が短くなる。
露光回数が3回のときには、図10(c)に示すように、露光時間T1の露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP1が得られ、この走査が終了すると、次の露光時間T2の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP2が得られ、この走査が終了すると、次の露光時間T3の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP3が得られる。この場合には、露光回数が増えるものの、露光間の時間間隔がさらに短くなる。
このようにして、この第2の実施形態では、露光回数が増加しても、露光の時間間隔が短くなり、最初の露光から最後の露光までの時間を短くできる。このため、上記第1の実施形態と同様、信号処理部3で夫々の露光に伴う撮像によって得られて画像信号SP1,……を重み付けして加算しても、被写体の動きによる影響を軽減できる。
なお、以上の第1,第2の実施形態において、露光時間や露光回数の制御は、撮像素子1として、周知のインターライン型CCDの電子シャッターなどの技術を用いて可能である。
図11は本発明による撮像装置及び方法の第3の実施形態を示す構成図であって、5a,5b,5cは乗算器、5dは加算器、10a〜10cは垂直転送用のCCD(以下、垂直CCDという)、11a〜11cは水平転送用のCCD(以下、水平CCDという)であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
上記第1,第2の実施形態では、撮像素子1から各露光時間T1,T2,T3での画像信号SP1,SP2,SP3を時系列で出力し、信号処理部3のメモリ4で時間長変換とタイミング合わせの処理を行なうようにしたものであるが、この第3の実施形態では、撮像素子1から露光時間T毎の撮像による画像信号が並列に得られるようにしたものである。
図11において、設定する露光時間TがT1,T2,T3(但し、T1>T3>T2とする)の3種類として、撮像素子1では、各画素8毎に3個の垂直CCD10a〜10cと3個の水平CCD11a〜11cとが設けられており、露光時間T1での画素データは垂直CCD10aを通して水平CCD11aに転送され、露光時間T3での画素データは垂直CCD10bを通して水平CCD11bに転送され、露光時間T2での画素データは垂直CCD10cを通して水平CCD11cに転送される。
次に、図12を用いてこの第3の実施形態の動作を説明する。なお、読取パルス1,2,3は各画素8から露光時間T1,T3,T2で画素データを読み取って垂直CCD10a,10b,10cに転送するためのパルスであり、VCCD転送パルス1,2,3は垂直CCD10a,10b,10cで画素データを水平CCD11a,11b,11cの方に順次単位時間(例えば、1水平走査期間)毎に転送するためのパルスである。これら読取パルス1,2,3は駆動部2からの駆動パルスVDでの露光時間切換パルスに相当するものであり、VCCD転送パルス1,2,3は、水平CCD11a〜11bの転送パルスとともに、駆動パルスVD での走査パルスに相当するものである。
露光時間T1が経過して、駆動部2からの駆動パルスPDにより、時刻t1に読取パルス1が供給され、撮像領域の全画素8の画素データが読み取られて垂直CCD10aに転送されると、露光時間T2の露光が開始される。また、垂直CCD10aでは、VCCD転送パルス1により、取り込んだ画素データの水平CCD11aへの転送が順次行なわれる。
露光時間T2が経過した時刻t2に達すると、読取パルス2が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10cに転送される。この時刻t2で次の露光時間T3の露光が開始される。これとともに、垂直CCD10cでは、VCCD転送パルス2により、取り込んだ画素データの水平CCD11cへの転送が順次行なわれる。
露光時間T3が経過した時刻t3に達すると、読取パルス3が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10bに転送される。この時刻t3で次の露光時間T1の露光が開始される。これとともに、垂直CCD10bでは、VCCD転送パルス3により、取り込んだ画素データの水平CCD11bへの転送が順次行なわれる。
露光時間T1が経過した時刻t4に達すると、読取パルス1が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10aに転送される。この時刻t1で次の露光時間T2の露光が開始される。これとともに、垂直CCD10aでは、VCCD転送パルス1により、取り込んだ画素データの水平CCD11aへの転送が順次行なわれる。
このようにして、露光時間T1,T2,T3の順で露光時間Tが設定され、これら露光時間Tが経過する毎に全画素8の画素データがこの露光時間Tに対応する垂直CCDに読み取られ、水平CCDに転送される。この場合、各露光時間Tの画素8からの画素データの読み取りがフィールド単位で行なわれると、1水平走査周期毎に各垂直CCDから1画素データずつ水平CCDに転送されて、垂直CCDからのかかる1回の画素データの転送により、水平CCDに画像の1水平走査線(ライン)分の画素データが転送されたことになり、かかる1ラインの画素データが1水平走査周期かかって出力される。従って、水平CCD11a,11b,11cからは夫々、撮像領域全体の画素8の画素データからなる露光時間T1,T3,T2での画像信号SP1,SP2,SP3が1フィールドの時間長で得られることになる。なお、これら画像信号SP1,SP2,SP3は、図12でのVCCD転送パルス1,2,3の時間的なずれからも明らかなように、互いに時間的にずれており、このため、図1に示す第1の実施形態でのメモリ4のような所定の遅延手段を用いることにより、時間(タイミング)合わせが行なわれる。
このようにしてタイミング合わせがなされた画像信号SP1,SP2,SP3は、図1に示す第1の実施形態と同様、乗算器5a,5b,5cで所定の重み付けがなされた後、加算器5dで加算され、図1に示す第1の実施形態と同様の処理により、1つの画像信号PA が得られる。
以上のように、この第3の実施形態においても、撮像素子1のダイナミックレンジを拡張することができ、しかも、このように拡張しても、上記のように、露光時間T毎に画素データの読み出し経路を設けているので、露光と画素データの読み出し、従って、走査とを同時に行なうことができるから、第1,第2の実施形態のように、同一の読み出し経路を用いて異なる露光時間での露光による画素データの読み出しを時系列で行なうのに比べ、各露光時間Tでの撮像タイミングのずれを軽減でき、重み付け加算時の画像のずれを軽減することができる。
また、この第3の実施形態では、撮像素子1から1画像が所定の時間長(例えば、1フィールド)の画像信号SP1,SP2,SP3が得られるから、これらの時間長の変換を必要としない。
一方、図12に示すように、上記のVCCD転送パルス1,2,3よりも周期が短いVCCD転送パルスPtを垂直CCD10a〜10cに共通に用いるようにすることもできる。この場合には、露光時間T1,T2,T3での画素8から垂直CCD10a,10c,10bへの画像データの読み取りが全て終ってから、このVCCD転送パルスPtによる垂直CCD10a〜10cでの画素データの転送を行なうものである。但し、この場合には、1画像の画像信号SP1,SP2,SP3はタイミングが一致しているが、上記所定の時間長よりも圧縮されており、このために、メモリなどを用いて時間長を伸長する処理が必要となる。
また、垂直CCDあるいは水平CCDのステージ数を増やすことにより、これらCCDの本数を減らすことは可能である。さらに、MOS型などの別の撮像素子を用いても同様な複数経路での読み出しは可能である。
図13は図1,図11における輝度分布検出部7の他の具体例を示すブロック図であって、7aはメモリ、7bはゲイン補正回路、7cは差分回路、7dは積分回路、7eは判定回路、7fは露光時間設定回路である。
同図において、信号処理部3(図1,図11)からの輝度信号SYはゲイン補正回路7bに供給されるとともに、メモリ7aで1画面期間分遅延され、遅延輝度信号SY’となってゲイン補正回路7bに供給される。このゲイン補正回路7bでは、これら前後する2画面分の輝度信号(画像信号)SY,SY’の信号レベルが夫々の露光時間で補正される。ゲイン補正されたこれら画像信号SY,SY’は差分回路7cに供給されてこれら2画面の差分が求められ、2画面の差分が積分回路7dで積分される。これにより、被写体が動いた度合いに応じたレベルで積分回路7dら積分信号が得られ、判定回路7eでは、この積分信号のレベルに応じて動きの大小を判定する。判定回路7eで所定の動き以上の被写体の動きがあると判定した場合には、露光時間設定回路7fが露光回数を少なく(あるいは、露光時間を少なく)するような露光時間設定信号STを出力する。
露光時間設定信号STで露光回数を少なくする方法としては、例えば、図4において、複数回の露光、即ち、露光時間Ta’,Tb’の露光を行なう信号レベル範囲LAに対し、露光時間Tb’による露光を行なわないようにして露光回数を減らす単純な方法でもよいし、また、図4で説明した閾値となる所定の信号数より多いか少ないかという判別を行なって、この所定の信号数より多い場合に露光の対象となる信号レベル範囲を設定する場合、被写体の動きが大きい場合には、この所定の信号数を大きくし、露光の対象となる信号レベル範囲を制限するようにする方法でもよい。これにより、被写体の動きが大きい場合には、複数の露光に要する時間を短縮することができ、重み付け加算時の画像のずれを軽減することができる。
本発明による撮像装置及び方法の第1の実施形態を示す構成図である。 図1に示す第1の実施形態での検出された輝度分布とこれに対して設定される露光時間との関係の一具体例を概念的を示す図である。 図1に示す第1の実施形態での検出された輝度分布とこれに対して設定される露光時間との関係の他の具体例を概念的を示す図である。 図1における輝度分布検出部での輝度分布に対する露光時間の設定アルゴリズムの一具体例を示す図である。 図1に示す第1の実施形態での露光時間の設定方法の一具体例を示す説明図である。 図1に示す第1の実施形態の動作の一具体例を示すタイミング図である。 図1における信号処理部での加算処理を説明するための図である。 本発明による撮像装置及び方法の第2の実施形態を示す構成図である。 図8における変換テーブルの一具体例を概念的に示す図である。 図8に示す第2の実施形態の動作の一具体例を示すタイミング図である。 本発明による撮像装置及び方法の第3の実施形態を示す構成図である。 図11に示す第3の実施形態の動作の一具体例を示すタイミング図である。 図1,図11における輝度分布検出部の他の具体例を示すブロック図である。
符号の説明
1 撮像素子
2 駆動部
2a レジスタ
2b 変換テーブル
2c 発振器
2d 分周器
2e 走査パルス発生器
3 信号処理部
7 輝度分布検出部
7a メモリ
7b ゲイン補正回路
7c 差分回路
7e 積分回路
7f 露光時間設定回路
8,8a,8b 画素
10a〜10c 垂直CCD
11a〜11b 水平CCD

Claims (10)

  1. N種類(Nは1以上の整数)の露光時間で露光し、該露光時間の露光毎に撮像して画像信号を出力する撮像素子と、
    該撮像素子を駆動する駆動部と、
    該撮像素子から出力されるN種類の画像信号を処理して1つの画像信号を生成し、出力する信号処理部と、
    該信号処理部から出力される該画像信号の輝度分布を検出し、検出した該輝度分布に応じてN種類の露光時間を決定する輝度分布検出部と
    を備え、該駆動部は、該輝度分布検出部で決定されたN種類の該露光時間で該撮像素子の露光を制御することを特徴とする撮像装置。
  2. 請求項1において、
    前記輝度分布検出部は、検出した輝度分布での信号レベル範囲毎に該当する露光時間を設定することを特徴とする撮像装置。
  3. N回(Nは1以上の整数)の異なる露光時間による露光を行ない、該露光毎に撮像して画像信号を出力する撮像素子と、
    該撮像素子を駆動する駆動部と、
    該撮像素子から出力される該露光毎のN種類の画像信号を処理して1つの画像信号を生成し、出力する信号処理部と、
    該信号処理部から出力される該画像信号の輝度分布を検出し、検出した該輝度分布に応じて露光回数を決定する輝度分布検出部と
    を備え、該駆動部は、該輝度分布検出部で決定された露光回数だけ該撮像素子で露光を行なわせることを特徴とする撮像装置。
  4. 請求項3において、
    前記輝度分布検出部で決定される露光回数に応じて、前記撮像素子での走査周波数を異ならせることを特徴とする撮像装置。
  5. N回(Nは1以上の整数)の異なる露光時間による露光を行ない、該露光時間毎に画素からの画素データの転送経路を異にする撮像素子と、
    該撮像素子を駆動する駆動部と、
    該撮像素子から出力される該露光毎の画像信号を処理して1つの画像信号を生成し、出力する信号処理部と、
    該信号処理部から出力される該画像信号の輝度分布を検出し、検出した該輝度分布に応じてN種類の露光時間を決定する輝度分布検出部と
    を備え、該駆動部は、該輝度分布検出部で決定されたN種類の該露光時間で該撮像素子の露光を制御することを特徴とする撮像装置。
  6. 請求項5において、
    前記撮像素子は、設定された前記露光時間の露光の終了とともに、該露光に伴う画素データの読み取り及び転送を行ない、かつ次の露光時間による露光を開始することを特徴とする撮像装置。
  7. 請求項1,2,5又は6において、
    前記輝度分布検出部は、前記信号処理部からの画像信号から被写体の動きの度合いを検出し、検出した該動きの度合いが予め決められた大きさ以上のとき、前記決定した露出時間の個数を低減することを特徴とする撮像装置。
  8. 撮像素子から得られ、信号処理部で処理された画像信号の輝度分布に応じて該撮像素子を制御するようにした撮像方法であって、
    該輝度分布に応じた種類の露光時間を決定し、
    該撮像素子で該決定した露光時間毎に露光を行なって露光毎の画像信号を取得し、取得した該画像信号を重み付け加算して1つの画像信号を得ることを特徴とする撮像方法。
  9. 撮像素子から得られ、信号処理部で処理された画像信号の輝度分布に応じて該撮像素子を制御するようにした撮像方法であって、
    該輝度分布に応じて露光回数を決定し、
    該撮像素子で該決定した露光回数だけ露光を行なって露光毎の画像信号を取得し、取得した該画像信号を重み付け加算して1つの画像信号を得ることを特徴とする撮像方法。
  10. 撮像素子から得られ、信号処理部で処理された画像信号の輝度分布に応じて該撮像素子を制御するようにした撮像方法であって、
    該輝度分布に応じた種類の露光時間を決定し、
    該撮像素子で該決定した露光時間毎に露光を行なって、露光毎に異なる転送経路から互いに同時化して画像信号を取得し、取得した該画像信号を重み付け加算して1つの画像信号を得ることを特徴とする撮像方法。
JP2003295562A 2003-08-19 2003-08-19 撮像装置及び方法 Expired - Fee Related JP4257165B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003295562A JP4257165B2 (ja) 2003-08-19 2003-08-19 撮像装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003295562A JP4257165B2 (ja) 2003-08-19 2003-08-19 撮像装置及び方法

Publications (3)

Publication Number Publication Date
JP2005065119A true JP2005065119A (ja) 2005-03-10
JP2005065119A5 JP2005065119A5 (ja) 2006-09-14
JP4257165B2 JP4257165B2 (ja) 2009-04-22

Family

ID=34371764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003295562A Expired - Fee Related JP4257165B2 (ja) 2003-08-19 2003-08-19 撮像装置及び方法

Country Status (1)

Country Link
JP (1) JP4257165B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129533A1 (ja) * 2006-05-09 2007-11-15 Sharp Kabushiki Kaisha 撮像装置
JP2009010691A (ja) * 2007-06-28 2009-01-15 Seiko Epson Corp 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法
JP2012200025A (ja) * 2008-03-14 2012-10-18 Omron Corp 画像処理装置
JP2013005129A (ja) * 2011-06-15 2013-01-07 Canon Inc 撮像装置および画像合成方法
WO2013054446A1 (ja) * 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US8432458B2 (en) 2008-07-23 2013-04-30 Hitachi, Ltd. Imaging apparatus incorporating wide dynamic ranging
JP2013102554A (ja) * 2013-03-04 2013-05-23 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
WO2014141663A1 (ja) * 2013-03-14 2014-09-18 株式会社ニコン 撮像ユニット、撮像装置および撮像制御プログラム
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129533A1 (ja) * 2006-05-09 2007-11-15 Sharp Kabushiki Kaisha 撮像装置
KR101035824B1 (ko) * 2006-05-09 2011-05-20 샤프 가부시키가이샤 촬상 장치 및 촬상 방법
JP5019543B2 (ja) * 2006-05-09 2012-09-05 シャープ株式会社 撮像装置
JP2009010691A (ja) * 2007-06-28 2009-01-15 Seiko Epson Corp 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法
JP2012200025A (ja) * 2008-03-14 2012-10-18 Omron Corp 画像処理装置
US8432458B2 (en) 2008-07-23 2013-04-30 Hitachi, Ltd. Imaging apparatus incorporating wide dynamic ranging
JP2013005129A (ja) * 2011-06-15 2013-01-07 Canon Inc 撮像装置および画像合成方法
WO2013054446A1 (ja) * 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
WO2013054607A1 (ja) 2011-10-14 2013-04-18 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5365823B2 (ja) * 2011-10-14 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR20160039701A (ko) 2011-10-14 2016-04-11 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법 및 기록 매체
US9626750B2 (en) 2011-10-14 2017-04-18 Morpho, Inc. Image processing method for a composite image and image processing device, image processing program, and recording medium therefor
JP2013102554A (ja) * 2013-03-04 2013-05-23 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
WO2014141663A1 (ja) * 2013-03-14 2014-09-18 株式会社ニコン 撮像ユニット、撮像装置および撮像制御プログラム
US10750106B2 (en) 2013-03-14 2020-08-18 Nikon Corporation Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US11553144B2 (en) 2013-03-14 2023-01-10 Nikon Corporation Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JP4257165B2 (ja) 2009-04-22

Similar Documents

Publication Publication Date Title
US7538794B2 (en) Method and apparatus for motion estimation in a digital imaging device
US7821547B2 (en) Image sensing apparatus that use sensors capable of carrying out XY addressing type scanning and driving control method
US9210333B2 (en) Image capturing apparatus for generating composite image and control method thereof
JP2010068386A (ja) 撮像装置、撮像方法及びプログラム
JP2004120205A (ja) 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム
JP2002314873A (ja) 撮像装置用回路及び撮像用信号処理方法
JP2007097033A (ja) 撮像装置及びそのプログラム
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
JP2010136224A (ja) 撮像装置及び撮像方法
JP3999321B2 (ja) 電子カメラ
JP4257165B2 (ja) 撮像装置及び方法
JP2007235893A (ja) 撮像装置及び固体撮像装置の制御方法
KR20230175155A (ko) 영상 처리 장치 및 방법
JP2007072013A (ja) 撮像装置および撮像方法
JP5277863B2 (ja) 撮像装置および撮像方法
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP3748031B2 (ja) 映像信号処理装置及び映像信号処理方法
JP2007134806A (ja) 固体撮像素子
JP2002135787A (ja) 撮像装置
JP6990988B2 (ja) 撮像装置及び撮像素子の制御方法
JP2003189193A (ja) 撮像装置
JP2007028236A (ja) 撮像装置
JP5022802B2 (ja) 撮像装置及びその制御方法
JP2007036714A (ja) 撮像装置
JP2007043439A (ja) ホワイトバランス調整装置、及びホワイトバランス調整方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees