JP2007243774A - 電子的ぶれ補正装置 - Google Patents
電子的ぶれ補正装置 Download PDFInfo
- Publication number
- JP2007243774A JP2007243774A JP2006065489A JP2006065489A JP2007243774A JP 2007243774 A JP2007243774 A JP 2007243774A JP 2006065489 A JP2006065489 A JP 2006065489A JP 2006065489 A JP2006065489 A JP 2006065489A JP 2007243774 A JP2007243774 A JP 2007243774A
- Authority
- JP
- Japan
- Prior art keywords
- time
- division
- exposure time
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012937 correction Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 80
- 230000003321 amplification Effects 0.000 claims description 58
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 58
- 230000035945 sensitivity Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 20
- 230000010365 information processing Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 11
- HODRFAVLXIFVTR-RKDXNWHRSA-N tevenel Chemical compound NS(=O)(=O)C1=CC=C([C@@H](O)[C@@H](CO)NC(=O)C(Cl)Cl)C=C1 HODRFAVLXIFVTR-RKDXNWHRSA-N 0.000 description 11
- 102100033126 Phosphatidate cytidylyltransferase 2 Human genes 0.000 description 10
- 101710178746 Phosphatidate cytidylyltransferase 2 Proteins 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 239000002131 composite material Substances 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000006837 decompression Effects 0.000 description 7
- PHEDXBVPIONUQT-RGYGYFBISA-N phorbol 13-acetate 12-myristate Chemical compound C([C@]1(O)C(=O)C(C)=C[C@H]1[C@@]1(O)[C@H](C)[C@H]2OC(=O)CCCCCCCCCCCCC)C(CO)=C[C@H]1[C@H]1[C@]2(OC(C)=O)C1(C)C PHEDXBVPIONUQT-RGYGYFBISA-N 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】ぶれを許容可能な露光時間で連続的に撮影した複数画像の相互のぶれを補正し、ぶれが補正された画像を合成するにあたって、高精度のぶれ補正可能な電子的ぶれ補正装置を提供する。
【解決手段】ぶれを許容可能な所定の限界露光時間TLimitよりも高速で、かつ露光時間Texpのm(mは整数)分の1の時分割露光時間ΔTexpを演算し(S102〜S105)、時分割露光時間でm回の時分割撮像を行い(S109)、時分割撮像部で撮像された画像をm倍に増幅し、m倍に増幅された複数枚の時分割画像の相互のぶれを補正し、相互のぶれが補正された複数枚の時分割画像を合成する(S110)。
【選択図】 図4
【解決手段】ぶれを許容可能な所定の限界露光時間TLimitよりも高速で、かつ露光時間Texpのm(mは整数)分の1の時分割露光時間ΔTexpを演算し(S102〜S105)、時分割露光時間でm回の時分割撮像を行い(S109)、時分割撮像部で撮像された画像をm倍に増幅し、m倍に増幅された複数枚の時分割画像の相互のぶれを補正し、相互のぶれが補正された複数枚の時分割画像を合成する(S110)。
【選択図】 図4
Description
本発明は、手ぶれ等による像のぶれを効果的に補正することができる電子的ぶれ補正装置に関し、特に、ぶれを許容可能な露光時間で連続的に撮影した複数画像の相互のぶれを補正し、ぶれが補正された画像を合成する電子的ぶれ補正装置に関する。
撮影装置において静止画を撮影する場合に撮影者の手ぶれの影響で、撮影画像にぶれが生じすることは従来から知られており、これを防止するために種々の対策がとられている。例えば、特許文献1には、撮像素子から連続して複数の画像を読み出し、この複数の画像の相互のぶれを補正・合成し、ぶれの補正された画像を生成することが開示されている。この特許文献1では、ぶれを許容できる露光時間で撮像素子からフレーム単位で映像信号を読み出し、映像信号の信号レベルが所定値を越えたら撮影動作を終了する。この間、画像の動きベクトルを検出してぶれを補正した重ね合わせ処理を行って、ぶれを補正した画像を得るようにしている。
特許文献1のぶれ補正のやり方は、固定された時分割露光時間で映像信号の累積値が所定値を越えた時点で時分割露光を終了するようにしているために、適正露光を得ようとすると、撮像回数を少数点以下まで求め、この回数で撮像を行わなければならない。すなわち、適正露光時間をTexpとし、ぶれを許容できる時分割露光時間をTLimitとするとき、時分割露光時間TLimitで、m=Texp/TLimit回の時分割撮像を行い、これらの時分割撮像した画像の相互のぶれを補正し、合成すれば、適正な露光レベルでぶれのない画像を得ることができる。しかしながら、露光回数mは整数にならないケースが殆どと思われるが、この場合、mの小数点以下をkとすると、TLimitの露光時間で(m−k)回、k×TLimitの露光時間で1回撮影し、これらの画像の相互のぶれを補正し、合成(加算)することになる。しかし、kが非常に小さい場合、時分割画像の信号レベルが低くなり、S/Nが悪くなる可能性がある。このためぶれ補正の精度が低下するおそれがある。
また、特許文献1のぶれ補正のやり方では、フレームごとに時分割画像の信号から動きベクトルを検出し、映像信号の手ぶれ補正を行うようにしているが、各フレームの映像信号は適正レベルに比較し、ほぼ1/mになっており、A/D変換器の量子化ノイズがのってくることから、そのまま相互のぶれを補正するとしてもS/Nが悪くノイズが多く、正確な動きベクトルが困難となる。このため、ぶれ補正の精度が低下するおそれがある。
本発明はこのような事情にかんがみてなされたものであって、時分割画像の信号レベルが低い画像が出現しないようにして、高精度のぶれ補正可能な電子的ぶれ補正装置を提供することを目的とする。また、A/D変換器の量子化ノイズを抑え、ぶれ補正の精度のよい電子的ぶれ補正装置を提供することを目的とする。
上記目的を達成するために本発明の第1の発明に係わる電子的ぶれ補正装置は、露光時間を演算する露光時間演算部と、ぶれを許容可能な所定の限界露光時間よりも高速で、かつ上記露光時間のm(mは整数)分の1の時分割露光時間を演算する時分割露光時間演算部と、上記時分割露光時間で複数回の時分割撮像を行う時分割撮像部と、上記時分割撮像部で撮像された画像をm倍に増幅する第1増幅部と、上記m倍に増幅された複数枚の時分割画像の相互のぶれを補正するぶれ補正部と、上記ぶれ補正部により相互のぶれが補正された複数枚の時分割画像を合成する画像合成部を具備したことを特徴とする。
また、第2の発明は、上記第1の発明において、上記電子的ぶれ補正装置は、上記時分割露光時間は、上記露光時間のぶれを許容可能な限界露光時間で除した値の近傍の整数値のいずれかをmとするとき、上記露光時間を上記整数値mで除した時間であることを特徴とする。
さらに、第3の発明は、上記第2の発明において、上記整数値mは、上記除した値の小数点以下を切り上げた整数値とすることを特徴とする。
さらに、第4の発明は、上記第1の発明において、上記電子的ぶれ補正装置は、さらにISO感度を設定するISO感度設定部と、上記ISO感度に応じた増幅率で上記撮像素子にて生成された画像信号を増幅する第2増幅部とを備えたことを特徴とする。
さらに、第5の発明は、上記第4の発明において、上記第1増幅器と上記第2増幅器を共用することを特徴とする。
さらに、第3の発明は、上記第2の発明において、上記整数値mは、上記除した値の小数点以下を切り上げた整数値とすることを特徴とする。
さらに、第4の発明は、上記第1の発明において、上記電子的ぶれ補正装置は、さらにISO感度を設定するISO感度設定部と、上記ISO感度に応じた増幅率で上記撮像素子にて生成された画像信号を増幅する第2増幅部とを備えたことを特徴とする。
さらに、第5の発明は、上記第4の発明において、上記第1増幅器と上記第2増幅器を共用することを特徴とする。
上記目的を達成するために本発明の第6の発明に係わる電子的ぶれ補正装置は、被写体輝度に基づいて適正露光となるように演算された露光時間を、または撮影者によって手動入力された露光時間を設定する露光時間設定部と、上記露光時間を、手ぶれが発生しない限界露光時間で除算し、この除算結果に近い整数値でもって、上記露光時間を除算することによって時分割露光時間を演算する時分割露光時間演算部と、上記時分割露光時間でもって複数回の時分割撮像を行う時分割撮像部と、この時分割撮像部によって撮像された複数の時分割画像に基づいて、ぶれを取り除いた画像を生成する画像生成部を具備したことを特徴とする。
また、第7の発明は、上記第6の発明において、上記整数値は、予め決められた整数値の中から、上記除算値よりも大きな値を選択することを特徴とする。
さらに、第8の発明は、上記第5の発明において、上記画像生成部は、上記時分割露光時間ごとに上記ぶれを取り除いた画像を求め、これを合成することを特徴とする。
さらに、第8の発明は、上記第5の発明において、上記画像生成部は、上記時分割露光時間ごとに上記ぶれを取り除いた画像を求め、これを合成することを特徴とする。
上記目的を達成するために本発明の第9の発明に係わる電子的ぶれ補正装置は、被写体輝度に基づいて適正露光となるように演算された露光時間を、または撮影者によって手動入力された露光時間を設定する露光時間設定部と、ぶれを許容可能な所定の限界露光時間よりも高速で、かつ上記露光時間のm分の1の時分割露光時間を演算する時分割露光時間演算部と、上記時分割露光時間で複数回の時分割撮像を行う時分割撮像部と、上記時分割撮像部で撮像された画像をm倍に増幅する第1増幅部と、上記m倍に増幅された複数枚の時分割画像に基づいて、ぶれを取り除いた画像を生成する画像生成部を具備したことを特徴とする。
また、第10の発明は、上記第9の発明において、上記電子的ぶれ補正装置は、さらにISO感度を設定するISO感度設定部と、上記ISO感度に応じた増幅率で上記撮像素子にて生成された画像信号を増幅する第2増幅部とを備えたことを特徴とする。
さらに、第11の発明は、上記第10の発明において、上記第1増幅器と上記第2増幅器を共用することを特徴とする。
さらに、第11の発明は、上記第10の発明において、上記第1増幅器と上記第2増幅器を共用することを特徴とする。
第1の発明によれば、ぶれを許容可能な限界露光時間で撮影可能となるとともに、時分割画像をm倍に増幅することにより適正レベルの画像データを得ることができ、ぶれ補正精度の高い電子的ぶれ補正装置を提供することができる。また、時分割撮像により得られた複数枚の時分割画像のぶれを補正した画像を合成することにより、ぶれが補正されると共に、S/Nの改善された合成画像を得ることができ、精度のよい電子的ぶれ補正装置を提供することができる。
第2の発明によれば、第1の発明の効果に加えて、時分割露光時間の整数倍が通常の露光時間に等しくなるような時分割撮像時間に設定でき、このため時分割撮像による画像を整数倍することにより、通常の撮影により得られる画像とほぼ同じ適正レベルの信号を得ることができ、増幅器が簡単になる。
第3の発明によれば、ぶれ許容可能な最短露光時間で時分割撮像を行うことができる。
第4の発明によれば、時分割撮像に伴う信号レベルの低下を補う増幅部と、ISO感度を達成するための増幅部を別々に設けているので、任意の増幅率を簡単に設定できる。
第5の発明によれば、増幅部を兼用するようにしたので、回路構成が簡単となり、またノイズを抑えることができる。
第6の発明によれば、時分割露光時間の整数倍が通常の露光時間に等しくなるような時分割撮像時間に設定でき、このため時分割撮像による画像を整数倍することにより、通常の撮影により得られる画像とほぼ同じ適正レベルの信号を得ることができ、増幅器が簡単になると共に、ぶれ補正精度の高い電子的ぶれ補正装置を提供することができる。
第7の発明によれば、確実にぶれ許容可能な露光時間で時分割撮像を行うことができる。
第8の発明によれば、ぶれを取り除いた時分割画像を基に画像を合成するので、ぶれを除去した画像を簡単に得ることができる。
第9の発明によれば、時分割画像をm倍に増幅することにより適正レベルの画像データを得ることができ、量子化ノイズを抑えてぶれ補正精度の高い電子的ぶれ補正装置を提供することができる。
第10の発明によれば、第9の発明の効果に加えて、時分割撮像に伴う信号レベルの低下を補う増幅部と、ISO感度を達成するための増幅部を別々に設けているので、任意の増幅率を簡単に設定できる。
第11の発明によれば、第10発明の効果に加えて、増幅部を兼用するようにしたので、回路構成が簡単となり、またノイズを抑えることができる。
第2の発明によれば、第1の発明の効果に加えて、時分割露光時間の整数倍が通常の露光時間に等しくなるような時分割撮像時間に設定でき、このため時分割撮像による画像を整数倍することにより、通常の撮影により得られる画像とほぼ同じ適正レベルの信号を得ることができ、増幅器が簡単になる。
第3の発明によれば、ぶれ許容可能な最短露光時間で時分割撮像を行うことができる。
第4の発明によれば、時分割撮像に伴う信号レベルの低下を補う増幅部と、ISO感度を達成するための増幅部を別々に設けているので、任意の増幅率を簡単に設定できる。
第5の発明によれば、増幅部を兼用するようにしたので、回路構成が簡単となり、またノイズを抑えることができる。
第6の発明によれば、時分割露光時間の整数倍が通常の露光時間に等しくなるような時分割撮像時間に設定でき、このため時分割撮像による画像を整数倍することにより、通常の撮影により得られる画像とほぼ同じ適正レベルの信号を得ることができ、増幅器が簡単になると共に、ぶれ補正精度の高い電子的ぶれ補正装置を提供することができる。
第7の発明によれば、確実にぶれ許容可能な露光時間で時分割撮像を行うことができる。
第8の発明によれば、ぶれを取り除いた時分割画像を基に画像を合成するので、ぶれを除去した画像を簡単に得ることができる。
第9の発明によれば、時分割画像をm倍に増幅することにより適正レベルの画像データを得ることができ、量子化ノイズを抑えてぶれ補正精度の高い電子的ぶれ補正装置を提供することができる。
第10の発明によれば、第9の発明の効果に加えて、時分割撮像に伴う信号レベルの低下を補う増幅部と、ISO感度を達成するための増幅部を別々に設けているので、任意の増幅率を簡単に設定できる。
第11の発明によれば、第10発明の効果に加えて、増幅部を兼用するようにしたので、回路構成が簡単となり、またノイズを抑えることができる。
以下、図面に従って本発明を適用した電子撮像装置としての機能を有するデジタルカメラを用いて好ましい実施形態について説明する。
図1は本実施形態に係わるデジタルカメラの電気的構成を主に示すブロック図である。このデジタルカメラは、二次元固体撮像素子(以下、適宜、撮像素子と略称する)1と、相関二重サンプリング回路(CDS:Correlated Double Sampling)2と、ゲインコントロールアンプ(AMP)3と、A/D変換器4と、タイミングジェネレータ(TG)5と、シグナルジェネレータ(SG)6と、CPU(Central Processing Unit)7と、情報処理部8と、DRAM(Dynamic Random Access Memory)9と、圧縮伸張部10と、記録媒体11と、表示部12と、バリエータレンズ13と、エンコーダ14と、フォーカスレンズ15と、フォーカスレンズ駆動系16と、絞り17と、絞り駆動系18と、第1レリーズスイッチ19aおよび第2レリーズスイッチ19bと、距離検出部20と、操作部21を含んでいる。なお、バリエータレンズ13、エンコーダ14、フォーカスレンズ15、フォーカスレンズ駆動系16、絞り17、絞り駆動系18は、撮影レンズ22を構成する。
図1は本実施形態に係わるデジタルカメラの電気的構成を主に示すブロック図である。このデジタルカメラは、二次元固体撮像素子(以下、適宜、撮像素子と略称する)1と、相関二重サンプリング回路(CDS:Correlated Double Sampling)2と、ゲインコントロールアンプ(AMP)3と、A/D変換器4と、タイミングジェネレータ(TG)5と、シグナルジェネレータ(SG)6と、CPU(Central Processing Unit)7と、情報処理部8と、DRAM(Dynamic Random Access Memory)9と、圧縮伸張部10と、記録媒体11と、表示部12と、バリエータレンズ13と、エンコーダ14と、フォーカスレンズ15と、フォーカスレンズ駆動系16と、絞り17と、絞り駆動系18と、第1レリーズスイッチ19aおよび第2レリーズスイッチ19bと、距離検出部20と、操作部21を含んでいる。なお、バリエータレンズ13、エンコーダ14、フォーカスレンズ15、フォーカスレンズ駆動系16、絞り17、絞り駆動系18は、撮影レンズ22を構成する。
撮影レンズ22内のバリエータレンズ13は、焦点距離を設定するための光学系であり、エンコーダ14はバリエータレンズの焦点距離の焦点距離に対応した位置信号を検出するためのもので、検出した位置信号はCPU7によって読み取られ撮影レンズ22の焦点距離に変換される。フォーカスレンズ15は被写体に焦点を合わせるためのレンズであり、距離検出部20により検出された被写体距離に応じて、所望の被写体に焦点が合うように調節される。フォーカスレンズ駆動系16は、距離検出部20により検出された被写体距離情報に基づきCPU7から指令を受け、撮影レンズ22を合焦位置に駆動する。これは所謂オートフォーカス制御として公知の技術である。
被写体距離検出部20は、被写体までの距離に関する情報を検出するものであって、DRAM9に記憶された1フレーム(1画面)分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積合成値を算出する等により高周波域側の輪郭成分等に対応したAF評価値を算出し、このAF評価値に基づいて焦点検出を行う。これらの演算処理はCPU7によって実行することができる。なお、被写体距離検出部20は、上述したような画像信号の高周波成分に基づく方法以外にも、公知の位相差法や光投射法など種々の検出方法に置き換えることは勿論かまわない。
撮影レンズ22内に配置された絞り17は撮影レンズ22からの結像光束の通過範囲を規定することにより光量の調整を行う光学絞りであり、撮像光学系の一部である。絞り17はCPU7からの制御信号に基づき絞り駆動系18によって駆動される。測光部たるCPU7はDRAM9に記憶された画像データに基づき露出演算を行い、絞り駆動系18はCPU7から露出演算結果に基づく制御指令を受け、絞り17を駆動し、開口径を変更する。このような絞り制御は、いわゆるAE(自動露出)制御として公知である。
撮影レンズ22を透過した被写体光束は撮像素子1上に結像し、この撮像素子1は結像した被写体像を光電変換しアナログ電気信号として出力する。図2に撮像素子1の構成を示す。この撮像素子1は周知のインターライン型のCCD固体撮像素子である。垂直転送CCD(VCDD)31がフォトダイオード33の列とセットで配置され、VCDD31は撮像素子下部に配置された水平転送CCD(HCCD)32に接続されている。フォトダイオード33で光電変換された信号電荷は電荷蓄積動作により、それぞれの接合容量に蓄積される。蓄積期間(露光期間)が終了すると、転送ゲート(TP)34にシフトパルスが印加され、これらの電荷全画素同時に隣接するVCCD31にシフトされる。信号電荷読み出されるとフォトダイオード33は再びバイアスされた状態となり、信号電荷の蓄積が可能となる。VCCD31に読み出された信号電荷は、VCCD31の転送電極に加えられるクロックパルスに同期して、下方に転送される。最下端まで転送された時点で、VCCD31の1行分ずつの信号電荷がHCCD32に送られ、出力端まで順次転送される。1画面分の信号電荷が読み出されるとVCCD31は空の状態となり、再びフォトダイオード33に蓄積された次の信号電荷を読み出すことが可能となる。
撮像素子1は周知の縦型オーバーフロー構造のCCD固体撮像素子を採用している。これはn型基板(例えば、n型シリコン基板)の表面に作られたp型拡散領域(pウェル:p−well)の中にフォトダイオード(PD)33を構成し、pウェルとn型基板との間の逆バイアス電圧VSUBにより、pウェルを完全に空乏化するようにしたものである。このVSUBに高電圧のパルスを印加することにより、フォトダイオード33に蓄積された電荷を基板側に排出することができる。したがって、この逆バイアス電圧VSUBの制御によりフォトダイオード33の電荷蓄積時間の制御が可能となる。なお、本実施形態では、撮像素子1としてインターライン型CCD固体撮像素子を採用したが、これに限る必要はなく、例えば、フレーム・インターライン・トランスファー型固体撮像素子でも良く、またMOS(Metal Oxide Semiconductor)型固体撮像素子でも勿論構わない。
図1に戻り、撮像素子1に接続されたタイミングジェネレータ(TG)5は、CPU7からパルスを受け、撮像素子1を駆動するための転送パルスを供給し、また、後述するCDS2、A/D変換器4に対しても各種のパルスを供給する。TG5はCPU7から直接パルスを入力すると共に、シグナルジェネレータ(SG)6にも接続されている。このSG6はCPU7の制御に基づき同期信号を生成してTG5に出力する。
撮像素子1の出力に接続されたCDS2は、TG5から供給されるサンプルホールドパルスに従って駆動し、撮像素子1から出力される画像信号に相関二重サンプリング等の処理を行い、リセットノイズを除去する。CDS2の出力に接続されたゲインコントロールアンプ(AMP)3は、CDS2から出力されるアナログ信号を増幅するものである。このAMP3の増幅率は、ISO(International Organization for Standardization)感度Svに応じた増幅率に設定されるようになっている。つまり、AMP3は、ISO感度変更部となっている。またAMP3の増幅率は、時分割撮像された画像の数が規定数に達しないとき、その不足分を補うために合成された画像を増幅するためにも用いられる。詳しくは後述するが、被写体輝度が低い等の事情によりシャッタ速度を遅くし、露光時間を長くすると手ぶれ等の影響を受け、画像がぶれてしまう。本実施形態においては、ぶれの影響が許容できる程度の限界露光時間で時分割露光を繰り返し、適正露光を得ると共に、時分割露光によって得た複数の画像を合成してぶれの影響を除去するようにしている。時分割露光を行うと1フレームの画像信号のレベルが低いので、AMP3によって、この不足分を補うように増幅している。
図3にAMP3の構成を示す。リセットノイズが除去するためのCDS2の出力は、AMP3の初段を構成する増幅率A1の増幅器23に接続され、この増幅器23の出力は増幅率A2の増幅器24に接続され、この出力は後述するA/D変換器4に接続される。増幅率A1は時分割露光による露光不足を補うような値を、また、増幅率A2はISO感度に応じた増幅率を設定する。
図1に戻り、AMP3の出力に接続されたA/D変換器4は、タイミングジェネレータ(TG)5から供給される信号に従ってAMP3から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル変換部である。このA/D変換器4の出力に接続された情報処理部8は、A/D変換器4から出力されるデジタル形式の画素信号を処理し、画像データを生成するものである。この情報処理部8は、撮像素子1によって撮像されここで処理された複数の画像データ(時分割画像データ)を一時的に記憶するためのバッファメモリ8aを有している。
情報処理部8の出力に接続されたDRAM9は、情報処理部8から出力される画像データを一時的に記憶するものであると共に、圧縮伸張部10により出力される画像データを一時的に記憶するものとなっている。なお、バッファメモリ8aがDRAM9の機能を兼用するようにしてもよいし、逆にバッファメモリ8aの機能をDRAM9が兼用するようにしてもよい。DRAM9に接続された圧縮伸張部10は、DRAM9に一時記憶された画像データを記録媒体11に記録するにあたってJPEG(Joint Photographic Coding Experts Group)等の圧縮形式で圧縮処理を行うと共に、記録媒体11から読み出された圧縮画像データを伸張するものである。
圧縮伸張部10に接続された記録媒体11は、圧縮伸張部10により圧縮された画像データを記録する記録部であり、例えば、不揮発性の記録媒体となっており、xDピクチャーカード(登録商標)、コンパクトフラッシュ(登録商標)、SDメモリカード(登録商標)またはメモリスティック(登録商標)等の書換え可能な記録媒体であって、カメラ本体に対して装填可能となっている。前述した情報処理部8とDRAM9に接続された表示部12は、これらから出力される画像データを表示するモニタである。記録媒体11への記録は記録容量を少なくするために画像データを圧縮し、表示部12に表示するにあたっては圧縮画像データを伸張している。
CPU7に接続された第1レリーズスイッチ19aと第2レリーズスイッチ19bは、自動復帰型の2段スイッチで構成され、レリーズボタン(図示せず)が押し込まれた際に、第1レリーズスイッチ19aはオンとなり、さらに押し込まれた際に第2レリーズスイッチ19bはオンとなる。即ち、レリーズボタンの半押しで第1レリーズスイッチ19aがオンとなり、全押しで第2レリーズスイッチ19bがオンとなる。そして、第1レリーズスイッチ19aは、撮影準備動作の指示を入力するものであり、第1レリーズスイッチ19aがオンとなると、測距動作や測光動作が行われる。また、第2レリーズスイッチ19bは、撮影動作の指示を入力するものであり、第2レリーズスイッチ19bがオンとなると、撮像素子1により撮像動作が行われ、画像データが前述した作用により生成され、圧縮された後に記録媒体11に記録される。CPU7に接続された操作部21は、撮影者の操作に基づいて撮影モードやシャッタ速度値、絞り値などの各種の撮影条件を設定するための操作部である。
CPU7には、前述したように、第1レリーズスイッチ19a、第2レリーズスイッチ19b、エンコーダ14、操作部21等からの信号が入力され、TG5、SG6等に指令を出力する。またCPU7は、フォーカスレンズ駆動系16、絞り駆動系18、AMP3、TG5に制御信号を出力する。さらにCPU7は情報処理部8、DRAM9および距離検出部20と双方向に接続されており、これを含むこのデジタルカメラ全体を制御している。具体的には、CPU7は、上述したオートフォーカス制御やAE制御を行うとともに、第1レリーズスイッチ19aおよび第2レリーズスイッチ19bからの静止画像の取り込みを指示する信号に基づき、撮像素子1の駆動制御を行う。また、CPU7は、絞り17の開口を変更する制御や撮像素子1の露光時間制御などを行う。そして、CPU7は、操作部21からの出力に基づき、このデジタルカメラの撮影モードを設定し、またデジタルカメラに係わる撮影条件を設定する。
次に、図4乃至図6に示すフローチャートを用いて本実施形態のデジタルカメラにおける動作を説明する。
本デジタルカメラが動作をスタートすると、まず、ステップS101において第1レリーズスイッチ19aがオンとなったか否かについて判定する。判定の結果、第1レリーズスイッチ19aがオフの場合には、そのまま待機状態となり、第1レリーズスイッチ19aがオンとなると、ステップS102に進み、ぶれ限界露光時間TLimitを演算する。このぶれ限界露光時間TLimitは、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。
本デジタルカメラが動作をスタートすると、まず、ステップS101において第1レリーズスイッチ19aがオンとなったか否かについて判定する。判定の結果、第1レリーズスイッチ19aがオフの場合には、そのまま待機状態となり、第1レリーズスイッチ19aがオンとなると、ステップS102に進み、ぶれ限界露光時間TLimitを演算する。このぶれ限界露光時間TLimitは、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。
ぶれ限界露光時間TLimitについて説明すると、35ミリフィルムカメラは、縦24mm×横36mm(対角43.28mm)のいわゆるライカ版フレーム(別称:ダブルフレーム)サイズのフィルムが使用されている。この35ミリフィルムカメラに関する長年の経験則として、ミリメートル単位の撮影レンズの焦点距離をfとしたときに、ぶれ限界露光時間TLimitは、
TLimit≒1/f(秒) ・・・(1)
になることが知られている。本実施形態では、この経験則をデジタルカメラの撮像素子1の有効撮像エリア内に設定した撮影画枠の大きさを考慮のうえ、応用することにする。即ち、一般的にデジタルカメラにおいては、35ミリフィルムカメラにおける焦点距離に相当する値を表示しているので、この35ミリカメラ相当の焦点距離を用い、ステップS102において、エンコーダ14によって検出された焦点距離fの逆数を演算する。なお、ぶれ限界露光時間TLimitは、必ずしも、1/fで与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような時分割露光時間を用いれば良い。したがって、ぶれ限界露光時間TLimitは、概略、上記(1)式により与えられる露光時間よりも短い時間であれば構わない。
TLimit≒1/f(秒) ・・・(1)
になることが知られている。本実施形態では、この経験則をデジタルカメラの撮像素子1の有効撮像エリア内に設定した撮影画枠の大きさを考慮のうえ、応用することにする。即ち、一般的にデジタルカメラにおいては、35ミリフィルムカメラにおける焦点距離に相当する値を表示しているので、この35ミリカメラ相当の焦点距離を用い、ステップS102において、エンコーダ14によって検出された焦点距離fの逆数を演算する。なお、ぶれ限界露光時間TLimitは、必ずしも、1/fで与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような時分割露光時間を用いれば良い。したがって、ぶれ限界露光時間TLimitは、概略、上記(1)式により与えられる露光時間よりも短い時間であれば構わない。
続いて、ステップS103において、被写体の明るさを測定する。測光は、撮像素子1から繰り返し出力される画像信号のレベルをモニタして、被写体の明るさを演算する。即ち、撮像素子1から読み出された画像信号は、CDS2により処理されゲインコントロールアンプ3により増幅され、A/D変換器4によりデジタル値に変換され、情報処理部8を経てDRAM9に一時記憶される。このDRAM9に記憶された画像データの中から、画像全体の中の例えば中央部付近の所定領域の画像データをCPU7が読み出し、そのレベルの合成平均値を求め、この合成平均値に基づいて被写体の明るさ(Bv)を演算する。
測光が終わると、続いて、CPU7は、アペックス演算によって適正露光を得るために必要なシャッタ速度(露光時間)Texpを演算し、<Texp/Tlimit>を演算して所定のメモリに記憶する(S104)。ここで、<x>は数字xの小数点以下を切り上げた整数値であり、またTexpは通常撮影の露光時間である。<Texp/Tlimit>の演算結果は、小数点以下を切り上げた整数値mとなり、〔m〕はこの整数値mを記憶するメモリを意味する。なお、アペックス演算は、露出値を演算するための周知の演算であり、シャッタ速度、絞り、被写体輝度、ISO感度のアペックス値をそれぞれ、Tv、Av、Bv、Svとするとき、
Tv+Av=Bv+Sv ・・・(2)
の関係から各々の露出パラメータを演算できる。
Tv+Av=Bv+Sv ・・・(2)
の関係から各々の露出パラメータを演算できる。
本実施形態では、<x>は数字xの小数点以下を切り上げた整数値としたが、<x>は整数値であれば良く、四捨五入でも切り捨てでも可能であり、また後述する本実施形態の変形例のように予め決められた整数の中から近い整数値を選択するようにしても良い。いずれにしても、<Texp/Tlimit>の演算結果の値の近傍の整数値であれば良い。また、シャッタ速度Texpは測光に基づいて適正露光を得られる値を求めていたが、これに限らず、撮影者が手動で設定するシャッタ速度としても良いことは勿論である。
次に、ステップS105に進み、露光時間Texpを整数値mで除算することにより、時分割露光時間ΔTexpを求め、所定のメモリに記憶する。続いて、アペックス演算に基づいて絞り値を演算する(S106)。なお、(2)式の右辺の被写体輝度値はステップS103の測光にて求めた値であり、またISO感度値はデフォルト値または撮影者が操作部21によって入力した値である。したがって、(2)式の左辺のTvとAvは所定のプログラムラインに沿うように、適宜、演算される。
続いて、第2レリーズスイッチ19bがオンとなっているか否かについて判定する(S107)。第2レリーズスイッチ19bがオフの場合には、J102に分岐し、上述のステップS102からS106の処理を繰り返し、第2レリーズスイッチ19bがオンとなるのを待つ。この間に第1レリーズスイッチ19aもオフとなるとステップS101に戻る。ステップS107において、第2レリーズスイッチ19bがオンとなると、ステップS108に進み、撮像動作を開始し、まず絞り設定を行う。ここでは、開放状態となっている絞り17を、絞り駆動系18を制御することにより、ステップS106にて求めた絞り値まで絞り込む。続いて、ステップS109に進み、m回の時分割撮像を行う。
この時分割撮像について、図7に示すタイミングチャートを用いて説明する。撮影トリガ信号(第2レリーズスイッチ19b)のパルスが立ち下がると、撮像素子1にタイミングジェネレータ(TG)5からクロック信号CLKが供給される。クロック信号CLKを受けて、撮像素子1の画素を構成するフォトダイオード33に蓄積された電荷を半導体基板(サブストレート=縦型オーバーフロードレインVOFD)に強制排出するための基板印加高電圧パルスVSUBが繰り返し印加される。この高電圧パルスVSUBの印加が終了すると露光が開始する。即ち、高電圧パルスVSUBの立ち下がりに同期して撮像素子1による露光が開始することになる。
高電圧パルスVSUBの立下りから、ステップS105で演算された時分割撮像の露光時間ΔTexpが経過すると、撮像素子1のフォトダイオード33に蓄積された電荷を垂直転送CCD(VCCD)31にシフトするために、シフトパルスTPが出力される。そして垂直同期信号VDに同期して、蓄積された電荷が画像信号として読み出される。この画像信号の読み出し開始に同期して、撮像素子1に再び高電圧パルスVSUBが立ち上がり、所定期間印加される。高電圧パルスVSUBの印加が終了すると、再び露光が開始し、次の垂直同期信号VDに同期して2回目の時分割撮像による画像の読み出しが行われる。以上の動作をm回(例えば10回)行う。以上の説明から分かるように、読み出し開始から次の読み出し開始までの間の時間、即ち読み出し時間Treadから、高電圧印加パルスVSUBの印加時間Tsubを減算した時間が、時分割撮像の露光時間ΔTexpとなる。
このようにして、撮像素子1から時分割で読み出されたアナログの時分割画像信号は、CDS2においてリセットノイズが除去され、ゲインコントロールアンプ(AMP)3により、アナログ的に増幅される。このAMP3の増幅率は、時分割撮像による画像の露出不足を補うための増幅率をA1、ISO感度Svに応じた増幅率をA2とすると、A1×A2となるように設定される。ここで、通常撮影の露光量をE1、時分割撮像の露光量をE2とすると、A1=E1/E2となる。さらに具体的に述べると、適正露光を得るための露光時間Texpをm回に等分割した露光時間Texp/m(=ΔTexp)でm回の時分割撮像を行うものとするとき、各時分割撮像における増幅率は、
A1=Texp/(Texp/m)=m ・・・(3)
となる。
A1=Texp/(Texp/m)=m ・・・(3)
となる。
図3に示すゲインコントロールアンプ(AMP)3では、時分割撮像撮影回数数mに応じて、CDS2の出力信号をm倍に増幅するための増幅率A1の増幅器23と、ISO感度に応じた増幅率でCDS2の出力信号を増幅するための増幅率A2の増幅器24を、それぞれ別個に構成し、直列に接続してある。このような構成においては、増幅器23と増幅器24の増幅率を掛けることで任意の増幅率を簡単に作ることができる。
ゲインコントロールアンプ(AMP)3により増幅されたアナログ画像信号は、A/D変換器4により、タイミングジェネレータ5から供給される信号に従って、デジタル信号に変換される。A/D変換器4によりデジタル信号に変換された画像信号は、情報処理部8により所定の画像処理が施され、情報処理部内部のバッファメモリ8aに記憶される。
以上説明したように、露光時間Texpのm分の1(m:整数)の露光時間で時分割撮像を行い、これをゲインコントロールアンプ(AMP)3でm倍に増幅してA/D変換することにより、通常撮影とほぼ同じ適正レベルのデジタル化された画像信号を得ることができる。そして時分割撮像をm回行い、これらを後述するようにぶれ補正して合成(加算)することにより、S/Nが改善されぶれが補正された画像を生成することができる。以上述べたことから明らかなように、時分割撮像の撮像回数は必ずしもm回である必要はない。時分割撮像の撮像回数は多ければ、その分合成画像のS/Nが改善される。
また、本実施形態では、露光時間Texpを整数mで除算したΔTexpの時分割露光時間で撮像しており、すなわち露光時間Texpに応じて可変な時分割露光時間とし、m回に亘って撮像を繰り返すことにより、適正露光を得ることができる。また、増幅器の増幅率も整数倍にすることができ、構成が簡単となる。
また、本実施形態では、露光時間Texpを整数mで除算したΔTexpの時分割露光時間で撮像しており、すなわち露光時間Texpに応じて可変な時分割露光時間とし、m回に亘って撮像を繰り返すことにより、適正露光を得ることができる。また、増幅器の増幅率も整数倍にすることができ、構成が簡単となる。
時分割撮像(S109)が終了すると、次にステップS110に進み、ぶれ画像補正/記録のサブルーチンにて、ぶれが補正された合成画像の生成処理とこの合成画像を記録媒体11に記録する。このサブルーチンを図5および図6のフローチャートを用いて説明する。まず、バッファメモリ8aに記憶されたm回分の時分割露光の画像の相互のぶれ補正と、このぶれ補正された画像から合成画像を生成するためのぶれ画像補正を行う(S201)。
以下、このぶれ画像補正のサブルーチンについて図6を参照しながら、情報処理部8で行われるぶれ画像補正の流れを説明する。
まず、初期設定として、分割画像を識別するためのIDに相当する変数iを記憶するメモリ〔i〕に0を記憶する(S301)。続いて、画像I(i)と画像I(i+1)とのぶれΔ(i,i+1)を演算する(S302)。ぶれΔは、画像I(i)の特徴を数点定めて、この特徴点と一致する画像I(i+1)の特徴点の位置を公知の動きベクトル演算により求め、対応する位置の相対的なずれを求めればよい。なお、上記ぶれΔはベクトルである。
まず、初期設定として、分割画像を識別するためのIDに相当する変数iを記憶するメモリ〔i〕に0を記憶する(S301)。続いて、画像I(i)と画像I(i+1)とのぶれΔ(i,i+1)を演算する(S302)。ぶれΔは、画像I(i)の特徴を数点定めて、この特徴点と一致する画像I(i+1)の特徴点の位置を公知の動きベクトル演算により求め、対応する位置の相対的なずれを求めればよい。なお、上記ぶれΔはベクトルである。
次に、ステップS303に進み、ぶれΔを積算したΣΔ(k,k+1)(但し、k=0〜i)のスカラー値|ΣΔ(k,k+1)|を演算し、この値と予め決めた所定の値αを比較する。比較の結果、|ΣΔ(k,k+1)|>αではなかったとき、即ち、ぶれの積算値が所定値より小さく、大ぶれでなかった場合には、ぶれ補正が可能である。この場合には、ステップS304に進み、メモリ〔i〕の内容をインクリメントする。続いて、ぶれΔに基づいて画像I(i)と画像I(i+1)のぶれを補正した後に、対応する画素の値を加算(合成)する(S305)。この後、ステップS306にて、iとm−1を比較する。mはステップ104にて設定された時分割撮像の回数、すなわち時分割撮像により得た画像の数であり、m−1はぶれ補正の処理を行う回数となる。判定の結果、i=m−1ではないときには、J301に分岐してステップS302に戻り、以上の処理を繰り返し、実行する。判定の結果、i=m−1となると、ステップS307に進み、ぶれ補正処理を行った画像の合成画像の平均値を演算する。これによりぶれ補正処理を行った画像を得ることができる。
一方、ステップS303において、判定の結果、|ΣΔ(k,k+1)|>αであった場合には、時分割撮像期間中の全体のぶれ量が許容可能な、すなわち有効領域の確保が難しい値よりも大きいと判断し、J302に分岐し、ステップS307に移行する。この場合には、ぶれ補正処理を行わないので、ぶれた画像となる。
ステップS307の合成画像の平均化を終えると、ぶれ画像補正のサブルーチンを終了し、図5に示す、ぶれ画像補正/記録のルーチンに戻る。ステップS202において、有効領域の抽出を行う。情報処理部8においては、すべての時分割画像が重複する領域が予め決められた有効領域内に入るように、最初に撮像した時分割画像を基準にしたぶれ量が、予め決めた所定以上の大きさの時分割画像については、合成処理対象から除外する。そして、ぶれ量が所定内の時分割画像について、合成した画像のうち、最初に撮像した時分割画像から予め決めた領域内の画像を抽出する。このようにすることにより、所定以上の有効領域の抽出処理が簡単になる。
次にステップS203に進み、有効領域の画像データはDRAM9に一時記憶される。そして一時記憶された画像データを圧縮伸張部10により、JPEG等の所定のフォーマット形式の画像データに圧縮する。続いて、ステップS204にて、圧縮された画像データは記録媒体11に記録して、ぶれ画像補正/記録のルーチンを終了する。
次に、本実施形態におけるゲインコントロールアンプ(AMP)3の変形例を説明する。本実施形態におけるAMP3は増幅率A1の増幅器23と増幅率A2の増幅器24を別々に直列接続することにより、時分割撮像回数mに応じた増幅率A1とISO感度に応じた増幅率A2を設定することで、任意の増幅率簡単に得ることができる。しかし、この構成では、回路構成が複雑化するとともに、増幅器が2段接続されるので、ノイズが増加してしまうおそれがある。増幅器23の増幅率A1と増幅器24の増幅率A2は、相互に関連しており、A1×A2はほぼ一定の値をとることができるので、増幅器23と増幅器24は共用することが可能である。以下この点について詳述する。
増幅器24の増幅率をk倍することによりISO感度をk倍(=logm/log2〔段〕)すると、シャッタ速度は1/k倍(Texp/k秒)になる。したがって時分割露光回数m’は、m’=(Texp/k)/TLimit=(Texp/TLimit)/k=m/k (但し、Texp/TLimitはISO感度をk倍する前の時分割露光の回数mに等しい)となる。
ところで、時分割画像の信号レベルは、適正レベルの1/m’倍になっているので、A/D変換器4の量子化ノイズを通常撮影と同レベルに抑えるために、時分割画像をm’倍に増幅したのちにA/D変換してデジタル信号に変換するのが望ましい。そして上記デジタル変換した複数の時分割画像の相互ブレを補正して、ぶれが補正された複数の時分割画像を合成した後に、この合成画像を平均化することによりぶれの補正された合成画像を生成する。そうすると、時分割画像の増幅率の変換はm’/m=1/k倍になる。そして、A/D変換前の画像信号の全体の増幅率はISO感度に基づく増幅率と時分割画像の増幅率を掛けた値となる。
したがって、ISO感度を変更する前後の全体の増幅率の変化は、ISO感度の変更に基づく増幅率の変化k倍と、時分割画像の増幅率の変化1/k倍を掛けたk×1/k=1に等しい。このことは、ISO感度を変化しても全体の増幅率は一定に保たれることを意味し、ISO感度設定用の増幅回路を、時分割画像を増幅するための増幅回路と共用可能なことを示している。
図8に増幅器23と増幅器24を共用する変形例を示す。差動増幅器26の非反転入力は、CDS2の出力に接続され、反転入力はアナログスイッチ回路28の一端に接続される。アナログスイッチ回路28はn個のアナログスイッチTG1、TG2、・・・TGnを有し、これらの各一端は前述のとおり、差動増幅器26の反転入力に接続され、各他端は、直列接続された抵抗Rn、R(n−1)、R(n−2)、・・・R2、R1の各接続点に接続されている。すなわち、アナログスイッチTGnの他端は抵抗R1と抵抗R2の接続点に接続され、アナログスイッチTG2の他端は抵抗R(n−1)と抵抗Rnの接続点に接続され、アナログスイッチTG1の他端は、抵抗Rnと差動増幅器26の出力の接続点に接続されている。なお、抵抗R1の他端は接地され、また差動増幅器26の出力はさらにA/D変換器4に接続されている。
アナログスイッチ28の各制御端子はデコーダ27の出力に接続されている。デコーダ27は2進数の入力信号D1、D2、・・・、Dmを出力信号S1,S2、・・・、Snに変換するためのデコーダである。このSx(x=1、2、3、・・・、n)が1(“H”レベル)のときアナログスイッチTGx(x=1、2、3、・・・、n)がオンとなるようになっている。デコーダ27の出力信号S1,S2、・・・、Snは入力信号D1、D2、・・・、Dmを10進数に変換した値を、例えばxとするとき、出力信号Sxのみが1となりその他の出力信号は“0”となる。例えばアナログスイッチTGnがオンとなると、差動増幅器26の出力Voutは、
Vout=Vin・(Rn+R(n−1)+R(n−2)+・・・R2+R1)/R1
となる。一例として、m=3、n=8、R1=100Ω、R3=200Ω、R4=400Ω、R5=800Ω、R6=1.6KΩ、R7=3.2KΩ、R8=6.4KΩとすると、入力信号D1、D2、D3に対して図9のような利得が得られる。
Vout=Vin・(Rn+R(n−1)+R(n−2)+・・・R2+R1)/R1
となる。一例として、m=3、n=8、R1=100Ω、R3=200Ω、R4=400Ω、R5=800Ω、R6=1.6KΩ、R7=3.2KΩ、R8=6.4KΩとすると、入力信号D1、D2、D3に対して図9のような利得が得られる。
いま、利得とISO感度を図9のように対応つけるものとする。利得が32以上になるとISO感度が対応していないのは、時分割撮像の回数mに応じて増幅するためである。時分割撮像による画像の露出不足を補うための増幅率A1は、図9に記載の例では、2の倍数で変化する増幅率にする必要がある。したがって、この例では時分割回数は、例えば1、2、4、8のいずれかに設定する。具体的には、以下のようにして時分割撮像の回数mを求める。まず、通常撮影おける露光時間をTexpとし、これをぶれ限界露光時間TLimitで除したTexp/TLimitを演算する。次に1、2、4、8の中からTexp/TLimitより大きく且つ最小値を選択する。例えば、Texp/TLimit=2.55であったとすると、時分割撮像回数mは4となる。したがって、この場合の差動増幅器26の増幅率Aは4であるから、ISO感度は高ISO側に2段分シフトすることになる。
以上述べた変形例では、ISO感度を整数段で選択する例であったが、抵抗R1、R2、R3、・・・、Rnを適宜選択することにより、例えば1/3段ステップで選択できるように設計することも可能である。また、増幅率Aも任意の整数値を選択できるように設計することも可能である。
以上述べたように、本実施形態およびその変形例では、ぶれを許容可能な限界露光時間(ΔTexp)で時分割によって撮影可能とすると共に、AMP3で撮像素子1から出力される時分割画像をm倍に増幅することにより、適正レベルの画像データを得ることができる。また、時分割撮像により得られた複数舞の時分割画像の相互のぶれを補正した画像を合成(加算)することにより、ぶれが補正されると共にS/Nの改善された合成画像データを得ることができる。
また、ぶれを許容可能な限界露光時間で除した値の近傍の整数値をmとしたとき、通常撮影における露光時間を上記mで除した露光時間を時分割露光時間とすることにより、ぶれを許容可能な最短露光時間で時分割撮像ができる。また、時分割露光時間の整数倍が通常の露光時間に等しくなるような時分割撮像時間に設定できる。したがって、時分割撮像による画像を整数倍することにより、通常の撮影により得られる画像とほぼ同じ適正レベルの信号を得ることができるので、増幅器の設計が容易になる。
以上、説明した実施形態は、本発明をデジタルカメラに本発明を適用した例であったが、デジタルカメラとしてはデジタル一眼レフカメラやコンパクトデジタルカメラ等に適用でき、またデジタルカメラを内蔵した電子撮像装置にも適用できる。
1・・・撮像素子、2・・・CDS(相関二重サンプリング回路)、3・・・AMP(ゲインコントロールアンプ)、4・・・A/D変換器、5・・・TG(タイミングジェネレータ)、6・・・SG(シグナルジェネレータ)、7・・・CPU、8・・・情報処理部、9・・・ DRAM、10・・・圧縮伸張部、11・・・記録媒体、12・・・表示部、13・・・ バリエータレンズ、14・・・エンコーダ、15・・・フォーカスレンズ、16・・・フォーカスレンズ駆動系、17・・・絞り、18・・・絞り駆動系、19a・・・第1レリーズスイッチ、19b・・・第2レリーズスイッチ、20・・・距離検出部、21・・・操作部、22・・・撮影レンズ、23・・・増幅器、24・・・増幅器、26・・・差動増幅器、27・・・デコーダ、28・・・アナログスイッチ、31・・・垂直転送CCD(VCCD)、32・・・水平転送CCD(HCCD)、33・・・フォトダイオード、34・・・転送ゲート(TP)
Claims (11)
- 露光時間を演算する露光時間演算部と、
ぶれを許容可能な所定の限界露光時間よりも高速で、かつ上記露光時間のm(mは整数)分の1の時分割露光時間を演算する時分割露光時間演算部と、
上記時分割露光時間で複数回の時分割撮像を行う時分割撮像部と、
上記時分割撮像部で撮像された画像をm倍に増幅する第1増幅部と、
上記m倍に増幅された複数枚の時分割画像の相互のぶれを補正するぶれ補正部と、
上記ぶれ補正部により相互のぶれが補正された複数枚の時分割画像を合成する画像合成部と、
を備えたことを特徴とする電子的ぶれ補正装置。 - 上記時分割露光時間は、上記露光時間のぶれを許容可能な限界露光時間で除した値の近傍の整数値のいずれかをmとするとき、上記露光時間を上記整数値mで除した時間であることを特徴とする請求項1に記載の電子的ぶれ補正装置。
- 上記整数値mは、上記除した値の小数点以下を切り上げた整数値とすることを特徴とする請求項2記載の電子的ぶれ補正装置。
- 上記電子的ぶれ補正装置は、さらにISO感度を設定するISO感度設定部と、上記ISO感度に応じた増幅率で上記撮像素子にて生成された画像信号を増幅する第2増幅部とを備えたことを特徴とする請求項1に記載の電子的ぶれ補正装置。
- 上記第1増幅器と上記第2増幅器を共用することを特徴とする請求項4に記載の電子的ぶれ補正装置。
- 被写体輝度に基づいて適正露光となるように演算された露光時間を、または撮影者によって手動入力された露光時間を設定する露光時間設定部と、
上記露光時間を、手ぶれが発生しない限界露光時間で除算し、この除算結果に近い整数値でもって、上記露光時間を除算することによって時分割露光時間を演算する時分割露光時間演算部と、
上記時分割露光時間でもって複数回の時分割撮像を行う時分割撮像部と、
この時分割撮像部によって撮像された複数の時分割画像に基づいて、ぶれを取り除いた画像を生成する画像生成部と
を具備したことを特徴とする電子的ぶれ補正装置。 - 上記整数値は、予め決められた整数値の中から、上記除算値よりも大きな値を選択することを特徴とする請求項6に記載の電子的ぶれ補正装置。
- 上記画像生成部は、上記時分割露光時間ごとに上記ぶれを取り除いた画像を求め、これを合成することを特徴とする請求項6に記載の電子的ぶれ補正装置。
- 被写体輝度に基づいて適正露光となるように演算された露光時間を、または撮影者によって手動入力された露光時間を設定する露光時間設定部と、
ぶれを許容可能な所定の限界露光時間よりも高速で、かつ上記露光時間のm分の1の時分割露光時間を演算する時分割露光時間演算部と、
上記時分割露光時間で複数回の時分割撮像を行う時分割撮像部と、
上記時分割撮像部で撮像された画像をm倍に増幅する第1増幅部と、
上記m倍に増幅された複数枚の時分割画像に基づいて、ぶれを取り除いた画像を生成する画像生成部と
を具備したことを特徴とする電子的ぶれ補正装置。 - 上記電子的ぶれ補正装置は、さらにISO感度を設定するISO感度設定部と、上記ISO感度に応じた増幅率で上記撮像素子にて生成された画像信号を増幅する第2増幅部とを備えたことを特徴とする請求項9に記載の電子的ぶれ補正装置。
- 上記第1増幅器と上記第2増幅器を共用することを特徴とする請求項10に記載の電子的ぶれ補正装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006065489A JP2007243774A (ja) | 2006-03-10 | 2006-03-10 | 電子的ぶれ補正装置 |
US11/713,200 US7664382B2 (en) | 2006-03-10 | 2007-03-02 | Electronic blur correction device and electronic blur correction method |
CNA2007100861636A CN101035206A (zh) | 2006-03-10 | 2007-03-05 | 电子抖动校正装置以及电子抖动校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006065489A JP2007243774A (ja) | 2006-03-10 | 2006-03-10 | 電子的ぶれ補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007243774A true JP2007243774A (ja) | 2007-09-20 |
Family
ID=38479040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006065489A Withdrawn JP2007243774A (ja) | 2006-03-10 | 2006-03-10 | 電子的ぶれ補正装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7664382B2 (ja) |
JP (1) | JP2007243774A (ja) |
CN (1) | CN101035206A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237804B2 (en) | 2009-06-18 | 2012-08-07 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4420906B2 (ja) * | 2006-03-29 | 2010-02-24 | 三洋電機株式会社 | 撮像装置 |
US7924316B2 (en) * | 2007-03-14 | 2011-04-12 | Aptina Imaging Corporation | Image feature identification and motion compensation apparatus, systems, and methods |
JP4900401B2 (ja) * | 2008-05-16 | 2012-03-21 | カシオ計算機株式会社 | 撮影装置およびプログラム |
JP4706936B2 (ja) * | 2008-09-26 | 2011-06-22 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
JP4748230B2 (ja) * | 2009-02-17 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置、撮像方法及び撮像プログラム |
KR101605129B1 (ko) * | 2009-11-26 | 2016-03-21 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체 |
US9509911B2 (en) | 2010-07-14 | 2016-11-29 | Nikon Corporation | Image-capturing device, and image combination program |
KR101700363B1 (ko) * | 2010-09-08 | 2017-01-26 | 삼성전자주식회사 | 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법 |
US8471741B2 (en) * | 2011-11-14 | 2013-06-25 | Analog Devices, Inc. | Method and device for reducing inter-channel coupling in interleaved and multi-channel ADCs |
TWI620445B (zh) * | 2013-03-25 | 2018-04-01 | Sony Corp | 攝像元件及電子機器 |
JP6028928B2 (ja) * | 2013-04-16 | 2016-11-24 | オリンパス株式会社 | 撮像装置及び撮像方法 |
KR102124604B1 (ko) * | 2013-09-02 | 2020-06-19 | 삼성전자주식회사 | 이미지 안정화 방법 그 전자 장치 |
WO2016029380A1 (zh) * | 2014-08-27 | 2016-03-03 | 华为技术有限公司 | 一种图像处理方法、计算机存储介质、装置及终端 |
CN104811619B (zh) * | 2015-04-23 | 2018-12-25 | 小米科技有限责任公司 | 成像校正方法及装置、电子设备 |
CN104902175B (zh) * | 2015-05-22 | 2018-05-29 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
CN108322655A (zh) * | 2015-06-12 | 2018-07-24 | 青岛海信电器股份有限公司 | 一种拍照方法 |
CN106254772B (zh) | 2016-07-29 | 2017-11-07 | 广东欧珀移动通信有限公司 | 多帧图像合成方法和装置 |
CN107995432A (zh) * | 2016-10-26 | 2018-05-04 | 努比亚技术有限公司 | 一种实现慢门拍照的方法和装置 |
JP2021077935A (ja) * | 2019-11-05 | 2021-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像装置、制御方法、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11252445A (ja) | 1998-02-26 | 1999-09-17 | Sony Corp | 撮像装置 |
US6778210B1 (en) | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
JP4140181B2 (ja) | 2000-09-08 | 2008-08-27 | 富士フイルム株式会社 | 電子カメラ |
JP3960824B2 (ja) | 2002-03-06 | 2007-08-15 | オリンパス株式会社 | 撮像装置 |
JP2004128584A (ja) * | 2002-09-30 | 2004-04-22 | Minolta Co Ltd | 撮像装置 |
JP4388293B2 (ja) | 2003-03-13 | 2009-12-24 | 京セラ株式会社 | カメラの手振れ補正装置 |
-
2006
- 2006-03-10 JP JP2006065489A patent/JP2007243774A/ja not_active Withdrawn
-
2007
- 2007-03-02 US US11/713,200 patent/US7664382B2/en not_active Expired - Fee Related
- 2007-03-05 CN CNA2007100861636A patent/CN101035206A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237804B2 (en) | 2009-06-18 | 2012-08-07 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
US8379097B2 (en) | 2009-06-18 | 2013-02-19 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
Also Published As
Publication number | Publication date |
---|---|
US7664382B2 (en) | 2010-02-16 |
CN101035206A (zh) | 2007-09-12 |
US20070212044A1 (en) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4837406B2 (ja) | 電子的ぶれ補正装置および電子的ぶれ補正方法 | |
JP2007243774A (ja) | 電子的ぶれ補正装置 | |
JP2007243775A5 (ja) | ||
US9979874B2 (en) | Image capturing apparatus and pixel scanning method for image generation | |
JP5219778B2 (ja) | 撮像装置及びその制御方法 | |
US20020085112A1 (en) | Image input apparatus | |
JP5132497B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP4912694B2 (ja) | 電子的ぶれ補正装置及び電子的ぶれ補正方法 | |
JP2006262220A (ja) | 撮像装置 | |
JP5952975B2 (ja) | 撮像装置および撮像方法 | |
JP2009284136A (ja) | 電子カメラ | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP6277675B2 (ja) | 撮像装置および撮像方法 | |
JP2007214792A (ja) | 撮像装置及びその制御方法 | |
JP2006262221A (ja) | 撮像装置および画像処理方法 | |
JP5515295B2 (ja) | 測光装置および撮像装置 | |
JP2006262222A (ja) | 撮像装置 | |
JP2007295429A (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
JP2008118378A (ja) | 撮影装置及びその駆動方法 | |
JP5316098B2 (ja) | 撮像装置、撮像方法、および、プログラム | |
WO2010001741A1 (ja) | 撮像装置 | |
JP2023121622A (ja) | 検出装置および検出方法 | |
JP2012204938A (ja) | 撮像装置 | |
JP5858699B2 (ja) | 撮像装置及びその制御方法 | |
JP2011217317A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |