JP2022187800A - 撮像装置及びその制御方法、並びにプログラム - Google Patents
撮像装置及びその制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP2022187800A JP2022187800A JP2021095983A JP2021095983A JP2022187800A JP 2022187800 A JP2022187800 A JP 2022187800A JP 2021095983 A JP2021095983 A JP 2021095983A JP 2021095983 A JP2021095983 A JP 2021095983A JP 2022187800 A JP2022187800 A JP 2022187800A
- Authority
- JP
- Japan
- Prior art keywords
- blur correction
- image blur
- image
- information
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 106
- 230000003287 optical effect Effects 0.000 claims abstract description 57
- 239000002131 composite material Substances 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 33
- 230000006641 stabilisation Effects 0.000 claims description 19
- 238000011105 stabilization Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002955 isolation Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 22
- 239000000203 mixture Substances 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
【課題】カメラシステムからなる撮像装置において時間連続的に撮影された複数の静止画像の位置合わせ合成を行う際に、適切な露出条件でその複数の静止画像の撮影ができる撮像装置及びその制御方法並びにプログラムを提供する。【解決手段】撮像装置1000は、撮像素子6の表面上に形成される光学像の位置を変更可能なカメラ側像振れ補正部7及びレンズ側像振れ補正部15と、撮像素子6により時間連続的に複数の静止画像の撮影を行うカメラ制御部8と、撮影された複数の静止画像を位置合わせして合成画像を生成する画像処理部10とを備える。焦点距離に関する情報、及びカメラ側像振れ補正部7及びレンズ側像振れ補正部15の夫々が有する像振れ補正角に関する情報に基づいて撮影された複数の静止画像の露光時間及び総枚数は設定される。【選択図】図2
Description
本発明は撮像装置及びその制御方法並びにプログラムに関し、特に光学的な像振れ補正や時間連続的に撮影された複数の静止画像の位置合わせ合成を行う撮像装置及びその制御方法並びにプログラムに関する。
撮影光学系の一部や撮像素子を光軸に対して垂直な平面内で移動させることにより、撮像装置に加わる手ぶれなどの不要な振動の影響を低減するいわゆる像振れ補正技術がデジタルスチルカメラなどの撮像装置に広く採用されている。
また、撮像素子により時間連続的に複数の静止画像を撮影し、その位置合わせを順次実施しながら、種々の加算方式で合成を行い、像振れ補正に類似の効果を得る位置合わせ合成を行う技術も近年広く採用されている。
特許文献1では、予め設定されている撮影者特有の手振れ露光限界時間よりも長い露光時間になる場合に、手振れ露光限界時間よりも短い露光時間で時間連続的に撮影された複数の静止画像を合成して適正露出画像とする技術が開示されている。これにより、撮影者固有の手振れ露光限界時間を超えるような撮影においては、1枚1枚の静止画像に手振れの影響が少なくできるために、それらを合成することで手振れ影響の少ない、適切な露出の画像が得ることができる。
また、特許文献1の技術では、カメラの角度検出センサの検出情報、焦点距離情報や絞り情報を用いて、手振れの影響の多寡を判断することで、位置合わせ合成を行うか否かを決定することも開示されている。
しかしながら、レンズ交換式のカメラシステムや、複数の撮像素子と光学系のセットが組み込まれたカメラシステムでは極めて重要な要素となる、その組み合わせ毎の手振れ補正性能に関して特許文献1には言及がない。
そこで、本発明の目的は、カメラシステムからなる撮像装置において時間連続的に撮影された複数の静止画像の位置合わせ合成を行う際に、適切な露出条件でその複数の静止画像の撮影ができる撮像装置及びその制御方法並びにプログラムを提供することである。
上記課題を解決するため、本発明に係る撮像装置は、撮影光学系を透過した光束を受光し、光電変換を行う撮像素子と、前記撮影光学系及び/または前記撮像素子を駆動する光学的像振れ補正手段と、前記撮像素子により、時間連続的に複数の静止画像を取得する制御手段と、前記複数の静止画像を位置合わせして合成画像を生成する合成画像生成手段と、前記撮影光学系の焦点距離に関する情報、及び前記光学的像振れ補正手段の像振れ補正角に関する情報に基づいて前記複数の静止画像の露光時間及び総枚数を設定する設定手段を備えることを特徴とする。
本発明によれば、カメラシステムからなる撮像装置において時間連続的に撮影された複数の静止画像の位置合わせ合成を行う際に、適切な露出条件でその複数の静止画像の撮影ができる。
本発明の実施例に係るカメラシステムからなる撮像装置1000について、図を用いて説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
図1A、図1Bは、本発明に係る撮像装置1000の構成を説明する概略概念図である。図1Aは、撮像装置1000の中央断面図、図1Bは、撮像装置1000の電気的構成を示すブロック図である。図1A及び図1Bで同一の符号が付してあるものはそれぞれ対応している。
図1A、図1Bにおいて、撮像装置1000は、カメラ本体1、マウントブロック5、及びカメラ本体1にマウントブロック5を介して装着される交換レンズ2を備える。
図1Aに示すように、カメラ本体1は、撮像素子6及びカメラ側像振れ補正部7を備える。また交換レンズ2は、光軸4上にある撮影光学系3を備える。
具体的には、撮像装置1000がなすカメラシステムはいわゆるレンズ交換式の一眼カメラであって、円形のマウントブロック5を介して各種の交換レンズ(本実施例では交換レンズ2)が着脱可能な構成となっている。なお、撮像装置1000はレンズ交換式の一眼カメラであるが、その組み合わせごとに手振れ補正性能が変化するカメラシステムであればこれには限定されない。たとえば、撮像装置1000が、焦点距離領域に応じて異なるレンズと撮像素子の組み合わせを用いるような複数の撮像装置を有するスマートフォンなどのモバイル機器であっても、本発明の効果を発揮可能である。
また、図1Bに示すように、カメラ本体1は、図1Aに示す構成の他、カメラ制御部8、カメラ側像振れ補正制御部9、画像処理部10、電気接点12、及びカメラ側記憶部17を備える。また、交換レンズ2は、図1Aに示す構成の他、レンズ制御部13、レンズ側記憶部14、レンズ側像振れ補正部15、及びレンズ側像振れ補正制御部16を備える。
撮像装置1000がなすカメラシステムにおいて、交換レンズ2の撮影光学系3の光軸4を中心とする撮影画角からの光束が撮影光学系3を透過し、カメラ本体1に配設された撮像素子6上に被写体像として受光、結像される。
被写体像は、撮像素子6の光電変換部(不図示)において所定の露光時間分の電荷として蓄積された後に光電変換され、電気信号(画像信号、静止画像)となって画像処理部10へと送られる。露光時間については撮影者の設定内容や被写体の明るさ等に基づいて、カメラ制御部8が決定する。撮像装置1000においては、この蓄積及び光電変換を時間連続的に行う連写機能を有している。
画像処理部10では、画像信号が現像処理、ガンマ処理等を経て画像ファイル形式となり、カメラ制御部8によって不図示の不揮発性メモリに保存される。また、画像処理部10は、前述の連写機能によって得られた複数の静止画像の特徴点情報などから相対的な位置合わせを実施する合成画像生成手段としての機能を有する。さらに画像処理部10では、加算処理などにより複数画像から1枚の合成画像を得る位置合わせ合成処理を含む撮影動作を実施可能となっている。この撮像装置1000が実施する位置合わせ合成処理を含む撮影動作の詳細については後述する。
カメラ本体1に配設された撮像素子6は、カメラ側像振れ補正部7(光学的像振れ補正手段)によって光軸4に垂直な平面内を移動可能な構成となっている。また、カメラ側像振れ補正制御部9(光学的像振れ補正制御手段)は、カメラ側像振れ補正部7を駆動制御する。
同様に、交換レンズ2の撮影光学系3の一部である像振れ補正光学系(詳細は不図示)は、レンズ側像振れ補正部15(光学的像振れ補正手段)によって光軸4に垂直な平面内を移動可能な構成となっている。また、レンズ側像振れ補正制御部16(光学的像振れ補正制御手段)は、レンズ側像振れ補正部15を駆動制御する。
すなわち、カメラ側像振れ補正部7及びレンズ側像振れ補正部15により、像振れ補正光学系及び/または撮像素子6を駆動することで、撮像素子6の表面上に形成される光学像の位置を変更可能としている。
カメラ制御部8とレンズ制御部13は、電気接点12を介して通信によって協調し、各々カメラ側像振れ補正部7及びレンズ側像振れ補正部15を用いて、撮像装置1000に入力される不要な振動を低減するための駆動制御を行う。この際、振動はカメラ本体1及び交換レンズ2の夫々に配設された角速度センサ(不図示:検出手段)によって検出されるが、カメラ制御部8とレンズ制御部13が実施する協調制御の方法に応じて両方またはいずれか一方の角速度情報が利用される。
図1A、図1Bに示す本実施例の撮像装置1000からなるカメラシステムにおいて、レンズ制御部13が、カメラ本体1側から与えられる指示に応じて、不図示の各種制御部を介して各種制御手段を駆動制御する。例えば画像処理部10で得られる被写体の焦点検出情報や測光情報に応じて、レンズ制御部13は、不図示の焦点調節制御部や絞り制御部を介して不図示の焦点調節手段や絞り手段を駆動制御し、被写体像の結像状態や絞り状態を調節する。
レンズ側記憶部14は、交換レンズ2の現在の焦点距離情報やレンズ側像振れ補正部15の像振れ補正角、特定の周波数帯域における応答特性情報などが記憶されている。レンズ側記憶部14に記憶される、焦点距離情報、レンズ側像振れ補正部15の像振れ補正角、応答特性情報は、レンズ制御部13によって、また、電気接点12を介してカメラ本体1に配設されたカメラ制御部8によって参照される。
カメラ制御部8は、交換レンズ2から受け取った焦点距離情報、レンズ側像振れ補正部15の像振れ補正角に基づいて、カメラ側像振れ補正制御部9にカメラ側像振れ補正部7の駆動制御に関する指令を発出する。この際、カメラ制御部8は、カメラ側像振れ補正部7の持つ像振れ補正角を、レンズ制御部13から受け取った焦点距離情報から算出する。また、カメラ制御部8は、その算出された像振れ補正角とレンズ側像振れ補正部15の像振れ補正角とから、撮像装置1000として発揮可能な像振れ補正角と、レンズ側像振れ補正部15及びカメラ側像振れ補正部7の駆動量比率を決定する。さらに、カメラ制御部8(設定手段)は、交換レンズ2から受け取った焦点距離情報、レンズ側像振れ補正部15の像振れ補正角、及び応答特性情報に基づいて、画像処理部10の合成画像生成の際の露出を設定する。
カメラ側記憶部17は、後述する撮像装置1000が行う連続撮影画像の位置合わせ合成処理の際に、露出を決定するために参照される露出テーブルなどを記憶する。
本実施例においては、カメラ本体1はカメラ側像振れ補正部7を有し、交換レンズ2はレンズ側像振れ補正部15を有しているが、これには限定されず、いずれか一方によって像振れ補正がなされるものであってもかまわない。
図2は、撮像装置1000において実行される、連続撮影処理のフローチャートである。本処理は、撮像装置1000の電源投入時に開始される。尚、実際の撮影にあたっては、焦点調整等の動作も行われるが、本発明の効果に影響がないため説明を割愛する。
本処理は、カメラ制御部8が、カメラ本体1にある不図示のROMからプログラムを読み出し、同じくカメラ本体1にある不図示のRAMにそのプログラムを展開することにより実行される。
まず、ステップS201では、サブルーチンである防振性能判断処理が実施される。詳細は図3にて後述するが、この防振性能判断処理において、カメラ制御部8は、撮像装置1000の現在の防振性能を判断する。
ステップS202では、ステップS201で決定された防振性能に基づき、カメラ制御部8(設定手段)が次回の連続撮影の露出条件を設定する。具体的には、交換レンズ2に配設された不図示のシャッタ装置や絞り手段の設定、あるいはカメラ本体1に配設された撮像素子6の光電変換の感度(いわゆるISO感度)の設定の他、連続撮影画像のショット毎の露光時間及び撮影枚数の設定が行われる。
ステップS203では、カメラ制御部8は、撮影者による撮影開始指示が行われたか、具体的には撮影者によるレリーズボタンの押下で不図示のスイッチ(以下、SW2と称する)がONとなったなどの否かを判断する。SW2がONとなった場合(ステップS203でYES)、ステップS204へ進み、SW2がONとなってない場合(ステップS203でNO)、ステップS203へと戻る。
ステップS204では、カメラ制御部8(制御手段)は、ステップS202で設定された露出条件に基づき、撮像素子6を用いた連続撮像処理を実行する。本実施例では、撮像装置1000において連続撮影画像が取得されると、画像処理部10(合成画像生成手段)が、まず、連続撮影画像の夫々の特徴点抽出を行う。その後、テンプレートマッチングなど既存の手法に基づいて、順次位置合わせを行い、加算処理をへて1枚の合成画像を生成する。この連続撮影画像の露光時間を短くすることで、1コマ内でのブレ量を低減することが可能となる。これらを順次位置合わせ合成していくために見かけの総露光時間を長くすることが可能となり、最終的に1枚のブレ量の低減された画像を得ることとなる。合成の際に加算平均法を用いる場合は、画像内に現れるランダムノイズが均され平滑化されるという副次的な効果を得ることも可能である。
ステップS205では、カメラ制御部8は、ステップS204の処理で得られた1枚の合成画像を不揮発メモリ(不図示)に記録保存する記録処理を実行する。
ステップS206では、カメラ制御部8は、再度、SW2がONとなっているか、すなわち連続撮影の指示が継続中であるか否かを判定する。ここでSW2がONとなっている場合(ステップS206でYES)、ステップS201へと戻る。つまり、電源投入後、焦点距離の変更時に防振性能を再判断(更新)する。一方、SW2がONとなっていない場合(ステップS206でNO)、本処理を終了する。
図3は、図2のステップS201の防振性能判断処理のサブルーチンのフローチャートである。本サブルーチンは、カメラ制御部8が、前述のとおりレンズ側記憶部14に記憶されている各種情報及びカメラ側記憶部17に記憶されている各種情報の両者を参照する形で順次実行される。
ステップS301では、カメラ制御部8(取得手段)が、レンズ側記憶部14に記憶されている焦点距離情報(焦点距離に関する情報)を交換レンズ2から取得する。一般に、焦点距離が長くなると、撮像装置1000に入力されるブレ角度に対して、像面に現れるブレ量は大きくなる。逆に、焦点距離が短くなると、撮像装置1000に入力されるブレ角度に対して、像面に現れるブレ量は小さくなる。よって本実施例では、次のステップS302にて焦点距離に応じた必要な像振れ補正角を算出し、これに基づき撮像装置1000の像振れ補正性能(防振性能)を決定する。詳細は後述する。尚、焦点距離情報は、本実施例ではレンズ側記憶部14に記憶されているが、これには限定されない。例えばズームレンズなどの変倍機能を有する光学系の場合は、レンズ制御部13がレンズ側記憶部14にある焦点距離情報のテーブルデータに基づいて、現在のズームステート(焦点距離)を割り出し、随時これを通信によりカメラ制御部8に引き渡してもよい。また、撮像装置1000が、例えば撮影者の指示によって撮像素子と撮影光学系の組み合わせが変更されるようなカメラシステムである場合、この組み合わせが変更された際に、対応する焦点距離情報に読み替える仕組みを有していてもよい。
ステップS302では、カメラ制御部8が、レンズ側記憶部14に記憶されているレンズ側像振れ補正部15が有する像振れ補正角(以下、レンズ側像振れ補正角という)の情報を交換レンズ2から取得する。同時に、カメラ制御部8は、ステップS301で取得した焦点距離情報を用いて、現在のカメラ側像振れ補正部7が有する像振れ補正角(以下、カメラ側像振れ補正角という)を算出する。具体的には、カメラ側像振れ補正角は、カメラ側像振れ補正部7が有するストローク量と撮影光学系3の焦点距離(焦点距離情報)との正接から得られる角度として算出される。尚、本実施例ではカメラ側像振れ補正角は、正接を用いて算出しているが、条件によっては上記ストローク量と焦点距離の単純比で近似して算出してもよい。ここで得られたレンズ側像振れ補正角とカメラ側像振れ補正角の和である光学的像振れ補正角が算出される。前述のとおり、焦点距離との相対的な関係でブレに対して必要な像振れ補正角は変化するため、本実施例では、現在の焦点距離での撮像装置1000が発現できる光学的像振れ補正角に基づき、撮像装置1000の像振れ補正性能を決定する。尚、焦点距離に応じて、レンズ側像振れ補正部15及びカメラ側像振れ補正部7の一方のみを使用する場合、その使用する一方が変更可能な光軸角度で撮像装置1000の光学的像振れ補正角を決定する。
ステップS303では、カメラ制御部8は、撮像装置1000が有する応答特性情報の取得の要否を判断する。一般的には、前述の焦点距離情報と光学的像振れ補正角が像振れの補正に大きく寄与するが、それだけでは高い像振れ補正効果を発揮することはできない場合がある。例えば、カメラ本体1及び交換レンズ2の夫々に配設された角速度センサの性能によっては、正確に検出すべき所定帯域、例えば5Hz以下の低周波帯域のブレ量を過少に、あるいは過大に検出してしまう場合がある。この場合、カメラ側像振れ補正部7やレンズ側像振れ補正部15が撮像素子や像振れ補正光学系を適切な位置に移動させるための位置指令が発出できないことになる。また、交換レンズ2に配設された角速度センサの性能が十分に高く、正確に検出すべき所定帯域のブレ量を検出できたとしても、レンズ側像振れ補正制御部16及びレンズ側像振れ補正部15がそのブレ量に対して正しく応答できない場合がある。この場合も、正確な像振れ補正は実現不可能となる。これはカメラ本体1に配設された角速度センサについても同様である。よって、ステップS303では具体的には、カメラ制御部8が、これらのいずれかの場合に該当し、撮像装置1000が有する応答特性情報の取得が必要であるかを確認する。
撮像装置1000が有する応答特性情報の取得が必要である場合(ステップS303でYES)、ステップS304に進み、そうでない場合はステップS305に進む。尚、撮像装置1000が有する応答特性情報の取得が不要でない場合、以下後述するステップS305では、防振性能は、ステップS301,S302で得られた、「焦点距離情報」及び「光学的像振れ補正角情報」から判断される。すなわち、カメラ制御部8は、光学的像振れ補正角が第1の角度の場合よりも第1の角度より大きい第2の角度の場合のほうが防振性能が高いと判断する。また、焦点距離が第1の距離の場合よりも第1の角度より長い第2の距離の場合のほうが防振性能が低いと判断する。尚、ステップS303で上述したいずれの場合にも該当しないことが予めわかっている場合、ステップS302から直接ステップS305に進むようにしてもよい。
ステップS304では、カメラ制御部8は、撮像装置1000が有する応答特性情報を取得する。具体的には、焦点距離情報と同様に、レンズ側記憶部14に記憶されている、レンズ側像振れ補正制御部16およびレンズ側像振れ補正部15が有する応答特性(以下、レンズ側応答特性という)に関する情報をカメラ制御部8が通信により受け取る。さらに、カメラ制御部8は、カメラ側像振れ補正制御部9及びカメラ側像振れ補正部7が有する応答特性(以下、カメラ側応答特性という)に関する情報とレンズ側応答特性に関する情報とを総合して、撮像装置1000が有する応答特性を算出する。
ここで、レンズ側応答性能に関する情報は、手振れを含む振動が撮像装置1000に加わることが想定される所定帯域(例えば5Hz以下の低周波帯域)における位置指令に対するメカ応答特性(レンズ側応答特性)の情報だけでなくてもよい。例えば、交換レンズ2に配設された角速度センサの持つドリフト特性の情報もレンズ側応答性能に関する情報に含まれていてもよい。ここで、ドリフト特性とは、特に静止状態や上記所定帯域での検出角速度の揺らぎ特性をいう。同様に、カメラ側応答性能に関する情報も、メカ応答特性(カメラ側応答特性)の情報だけでなく、カメラ本体1に配設された角速度センサの持つドリフト特性の情報を含んでいてもよい。この場合、レンズ側応答特性やカメラ側応答特性だけでなく、撮像装置1000内に配設された各角度センサのドリフト特性に基づき、正確な像振れ補正を実現可能であるかどうか(防振性能)が判断される。尚、本実施例では、防振性能の判断に、撮像装置1000内に配設された各角速度センサの持つドリフト性能を用いてもよいとしたが、これには限定されない。例えば、撮像装置1000に対して外付け可能な角速度センサユニットや、サブカメラ、LiDAR等が、撮像装置1000の位置指令の正確性を担保する機器として取り付けられている場合がある。この場合は、それらの機器により検出されたドリフト特性を防振性能の判断に用いてもよい。また、撮像装置1000を被写体の方向に向かって露光動作中にパンニングを意図的に行ういわゆる流し撮りモードが選択されている場合がある。この場合は、撮像装置1000内に配設された各角速度センサのパン方向のドリフト特性は防振性能の判断には用いないようにしてもよい。
尚、レンズ側応答特性情報は、レンズ側記憶部14に記憶されているものとしているが、これには限定されず、カメラ制御部8がレンズ側像振れ補正部15の特性の周波数帯域における応答特性を把握可能であればよい。例えば、カメラ制御部8が、カメラ側記憶部17に予め交換レンズ毎のレンズ応答特性情報を保持し、通信によって得られた交換レンズ2のレンズ名称等の基本情報に基づきカメラ側記憶部17から交換レンズ2のレンズ応答特性情報を読み出してもよい。
また、本実施例とは異なるが、例えば、撮像装置1000が、その全体を保持するジンバル機構のようなもので像振れ補正を行う場合、このジンバル機構とその制御部とが有している所定帯域での応答特性情報を利用することが可能であればよい。この際、アクセサリの取り付けなどに応じて変化する撮像装置1000全体の重量などを検知して、現在の撮像装置1000の状況から得られる応答特性情報を利用するものであってもよい。同様に本実施例とは異なるが、例えば、撮像装置1000が、レンズと撮像素子とを保持するレンズモジュール自体を揺動させる揺動機構により像ぶれ補正を行う場合もある。この場合は、この揺動機構とその制御部とが有している所定帯域での応答特性情報を利用することが可能であればよい。また、撮像装置1000が2軸に自由度を有したいわゆるバリアングル液晶を有している場合がある。この場合、バリアングル液晶が撮像装置1000の外に開いた状態で使用しているとの検出結果を、ブレが生じやすい状況であることが想定できる情報として、応答特性情報に含めてもよい。
次に、ステップS305では、ステップS301,S302,S304で得られた、「焦点距離情報」、「光学的像振れ補正角情報」及び「応答特性情報」から「防振性能」を判断し、その防振性能に基づき露出条件を決定する。具体的には、予めカメラ側記憶部17に防振性能と紐づく露出テーブルを記憶しておき、判断された防振性能とその露出テーブルと照合し、図3のサブルーチンの後で実行される連続撮影の1枚あたりの露光時間及び位置合わせ合成に用いる総枚数を決定する。本実施例では、「防振性能」が高い(第2の性能である)場合(焦点距離情報が所定未満、且つ光学的像振れ補正角が所定以上、且つ応答特性が所定以上)、連続撮影の1枚あたりの露光時間を相対的に長い時間に決定し、総枚数を相対的に少ない枚数に決定する。防振性能が高い場合、1枚の合成前画像内でのブレ量を十分に抑えることが可能であり、位置合わせ合成に用いる総枚数が少なくても、十分な露出を得ることが可能であるからである。一方で、「防振性能」が低い(第1の性能である)場合(焦点距離情報が所定以上、又は光学的像振れ補正角が所定未満、又は応答特性が所定未満)、連続撮影の1枚あたりの露光時間を相対的に短い時間に決定し、総枚数を相対的に多い枚数に決定する。これにより、合成前画像内のブレ量を抑えて合成画像を適正な露出とできる。複数枚画像合成を行う場合、合成前の画像1枚1枚のブレ量が十分に低減されていることは、複数画像間での特徴点の形状が近しくなることが期待され、位置ずれ量の検出をより正確に実施可能となる。露出テーブルとの照合を終え、図2のステップS204で実行される連続撮像処理における、合成前画像の露光時間及び枚数等、露出条件が決定すると、本サブルーチンを終了する。
本実施例によれば、位置合わせ合成の対象となる連続撮影画像を実行するに際して、撮像装置1000が持つ防振性能を、焦点距離情報、光学的像振れ補正角情報、及び応答特性情報に基づいて判断する。これにより、適切な露出条件(合成前画像の露光時間及び総枚数)設定することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実行可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実行可能である。
3 撮影光学系
6 撮像素子
7 カメラ側像振れ補正部
8 カメラ制御部
9 カメラ側像振れ補正制御部
10 画像処理部
14 レンズ側記憶部
15 レンズ側像振れ補正部
16 レンズ側像振れ補正制御部
17 カメラ側記憶部
6 撮像素子
7 カメラ側像振れ補正部
8 カメラ制御部
9 カメラ側像振れ補正制御部
10 画像処理部
14 レンズ側記憶部
15 レンズ側像振れ補正部
16 レンズ側像振れ補正制御部
17 カメラ側記憶部
Claims (12)
- 撮影光学系を透過した光束を受光し、光電変換を行う撮像素子と、
前記撮影光学系及び/または前記撮像素子を駆動する光学的像振れ補正手段と、
前記撮像素子により、時間連続的に複数の静止画像を取得する制御手段と、
前記複数の静止画像を位置合わせして合成画像を生成する合成画像生成手段と、
前記撮影光学系の焦点距離に関する情報、及び前記光学的像振れ補正手段の像振れ補正角に関する情報に基づいて前記複数の静止画像の露光時間及び総枚数を設定する設定手段を備えることを特徴とする撮像装置。 - 前記設定手段は、前記焦点距離に関する情報及び前記像振れ補正角に関する情報に応じた防振性能が第1の性能の場合、前記第1の性能よりも防振性能が高い第2の性能の場合よりも前記複数の静止画像のそれぞれの露光時間を短い時間に設定し前記総枚数を多い枚数に設定することを特徴とする請求項1に記載の撮像装置。
- 前記設定手段は、前記像振れ補正角が第1の角度の場合よりも前記第1の角度より大きい第2の角度の場合のほうが前記防振性能が高いと判断することを特徴とする請求項2記載の撮像装置。
- 前記設定手段は、前記焦点距離が第1の距離の場合よりも前記第1の距離より長い第2の距離の場合のほうが前記防振性能が低いと判断することを特徴とする請求項2又は3記載の撮像装置。
- 前記設定手段は、前記撮像装置に加わる振動のうち所定帯域における前記光学的像振れ補正制御手段及び前記光学的像振れ補正手段が持つ応答特性に応じて前記防振性能を判定することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
- 前記振動を検出する検出手段を更に備え、
前記設定手段は、前記所定帯域における前記検出手段が持つドリフト特性に応じて前記防振性能を判定することを特徴とする請求項5記載の撮像装置。 - 前記所定帯域は、5Hz以下の低周波帯域であることを特徴とする請求項5又は6記載の撮像装置。
- 前記焦点距離に関する情報を取得する取得手段を備え、
前記取得手段は、前記焦点距離に関する情報を、前記撮像装置の電源投入時に取得し、その後、前記焦点距離の変更時に更新することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 - 前記光学的像振れ補正手段は、前記焦点距離に応じて前記撮影光学系の少なくとも一部及び前記撮像素子の一方のみを駆動させる場合、前記駆動させる一方が変更可能な光軸角度で前記像振れ補正角を決定することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
- 前記設定手段は、前記像振れ補正角を、前記焦点距離に関する情報に基づき算出することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
- 撮影光学系を透過した光束を受光し、光電変換を行う撮像素子と、
前記撮影光学系の少なくとも一部及び/または前記撮像素子を駆動する光学的像振れ補正手段と、
前記撮像素子により、時間連続的に複数の静止画像を取得する制御手段と、
前記複数の静止画像を位置合わせして合成画像を生成する合成画像生成手段とを有する撮像装置の制御方法であって、
前記撮影光学系の焦点距離に関する情報、及び前記光学的像振れ補正手段の像振れ補正角に関する情報に基づいて前記複数の静止画像の露光時間及び総枚数を設定する設定ステップを有することを特徴とする制御方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021095983A JP2022187800A (ja) | 2021-06-08 | 2021-06-08 | 撮像装置及びその制御方法、並びにプログラム |
US17/830,431 US11924558B2 (en) | 2021-06-08 | 2022-06-02 | Image pickup apparatus that performs optical image blur correction and alignment composition of plurality of still images shot in time continuous manner, control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021095983A JP2022187800A (ja) | 2021-06-08 | 2021-06-08 | 撮像装置及びその制御方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022187800A true JP2022187800A (ja) | 2022-12-20 |
Family
ID=84285506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021095983A Pending JP2022187800A (ja) | 2021-06-08 | 2021-06-08 | 撮像装置及びその制御方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11924558B2 (ja) |
JP (1) | JP2022187800A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4388293B2 (ja) | 2003-03-13 | 2009-12-24 | 京セラ株式会社 | カメラの手振れ補正装置 |
JP2017069927A (ja) * | 2015-10-02 | 2017-04-06 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6740052B2 (ja) * | 2016-08-02 | 2020-08-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
KR20180070264A (ko) * | 2016-12-16 | 2018-06-26 | 삼성전자주식회사 | 패닝 샷 이미지 획득 방법 및 이를 지원하는 전자 장치 |
-
2021
- 2021-06-08 JP JP2021095983A patent/JP2022187800A/ja active Pending
-
2022
- 2022-06-02 US US17/830,431 patent/US11924558B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11924558B2 (en) | 2024-03-05 |
US20220394169A1 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9602727B2 (en) | Imaging apparatus and imaging method | |
JP4717382B2 (ja) | 光学機器 | |
JP4522207B2 (ja) | カメラシステム、カメラ本体及び交換レンズ | |
JP2016090973A (ja) | 撮像装置 | |
JP7257774B2 (ja) | 撮像システム及びその制御方法、レンズユニット、撮像装置、プログラム、記憶媒体 | |
JP2018037772A (ja) | 撮像装置およびその制御方法 | |
JP2019125864A (ja) | 防振制御装置、撮像システム、制御方法及びプログラム | |
JP2019138979A (ja) | 像振れ補正装置、撮像システム、及びそれらの制御方法、プログラム | |
WO2018110076A1 (ja) | 撮像装置及びその制御方法、プログラム | |
JP2011039436A (ja) | 撮影システムおよびレンズ装置 | |
JP2003098567A (ja) | カメラ | |
JP5064831B2 (ja) | カメラ、アクセサリーおよびカメラシステム | |
JP2006343645A (ja) | 像ぶれ補正装置、光学機器、カメラおよび撮影レンズ | |
JP2022187800A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2016109765A (ja) | 撮像装置およびその焦点調節方法、並びにプログラム | |
JP7208822B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2010145493A (ja) | カメラシステム | |
JP2012042589A (ja) | 像振れ補正機構、レンズ鏡筒、および撮像装置 | |
JP2005352043A (ja) | 撮像装置及び合焦制御方法 | |
JP2006113443A (ja) | 交換レンズカメラシステム | |
JP2006251033A (ja) | 一眼レフ電子カメラ | |
JP2006050139A (ja) | 光学機器 | |
JP2006215327A (ja) | 撮像装置 | |
JP2926596B2 (ja) | レンズ交換可能なカメラ | |
JP7254555B2 (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240604 |