JP2012124785A - Imaging apparatus, and method and program for controlling the same - Google Patents
Imaging apparatus, and method and program for controlling the same Download PDFInfo
- Publication number
- JP2012124785A JP2012124785A JP2010275023A JP2010275023A JP2012124785A JP 2012124785 A JP2012124785 A JP 2012124785A JP 2010275023 A JP2010275023 A JP 2010275023A JP 2010275023 A JP2010275023 A JP 2010275023A JP 2012124785 A JP2012124785 A JP 2012124785A
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- composite
- combining
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、連続して撮影された複数枚の露出不足の画像を合成することにより、目標とする露出の画像を得る撮像装置、その制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus that obtains a target exposure image by synthesizing a plurality of underexposed images that are continuously shot, and a control method and program thereof.
近年、スチルカメラ、ビデオカメラ等の手持ち撮影時に発生する手ぶれを補正する技術について様々なものが提案されている。特に、手ぶれを起こしにくいシャッタースピードで複数枚の画像を撮影し(低露光画像)、撮影後の処理で各画像の位置合わせを行いながら合成することで、手ぶれの少ない画像を撮影する技術が提示されている。 In recent years, various techniques have been proposed for correcting camera shake that occurs during hand-held shooting of still cameras, video cameras, and the like. In particular, we propose a technology that captures images with less camera shake by taking multiple images at a shutter speed that is unlikely to cause camera shake (low-exposure images), and combining them while aligning each image in the post-shooting process. Has been.
例えば特許文献1には、順次撮像した画像を、経時的な位置ずれに対応して座標変換を行った後に合成する技術が開示されている。また、特許文献2には、複数枚の露出不足の画像を合成することにより、手ブレの影響の少ない目標とする露出の画像を得る撮像装置であって、撮像部の感度の上限値に基づいて、連続して撮影される各1枚の画像の撮影条件と、連続して撮影する画像の枚数とを制御する技術が開示されている。
For example,
しかしながら、上記のように連続して撮影された複数枚の露出不足の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る撮影手法では、以下のような問題が発生する。
一つ目は被写体動きによる被写体ぶれである。手ぶれのように面全体のずれは位置合わせすることで、ある程度補正可能だが、被写体動きは合成することで被写体ぶれとなって表れてしまう。
二つ目は画像の明るさである。各画像のシャッタースピードは、適正露光となるシャッタースピードと合成枚数の積で決定される。適正露光のシャッタースピードが1/10(s)、合成枚数が10枚としたとき、各画像のシャッタースピードは1/100(s)となる。しかしながら、適正露光の決定は、画像中の任意の測光枠に対して行うので、撮影した画像を全て合成すると、測光枠では適正露光と同じ明るさになるが、枠外では白飛びや明るさが不足する可能性がある。そのため、完成された合成画像は必ずしも撮影者が望んだ明るさになるとは限らない。
つまり、被写体ぶれが起こらないような合成枚数と、所望の明るさになるような合成枚数とが一致しない問題が生じてしまう。
However, the following problems occur in the shooting method for obtaining a target exposure image with less influence of camera shake by combining a plurality of underexposed images continuously shot as described above. .
The first is subject blur due to subject movement. The displacement of the entire surface, such as camera shake, can be corrected to some extent by aligning, but the subject movement will appear as subject blur when combined.
The second is the brightness of the image. The shutter speed of each image is determined by the product of the shutter speed for proper exposure and the number of combined images. When the shutter speed for proper exposure is 1/10 (s) and the number of combined images is 10, the shutter speed of each image is 1/100 (s). However, since the appropriate exposure is determined for any photometric frame in the image, if all the captured images are combined, the photometric frame will have the same brightness as the appropriate exposure, but outside the frame will have whiteout and brightness. There may be a shortage. Therefore, the completed composite image does not always have the brightness desired by the photographer.
That is, there arises a problem that the composite number that does not cause subject blur does not match the composite number that achieves a desired brightness.
そこで、本発明は、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成できるようにすることを目的とする。 Therefore, the present invention provides a desired brightness with less subject blur when a target exposure image with less influence of camera shake is obtained by synthesizing a plurality of consecutively shot images. An object of the present invention is to generate such a composite image by a simple operation.
本発明の撮像装置は、連続して撮影された複数枚の画像を合成する撮像装置であって、被写体を撮影する撮影手段と、前記撮影手段で連続して撮影された画像を格納する格納手段と、前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段とを備えたことを特徴とする。 An imaging apparatus according to the present invention is an imaging apparatus that combines a plurality of images that are continuously captured, and includes a capturing unit that captures a subject and a storage unit that stores images continuously captured by the capturing unit. Each of the images continuously photographed by the photographing means, and a reduction means for generating a reduced image, and the reduced images generated by the reduction means are combined, and a plurality of first composite images having different composite numbers A first composing unit that generates the image, a display control unit that displays the plurality of first composite images generated by the first compositing unit that are different in the number of compositing on the display unit, and is displayed on the display unit. First selection means for selecting an image from the plurality of first composite images; second selection means for selecting an image from the plurality of first composite images displayed on the display means; First combination selected by one selection means The continuously shot images stored in the storage unit are combined with the number of combined images and the brightness of the first combined image selected by the second selecting unit to generate a second combined image. And a second combining means.
本発明によれば、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成することができる。 According to the present invention, when a target exposure image that is less affected by camera shake is obtained by combining a plurality of images that have been continuously shot, the subject has less blur and has a desired brightness. Such a composite image can be generated by a simple operation.
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1は第1の実施形態に係る撮像装置(デジタルカメラ)のシステム構成を示す図、図2は撮像装置が実行する処理を示すフローチャート、図3は撮像装置における動作を説明するための図、図4は撮像装置における表示例を示す図である。第1の実施形態では、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、被写体ぶれが少なくなる合成枚数と所望の明るさとなる合成枚数を、簡易合成結果を見ながら簡単な操作で決定する形態を説明する。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
1 is a diagram showing a system configuration of an imaging apparatus (digital camera) according to the first embodiment, FIG. 2 is a flowchart showing processing executed by the imaging apparatus, and FIG. 3 is a diagram for explaining operations in the imaging apparatus. FIG. 4 is a diagram illustrating a display example in the imaging apparatus. In the first embodiment, in order to obtain a target exposure image with little influence of camera shake, ten images are continuously captured. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. Then, a mode will be described in which the number of combined images in which subject blurring is reduced and the number of combined images with a desired brightness are determined by a simple operation while viewing the simple combined result.
図1を参照して各内部モジュールについて説明する。100はレンズである。101はシャッターである。102は被写体を撮影する撮影手段であるセンサであり、レンズ100を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター101の他にセンサ102の読み出しによる電子シャッターを含むものとする。103はAD変換部であり、センサ102で取得したアナログの電気信号をデジタル化する。104はカメラ信号処理部、105はメモリ(バッファA)であり、AD変換部103でデジタル化された画像に対してカメラ信号処理部104がリサイズや現像等の各種画像処理を行い、メモリ105に格納、保持する。
Each internal module will be described with reference to FIG.
107は縮小部であり、メモリ105に保持されている画像に対して所定の倍率で縮小を行う。108はゲイン補正部であり、メモリ105に保持されている画像に対してゲイン補正を行う。106はスイッチであり、メモリ105から読み出した画像を縮小部107に入力するか、ゲイン補正部108に入力するかを切り替える。109はスイッチであり、縮小部107で縮小された画像を出力するか、ゲイン補正部108でゲイン補正された画像を出力するかを切り替える。スイッチ106、109の切り替え方は、後述する簡易合成か本合成かによって決定するものである。
A
110は合成部、111はメモリ(バッファB)である。本撮像装置の合成手法は、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。1枚目に撮影された画像が合成部110に入力されると、合成部110はその画像をメモリ111に保持する。次に、2枚目に撮影された画像が合成部110に入力されると、メモリ111に保持されている1枚目の画像と2枚目の画像の合成処理を行い、2枚合成画像をメモリ111に保持する。3枚目以降の画像は、2枚目の画像と同じ処理を繰り返し、3枚合成画像、4枚合成画像、・・・、10枚合成画像を生成していく。
112はスイッチ、115は記録部であり、合成部110で生成された合成画像を記録部115を介して記録するか否かを切り替える。113はスイッチ、114はメモリ(バッファC)であり、合成部110で生成された合成画像をメモリ114に保持するか否かを切り替える。
116は表示部であり、メモリ114に保持されている合成画像を表示する。117は操作部である。118は撮像装置の全体を制御するコントローラ(マイコン)である。詳細は後述するが、コントローラ118は、表示部116の表示制御を行い、簡易合成画像を表示させる。そして、操作部117で表示部116に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ105からの読み出し枚数、ゲイン補正部108でのゲイン量を制御する。
119はゲイン補正部であり、メモリ114に保持されている合成画像に対してゲイン補正を行う。120はスイッチであり、メモリ114から読み出した合成画像をそのまま表示部116に入力するか、ゲイン補正部119でゲイン補正を行ってから表示部116に入力するかを切り替える。
次に、図2のフローチャート及び図3、図4を用いて第1の実施形態に係る撮像装置の動作を説明する。図3において、301はセンサ102で連続して撮影され、メモリ105(バッファA)に保持される各フレームの画像を示す。本実施形態では、6枚目の画像を取り込む際に被写体動きが発生したものとする。また、302は各フレームに対して簡易合成を行い、メモリ114に保持した各画像を示し、上段が合成するフレーム番号、下段が合成した枚数を示す。303は実際に本合成した画像を示す。
Next, the operation of the imaging apparatus according to the first embodiment will be described with reference to the flowchart of FIG. 2 and FIGS. 3 and 4. In FIG. 3,
ステップS201において、レンズ100を通して入力され、所定のシャッタースピードでセンサ102に取り込んだ信号をAD変換部103でデジタル化、カメラ信号処理部104で各種画像処理を行い、ステップS202に移行する。
In step S201, the signal input through the
ステップS202において、カメラ信号処理部104で処理した画像をメモリ105(バッファA)に保持し、ステップS203に移行する。
In step S202, the image processed by the camera
ステップS203において、合成する全画像、ここでは10枚の画像をメモリ105(バッファA)に取り込むまでステップS201、S202の処理を繰り返し、全画像の取り込みが終了したら、ステップS204に移行する。このとき、図3の301のように、メモリ105(バッファA)には、フレーム0〜9までの10枚の画像が保持されることになる。
In step S203, the processes in steps S201 and S202 are repeated until all the images to be combined, in this
ステップS204〜S207は簡易合成処理であり、縮小部107で縮小された縮小画像を合成し、合成枚数の異なる複数の簡易合成画像(第1合成画像)を生成する。
Steps S <b> 204 to S <b> 207 are simple combining processes, and the reduced images reduced by the reducing
ステップS204において、メモリ105(バッファA)の出力が縮小部107の入力となるようにスイッチ106を切り替える。そして、メモリ105(バッファA)から読み出した画像に対して、縮小部107で縮小処理を行い、縮小画像を生成して、ステップS205に移行する。なお、縮小の具体的なやり方は本実施形態では問わないが、本実施形態では、バイキュービック法により縮小処理を行うものとする。
In step S204, the
ステップS205において、縮小画像を用いた簡易合成画像を生成する。まず、縮小部107の出力が合成部110の入力となるようにスイッチ109を切り替える。さらに合成部110の出力がメモリ114(バッファC)の入力となるようにスイッチ113を切り替え、合成部110の出力が記録部115の入力とならないようにスイッチ112を切り替える。合成部110に入力される縮小画像が、1枚目に撮影された画像である場合、合成部110は、その縮小画像をメモリ111(バッファB)に保持すると同時に、1枚簡易合成画像としてメモリ114(バッファC)に保持して、ステップS207に移行する。ステップS207において、簡易合成処理が終了したかどうかの判定を行い、メモリ105(バッファA)に簡易合成していない画像がある場合、ステップS204に移行する。
In step S205, a simple composite image using the reduced image is generated. First, the
次にステップS204において、2枚目に撮影された画像を合成部110に入力する。合成部110は、メモリ111(バッファB)に保持されている1枚簡易合成画像と2枚目の縮小画像の合成処理を行って2枚簡易合成画像とし、再びメモリ111(バッファB)に保持する。同時に、メモリ114(バッファC)に保持して、ステップS207に移行する。この処理を3枚簡易合成画像、4枚簡易合成画像、・・・と繰り返し、メモリ105(バッファA)に簡易合成していない画像がなくなると簡易合成を終了し、ステップS208に移行する。このとき、図3の302のように、メモリ114(バッファC)には10枚の簡易合成画像が保持されることになる。
In step S <b> 204, the second photographed image is input to the combining
ステップS208において、メモリ114(バッファC)に保持されている簡易合成画像を表示部116に表示するようにスイッチ120を切り替え、ステップS209に移行する。図4において、400は表示部116の表示画面を示す。また、401〜410が簡易合成画像を示し、401が1枚簡易合成画像、402が2枚簡易合成画像、・・・、410が10枚簡易合成画像となる。401は1枚簡易合成画像(つまり、1枚目に撮影された画像)であり、暗い画像となっている。405は5枚簡易合成画像であり、簡易合成画像401〜404よりは明るいが、若干暗めの画像である。406は6枚簡易合成画像であり、簡易合成画像401〜405より明るいが、6枚目に人物や木等の被写体ぶれが生じたため、合成することにより被写体の像がぶれた画像となっている。簡易合成画像406以降は、像はぶれているが、明るさが増した画像となっていく。
In step S208, the
ステップS209、S210において、撮影者は、表示部116を見ながら、被写体ぶれしていない画像を選択し(第1選択)、また、所望の明るさとなる画像を選択し(第2選択)、ステップS211に移行する。図4の場合、被写体ぶれしていない画像は簡易合成画像401〜405が該当するが、撮影者が、その中で最も明るい画像である5枚簡易合成画像405を選択したものとする。また、撮影者が、所望の明るさとなる画像として8枚簡易合成画像408を選択したものとする。なお、ここで言う所望の明るさとは、撮影者が好む明るさのことを指すものであり、画像を選択する基準は撮影者によるものである。なお、撮影者が被写体ぶれしていない画像を選択しない、所望の明るさとなる画像を選択しない場合であれば、10枚の画像を合成するものとする。
In steps S209 and S210, the photographer selects an image without subject blurring while looking at the display unit 116 (first selection), and selects an image having a desired brightness (second selection). The process proceeds to S211. In the case of FIG. 4, it is assumed that the image with no subject blur corresponds to the simple
また、被写体ぶれしていない画像の選択と所望の明るさとなる画像の選択の両方又はいずれか一方は撮像装置が自動的に決定する形態でも良い。例えば、被写体ぶれしていない画像は撮影者が選択するが、所望の明るさとなる画像の選択は、簡易合成画像の輝度ヒストグラムや白飛び量等から適切な枚数を自動的に計算して決定しても良い。また逆に、所望の明るさとなる画像の選択は撮影者が選択するが、被写体ぶれしていない画像の選択は、簡易合成時に行う位置合わせ時の情報等から適切な枚数を自動的に計算するようにしても良い。 In addition, the imaging apparatus may automatically determine both or either one of the selection of an image that does not shake the subject and the selection of an image that has a desired brightness. For example, the photographer selects an image that is not blurred, but the image with the desired brightness is determined by automatically calculating the appropriate number of images from the brightness histogram and whiteout amount of the simple composite image. May be. On the other hand, the photographer selects an image with a desired brightness, but an image with no subject blurring is automatically calculated from the information at the time of alignment performed during simple composition. You may do it.
また、図4以外の表示方法として、図5に示す表示画面501、502に示すように、表示部116に簡易合成画像401〜410が1枚ずつスクロール表示される形態でも良い。
Further, as a display method other than that shown in FIG. 4, as shown in
ステップS211において、ステップS209で決定した被写体ぶれしていない画像とステップS210で決定した所望の明るさとなる画像から、本合成に使用する画像の枚数と各画像のゲイン補正量を計算し、ステップS212に移行する。被写体ぶれしない画像を得るには5枚合成すれば良いが、明るさとしては8枚分の画像を合成する必要がある。そこで、本合成を行う際は、メモリ105(バッファA)に保持されている各画像に対して、(所望の明るさとなる合成枚数/被写体ぶれのしていない合成枚数)=8/5倍のゲインをかけるように、コントローラ118がゲイン補正部108のゲイン量を制御する(図3)。
In step S211, the number of images to be used for the main composition and the gain correction amount of each image are calculated from the unblurred image determined in step S209 and the image having the desired brightness determined in step S210. Migrate to In order to obtain an image that does not blur the subject, it is sufficient to combine five images, but it is necessary to combine eight images as brightness. Therefore, when performing this composition, (the number of composites with desired brightness / number of composites without subject blurring) = 8/5 times for each image held in the memory 105 (buffer A). The
また、実際に本合成を行う前に、本合成画像により近い画像を簡易的に表示するようにしても良い。すなわち、5枚簡易合成画像がメモリ114(バッファC)に保持されているので、スイッチ120の入力をゲイン補正部119の出力と接続し、ゲイン補正部119で8/5倍のゲインをかけた5枚簡易合成画像を表示部116に表示する。
Further, an image closer to the main composite image may be simply displayed before the main composition is actually performed. That is, since five simple composite images are held in the memory 114 (buffer C), the input of the
ステップS212〜S214は本合成処理である。ここでは、ステップS209で選択された簡易合成画像の合成枚数と、ステップS210で選択された簡易合成画像の明るさで、メモリ105(バッファA)に保存されている画像を合成し、本合成画像(第2合成画像)を生成する。 Steps S212 to S214 are the main composition process. Here, the image stored in the memory 105 (buffer A) is synthesized with the number of synthesized simple images selected in step S209 and the brightness of the simple synthesized image selected in step S210, and this synthesized image is synthesized. (Second composite image) is generated.
ステップS212において、メモリ105(バッファA)の出力がゲイン補正部108の入力となるようにスイッチ106を切り替える。そして、ステップS211で決定した画像の枚数と各画像のゲイン補正量に従って、メモリ105(バッファA)から読み出した画像に対してゲイン補正部108でゲイン補正を行い、ステップS213に移行する。
In step S212, the
ステップS213において、ゲイン補正部108の出力が合成部110の入力となるようにスイッチ109を切り替える。さらに合成部110の出力が記録部115の入力とならないようにスイッチ112を切り替える。合成部110に入力される画像が、1枚目に撮影された画像である場合、合成部110は、その画像に対してゲイン補正部108でゲイン補正し、メモリ111(バッファB)に保持する。ステップS214において、5枚の画像合成が終了したかどうかの判定を行い、メモリ105(バッファA)に合成していない画像がある場合、ステップS212に移行する。
In step S213, the
次にステップS212において、2枚目に撮影された画像を合成部110に入力する。合成部110は、メモリ111(バッファB)に保持されている1枚目の画像と、ゲイン補正部108でゲイン補正した2枚目の画像の合成処理を行い、再びメモリ111(バッファB)に保持し、ステップS214に移行する。この処理を3枚合成画像、4枚合成画像、5枚合成画像と繰り返し、5枚の画像を合成し終えたら本合成を終了し、ステップS215、S217に移行する。なお、スイッチ113の状態は任意とする。スイッチ113をメモリ114(バッファC)に書きこむように接続すれば、表示部116には合成途中の画像が表示されることになる。一方、メモリ114(バッファC)に書きこまないように接続すれば、表示部116には何も表示されない。また、その際、合成途中を意味するOSD等を表示部116に表示するようにしても良い。
Next, in step S212, the second photographed image is input to the
ステップS215、S217において、合成部110の出力が記録部115の入力となるようにスイッチ112を切り替え、5枚合成した画像(本合成画像)を記録部115に送り、SDカードを始めとした記録媒体に記録する。
In steps S215 and S217, the
また、ステップS216、S218において、合成部110の出力がメモリ114(バッファC)の入力となるようにスイッチ113を切り替え、5枚合成した画像(本合成画像)をメモリ114(バッファC)に保持し、その画像を表示部116に表示する。記録と表示が完了したら、ステップS219に移行し、本処理を終了する。
Further, in steps S216 and S218, the
以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。 As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. As a result, the user can acquire, for example, a composite image with a desired brightness with a simple operation and a composite image with a reduced number of subject blurs.
また、本実施形態では、撮影された画像を表示用に縮小して合成する簡易合成画像と記録用の本合成画像の合成を、スイッチ106の切り替えによって同一の合成回路によって実現している。この構成を用いて本合成画像のための合成を行わずに済むタイミングで簡易合成を行うことで、別途簡易合成用の合成画像等を必要とすることなく、本発明を実施可能としている。
Further, in the present embodiment, the synthesis of the simple synthesized image for reducing and synthesizing the captured image for display and the actual synthesized image for recording is realized by the same synthesis circuit by switching the
(第2の実施形態)
上記第1の実施形態は、メモリ105(バッファA)から読み出した合成前の画像に対してゲイン補正を行う形態であったが、第2の実施形態は、合成後の画像に対してゲイン補正を行う形態である。なお、撮像装置の構成及び基本的な動作は第1の実施形態と同様であり、以下では相違点を中心に説明する。第2の実施形態でも、第1の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、6枚目の画像を取り込む際に被写体動きが発生したものとする。
(Second Embodiment)
In the first embodiment, the gain correction is performed on the pre-combination image read from the memory 105 (buffer A). However, in the second embodiment, the gain correction is performed on the composite image. It is the form which performs. Note that the configuration and basic operation of the imaging apparatus are the same as those in the first embodiment, and differences will be mainly described below. Also in the second embodiment, as in the first embodiment, ten images are continuously photographed in order to obtain a target exposure image with little influence of camera shake. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. It is assumed that subject movement occurs when the sixth image is captured.
図6は第2の実施形態に係る撮像装置のシステム構成を示す図である。図6を参照して各内部モジュールについて説明する。600はレンズである。601はシャッターである。602は被写体を撮影する撮影手段であるセンサであり、レンズ600を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター601の他にセンサ602の読み出しによる電子シャッターを含むものとする。603はAD変換部であり、センサ602で取得したアナログの電気信号をデジタル化する。604はカメラ信号処理部、605はメモリ(バッファA)であり、AD変換部603でデジタル化された画像に対してカメラ信号処理部604がリサイズや現像等の各種画像処理を行い、メモリ605に格納、保持する。
FIG. 6 is a diagram illustrating a system configuration of an imaging apparatus according to the second embodiment. Each internal module will be described with reference to FIG.
607は縮小部であり、メモリ605に保持されている画像に対して所定の倍率で縮小を行う。609はスイッチであり、縮小部607で縮小された画像を出力するか、メモリ605に保持されている画像を出力するかを切り替える。
610は合成部、611はメモリ(バッファB)である。本撮像装置の合成手法は、第1の実施形態と同様、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。
608はゲイン補正部であり、合成部610の出力に対してゲイン補正を行う。612はスイッチであり、合成部610で合成された画像を出力とするか、ゲイン補正部608でゲイン補正された画像を出力とするかを切り替える。
612はスイッチ、615は記録部であり、合成部660で生成された合成画像を記録部615を介して記録するか否かを切り替える。613はスイッチ、614はメモリ(バッファC)であり、合成部610で生成された合成画像をメモリ614に保持するか否かを切り替える。
616は表示部であり、メモリ614に保持されている合成画像を表示する。617は操作部である。618は撮像装置の全体を制御するコントローラ(マイコン)である。詳細は後述するが、コントローラ618は、表示部616の表示制御を行い、簡易合成画像を表示させる。そして、操作部617で表示部616に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ605からの読み出し枚数、ゲイン補正部608でのゲイン量を制御する。
619はゲイン補正部であり、メモリ614に保持されている合成画像に対してゲイン補正を行う。620はスイッチであり、メモリ614から読み出した合成画像をそのまま表示部616に入力するか、ゲイン補正部619でゲイン補正を行ってから表示部616に入力するかを切り替える。
A
次に、第2の実施形態に係る撮像装置の動作を説明する。簡易合成画像を生成し、画像を選択するところまでは、第1の実施形態と同じである(図2のフローチャートのステップS201〜S210)。本合成時は、メモリ605(バッファA)の出力が合成部610の入力となるようにスイッチ609を切り替え、合成部610の出力がゲイン補正部608の入力となるようにスイッチ621を切り替える。また、合成途中の画像は記録しないので、合成が終了するまでは、スイッチ621の出力が記録部115の入力とならないようにスイッチ612を切り替える。合成部610に入力される画像が、1枚目に撮影された画像である場合、合成部610は、その画像をメモリ611(バッファB)に保持する。次に、5枚の画像合成が終了したかどうかの判定を行い、メモリ605(バッファA)に合成していない画像がある場合、2枚目に撮影された画像を合成部610に入力する。合成部610は、メモリ611(バッファB)に保持されている1枚目の画像と、2枚目の画像の合成処理を行い、再びメモリ611(バッファB)に保持する。この処理を3枚合成画像、4枚合成画像、5枚合成画像と繰り返す。5枚の画像を合成し終えたら、ゲイン補正部608で8/5倍のゲインをかけて本合成画像を生成する。その後、スイッチ612を記録部615と接続し、記録媒体への記録を行う。また、合成部610の出力がメモリ614(バッファC)に保持されるようにスイッチ613を切り替え、5枚合成した画像(本合成画像)をメモリ614(バッファC)に保持し、その画像を表示部616に表示する。
Next, the operation of the imaging apparatus according to the second embodiment will be described. The process up to generating a simple composite image and selecting an image is the same as in the first embodiment (steps S201 to S210 in the flowchart of FIG. 2). During this synthesis, the
以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。 As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. As a result, the user can acquire, for example, a composite image with a desired brightness with a simple operation and a composite image with a reduced number of subject blurs.
(第3の実施形態)
第3の実施形態は、簡易合成画像の表示の中から、被写体ぶれしていない画像と所望の明るさとなる画像の選択をする際に、明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する形態である。なお、撮像装置の構成及び基本的な動作は第1の実施形態と同様であり、以下では相違点を中心に説明する。第3の実施形態でも、第1、2の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、3枚目の画像を取り込む際に被写体動きが発生したものとする。
(Third embodiment)
In the third embodiment, when selecting an image that does not blur the subject and an image that has a desired brightness from the display of the simple composite image, the brightness difference is selected within a predetermined range. This is a form that limits the range of possible images. Note that the configuration and basic operation of the imaging apparatus are the same as those in the first embodiment, and differences will be mainly described below. In the third embodiment, as in the first and second embodiments, ten images are continuously captured in order to obtain an image with a target exposure that is less affected by camera shake. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. It is assumed that subject movement occurs when the third image is captured.
図7は、表示部161に簡易合成画像を表示した表示画面700を示す。第1の実施形態の図4と同様で、701が1枚簡易合成画像、702が2枚簡易合成画像、・・・、710が10枚簡易合成画像を示す。仮に10枚撮影した画像の中で、被写体ぶれしていない画像として2枚目、所望の明るさとなる画像として9枚目を選択してしまうと、画像にかけるゲインが9/2倍となり、ノイズが大きくなりすぎてしまう。そこで、被写体ぶれしていない画像として2枚目を選択したときは、ノイズが目立たないゲイン量を本装置内部で算出する。そのゲイン量が3倍だとすると、6枚合成まではノイズが目立たないことになる。そして、表示部116から画像を選択する際に、1枚簡易合成画像701から6枚簡易合成画像706は選択可能とし、7枚簡易合成画像707から10枚簡易合成画像710は選択できないように表示する。
FIG. 7 shows a
以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。さらにこのとき、合成枚数の指定画像と所望の明るさとなる合成枚数の指定画像との明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する。これにより、ユーザに合成の自由度を与えながらも、画像の破たんの少ない合成画像を生成することができる。 As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. Further, at this time, the range of selectable images is limited so that the brightness difference between the designated number of synthesized images and the designated number of synthesized images having a desired brightness falls within a predetermined range. As a result, it is possible to generate a synthesized image with less image corruption while giving the user a degree of freedom of synthesis.
本実施形態では、ノイズが大きくなりすぎてしまう画像を選択できないように表示していたが、これに限らず、単にノイズが目立たないゲイン量で済む画像を強調表示する等して全画像を選択可能にしても良い。 In the present embodiment, the image is displayed so that the image with excessive noise may not be selected. However, the present invention is not limited to this, and all images are selected by highlighting an image that requires only a gain amount in which noise is not conspicuous. It may be possible.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
100、600:レンズ、101、601:シャッター、102、603:センサ、103、603:AD変換部、104、604:カメラ信号処理部、105、605:メモリ(バッファA)、106:スイッチ、107、607:縮小部、108、608:ゲイン補正部、109、609:スイッチ、110、610:合成部、111、611:メモリ(バッファB)、112、612:スイッチ、113、613:スイッチ、114、614:メモリ(バッファC)、115、615:記録部、116、616:表示部、117、617:操作部、118、618:コントローラ、119、619:ゲイン補正部、120、620:スイッチ、621:スイッチ 100, 600: Lens, 101, 601: Shutter, 102, 603: Sensor, 103, 603: AD converter, 104, 604: Camera signal processor, 105, 605: Memory (buffer A), 106: Switch, 107 , 607: reduction unit, 108, 608: gain correction unit, 109, 609: switch, 110, 610: synthesis unit, 111, 611: memory (buffer B), 112, 612: switch, 113, 613: switch, 114 , 614: Memory (buffer C), 115, 615: Recording unit, 116, 616: Display unit, 117, 617: Operation unit, 118, 618: Controller, 119, 619: Gain correction unit, 120, 620: Switch, 621: Switch
Claims (9)
被写体を撮影する撮影手段と、
前記撮影手段で連続して撮影された画像を格納する格納手段と、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、
前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、
前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段とを備えたことを特徴とする撮像装置。 An imaging device that synthesizes a plurality of consecutively shot images,
Photographing means for photographing the subject;
Storage means for storing images continuously photographed by the photographing means;
Reduction means for reducing each of the images continuously photographed by the photographing means to generate a reduced image;
First combining means for combining the reduced images generated by the reducing means and generating a plurality of first combined images having different numbers of images;
Display control means for displaying on the display means a plurality of first synthesized images generated by the first synthesizing means and having a different number of synthesized images;
First selection means for selecting an image from the plurality of first composite images displayed on the display means;
Second selection means for selecting an image from the plurality of first composite images displayed on the display means;
The continuously photographed images stored in the storage means are combined with the number of composite images of the first composite image selected by the first selection means and the brightness of the first composite image selected by the second selection means. An image pickup apparatus comprising: second combining means for combining images and generating a second combined image.
前記第1合成手段と前記第2合成手段は同一の合成回路であることを特徴とする請求項1に記載の撮像装置。 A switch for selecting whether to acquire the image stored in the storage means through the reduction means or without passing through the reduction means;
The imaging apparatus according to claim 1, wherein the first combining unit and the second combining unit are the same combining circuit.
被写体を撮影する撮影手段で連続して撮影された画像を格納手段に格納する格納ステップと、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小ステップと、
前記縮小ステップで生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成ステップと、
前記第1合成ステップで生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示ステップと、
前記表示ステップで前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択ステップと、
前記表示ステップで前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択ステップと、
前記第1選択ステップで選択された第1合成画像の合成枚数と、前記第2選択ステップで選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成ステップとを有することを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus that combines a plurality of images taken consecutively,
A storage step of storing, in the storage means, images continuously photographed by the photographing means for photographing the subject;
A reduction step of reducing each of the images continuously photographed by the photographing means to generate a reduced image;
A first combining step of combining the reduced images generated in the reducing step and generating a plurality of first combined images having different numbers of combined images;
A display step of displaying on the display means a plurality of first composite images generated in the first composite step and having a different number of composite images;
A first selection step of selecting an image from the plurality of first composite images displayed on the display means in the display step;
A second selection step of selecting an image from the plurality of first composite images displayed on the display means in the display step;
The continuously photographed images stored in the storage means are composed of the number of composite images of the first composite image selected in the first selection step and the brightness of the first composite image selected in the second selection step. A control method for an imaging apparatus, comprising: a second combining step of combining images and generating a second combined image.
被写体を撮影する撮影手段で連続して撮影された画像を格納する格納手段と、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、
前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、
前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段としてコンピュータを機能させるためのプログラム。 A program for controlling an image pickup apparatus that synthesizes a plurality of images taken continuously,
Storage means for storing images continuously photographed by photographing means for photographing a subject;
Reduction means for reducing each of the images continuously photographed by the photographing means to generate a reduced image;
First combining means for combining the reduced images generated by the reducing means and generating a plurality of first combined images having different numbers of images;
Display control means for displaying on the display means a plurality of first synthesized images generated by the first synthesizing means and having a different number of synthesized images;
First selection means for selecting an image from the plurality of first composite images displayed on the display means;
Second selection means for selecting an image from the plurality of first composite images displayed on the display means;
The continuously photographed images stored in the storage means are combined with the number of composite images of the first composite image selected by the first selection means and the brightness of the first composite image selected by the second selection means. A program for causing a computer to function as second combining means for combining images and generating a second combined image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275023A JP5656598B2 (en) | 2010-12-09 | 2010-12-09 | Imaging apparatus, control method therefor, program, and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275023A JP5656598B2 (en) | 2010-12-09 | 2010-12-09 | Imaging apparatus, control method therefor, program, and image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012124785A true JP2012124785A (en) | 2012-06-28 |
JP5656598B2 JP5656598B2 (en) | 2015-01-21 |
Family
ID=46505760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010275023A Expired - Fee Related JP5656598B2 (en) | 2010-12-09 | 2010-12-09 | Imaging apparatus, control method therefor, program, and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5656598B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006054698A (en) * | 2004-08-12 | 2006-02-23 | Canon Inc | Imaging apparatus having camera shake correction function |
JP2008066978A (en) * | 2006-09-06 | 2008-03-21 | Casio Comput Co Ltd | Image pickup apparatus |
JP2008124625A (en) * | 2006-11-09 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging apparatus |
JP2009055278A (en) * | 2007-08-27 | 2009-03-12 | Olympus Corp | Camera |
-
2010
- 2010-12-09 JP JP2010275023A patent/JP5656598B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006054698A (en) * | 2004-08-12 | 2006-02-23 | Canon Inc | Imaging apparatus having camera shake correction function |
JP2008066978A (en) * | 2006-09-06 | 2008-03-21 | Casio Comput Co Ltd | Image pickup apparatus |
JP2008124625A (en) * | 2006-11-09 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging apparatus |
JP2009055278A (en) * | 2007-08-27 | 2009-03-12 | Olympus Corp | Camera |
Also Published As
Publication number | Publication date |
---|---|
JP5656598B2 (en) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5408053B2 (en) | Image processing apparatus and image processing method | |
US7671892B2 (en) | Image sensing apparatus, and control method, program, and storage medium of image sensing apparatus | |
JP5126344B2 (en) | Imaging apparatus, imaging method, and program | |
JP5950678B2 (en) | Imaging apparatus, control method, and program | |
KR20100060140A (en) | Apparatus and method for acquiring wide dynamic range video image in image processing apparatus | |
KR20160044945A (en) | Image photographing appratus | |
WO2019124289A1 (en) | Device, control method, and storage medium | |
JP2010263520A (en) | Image capturing apparatus, data generating apparatus, and data structure | |
JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
JP2014179920A (en) | Imaging apparatus, control method thereof, program, and storage medium | |
JP3937924B2 (en) | Imaging apparatus and control method thereof | |
JP2006148550A (en) | Image processor and imaging device | |
JP5947625B2 (en) | Imaging apparatus and control method thereof | |
JP5656598B2 (en) | Imaging apparatus, control method therefor, program, and image processing apparatus | |
WO2021039113A1 (en) | Imaging element, imaging device, imaging element operation method, and program | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP2006135501A (en) | Imaging apparatus | |
JP6226536B2 (en) | Imaging apparatus and control method thereof | |
JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP4687619B2 (en) | Image processing apparatus, image processing method, and program | |
JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2009200981A (en) | Video camera | |
JP7478006B2 (en) | Imaging device, control method thereof, and program | |
JP5663989B2 (en) | Imaging apparatus and image composition program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141125 |
|
LAPS | Cancellation because of no payment of annual fees |