JP2012124785A - Imaging apparatus, and method and program for controlling the same - Google Patents

Imaging apparatus, and method and program for controlling the same Download PDF

Info

Publication number
JP2012124785A
JP2012124785A JP2010275023A JP2010275023A JP2012124785A JP 2012124785 A JP2012124785 A JP 2012124785A JP 2010275023 A JP2010275023 A JP 2010275023A JP 2010275023 A JP2010275023 A JP 2010275023A JP 2012124785 A JP2012124785 A JP 2012124785A
Authority
JP
Japan
Prior art keywords
images
image
composite
combining
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010275023A
Other languages
Japanese (ja)
Other versions
JP5656598B2 (en
Inventor
Fumitaka Nakayama
文貴 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010275023A priority Critical patent/JP5656598B2/en
Publication of JP2012124785A publication Critical patent/JP2012124785A/en
Application granted granted Critical
Publication of JP5656598B2 publication Critical patent/JP5656598B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To produce a composite image having little object blur and desired brightness with a simple operation, when obtaining an image having little influence of camera shake and target exposure by composing a plurality of continuously photographed images.SOLUTION: When obtaining an image having little influence of camera shake and target exposure by composing a plurality of continuously photographed images, each of the continuously photographed images is shrunk, and one simple composite image, two simple composite images, ..., n simple composite images which are obtained by composing the shrunk images one by one are displayed on a display part, and a photographer is made to select the images having no object blur and desired brightness. The images continuously photographed with the number of composite images having no object blur used and with desired brightness given to the images are composed to produce this composite image.

Description

本発明は、連続して撮影された複数枚の露出不足の画像を合成することにより、目標とする露出の画像を得る撮像装置、その制御方法及びプログラムに関する。   The present invention relates to an imaging apparatus that obtains a target exposure image by synthesizing a plurality of underexposed images that are continuously shot, and a control method and program thereof.

近年、スチルカメラ、ビデオカメラ等の手持ち撮影時に発生する手ぶれを補正する技術について様々なものが提案されている。特に、手ぶれを起こしにくいシャッタースピードで複数枚の画像を撮影し(低露光画像)、撮影後の処理で各画像の位置合わせを行いながら合成することで、手ぶれの少ない画像を撮影する技術が提示されている。   In recent years, various techniques have been proposed for correcting camera shake that occurs during hand-held shooting of still cameras, video cameras, and the like. In particular, we propose a technology that captures images with less camera shake by taking multiple images at a shutter speed that is unlikely to cause camera shake (low-exposure images), and combining them while aligning each image in the post-shooting process. Has been.

例えば特許文献1には、順次撮像した画像を、経時的な位置ずれに対応して座標変換を行った後に合成する技術が開示されている。また、特許文献2には、複数枚の露出不足の画像を合成することにより、手ブレの影響の少ない目標とする露出の画像を得る撮像装置であって、撮像部の感度の上限値に基づいて、連続して撮影される各1枚の画像の撮影条件と、連続して撮影する画像の枚数とを制御する技術が開示されている。   For example, Patent Document 1 discloses a technique for synthesizing sequentially captured images after performing coordinate conversion corresponding to a positional shift with time. Patent Document 2 discloses an imaging apparatus that obtains a target exposure image with less influence of camera shake by combining a plurality of underexposed images, and is based on an upper limit value of sensitivity of the imaging unit. Thus, there is disclosed a technique for controlling the shooting conditions of each image that is continuously shot and the number of images that are shot continuously.

特許第3110797号公報Japanese Patent No. 3110797 特開2009−152803号公報JP 2009-152803 A

しかしながら、上記のように連続して撮影された複数枚の露出不足の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る撮影手法では、以下のような問題が発生する。
一つ目は被写体動きによる被写体ぶれである。手ぶれのように面全体のずれは位置合わせすることで、ある程度補正可能だが、被写体動きは合成することで被写体ぶれとなって表れてしまう。
二つ目は画像の明るさである。各画像のシャッタースピードは、適正露光となるシャッタースピードと合成枚数の積で決定される。適正露光のシャッタースピードが1/10(s)、合成枚数が10枚としたとき、各画像のシャッタースピードは1/100(s)となる。しかしながら、適正露光の決定は、画像中の任意の測光枠に対して行うので、撮影した画像を全て合成すると、測光枠では適正露光と同じ明るさになるが、枠外では白飛びや明るさが不足する可能性がある。そのため、完成された合成画像は必ずしも撮影者が望んだ明るさになるとは限らない。
つまり、被写体ぶれが起こらないような合成枚数と、所望の明るさになるような合成枚数とが一致しない問題が生じてしまう。
However, the following problems occur in the shooting method for obtaining a target exposure image with less influence of camera shake by combining a plurality of underexposed images continuously shot as described above. .
The first is subject blur due to subject movement. The displacement of the entire surface, such as camera shake, can be corrected to some extent by aligning, but the subject movement will appear as subject blur when combined.
The second is the brightness of the image. The shutter speed of each image is determined by the product of the shutter speed for proper exposure and the number of combined images. When the shutter speed for proper exposure is 1/10 (s) and the number of combined images is 10, the shutter speed of each image is 1/100 (s). However, since the appropriate exposure is determined for any photometric frame in the image, if all the captured images are combined, the photometric frame will have the same brightness as the appropriate exposure, but outside the frame will have whiteout and brightness. There may be a shortage. Therefore, the completed composite image does not always have the brightness desired by the photographer.
That is, there arises a problem that the composite number that does not cause subject blur does not match the composite number that achieves a desired brightness.

そこで、本発明は、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成できるようにすることを目的とする。   Therefore, the present invention provides a desired brightness with less subject blur when a target exposure image with less influence of camera shake is obtained by synthesizing a plurality of consecutively shot images. An object of the present invention is to generate such a composite image by a simple operation.

本発明の撮像装置は、連続して撮影された複数枚の画像を合成する撮像装置であって、被写体を撮影する撮影手段と、前記撮影手段で連続して撮影された画像を格納する格納手段と、前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段とを備えたことを特徴とする。   An imaging apparatus according to the present invention is an imaging apparatus that combines a plurality of images that are continuously captured, and includes a capturing unit that captures a subject and a storage unit that stores images continuously captured by the capturing unit. Each of the images continuously photographed by the photographing means, and a reduction means for generating a reduced image, and the reduced images generated by the reduction means are combined, and a plurality of first composite images having different composite numbers A first composing unit that generates the image, a display control unit that displays the plurality of first composite images generated by the first compositing unit that are different in the number of compositing on the display unit, and is displayed on the display unit. First selection means for selecting an image from the plurality of first composite images; second selection means for selecting an image from the plurality of first composite images displayed on the display means; First combination selected by one selection means The continuously shot images stored in the storage unit are combined with the number of combined images and the brightness of the first combined image selected by the second selecting unit to generate a second combined image. And a second combining means.

本発明によれば、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成することができる。   According to the present invention, when a target exposure image that is less affected by camera shake is obtained by combining a plurality of images that have been continuously shot, the subject has less blur and has a desired brightness. Such a composite image can be generated by a simple operation.

第1の実施形態に係る撮像装置のシステム構成を示す図である。1 is a diagram illustrating a system configuration of an imaging apparatus according to a first embodiment. 第1の実施形態に係る撮像装置が実行する処理を示すフローチャートである。3 is a flowchart illustrating processing executed by the imaging apparatus according to the first embodiment. 第1の実施形態に係る撮像装置における動作を説明するための図である。It is a figure for demonstrating the operation | movement in the imaging device which concerns on 1st Embodiment. 第1の実施形態に係る撮像装置における表示例を示す図である。It is a figure which shows the example of a display in the imaging device which concerns on 1st Embodiment. 第1の実施形態に係る撮像装置における他の表示例を示す図である。It is a figure which shows the other example of a display in the imaging device which concerns on 1st Embodiment. 第2の実施形態に係る撮像装置のシステム構成を示す図である。It is a figure which shows the system configuration | structure of the imaging device which concerns on 2nd Embodiment. 第3の実施形態に係る撮像装置における表示例を示す図である。It is a figure which shows the example of a display in the imaging device which concerns on 3rd Embodiment.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1は第1の実施形態に係る撮像装置(デジタルカメラ)のシステム構成を示す図、図2は撮像装置が実行する処理を示すフローチャート、図3は撮像装置における動作を説明するための図、図4は撮像装置における表示例を示す図である。第1の実施形態では、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、被写体ぶれが少なくなる合成枚数と所望の明るさとなる合成枚数を、簡易合成結果を見ながら簡単な操作で決定する形態を説明する。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
1 is a diagram showing a system configuration of an imaging apparatus (digital camera) according to the first embodiment, FIG. 2 is a flowchart showing processing executed by the imaging apparatus, and FIG. 3 is a diagram for explaining operations in the imaging apparatus. FIG. 4 is a diagram illustrating a display example in the imaging apparatus. In the first embodiment, in order to obtain a target exposure image with little influence of camera shake, ten images are continuously captured. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. Then, a mode will be described in which the number of combined images in which subject blurring is reduced and the number of combined images with a desired brightness are determined by a simple operation while viewing the simple combined result.

図1を参照して各内部モジュールについて説明する。100はレンズである。101はシャッターである。102は被写体を撮影する撮影手段であるセンサであり、レンズ100を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター101の他にセンサ102の読み出しによる電子シャッターを含むものとする。103はAD変換部であり、センサ102で取得したアナログの電気信号をデジタル化する。104はカメラ信号処理部、105はメモリ(バッファA)であり、AD変換部103でデジタル化された画像に対してカメラ信号処理部104がリサイズや現像等の各種画像処理を行い、メモリ105に格納、保持する。   Each internal module will be described with reference to FIG. Reference numeral 100 denotes a lens. Reference numeral 101 denotes a shutter. Reference numeral 102 denotes a sensor that is a photographing means for photographing a subject, and converts an optical signal input through the lens 100 into an analog electric signal. Note that the shutter in the text includes an electronic shutter that is read by the sensor 102 in addition to the mechanical shutter 101. Reference numeral 103 denotes an AD converter that digitizes an analog electrical signal acquired by the sensor 102. Reference numeral 104 denotes a camera signal processing unit, and reference numeral 105 denotes a memory (buffer A). The camera signal processing unit 104 performs various image processing such as resizing and development on the image digitized by the AD conversion unit 103. Store and hold.

107は縮小部であり、メモリ105に保持されている画像に対して所定の倍率で縮小を行う。108はゲイン補正部であり、メモリ105に保持されている画像に対してゲイン補正を行う。106はスイッチであり、メモリ105から読み出した画像を縮小部107に入力するか、ゲイン補正部108に入力するかを切り替える。109はスイッチであり、縮小部107で縮小された画像を出力するか、ゲイン補正部108でゲイン補正された画像を出力するかを切り替える。スイッチ106、109の切り替え方は、後述する簡易合成か本合成かによって決定するものである。   A reduction unit 107 reduces the image held in the memory 105 at a predetermined magnification. A gain correction unit 108 performs gain correction on an image held in the memory 105. Reference numeral 106 denotes a switch, which switches whether an image read from the memory 105 is input to the reduction unit 107 or the gain correction unit 108. Reference numeral 109 denotes a switch which switches between outputting an image reduced by the reduction unit 107 or outputting an image corrected by the gain correction unit 108. The method of switching the switches 106 and 109 is determined depending on whether simple synthesis or main synthesis described later.

110は合成部、111はメモリ(バッファB)である。本撮像装置の合成手法は、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。1枚目に撮影された画像が合成部110に入力されると、合成部110はその画像をメモリ111に保持する。次に、2枚目に撮影された画像が合成部110に入力されると、メモリ111に保持されている1枚目の画像と2枚目の画像の合成処理を行い、2枚合成画像をメモリ111に保持する。3枚目以降の画像は、2枚目の画像と同じ処理を繰り返し、3枚合成画像、4枚合成画像、・・・、10枚合成画像を生成していく。   Reference numeral 110 denotes a synthesis unit, and 111 denotes a memory (buffer B). The synthesizing method of the imaging apparatus is a method of synthesizing a plurality of images captured successively while sequentially aligning the images. When the first photographed image is input to the composition unit 110, the composition unit 110 holds the image in the memory 111. Next, when the second photographed image is input to the synthesizing unit 110, the first image and the second image held in the memory 111 are synthesized, and the second synthesized image is obtained. Stored in the memory 111. For the third and subsequent images, the same processing as the second image is repeated to generate a three-image composite image, a four-image composite image,..., A ten-image composite image.

112はスイッチ、115は記録部であり、合成部110で生成された合成画像を記録部115を介して記録するか否かを切り替える。113はスイッチ、114はメモリ(バッファC)であり、合成部110で生成された合成画像をメモリ114に保持するか否かを切り替える。   Reference numeral 112 denotes a switch, and reference numeral 115 denotes a recording unit, which switches whether to record the composite image generated by the synthesizing unit 110 via the recording unit 115. Reference numeral 113 denotes a switch, and reference numeral 114 denotes a memory (buffer C), which switches whether to hold the composite image generated by the combining unit 110 in the memory 114.

116は表示部であり、メモリ114に保持されている合成画像を表示する。117は操作部である。118は撮像装置の全体を制御するコントローラ(マイコン)である。詳細は後述するが、コントローラ118は、表示部116の表示制御を行い、簡易合成画像を表示させる。そして、操作部117で表示部116に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ105からの読み出し枚数、ゲイン補正部108でのゲイン量を制御する。   Reference numeral 116 denotes a display unit that displays a composite image held in the memory 114. Reference numeral 117 denotes an operation unit. Reference numeral 118 denotes a controller (microcomputer) that controls the entire imaging apparatus. Although details will be described later, the controller 118 performs display control of the display unit 116 to display a simple composite image. When the photographer selects an image from the images displayed on the display unit 116 by the operation unit 117, the image and the number of images to be used for composition are determined, the number of images read from the memory 105, and the gain amount by the gain correction unit 108. To control.

119はゲイン補正部であり、メモリ114に保持されている合成画像に対してゲイン補正を行う。120はスイッチであり、メモリ114から読み出した合成画像をそのまま表示部116に入力するか、ゲイン補正部119でゲイン補正を行ってから表示部116に入力するかを切り替える。   Reference numeral 119 denotes a gain correction unit that performs gain correction on the composite image held in the memory 114. Reference numeral 120 denotes a switch, which switches between inputting the composite image read from the memory 114 as it is to the display unit 116, or performing gain correction by the gain correction unit 119 and then inputting it to the display unit 116.

次に、図2のフローチャート及び図3、図4を用いて第1の実施形態に係る撮像装置の動作を説明する。図3において、301はセンサ102で連続して撮影され、メモリ105(バッファA)に保持される各フレームの画像を示す。本実施形態では、6枚目の画像を取り込む際に被写体動きが発生したものとする。また、302は各フレームに対して簡易合成を行い、メモリ114に保持した各画像を示し、上段が合成するフレーム番号、下段が合成した枚数を示す。303は実際に本合成した画像を示す。   Next, the operation of the imaging apparatus according to the first embodiment will be described with reference to the flowchart of FIG. 2 and FIGS. 3 and 4. In FIG. 3, reference numeral 301 denotes an image of each frame continuously captured by the sensor 102 and held in the memory 105 (buffer A). In this embodiment, it is assumed that subject movement occurs when the sixth image is captured. Reference numeral 302 denotes each image stored in the memory 114 by performing simple composition for each frame. The upper part indicates the frame number to be combined, and the lower part indicates the number of images to be combined. Reference numeral 303 denotes an actually synthesized image.

ステップS201において、レンズ100を通して入力され、所定のシャッタースピードでセンサ102に取り込んだ信号をAD変換部103でデジタル化、カメラ信号処理部104で各種画像処理を行い、ステップS202に移行する。   In step S201, the signal input through the lens 100 and captured by the sensor 102 at a predetermined shutter speed is digitized by the AD conversion unit 103, various image processing is performed by the camera signal processing unit 104, and the process proceeds to step S202.

ステップS202において、カメラ信号処理部104で処理した画像をメモリ105(バッファA)に保持し、ステップS203に移行する。   In step S202, the image processed by the camera signal processing unit 104 is held in the memory 105 (buffer A), and the process proceeds to step S203.

ステップS203において、合成する全画像、ここでは10枚の画像をメモリ105(バッファA)に取り込むまでステップS201、S202の処理を繰り返し、全画像の取り込みが終了したら、ステップS204に移行する。このとき、図3の301のように、メモリ105(バッファA)には、フレーム0〜9までの10枚の画像が保持されることになる。   In step S203, the processes in steps S201 and S202 are repeated until all the images to be combined, in this case 10 images, are captured in the memory 105 (buffer A). When all the images are captured, the process proceeds to step S204. At this time, as indicated by 301 in FIG. 3, the memory 105 (buffer A) holds ten images from frames 0 to 9.

ステップS204〜S207は簡易合成処理であり、縮小部107で縮小された縮小画像を合成し、合成枚数の異なる複数の簡易合成画像(第1合成画像)を生成する。   Steps S <b> 204 to S <b> 207 are simple combining processes, and the reduced images reduced by the reducing unit 107 are combined to generate a plurality of simple combined images (first combined images) having different composite numbers.

ステップS204において、メモリ105(バッファA)の出力が縮小部107の入力となるようにスイッチ106を切り替える。そして、メモリ105(バッファA)から読み出した画像に対して、縮小部107で縮小処理を行い、縮小画像を生成して、ステップS205に移行する。なお、縮小の具体的なやり方は本実施形態では問わないが、本実施形態では、バイキュービック法により縮小処理を行うものとする。   In step S204, the switch 106 is switched so that the output of the memory 105 (buffer A) becomes the input of the reduction unit 107. Then, the image read from the memory 105 (buffer A) is reduced by the reduction unit 107 to generate a reduced image, and the process proceeds to step S205. Note that the specific method of reduction is not limited in this embodiment, but in this embodiment, reduction processing is performed by the bicubic method.

ステップS205において、縮小画像を用いた簡易合成画像を生成する。まず、縮小部107の出力が合成部110の入力となるようにスイッチ109を切り替える。さらに合成部110の出力がメモリ114(バッファC)の入力となるようにスイッチ113を切り替え、合成部110の出力が記録部115の入力とならないようにスイッチ112を切り替える。合成部110に入力される縮小画像が、1枚目に撮影された画像である場合、合成部110は、その縮小画像をメモリ111(バッファB)に保持すると同時に、1枚簡易合成画像としてメモリ114(バッファC)に保持して、ステップS207に移行する。ステップS207において、簡易合成処理が終了したかどうかの判定を行い、メモリ105(バッファA)に簡易合成していない画像がある場合、ステップS204に移行する。   In step S205, a simple composite image using the reduced image is generated. First, the switch 109 is switched so that the output of the reduction unit 107 becomes the input of the synthesis unit 110. Further, the switch 113 is switched so that the output of the combining unit 110 becomes the input of the memory 114 (buffer C), and the switch 112 is switched so that the output of the combining unit 110 does not become the input of the recording unit 115. If the reduced image input to the combining unit 110 is the first image taken, the combining unit 110 holds the reduced image in the memory 111 (buffer B) and at the same time stores the reduced image as a single simple combined image. 114 (buffer C), and the process proceeds to step S207. In step S207, it is determined whether or not the simple combining process has been completed. If there is an image that has not been simply combined in the memory 105 (buffer A), the process proceeds to step S204.

次にステップS204において、2枚目に撮影された画像を合成部110に入力する。合成部110は、メモリ111(バッファB)に保持されている1枚簡易合成画像と2枚目の縮小画像の合成処理を行って2枚簡易合成画像とし、再びメモリ111(バッファB)に保持する。同時に、メモリ114(バッファC)に保持して、ステップS207に移行する。この処理を3枚簡易合成画像、4枚簡易合成画像、・・・と繰り返し、メモリ105(バッファA)に簡易合成していない画像がなくなると簡易合成を終了し、ステップS208に移行する。このとき、図3の302のように、メモリ114(バッファC)には10枚の簡易合成画像が保持されることになる。   In step S <b> 204, the second photographed image is input to the combining unit 110. The synthesizing unit 110 performs a process of synthesizing the single simple composite image held in the memory 111 (buffer B) and the second reduced image to obtain a two simple composite image, and again holds it in the memory 111 (buffer B). To do. At the same time, the data is held in the memory 114 (buffer C), and the process proceeds to step S207. This process is repeated with three simple composite images, four simple composite images,..., And when there is no simple composite image in the memory 105 (buffer A), the simple composite ends, and the process proceeds to step S208. At this time, as shown by 302 in FIG. 3, ten simple composite images are held in the memory 114 (buffer C).

ステップS208において、メモリ114(バッファC)に保持されている簡易合成画像を表示部116に表示するようにスイッチ120を切り替え、ステップS209に移行する。図4において、400は表示部116の表示画面を示す。また、401〜410が簡易合成画像を示し、401が1枚簡易合成画像、402が2枚簡易合成画像、・・・、410が10枚簡易合成画像となる。401は1枚簡易合成画像(つまり、1枚目に撮影された画像)であり、暗い画像となっている。405は5枚簡易合成画像であり、簡易合成画像401〜404よりは明るいが、若干暗めの画像である。406は6枚簡易合成画像であり、簡易合成画像401〜405より明るいが、6枚目に人物や木等の被写体ぶれが生じたため、合成することにより被写体の像がぶれた画像となっている。簡易合成画像406以降は、像はぶれているが、明るさが増した画像となっていく。   In step S208, the switch 120 is switched so that the simple composite image held in the memory 114 (buffer C) is displayed on the display unit 116, and the process proceeds to step S209. In FIG. 4, reference numeral 400 denotes a display screen of the display unit 116. Reference numerals 401 to 410 denote simple composite images, 401 is a single simple composite image, 402 is a two simple composite image,..., 410 is a 10 simple composite image. Reference numeral 401 denotes a single simple composite image (that is, an image taken on the first sheet), which is a dark image. Reference numeral 405 denotes a five-sheet simple composite image that is brighter than the simple composite images 401 to 404 but slightly darker. Reference numeral 406 denotes a 6-sheet simple composite image, which is brighter than the simple composite images 401 to 405, but the subject image such as a person or a tree has occurred on the 6th image. . After the simplified composite image 406, the image is blurred, but the brightness is increased.

ステップS209、S210において、撮影者は、表示部116を見ながら、被写体ぶれしていない画像を選択し(第1選択)、また、所望の明るさとなる画像を選択し(第2選択)、ステップS211に移行する。図4の場合、被写体ぶれしていない画像は簡易合成画像401〜405が該当するが、撮影者が、その中で最も明るい画像である5枚簡易合成画像405を選択したものとする。また、撮影者が、所望の明るさとなる画像として8枚簡易合成画像408を選択したものとする。なお、ここで言う所望の明るさとは、撮影者が好む明るさのことを指すものであり、画像を選択する基準は撮影者によるものである。なお、撮影者が被写体ぶれしていない画像を選択しない、所望の明るさとなる画像を選択しない場合であれば、10枚の画像を合成するものとする。   In steps S209 and S210, the photographer selects an image without subject blurring while looking at the display unit 116 (first selection), and selects an image having a desired brightness (second selection). The process proceeds to S211. In the case of FIG. 4, it is assumed that the image with no subject blur corresponds to the simple composite images 401 to 405, but the photographer selects the five simple composite images 405 that are the brightest images among them. In addition, it is assumed that the photographer has selected the eight simple composite images 408 as images having desired brightness. The desired brightness here refers to the brightness preferred by the photographer, and the criteria for selecting an image is determined by the photographer. It should be noted that if the photographer does not select an image in which the subject is not blurred or does not select an image having a desired brightness, 10 images are combined.

また、被写体ぶれしていない画像の選択と所望の明るさとなる画像の選択の両方又はいずれか一方は撮像装置が自動的に決定する形態でも良い。例えば、被写体ぶれしていない画像は撮影者が選択するが、所望の明るさとなる画像の選択は、簡易合成画像の輝度ヒストグラムや白飛び量等から適切な枚数を自動的に計算して決定しても良い。また逆に、所望の明るさとなる画像の選択は撮影者が選択するが、被写体ぶれしていない画像の選択は、簡易合成時に行う位置合わせ時の情報等から適切な枚数を自動的に計算するようにしても良い。   In addition, the imaging apparatus may automatically determine both or either one of the selection of an image that does not shake the subject and the selection of an image that has a desired brightness. For example, the photographer selects an image that is not blurred, but the image with the desired brightness is determined by automatically calculating the appropriate number of images from the brightness histogram and whiteout amount of the simple composite image. May be. On the other hand, the photographer selects an image with a desired brightness, but an image with no subject blurring is automatically calculated from the information at the time of alignment performed during simple composition. You may do it.

また、図4以外の表示方法として、図5に示す表示画面501、502に示すように、表示部116に簡易合成画像401〜410が1枚ずつスクロール表示される形態でも良い。   Further, as a display method other than that shown in FIG. 4, as shown in display screens 501 and 502 shown in FIG. 5, simple composite images 401 to 410 may be scroll-displayed one by one on display unit 116.

ステップS211において、ステップS209で決定した被写体ぶれしていない画像とステップS210で決定した所望の明るさとなる画像から、本合成に使用する画像の枚数と各画像のゲイン補正量を計算し、ステップS212に移行する。被写体ぶれしない画像を得るには5枚合成すれば良いが、明るさとしては8枚分の画像を合成する必要がある。そこで、本合成を行う際は、メモリ105(バッファA)に保持されている各画像に対して、(所望の明るさとなる合成枚数/被写体ぶれのしていない合成枚数)=8/5倍のゲインをかけるように、コントローラ118がゲイン補正部108のゲイン量を制御する(図3)。   In step S211, the number of images to be used for the main composition and the gain correction amount of each image are calculated from the unblurred image determined in step S209 and the image having the desired brightness determined in step S210. Migrate to In order to obtain an image that does not blur the subject, it is sufficient to combine five images, but it is necessary to combine eight images as brightness. Therefore, when performing this composition, (the number of composites with desired brightness / number of composites without subject blurring) = 8/5 times for each image held in the memory 105 (buffer A). The controller 118 controls the gain amount of the gain correction unit 108 so as to apply the gain (FIG. 3).

また、実際に本合成を行う前に、本合成画像により近い画像を簡易的に表示するようにしても良い。すなわち、5枚簡易合成画像がメモリ114(バッファC)に保持されているので、スイッチ120の入力をゲイン補正部119の出力と接続し、ゲイン補正部119で8/5倍のゲインをかけた5枚簡易合成画像を表示部116に表示する。   Further, an image closer to the main composite image may be simply displayed before the main composition is actually performed. That is, since five simple composite images are held in the memory 114 (buffer C), the input of the switch 120 is connected to the output of the gain correction unit 119, and the gain correction unit 119 applies a gain of 8/5 times. The five simple composite images are displayed on the display unit 116.

ステップS212〜S214は本合成処理である。ここでは、ステップS209で選択された簡易合成画像の合成枚数と、ステップS210で選択された簡易合成画像の明るさで、メモリ105(バッファA)に保存されている画像を合成し、本合成画像(第2合成画像)を生成する。   Steps S212 to S214 are the main composition process. Here, the image stored in the memory 105 (buffer A) is synthesized with the number of synthesized simple images selected in step S209 and the brightness of the simple synthesized image selected in step S210, and this synthesized image is synthesized. (Second composite image) is generated.

ステップS212において、メモリ105(バッファA)の出力がゲイン補正部108の入力となるようにスイッチ106を切り替える。そして、ステップS211で決定した画像の枚数と各画像のゲイン補正量に従って、メモリ105(バッファA)から読み出した画像に対してゲイン補正部108でゲイン補正を行い、ステップS213に移行する。   In step S212, the switch 106 is switched so that the output of the memory 105 (buffer A) becomes the input of the gain correction unit 108. Then, the gain correction unit 108 performs gain correction on the image read from the memory 105 (buffer A) according to the number of images determined in step S211 and the gain correction amount of each image, and the process proceeds to step S213.

ステップS213において、ゲイン補正部108の出力が合成部110の入力となるようにスイッチ109を切り替える。さらに合成部110の出力が記録部115の入力とならないようにスイッチ112を切り替える。合成部110に入力される画像が、1枚目に撮影された画像である場合、合成部110は、その画像に対してゲイン補正部108でゲイン補正し、メモリ111(バッファB)に保持する。ステップS214において、5枚の画像合成が終了したかどうかの判定を行い、メモリ105(バッファA)に合成していない画像がある場合、ステップS212に移行する。   In step S213, the switch 109 is switched so that the output of the gain correction unit 108 becomes the input of the synthesis unit 110. Further, the switch 112 is switched so that the output of the combining unit 110 does not become the input of the recording unit 115. When the image input to the combining unit 110 is the first image taken, the combining unit 110 performs gain correction on the image by the gain correction unit 108 and holds the image in the memory 111 (buffer B). . In step S214, it is determined whether or not the synthesis of five images has been completed. If there is an unsynthesized image in the memory 105 (buffer A), the process proceeds to step S212.

次にステップS212において、2枚目に撮影された画像を合成部110に入力する。合成部110は、メモリ111(バッファB)に保持されている1枚目の画像と、ゲイン補正部108でゲイン補正した2枚目の画像の合成処理を行い、再びメモリ111(バッファB)に保持し、ステップS214に移行する。この処理を3枚合成画像、4枚合成画像、5枚合成画像と繰り返し、5枚の画像を合成し終えたら本合成を終了し、ステップS215、S217に移行する。なお、スイッチ113の状態は任意とする。スイッチ113をメモリ114(バッファC)に書きこむように接続すれば、表示部116には合成途中の画像が表示されることになる。一方、メモリ114(バッファC)に書きこまないように接続すれば、表示部116には何も表示されない。また、その際、合成途中を意味するOSD等を表示部116に表示するようにしても良い。   Next, in step S212, the second photographed image is input to the composition unit 110. The synthesizing unit 110 performs the synthesizing process of the first image held in the memory 111 (buffer B) and the second image whose gain is corrected by the gain correction unit 108, and again in the memory 111 (buffer B). The process proceeds to step S214. This process is repeated with a composite image of three images, a composite image of four images, and a composite image of five images. When the five images have been combined, the main composition ends, and the process proceeds to steps S215 and S217. Note that the state of the switch 113 is arbitrary. If the switch 113 is connected so as to write to the memory 114 (buffer C), an image being synthesized is displayed on the display unit 116. On the other hand, if the connection is made so as not to write to the memory 114 (buffer C), nothing is displayed on the display unit 116. Further, at that time, an OSD or the like meaning that synthesis is in progress may be displayed on the display unit 116.

ステップS215、S217において、合成部110の出力が記録部115の入力となるようにスイッチ112を切り替え、5枚合成した画像(本合成画像)を記録部115に送り、SDカードを始めとした記録媒体に記録する。   In steps S215 and S217, the switch 112 is switched so that the output of the synthesizing unit 110 becomes the input of the recording unit 115, and the five synthesized images (the main synthesized image) are sent to the recording unit 115, and the SD card and other recordings are recorded. Record on media.

また、ステップS216、S218において、合成部110の出力がメモリ114(バッファC)の入力となるようにスイッチ113を切り替え、5枚合成した画像(本合成画像)をメモリ114(バッファC)に保持し、その画像を表示部116に表示する。記録と表示が完了したら、ステップS219に移行し、本処理を終了する。   Further, in steps S216 and S218, the switch 113 is switched so that the output of the combining unit 110 becomes the input of the memory 114 (buffer C), and an image (main combined image) combined with five images is held in the memory 114 (buffer C). Then, the image is displayed on the display unit 116. When the recording and display are completed, the process proceeds to step S219, and this process is terminated.

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。   As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. As a result, the user can acquire, for example, a composite image with a desired brightness with a simple operation and a composite image with a reduced number of subject blurs.

また、本実施形態では、撮影された画像を表示用に縮小して合成する簡易合成画像と記録用の本合成画像の合成を、スイッチ106の切り替えによって同一の合成回路によって実現している。この構成を用いて本合成画像のための合成を行わずに済むタイミングで簡易合成を行うことで、別途簡易合成用の合成画像等を必要とすることなく、本発明を実施可能としている。   Further, in the present embodiment, the synthesis of the simple synthesized image for reducing and synthesizing the captured image for display and the actual synthesized image for recording is realized by the same synthesis circuit by switching the switch 106. By using this configuration and performing simple synthesis at a timing that does not require synthesis for the main composite image, the present invention can be implemented without requiring a separate composite image for simple synthesis.

(第2の実施形態)
上記第1の実施形態は、メモリ105(バッファA)から読み出した合成前の画像に対してゲイン補正を行う形態であったが、第2の実施形態は、合成後の画像に対してゲイン補正を行う形態である。なお、撮像装置の構成及び基本的な動作は第1の実施形態と同様であり、以下では相違点を中心に説明する。第2の実施形態でも、第1の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、6枚目の画像を取り込む際に被写体動きが発生したものとする。
(Second Embodiment)
In the first embodiment, the gain correction is performed on the pre-combination image read from the memory 105 (buffer A). However, in the second embodiment, the gain correction is performed on the composite image. It is the form which performs. Note that the configuration and basic operation of the imaging apparatus are the same as those in the first embodiment, and differences will be mainly described below. Also in the second embodiment, as in the first embodiment, ten images are continuously photographed in order to obtain a target exposure image with little influence of camera shake. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. It is assumed that subject movement occurs when the sixth image is captured.

図6は第2の実施形態に係る撮像装置のシステム構成を示す図である。図6を参照して各内部モジュールについて説明する。600はレンズである。601はシャッターである。602は被写体を撮影する撮影手段であるセンサであり、レンズ600を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター601の他にセンサ602の読み出しによる電子シャッターを含むものとする。603はAD変換部であり、センサ602で取得したアナログの電気信号をデジタル化する。604はカメラ信号処理部、605はメモリ(バッファA)であり、AD変換部603でデジタル化された画像に対してカメラ信号処理部604がリサイズや現像等の各種画像処理を行い、メモリ605に格納、保持する。   FIG. 6 is a diagram illustrating a system configuration of an imaging apparatus according to the second embodiment. Each internal module will be described with reference to FIG. Reference numeral 600 denotes a lens. Reference numeral 601 denotes a shutter. Reference numeral 602 denotes a sensor that is a photographing unit for photographing a subject, and converts an optical signal input through the lens 600 into an analog electric signal. Note that the shutter in the text includes an electronic shutter by reading of the sensor 602 in addition to the mechanical shutter 601. Reference numeral 603 denotes an AD conversion unit that digitizes an analog electric signal acquired by the sensor 602. Reference numeral 604 denotes a camera signal processing unit, and reference numeral 605 denotes a memory (buffer A). The camera signal processing unit 604 performs various image processing such as resizing and development on the image digitized by the AD conversion unit 603, and the memory 605 stores the image. Store and hold.

607は縮小部であり、メモリ605に保持されている画像に対して所定の倍率で縮小を行う。609はスイッチであり、縮小部607で縮小された画像を出力するか、メモリ605に保持されている画像を出力するかを切り替える。   Reference numeral 607 denotes a reduction unit that reduces an image stored in the memory 605 at a predetermined magnification. Reference numeral 609 denotes a switch that switches between outputting an image reduced by the reduction unit 607 or outputting an image held in the memory 605.

610は合成部、611はメモリ(バッファB)である。本撮像装置の合成手法は、第1の実施形態と同様、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。   Reference numeral 610 denotes a combining unit, and 611 denotes a memory (buffer B). As in the first embodiment, the composition method of the imaging apparatus is a method of performing composition while sequentially aligning a plurality of images captured continuously.

608はゲイン補正部であり、合成部610の出力に対してゲイン補正を行う。612はスイッチであり、合成部610で合成された画像を出力とするか、ゲイン補正部608でゲイン補正された画像を出力とするかを切り替える。   Reference numeral 608 denotes a gain correction unit that performs gain correction on the output of the synthesis unit 610. Reference numeral 612 denotes a switch that switches between outputting an image synthesized by the synthesis unit 610 and outputting an image corrected by the gain correction unit 608.

612はスイッチ、615は記録部であり、合成部660で生成された合成画像を記録部615を介して記録するか否かを切り替える。613はスイッチ、614はメモリ(バッファC)であり、合成部610で生成された合成画像をメモリ614に保持するか否かを切り替える。   Reference numeral 612 denotes a switch, and reference numeral 615 denotes a recording unit, which switches whether to record the combined image generated by the combining unit 660 via the recording unit 615. Reference numeral 613 denotes a switch, and reference numeral 614 denotes a memory (buffer C), which switches whether to hold the synthesized image generated by the synthesis unit 610 in the memory 614.

616は表示部であり、メモリ614に保持されている合成画像を表示する。617は操作部である。618は撮像装置の全体を制御するコントローラ(マイコン)である。詳細は後述するが、コントローラ618は、表示部616の表示制御を行い、簡易合成画像を表示させる。そして、操作部617で表示部616に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ605からの読み出し枚数、ゲイン補正部608でのゲイン量を制御する。   Reference numeral 616 denotes a display unit that displays the composite image held in the memory 614. Reference numeral 617 denotes an operation unit. Reference numeral 618 denotes a controller (microcomputer) that controls the entire imaging apparatus. Although details will be described later, the controller 618 performs display control of the display unit 616 to display a simple composite image. When the photographer selects an image from the images displayed on the display unit 616 using the operation unit 617, the number and number of images to be used for composition are determined, the number read out from the memory 605, and the gain amount in the gain correction unit 608. To control.

619はゲイン補正部であり、メモリ614に保持されている合成画像に対してゲイン補正を行う。620はスイッチであり、メモリ614から読み出した合成画像をそのまま表示部616に入力するか、ゲイン補正部619でゲイン補正を行ってから表示部616に入力するかを切り替える。   A gain correction unit 619 performs gain correction on the composite image held in the memory 614. Reference numeral 620 denotes a switch, which switches between inputting the composite image read from the memory 614 as it is to the display unit 616, or performing gain correction by the gain correction unit 619 and then inputting to the display unit 616.

次に、第2の実施形態に係る撮像装置の動作を説明する。簡易合成画像を生成し、画像を選択するところまでは、第1の実施形態と同じである(図2のフローチャートのステップS201〜S210)。本合成時は、メモリ605(バッファA)の出力が合成部610の入力となるようにスイッチ609を切り替え、合成部610の出力がゲイン補正部608の入力となるようにスイッチ621を切り替える。また、合成途中の画像は記録しないので、合成が終了するまでは、スイッチ621の出力が記録部115の入力とならないようにスイッチ612を切り替える。合成部610に入力される画像が、1枚目に撮影された画像である場合、合成部610は、その画像をメモリ611(バッファB)に保持する。次に、5枚の画像合成が終了したかどうかの判定を行い、メモリ605(バッファA)に合成していない画像がある場合、2枚目に撮影された画像を合成部610に入力する。合成部610は、メモリ611(バッファB)に保持されている1枚目の画像と、2枚目の画像の合成処理を行い、再びメモリ611(バッファB)に保持する。この処理を3枚合成画像、4枚合成画像、5枚合成画像と繰り返す。5枚の画像を合成し終えたら、ゲイン補正部608で8/5倍のゲインをかけて本合成画像を生成する。その後、スイッチ612を記録部615と接続し、記録媒体への記録を行う。また、合成部610の出力がメモリ614(バッファC)に保持されるようにスイッチ613を切り替え、5枚合成した画像(本合成画像)をメモリ614(バッファC)に保持し、その画像を表示部616に表示する。   Next, the operation of the imaging apparatus according to the second embodiment will be described. The process up to generating a simple composite image and selecting an image is the same as in the first embodiment (steps S201 to S210 in the flowchart of FIG. 2). During this synthesis, the switch 609 is switched so that the output of the memory 605 (buffer A) becomes the input of the synthesis unit 610, and the switch 621 is switched so that the output of the synthesis unit 610 becomes the input of the gain correction unit 608. Further, since the image being combined is not recorded, the switch 612 is switched so that the output of the switch 621 does not become the input of the recording unit 115 until the combination is completed. If the image input to the combining unit 610 is the first image taken, the combining unit 610 holds the image in the memory 611 (buffer B). Next, it is determined whether or not the five images have been combined. If there is an image that has not been combined in the memory 605 (buffer A), the second image is input to the combining unit 610. The composition unit 610 performs composition processing of the first image and the second image held in the memory 611 (buffer B), and again holds them in the memory 611 (buffer B). This process is repeated for a 3-synthesized image, 4-synthesized image, and 5-synthesized image. When the synthesis of the five images is completed, the gain correction unit 608 applies a gain of 8/5 times to generate the main synthesized image. Thereafter, the switch 612 is connected to the recording unit 615 to perform recording on the recording medium. In addition, the switch 613 is switched so that the output of the combining unit 610 is held in the memory 614 (buffer C), and the combined image (the main combined image) is stored in the memory 614 (buffer C) and the image is displayed. This is displayed on the part 616.

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。   As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. As a result, the user can acquire, for example, a composite image with a desired brightness with a simple operation and a composite image with a reduced number of subject blurs.

(第3の実施形態)
第3の実施形態は、簡易合成画像の表示の中から、被写体ぶれしていない画像と所望の明るさとなる画像の選択をする際に、明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する形態である。なお、撮像装置の構成及び基本的な動作は第1の実施形態と同様であり、以下では相違点を中心に説明する。第3の実施形態でも、第1、2の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、10枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して10倍のシャッタースピードとする。そして、3枚目の画像を取り込む際に被写体動きが発生したものとする。
(Third embodiment)
In the third embodiment, when selecting an image that does not blur the subject and an image that has a desired brightness from the display of the simple composite image, the brightness difference is selected within a predetermined range. This is a form that limits the range of possible images. Note that the configuration and basic operation of the imaging apparatus are the same as those in the first embodiment, and differences will be mainly described below. In the third embodiment, as in the first and second embodiments, ten images are continuously captured in order to obtain an image with a target exposure that is less affected by camera shake. At that time, the shutter speed of each image is set to 10 times the shutter speed at which the appropriate exposure determined in an arbitrary photometric frame is obtained. It is assumed that subject movement occurs when the third image is captured.

図7は、表示部161に簡易合成画像を表示した表示画面700を示す。第1の実施形態の図4と同様で、701が1枚簡易合成画像、702が2枚簡易合成画像、・・・、710が10枚簡易合成画像を示す。仮に10枚撮影した画像の中で、被写体ぶれしていない画像として2枚目、所望の明るさとなる画像として9枚目を選択してしまうと、画像にかけるゲインが9/2倍となり、ノイズが大きくなりすぎてしまう。そこで、被写体ぶれしていない画像として2枚目を選択したときは、ノイズが目立たないゲイン量を本装置内部で算出する。そのゲイン量が3倍だとすると、6枚合成まではノイズが目立たないことになる。そして、表示部116から画像を選択する際に、1枚簡易合成画像701から6枚簡易合成画像706は選択可能とし、7枚簡易合成画像707から10枚簡易合成画像710は選択できないように表示する。   FIG. 7 shows a display screen 700 on which a simple composite image is displayed on the display unit 161. Similar to FIG. 4 of the first embodiment, reference numeral 701 denotes one simple composite image, 702 denotes two simple composite images,... 710 denotes a ten simple composite image. If the second image is selected as an image with no subject blur and the ninth image as a desired brightness image is selected from among ten images taken, the gain applied to the image becomes 9/2 times, resulting in noise. Becomes too big. Therefore, when the second image is selected as an image in which the subject is not blurred, a gain amount in which noise is not noticeable is calculated inside the apparatus. If the gain amount is three times, the noise will not be noticeable until 6 sheets are combined. Then, when selecting an image from the display unit 116, display is performed so that one simple composite image 701 to six simple composite images 706 can be selected and seven simple composite images 707 to ten simple composite images 710 cannot be selected. To do.

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。さらにこのとき、合成枚数の指定画像と所望の明るさとなる合成枚数の指定画像との明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する。これにより、ユーザに合成の自由度を与えながらも、画像の破たんの少ない合成画像を生成することができる。   As described above, in this embodiment, the result of simple composition of a plurality of captured images is displayed in sequence, and the user can specify the desired number of composites and the desired number of composites with reference to the images. Like that. Further, at this time, the range of selectable images is limited so that the brightness difference between the designated number of synthesized images and the designated number of synthesized images having a desired brightness falls within a predetermined range. As a result, it is possible to generate a synthesized image with less image corruption while giving the user a degree of freedom of synthesis.

本実施形態では、ノイズが大きくなりすぎてしまう画像を選択できないように表示していたが、これに限らず、単にノイズが目立たないゲイン量で済む画像を強調表示する等して全画像を選択可能にしても良い。   In the present embodiment, the image is displayed so that the image with excessive noise may not be selected. However, the present invention is not limited to this, and all images are selected by highlighting an image that requires only a gain amount in which noise is not conspicuous. It may be possible.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

100、600:レンズ、101、601:シャッター、102、603:センサ、103、603:AD変換部、104、604:カメラ信号処理部、105、605:メモリ(バッファA)、106:スイッチ、107、607:縮小部、108、608:ゲイン補正部、109、609:スイッチ、110、610:合成部、111、611:メモリ(バッファB)、112、612:スイッチ、113、613:スイッチ、114、614:メモリ(バッファC)、115、615:記録部、116、616:表示部、117、617:操作部、118、618:コントローラ、119、619:ゲイン補正部、120、620:スイッチ、621:スイッチ   100, 600: Lens, 101, 601: Shutter, 102, 603: Sensor, 103, 603: AD converter, 104, 604: Camera signal processor, 105, 605: Memory (buffer A), 106: Switch, 107 , 607: reduction unit, 108, 608: gain correction unit, 109, 609: switch, 110, 610: synthesis unit, 111, 611: memory (buffer B), 112, 612: switch, 113, 613: switch, 114 , 614: Memory (buffer C), 115, 615: Recording unit, 116, 616: Display unit, 117, 617: Operation unit, 118, 618: Controller, 119, 619: Gain correction unit, 120, 620: Switch, 621: Switch

Claims (9)

連続して撮影された複数枚の画像を合成する撮像装置であって、
被写体を撮影する撮影手段と、
前記撮影手段で連続して撮影された画像を格納する格納手段と、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、
前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、
前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段とを備えたことを特徴とする撮像装置。
An imaging device that synthesizes a plurality of consecutively shot images,
Photographing means for photographing the subject;
Storage means for storing images continuously photographed by the photographing means;
Reduction means for reducing each of the images continuously photographed by the photographing means to generate a reduced image;
First combining means for combining the reduced images generated by the reducing means and generating a plurality of first combined images having different numbers of images;
Display control means for displaying on the display means a plurality of first synthesized images generated by the first synthesizing means and having a different number of synthesized images;
First selection means for selecting an image from the plurality of first composite images displayed on the display means;
Second selection means for selecting an image from the plurality of first composite images displayed on the display means;
The continuously photographed images stored in the storage means are combined with the number of composite images of the first composite image selected by the first selection means and the brightness of the first composite image selected by the second selection means. An image pickup apparatus comprising: second combining means for combining images and generating a second combined image.
前記格納手段に格納された画像を前記縮小手段を通して取得するか、前記縮小手段を通さずに取得するかを選択するスイッチを有し、
前記第1合成手段と前記第2合成手段は同一の合成回路であることを特徴とする請求項1に記載の撮像装置。
A switch for selecting whether to acquire the image stored in the storage means through the reduction means or without passing through the reduction means;
The imaging apparatus according to claim 1, wherein the first combining unit and the second combining unit are the same combining circuit.
前記第2合成手段は、ゲイン補正を行うことにより、前記第2選択手段で選択された第1合成画像の明るさの第2合成画像を生成することを特徴とする請求項1又は2に記載の撮像装置。   The said 2nd synthetic | combination means produces | generates the 2nd synthetic | combination image of the brightness of the 1st synthetic | combination image selected by the said 2nd selection means by performing gain correction. Imaging device. 前記第2選択手段は、前記第1選択手段で選択された第1合成画像の明るさとの明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。   The second selection means limits a selectable image range so that a difference in brightness from a brightness of the first composite image selected by the first selection means falls within a predetermined range. The imaging device according to any one of claims 1 to 3. 前記表示制御手段は、前記第2合成手段で合成が行われる前に、前記第1選択手段で選択された第1合成画像に、前記第2選択手段で選択された第1合成画像の明るさになるようにゲイン補正を行って前記表示部に表示することを特徴とする請求項2に記載の撮像装置。   The display control means adds the brightness of the first composite image selected by the second selection means to the first composite image selected by the first selection means before the synthesis is performed by the second synthesis means. The imaging apparatus according to claim 2, wherein gain correction is performed so as to be displayed on the display unit. 前記第1選択手段及び前記第2選択手段のうち少なくともいずれか一方は撮影者の操作に従って画像を選択することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。   6. The imaging apparatus according to claim 1, wherein at least one of the first selection unit and the second selection unit selects an image in accordance with an operation of a photographer. 前記第1選択手段及び前記第2選択手段のうち少なくともいずれか一方は自動的に画像を選択することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein at least one of the first selection unit and the second selection unit automatically selects an image. 連続して撮影された複数枚の画像を合成する撮像装置の制御方法であって、
被写体を撮影する撮影手段で連続して撮影された画像を格納手段に格納する格納ステップと、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小ステップと、
前記縮小ステップで生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成ステップと、
前記第1合成ステップで生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示ステップと、
前記表示ステップで前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択ステップと、
前記表示ステップで前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択ステップと、
前記第1選択ステップで選択された第1合成画像の合成枚数と、前記第2選択ステップで選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成ステップとを有することを特徴とする撮像装置の制御方法。
A method for controlling an image pickup apparatus that combines a plurality of images taken consecutively,
A storage step of storing, in the storage means, images continuously photographed by the photographing means for photographing the subject;
A reduction step of reducing each of the images continuously photographed by the photographing means to generate a reduced image;
A first combining step of combining the reduced images generated in the reducing step and generating a plurality of first combined images having different numbers of combined images;
A display step of displaying on the display means a plurality of first composite images generated in the first composite step and having a different number of composite images;
A first selection step of selecting an image from the plurality of first composite images displayed on the display means in the display step;
A second selection step of selecting an image from the plurality of first composite images displayed on the display means in the display step;
The continuously photographed images stored in the storage means are composed of the number of composite images of the first composite image selected in the first selection step and the brightness of the first composite image selected in the second selection step. A control method for an imaging apparatus, comprising: a second combining step of combining images and generating a second combined image.
連続して撮影された複数枚の画像を合成する撮像装置を制御するためのプログラムであって、
被写体を撮影する撮影手段で連続して撮影された画像を格納する格納手段と、
前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第1合成画像を生成する第1合成手段と、
前記第1合成手段で生成された、前記合成枚数の異なる複数の第1合成画像を選択可能に表示手段に表示する表示制御手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第1選択手段と、
前記表示手段に表示された前記複数の第1合成画像の中から画像を選択する第2選択手段と、
前記第1選択手段で選択された第1合成画像の合成枚数と、前記第2選択手段で選択された第1合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第2合成画像を生成する第2合成手段としてコンピュータを機能させるためのプログラム。
A program for controlling an image pickup apparatus that synthesizes a plurality of images taken continuously,
Storage means for storing images continuously photographed by photographing means for photographing a subject;
Reduction means for reducing each of the images continuously photographed by the photographing means to generate a reduced image;
First combining means for combining the reduced images generated by the reducing means and generating a plurality of first combined images having different numbers of images;
Display control means for displaying on the display means a plurality of first synthesized images generated by the first synthesizing means and having a different number of synthesized images;
First selection means for selecting an image from the plurality of first composite images displayed on the display means;
Second selection means for selecting an image from the plurality of first composite images displayed on the display means;
The continuously photographed images stored in the storage means are combined with the number of composite images of the first composite image selected by the first selection means and the brightness of the first composite image selected by the second selection means. A program for causing a computer to function as second combining means for combining images and generating a second combined image.
JP2010275023A 2010-12-09 2010-12-09 Imaging apparatus, control method therefor, program, and image processing apparatus Expired - Fee Related JP5656598B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010275023A JP5656598B2 (en) 2010-12-09 2010-12-09 Imaging apparatus, control method therefor, program, and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010275023A JP5656598B2 (en) 2010-12-09 2010-12-09 Imaging apparatus, control method therefor, program, and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2012124785A true JP2012124785A (en) 2012-06-28
JP5656598B2 JP5656598B2 (en) 2015-01-21

Family

ID=46505760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010275023A Expired - Fee Related JP5656598B2 (en) 2010-12-09 2010-12-09 Imaging apparatus, control method therefor, program, and image processing apparatus

Country Status (1)

Country Link
JP (1) JP5656598B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054698A (en) * 2004-08-12 2006-02-23 Canon Inc Imaging apparatus having camera shake correction function
JP2008066978A (en) * 2006-09-06 2008-03-21 Casio Comput Co Ltd Image pickup apparatus
JP2008124625A (en) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd Imaging apparatus
JP2009055278A (en) * 2007-08-27 2009-03-12 Olympus Corp Camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054698A (en) * 2004-08-12 2006-02-23 Canon Inc Imaging apparatus having camera shake correction function
JP2008066978A (en) * 2006-09-06 2008-03-21 Casio Comput Co Ltd Image pickup apparatus
JP2008124625A (en) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd Imaging apparatus
JP2009055278A (en) * 2007-08-27 2009-03-12 Olympus Corp Camera

Also Published As

Publication number Publication date
JP5656598B2 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5408053B2 (en) Image processing apparatus and image processing method
US7671892B2 (en) Image sensing apparatus, and control method, program, and storage medium of image sensing apparatus
JP5126344B2 (en) Imaging apparatus, imaging method, and program
JP5950678B2 (en) Imaging apparatus, control method, and program
KR20100060140A (en) Apparatus and method for acquiring wide dynamic range video image in image processing apparatus
KR20160044945A (en) Image photographing appratus
WO2019124289A1 (en) Device, control method, and storage medium
JP2010263520A (en) Image capturing apparatus, data generating apparatus, and data structure
JP6541501B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD
JP2018148512A (en) Imaging device, control method of imaging device, and program
JP2014179920A (en) Imaging apparatus, control method thereof, program, and storage medium
JP3937924B2 (en) Imaging apparatus and control method thereof
JP2006148550A (en) Image processor and imaging device
JP5947625B2 (en) Imaging apparatus and control method thereof
JP5656598B2 (en) Imaging apparatus, control method therefor, program, and image processing apparatus
WO2021039113A1 (en) Imaging element, imaging device, imaging element operation method, and program
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP2006135501A (en) Imaging apparatus
JP6226536B2 (en) Imaging apparatus and control method thereof
JP6075829B2 (en) IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4687619B2 (en) Image processing apparatus, image processing method, and program
JP5012656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2009200981A (en) Video camera
JP7478006B2 (en) Imaging device, control method thereof, and program
JP5663989B2 (en) Imaging apparatus and image composition program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

LAPS Cancellation because of no payment of annual fees