JP2012023530A - Imaging apparatus and image composition program - Google Patents

Imaging apparatus and image composition program Download PDF

Info

Publication number
JP2012023530A
JP2012023530A JP2010159541A JP2010159541A JP2012023530A JP 2012023530 A JP2012023530 A JP 2012023530A JP 2010159541 A JP2010159541 A JP 2010159541A JP 2010159541 A JP2010159541 A JP 2010159541A JP 2012023530 A JP2012023530 A JP 2012023530A
Authority
JP
Japan
Prior art keywords
image
images
reference image
imaging
positional deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010159541A
Other languages
Japanese (ja)
Other versions
JP5471917B2 (en
Inventor
Kazuya Umeyama
一也 梅山
Kanetaka Shinoda
兼崇 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010159541A priority Critical patent/JP5471917B2/en
Priority to CN201710469537.6A priority patent/CN107277349B/en
Priority to CN201110204654.2A priority patent/CN102340626B/en
Priority to CN201710469527.2A priority patent/CN107257434B/en
Priority to US13/181,865 priority patent/US9509911B2/en
Publication of JP2012023530A publication Critical patent/JP2012023530A/en
Application granted granted Critical
Publication of JP5471917B2 publication Critical patent/JP5471917B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To add and composite a plurality of frame images photographed consecutively.SOLUTION: A camera 1 comprises: imaging means for acquiring images by taking a subject image: selection means for selecting one image from a plurality of images taken consecutively by the imaging means as a reference image; calculation means for calculating position shift amounts between the reference image selected by the selection means and each of the plurality of images other than the reference image in the plurality of images taken consecutively by the imaging means; and generation means for generating composite images by positioning and then compositing images whose position shift amounts calculated by the calculation means are less than a predetermined shift amount. The selection means selects the reference image to have more images whose position shift amounts are less than the predetermined shift amount.

Description

本発明は、撮像装置、および画像合成プログラムに関する。   The present invention relates to an imaging apparatus and an image composition program.

本撮像を複数回の連続した露光に分けて行い、各回ごとに得られた画像信号を合成して１つの露光画像を得る技術が知られている（例えば、特許文献１）。   A technique is known in which main imaging is performed in a plurality of consecutive exposures, and an image signal obtained each time is combined to obtain one exposure image (for example, Patent Document 1).

特開２００１−８６３９８号公報JP 2001-86398 A

しかしながら、従来の技術では、連続して撮像された画像間での位置ズレ量が大き過ぎる場合には、画像間で位置合わせすることができず、画像を合成できない。このため、位置合わせをすることができない画像を合成の対象から除外し、除外した画像の代わりに他の画像を用いることも考えられるが、この場合、基準画像が適切に選択されないと、合成の対象から除外される画像が多くなってしまう可能性があった。   However, in the conventional technology, when the amount of positional deviation between images taken continuously is too large, the images cannot be aligned and the images cannot be synthesized. For this reason, it is conceivable that images that cannot be aligned are excluded from the objects to be combined and other images are used instead of the excluded images. However, in this case, if the reference image is not properly selected, There was a possibility that many images were excluded from the target.

本発明による撮像装置は、被写体像を撮像して画像を取得する撮像手段と、撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、選択手段によって選択された基準画像と、撮像手段によって連続して撮像された複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、算出手段によって算出された位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、選択手段は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。
本発明による画像合成プログラムは、被写体像を撮像して画像を取得する撮像手順と、撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、選択手順で選択した基準画像と、撮像手順で連続して撮像した複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、算出手順で算出した位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、選択手順は、位置ズレ量が前記所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。 An imaging apparatus according to the present invention includes an imaging unit that captures an image of a subject to acquire an image, a selection unit that selects one image as a reference image from a plurality of images that are continuously captured by the imaging unit, A calculation unit that calculates a positional deviation amount between the reference image selected by the selection unit and each of a plurality of images other than the reference image among a plurality of images continuously captured by the imaging unit; Generation means for generating a composite image by aligning and synthesizing images whose positional deviation amount is equal to or less than a predetermined deviation amount, and the selection means is an image whose positional deviation amount is equal to or smaller than the predetermined deviation amount The reference image is selected so as to increase the number of images.
An image composition program according to the present invention includes an imaging procedure for capturing an image of a subject and acquiring the image, a selection procedure for selecting one image as a reference image from a plurality of images that are continuously captured in the imaging procedure, A calculation procedure for calculating a positional shift amount between the reference image selected in the selection procedure and each of a plurality of images other than the reference image among the plurality of images continuously captured in the imaging procedure, and the position calculated in the calculation procedure An image synthesizing program for causing a computer to execute a generation procedure for generating a composite image by aligning and synthesizing an image with a shift amount equal to or less than a predetermined shift amount. Is characterized in that the reference image is selected so that the number of images below the predetermined shift amount increases.

本発明によれば、合成の対象から除外される画像が少なくなるように基準画像を選択することができる。   According to the present invention, it is possible to select the reference image so that the number of images excluded from the synthesis target is reduced.

カメラの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of a camera. ６回に分けて連写撮影した場合を例示する図である。It is a figure which illustrates the case where it divides into 6 times and is taken continuously. ７枚の画像を撮影した場合の各画像のズレ量を２次元座標上に配置して示した図である。It is the figure which has arrange | positioned and showed the deviation | shift amount of each image at the time of image | photographing seven images on a two-dimensional coordinate. 第１の実施の形態における基準画像の選択処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the selection process of the reference | standard image in 1st Embodiment. 第２の実施の形態における基準画像の選択処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the selection process of the reference | standard image in 2nd Embodiment. コンピュータ装置を例示する図である。It is a figure which illustrates a computer apparatus.

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。図１において、カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、バッファメモリ１４と、表示部材１５と、ＣＰＵ１６と、フラッシュメモリ１７と、カードインターフェース（Ｉ／Ｆ）１８と、操作部材１９とを備える。 -First embodiment-
FIG. 1 is a block diagram illustrating a configuration of an embodiment of a camera according to the first embodiment. In FIG. 1, a camera 1 includes a photographing optical system 11, an image sensor 12, an image processing unit 13, a buffer memory 14, a display member 15, a CPU 16, a flash memory 17, and a card interface (I / F). 18 and an operation member 19.

ＣＰＵ１６、フラッシュメモリ１７、カードインターフェース１８、画像処理部１３、バッファメモリ１４および表示部材１５は、それぞれがバス２０を介して接続されている。   The CPU 16, flash memory 17, card interface 18, image processing unit 13, buffer memory 14, and display member 15 are connected via a bus 20.

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。   The photographing optical system 11 includes a plurality of lens groups including a zoom lens and a focusing lens, and forms a subject image on the light receiving surface of the image sensor 12. In order to simplify FIG. 1, the photographing optical system 11 is shown as a single lens.

撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。   The imaging element 12 is configured by a CMOS image sensor or the like in which light receiving elements are two-dimensionally arranged on the light receiving surface. The image sensor 12 photoelectrically converts an image of the light beam that has passed through the photographing optical system 11 to generate a digital image signal. The digital image signal is input to the image processing unit 13.

画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。また、後述する手持ち夜景撮影モードにおける合成処理（位置合わせ、加算）も行う。   The image processing unit 13 performs various types of image processing (color interpolation processing, gradation conversion processing, contour enhancement processing, white balance adjustment processing, etc.) on the digital image data. Also, composition processing (positioning and addition) in a hand-held night scene shooting mode described later is performed.

表示部材１５は液晶パネルなどによって構成され、ＣＰＵ１６からの指示に応じて画像や操作メニュー画面などを表示する。バッファメモリ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ１７は、ＣＰＵ１６に実行させるプログラムを記憶する他に、後述するテーブルデータを記憶する。   The display member 15 is composed of a liquid crystal panel or the like, and displays an image, an operation menu screen, or the like according to an instruction from the CPU 16. The buffer memory 14 temporarily stores digital image data in the pre-process and post-process of image processing by the image processing unit 13. The flash memory 17 stores a program to be executed by the CPU 16 and table data to be described later.

ＣＰＵ１６は、フラッシュメモリ１７が記憶するプログラムを実行することにより、カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。   The CPU 16 controls the operation performed by the camera 1 by executing a program stored in the flash memory 17. The CPU 16 also performs AF (autofocus) operation control and automatic exposure (AE) calculation. The AF operation uses, for example, a contrast detection method for obtaining a focus position of a focusing lens (not shown) based on contrast information of a through image. The through image refers to a monitor image that is repeatedly acquired by the image sensor 12 at a predetermined time interval (for example, 60 frames / second) before the release operation.

メモリカードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。メモリカードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。   The memory card interface 18 has a connector (not shown), and a storage medium 30 such as a memory card is connected to the connector. The memory card interface 18 writes data to the connected storage medium 30 and reads data from the storage medium 30. The storage medium 30 is configured by a memory card incorporating a semiconductor memory, a hard disk drive, or the like.

操作部材１９は、レリーズボタンやメニュースイッチなどを含む。操作部材１９は、撮影操作、モード切替え操作やメニュー選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。   The operation member 19 includes a release button, a menu switch, and the like. The operation member 19 sends an operation signal corresponding to each operation such as a photographing operation, a mode switching operation, and a menu selection operation to the CPU 16.

本実施形態のカメラ１は、手持ち夜景撮影モードという撮影モードを有する。この撮影モードは、カメラ１を三脚に固定することなく、手持ちした状態で手軽に夜景撮影を行うモードである。本実施形態は、手持ち夜景撮影モード時の撮影制御に特徴を有するので、手持ち夜景撮影モード時の処理を中心に以降の説明を行う。   The camera 1 of the present embodiment has a shooting mode called a handheld night view shooting mode. This shooting mode is a mode for easily taking a night scene while holding the camera 1 on a tripod. Since the present embodiment is characterized by shooting control in the handheld night view shooting mode, the following description will be focused on the processing in the handheld night view shooting mode.

一般に、夜景撮影は被写体が暗いため、長秒時の露光時間が必要である。一方、手持ち撮影する場合は、いわゆる手ブレ限界とよばれる露光時間Ｔｌｉｍｉｔより長い露光時間では撮影画像にブレが生じるおそれがある。露光時間Ｔｌｉｍｉｔは、たとえば、撮影光学系１１の焦点距離をｆ(ｍｍ)とする場合に、１／ｆ(秒)といわれている（３５ｍｍ版カメラシステムに換算時）。   In general, night view shooting requires a long exposure time because the subject is dark. On the other hand, in the case of hand-held shooting, there is a possibility that a shot image is blurred at an exposure time longer than an exposure time Tlimit called a so-called camera shake limit. The exposure time Tlimit is said to be 1 / f (seconds) when the focal length of the photographing optical system 11 is f (mm), for example (when converted to a 35 mm version camera system).

通常の夜景撮影では露光時間Ｔｌｉｍｉｔより長い露光時間を必要とするので、手ブレが生じないように手持ち撮影することは困難である。そこで、手持ち夜景撮影モードでは、本撮影を複数回（Ｎ回とする）の連続した露光に分けて行ない（連写撮影）、各回の撮影で得られたＮ枚分の画像信号を公知のデジタル演算技術により加算して１つの長秒時露光画像とする。なお、手持ち夜景撮影モード時の連写による撮影回数Ｎは、あらかじめ設定された固定回数でもよいし、使用者が任意に変更可能であってもよいし、ＣＰＵ１６が撮影条件に応じて変更するようにしてもよい。   Since normal night scene shooting requires an exposure time longer than the exposure time Tlimit, it is difficult to perform hand-held shooting so that camera shake does not occur. Therefore, in the hand-held night view shooting mode, the main shooting is divided into a plurality of (N times) continuous exposures (continuous shooting), and N image signals obtained in each shooting are used as a known digital signal. The result is added by a calculation technique to form one long second exposure image. Note that the number N of continuous shooting in the handheld night scene shooting mode may be a fixed number set in advance, or may be arbitrarily changed by the user, or the CPU 16 may change it according to the shooting conditions. It may be.

ＣＰＵ１６は、各回の撮影における露光時間Ｔｄｉｖを、上記露光時間Ｔｌｉｍｉｔより短く、かつ連写回数Ｎを最少とするように必要な露光時間Ｔを等分することにより決定する。ここで、露光時間Ｔは、自動露出演算（ＡＥ）によって適正露出が得られるように決定される露光時間である。ＣＰＵ１６は、たとえば、上記スルー画像を構成する画像信号値に基づいて自動露出演算（ＡＥ）を行い、該スルー画像の平均的な明るさに基づいて露光時間Ｔを決定する。そして、Ｔ＝Ｎ×Ｔｄｉｖが成立し、各回の露光時間ＴｄｉｖがＴｌｉｍｉｔより短く、かつ連写回数Ｎを最小にする露光時間Ｔｄｉｖを求める。   The CPU 16 determines the exposure time Tdiv in each shooting by equally dividing the necessary exposure time T so as to be shorter than the exposure time Tlimit and to minimize the continuous shooting number N. Here, the exposure time T is an exposure time determined so that a proper exposure can be obtained by automatic exposure calculation (AE). For example, the CPU 16 performs automatic exposure calculation (AE) based on the image signal values constituting the through image, and determines the exposure time T based on the average brightness of the through image. Then, T = N × Tdiv is established, the exposure time Tdiv for each time is shorter than Tlimit, and the exposure time Tdiv that minimizes the number N of continuous shooting is obtained.

ＣＰＵ１６は、Ｎ回に分けて連写撮影したＮ枚の画像について、それぞれ位置合わせをした上で加算する。例えば、各画像において所定の領域（共通の被写体を含む領域）に含まれる画像信号（約６０画素分）に基づいてエッジ検出を行い、該エッジを構成する画素位置を揃えるように位置合わせを行う。   The CPU 16 adds the positions after aligning the N images that have been shot continuously in N times. For example, edge detection is performed based on an image signal (for about 60 pixels) included in a predetermined area (area including a common subject) in each image, and alignment is performed so that pixel positions constituting the edge are aligned. .

ところが、Ｎ回に分けて連写撮影したＮ枚の画像のうち、前後の画像に比べてブレが大きい特異な画像が撮影される場合がある。この場合のＣＰＵ１６は、当該特異な画像に代えて、Ｎ枚の画像のうち特異でない他の画像の複製を加算に用いる。例えば、ＣＰＵ１６は、Ｎ枚の画像のうちのいずれか１枚を基準画像とし、該基準画像と他の画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定する。そして、ＣＰＵ１６は、特定した特異な画像を加算対象から除外し、該特異な画像の代わりに他の画像のいずれかを複製した画像を用いて、それらを位置合わせして加算する。   However, there are cases where a unique image having a larger blur than that of the preceding and following images is taken out of the N images taken continuously in N times. In this case, the CPU 16 uses a copy of another non-singular image among the N images for addition, instead of the peculiar image. For example, the CPU 16 specifies any one of N images as a reference image, and specifies an image in which the positional deviation amount between the reference image and another image is larger than a predetermined deviation amount as a unique image. Then, the CPU 16 excludes the specified unique image from the addition target, uses an image obtained by duplicating any of the other images instead of the specific image, and adds and aligns them.

図２は、Ｎ＝６回に分けて連写撮影した場合を例示する図である。図２において、４枚目の画像に大きなブレが生じたと仮定する。ＣＰＵ１６は、Ｎ＝６枚の画像のうち特異でない１〜３枚目および５，６枚目の画像の中から、たとえば１枚目の画像を複製し、該複製画像で４枚目の特異な画像を代替する。これにより、複製された１枚目の画像は、他のコマの画像に比べて数多く（本例では２回）加算されることになる。   FIG. 2 is a diagram illustrating a case where continuous shooting is performed with N = 6 times. In FIG. 2, it is assumed that a large blur has occurred in the fourth image. The CPU 16 duplicates, for example, the first image from the first to third images and the fifth and sixth images which are not unique among the N = 6 images, and the unique image of the fourth image is reproduced from the duplicate image. Substitute an image. As a result, the copied first image is added more (in this example, twice) than the images of other frames.

一般に、カメラ１による撮影画像には、アナログノイズとよばれるランダムノイズが含まれている。ランダムノイズであることから時々刻々と変化するため、連写撮影された各コマの画像には、それぞれ異なる時刻で発生した異なる状態のノイズが含まれる。一般に、互いに異なるコマの画像を加算する場合、各コマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されるので、ランダムノイズの影響は低減する。   In general, an image captured by the camera 1 includes random noise called analog noise. Since it is a random noise and changes every moment, the images of each frame continuously shot include noise in different states generated at different times. Generally, when images of different frames are added, random noise included in each frame is canceled out by random noise of other frames, so that the influence of random noise is reduced.

しかしながら、上述したようにブレ画像を他のコマの複製画像で代替する場合、複製に用いられたコマの画像は他のコマに比べて加算回数が多くなることから、複製に用いられたコマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されにくくなる。すなわち、加算後の画像において、複製に用いられたコマに含まれるランダムノイズが目立ちやすくなるおそれが生じる。   However, as described above, when a blurred image is replaced with a duplicate image of another frame, the image of the frame used for duplication has a larger number of additions than other frames, so The included random noise is not easily canceled by the random noise of other frames. That is, in the image after addition, there is a possibility that random noise included in the frame used for duplication is easily noticeable.

本実施の形態では、このようなランダムノイズの影響を低減するために、できるだけ同じコマが複数回加算されることを防ぐように、上述した特異な画像を特定するために用いる基準画像の選択方法を工夫する。換言すると、ＣＰＵ１６は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像の選択方法を工夫する。すなわち、本実施の形態では、ＣＰＵ１６は、基準画像を、撮影したＮ枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から選択するようにする。例えば、図２に示すように６枚の画像を撮影した場合には、１枚目の画像と６枚目の画像とを除いた２〜４枚目の画像の中から基準画像を選択する。   In the present embodiment, in order to reduce the influence of such random noise, the reference image selection method used for specifying the above-described unique image so as to prevent the same frame from being added as many times as possible. Devise. In other words, the CPU 16 devises a method for selecting the reference image so that the number of images whose positional deviation amount with respect to the reference image is equal to or smaller than the predetermined deviation amount increases. In other words, in the present embodiment, the CPU 16 selects the reference image from the images excluding the first captured image and the last captured image among the N captured images. . For example, when six images are taken as shown in FIG. 2, the reference image is selected from the second to fourth images excluding the first image and the sixth image.

なお、できるだけ同じコマが複数回加算されることを防ぐためには、Ｎ枚の画像を時系列で並べたときにできるだけ中央に位置する１枚の画像を基準画像として選択するのが好ましい。例えば、Ｎが奇数である場合には、複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択することが好ましい。また、Ｎが偶数である場合には、Ｎ枚の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択することが好ましい。以下、その理由について説明する。   In order to prevent the same frame from being added a plurality of times as much as possible, it is preferable to select, as a reference image, one image located as central as possible when N images are arranged in time series. For example, when N is an odd number, it is preferable to select one image located at the center when a plurality of images are arranged in time series as the reference image. When N is an even number, it is preferable to select one of the two images located at the center when N images are arranged in time series as the reference image. The reason will be described below.

図３は、７枚の画像を撮影した場合の各画像のズレ量を２次元座標上に配置して示した図である。この図３を用いて、本実施の形態における基準画像の選択方法によって得られるメリットを説明する。図３では、縦軸が基準画像からの縦方向のズレ量（ピクセル）、横軸が基準画像からの横方向のズレ量（ピクセル）を示している。また、円３ｃは、特異な画像を判定するための閾値を示しており、基準画像とのズレ量が該閾値よりも大きい画像、すなわち基準画像とのズレ量を示す点が円３ｃの外側に位置する画像は特異な画像と判定される。   FIG. 3 is a diagram showing the amount of displacement of each image when two images are taken, arranged on two-dimensional coordinates. The advantages obtained by the reference image selection method according to the present embodiment will be described with reference to FIG. In FIG. 3, the vertical axis indicates the amount of vertical displacement (pixels) from the reference image, and the horizontal axis indicates the amount of horizontal displacement (pixels) from the reference image. The circle 3c indicates a threshold for determining a unique image, and an image having an amount of deviation from the reference image larger than the threshold, that is, a point indicating the amount of deviation from the reference image is outside the circle 3c. The positioned image is determined to be a unique image.

この図３では、点３ａ−１から点３ａ−７、および点３ｂ−１から点３ｂ−７が７枚の画像を撮影した場合の基準画像と他の画像とのズレ量を表している。なお、点３ａ−１から点３ａ−７は、４枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表しており、点３ｂ−１から点３ｂ−７は、１枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表している。すなわち、撮影された７枚の画像は、時系列で一定の方向（ここでは右上方向）にズレ量が増加していることがわかる。例えば、レンズ１１がレンズシフト方式の手ブレ補正機構を備える場合には、手ブレ補正が行われた後の連写画像は、このように時系列で一定の方向にズレ量が増加する傾向にある。   In FIG. 3, point 3a-1 to point 3a-7 and point 3b-1 to point 3b-7 represent the amount of misalignment between the reference image and other images when seven images are captured. Note that points 3a-1 to 3a-7 represent the amount of deviation between the reference image and other images when the fourth image is the reference image, and points 3b-1 to 3b-7 are This represents the amount of deviation between the reference image and another image when the first image is used as the reference image. In other words, it can be seen that the amount of deviation of the seven captured images increases in a certain direction (here, the upper right direction) in time series. For example, when the lens 11 includes a lens shift type camera shake correction mechanism, the continuous shot image after the camera shake correction is performed tends to increase the amount of deviation in a certain direction in time series as described above. is there.

まず、点３ｂ−１から点３ｂ−７に示す１枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は０となるため、基準画像のズレ量を示す点３ｂ−１は原点に位置している。そして、２枚目の画像のズレ量を示す点３ｂ−２、３枚目の画像のズレ量を示す点３ｂ−３、４枚目の画像のズレ量を示す点３ｂ−４、５枚目の画像のズレ量を示す点３ｂ−５、６枚目の画像のズレ量を示す点３ｂ−６、７枚目の画像のズレ量を示す点３ｂ−７というように、基準画像からのズレ量は一定方向に増加していく。   First, a specific image determination example when the first image indicated by points 3b-1 to 3b-7 is used as a reference image will be described. In this case, since the deviation amount of the reference image is 0, the point 3b-1 indicating the deviation amount of the reference image is located at the origin. A point 3b-2 indicating the shift amount of the second image, a point 3b-3 indicating the shift amount of the third image, a point 3b-4 indicating the shift amount of the fourth image, and the fifth sheet The deviation from the reference image includes a point 3b-5 indicating the amount of deviation of the first image, a point 3b-6 indicating the amount of deviation of the sixth image, and a point 3b-7 indicating the amount of deviation of the seventh image. The amount increases in a certain direction.

この場合、基準画像からのズレ量が閾値より大きくなる画像、すなわち基準画像からのズレ量を示す点が円３ｃよりも外側に位置している画像は、上述した特異な画像と判定される。ここでは、点３ｂ−５、点３ｂ−６、点３ｂ−７が円３ｃの外側にあるため、５枚目、６枚目、７枚目の画像が特異な画像として判定されることになる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、１枚目の画像を基準画像として選択すると、後に撮影された画像ほど基準画像からのズレ量が大きくなっていくため、これらは特異な画像と判定され易くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が高くなるため、上述したようにランダムノイズが増加する可能性が高くなる。これは最後に撮影された画像を基準画像として選択した場合も同様である。   In this case, an image in which the amount of deviation from the reference image is larger than the threshold value, that is, an image in which a point indicating the amount of deviation from the reference image is located outside the circle 3c is determined to be the above-described unique image. Here, since the points 3b-5, 3b-6, and 3b-7 are outside the circle 3c, the fifth, sixth, and seventh images are determined as unique images. . As described above, when the amount of deviation of the captured image increases in a certain direction in time series, when the first image is selected as the reference image, the amount of deviation from the reference image becomes larger as the image is captured later. Since they become larger, they are easily determined as unique images. For this reason, there is a high possibility that a peculiar image is replaced with a duplicate image of another image and added, so that the possibility that random noise increases as described above increases. This is the same when the last photographed image is selected as the reference image.

次に、点３ａ−１から点３ａ−７に示す４枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は０となるため、基準画像のズレ量を示す点３ａ−４は原点に位置している。そして、１枚目の画像のズレ量を示す点３ａ−１、２枚目の画像のズレ量を示す点３ａ−２、３枚目の画像のズレ量を示す点３ａ−３、５枚目の画像のズレ量を示す点３ａ−５、６枚目の画像のズレ量を示す点３ａ−６、７枚目の画像のズレ量を示す点３ａ−７は、原点に位置する点３ａ−４を中心として一定方向に増加している。   Next, a specific image determination example when the fourth image indicated by the points 3a-1 to 3a-7 is used as a reference image will be described. In this case, since the deviation amount of the reference image is 0, the point 3a-4 indicating the deviation amount of the reference image is located at the origin. A point 3a-1 indicating the shift amount of the first image, a point 3a-2 indicating a shift amount of the second image, a point 3a-3 indicating the shift amount of the third image, and the fifth sheet A point 3a-5 indicating the amount of misalignment of the first image, a point 3a-6 indicating the amount of misalignment of the sixth image, and a point 3a-7 indicating the amount of misalignment of the seventh image are point 3a- located at the origin. It increases in a certain direction around 4.

この場合、基準画像からのズレ量を示す全ての点が円３ｃ内に収まっており、特異な画像と判定される画像は存在しない。このため、ＣＰＵ１６は、７枚の画像全てを位置合わせの後に加算することができる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、７枚の画像のうちの中ほどで撮影された画像（ここでは４枚目の画像）を基準画像として選択すると、その前後に撮影された画像の基準画像からのズレ量は小さくなるため、他の画像が特異な画像と判定され難くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が低くなるため、ランダムノイズの増加を防ぐことができる。   In this case, all the points indicating the amount of deviation from the reference image are within the circle 3c, and there is no image determined to be a unique image. For this reason, the CPU 16 can add all seven images after alignment. As described above, when the amount of deviation of the captured image increases in a certain direction in time series, an image captured in the middle of the seven images (here, the fourth image) is used as a reference. When selected as an image, the amount of deviation from the reference image of the images taken before and after that becomes small, so that it is difficult to determine other images as unique images. For this reason, since the possibility that a peculiar image is replaced with a duplicate image of another image and added is reduced, an increase in random noise can be prevented.

図４は、第１の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図４に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、ＣＰＵ１６によって実行される。   FIG. 4 is a flowchart showing the flow of reference image selection processing in the first embodiment. The process shown in FIG. 4 is executed by the CPU 16 as a program that is activated when a plurality of images are continuously shot in the handheld night scene shooting mode.

ステップＳ１０において、ＣＰＵ１６は、連写が完了したか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、ＣＰＵ１６は、連写によって得た画像の枚数は奇数であるか否かを判断する。   In step S10, the CPU 16 determines whether or not continuous shooting is completed. If a positive determination is made in step S10, the process proceeds to step S20. In step S20, the CPU 16 determines whether or not the number of images obtained by continuous shooting is an odd number.

ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進み、ＣＰＵ１６は、連写によって得た複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択して、ステップＳ５０へ進む。これに対して、ステップＳ２０で否定判断した場合には、ステップＳ４０へ進み、ＣＰＵ１６は、連写によって得た複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択して、ステップＳ５０へ進む。   If an affirmative determination is made in step S20, the process proceeds to step S30, and the CPU 16 selects, as a reference image, one image located at the center when a plurality of images obtained by continuous shooting are arranged in time series, Proceed to step S50. On the other hand, if a negative determination is made in step S20, the process proceeds to step S40, and the CPU 16 selects one of the two images located in the center when a plurality of images obtained by continuous shooting are arranged in time series. Either one is selected as a reference image, and the process proceeds to step S50.

ステップＳ５０では、ＣＰＵ１６は、上述したように、基準画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定し、特定した特異な画像を合成の対象から除外する。その後、ステップＳ６０へ進み、ＣＰＵ１６は、特異な画像以外の連写画像を位置合わせをした上で加算して、処理を終了する。   In step S50, as described above, the CPU 16 identifies an image whose positional deviation from the reference image is larger than the predetermined deviation as a specific image, and excludes the specified specific image from the synthesis target. Thereafter, the process proceeds to step S60, where the CPU 16 adds continuous shot images other than unique images after positioning, and ends the process.

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）ＣＰＵ１６は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択し、該基準画像を基準として位置合わせを行って、画像を加算するようにした。具体的には、ＣＰＵ１６は、撮影したＮ枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から基準画像を選択するようにするようにした。これによって、できるだけ同じコマが複数回加算されることを防いで、合成画像におけるランダムノイズの影響を低減することができる。 According to the first embodiment described above, the following operational effects can be obtained.
(1) The CPU 16 selects a reference image so as to increase the number of images whose positional deviation amount is equal to or smaller than a predetermined deviation amount, performs alignment with the reference image as a reference, and adds the images. Specifically, the CPU 16 selects a reference image from images excluding the first captured image and the last captured image among N captured images. Thereby, it is possible to prevent the same frame from being added a plurality of times as much as possible, and to reduce the influence of random noise in the composite image.

（２）ＣＰＵ１６は、連写画像の枚数が奇数である場合には、複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択し、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択するようにした。これによって、時系列で一定の方向にズレ量が増加する場合に、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像を選択することができる。 (2) When the number of continuous shot images is an odd number, the CPU 16 selects, as a reference image, one image located at the center when a plurality of images are arranged in time series, and the number of continuous shot images Is an even number, one of the two images located in the center when a plurality of images are arranged in time series is selected as the reference image. As a result, when the amount of deviation increases in a certain direction in time series, the reference image can be selected so that the number of images whose positional deviation from the reference image is equal to or smaller than the predetermined amount of deviation increases.

―第２の実施の形態―
上述した第１の実施の形態では、ＣＰＵ１６は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように、Ｎ枚の画像を時系列で並べたときにできるだけ中央に位置する１枚の画像を基準画像として選択する例について説明した。これに対して、第２の実施の形態では、ＣＰＵ１６は、連写によって得た複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択する。なお、第２の実施の形態では、図１および図２は、第１の実施の形態と同様のため、説明を省略する。 -Second embodiment-
In the first embodiment described above, the CPU 16 is as central as possible when N images are arranged in time series so that the number of images whose positional deviation from the reference image is equal to or smaller than the predetermined deviation increases. The example in which one positioned image is selected as the reference image has been described. On the other hand, in the second embodiment, the CPU 16 identifies, as candidate images, images having the largest positional deviation from other images for each of a plurality of images obtained by continuous shooting. An image having the smallest positional deviation from other images is selected as a reference image from the images. In the second embodiment, FIG. 1 and FIG. 2 are the same as those in the first embodiment, and a description thereof will be omitted.

以下、第２の実施の形態における基準画像の選択方法について説明する。例えば、連写により６枚の画像を撮影した場合には、ＣＰＵ１６は、１枚目の画像を候補画像とし、該候補画像と２〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第１の組み合わせ）を特定する。また、２枚目の画像を候補画像とし、該候補画像と３〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第２の組み合わせ）を特定する。   Hereinafter, a reference image selection method according to the second embodiment will be described. For example, when six images are captured by continuous shooting, the CPU 16 uses the first image as a candidate image, and calculates the amount of positional deviation between the candidate image and each of the second to sixth images. The combination of images (first combination) having the largest positional deviation amount is specified. Further, the second image is set as a candidate image, and the positional deviation amount between the candidate image and each of the third to sixth images is calculated, and the combination of the images having the largest positional deviation amount (second). Specified).

また、３枚目の画像を候補画像とし、該候補画像と４〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第３の組み合わせ）を特定する。また、４枚目の画像を候補画像とし、該候補画像と５〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第４の組み合わせ）を特定する。また、５枚目の画像を候補画像とし、該候補画像と６枚目の画像との位置ズレ量を算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第５の組み合わせ）を特定する。   Further, the third image is set as a candidate image, and the positional deviation amount between the candidate image and each of the fourth to sixth images is calculated, and the combination of the images with the largest positional deviation amount (third). Specified). Further, the fourth image is set as a candidate image, the positional deviation amount between the candidate image and each of the fifth to sixth images is calculated, and the combination of the images with the largest positional deviation amount among them (fourth) Specified). Further, the fifth image is used as a candidate image, the positional deviation amount between the candidate image and the sixth image is calculated, and the combination of the images with the largest positional deviation amount (fifth combination) is calculated. Identify.

そして、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する。例えば、両画像間の位置ズレ量が最も小さくなる組み合わせが、第３の組み合わせ（例えば３枚目の画像と６枚目の画像との組み合わせ）である場合には、該第３の組み合わせにおける候補画像である３枚目の画像を基準画像として選択する。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、基準画像との位置ズレ量が所定のズレ量以下となる画像を多くして、できるだけ同じコマが複数回加算されることを防ぐことができる。   Then, the CPU 16 specifies a combination having the smallest positional deviation amount between the two images from the first combination to the fifth combination, and selects a candidate image in the specified combination as a reference image. For example, when the combination that minimizes the positional deviation amount between the two images is the third combination (for example, the combination of the third image and the sixth image), the candidate in the third combination A third image, which is an image, is selected as a reference image. As a result, the image with the smallest positional deviation from the image with the largest positional deviation can be selected as the reference image, so that the number of images with the positional deviation with the reference image equal to or smaller than the predetermined deviation is increased. Thus, it is possible to prevent the same frame from being added multiple times as much as possible.

図５は、第２の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図５に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、ＣＰＵ１６によって実行される。なお、図５においては、図４と同様の処理については、図４と同じステップ番号を付加し、ここでは図４との相違点を中心に説明する。   FIG. 5 is a flowchart showing a flow of reference image selection processing in the second embodiment. The processing shown in FIG. 5 is executed by the CPU 16 as a program that is activated when a plurality of images are continuously shot in the handheld night view shooting mode. In FIG. 5, the same processes as those in FIG. 4 are given the same step numbers as in FIG. 4, and here, differences from FIG. 4 will be mainly described.

ステップＳ２１において、上述したように、ＣＰＵ１６は、各画像をそれぞれ候補画像に設定した場合の他の画像との位置ズレ量が最も大きくなる画像の組み合わせを特定する。その後、ステップＳ３１へ進み、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定する。その後、ステップＳ４１へ進む。ステップＳ４１では、ＣＰＵ１６は、ステップＳ３１で特定した組み合わせにおける候補画像を基準画像として選択し、ステップＳ５０へ進む。   In step S <b> 21, as described above, the CPU 16 specifies a combination of images that have the largest positional deviation from other images when each image is set as a candidate image. Thereafter, the process proceeds to step S31, and the CPU 16 specifies a combination having the smallest positional deviation amount between both images from the first combination to the fifth combination. Then, it progresses to step S41. In step S41, the CPU 16 selects a candidate image in the combination specified in step S31 as a reference image, and proceeds to step S50.

以上説明した第２の実施の形態によれば、上述した第１の実施の形態における効果に加えて、以下のような作用効果を得ることができる。すなわち、ＣＰＵ１６は、連写によって得られた複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択するようにした。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、できるだけ同じコマが複数回加算されることを防ぐことができ、合成画像におけるランダムノイズの影響を低減することができる。   According to the second embodiment described above, the following operational effects can be obtained in addition to the effects of the first embodiment described above. That is, for each of the plurality of images obtained by continuous shooting, the CPU 16 identifies an image having the largest positional deviation from the other images as a candidate image, and from the identified candidate images, An image with the smallest positional deviation is selected as the reference image. As a result, an image with the smallest positional deviation from the image with the largest positional deviation can be selected as the reference image, so that the same frame can be prevented from being added multiple times as much as possible. The influence of random noise can be reduced.

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、ＣＰＵ１６は、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択するようにした。このとき、ＣＰＵ１６は、該２枚の画像のうち、遅い時刻に撮像された方の画像を基準画像として選択するようにしてもよい。これは、使用者がレリーズボタンを押下したことによって生じる像ブレは、レリーズボタンを押下した直後ほど大きく、時間の経過とともに小さくなるため、該２枚の画像のうちレリーズボタンを押下してからの経過時間が長い方の画像を基準画像とすることにより、レリーズボタン押下に伴う像ブレが小さい画像を基準画像として選択できるためである。 -Modification-
The camera according to the above-described embodiment can be modified as follows.
(1) In the above-described first embodiment, when the number of continuous shot images is an even number, the CPU 16 selects two images located at the center when a plurality of images are arranged in time series. Any one of the above is selected as a reference image. At this time, the CPU 16 may select the image captured at a later time from the two images as the reference image. This is because the image blur caused by the user pressing the release button increases as soon as the user presses the release button, and decreases as time elapses. This is because, by setting the image having the longer elapsed time as the reference image, an image with a small image blur caused by pressing the release button can be selected as the reference image.

（２）上述した第２の実施の形態では、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する例について説明した。しかしながら、ＣＰＵ１６は、両画像間の位置ズレ量が最も小さくなる組み合わせにおける候補画像に像ブレが生じているか否かを判定し、像ブレが生じている場合には、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が２番目に小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択するようにしてもよい。これによって、像ブレが生じている画像が基準画像として選択されることを防ぐことができる。 (2) In the second embodiment described above, the CPU 16 identifies a combination that minimizes the amount of positional deviation between both images from the first combination to the fifth combination, and candidates in the identified combination. An example in which an image is selected as a reference image has been described. However, the CPU 16 determines whether or not image blurring has occurred in the candidate image in the combination in which the positional deviation amount between the two images is the smallest, and if image blurring has occurred, the first to fifth combinations are performed. Of these combinations, a combination having the second smallest positional deviation between the two images may be specified, and a candidate image in the specified combination may be selected as a reference image. Thereby, it is possible to prevent an image in which image blurring has occurred from being selected as a reference image.

なお、両画像間の位置ズレ量が２番目に小さくなる組み合わせにおける候補画像にも像ブレが生じている場合には、両画像間の位置ズレ量が３番目に小さくなる組み合わせにおける候補画像を基準画像として選択するようにしてもよい。また、第１の実施の形態においても、同様に、ＣＰＵ１６は、選択した基準画像に像ブレが生じている場合には、該基準画像の前または後に撮影された画像（連写で最初に撮像された画像と最後に撮像された画像とを除く）を基準画像として選択するようにしてもよい。なお、画像に像ブレが生じているか否かを判定する方法は、公知のため説明を省略する。   In addition, when image blurring also occurs in the candidate image in the combination in which the positional deviation amount between the two images is the second smallest, the candidate image in the combination in which the positional deviation amount between the two images is the third smallest is used as a reference. You may make it select as an image. Similarly, in the first embodiment, when image blurring occurs in the selected reference image, similarly, the CPU 16 captures an image captured before or after the reference image (initially captured by continuous shooting). May be selected as the reference image) (excluding the captured image and the last captured image). Note that a method for determining whether or not image blur has occurred in an image is well known, and thus description thereof is omitted.

（３）上述した第１および第２の実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、図４や図５に示した処理を行う画像合成プログラムを図６に示すコンピュータ装置１００に実行させることにより、夜景画像合成処理装置を構成してもよい。画像合成プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像合成処理装置として使用する。この場合のコンピュータ装置１００のワークメモリ（不図示）には、連写によって得られたＮ枚の連写撮影画像が一時的に記憶される。 (3) In the above-described first and second embodiments, examples in which the present invention is applied to a camera have been described. However, the night scene image composition processing apparatus may be configured by causing the computer apparatus 100 illustrated in FIG. 6 to execute the image composition program for performing the processes illustrated in FIGS. 4 and 5. When an image composition program is imported to the personal computer 100 and used, the program is loaded into the data storage device of the personal computer 100 and then used as an image composition processing device by executing the program. In this case, N continuous shot images obtained by continuous shooting are temporarily stored in the work memory (not shown) of the computer apparatus 100.

パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像合成プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。   The loading of the program to the personal computer 100 may be performed by setting a recording medium 104 such as a CD-ROM storing the program in the personal computer 100, or to the personal computer 100 by a method via the communication line 101 such as a network. You may load. When passing through the communication line 101, the program is stored in the hard disk device 103 of the server (computer) 102 connected to the communication line 101. The image composition program can be supplied as various types of computer program products such as provision via the storage medium 104 or the communication line 101.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

１ カメラ、１１ 撮影光学系、１２ 撮像素子、１３ 画像処理部、１４ バッファメモリ、１５ 表示部材、１６ ＣＰＵ、１７ フラッシュメモリ、１８ カードインターフェース、１９ 操作部材、３０ 記憶媒体 DESCRIPTION OF SYMBOLS 1 Camera, 11 Image pick-up optical system, 12 Image sensor, 13 Image processing part, 14 Buffer memory, 15 Display member, 16 CPU, 17 Flash memory, 18 Card interface, 19 Operation member, 30 Storage medium

Claims (8)

被写体像を撮像して画像を取得する撮像手段と、
前記撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、
前記選択手段によって選択された前記基準画像と、前記撮像手段によって連続して撮像された複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、
前記算出手段によって算出された前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、
前記選択手段は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする撮像装置。 Imaging means for capturing a subject image and acquiring the image;
A selection unit that selects one image as a reference image from among a plurality of images continuously captured by the imaging unit;
Calculating means for calculating a positional shift amount between the reference image selected by the selection means and each of a plurality of images other than the reference image among a plurality of images continuously captured by the imaging means;
A generating unit configured to generate a composite image by combining the images of which the amount of positional deviation calculated by the calculating unit is equal to or less than a predetermined amount of positional deviation;
The imaging device is characterized in that the selection means selects the reference image so that the number of images with the positional deviation amount equal to or less than the predetermined deviation amount increases. 請求項１に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のうちの、最初に撮像された画像と最後に撮像された画像とを除いた画像の中から前記基準画像を選択することを特徴とする撮像装置。 The imaging device according to claim 1,
The selection unit selects the reference image from images excluding the first captured image and the last captured image among a plurality of images continuously captured by the imaging unit. An imaging apparatus characterized by the above. 請求項２に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が奇数である場合には、前記複数の画像を時系列で並べたときの中央に位置する１枚の画像を前記基準画像として選択し、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 2,
When the number of the plurality of images continuously captured by the imaging unit is an odd number, the selection unit selects one image located in the center when the plurality of images are arranged in time series. When the number of a plurality of images selected as a reference image and continuously captured by the imaging unit is an even number, two images positioned in the center when the plurality of images are arranged in time series Any one of them is selected as the reference image. 請求項３に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する２枚の画像のうち、遅い時刻に撮像された方の画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 3.
When the number of the plurality of images continuously captured by the image capturing unit is an even number, the selection unit includes the two images positioned in the center when the plurality of images are arranged in time series. An image pickup apparatus, wherein an image picked up at a later time is selected as the reference image. 請求項１に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した前記候補画像の中から、前記他の画像との位置ズレ量が最も小さい画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 1,
The selection unit specifies, as a candidate image, an image having the largest positional deviation amount with respect to each of a plurality of images continuously captured by the imaging unit, and from among the identified candidate images, An image pickup apparatus, wherein an image having the smallest positional deviation from the other image is selected as the reference image. 請求項５に記載の撮像装置において、
前記選択手段は、選択した前記基準画像にブレが生じている場合には、前記候補画像の中から、前記他の画像との位置ズレ量が２番目に小さい画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging apparatus according to claim 5,
When the selected reference image is blurred, the selection unit selects, as the reference image, an image having the second smallest positional deviation from the other images from the candidate images. An imaging apparatus characterized by the above. 請求項１〜６のいずれか一項に記載の撮像装置において、
前記撮像手段によって撮像される画像は、手ブレ補正が行なわれた画像であることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6,
An image pick-up device, wherein the image picked up by the image pick-up means is an image subjected to camera shake correction. 被写体像を撮像して画像を取得する撮像手順と、
前記撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、
前記選択手順で選択した前記基準画像と、前記撮像手順で連続して撮像した複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、
前記算出手順で算出した前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、
前記選択手順は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする画像合成プログラム。 An imaging procedure for capturing a subject image and acquiring the image;
A selection procedure for selecting one image as a reference image from a plurality of images continuously captured in the imaging procedure;
A calculation procedure for calculating a positional deviation amount between the reference image selected in the selection procedure and each of a plurality of images other than the reference image among a plurality of images continuously captured in the imaging procedure;
An image synthesizing program for causing a computer to execute a generation procedure for generating an image by synthesizing an image in which the positional deviation amount calculated by the calculation procedure is equal to or less than a predetermined deviation amount. ,
The image selection program characterized in that the selection procedure selects the reference image so that the number of images with the positional deviation amount equal to or less than the predetermined deviation amount increases.
JP2010159541A 2010-07-14 2010-07-14 Imaging apparatus and image composition program Expired - Fee Related JP5471917B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010159541A JP5471917B2 (en) 2010-07-14 2010-07-14 Imaging apparatus and image composition program
CN201710469537.6A CN107277349B (en) 2010-07-14 2011-07-13 Image pickup apparatus and computer-readable storage medium
CN201110204654.2A CN102340626B (en) 2010-07-14 2011-07-13 Camera device and image combining method
CN201710469527.2A CN107257434B (en) 2010-07-14 2011-07-13 Image processing apparatus, imaging apparatus, and medium
US13/181,865 US9509911B2 (en) 2010-07-14 2011-07-13 Image-capturing device, and image combination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010159541A JP5471917B2 (en) 2010-07-14 2010-07-14 Imaging apparatus and image composition program

Publications (2)

Publication Number Publication Date
JP2012023530A true JP2012023530A (en) 2012-02-02
JP5471917B2 JP5471917B2 (en) 2014-04-16

Family

ID=45777427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010159541A Expired - Fee Related JP5471917B2 (en) 2010-07-14 2010-07-14 Imaging apparatus and image composition program

Country Status (1)

Country Link
JP (1) JP5471917B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041924A (en) * 2013-08-22 2015-03-02 オリンパス株式会社 Image processing apparatus, image processing method and program
US9672608B2 (en) 2013-08-22 2017-06-06 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060318A (en) * 2004-08-17 2006-03-02 Sony Corp Image processing method and image processor, and program and recording medium
JP2006246309A (en) * 2005-03-07 2006-09-14 Canon Inc Image processor and image processing method
JP2007312348A (en) * 2006-04-18 2007-11-29 Fujitsu Ltd Imaging device with camera shake correction function, camera shake correction method, pre-processing program for camera shake correction processing, and storage image determination program
JP2008124625A (en) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd Imaging apparatus
JP2010078635A (en) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd Blur correcting device and imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060318A (en) * 2004-08-17 2006-03-02 Sony Corp Image processing method and image processor, and program and recording medium
JP2006246309A (en) * 2005-03-07 2006-09-14 Canon Inc Image processor and image processing method
JP2007312348A (en) * 2006-04-18 2007-11-29 Fujitsu Ltd Imaging device with camera shake correction function, camera shake correction method, pre-processing program for camera shake correction processing, and storage image determination program
JP2008124625A (en) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd Imaging apparatus
JP2010078635A (en) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd Blur correcting device and imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041924A (en) * 2013-08-22 2015-03-02 オリンパス株式会社 Image processing apparatus, image processing method and program
US9672608B2 (en) 2013-08-22 2017-06-06 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP5471917B2 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
CN107257434B (en) Image processing apparatus, imaging apparatus, and medium
JP6178987B2 (en) Imaging device
KR20070086061A (en) Image processing and image processing program of image processing
JP2012049773A (en) Imaging apparatus and method, and program
JP2015194672A (en) Imaging apparatus
JP2013165485A (en) Image processing apparatus, image capturing apparatus, and computer program
KR20110089665A (en) Digital image process apparatus, method for image processing and storage medium thereof
JP2012222495A (en) Image processor, image processing method, and program
JP2017017585A (en) Imaging apparatus and image processing method
WO2017130522A1 (en) Image processing device, image capturing device, image processing method and program
JP6608194B2 (en) Image processing apparatus, control method therefor, and program
JP2013110754A (en) Camera device, and photographing method and program of the same
JP2010154306A (en) Device, program and method for imaging control
JP5471917B2 (en) Imaging apparatus and image composition program
JP6606838B2 (en) Imaging apparatus and imaging method
JP2015194680A (en) Imaging apparatus
JP2010193324A (en) Camera apparatus, photographing method thereof and program
JP2018148512A (en) Imaging device, control method of imaging device, and program
JP2011176542A (en) Camera, and image composition program
JP6435527B2 (en) Imaging device
JP5663989B2 (en) Imaging apparatus and image composition program
JP2014137704A (en) Imaging device
JP2011071712A (en) Stereoscopically imaging device and method
JP6089232B2 (en) Imaging device
JP2020120194A (en) Imaging apparatus, imaging method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R150 Certificate of patent or registration of utility model

Ref document number: 5471917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees