JP2010016695A - Electronic camera and image processing program - Google Patents

Electronic camera and image processing program Download PDF

Info

Publication number
JP2010016695A
JP2010016695A JP2008175876A JP2008175876A JP2010016695A JP 2010016695 A JP2010016695 A JP 2010016695A JP 2008175876 A JP2008175876 A JP 2008175876A JP 2008175876 A JP2008175876 A JP 2008175876A JP 2010016695 A JP2010016695 A JP 2010016695A
Authority
JP
Japan
Prior art keywords
image
divided
unit
images
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008175876A
Other languages
Japanese (ja)
Inventor
Shuichi Isogawa
秀一 五十川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008175876A priority Critical patent/JP2010016695A/en
Publication of JP2010016695A publication Critical patent/JP2010016695A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that, in the conventional camera, when an unexpected intrusion object blocks the way between an electronic camera and a subject, the intrusion object is erroneously photographed. <P>SOLUTION: An electronic camera 101 includes: a photographing unit for consecutively photographing a plurality of images at approximately the same angle of view; a storage unit 111 for temporarily storing the plurality of images consecutively photographed by the photographing unit; a determination unit for detecting a mobile region on the basis of a difference between temporally adjacent images among the plurality of images stored in the storage unit and determining whether a photographed image is a mobile image or a still image for each divided region divided into predetermined regions; a selection unit for selecting one still image for each divided region in a case where a plurality of still images determined by the determination unit are present in the same divided region; and a combination unit 129 for combining the divided regions corresponding to the still image selected by the selection unit with each other to composite one photographic image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、電子カメラおよび画像処理プログラムに関する。   The present invention relates to an electronic camera and an image processing program.

従来、電子カメラでレリーズボタンの押下時に、意図しない侵入物(動体)が電子カメラと被写体との間を遮ることがあった。一方、パノラマ写真を撮影するために撮影位置を移動しながら撮影した複数の画像を合成してパノラマ写真を得る技術などが検討されている(例えば、特許文献1参照)。
特開2007−305050号公報
Conventionally, when an electronic camera is pressed with a release button, an unintended intruder (moving object) may block the electronic camera and the subject. On the other hand, a technique for obtaining a panoramic photograph by combining a plurality of images taken while moving the photographing position in order to take a panoramic photograph has been studied (for example, see Patent Document 1).
JP 2007-305050 A

上記従来技術では、侵入物が撮影画角内から出るのを待って撮影しなければならないという問題があった。また、パノラマ写真においても撮影位置が異なるため侵入物を除去することは難しかった。   The prior art has a problem that it is necessary to wait for an intruder to come out of the shooting angle of view. In addition, it is difficult to remove intruders in panoramic photographs because the photographing positions are different.

本発明の目的は、意図しない侵入物が電子カメラと被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる電子カメラを提供することである。   An object of the present invention is to provide an electronic camera that can obtain a captured image from which an intruder has been removed even when an unintended intruder obstructs the space between the electronic camera and a subject.

本発明に係る電子カメラは、略同一画角で複数枚の画像を連写する撮影部と、前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、前記記憶部に記憶された複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定部と、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に1枚の静止画像を選択する選択部と、前記選択部が選択した静止画像に対応する分割領域を組み合わせて1枚の撮影画像を合成する合成部とを備えることを特徴とする。   An electronic camera according to the present invention includes an imaging unit that continuously captures a plurality of images at substantially the same angle of view, a storage unit that temporarily stores a plurality of images continuously captured by the imaging unit, and a storage unit Whether a moving object area is detected based on a difference between images that are temporally mixed among a plurality of stored images, and a captured image is divided into predetermined divided areas. A selection unit that selects one still image for each divided region when the plurality of still images determined by the determination unit exist in the same divided region, and the selection unit selects And a synthesizing unit that synthesizes a single photographed image by combining divided areas corresponding to the still image.

また、より好ましくは、前記判定部は、前記差分が所定値以上の動体領域の移動速度を求め、前記移動速度が予め設定された閾値以上のものを動体領域として検出することを特徴とする。   More preferably, the determination unit obtains a moving speed of the moving object region having the difference equal to or greater than a predetermined value, and detects a moving object region having the moving speed equal to or higher than a preset threshold value.

また、より好ましくは、前記選択部は、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択することを特徴とする。   More preferably, the selection unit evaluates a focus state of the plurality of still images when the plurality of still images determined by the determination unit exist in the same divided region, and determines the most focused state. It is characterized by selecting a good still image.

また、より好ましくは、前記合成部は、全ての分割領域について少なくとも1枚の静止画像が選択されるまで、前記撮影部から前記選択部までの一連の動作を繰り返すことを特徴とする。   More preferably, the composition unit repeats a series of operations from the photographing unit to the selection unit until at least one still image is selected for all the divided regions.

また、より好ましくは、前記所定の分割領域の大きさは、動体領域の大きさと動体領域の速度の少なくとも一方に応じて可変することを特徴とする。   More preferably, the size of the predetermined divided region varies according to at least one of the size of the moving object region and the speed of the moving object region.

また、本発明に係る画像処理プログラムは、略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、前記複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定手順と、前記判定手順で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に1枚の静止画像を選択する選択手順と、前記選択手順で選択された静止画像に対応する分割領域を組み合わせて1枚の撮影画像を合成する合成手順とを備えることを特徴とする。   An image processing program according to the present invention is an image processing program for a computer that performs image processing by reading image data from a storage medium storing a plurality of images continuously shot at substantially the same angle of view. A moving object region is detected based on a difference between images that are temporally mixed among a plurality of images, and it is determined whether the image is a moving object image or a still image for each divided region obtained by dividing the captured image into predetermined divided regions. A determination procedure; a selection procedure for selecting one still image for each divided area when there are a plurality of still images determined in the determination procedure; and the still image selected in the selection procedure. And a combining procedure for combining a single captured image by combining divided regions corresponding to images.

本発明によれば、意図しない侵入物が電子カメラと被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。   According to the present invention, it is possible to obtain a captured image from which an intruder is removed even when an unintended intruder blocks the electronic camera and the subject.

以下、本発明に係る電子カメラに関する実施形態について図面を用いて詳しく説明する。   Hereinafter, embodiments of an electronic camera according to the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
図1は、第1の実施形態に係る電子カメラ101の構成を示すブロック図である。電子カメラ101は、レンズ光学系102と、メカニカルシャッタ103と、撮像素子104と、AFE(アナログフロントエンド)105と、A/D変換部106と、画像バッファ107と、画像処理部108と、制御部109と、表示部110と、記憶部111と、操作部112とで構成される。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an electronic camera 101 according to the first embodiment. The electronic camera 101 includes a lens optical system 102, a mechanical shutter 103, an image sensor 104, an AFE (analog front end) 105, an A / D converter 106, an image buffer 107, an image processor 108, and a control. The unit 109, the display unit 110, the storage unit 111, and the operation unit 112 are configured.

尚、本実施形態に係る電子カメラ101は、レリーズボタンの押下毎に1枚の画像を撮影する通常撮影モードや、1回のレリーズボタンの押下で時間的に連続した複数枚の画像を撮影する連写撮影モードを有する。さらに、本実施形態に係る電子カメラ101は、撮影画像から動体領域を除去する静止体撮影モードを有する。   Note that the electronic camera 101 according to the present embodiment captures a plurality of images that are continuous in time by a normal shooting mode in which one image is captured each time the release button is pressed, or one release button is pressed. Has a continuous shooting mode. Furthermore, the electronic camera 101 according to the present embodiment has a stationary body photographing mode for removing a moving body region from a photographed image.

図1において、レンズ光学系102に入射された被写体光は、メカニカルシャッタ103を介して撮像素子104の受光面に入射される。ここで、レンズ光学系102は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り102aを含む。   In FIG. 1, the subject light incident on the lens optical system 102 is incident on the light receiving surface of the image sensor 104 via the mechanical shutter 103. Here, the lens optical system 102 includes a plurality of lenses such as a zoom lens and a focus lens, and includes a diaphragm 102a.

撮像素子104の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射された光量に応じた電気信号に変換し、AFE105に出力する。   A photoelectric conversion unit is two-dimensionally arranged on the light receiving surface of the image sensor 104, and is converted into an electric signal corresponding to the amount of light incident on each photoelectric conversion unit and output to the AFE 105.

AFE105は、撮像素子104から出力される電気信号のノイズ除去や増幅などを行って、A/D変換部106に出力する。   The AFE 105 performs noise removal and amplification of the electrical signal output from the image sensor 104 and outputs the result to the A / D converter 106.

A/D変換部106は、AFE105から出力される電気信号をデジタルの画像データに変換し、画像バッファ107に変換された画像データを記憶する。尚、画像バッファ107は、連写撮影された複数の画像データも記憶する。   The A / D conversion unit 106 converts the electric signal output from the AFE 105 into digital image data, and stores the converted image data in the image buffer 107. Note that the image buffer 107 also stores a plurality of pieces of image data taken continuously.

画像処理部108は、制御部109の指令に応じて、画像バッファ107に一時的に記憶された画像データのホワイトバランス処理や色補間処理などを行う。   The image processing unit 108 performs white balance processing, color interpolation processing, and the like on the image data temporarily stored in the image buffer 107 in response to a command from the control unit 109.

通常撮影モードや連写撮影モードにおいて、レリーズボタンが押下された時に画像バッファ107に取り込まれた画像データは、画像処理部108で画像処理後、記憶部111に保存される。尚、記憶部111は、電子カメラ101に内蔵の不揮発性メモリであっても構わないし、電子カメラ101に着脱可能なメモリカードであっても構わない。   In the normal shooting mode and the continuous shooting mode, the image data captured in the image buffer 107 when the release button is pressed is stored in the storage unit 111 after image processing by the image processing unit 108. The storage unit 111 may be a non-volatile memory built in the electronic camera 101 or a memory card that can be attached to and detached from the electronic camera 101.

記憶部111に保存された画像データや画像バッファ107に一時的に記憶されている画像データは、制御部109の指令に応じて、表示部110に表示される。   The image data stored in the storage unit 111 and the image data temporarily stored in the image buffer 107 are displayed on the display unit 110 in response to a command from the control unit 109.

次に、制御部109の動作について説明する。制御部109は、内部に予め記憶されているプログラムに従って動作し、電子カメラ101の各部を制御する。制御部109は、レンズ制御部121と、絞り制御部122と、シャッタ制御部123と、AF(自動焦点)制御部124と、AE(自動露光)制御部125と、手振れ検出部126と、動体判定部127と、静止画選択部128と、画像合成部129とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部121,絞り制御部122,シャッタ制御部123,AF制御部124,AE制御部125,手振れ検出部126,動体判定部127,静止画選択部128,画像合成部129は、制御部109に含めて描いてあるが、制御部109とは別にハードウェアなどの回路で構成しても構わない。或いは、動体判定部127,静止画選択部128,画像合成部129は、画像処理部108に含めても構わない。   Next, the operation of the control unit 109 will be described. The control unit 109 operates according to a program stored in advance inside and controls each unit of the electronic camera 101. The control unit 109 includes a lens control unit 121, an aperture control unit 122, a shutter control unit 123, an AF (automatic focus) control unit 124, an AE (automatic exposure) control unit 125, a camera shake detection unit 126, and a moving object. The determination unit 127 includes a still image selection unit 128 and an image composition unit 129. In the present embodiment, the lens control unit 121, the aperture control unit 122, the shutter control unit 123, the AF control unit 124, the AE control unit 125, the camera shake detection unit 126, the moving object determination unit 127, and the still image are illustrated for easy understanding. Although the selection unit 128 and the image synthesis unit 129 are included in the control unit 109, they may be configured by a circuit such as hardware separately from the control unit 109. Alternatively, the moving object determination unit 127, the still image selection unit 128, and the image composition unit 129 may be included in the image processing unit 108.

撮影者は、撮影時に操作部112の操作ボタン(電源ボタン、レリーズボタン、ズームボタン、撮影モード選択ボタン、カーソルボタンなど)を操作して、電子カメラ101を操作する。操作部112の操作情報は制御部109に入力され、制御部109はその操作情報に応じて電子カメラ101の各部の動作を制御する。   The photographer operates the electronic camera 101 by operating the operation buttons (power button, release button, zoom button, shooting mode selection button, cursor button, etc.) of the operation unit 112 during shooting. The operation information of the operation unit 112 is input to the control unit 109, and the control unit 109 controls the operation of each unit of the electronic camera 101 according to the operation information.

例えば、制御部109は、操作部112のズームボタンの操作に応じて、レンズ制御部121を介してレンズ光学系102のズームレンズの位置を移動させる。同様に、制御部109は、絞り制御部122を介してレンズ光学系102の絞り102aの絞り値を調節する。また、制御部109は、シャッタ制御部123を介して、シャッタ速度に応じてメカシャッタ103を開閉する。   For example, the control unit 109 moves the position of the zoom lens of the lens optical system 102 via the lens control unit 121 according to the operation of the zoom button of the operation unit 112. Similarly, the control unit 109 adjusts the aperture value of the aperture 102 a of the lens optical system 102 via the aperture control unit 122. The control unit 109 opens and closes the mechanical shutter 103 according to the shutter speed via the shutter control unit 123.

AF制御部124は、画像バッファ107に取り込まれた画像の所定位置(AF測定位置)において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部109は、AF制御部124が求めた焦点位置に合うように、レンズ制御部121を介してレンズ光学系102のフォーカスレンズの位置を調節する。   The AF control unit 124 calculates a defocus amount by a focus detection method such as a hill-climbing method at a predetermined position (AF measurement position) of the image captured in the image buffer 107 to obtain a focus position. The control unit 109 adjusts the position of the focus lens of the lens optical system 102 via the lens control unit 121 so that it matches the focal position obtained by the AF control unit 124.

AE制御部125は、画像バッファ107に取り込まれた画像の所定位置(AE測光位置)において測光を行う。制御部109は、AE制御部125が求めた測光値に応じて、適正露光になるように、絞り102aの絞り値やメカニカルシャッタ103のシャッタ速度などを決定し、絞り制御部122やシャッタ制御部123に指令する。尚、本実施形態に係る電子カメラ101では、メカニカルシャッタ103を用いているが、メカニカルシャッタ103を開放状態にして、撮像素子104の露光時間によってシャッタ速度を制御する電子シャッタを用いても構わない。   The AE control unit 125 performs photometry at a predetermined position (AE photometry position) of the image taken into the image buffer 107. The control unit 109 determines the aperture value of the aperture 102a, the shutter speed of the mechanical shutter 103, and the like so as to achieve appropriate exposure according to the photometric value obtained by the AE control unit 125, and the aperture control unit 122 and the shutter control unit. 123. In the electronic camera 101 according to the present embodiment, the mechanical shutter 103 is used. However, an electronic shutter that controls the shutter speed according to the exposure time of the image sensor 104 by opening the mechanical shutter 103 may be used. .

ここで、本実施形態では、電子カメラ101が静止体撮影モードに設定されている場合は、連写撮影の最初の画像を撮影する時の絞り102aの絞り値やメカニカルシャッタ103のシャッタ速度、或いはAFE105に設定される撮影感度や、フォーカスレンズの位置などの撮影条件は、同じ条件に固定される。   Here, in the present embodiment, when the electronic camera 101 is set to the still body shooting mode, the aperture value of the aperture 102a or the shutter speed of the mechanical shutter 103 when the first image of continuous shooting is captured, or The shooting conditions such as the shooting sensitivity set in the AFE 105 and the position of the focus lens are fixed to the same conditions.

手振れ検出部126は、電子カメラ101の筐体の動きを検出する加速度センサを有し、レリーズボタン押下時の手振れの有無や手振れの度合いを検出する。   The camera shake detection unit 126 includes an acceleration sensor that detects the movement of the casing of the electronic camera 101, and detects the presence or absence of camera shake and the degree of camera shake when the release button is pressed.

動体判定部127は、先ず、電子カメラ101が静止体撮影モードに設定されている場合に、時間的に前後して撮影される2枚の画像間の差分を求める。例えば、図2に示したように、連写撮影される画像201と画像202の差分を求める。引き続き、画像202と画像203の差分を求める。ここで、差分は、2枚の画像の同じ位置の画素データ間の輝度差の絶対値を差分値とし、全画素について計算する。そして、差分値が予め設定された閾値以上の画素を判別し、これらの画素を多く含む一塊の領域を動体領域として検出する。ここで、動体領域を構成する画素数に応じて動体領域のサイズも検出する。また、時間的に連続する2枚の画像間の動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度も検出する。尚、動体領域の検出方法については、動きベクトルを利用した動画撮影カメラなどで様々な方法が知られており、何れの検出方法を用いても構わない。   First, the moving body determination unit 127 obtains a difference between two images that are captured before and after the time when the electronic camera 101 is set to the still body photographing mode. For example, as shown in FIG. 2, the difference between the images 201 and 202 that are continuously shot is obtained. Subsequently, the difference between the image 202 and the image 203 is obtained. Here, the difference is calculated for all the pixels with the absolute value of the luminance difference between the pixel data at the same position in the two images as a difference value. Then, a pixel having a difference value equal to or larger than a preset threshold value is discriminated, and a lump area including many of these pixels is detected as a moving object area. Here, the size of the moving object region is also detected in accordance with the number of pixels constituting the moving object region. Further, the moving speed of the moving object region is also detected based on the moving distance of the feature point of the moving object region between two images that are temporally continuous and the photographing interval. Note that various methods for detecting a moving object region are known in a moving image capturing camera using a motion vector, and any detection method may be used.

さらに、動体判定部127は、撮影画像を所定の分割領域に分割して、分割領域毎に動体画像であるか静止画像であるかを判定する。例えば、図3に示したように、電子カメラ101で風景301の撮影画角302の部分を撮影する場合、撮影画角302で撮影される画像Pを複数の分割領域に分割する。図3の例では、横方向に4分割、縦方向に3分割された合計12個の分割領域に分けられる。尚、図3において、P(1,1)からP(3,4)は分割領域番号を示している。そして、分割領域毎に動体画像であるか静止画像であるかを判定する。例えば、図4(a)の画像P1の場合は、分割領域P1(2,1)と分割領域P1(2,2)と分割領域P1(3,1)と分割領域P1(3,2)とには、動体303が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域P1(1,1)と分割領域P1(1,2)と分割領域P1(1,3)と分割領域P1(1,4)と、分割領域P1(2,3)と分割領域P1(2,4)と、分割領域P1(3,3)と分割領域P1(3,4)とには、動体303が含まれていないので、これらの分割領域は静止画像と判定する。   Furthermore, the moving object determination unit 127 divides the captured image into predetermined divided areas, and determines whether each of the divided areas is a moving object image or a still image. For example, as illustrated in FIG. 3, when the electronic camera 101 captures a portion of the landscape 301 with the shooting angle of view 302, the image P shot with the shooting angle of view 302 is divided into a plurality of divided regions. In the example of FIG. 3, the area is divided into a total of 12 divided areas divided into 4 in the horizontal direction and 3 in the vertical direction. In FIG. 3, P (1, 1) to P (3, 4) indicate division area numbers. Then, it is determined for each divided region whether the image is a moving image or a still image. For example, in the case of the image P1 in FIG. 4A, the divided area P1 (2,1), the divided area P1 (2,2), the divided area P1 (3,1), and the divided area P1 (3,2) Since the moving object 303 is included, these divided areas are determined as moving object images. Conversely, the divided area P1 (1, 1), the divided area P1 (1, 2), the divided area P1 (1, 3), the divided area P1 (1, 4), the divided area P1 (2, 3) and the divided area Since the moving object 303 is not included in the area P1 (2, 4), the divided area P1 (3, 3), and the divided area P1 (3, 4), these divided areas are determined as still images.

次に撮影された図4(b)の画像P2の場合は、分割領域P2(2,2)と分割領域P2(2,3)と分割領域P2(3,2)と分割領域P2(3,3)とには、動体303が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域P2(1,1)と分割領域P2(1,2)と分割領域P2(1,3)と分割領域P2(1,4)と、分割領域P2(2,1)と分割領域P2(2,4)と、分割領域P2(3,1)と分割領域P2(3,4)とには、動体303が含まれていないので、これらの分割領域は静止画像と判定する。   Next, in the case of the image P2 shown in FIG. 4B, the divided area P2 (2,2), the divided area P2 (2,3), the divided area P2 (3,2), and the divided area P2 (3,3). Since 3) includes the moving object 303, it is determined that these divided areas are moving object images. Conversely, the divided area P2 (1, 1), the divided area P2 (1, 2), the divided area P2 (1, 3), the divided area P2 (1, 4), the divided area P2 (2, 1) and the divided area Since the moving body 303 is not included in the area P2 (2, 4), the divided area P2 (3, 1), and the divided area P2 (3, 4), it is determined that these divided areas are still images.

同様に、次に撮影された図4(c)の画像P3の場合は、分割領域P3(2,3)と分割領域P3(2,4)と分割領域P3(3,3)と分割領域P3(3,4)とには、動体303が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域P3(1,1)と分割領域P3(1,2)と分割領域P3(1,3)と分割領域P3(1,4)と、分割領域P3(2,1)と分割領域P3(2,2)と、分割領域P3(3,1)と分割領域P3(3,2)とには、動体303が含まれていないので、これらの分割領域は静止画像と判定する。   Similarly, in the case of the image P3 shown in FIG. 4C, which is taken next, the divided area P3 (2, 3), the divided area P3 (2, 4), the divided area P3 (3, 3), and the divided area P3. Since (3, 4) includes the moving object 303, these divided areas are determined as moving object images. On the contrary, the divided area P3 (1, 1), the divided area P3 (1, 2), the divided area P3 (1, 3), the divided area P3 (1, 4), the divided area P3 (2, 1) and the divided area Since the moving body 303 is not included in the area P3 (2, 2), the divided area P3 (3, 1), and the divided area P3 (3, 2), it is determined that these divided areas are still images.

静止画選択部128は、動体判定部127が静止画像と判定した分割領域に複数枚の静止画像が存在する場合に、分割領域毎に最適な1枚の静止画像を選択する。例えば、先に説明した図4の例の場合、画像P1と画像P2と画像P3のそれぞれにおいて動体判定部127が静止画像と判定した分割領域が重複して存在している。つまり、同じ分割領域に複数の静止画像が存在する。そこで、静止画選択部128は、各分割領域毎に最適な1枚の静止画像を選択する。   The still image selection unit 128 selects an optimal still image for each divided region when there are a plurality of still images in the divided region determined by the moving object determination unit 127 as a still image. For example, in the case of the example of FIG. 4 described above, the divided areas that the moving object determination unit 127 determines to be still images exist in each of the image P1, the image P2, and the image P3. That is, a plurality of still images exist in the same divided area. Therefore, the still image selection unit 128 selects one optimal still image for each divided region.

次に、静止画像の選択の方法について説明する。例えば、図4において、画像P1の分割領域P1(1,1)と、画像P2の分割領域P2(1,1)と、画像P3の分割領域P3(1,1)とを所定の評価方法で評価して、最も評価の高い画像を選択する。所定の評価方法は、例えば、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部126の手振れ度合いなどで評価する。何れの方法を用いた場合でも、最もフォーカス状態が良い(フォーカスが一番合っていると思われる)画像を選択することができる。   Next, a method for selecting a still image will be described. For example, in FIG. 4, the divided area P1 (1, 1) of the image P1, the divided area P2 (1, 1) of the image P2, and the divided area P3 (1, 1) of the image P3 are determined by a predetermined evaluation method. Evaluate and select the highest rated image. As the predetermined evaluation method, for example, evaluation is performed based on contrast, the amount of data when image compression processing is performed, or the degree of camera shake of the camera shake detection unit 126 for each captured image. Regardless of which method is used, it is possible to select an image with the best focus state (which seems to be the best in focus).

ここで、コントラストによる評価方法は、例えば、画素間の差分値を積算した値が最も大きい画像を最もフォーカス状態が良い画像であると判断する。また、画像圧縮処理した時のデータ量による評価方法は、JPEG規格などによる同じ画像圧縮方法で画像データを圧縮した時のデータ量が最も大きいものが最もフォーカス状態が良い画像であると判断する。或いは、手振れ度合いによる評価方法は、手振れ検出部126で検出した手振れ度合いが最も小さいもの(手振れが少ないもの)が最もフォーカス状態が良い画像であると判断する。このようにして、静止画選択部128は、分割領域毎に最適な1枚の静止画像を選択する。   Here, in the evaluation method based on contrast, for example, an image having the largest value obtained by integrating difference values between pixels is determined to be an image having the best focus state. As an evaluation method based on the amount of data when image compression processing is performed, it is determined that the image with the largest amount of data when the image data is compressed by the same image compression method such as the JPEG standard is the image with the best focus state. Alternatively, in the evaluation method based on the degree of camera shake, the image with the smallest degree of camera shake (the image with the least camera shake) detected by the camera shake detection unit 126 is determined to be the image with the best focus state. In this way, the still image selection unit 128 selects one optimal still image for each divided region.

例えば、静止画選択部128は、図4において、画像P1では、分割領域P1(1,1),分割領域P1(1,2),分割領域P1(1,3),分割領域P1(1,4),分割領域P1(2,3),分割領域P1(2,4),分割領域P1(3,3),分割領域P1(3,4)の8つの分割領域の静止画像を選択する。また、画像P2では、分割領域P2(2,1),分割領域P2(3,1)の2つの分割領域の静止画像を選択する。さらに、画像P3では、分割領域P3(2,4),分割領域P3(3,4)の2つの分割領域の静止画像を選択する。このようにして、撮影画像を構成する12個の分割領域全てに対応する静止画像が確定する。この様子を図5(a)に示す。   For example, in FIG. 4, the still image selection unit 128 divides the divided area P1 (1,1), divided area P1 (1,2), divided area P1 (1,3), divided area P1 (1, 4) Still images of eight divided areas of the divided area P1 (2, 3), divided area P1 (2, 4), divided area P1 (3, 3), and divided area P1 (3,4) are selected. In the image P2, a still image of two divided areas of the divided area P2 (2, 1) and the divided area P2 (3, 1) is selected. Further, in the image P3, still images of two divided areas of the divided area P3 (2, 4) and the divided area P3 (3,4) are selected. In this way, still images corresponding to all 12 divided areas constituting the captured image are determined. This situation is shown in FIG.

画像合成部129は、静止画選択部128が選択したそれぞれの分割領域に対応する静止画像をパッチワーク状に組み合わせて合成し、図5(b)に示すような1枚の撮影画像Paを作成する。作成された撮影画像Paは、表示部110に表示されると共に、記憶部111に保存される。このようにして、動体303を除去した静止画像を得ることができる。   The image compositing unit 129 combines the still images corresponding to the respective divided areas selected by the still image selecting unit 128 in a patchwork shape, and creates one photographed image Pa as shown in FIG. 5B. To do. The created captured image Pa is displayed on the display unit 110 and stored in the storage unit 111. In this way, a still image from which the moving body 303 is removed can be obtained.

次に、本実施形態に係る電子カメラ101の撮影時の動作について、図6のフローチャートを用いて詳しく説明する。尚、図6のフローチャートは、制御部109の内部に予め組み込まれたプログラムに従って動作する。また、図6のフローチャートの動作の主体は制御部109であるが、必要に応じて、画像処理部108に指令して画像圧縮処理などの画像処理を行う。以下、電子カメラ101の動作について順に説明する。尚、電子カメラ101は、静止体撮影モードに設定されているものとする。   Next, the operation at the time of shooting of the electronic camera 101 according to the present embodiment will be described in detail with reference to the flowchart of FIG. Note that the flowchart of FIG. 6 operates according to a program incorporated in the control unit 109 in advance. 6 is the control unit 109, but instructs the image processing unit 108 to perform image processing such as image compression processing as necessary. Hereinafter, the operation of the electronic camera 101 will be described in order. It is assumed that the electronic camera 101 is set to the still body shooting mode.

(ステップS101)撮影者は、電子カメラ101の操作部112に含まれる電源ボタンを押して電源をONする。この状態で、電子カメラ101は、先に説明したように、レンズ光学系102を介して撮像素子104で撮影するプレビュー画像を表示部110に表示する。撮影者は、このプレビュー画像を見ながら撮影画角や被写体を確認する。尚、プレビュー画像を撮影している時は、メカニカルシャッタ103は常に開放状態になっており、電子シャッタによる撮影が行われる。また、プレビュー画像の撮影中、AF制御部124は、予め設定された所定位置で焦点位置を求め、レンズ制御部121を介してレンズ光学系102のフォーカスレンズの位置を常に調節している。同様に、AE制御部125は、適正露光になるように、露光時間を常に調節している。   (Step S101) The photographer turns on the power by pressing a power button included in the operation unit 112 of the electronic camera 101. In this state, the electronic camera 101 displays a preview image captured by the image sensor 104 via the lens optical system 102 on the display unit 110 as described above. The photographer checks the angle of view and subject while viewing the preview image. Note that when the preview image is taken, the mechanical shutter 103 is always in an open state, and photographing using the electronic shutter is performed. Further, during shooting of the preview image, the AF control unit 124 obtains the focal position at a predetermined position set in advance, and constantly adjusts the position of the focus lens of the lens optical system 102 via the lens control unit 121. Similarly, the AE control unit 125 constantly adjusts the exposure time so as to achieve proper exposure.

(ステップS102)制御部109は、撮影者が電子カメラ101の操作部112に含まれるレリーズボタンを押下したか否かを判別する。レリーズボタンが押下された場合はステップS103に進み、レリーズボタンが押下されていない場合はステップS102の処理を繰り返す。   (Step S <b> 102) The control unit 109 determines whether the photographer has pressed the release button included in the operation unit 112 of the electronic camera 101. If the release button has been pressed, the process proceeds to step S103. If the release button has not been pressed, the process of step S102 is repeated.

(ステップS103)制御部109は、シャッタ制御部123に指令して、予め設定された所定枚数の連写撮影を行う。尚、連写撮影は、メカニカルシャッタ103を開閉して撮影しても構わないし、プレビュー画像のように撮像素子104の露光時間を調節する電子シャッタで撮影しても構わない。但し、連写撮影している間は、AF制御部124やAE制御部125は動作を一時的に停止し、固定の露出条件、フォーカス位置でほぼ同じ撮影画角(略同一の撮影画角)で撮影される。   (Step S103) The control unit 109 instructs the shutter control unit 123 to perform a predetermined number of continuous shots. Note that continuous shooting may be performed by opening and closing the mechanical shutter 103, or may be performed using an electronic shutter that adjusts the exposure time of the image sensor 104, such as a preview image. However, during continuous shooting, the AF control unit 124 and the AE control unit 125 temporarily stop operation, and have substantially the same shooting angle of view (substantially the same shooting angle of view) under fixed exposure conditions and focus positions. Taken at.

(ステップS104)制御部109は、連写撮影された複数枚の撮影画像を画像バッファ107に一時的に記憶する。   (Step S <b> 104) The control unit 109 temporarily stores a plurality of captured images that have been continuously shot in the image buffer 107.

(ステップS105)制御部109の動体判定部127は、図2で説明したように、時間的に前後して撮影される2枚の画像間の差分を算出する。   (Step S105) The moving body determination unit 127 of the control unit 109 calculates a difference between two images taken before and after as described with reference to FIG.

(ステップS106)制御部109の動体判定部127は、先に説明したように、動体領域を構成する画素数に応じて動体領域のサイズも検出する。また、時間的に連続する2枚の画像における動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度も検出する。   (Step S106) As described above, the moving object determination unit 127 of the control unit 109 also detects the size of the moving object region according to the number of pixels constituting the moving object region. Further, the moving speed of the moving object region is also detected based on the moving distance and the shooting interval of the feature points of the moving object region in two temporally continuous images.

(ステップS107)制御部109の動体判定部127は、動体領域のサイズや動体領域の移動速度に応じて、撮影画像を分割する分割領域のサイズ(または数)を決定し設定する。   (Step S107) The moving object determination unit 127 of the control unit 109 determines and sets the size (or number) of divided areas into which the captured image is divided according to the size of the moving object area and the moving speed of the moving object area.

ここで、動体領域のサイズおよび移動速度と、分割領域のサイズとの関係について説明する。図7は、動体領域351が大きい場合の例を示している。図7(a)に示した12個の分割領域に分割された画像P4の場合は、動体領域351が含まれず静止画像と判定可能な分割領域は、分割領域P4(1,4)の1つしかないので、動体領域351が4列目の分割領域P4(2,4)と分割領域P4(3,4)を通り過ぎるまで、全ての分割領域の静止画像を決めることができない。つまり、撮影時間が長くなってしまう。   Here, the relationship between the size and moving speed of the moving object region and the size of the divided region will be described. FIG. 7 shows an example when the moving object region 351 is large. In the case of the image P4 divided into 12 divided areas shown in FIG. 7A, the divided area that does not include the moving object area 351 and can be determined as a still image is one of the divided areas P4 (1, 4). Therefore, still images of all the divided areas cannot be determined until the moving object area 351 passes through the divided area P4 (2, 4) and the divided area P4 (3,4) of the fourth column. That is, the shooting time becomes long.

ところが、図7(b)に示した24個の分割領域に分割された画像P5の場合は、動体領域351が含まれず静止画像と判定可能な分割領域は、分割領域P5(1,1)からP5(1,8)と、分割領域P5(2,1)と、P5(2,6)とからP5(2,8)と、分割領域P5(3,1)と、P5(3,6)とからP5(3,8)と、分割領域P5(4,8)と、分割領域P5(5,8)と、分割領域P5(6,8)と、P5(6,1)と、P5(6,4)の21個がある。しかも、動体領域351が8列目の分割領域P5(4,8)と分割領域P5(5,8)と分割領域P5(6,8)を通り過ぎる前に、全ての分割領域の静止画像を決めることができる。つまり、撮影時間が図7(a)の場合より短くなる。   However, in the case of the image P5 divided into 24 divided regions shown in FIG. 7B, the divided regions that do not include the moving object region 351 and can be determined as still images are from the divided region P5 (1, 1). From P5 (1, 8), divided areas P5 (2, 1), and P5 (2, 6) to P5 (2, 8), divided areas P5 (3, 1), and P5 (3, 6) To P5 (3, 8), divided region P5 (4, 8), divided region P5 (5, 8), divided region P5 (6, 8), P5 (6, 1), and P5 ( There are 21 of 6,4). Moreover, before the moving object region 351 passes through the divided region P5 (4, 8), the divided region P5 (5, 8), and the divided region P5 (6, 8) in the eighth column, still images of all the divided regions are determined. be able to. That is, the shooting time is shorter than in the case of FIG.

このように、動体領域351が大きい場合は、分割領域のサイズを小さく(分割領域の数を多く)するのが望ましい。特に、動体領域351の移動速度が遅い場合に有効で、動体速度が速い場合は直ぐに通り過ぎるため、分割領域のサイズは大きくても撮影時間は殆ど変わらない。従って、動体領域のサイズが大きくなるほど、動体領域の移動速度が遅くなるほど、分割領域のサイズを小さくするのが望ましい。   As described above, when the moving object area 351 is large, it is desirable to reduce the size of the divided areas (increase the number of divided areas). In particular, it is effective when the moving speed of the moving object area 351 is slow, and immediately passes when the moving object speed is high. Therefore, even if the size of the divided area is large, the imaging time hardly changes. Therefore, it is desirable to reduce the size of the divided region as the size of the moving region increases and the moving speed of the moving region decreases.

次に、図7の動体領域351のサイズより小さい動体領域352の場合について図8を用いて説明する。図8(a)に示した12個の分割領域に分割された画像P6の場合は、動体領域352が含まれず静止画像と判定可能な分割領域は、分割領域P6(1,1)からP6(1,4)と、分割領域P6(2,3)からP6(2,4)と、分割領域P6(3,3)からP6(3,4)の8個がある。動体領域352の後部が撮影画角の中央線353より右側に移動すれば、つまり2列目の分割領域P6(2,2)と分割領域P6(3,2)を通り過ぎれば、全ての分割領域の静止画像を決めることができる。   Next, the case of the moving body region 352 smaller than the size of the moving body region 351 in FIG. 7 will be described with reference to FIG. In the case of the image P6 divided into 12 divided regions shown in FIG. 8A, the divided regions that do not include the moving object region 352 and can be determined as still images are divided regions P6 (1,1) to P6 ( 1, 4), divided areas P6 (2,3) to P6 (2,4), and divided areas P6 (3,3) to P6 (3,4). If the rear part of the moving object area 352 moves to the right side from the center line 353 of the shooting angle of view, that is, if it passes through the divided area P6 (2, 2) and the divided area P6 (3, 2) in the second column, all the divided areas A still image of the area can be determined.

一方、図8(b)に示した24個の分割領域に分割された画像P7の場合でも、動体領域352の後部が撮影画角の中央線353より右側に移動すれば、つまり4列目の分割領域P7(4,4)と分割領域P6(5,4)を通り過ぎれば、全ての分割領域の静止画像を決めることができるので、撮影時間は図8(a)の場合と変わらない。ところが、図8(a)の場合より図8(b)の場合の方が分割領域が小さいので、適正な静止画像を選択しなければならない分割領域の数が多くなり、処理量が増加する。また、各分割領域の静止画像の数も多くなるので、画像合成する際の処理量も増加する。   On the other hand, even in the case of the image P7 divided into 24 divided areas shown in FIG. 8B, if the rear part of the moving object area 352 moves to the right side from the center line 353 of the shooting angle of view, that is, the fourth column. Since the still images of all the divided areas can be determined by passing through the divided areas P7 (4, 4) and P6 (5, 4), the photographing time is the same as in the case of FIG. However, since the divided area is smaller in the case of FIG. 8B than in the case of FIG. 8A, the number of divided areas where an appropriate still image has to be selected increases, and the processing amount increases. In addition, since the number of still images in each divided area increases, the amount of processing when combining images increases.

このように、動体領域352が小さい場合は、分割領域のサイズを大きく(分割領域の数を少なく)するのが望ましい。特に、動体領域352の移動速度が速い場合に有効である。従って、動体領域のサイズが小さくなるほど、動体領域の移動速度が速くなるほど、分割領域のサイズを大きくするのが望ましい。   As described above, when the moving object region 352 is small, it is desirable to increase the size of the divided regions (decrease the number of divided regions). This is particularly effective when the moving speed of the moving object region 352 is high. Therefore, it is desirable to increase the size of the divided area as the size of the moving object area decreases and the moving speed of the moving object area increases.

ここで、動体領域のサイズや動体領域の移動速度に応じて、最適な撮影画像を分割する分割領域のサイズを決定する方法をまとめると、図9のようになる。図9は横軸に動体領域の移動速度を示し、縦軸に動体領域のサイズを示してある。尚、分割領域のサイズは、図10(a)の4個の大きいサイズの分割領域PLと、図10(b)の12個の中サイズの分割領域PMと、図10(c)の24個の小さいサイズの分割領域PSとに分けた場合の一例である。   Here, FIG. 9 shows a summary of a method for determining the size of the divided area for dividing the optimum captured image according to the size of the moving object area and the moving speed of the moving object area. In FIG. 9, the horizontal axis indicates the moving speed of the moving object region, and the vertical axis indicates the size of the moving object region. The sizes of the divided areas are four large-sized divided areas PL in FIG. 10A, 12 medium-sized divided areas PM in FIG. 10B, and 24 in FIG. 10C. This is an example in which the area is divided into small divided areas PS.

図9において、図7および図8を用いて説明したように、動体領域の移動速度が遅く、動体領域のサイズが小さい場合は、分割領域のサイズは大きい方が望ましい。また、動体領域の移動速度が速く、動体領域のサイズが大きい場合は、分割領域のサイズは小さい方が望ましい。或いは、動体領域の移動速度が速くて動体領域のサイズが小さい場合や、動体領域の移動速度が遅くて動体領域のサイズが大きい場合は、分割領域のサイズは中サイズが望ましい。   In FIG. 9, as described with reference to FIGS. 7 and 8, when the moving speed of the moving object area is slow and the size of the moving object area is small, it is desirable that the size of the divided area is larger. Further, when the moving speed of the moving object area is high and the size of the moving object area is large, it is desirable that the size of the divided area is small. Alternatively, when the moving area is fast and the moving area is small, or when the moving area is slow and the moving area is large, the size of the divided area is preferably medium.

このようにして、制御部109の動体判定部127は、動体領域のサイズや動体領域の移動速度に応じて、最適な撮影画像を分割する分割領域のサイズ(または数)を決定し設定する。   In this way, the moving object determination unit 127 of the control unit 109 determines and sets the size (or number) of the divided areas into which the optimum captured image is divided according to the size of the moving object area and the moving speed of the moving object area.

さて、図6のフローチャートに戻って説明を続ける。   Now, returning to the flowchart of FIG.

(ステップS108)ステップS107で設定された分割領域のサイズ(または数)に従って、分割領域毎に動体領域が含まれる領域か否かを判定し、動体領域が含まれない分割領域の静止画像を分割領域番号に関連付けて画像バッファ107または記憶部111に一時的に記憶しておく。例えば、図4(a)の画像P1の場合は、図11(a)に示すように、動体303を含む分割領域P1(2,1)とP1(2,2)とP1(3,1)とP1(3,2)の4つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ107または記憶部111に一時的に記憶される。例えば、分割領域P1(1,1)の静止画像の場合は、画像ファイル名(P1−1−1.JPG)として記憶される。   (Step S108) According to the size (or number) of the divided areas set in Step S107, it is determined whether or not each divided area includes a moving object area, and a still image of the divided area that does not include the moving object area is divided. The information is temporarily stored in the image buffer 107 or the storage unit 111 in association with the area number. For example, in the case of the image P1 in FIG. 4A, as shown in FIG. 11A, the divided regions P1 (2,1), P1 (2,2), and P1 (3,1) including the moving body 303 are used. And P1 (3, 2) except for the four divided areas, the still images of the divided areas are temporarily stored in the image buffer 107 or the storage unit 111 in association with the respective divided area numbers. For example, in the case of the still image of the divided area P1 (1, 1), it is stored as an image file name (P1-1-1.JPG).

また、図4(b)の画像P2の場合は、図11(b)に示すように、動体303を含む分割領域P2(2,2)とP2(2,3)とP2(3,2)とP2(3,3)の4つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ107または記憶部111に一時的に記憶される。例えば、分割領域P2(1,1)の静止画像の場合は、画像ファイル名(P2−1−1.JPG)として記憶される。   In the case of the image P2 in FIG. 4B, as shown in FIG. 11B, the divided areas P2 (2, 2), P2 (2, 3), and P2 (3, 2) including the moving body 303 are used. And P2 (3,3) except for the four divided areas, the still images of the divided areas are temporarily stored in the image buffer 107 or the storage unit 111 in association with the respective divided area numbers. For example, in the case of a still image of the divided area P2 (1, 1), it is stored as an image file name (P2-1-1.JPG).

同様に、図4(c)の画像P3の場合は、図11(c)に示すように、動体303を含む分割領域P3(2,3)とP3(2,4)とP3(3,3)とP3(3,4)の4つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ107または記憶部111に一時的に記憶される。例えば、分割領域P3(1,1)の静止画像の場合は、画像ファイル名(P3−1−1.JPG)として記憶される。   Similarly, in the case of the image P3 in FIG. 4C, as shown in FIG. 11C, the divided regions P3 (2, 3), P3 (2, 4), and P3 (3, 3) including the moving body 303 are used. ) And P3 (3, 4) except for the four divided areas, the still images of the divided areas are temporarily stored in the image buffer 107 or the storage unit 111 in association with the respective divided area numbers. For example, in the case of a still image of the divided area P3 (1, 1), it is stored as an image file name (P3-1-1.JPG).

(ステップS109)ステップS105からステップS108までの処理を繰り返して、全ての分割領域に対応する少なくとも1枚の静止画像が得られたか否かを判別する。全ての分割領域に対応する少なくとも1枚の静止画像が得られた場合はステップS110に進み、静止画像が1枚も得られない分割領域が残っている場合はステップS112に進む。   (Step S109) The processes from Step S105 to Step S108 are repeated to determine whether or not at least one still image corresponding to all the divided areas has been obtained. If at least one still image corresponding to all the divided areas is obtained, the process proceeds to step S110, and if there is a remaining divided area where no still image is obtained, the process proceeds to step S112.

(ステップS110)制御部109の静止画選択部128は、全ての分割領域毎に1枚の静止画像を選択する。この時、同じ分割領域に複数の静止画像が存在する場合は、静止画選択部128は、先に説明したように、例えば、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部126の手振れ度合いなどで評価し、最も評価の高い静止画像を選択する。   (Step S110) The still image selection unit 128 of the control unit 109 selects one still image for every divided region. At this time, when there are a plurality of still images in the same divided area, the still image selection unit 128, for example, as described above, for example, a contrast, a data amount when image compression processing is performed, or a camera shake for each captured image. Evaluation is performed based on the degree of camera shake of the detection unit 126, and the still image with the highest evaluation is selected.

(ステップS111)制御部109の画像合成部129は、静止画選択部128が選択したそれぞれの分割領域に対応する1枚の静止画像をパッチワーク状に組み合わせて合成し、図5(b)に示すような1枚の撮影画像Paを作成する。作成された撮影画像Paは、表示部110に表示されると共に、記憶部111に保存される。   (Step S111) The image composition unit 129 of the control unit 109 synthesizes one still image corresponding to each divided area selected by the still image selection unit 128 in a patchwork shape, and the result is shown in FIG. One photographed image Pa as shown is created. The created captured image Pa is displayed on the display unit 110 and stored in the storage unit 111.

(ステップS112)ステップS109で静止画像が1枚も得られない分割領域が残っている場合は、ステップS103で撮影された所定枚数の連写画像の全てについてステップS105からステップS108の処理を行ったか否かを判別する。全ての連写画像を読み出して判別処理を行った場合はステップS113に進み、全ての連写画像を読み出して判別処理を行っていない場合はステップS105に戻って同様の処理を行う。   (Step S112) If there is still a divided area where no still image can be obtained in Step S109, the processing from Step S105 to Step S108 has been performed for all of the predetermined number of continuous shot images photographed in Step S103. Determine whether or not. If all the continuous shot images have been read and the discrimination process has been performed, the process proceeds to step S113. If all the continuous shot images have not been read and the discrimination process has not been performed, the process returns to step S105 to perform the same process.

(ステップS113)静止画像が1枚も得られない分割領域が残っているので、未完成であることを示すエラー表示を表示部110に表示する。尚、エラー表示を行った後で、ステップS114の終了処理に進まずに、ステップS111に進んで、画像合成処理を行うようにしても構わない。この場合は、静止画像が1枚も得られない分割領域を空白のままで合成しても構わないし、動体領域が写っている画像を用いても構わない。   (Step S113) Since there are still divided areas where no still image can be obtained, an error display indicating incomplete is displayed on the display unit 110. Note that after the error display is performed, the process may proceed to step S111 without performing the end process of step S114, and the image composition process may be performed. In this case, the divided areas where no still image can be obtained may be combined without being blank, or an image showing a moving object area may be used.

(ステップS114)静止体撮影モードにおける撮影処理を終了する。   (Step S114) The photographing process in the stationary body photographing mode is ended.

尚、本実施形態では、説明を分かり易くするために、撮影画像の中に1つの動体しか存在しない場合について説明したが、複数の動体が存在しても構わない。この場合は、ステップS106において、複数の動体領域の検出を行い、それぞれの動体領域のサイズや移動速度を求める。尚、大小サイズの異なる複数の動体領域が存在する場合に、ステップS107で分割領域のサイズを決定する時は、処理量と撮影時間とのどちらを優先するかによって決めるようにしても構わない。例えば、処理能力が十分にある場合は、撮影時間を優先して分割サイズが小さい方に合わせる。或いは、処理能力がない場合は、撮影時間を犠牲にして分割サイズが大きい方に合わせる。   In the present embodiment, the case where only one moving object is present in the captured image has been described in order to make the description easy to understand. However, a plurality of moving objects may exist. In this case, in step S106, a plurality of moving object areas are detected, and the size and moving speed of each moving object area are obtained. When there are a plurality of moving object regions having different sizes, when determining the size of the divided region in step S107, it may be determined depending on which of the processing amount and the imaging time is prioritized. For example, when the processing capability is sufficient, the shooting time is prioritized and the division size is adjusted to the smaller one. Alternatively, if there is no processing capacity, the division size is adjusted to the larger one at the expense of shooting time.

また、上記の実施形態において、制御部109の動体判定部127は、少しでも動いているものを動体領域として検出するようにしたので、例えば、図12の画像Paの分割領域Pa(1,1)の樹木361が風で揺らいでいるような場合でも動体領域として検出する場合がある。そこで、時間的に連続した画像間の差分値が閾値以上の領域を予備動体領域として検出し、さらに、予備動体領域の移動速度が所定値以上のものを動体領域として検出するようにしても構わない。例えば、図12の画像Paの分割領域Pa(1,1)の樹木361が風で揺らいでいる場合は、動体303の移動速度よりも遅いので、移動速度の所定値を樹木361の揺れの速度と動体303の移動速度との間に設定しておけば、画像Paの分割領域Pa(1,1)は静止画像と判断することができる。ここで、移動速度とは、撮像素子104の結像面上での単位時間当たりの移動距離である。従って、連写間隔が一定の場合は、移動速度と撮像素子104の結像面上での移動距離との関係は同じになるので、撮像素子104の結像面上での移動距離が所定値以上の領域を動体領域と判定するようにしても構わない。   In the above embodiment, the moving object determination unit 127 of the control unit 109 detects a moving object as a moving object region. For example, the divided region Pa (1, 1) of the image Pa in FIG. ) May be detected as a moving object region even when the tree 361 is swaying in the wind. Therefore, an area where a difference value between temporally continuous images is greater than or equal to a threshold value may be detected as a preliminary moving object area, and a movement area of the preliminary moving object area may be detected as a moving object area. Absent. For example, when the tree 361 in the divided area Pa (1, 1) of the image Pa in FIG. And the moving speed of the moving body 303, it can be determined that the divided area Pa (1, 1) of the image Pa is a still image. Here, the moving speed is a moving distance per unit time on the imaging surface of the image sensor 104. Therefore, when the continuous shooting interval is constant, the relationship between the moving speed and the moving distance of the image sensor 104 on the imaging surface is the same, so the moving distance of the image sensor 104 on the image forming surface is a predetermined value. You may make it determine the above area | region as a moving body area | region.

このように、本実施形態に係る電子カメラ101は、意図しない侵入物が電子カメラ101と被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。例えば、混雑する観光名所で記念写真を撮影する場合など、電子カメラ101と被写体との間を往来する人や鳥などの侵入物があった場合でも、往来する人を動体と認識して、動体領域を除去することができるので、侵入物のないきれいな撮影画像を得ることができる。   As described above, the electronic camera 101 according to the present embodiment can obtain a captured image from which the intruder is removed even when an unintended intruder blocks the electronic camera 101 and the subject. For example, even when there is an intruder such as a person or a bird who travels between the electronic camera 101 and the subject, such as when taking a commemorative photo at a crowded tourist attraction, the person who travels is recognized as a moving object. Since the area can be removed, a beautiful photographed image free from intruders can be obtained.

尚、図6のフローチャートにおいて、ステップS101からステップS104の連写撮影の処理を除く、ステップS105以降の処理は、パソコンなどのコンピュータで実行する画像処理プログラムとして実行するようにしても構わない。この場合は、連写撮影した所定枚数の画像を記憶部111に相当するメモリカードに保存しておき、メモリカードをパソコンに装着して、画像処理プログラムを走らせて、図6のフローチャートのステップS105以降の処理を行うようにすればよい。この時、パソコンの画像処理プログラムは、ステップS105において、メモリカードに保存されている連写撮影された所定枚数の画像データを撮影順に読み出して差分を算出する。   In the flowchart of FIG. 6, the processing after step S105, excluding the continuous shooting processing from step S101 to step S104, may be executed as an image processing program executed by a computer such as a personal computer. In this case, a predetermined number of images taken continuously are stored in a memory card corresponding to the storage unit 111, the memory card is mounted on a personal computer, and an image processing program is run, so that step S105 in the flowchart of FIG. The subsequent processing may be performed. At this time, in step S105, the image processing program of the personal computer reads out a predetermined number of consecutively shot image data stored in the memory card in the order of shooting and calculates a difference.

このようにして、パソコンなどのコンピュータで実行する画像処理プログラムの場合でも、電子カメラ101と同様の効果を得ることができる。   In this way, even in the case of an image processing program executed on a computer such as a personal computer, the same effect as that of the electronic camera 101 can be obtained.

(第2の実施形態)
次に、第2の実施形態に係る電子カメラ101について説明する。尚、本実施形態に係る電子カメラ101の構成は、図1の第1の実施形態に係る電子カメラ101の構成と同じである。また、本実施形態に係る電子カメラ101も、通常撮影モードや連写撮影モードの他に、撮影画像から動体領域を除去する静止体撮影モードを有する。
(Second Embodiment)
Next, an electronic camera 101 according to the second embodiment will be described. The configuration of the electronic camera 101 according to the present embodiment is the same as the configuration of the electronic camera 101 according to the first embodiment shown in FIG. The electronic camera 101 according to the present embodiment also has a stationary body shooting mode that removes a moving body region from a captured image, in addition to the normal shooting mode and the continuous shooting mode.

第2の実施形態に係る電子カメラ101は、撮影時の処理が第1の実施形態とは異なり、第1の実施形態の図6のフローチャートの代わりに、図13に示したフローチャートに従って動作する。第1の実施形態では、動体領域の検出処理などを所定枚数の連写撮影を行った後で行うようにしたが、本実施形態では、連写撮影を行いながら動体領域の検出処理などを行うようになっている。   Unlike the first embodiment, the electronic camera 101 according to the second embodiment operates in accordance with the flowchart shown in FIG. 13 instead of the flowchart of FIG. 6 of the first embodiment. In the first embodiment, the moving object region detection process and the like are performed after a predetermined number of continuous shootings are performed, but in this embodiment, the moving object region detection process and the like are performed while continuous shooting is performed. It is like that.

以下、電子カメラ101の動作について順に説明する。尚、電子カメラ101は、静止体撮影モードに設定されているものとし、第1の実施形態と同じ処理ステップの説明は省略する。   Hereinafter, the operation of the electronic camera 101 will be described in order. It is assumed that the electronic camera 101 is set to the still body shooting mode, and the description of the same processing steps as those in the first embodiment is omitted.

先ず、ステップS101で、撮影者が、電子カメラ101の操作部112に含まれる電源ボタンを押して電源をONし、ステップS102でレリーズボタンを押下するまでの処理は同じである。   First, in step S101, the process is the same until the photographer presses the power button included in the operation unit 112 of the electronic camera 101 to turn on the power and presses the release button in step S102.

(ステップS201)ステップS102でレリーズボタンが押下されると、制御部109は、シャッタ制御部123に指令して、連写撮影の1枚目の画像を撮影する。   (Step S201) When the release button is pressed in step S102, the control unit 109 instructs the shutter control unit 123 to capture the first image in continuous shooting.

(ステップS202)ステップS201で撮影した1枚目の画像を画像バッファ107に保存する。   (Step S202) The first image shot in step S201 is stored in the image buffer 107.

(ステップS203)制御部109は、シャッタ制御部123に指令して、連写撮影の次の画像を撮影する。   (Step S203) The control unit 109 instructs the shutter control unit 123 to capture the next image after the continuous shooting.

(ステップS204)ステップS203で撮影した画像を画像バッファ107に保存する。   (Step S204) The image captured in step S203 is stored in the image buffer 107.

次のステップS105からステップS108までの処理は第1の実施形態の図6のフローチャートと同じである。次のステップS109に代えて本実施形態の図13のフローチャートではステップS205を実行する。   The processing from the next step S105 to step S108 is the same as the flowchart of FIG. 6 of the first embodiment. Instead of the next step S109, step S205 is executed in the flowchart of FIG. 13 of the present embodiment.

(ステップS205)ステップS203,ステップS204,ステップS105ステップS105からステップS108までの一連の処理を繰り返して、全ての分割領域に対応する少なくとも1枚の静止画像が得られたか否かを判別する。全ての分割領域に対応する少なくとも1枚の静止画像が得られた場合はステップS110に進み、静止画像が1枚も得られない分割領域が残っている場合はステップS203に戻って次の画像を撮影し、以下、全ての分割領域に対応する少なくとも1枚の静止画像が得られるまで同様の処理を繰り返し、必要な静止画像が揃った段階で連写撮影を終了する。尚、少なくとも2枚の画像を連写撮影して、動体領域がない場合は、その時点で撮影処理を終了し、2枚の内いずれかの画像を撮影画像として記憶部111に保存するようにしても構わない。   (Step S205) Step S203, Step S204, Step S105 A series of processing from Step S105 to Step S108 is repeated to determine whether or not at least one still image corresponding to all the divided areas has been obtained. If at least one still image corresponding to all the divided areas is obtained, the process proceeds to step S110. If there is a divided area where no still image is obtained, the process returns to step S203 to display the next image. Thereafter, the same processing is repeated until at least one still image corresponding to all the divided areas is obtained, and the continuous shooting is finished when the necessary still images are prepared. If at least two images are continuously shot and there is no moving object area, the shooting process is terminated at that time, and one of the two images is saved in the storage unit 111 as a shot image. It doesn't matter.

このように、本実施形態に係る電子カメラ101は、意図しない侵入物が電子カメラ101と被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。例えば、混雑する観光名所で記念写真を撮影する場合など、電子カメラ101と被写体との間を往来する人や鳥などの侵入物があった場合でも、往来する人を動体と認識して、動体領域を除去することができるので、侵入物のないきれいな撮影画像を得ることができる。   As described above, the electronic camera 101 according to the present embodiment can obtain a captured image from which the intruder is removed even when an unintended intruder blocks the electronic camera 101 and the subject. For example, even when there is an intruder such as a person or a bird who travels between the electronic camera 101 and the subject, such as when taking a commemorative photo at a crowded tourist attraction, the person who travels is recognized as a moving object. Since the area can be removed, a beautiful photographed image free from intruders can be obtained.

特に、本実施形態に係る電子カメラ101は、連写撮影を行いながらステップS105からステップS108までの動体領域の検出処理を行うので、全ての分割領域に対応する少なくとも1枚の静止画像が得られるまで、連写撮影を繰り返すことができる。   In particular, since the electronic camera 101 according to the present embodiment performs the moving object region detection processing from step S105 to step S108 while performing continuous shooting, at least one still image corresponding to all the divided regions can be obtained. Until then, continuous shooting can be repeated.

第1の実施形態に係る電子カメラ101のブロック図である。1 is a block diagram of an electronic camera 101 according to a first embodiment. 連写撮影画像の差分を説明するための補助図である。It is an auxiliary | assistant figure for demonstrating the difference of a continuous photographing image. 分割領域を説明するための補助図である。It is an auxiliary | assistant figure for demonstrating a division area. 動体領域の判定を説明するための補助図である。It is an auxiliary figure for demonstrating determination of a moving body field. 画像合成を説明するための補助図である。It is an auxiliary | assistant figure for demonstrating image composition. 第1の実施形態に係る電子カメラ101の撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process of the electronic camera 101 which concerns on 1st Embodiment. 動体領域のサイズが大きい場合の分割領域のサイズを説明するための補助図である。It is an auxiliary | assistant figure for demonstrating the size of the division area when the size of a moving body area | region is large. 動体領域のサイズが小さい場合の分割領域のサイズを説明するための補助図である。It is an auxiliary | assistant figure for demonstrating the size of the division area when the size of a moving body area | region is small. 動体領域のサイズと移動速度と分割領域のサイズの関係を示す補助図である。It is an auxiliary | assistant figure which shows the relationship between the size of a moving body area | region, a moving speed, and the size of a division area. 分割領域のサイズ例を示す補助図である。It is an auxiliary | assistant figure which shows the size example of a division area. 静止画像の分割領域を示す補助図である。It is an auxiliary | assistant figure which shows the division area of a still image. 動体領域の移動速度による判定例を示す補助図である。It is an auxiliary | assistant figure which shows the example of determination by the moving speed of a moving body area | region. 第2の実施形態に係る電子カメラ101の撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process of the electronic camera 101 which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

101・・・カメラ 102・・・レンズ光学系
103・・・メカニカルシャッタ 104・・・撮像素子
105・・・AFE 106・・・A/D変換部
107・・・画像バッファ 108・・・画像処理部
109・・・制御部 110・・・表示部
111・・・記憶部 112・・・操作部
121・・・レンズ制御部 122・・・絞り制御部
123・・・シャッタ制御部 124・・・AF制御部
125・・・AE制御部 126・・・手振れ検出部
127・・・動体判定部 128・・・静止画選択部
129・・・画像合成部
DESCRIPTION OF SYMBOLS 101 ... Camera 102 ... Lens optical system 103 ... Mechanical shutter 104 ... Image sensor 105 ... AFE 106 ... A / D conversion part 107 ... Image buffer 108 ... Image processing Unit 109 ... Control unit 110 ... Display unit 111 ... Storage unit 112 ... Operation unit 121 ... Lens control unit 122 ... Aperture control unit 123 ... Shutter control unit 124 ... AF control unit 125 AE control unit 126 shake detection unit 127 moving object determination unit 128 still image selection unit 129 image synthesis unit

Claims (6)

略同一画角で複数枚の画像を連写する撮影部と、
前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、
前記記憶部に記憶された複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定部と、
前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に1枚の静止画像を選択する選択部と、
前記選択部が選択した静止画像に対応する分割領域を組み合わせて1枚の撮影画像を合成する合成部と
を備えることを特徴とする電子カメラ。
A shooting unit that continuously shoots a plurality of images at substantially the same angle of view;
A storage unit for temporarily storing a plurality of images continuously shot by the shooting unit;
A moving object region is detected based on a difference between images that move forward and backward among a plurality of images stored in the storage unit, and each moving region is divided into a predetermined divided region. A determination unit that determines whether the image is an image;
A selection unit that selects one still image for each divided region when there are a plurality of still images determined by the determination unit in the same divided region;
An electronic camera comprising: a combining unit that combines divided areas corresponding to the still image selected by the selection unit to combine one photographed image.
請求項1に記載の電子カメラにおいて、
前記判定部は、前記差分が所定値以上の動体領域の移動速度を求め、前記移動速度が予め設定された閾値以上のものを動体領域として検出する
ことを特徴とする電子カメラ。
The electronic camera according to claim 1,
The determination unit obtains a moving speed of a moving object region having the difference equal to or greater than a predetermined value, and detects a moving object region having a moving speed equal to or higher than a preset threshold value.
請求項1または2に記載の電子カメラにおいて、
前記選択部は、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択する
ことを特徴とする電子カメラ。
The electronic camera according to claim 1 or 2,
The selection unit evaluates a focus state of the plurality of still images and selects a still image with the best focus state when a plurality of still images determined by the determination unit exist in the same divided region. An electronic camera characterized by
請求項1から3のいずれか一項に記載の電子カメラにおいて、
前記合成部は、全ての分割領域について少なくとも1枚の静止画像が選択されるまで、前記撮影部から前記選択部までの一連の動作を繰り返す
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 3,
The composite camera repeats a series of operations from the photographing unit to the selection unit until at least one still image is selected for all divided regions.
請求項1から4のいずれか一項に記載の電子カメラにおいて、
前記所定の分割領域の大きさは、動体領域の大きさと動体領域の速度の少なくとも一方に応じて可変する
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 4,
The size of the predetermined divided area varies according to at least one of the size of the moving object area and the speed of the moving object area.
略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、
前記複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定手順と、
前記判定手順で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に1枚の静止画像を選択する選択手順と、
前記選択手順で選択された静止画像に対応する分割領域を組み合わせて1枚の撮影画像を合成する合成手順と
を備えることを特徴とする画像処理プログラム。
An image processing program for a computer that reads out image data from a storage medium storing a plurality of images continuously shot at substantially the same angle of view, and performs image processing,
A moving object region is detected based on a difference between temporally preceding and subsequent images of the plurality of images, and whether the captured image is divided into predetermined divided regions is determined as a moving image or a still image. Judgment procedure to
A selection procedure for selecting one still image for each divided region when there are a plurality of still images determined in the determination procedure in the same divided region;
An image processing program comprising: a combining procedure for combining a divided area corresponding to a still image selected in the selection procedure to combine one photographed image.
JP2008175876A 2008-07-04 2008-07-04 Electronic camera and image processing program Withdrawn JP2010016695A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008175876A JP2010016695A (en) 2008-07-04 2008-07-04 Electronic camera and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008175876A JP2010016695A (en) 2008-07-04 2008-07-04 Electronic camera and image processing program

Publications (1)

Publication Number Publication Date
JP2010016695A true JP2010016695A (en) 2010-01-21

Family

ID=41702355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008175876A Withdrawn JP2010016695A (en) 2008-07-04 2008-07-04 Electronic camera and image processing program

Country Status (1)

Country Link
JP (1) JP2010016695A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060299A (en) * 2010-09-07 2012-03-22 Canon Inc Image pickup device, control method thereof, program, and recording medium
JP2013070212A (en) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd Image processor and image processing program
JP2013070332A (en) * 2011-09-26 2013-04-18 Olympus Corp Image processing device
JP2013182406A (en) * 2012-03-01 2013-09-12 Olympus Corp Image processing device
JP2014090519A (en) * 2014-02-20 2014-05-15 Canon Inc Imaging apparatus and control method of the same
WO2016067456A1 (en) * 2014-10-31 2016-05-06 オリンパス株式会社 Image processing method and cell fractionation method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060299A (en) * 2010-09-07 2012-03-22 Canon Inc Image pickup device, control method thereof, program, and recording medium
JP2013070212A (en) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd Image processor and image processing program
JP2013070332A (en) * 2011-09-26 2013-04-18 Olympus Corp Image processing device
JP2013182406A (en) * 2012-03-01 2013-09-12 Olympus Corp Image processing device
JP2014090519A (en) * 2014-02-20 2014-05-15 Canon Inc Imaging apparatus and control method of the same
WO2016067456A1 (en) * 2014-10-31 2016-05-06 オリンパス株式会社 Image processing method and cell fractionation method

Similar Documents

Publication Publication Date Title
JP6325885B2 (en) Imaging apparatus, imaging method, and program
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
US7668451B2 (en) System for and method of taking image
JP4787180B2 (en) Imaging apparatus and imaging method
TWI514847B (en) Image processing device, image processing method, and recording medium
US20130113892A1 (en) Three-dimensional image display device, three-dimensional image display method and recording medium
US8497932B2 (en) Photographing apparatus and method having at least two photographing devices and exposure synchronization
JP5665013B2 (en) Image processing apparatus, image processing method, and program
JP2010200239A (en) Imaging apparatus, image display device, imaging method and image display method, and focal-area frame position correction method
JP2007074388A (en) Imaging apparatus and program thereof
JP2007215091A (en) Imaging apparatus and program therefor
JP5782813B2 (en) Imaging apparatus and image display method
JP6325841B2 (en) Imaging apparatus, imaging method, and program
JP2012002951A (en) Imaging device, method for detecting in-focus position and in-focus position detection program
JP2010016695A (en) Electronic camera and image processing program
JP5098949B2 (en) Electronic camera and image processing program
JP2010136058A (en) Electronic camera and image processing program
JP6706167B2 (en) Imaging device, image synthesizing method, and program
JP2007225897A (en) Focusing position determination device and method
JP2010072134A (en) Imaging apparatus
JP2007279333A (en) Device and method for deciding focusing position
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP2005283637A (en) Photographing device and program therefor
JP2008219367A (en) Imaging apparatus and imaging method
JP2008147924A (en) Imaging apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110906