JP2011244336A - Photographing apparatus and interval photographing method - Google Patents

Photographing apparatus and interval photographing method Download PDF

Info

Publication number
JP2011244336A
JP2011244336A JP2010116452A JP2010116452A JP2011244336A JP 2011244336 A JP2011244336 A JP 2011244336A JP 2010116452 A JP2010116452 A JP 2010116452A JP 2010116452 A JP2010116452 A JP 2010116452A JP 2011244336 A JP2011244336 A JP 2011244336A
Authority
JP
Japan
Prior art keywords
image
adopted
interval period
determination
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010116452A
Other languages
Japanese (ja)
Inventor
Daisaku Kato
大作 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2010116452A priority Critical patent/JP2011244336A/en
Publication of JP2011244336A publication Critical patent/JP2011244336A/en
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the quality of a motion picture captured by interval photography.SOLUTION: A system controller 9 compares an image which is photographed in timing to start a present interval phase with an adopted image of a last interval phase to determine whether or not the image has a possibility where a quickly moving object is captured. If it is an image having the possibility where a quickly moving object is photographed, that image is not adopted but a photographing section 2 is caused to photograph a next image soon and it is determined whether this image is an image having the possibility where a quickly moving object is photographed. This processing is repeated and when an image is captured which is not the image having the possibility where a quickly moving object is photographed, it is determined as an adopted image of the present interval phase. Before a predetermined time to the end of the present interval phase without capturing the image which is not determined as an image having the possibility where a quickly moving object is photographed, the image photographed in predetermined timing during the present interval phase is used as an adopted image.

Description

本発明は、インターバル撮影機能を有する撮影装置、およびそのインターバル撮影方法に関する。   The present invention relates to a photographing apparatus having an interval photographing function and an interval photographing method thereof.

従来、ビデオカメラの特殊撮影機能の1つとして、インターバル撮影(タイムラプス撮影ともいう)と呼ばれるものが知られている(例えば、特許文献1参照)。インターバル撮影は、所定の時間間隔で、遅い速度で撮影を行うもので、撮影した画像を、時間軸を短縮した動画として再生することで、動きの遅い被写体の変化を高速度で表現する動画が得られる。   Conventionally, what is called interval shooting (also referred to as time-lapse shooting) is known as one of special shooting functions of a video camera (see, for example, Patent Document 1). Interval shooting is shooting at a slow rate at a predetermined time interval, and by playing back the shot image as a movie with a shortened time axis, a movie that expresses changes in a slow-moving subject at high speed can be created. can get.

なお、インターバル撮影方法の中には、監視カメラ等の用途で、被写体に変化があったときに撮影を行うものもあるが、本明細書では、このような用途ではなく、上記のように、所定時間間隔で撮影した画像を動画として再生する用途を前提とする。   Note that some of the interval shooting methods, such as surveillance cameras, perform shooting when there is a change in the subject, but in this specification, not such applications, but as described above, It is assumed that the images taken at predetermined time intervals are reproduced as moving images.

特開平3−265282号公報JP-A-3-265282

インターバル撮影により、流れる雲や日没の様子などの、ゆっくり変化する風景を撮影すると、美しい動画が得られる。このため、このような空を含む風景は、よくインターバル撮影の対象とされる。また、花の開花や昆虫の羽化の様子なども、インターバル撮影の対象とされることがある。   If you take pictures of slowly changing landscapes such as flowing clouds and sunset scenes, you can get beautiful videos. For this reason, such a landscape including the sky is often an object of interval shooting. In addition, flowering and insect emergence may also be subject to interval photography.

このようなインターバル撮影において、撮影中にたまたま画面内を通り過ぎた動きの速い物体が撮影されることがある。   In such interval shooting, a fast-moving object that happens to pass through the screen during shooting may be shot.

例えば、空を含む風景をインターバル撮影している場合に、画面内を通り過ぎる鳥が撮影されることがある。空を含む風景の場合、撮影間隔を5秒から20秒に1フレームとして、数時間から8時間程度をかけて撮影することが多い。その撮影中に画面内を鳥が通り過ぎると、多くの場合、鳥が写っているのはせいぜい数フレームである。   For example, when an interval shooting is performed on a landscape including the sky, a bird passing through the screen may be shot. In the case of a landscape including the sky, shooting is often performed over several hours to about 8 hours with a shooting interval of one frame from 5 seconds to 20 seconds. If a bird passes through the screen during the shooting, it is often a few frames at most.

このような場合、撮影された画像を動画として再生すると、ある1フレームにだけ鳥が写っていて、数秒後にまた1フレームにだけ鳥が写っている、というような再生画像になる。1フレームにしか写っていない鳥は、動画の再生画像にノイズのように現れてしまい、動画の品質低下を招いていた。   In such a case, when the captured image is reproduced as a moving image, a reproduced image is obtained in which a bird is captured only in one frame and a bird is captured only in one frame after a few seconds. Birds that appear only in one frame appear like noise in the replayed image of the moving image, causing the quality of the moving image to deteriorate.

花の開花や昆虫の羽化の様子などをインターバル撮影する場合においても、画面内を通り過ぎた虫などが撮影され、動画の再生画像にノイズのように見えてしまうことがあった。   Even in the case of interval shooting of flower blooming and insect emergence, insects etc. that passed through the screen were shot, and the playback image of the movie sometimes looked like noise.

本発明は上記に鑑みてなされたもので、インターバル撮影によって得られる動画の品質を向上することができる撮影装置およびインターバル撮影方法を提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide a photographing apparatus and an interval photographing method capable of improving the quality of a moving image obtained by interval photographing.

本発明の一態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置が提供される。   According to one aspect of the present invention, an imaging unit that captures an image by capturing a subject, and an image that determines an adopted image to be adopted as a captured image for each set interval period among images obtained by the imaging unit. The determination unit compares the previous adopted image, which is the adopted image in the previous interval period, with the image taken after the current interval period, and the difference in pixel value between the two images to be compared is a predetermined difference value. An image evaluation value indicating the number of pixels that exceed, and a determination unit that determines whether or not the image evaluation value is equal to or less than a preset threshold, and the image determination unit compares the image with the previously adopted image From the timing of the start of the current interval period until the image evaluation value at that time is obtained below the threshold value, the subject is photographed by the photographing unit, and the obtained image is compared with the previously adopted image. Control is performed to repeat the process of performing the determination by the determination unit as a target, and when an image with the image evaluation value equal to or less than the threshold value is obtained, the image is determined as an adopted image in the current interval period, and the current interval period If the image with the image evaluation value equal to or less than the threshold value is not obtained by the timing before the predetermined time before ending, the image taken at the predetermined timing of the current interval period is determined as the currently adopted image. A featured imaging device is provided.

本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置が提供される。   According to another aspect of the present invention, a photographing unit that captures an image by photographing a subject, and an adopted image to be adopted as a captured image for each set interval period are determined from the images obtained by the photographing unit. The image determination unit compares the previous adopted image, which is the adopted image in the previous interval period, with the image taken after the current interval period, and the difference in pixel value between the two images to be compared is a predetermined difference value An image evaluation value indicating the number of pixels exceeding the threshold value, and a determination unit that determines whether or not the image evaluation value is equal to or less than a preset threshold, the image determination unit is compared with the previously adopted image Until the image evaluation value at that time is less than or equal to the threshold value, the subject is photographed from the timing of the start of this interval period, and the obtained image and the previously adopted image are Control is performed to repeat the determination by the determination unit as the comparison target, and when the image evaluation value is less than or equal to the threshold value, the image is determined as the adopted image in the current interval period, and the current interval If an image whose image evaluation value is less than or equal to the threshold value is not obtained by the timing before the predetermined period ends, the determination of the adopted image is suspended and images captured at the predetermined timing of the current interval period In the interval period next to the interval period in which the selection of the adopted image is suspended as a candidate image of the currently adopted image and used as the previous adopted image in the processing of the determination unit in the immediately preceding interval period A predetermined number of interval periods during which the determination unit performs processing using the existing images and the determination of the adopted images is suspended. The predetermined number of candidate images stored in the candidate image storage unit are determined as adopted images in the interval period during which each was photographed, and the predetermined number of interval periods for which the determination of the adopted images is suspended If there is an interval period during which the determination of the adopted image is not suspended before continuing, the imaging device is provided that discards the candidate image stored in the candidate image storage unit.

本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する1枚の正式採用画像を決定する画像決定部と、前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置が提供される。   According to another aspect of the present invention, a photographing unit that captures an image by photographing a subject, and an image to be adopted as a captured image for each set determination period among images obtained by the photographing unit, An image determination unit that determines one officially adopted image to be adopted as a photographed image in an interval period longer than the judgment period from the photographed images adopted in a plurality of judgment periods, and was adopted as a photographed image in the previous judgment period An image evaluation value indicating the number of pixels in which a difference between pixel values of two images to be compared exceeds a predetermined difference value by comparing a previously adopted image that is an image with an image taken after the current determination period. And a determination unit that determines whether or not the image evaluation value is equal to or less than a preset threshold value, and the image determination unit is configured such that the image evaluation value when compared with the previously adopted image is equal to or less than the threshold value. Painting Until the determination period is obtained, the subject is photographed by the photographing unit from the timing of the start of the current determination period, and the process of performing the determination by the determination unit using the obtained image and the previously adopted image as a comparison target is repeated. And when the image having the image evaluation value equal to or less than the threshold value is obtained, the image is determined to be an adopted image in the current determination period, and the image evaluation value is determined by a predetermined time before the end of the current determination period. Is not obtained, the image taken at the predetermined timing of the current judgment period is determined as the current adopted image, and the adopted image is taken every one or more judgment periods as the interval period. A photographing apparatus is provided that is determined as an officially adopted image.

本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とするインターバル撮影方法が提供される。   According to another aspect of the present invention, there is provided an interval shooting method in an imaging apparatus for determining an adopted image to be adopted as a captured image for each set interval period from an image obtained by capturing a subject during interval shooting. A subject is photographed at the timing of the start of the period, and the previous adopted image, which is the adopted image in the previous interval period, is compared with the image photographed at the start timing of the current interval period, and the pixels between the two images to be compared An image evaluation value indicating the number of pixels whose value difference exceeds a predetermined difference value is obtained, it is determined whether or not the image evaluation value is equal to or less than a preset threshold value, and at the start timing of the current interval period When the captured image is an image whose image evaluation value is equal to or less than the threshold value compared to the previously adopted image, the current image is displayed. The image taken at the start timing of the tarval period is determined as the current adopted image, and the image taken at the start timing of the current interval period is compared with the previous adopted image, and the image evaluation value is When the image exceeds the threshold, the subject is photographed until the image with the image evaluation value compared to the previous adopted image is equal to or less than the threshold, and the obtained image is compared with the previous adopted image. If the image evaluation value when the image evaluation value when compared with the previous adopted image is obtained is equal to or less than the threshold value, the image is determined as the adopted image in the current interval period, and the current interval is determined. If an image with the image evaluation value equal to or less than the threshold value is not obtained by the timing before the predetermined time before the period ends, the predetermined time of the current interval period Interval shooting method characterized by determining the image captured by the ring to the current adoption image is provided.

本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とするインターバル撮影方法が提供される。   According to another aspect of the present invention, there is provided an interval shooting method in an imaging apparatus for determining an adopted image to be adopted as a captured image for each set interval period from an image obtained by capturing a subject during interval shooting. A subject is photographed at the timing of the start of the period, and the previous adopted image, which is the adopted image in the previous interval period, is compared with the image photographed at the start timing of the current interval period, and the pixels between the two images to be compared An image evaluation value indicating the number of pixels whose value difference exceeds a predetermined difference value is obtained, it is determined whether or not the image evaluation value is equal to or less than a preset threshold value, and at the start timing of the current interval period When the captured image is an image whose image evaluation value is equal to or less than the threshold value compared to the previously adopted image, the current image is displayed. The image taken at the start timing of the tarval period is determined as the current adopted image, and the image taken at the start timing of the current interval period is compared with the previous adopted image, and the image evaluation value is When the image exceeds the threshold, the subject is photographed until the image with the image evaluation value compared to the previous adopted image is equal to or less than the threshold, and the obtained image is compared with the previous adopted image. If the image evaluation value when the image evaluation value when compared with the previous adopted image is obtained is equal to or less than the threshold value, the image is determined as the adopted image in the current interval period, and the current interval is determined. If an image whose image evaluation value is less than or equal to the threshold value cannot be obtained by the timing before the predetermined period ends, the decision on the adopted image is suspended and the current An image taken at a predetermined timing of the global period is stored in the candidate image storage unit as a candidate image of the currently adopted image, and in the interval period next to the interval period in which the decision of the adopted image is suspended, the interval period immediately before When the determination is performed, the image used as the previous adopted image is continuously used for the determination, and when a predetermined number of interval periods for which the determination of the adopted image is suspended are stored in the candidate image storage unit The predetermined number of candidate images are determined as adopted images in the interval period in which each was photographed, and an interval period in which the determination of adopted images is not suspended before the predetermined number of interval periods for which the determination of employed images is suspended continues. If there is, the candidate image stored in the candidate image storage unit is discarded. A global photography method is provided.

本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とするインターバル撮影方法が提供される。   According to another aspect of the present invention, during interval shooting, an interval shooting method in a shooting device that determines a formally adopted image to be adopted as a shot image for each set interval period from an image of a subject shot, The subject is photographed at the start timing of the judgment period, which is shorter than the interval period, and is taken at the previous adoption image, which is the adopted image adopted as the photographed image in the previous judgment period, and at the start timing of the current judgment period. Image evaluation value indicating the number of pixels whose pixel value difference between the two images to be compared exceeds a predetermined difference value, and whether the image evaluation value is equal to or less than a preset threshold value. The image taken at the start timing of the current determination period is compared with the previously adopted image, and the image evaluation value is the threshold value. In the case of the lower image, the image taken at the start timing of the current judgment period is determined as the current adopted image, and the image taken at the start timing of the current judgment period is compared with the previous adopted image. If the image evaluation value is an image that exceeds the threshold value, the subject is photographed until an image having the image evaluation value that is equal to or less than the threshold value when compared with the previously adopted image is obtained. And the previous adopted image are compared, and the procedure for performing the determination is repeated, and when the image evaluation value when compared with the previous adopted image is obtained with the image equal to or less than the threshold value, the image is determined in the current determination period. If an image with an image evaluation value equal to or less than the threshold value is not obtained by the timing determined for the adopted image and a predetermined time before the end of the current determination period, the image is captured at the predetermined timing of the current determination period. It has been an image determined in the current adoption image, interval shooting method characterized by determining the adoption image to one or more determination period every as formally adopted image interval period is provided.

本発明によれば、インターバル撮影によって得られる動画の品質を向上することができる。   According to the present invention, the quality of a moving image obtained by interval shooting can be improved.

第1の実施の形態に係る撮影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on 1st Embodiment. 第1の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。6 is a flowchart illustrating an operation when performing interval shooting in a mode in which shooting of a fast-moving object is avoided in the shooting apparatus of the first embodiment. 第1の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。6 is a flowchart illustrating a procedure of processing for determining an adopted image in an interval period in the photographing apparatus according to the first embodiment. 風景を撮影した画像の一例を示す図である。It is a figure which shows an example of the image which image | photographed the scenery. 鳥が通り過ぎる風景を撮影した画像の一例を示す図である。It is a figure which shows an example of the image which image | photographed the scenery which a bird passes. 図4に示す画像と図5に示す画像との輝度差分を白黒画像にしたものを示す図である。It is a figure which shows what made the brightness | luminance difference of the image shown in FIG. 4, and the image shown in FIG. 5 into a monochrome image. 図4に示す画像と図5に示す画像との色差差分を白黒画像にしたものを示す図である。It is a figure which shows what made the color difference difference of the image shown in FIG. 4, and the image shown in FIG. 5 into a monochrome image. 図6の一部の拡大図である。It is a one part enlarged view of FIG. 第1の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on the modification of 1st Embodiment. 第2の実施の形態に係る撮影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on 2nd Embodiment. 第2の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。9 is a flowchart illustrating an operation when performing interval shooting in a mode in which shooting of a fast-moving object is avoided in the shooting apparatus of the second embodiment. 第2の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process which determines the employ | adopted image of an interval period in the imaging device of 2nd Embodiment. 第3の実施の形態における判断期間とインターバル期間との関係の一例を示す図である。It is a figure which shows an example of the relationship between the judgment period and interval period in 3rd Embodiment. 第3の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。14 is a flowchart illustrating an operation when performing interval shooting in a mode in which shooting of a fast-moving object is avoided in the shooting apparatus of the third embodiment.

以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。   Embodiments of the present invention will be described below with reference to the drawings. Throughout the drawings, the same or equivalent parts and components are denoted by the same or equivalent reference numerals, and the description thereof is omitted or simplified.

[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮影装置の構成を示すブロック図である。図1に示すように第1の実施の形態に係る撮影装置1は、撮影部2と、画像メモリ3A,3B,3Cと、エンコード用画像メモリ4と、動画エンコーダ5と、無音データ生成部6と、マルチプレクサ7と、記録部8と、システムコントローラ9と、操作入力部10とを備える。
[First Embodiment]
FIG. 1 is a block diagram showing the configuration of the photographing apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the imaging apparatus 1 according to the first embodiment includes an imaging unit 2, image memories 3 </ b> A, 3 </ b> B, 3 </ b> C, an encoding image memory 4, a moving image encoder 5, and a silence data generation unit 6. A multiplexer 7, a recording unit 8, a system controller 9, and an operation input unit 10.

撮影部2は、被写体を撮影するものであり、レンズ21と、撮像素子22と、信号処理部23と、タイミングジェネレータ(TG)24とを備える。   The photographing unit 2 photographs a subject, and includes a lens 21, an image sensor 22, a signal processing unit 23, and a timing generator (TG) 24.

レンズ21は、被写体からの光を撮像素子22に結像させる。   The lens 21 forms an image of light from the subject on the image sensor 22.

撮像素子22は、CCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)等からなり、レンズ21を通して入射した光を光電変換して電気信号を出力する。   The imaging element 22 is composed of a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), etc., and photoelectrically converts light incident through the lens 21 and outputs an electrical signal.

信号処理部23は、撮像素子22から入力される電気信号を処理して、各画素を輝度Yおよび色差Cb,Crで表す画像を生成する。   The signal processing unit 23 processes the electric signal input from the image sensor 22 and generates an image that represents each pixel with luminance Y and color differences Cb and Cr.

タイミングジェネレータ24は、システムコントローラ9からの制御に応じて、撮像素子22を駆動するタイミング制御信号を生成し、これを撮像素子22に供給する。   The timing generator 24 generates a timing control signal for driving the image sensor 22 in accordance with control from the system controller 9 and supplies the timing control signal to the image sensor 22.

画像メモリ3A,3B,3Cは、インターバル撮影において、各インターバル期間における撮影画像として採用する採用画像を決定するために用いられるものである。   The image memories 3A, 3B, and 3C are used for determining an adopted image to be adopted as a captured image in each interval period in interval shooting.

本実施の形態におけるインターバル撮影では、後述するように、設定された時間間隔の撮影タイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返すことで、動きの速い物体が写っている可能性のある画像でない画像を検出し、その画像をインターバル撮影の採用画像として決定する。画像メモリ3A,3B,3Cは、このような採用画像を決定する処理に用いられる。なお、本実施の形態では、設定された時間間隔の撮影タイミング間をインターバル期間と呼ぶものとする。各インターバル期間において1枚の採用画像が決定される。   In interval shooting in the present embodiment, as will be described later, it is determined whether or not an image shot at a shooting timing of a set time interval is an image that may have a fast-moving object. If it is determined that the object may have a fast-moving object, the image is not adopted as a captured image, and the next image is taken immediately. It is determined whether or not the image is likely to be captured. By repeating this, an image that is not an image in which a fast-moving object may be captured is detected, and the image is determined as an adopted image for interval shooting. The image memories 3A, 3B, and 3C are used for the process of determining such adopted images. In the present embodiment, the interval between the photographing timings of the set time interval is referred to as an interval period. One adopted image is determined in each interval period.

画像メモリ3Aは、撮影部2で撮影された1フレームの画像を取り込んで記憶する。画像メモリ3Aに取り込まれた画像は、画像メモリ3Bに記憶されている前回のインターバル期間の採用画像と比較され、今回のインターバル期間の採用画像とするか否かが判定される。   The image memory 3 </ b> A captures and stores one frame image captured by the imaging unit 2. The image captured in the image memory 3A is compared with the adopted image of the previous interval period stored in the image memory 3B, and it is determined whether or not to adopt the adopted image of the current interval period.

画像メモリ3Bは、画像メモリ3Aに取り込まれた画像のうち、採用画像として決定された1フレームの画像を記憶する。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。また、画像メモリ3Bに記憶された採用画像は、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。   The image memory 3B stores an image of one frame determined as an adopted image among the images taken into the image memory 3A. The adopted image stored in the image memory 3B is taken into the encoding image memory 4. The adopted image stored in the image memory 3B is used as a comparison target image for determining the adopted image in the next interval period.

画像メモリ3Cは、インターバル期間の開始のタイミングで撮影された1フレームの画像を画像メモリ3Aから取り込んで記憶する。後述するように、インターバル期間が終了する所定時間前までに、動きの速い物体が写っている可能性のある画像でないと判定される画像が得られない場合、画像メモリ3Cに記憶された画像がそのインターバル期間の採用画像に決定される。   The image memory 3C captures and stores one frame image captured at the start timing of the interval period from the image memory 3A. As will be described later, when an image determined not to be an image in which a fast-moving object may be captured is obtained by a predetermined time before the end of the interval period, an image stored in the image memory 3C is stored. The adopted image is determined for the interval period.

エンコード用画像メモリ4は、動画エンコーダ5で動画エンコードを行うための画像を保持するものであり、動画エンコードに用いられる画像である採用画像を画像メモリ3Bから取り込む。エンコード用画像メモリ4は、動画エンコーダ5においてH.264方式で動画エンコードを行うのに必要なフレームを同時に参照できるだけの画像を保持することができる。   The encoding image memory 4 holds an image for performing moving image encoding by the moving image encoder 5, and takes in an adopted image, which is an image used for moving image encoding, from the image memory 3B. The encoding image memory 4 is the same as the H.264 video encoder 5. It is possible to hold an image that can refer to the frames necessary to encode a moving image in the H.264 system at the same time.

動画エンコーダ5は、エンコード用画像メモリ4から各インターバル期間の採用画像を取得し、H.264方式で動画エンコードを行い、ビデオ符号化データを出力する。   The moving image encoder 5 acquires the adopted images for each interval period from the encoding image memory 4, and Video encoding is performed using the H.264 system, and video encoded data is output.

無音データ生成部6は、DSP(Digital Signal Processor)からなり、AC−3(Audio Code number 3)規格の無音データを生成する。インターバル撮影では、マイクからの音声は記録しないが、本実施の形態では、後述のようにAVCHD(Advanced Video Codec High Definition)形式でストリームを記録部8に記録するため、無音データ生成部6で無音データを生成する。   The silence data generation unit 6 includes a DSP (Digital Signal Processor), and generates silence data of AC-3 (Audio Code number 3) standard. In the interval shooting, the sound from the microphone is not recorded. However, in the present embodiment, the stream is recorded in the recording unit 8 in the AVCHD (Advanced Video Codec High Definition) format as described later. Generate data.

マルチプレクサ7は、動画エンコーダ5から入力されるビデオ符号化データと、無音データ生成部6から入力される無音データとをマルチプレクスし、AVCHD規格のストリームとして記録部8に記録する。   The multiplexer 7 multiplexes the video encoded data input from the moving image encoder 5 and the silence data input from the silence data generation unit 6 and records the multiplexed data in the recording unit 8 as a stream of the AVCHD standard.

記録部8は、ハードディスク等の不揮発性の記録媒体を有し、マルチプレクサ7から入力されるストリームを記録する。   The recording unit 8 includes a non-volatile recording medium such as a hard disk, and records the stream input from the multiplexer 7.

システムコントローラ9は、CPU、CPUの動作のための制御プログラム等を格納するROM、CPUのワーク領域として使用されるRAM(いずれも図示せず)等を備えて構成され、撮影装置1全体の動作を制御する。   The system controller 9 includes a CPU, a ROM for storing a control program for the operation of the CPU, a RAM (none of which is shown) used as a work area of the CPU, and the like. To control.

インターバル撮影に関する制御内容として、システムコントローラ9は、画像メモリ3Bに記憶された、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間で画像メモリ3Aに取り込まれた画像とを比較し、画像メモリ3Aの画像が、動きの速い物体が写っている可能性のある画像であるか否かの判定を行うようになっており、判定部としての機能を有する。   As a control content related to interval shooting, the system controller 9 compares the previous adopted image, which is the adopted image in the previous interval period, stored in the image memory 3B with the image captured in the image memory 3A in the current interval period. In addition, it is determined whether or not the image in the image memory 3A is an image in which a fast-moving object may be captured, and has a function as a determination unit.

また、システムコントローラ9は、画像メモリ3A,3Bの画像を比較して上記判定を行った結果から採用画像を決定する画像決定部としての機能を有する。   Further, the system controller 9 has a function as an image determination unit that determines an adopted image from a result of comparing the images in the image memories 3A and 3B and performing the above determination.

操作入力部10は、ユーザが撮影装置1を操作するための入力を行う部分であり、図示しない各種操作ボタン等を有し、ユーザ操作に応じた操作信号を出力する。   The operation input unit 10 is a part where the user performs input for operating the photographing apparatus 1 and includes various operation buttons (not shown) and outputs operation signals corresponding to user operations.

次に、撮影装置1のインターバル撮影時の動作について説明する。   Next, the operation at the time of interval photographing of the photographing apparatus 1 will be described.

撮影装置1でインターバル撮影を行う際、ユーザは、操作入力部10を操作して、動きの速い物体の撮影を避けるモードを選択することができる。図2は、第1の実施の形態の撮影装置1において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。   When performing interval shooting with the shooting apparatus 1, the user can select a mode that avoids shooting a fast-moving object by operating the operation input unit 10. FIG. 2 is a flowchart illustrating an operation when performing interval shooting in a mode in which shooting of a fast-moving object is avoided in the shooting apparatus 1 according to the first embodiment.

インターバル撮影が開始されると、ステップS10において、システムコントローラ9は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップS10の採用画像を決定する処理の詳細は後述する。   When interval shooting is started, in step S10, the system controller 9 performs a process of determining an adopted image that is an image to be adopted as a captured image in the current interval period. Details of the process of determining the adopted image in step S10 will be described later.

ステップS20では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS20:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。   In step S <b> 20, the system controller 9 determines whether or not a shooting stop operation for stopping interval shooting has been performed based on the operation signal from the operation input unit 10. When the shooting stop operation is performed (step S20: YES), the system controller 9 controls to end the interval shooting.

撮影停止操作が行われていない場合(ステップS20:NO)、ステップS30において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合(ステップS30:YES)、ステップS10に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合(ステップS30:NO)、ステップS20に戻る。   If the photographing stop operation has not been performed (step S20: NO), it is determined in step S30 whether or not the timing for starting the next interval period has come. When it is time to start the next interval period (step S30: YES), the process returns to step S10, an image to be used in the next interval period is determined, and the subsequent processing is repeated. If it is not time to start the next interval period (step S30: NO), the process returns to step S20.

次に、上記ステップS10で行うインターバル期間の採用画像を決定する処理について、図3に示すフローチャートを参照して説明する。   Next, the process of determining the adopted image for the interval period performed in step S10 will be described with reference to the flowchart shown in FIG.

図3のステップS110において、システムコントローラ9は、撮影部2に撮影を行わせ、得られた画像を画像メモリ3Aに取り込んで記憶させる。この撮影がインターバル期間における最初の撮影である場合は、インターバル期間の開始のタイミングに撮影が行われる。   In step S110 of FIG. 3, the system controller 9 causes the photographing unit 2 to take a picture, and captures and stores the obtained image in the image memory 3A. When this shooting is the first shooting in the interval period, shooting is performed at the start timing of the interval period.

次いで、ステップS120において、システムコントローラ9は、今回のインターバル期間が、インターバル撮影を開始して最初のインターバル期間であるか否かを判断する。最初のインターバル期間である場合(ステップS120:YES)、ステップS130において、システムコントローラ9は、画像メモリ3Aの画像を今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bにコピーして記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。   Next, in step S120, the system controller 9 determines whether or not the current interval period is the first interval period after the start of interval shooting. If it is the first interval period (step S120: YES), in step S130, the system controller 9 determines the image in the image memory 3A as the adopted image for the current interval period, and copies this adopted image to the image memory 3B. To remember. The adopted image stored in the image memory 3B is taken into the encoding image memory 4.

最初のインターバル期間でない場合(ステップS120:NO)、ステップS140において、システムコントローラ9は、ステップS110で画像メモリ3Aに取り込んだ画像が、今回のインターバル期間における最初に撮影された画像であるか否か、つまり、今回のインターバル期間の開始のタイミングで撮影された画像であるか否かを判断する。今回のインターバル期間における最初の画像である場合(ステップS140:YES)、ステップS150に進み、最初の画像でない場合(ステップS140:NO)、ステップS160に進む。   If it is not the first interval period (step S120: NO), in step S140, the system controller 9 determines whether or not the image captured in the image memory 3A in step S110 is the first image taken in the current interval period. That is, it is determined whether or not the image is captured at the start timing of the current interval period. When it is the first image in the current interval period (step S140: YES), the process proceeds to step S150, and when it is not the first image (step S140: NO), the process proceeds to step S160.

ステップS150では、システムコントローラ9は、ステップS110で画像メモリ3Aに取り込んだ画像を、画像メモリ3Cにコピーして記憶させる。   In step S150, the system controller 9 copies and stores the image captured in the image memory 3A in step S110 into the image memory 3C.

次いで、ステップS160において、システムコントローラ9は、画像メモリ3Aの画像と画像メモリ3Bの画像とを比較し、2画像間の輝度の差分(輝度の差の絶対値)が所定の輝度差分値である閾値Ytを超えている画素数を示す輝度評価値Gyと、色差の差分が所定の色差差分値である閾値Ctを超えている画素数を示す色差評価値Gcとを求める。色差にはCb値とCr値とがあるが、本実施の形態では、それぞれの値の2画素間の差の絶対値の和を、色差の差分として算出する。   Next, in step S160, the system controller 9 compares the image in the image memory 3A and the image in the image memory 3B, and the luminance difference between the two images (absolute value of the luminance difference) is a predetermined luminance difference value. A luminance evaluation value Gy indicating the number of pixels exceeding the threshold Yt and a color difference evaluation value Gc indicating the number of pixels where the difference in color difference exceeds the threshold Ct that is a predetermined color difference difference value are obtained. The color difference includes a Cb value and a Cr value. In this embodiment, a sum of absolute values of differences between two pixels of each value is calculated as a difference in color difference.

輝度評価値Gy、色差評価値Gcは、画像メモリ3Aの画像に、インターバル撮影に好ましくない動きの速い物体が写っているか否かを判定するために求めるものである。   The luminance evaluation value Gy and the color difference evaluation value Gc are obtained in order to determine whether or not a fast-moving object that is not preferable for interval shooting appears in the image of the image memory 3A.

例えば、風景をインターバル撮影している場合において、画面内を鳥が通り過ぎたとする。このような場合、図4に示すような画像が採用画像として画像メモリ3Bに記憶されているときに、図5に示すような、鳥(図5において円で囲った部分)が写った画像が画像メモリ3Aに取り込まれることがある。この場合の、画像メモリ3Aの画像と画像メモリ3Bの画像との輝度差分を白黒画像にしたものを図6に示し、色差差分を白黒画像にしたものを図7に示す。また、図6において輝度の差があらわれている部分の拡大図を図8に示す。   For example, it is assumed that a bird has passed through the screen when the landscape is photographed at intervals. In such a case, when an image as shown in FIG. 4 is stored in the image memory 3B as an adopted image, an image showing a bird (a portion surrounded by a circle in FIG. 5) as shown in FIG. 5 is obtained. The image memory 3A may be loaded. FIG. 6 shows a black and white image of the luminance difference between the image in the image memory 3A and the image in the image memory 3B in this case, and FIG. 7 shows a black and white image of the color difference difference. FIG. 8 is an enlarged view of a portion where a difference in luminance appears in FIG.

なお、図6〜図8は、説明の便宜のために示すものであり、図6〜図8のような画像状態を作らなくとも、システムコントローラ9は輝度評価値Gy、色差評価値Gcを求めることができる。   6 to 8 are shown for convenience of explanation, and the system controller 9 obtains the luminance evaluation value Gy and the color difference evaluation value Gc without creating the image states as shown in FIGS. be able to.

画像メモリ3Aの画像に写った鳥は、図6、図8のように、輝度の差分としてあらわれる。なお、この場合は、図7のように、色差の差分としてはあらわれないが、撮影対象によっては、動きの速い物体が色差の差分としてあらわれることもある。このようなことから、上記の輝度評価値Gy、色差評価値Gcが大きい場合、画像メモリ3Aの画像に動きの速い物体が写っている可能性がある。   Birds appearing in the image of the image memory 3A appear as luminance differences as shown in FIGS. In this case, as shown in FIG. 7, the difference in color difference does not appear, but depending on the photographing target, a fast moving object may appear as the difference in color difference. For this reason, when the luminance evaluation value Gy and the color difference evaluation value Gc are large, there is a possibility that a fast moving object appears in the image of the image memory 3A.

そこで、ステップS170において、システムコントローラ9は、ステップS160で求めた輝度評価値Gyおよび色差評価値Gcが、ともに所定の閾値S以下であるか否かを判断する。   Therefore, in step S170, the system controller 9 determines whether or not both the luminance evaluation value Gy and the color difference evaluation value Gc obtained in step S160 are equal to or less than a predetermined threshold value S.

輝度評価値Gyおよび色差評価値Gcがともに閾値S以下である場合(ステップS170:YES)、ステップS130において、システムコントローラ9は、画像メモリ3Aの画像は動きの速い物体が写っている可能性のある画像ではないと判定して、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bにコピーして記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。   When both the luminance evaluation value Gy and the color difference evaluation value Gc are equal to or smaller than the threshold value S (step S170: YES), in step S130, the system controller 9 may cause a fast-moving object to appear in the image of the image memory 3A. It is determined that the image is not a certain image, and the adopted image in the current interval period is determined, and this adopted image is copied and stored in the image memory 3B. The adopted image stored in the image memory 3B is taken into the encoding image memory 4.

閾値Yt、閾値Ct、閾値Sは、予め設定されるものである。これらを適切に設定することで、撮影対象の風景における雲や太陽光などのゆっくりした変化や、撮像素子22からのノイズなどによる画像の変化は無視し、鳥などの動きの速い物体による画像の変化を捉えることができる。   The threshold value Yt, the threshold value Ct, and the threshold value S are set in advance. By appropriately setting these, it is possible to ignore slow changes such as clouds and sunlight in the scene to be photographed, and changes in the image due to noise from the image sensor 22, and the image of the fast-moving object such as a bird is ignored. Change can be captured.

輝度評価値Gyおよび色差評価値Gcのうちの少なくともいずれか一方が閾値Sを超える場合(ステップS170:NO)、ステップS180において、システムコントローラ9は、今回のインターバル期間が終了する所定時間前(例えば1秒前)になったか否かを判断する。今回のインターバル期間が終了する所定時間前になった場合(ステップS180:YES)、ステップS190に進む。今回のインターバル期間が終了する所定時間前になっていない場合(ステップS180:NO)、ステップS110に戻り、システムコントローラ9は、次の画像を撮影して画像メモリ3Aに取り込ませ、以降の処理を繰り返す。   When at least one of the luminance evaluation value Gy and the color difference evaluation value Gc exceeds the threshold value S (step S170: NO), in step S180, the system controller 9 makes a predetermined time before the end of the current interval period (for example, It is determined whether or not 1 second ago. When the present interval period is a predetermined time before the end (step S180: YES), the process proceeds to step S190. If the current interval period is not the predetermined time before the end (step S180: NO), the process returns to step S110, and the system controller 9 captures the next image and loads it into the image memory 3A. repeat.

ステップS180からステップS110に戻った場合、撮影部2からはV同期のタイミングでしか画像を画像メモリ3Aに取り込めないが、取り込み可能になり次第、画像メモリ3Aへの画像の取り込みを行う。   When the process returns from step S180 to step S110, the image can be taken into the image memory 3A from the photographing unit 2 only at the timing of V synchronization, but the image is taken into the image memory 3A as soon as it can be taken in.

ステップS190では、システムコントローラ9は、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶された画像を、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bに記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。   In step S190, the system controller 9 determines the image captured at the start timing of the current interval period and stored in the image memory 3C as the adopted image for the current interval period, and this adopted image is stored in the image memory 3B. Remember. The adopted image stored in the image memory 3B is taken into the encoding image memory 4.

上述のような図3のフローチャートに示した一連の処理により、まず、最初のインターバル期間においては、その開始のタイミングで撮影された画像がそのまま採用画像となる。2回目以降のインターバル期間では、まず、そのインターバル期間の開始のタイミングで撮影され画像メモリ3Aに取り込まれた画像が、前回のインターバル期間の採用画像である画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。動きの速い物体が写っている可能性のある画像ではないと判定された場合は、画像メモリ3Aの画像が採用画像に決定し、採用画像は画像メモリ3Bに記憶され、エンコード用画像メモリ4に取り込まれる。   By the series of processes shown in the flowchart of FIG. 3 as described above, first, in the first interval period, an image taken at the start timing becomes an adopted image as it is. In the second and subsequent interval periods, first, the image captured at the start timing of the interval period and captured in the image memory 3A is compared with the image in the image memory 3B that is the adopted image in the previous interval period, and the movement It is determined whether or not the image may have a fast object. When it is determined that the image is not likely to include a fast-moving object, the image in the image memory 3A is determined as the adopted image, and the adopted image is stored in the image memory 3B and stored in the encoding image memory 4. It is captured.

動きの速い物体が写っている可能性のある画像であると判定された場合は、その画像メモリ3Aの画像は撮影画像としては採用されず、すぐに次の画像が撮影され画像メモリ3Aに取り込まれ、画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。このような画像の撮り直しおよび判定が、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られるまで繰り返される。   If it is determined that the image may have a fast-moving object, the image in the image memory 3A is not adopted as a captured image, and the next image is immediately captured and taken into the image memory 3A. Then, it is compared with the image in the image memory 3B, and it is determined whether or not the image has a possibility that a fast-moving object is captured. Such re-taking and determination of an image are repeated until an image is determined that is determined not to be an image in which a fast-moving object may be captured.

例えば、図4のような風景を、10秒のインターバル期間を設定して撮影している場合に、2回目以降のインターバル期間である今回のインターバル期間において、その開始タイミングに図5のように画面内に鳥が入っており、その後約2秒間をかけて画面外に鳥が飛び去るとする。   For example, when a landscape as shown in FIG. 4 is shot with an interval period of 10 seconds set, the start timing is displayed as shown in FIG. 5 in the current interval period, which is the second and subsequent interval periods. Suppose a bird is inside, and then it takes about 2 seconds to fly off the screen.

この場合、今回のインターバル期間の開始タイミングで撮影され画像メモリ3Aに取り込まれた図5のような画像は、動きの速い物体が写っている可能性のある画像であると判定される。すると、すぐ次の画像の取り込み可能なタイミングで、撮影部2から画像メモリ3Aへの画像の取り込みが行われる。そして、この2枚目の画像が画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。   In this case, the image as shown in FIG. 5 captured at the start timing of the current interval period and taken into the image memory 3A is determined to be an image in which a fast-moving object may be captured. Then, the capturing of the image from the photographing unit 2 to the image memory 3A is performed at the timing when the next image can be captured immediately. Then, the second image is compared with the image in the image memory 3B, and it is determined whether or not there is a possibility that a fast-moving object is captured.

システムコントローラ9による2画像の比較および判定処理には、例えば100msの時間を要する。また、前述のように撮影部2からはV同期のタイミングでしか画像を画像メモリ3Aに取り込めない。このため、今回のインターバル期間で2枚目に撮影された画像は、最初に開始タイミングで撮影された画像と、(100ms+V同期待ち時間)だけ時間軸上で離れている。しかしながら、この例では、鳥が画面外に飛び去るまで約2秒間かかるため、今回のインターバル期間で2枚目に撮影された画像にも鳥が写っており、動きの速い物体が写っている可能性のある画像であると判定される。すると、次の画像が撮り直され、画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。   For example, a time of 100 ms is required for the comparison and determination processing of two images by the system controller 9. Further, as described above, the image can be taken into the image memory 3A from the photographing unit 2 only at the timing of V synchronization. For this reason, the second image captured in the current interval period is separated from the first image captured at the start timing on the time axis by (100 ms + V synchronization waiting time). However, in this example, since it takes about 2 seconds for the bird to fly off the screen, the bird is also captured in the second image taken during this interval, and a fast-moving object can be captured. It is determined that the image has a characteristic. Then, the next image is retaken and compared with the image in the image memory 3B, and it is determined whether or not there is a possibility that a fast-moving object is captured.

これが繰り返されながら時間が経過すると、鳥が画面外に飛び去り、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、この画像が今回のインターバル期間の採用画像に決定する。このようにすることで、今回のインターバル期間の採用画像は、前回のインターバル期間の採用画像から約12秒後に撮影されたものになり、設定された時間間隔と異なる。しかし、その代わりに、動画として再生したときにノイズのようにあらわれる鳥の撮影を回避できる。   If this time repeats and the time elapses, the bird will fly off the screen and an image will be determined that is not likely to show a fast-moving object, and this image will be used for this interval period Decide on an image. In this way, the adopted image in the current interval period is taken about 12 seconds after the adopted image in the previous interval period, and is different from the set time interval. However, it is possible to avoid shooting birds that appear like noise when played back as a moving image.

なお、鳥のような動きの速い物体が画面に入る場合以外でも、例えば、インターバル期間の間に、雲の間から差す太陽光の状態が大きく変化したような場合、画像メモリ3Aに取り込まれた画像が、画像メモリ3Bの画像と比較して、輝度評価値Gyおよび色差評価値Gcのうちの少なくともいずれか一方が閾値Sを超えるようになることがある。このような画像も、撮影を避けるべき可能性のある画像として、動きの速い物体が写っている可能性のある画像と同様に扱う。   Note that even when a fast-moving object such as a bird enters the screen, for example, when the state of sunlight that changes from between clouds changes greatly during the interval period, the image memory 3A captures it. In some cases, an image may have at least one of a luminance evaluation value Gy and a color difference evaluation value Gc exceeding a threshold value S as compared with an image in the image memory 3B. Such an image is also handled in the same manner as an image that may show a fast-moving object as an image that may be avoided.

さて、上記のような撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間の終了が迫る状況になる場合もある。例えば、鳥が画面内にいる状態がインターバル期間を超えるほど継続した場合は、上記のような状況になる。また、雲の間から差す太陽光の状態が大きく変化した新しい状態や、その状態がさらに変化するような状態が、インターバル期間を超えるほど継続したような場合も同様である。   Now, even if the re-taking and determination processes as described above are repeated, the end of the current interval period ends without obtaining an image that is determined not to be an image that may have a fast-moving object. In some cases, the situation is imminent. For example, when the state where the bird is in the screen continues so as to exceed the interval period, the above situation occurs. The same applies to a case where a new state in which the state of sunlight inserted from between the clouds has greatly changed or a state in which the state further changes continues beyond the interval period.

そこで、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前(例えば1秒前)になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶された画像が、今回のインターバル期間の採用画像に決定される。これが、図3のステップS180,S190の処理を行う理由である。   Therefore, a predetermined time before the end of the current interval period without obtaining an image that is determined not to be an image that may have a fast-moving object even if the re-taking and determination processes are repeated ( For example, if it is 1 second ago, it is unavoidable to use an image that may show a fast-moving object, and an image that is captured at the start of this interval period and stored in the image memory 3C Is determined as the adopted image in the current interval period. This is the reason why the processes in steps S180 and S190 in FIG. 3 are performed.

この際、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶しておいた画像を採用画像に用いるのは、インターバル撮影の撮影タイミングを崩さないことになり好ましいからである。画像メモリ3Cは、この役割のために設けられているものである。   At this time, it is preferable to use the image taken at the start timing of the current interval period and stored in the image memory 3C as the adopted image because the shooting timing of the interval shooting is not lost. The image memory 3C is provided for this role.

以上のような処理により、システムコントローラ9は、それぞれのインターバル期間において採用画像を決定し、採用画像を画像メモリ3Bからエンコード用画像メモリ4に入れつつ、動画エンコーダ5においてH.264方式で動画エンコードを行うよう制御する。この際、不要になった画像は破棄される。   Through the processing as described above, the system controller 9 determines the adopted image in each interval period, and puts the adopted image from the image memory 3B into the encoding image memory 4 while the H.V. Control is performed so that video encoding is performed in the H.264 format. At this time, unnecessary images are discarded.

そして、システムコントローラ9は、動画エンコーダ5で生成されたビデオ符号化データと、無音データ生成部6で生成された無音データとをマルチプレクサ7でマルチプレクスし、AVCHD規格のストリームとして記録部8に記録するよう制御する。また、システムコントローラ9は、動画エンコーダ5から動画に関する情報を取得するとともに、無音データ生成部6から音声に関する情報を取得し、これらの情報からストリームの管理情報を生成して、これをAVCHDの管理情報として記録部8に記録する。   Then, the system controller 9 multiplexes the encoded video data generated by the moving image encoder 5 and the silence data generated by the silence data generation unit 6 by the multiplexer 7 and records them in the recording unit 8 as a stream of the AVCHD standard. Control to do. Further, the system controller 9 acquires information related to the moving image from the moving image encoder 5, acquires information related to the sound from the silent data generation unit 6, generates stream management information from these information, and uses this information to manage AVCHD Information is recorded in the recording unit 8.

以上説明したように、第1の実施の形態では、設定されたインターバル期間の開始のタイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返し、動きの速い物体が写っている可能性のある画像でない画像が得られたら、その画像を今回のインターバル期間における採用画像に決定する。これにより、インターバル撮影の際に画面を通り過ぎた鳥等の動きの速い物体が撮影され、動画の再生画像にノイズのように現れる事態の発生を低減することができる。   As described above, in the first embodiment, it is determined whether or not an image captured at the start timing of the set interval period is an image in which a fast-moving object may be captured. However, if it is determined that the image may have a fast-moving object, the image is not adopted as a captured image, and the next image is immediately captured. It is determined whether or not the image may have an object. This process is repeated, and when an image that is not an image that may show a fast-moving object is obtained, that image is determined as the adopted image in the current interval period. This makes it possible to reduce the occurrence of a situation in which a fast moving object such as a bird that has passed the screen during interval shooting is captured and appears as noise in a playback image of a moving image.

また、今回のインターバル期間が終了する所定時間前のタイミングまでに、動きの速い物体が写っている可能性のある画像でない画像が得られない場合は、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定することで、動きの速い物体が写っている可能性のある画像の採用が避けられないような場合に、インターバル撮影の撮影タイミングが崩れることを回避できる。   In addition, if an image that is not an image that may show a fast-moving object is not obtained by a predetermined time before the end of the current interval period, the image is taken at the start timing of the current interval period. By determining the selected image as the current adopted image, it is possible to prevent the shooting timing of the interval shooting from being lost when it is unavoidable to use an image that may show a fast-moving object.

このように第1の実施の形態によれば、インターバル撮影によって得られる動画の品質を向上することができる。   As described above, according to the first embodiment, the quality of a moving image obtained by interval shooting can be improved.

なお、撮り直しを行うことにより、本来の撮影タイミングである、インターバル期間の開始のタイミングより遅れて撮影された画像を採用画像とした場合、次回のインターバル期間の開始タイミングは変更しなくてもよいし、本来の撮影間隔を守るために、次回のインターバル期間の開始のタイミングを遅らせてもよい。   In addition, when the image taken later than the start timing of the interval period, which is the original shooting timing, is used as the adopted image by performing re-shooting, the start timing of the next interval period may not be changed. However, in order to keep the original shooting interval, the start timing of the next interval period may be delayed.

例えば、前述の例のように、インターバル期間が10秒の設定で、鳥の撮影を回避するために、今回のインターバル期間の採用画像が、前回のインターバル期間の採用画像から約12秒後に撮影されたものになったような場合、次回のインターバル期間の開始のタイミングを、今回のインターバル期間の採用画像の撮影時から、変更せずに約8秒後としてもよいし、遅らせて10秒後としてもよい。   For example, as in the above example, when the interval period is set to 10 seconds, in order to avoid shooting the bird, the adopted image of the current interval period is taken about 12 seconds after the adopted image of the previous interval period. In such a case, the timing of the start of the next interval period may be about 8 seconds without change from the time of shooting the adopted image in the current interval period, or 10 seconds after the delay. Also good.

また、前述のように、インターバル撮影においてよく撮影対象とされる空を含む風景の撮影時において、空を飛ぶ鳥が不要な物体となることが多いが、鳥は画像中に黒く写ることが多いため、輝度評価値Gyを求める際、輝度の低い画素に重み付けをすることで、鳥が写っている画像を、動きの速い物体が写っている可能性のある画像として判定しやすくすることができる。例えば、輝度評価値Gyを求める際、画像メモリ3Aの画像と画像メモリ3Bの画像との間で、輝度の差分が閾値Ytを超えている画素であり、かつ、画像メモリ3Aの画像における輝度値が所定の閾値Yd未満である画素については、1画素ではなくn画素(nは2以上の数)に重み付けしてカウントするようにすればよい。   In addition, as described above, when shooting a landscape including the sky that is often taken in interval shooting, a bird flying in the sky often becomes an unnecessary object, but the bird often appears black in the image. Therefore, when obtaining the luminance evaluation value Gy, by weighting pixels with low luminance, it is possible to easily determine an image in which a bird is captured as an image in which a fast-moving object may be captured. . For example, when obtaining the luminance evaluation value Gy, the luminance value in the image of the image memory 3A is a pixel whose luminance difference exceeds the threshold value Yt between the image in the image memory 3A and the image in the image memory 3B. For pixels with a value less than the predetermined threshold Yd, it is only necessary to count not n pixels but n pixels (n is a number of 2 or more).

そこで、特に風景中の鳥の撮影を回避することを目的とするモードを設け、このモードがユーザに選択された場合には、上記のように輝度評価値Gyを求めてインターバル撮影の採用画像の判定を行うようにしてもよい。   Therefore, a mode for avoiding shooting of birds in the landscape is provided, and when this mode is selected by the user, the luminance evaluation value Gy is obtained as described above to determine the image used for interval shooting. You may make it perform determination.

また、輝度の値(に対応する画素値)、色差の値(に対応する画素値)のいずれか一方のみを用い、輝度評価値Gyまたは色差評価値Gcを画像評価値として求め、これを閾値Sと比較して、画像メモリ3Aの画像が動きの速い物体が写っている可能性のある画像であるか否かを判定するようにしてもよい。   Further, using only one of the luminance value (pixel value corresponding thereto) and the color difference value (pixel value corresponding thereto), the luminance evaluation value Gy or the color difference evaluation value Gc is obtained as an image evaluation value, and this is used as a threshold value Compared to S, it may be determined whether or not the image in the image memory 3 </ b> A is an image in which a fast-moving object may be captured.

(変形例)
図9は、本発明の第1の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。
(Modification)
FIG. 9 is a block diagram showing a configuration of an imaging apparatus according to a modification of the first embodiment of the present invention.

図1に示した第1の実施の形態の撮影装置1は、インターバル撮影において直接動画を記録するものであったが、図9に示す本変形例の撮影装置1Aは、インターバル撮影した静止画を記録するものである。撮影装置1Aに記録された静止画は、パーソナルコンピュータ等の外部機器を用いて動画に変換される。   The image capturing apparatus 1 according to the first embodiment shown in FIG. 1 directly records a moving image in interval shooting, but the image capturing apparatus 1A of the present modification shown in FIG. To record. The still image recorded in the photographing apparatus 1A is converted into a moving image using an external device such as a personal computer.

図9に示すように、本変形例に係る撮影装置1Aは、図1の撮影装置1に対し、エンコード用画像メモリ4、動画エンコーダ5、無音データ生成部6、およびマルチプレクサ7を省略し、画像メモリ3Bから入力される採用画像をJPEG(Joint Photographic Experts Group)方式で圧縮する静止画エンコーダ11を設けた構成である。   As shown in FIG. 9, the imaging apparatus 1A according to the present modification omits the encoding image memory 4, the moving image encoder 5, the silent data generation unit 6, and the multiplexer 7 from the imaging apparatus 1 of FIG. This is a configuration in which a still image encoder 11 is provided for compressing an adopted image input from the memory 3B by a JPEG (Joint Photographic Experts Group) method.

撮影装置1Aにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際、第1の実施の形態で説明した撮影装置1と同様の動作により、採用画像を決定する。   When the photographing apparatus 1A performs interval photographing in a mode that avoids photographing a fast-moving object, an adopted image is determined by the same operation as the photographing apparatus 1 described in the first embodiment.

システムコントローラ9は、それぞれのインターバル期間における採用画像を決定すると、採用画像を画像メモリ3Bから静止画エンコーダ11に送り、静止画エンコーダ11で採用画像をJPEG圧縮するよう制御する。   When the adopted image is determined for each interval period, the system controller 9 sends the adopted image from the image memory 3B to the still image encoder 11, and controls the still image encoder 11 to JPEG compress the adopted image.

そして、システムコントローラ9は、静止画エンコーダ11からJPEG画像を取り出してEXIF(Exchangeable Image File Format)規格のサムネイルを生成し、サムネイル付きのJPEG画像にしてから、これを記録部8に記録する。   Then, the system controller 9 extracts a JPEG image from the still image encoder 11 to generate an EXIF (Exchangeable Image File Format) standard thumbnail, makes it a JPEG image with a thumbnail, and records this in the recording unit 8.

このような本変形例の撮影装置1Aにおいても、上記第1の実施の形態で説明した図1の撮影装置1と同様に、インターバル撮影によって得られる動画の品質を向上することができる。   In the imaging apparatus 1A of this modification as well, the quality of a moving image obtained by interval imaging can be improved in the same manner as the imaging apparatus 1 of FIG. 1 described in the first embodiment.

[第2の実施の形態]
第1の実施の形態では、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影された画像を採用画像に決定する。
[Second Embodiment]
In the first embodiment, even if the re-shooting and determination processes are repeated, an image that is determined not to be an image in which a fast-moving object may be captured is not obtained, and the current interval period is When it is a predetermined time before the end, it is unavoidable to adopt an image that may show a fast-moving object, and an image taken at the start timing of the current interval period is determined as the adopted image.

このため、例えば、インターバル期間が10秒の設定で風景を撮影している場合に、前回のインターバル期間の採用画像に写っていなかった鳥が今回のインターバル期間の開始のタイミングで撮影した画像に写り、その鳥が今回のインターバル期間中、画面内に留まっていると、鳥が写っている画像を採用画像とせざるを得なくなる。インターバル期間が短いほど、鳥が写った画像を採用画像とせざるを得なくなる可能性が高い。   For this reason, for example, when a landscape is shot with an interval period set to 10 seconds, a bird that was not shown in the adopted image in the previous interval period is shown in the image taken at the start timing of the current interval period. If the bird stays on the screen during this interval, the image in which the bird is shown must be adopted. The shorter the interval period, the higher the possibility that an image showing a bird will have to be adopted.

そこで、第2の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を一時的に保留し、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像を採用しないことにして、動きの速い物体が写っている可能性のある画像が採用画像となることを低減する。   Therefore, in the second embodiment, for an interval period in which an image that may show a fast-moving object must be determined as an adopted image, the determination of the adopted image is temporarily suspended and adopted. If the number of consecutive interval periods for which determination of images has been suspended is less than a predetermined number, there is a possibility that a fast-moving object is shown by not adopting images for interval periods for which determination of adopted images has been suspended Reduces an image from becoming an adopted image.

図10は、本発明の第2の実施の形態に係る撮影装置の構成を示すブロック図である。図10に示すように第2の実施の形態に係る撮影装置1Bは、図1に示した第1の実施の形態の撮影装置1に対し、画像メモリ3Cを候補画像保存部12に置き換えた構成である。   FIG. 10 is a block diagram showing a configuration of an imaging apparatus according to the second embodiment of the present invention. As shown in FIG. 10, the imaging apparatus 1B according to the second embodiment has a configuration in which the image memory 3C is replaced with a candidate image storage unit 12 compared to the imaging apparatus 1 of the first embodiment shown in FIG. It is.

候補画像保存部12は、それぞれ1フレームの画像を記憶可能な画像メモリ121A,121B,121Cを備える。画像メモリ121A〜121Cは、インターバル期間の開始のタイミングで撮影された画像を採用画像の候補画像として画像メモリ3Aから取り込んで保存する。   The candidate image storage unit 12 includes image memories 121A, 121B, and 121C that can each store an image of one frame. The image memories 121 </ b> A to 121 </ b> C capture and store images captured at the start timing of the interval period from the image memory 3 </ b> A as candidate images of adopted images.

なお、本実施の形態では、候補画像保存部12が3つの画像メモリ121A〜121Cを備える例で説明するが、候補画像保存部12が備える画像メモリの数はこれに限らない。   In the present embodiment, an example in which the candidate image storage unit 12 includes three image memories 121A to 121C will be described. However, the number of image memories included in the candidate image storage unit 12 is not limited thereto.

次に、撮影装置1Bのインターバル撮影時の動作について説明する。   Next, the operation at the time of interval photographing of the photographing apparatus 1B will be described.

図11は、第2の実施の形態の撮影装置1Bにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。   FIG. 11 is a flowchart illustrating an operation when interval shooting is performed in a mode that avoids shooting of a fast-moving object in the shooting apparatus 1B of the second embodiment.

インターバル撮影が開始されると、ステップS210において、システムコントローラ9は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップS210の採用画像を決定する処理の詳細は後述する。   When interval shooting is started, in step S210, the system controller 9 performs a process of determining an adopted image that is an image to be adopted as a captured image in the current interval period. Details of the process of determining the adopted image in step S210 will be described later.

ステップS220では、システムコントローラ9は、ステップS210において、今回のインターバル期間の採用画像の決定を保留したか否かを判断する。なお、後述するように、最初のインターバル期間では採用画像の決定を保留することはないが、2回目以降のインターバル期間では採用画像の決定を保留することがある。したがって、後段のステップS270から戻ってステップS210の処理を行った場合では、今回のインターバル期間の採用画像を保留する場合がある。   In step S220, the system controller 9 determines whether or not the determination of the adopted image for the current interval period has been suspended in step S210. As will be described later, the determination of the adopted image is not suspended in the first interval period, but the determination of the adopted image may be suspended in the second and subsequent interval periods. Therefore, when the process returns from the subsequent step S270 and the process of step S210 is performed, the adopted image for the current interval period may be suspended.

採用画像の決定を保留した場合(ステップS220:YES)、ステップS240に進む。採用画像の決定を保留しなかった場合(ステップS220:NO)、ステップS230において、システムコントローラ9は、候補画像保存部12の画像メモリ121A〜121Cに保存されている候補画像をすべて破棄する。その後、ステップS260に進む。   When the determination of the adopted image is suspended (step S220: YES), the process proceeds to step S240. When the determination of the adopted image is not suspended (step S220: NO), in step S230, the system controller 9 discards all candidate images stored in the image memories 121A to 121C of the candidate image storage unit 12. Thereafter, the process proceeds to step S260.

ステップS240では、システムコントローラ9は、候補画像が3枚たまっているか否か、つまり候補画像保存部12の画像メモリ121A〜121Cのすべてに候補画像が1枚ずつ保存されているか否かを判断する。   In step S240, the system controller 9 determines whether or not three candidate images are accumulated, that is, whether or not candidate images are stored one by one in all of the image memories 121A to 121C of the candidate image storage unit 12. .

候補画像が3枚たまっている場合(ステップS220:YES)、ステップS250において、システムコントローラ9は、保存されている3枚の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、これらをエンコード用画像メモリ4に送る。3枚の候補画像のうち最も新しい、今回のインターバル期間で撮影された画像は、画像メモリ3Bにも送られて記憶され、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。候補画像が3枚はたまっていない場合(ステップS220:NO)、ステップS260に進む。   When three candidate images are accumulated (step S220: YES), in step S250, the system controller 9 determines the three candidate images stored as adopted images in the interval period during which each was captured, These are sent to the encoding image memory 4. The newest image of the three candidate images taken during the current interval period is also sent to and stored in the image memory 3B and used as a comparison target image for determining the adopted image in the next interval period. It is done. When three candidate images are not accumulated (step S220: NO), the process proceeds to step S260.

ステップS260では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS260:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。   In step S260, the system controller 9 determines based on the operation signal from the operation input unit 10 whether or not a shooting stop operation for stopping interval shooting has been performed. When the shooting stop operation is performed (step S260: YES), the system controller 9 controls to end the interval shooting.

撮影停止操作が行われていない場合(ステップS260:NO)、ステップS270において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合(ステップS270:YES)、ステップS210に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合(ステップS270:NO)、ステップS260に戻る。   If the photographing stop operation has not been performed (step S260: NO), in step S270, it is determined whether or not the timing for starting the next interval period has come. When it is time to start the next interval period (step S270: YES), the process returns to step S210 to determine an image to be used in the next interval period, and the subsequent processing is repeated. If it is not time to start the next interval period (step S270: NO), the process returns to step S260.

図12は、上記ステップS210で行うインターバル期間の採用画像を決定する処理の手順を示すフローチャートである。   FIG. 12 is a flowchart showing a procedure of processing for determining an adopted image in the interval period performed in step S210.

図12において、ステップS310〜S340,S360〜S380の処理は、第1の実施の形態で説明した図3のフローチャートのステップS110〜S340,S160〜S180と同様であるため詳細な説明を省略し、第1の実施の形態との相違箇所であるステップS350,S390について主に説明する。   In FIG. 12, steps S310 to S340 and S360 to S380 are the same as steps S110 to S340 and S160 to S180 in the flowchart of FIG. 3 described in the first embodiment, and thus detailed description thereof is omitted. Steps S350 and S390 that are different from the first embodiment will be mainly described.

ステップS350では、システムコントローラ9は、ステップS210で画像メモリ3Aに取り込んだ、今回のインターバル期間の開始のタイミングで撮影された画像を、候補画像保存部12の画像メモリ121A〜121Cのうちの空いているいずれかにコピーして記憶させる。   In step S350, the system controller 9 uses the image captured at the start timing of the current interval period, which has been captured in the image memory 3A in step S210, in the image memories 121A to 121C of the candidate image storage unit 12. Copy it to one of them and store it.

ステップS390では、システムコントローラ9は、今回のインターバル期間の採用画像の決定を行わずに保留する。この場合、ステップS350で候補画像保存部12に保存した、今回のインターバル期間の開始のタイミングで撮影された画像が、今回の採用画像の候補画像として保存される。   In step S390, the system controller 9 puts on hold without determining the adopted image in the current interval period. In this case, the image captured at the start timing of the current interval period, which is stored in the candidate image storage unit 12 in step S350, is stored as a candidate image of the current adopted image.

なお、この際、画像メモリ3Bの画像は更新せず、その画像が引き続き、次回のインターバル期間においても、採用画像を決定する際の、画像メモリ3Aに取り込まれる画像の比較対象の画像として用いられる。   At this time, the image in the image memory 3B is not updated, and the image continues to be used as an image to be compared with the image captured in the image memory 3A when the adopted image is determined in the next interval period. .

上述のような図11、図12のフローチャートに示した一連の処理により、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になった場合、第1の実施の形態のように今回のインターバル期間の開始のタイミングで撮影された画像がすぐに採用画像に決定するのではなく、決定が保留される。決定が保留された場合、今回のインターバル期間の開始のタイミングで撮影された画像は、採用画像の候補画像として候補画像保存部12に残される。また、画像メモリ3Bの画像は更新されない。   The series of processing shown in the flowcharts of FIGS. 11 and 12 as described above does not provide an image that is determined not to be an image that may show a fast-moving object, and the current interval period is When it is a predetermined time before the end, the image captured at the start timing of the current interval period is not immediately determined as the adopted image as in the first embodiment, but the determination is suspended. When the decision is put on hold, an image taken at the start timing of the current interval period is left in the candidate image storage unit 12 as a candidate image for the adopted image. Further, the image in the image memory 3B is not updated.

ここで、k回目のインターバル期間で採用画像の決定が保留され、候補画像保存部12に1枚の候補画像が保存されているとする。この1枚の候補画像は画像メモリ121Aに保存されているとする。   Here, it is assumed that determination of the adopted image is suspended during the k-th interval period, and one candidate image is stored in the candidate image storage unit 12. It is assumed that this one candidate image is stored in the image memory 121A.

次のk+1回目のインターバル期間の開始のタイミングで撮影され画像メモリ3Aに取り込まれた画像は、画像メモリ121Bにコピーされる。このインターバル期間でも採用画像の決定が保留された場合、画像メモリ121A,121Bに合計2枚の候補画像が保存されている状態となり、さらに次のk+2回目のインターバル期間の開始のタイミングで撮影された画像が画像メモリ121Cにコピーされる。   An image captured at the start timing of the next k + 1-th interval period and captured in the image memory 3A is copied to the image memory 121B. If the determination of the adopted image is suspended even during this interval period, a total of two candidate images are stored in the image memories 121A and 121B, and the image is taken at the start timing of the next k + 2 interval period. The image is copied to the image memory 121C.

このk+2回目のインターバル期間においても採用画像の決定が保留された場合、つまり、候補画像保存部12に3枚の候補画像がたまっている状態で採用画像の決定が保留された場合、保存されている3枚の候補画像が、それぞれが撮影されたインターバル期間における採用画像として決定され、エンコード用画像メモリ4に送られる。3枚の候補画像のうち最も新しい、k+2回目のインターバル期間で撮影された画像は、画像メモリ3Bにも送られて記憶され、k+3回目のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。   If the adopted image decision is suspended even in the k + 2th interval period, that is, if the decision of the adopted image is suspended with three candidate images accumulated in the candidate image storage unit 12, it is saved. The three candidate images are determined as adopted images in the interval period in which each of the candidate images is photographed, and sent to the encoding image memory 4. The newest image of the three candidate images taken in the (k + 2) th interval period is also sent to and stored in the image memory 3B, and a comparison target image for determining the adopted image in the (k + 3) th interval period. Used as

一方、あるインターバル期間で、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、その画像が採用画像となり、採用画像の決定が保留されなかった場合、そのときに候補画像保存部12に保存されている候補画像はすべて破棄される。この場合、本来の撮影タイミングであるインターバル期間の開始タイミングで撮影された画像が、最大で3枚(3フレーム)、動画作成には用いられずに破棄されることになる。   On the other hand, if an image that is determined not to be an image in which a fast-moving object is likely to be captured in an interval period is obtained, and that image becomes the adopted image and the decision of the adopted image is not suspended, Sometimes the candidate images stored in the candidate image storage unit 12 are all discarded. In this case, a maximum of three images (3 frames) captured at the start timing of the interval period, which is the original capturing timing, are discarded without being used for moving image creation.

例えば、インターバル期間が10秒で、あるインターバル期間の開始のタイミング時に画面内にいた鳥が、25秒ほどで画面外に飛び去ったとする。このような場合、第1の実施の形態では、鳥が写ったフレームを含む動画が作成されるが、第2の実施の形態では、候補画像保存部12に保存されている、鳥が写っている2フレームが破棄されるので、動画には鳥が写ったフレームは含まれない。   For example, it is assumed that the interval period is 10 seconds, and a bird that was in the screen at the start timing of a certain interval period flew off the screen in about 25 seconds. In such a case, in the first embodiment, a moving image including a frame including a bird is created, but in the second embodiment, a bird stored in the candidate image storage unit 12 is captured. Since the two frames are discarded, the moving image does not include the frame in which the bird appears.

上記のようにフレームを破棄して動画を作成した場合、破棄されたフレームに対応する部分で、鳥を除く撮影対象の変化が時間軸上でリニアでなくなり、結果として動画の動きが一瞬スムーズでなくなる可能性がある。しかし、破棄されるフレームが少なければ、例えば本実施の形態のように3フレームまでなら、破棄しても、撮影対象がゆっくりと変化する風景のようなものであれば動画の品質への悪影響は少なく、鳥が写ってノイズのように見えるよりはよい。   When a movie is created by discarding frames as described above, the change in the shooting target excluding birds is not linear on the time axis in the part corresponding to the discarded frame, and as a result, the motion of the movie is smooth for a moment. There is a possibility of disappearing. However, if the number of discarded frames is small, for example, up to 3 frames as in the present embodiment, even if the frame is discarded, if it is like a landscape where the shooting target changes slowly, there is no adverse effect on the quality of the video. Better than a bird appears to look like noise.

このように、第2の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を保留して候補画像を保存しておき、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像の採用を行わず、採用画像の決定を保留したインターバル期間の連続数が所定数になった場合、候補画像を採用画像に決定する。これにより、インターバル撮影によって得られる動画の再生画像に動きの速い物体がノイズのように現れることを低減する一方、撮影画像を採用しないインターバル期間が生じることによる動画の品質への悪影響は小さく抑えることができる。   As described above, in the second embodiment, for an interval period in which an image in which a fast-moving object may be captured is inevitably determined as an adopted image, determination of the adopted image is suspended and candidate images are held. If the number of consecutive interval periods for which the decision of the adopted image is suspended is less than the predetermined number, the adoption of the adopted image is suspended without adopting the image for the interval period for which the decision of the adopted image is suspended. When the number of consecutive interval periods reaches a predetermined number, the candidate image is determined as the adopted image. This reduces the appearance of fast-moving objects like noise in the playback image of the movie obtained by interval shooting, while minimizing the adverse effect on the quality of the movie caused by the interval period in which the shot image is not used. Can do.

なお、第2の実施の形態では、撮影装置に直接動画を記録する構成を示したが、第1の実施の形態の変形例のように、静止画を記録するようにしてもよい。   In the second embodiment, the configuration in which a moving image is directly recorded on the photographing apparatus is shown. However, a still image may be recorded as in the modification of the first embodiment.

[第3の実施の形態]
第1の実施の形態では、今回のインターバル期間において撮影した画像を、前回のインターバル期間の採用画像と比較して、輝度評価値Gyおよび色差評価値Gcを求め、これらの値から、今回のインターバル期間において撮影した画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定している。
[Third Embodiment]
In the first embodiment, an image captured in the current interval period is compared with an adopted image in the previous interval period to obtain a luminance evaluation value Gy and a color difference evaluation value Gc, and from these values, the current interval It is determined whether or not an image captured during the period is an image that may include a fast-moving object.

インターバル撮影では、風景等のゆっくり変化するものを撮影対象とするが、例えば、風景中の雲が流れることで、風景が大きく変わることがある。このような場合、風景の変化によって輝度評価値Gyや色差評価値Gcが大きくなるため、鳥等の動きの速い物体が実際に写っていなくても、動きの速い物体が写っている可能性のある画像と判定されてしまうことがある。このようなことが起こる可能性は、インターバル期間が長いほど高くなる。   In the interval shooting, a slowly changing object such as a landscape is taken as an object to be imaged. For example, the landscape may change greatly due to the flow of clouds in the landscape. In such a case, since the luminance evaluation value Gy and the color difference evaluation value Gc increase due to a change in the landscape, there is a possibility that a fast-moving object is captured even if a fast-moving object such as a bird is not actually captured. It may be determined as an image. The likelihood of this happening increases as the interval period increases.

このようなことから、第1の実施の形態では、インターバル期間が長いほど、鳥等の動きの速い物体が実際に写っている画像を採用画像に決定してしまうことを避けることが難しくなる。   For this reason, in the first embodiment, the longer the interval period, the harder it is to avoid determining the adopted image as an image that actually shows an object that moves quickly, such as a bird.

そこで、第3の実施の形態では、第1の実施の形態におけるインターバル期間ごとの採用画像を決定する処理を、設定されたインターバル期間より短い期間である判断期間ごとに行い、1つ以上の判断期間おきに、その判断期間における採用画像をインターバル期間ごとの正式採用画像として決定して動画エンコード対象とする。   Therefore, in the third embodiment, the process of determining the adopted image for each interval period in the first embodiment is performed for each determination period that is shorter than the set interval period, and one or more determinations are made. Every other period, the adopted image in the determination period is determined as the officially adopted image for each interval period, and is set as a moving image encoding target.

第3の実施の形態における上記の判断期間とインターバル期間との関係の一例を図13に示す。図13の例では、インターバル期間が20秒間、判断期間が5秒間であり、3つの判断期間おきに採用画像をインターバル期間の正式採用画像として決定する。つまり、ある判断期間の採用画像をインターバル期間の正式採用画像として動画エンコード対象とすると、その後に続く3つの判断期間の採用画像は動画エンコード対象とはせず、4つ目の判断期間の採用画像をインターバル期間の正式採用画像とする。これを繰り返す。   An example of the relationship between the determination period and the interval period in the third embodiment is shown in FIG. In the example of FIG. 13, the interval period is 20 seconds and the determination period is 5 seconds, and the adopted image is determined as the officially adopted image of the interval period every three judgment periods. In other words, if an adopted image in a certain judgment period is a video encoding target as an officially adopted image in the interval period, then the adopted images in the following three judgment periods are not subject to the video encoding target, and are adopted in the fourth judgment period. Is an officially adopted image during the interval period. Repeat this.

第3の実施の形態に係る撮影装置は、図1に示した第1の実施の形態の撮影装置1と同様の構成であるため、第3の実施の形態においても図1を用いて説明する。   Since the imaging device according to the third embodiment has the same configuration as the imaging device 1 of the first embodiment shown in FIG. 1, the third embodiment will also be described with reference to FIG. .

図14は、第3の実施の形態において、撮影装置1で動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。   FIG. 14 is a flowchart illustrating an operation when performing interval shooting in a mode in which shooting of a fast-moving object is avoided in the shooting apparatus 1 in the third embodiment.

第3の実施の形態では、インターバル撮影において、図13に示したようなインターバル期間および判断期間が設定される。   In the third embodiment, an interval period and a determination period as shown in FIG. 13 are set in interval shooting.

インターバル撮影が開始されると、ステップS410において、システムコントローラ9は、今回の判断期間において撮影画像として採用する採用画像を決定する処理を行う。   When interval shooting is started, in step S410, the system controller 9 performs a process of determining an adopted image to be adopted as a captured image in the current determination period.

ステップS410の処理は、第1の実施の形態で説明した図3のフローチャートの処理と実質的に同様であるため説明を省略するが、図3における「インターバル期間」を、第3の実施の形態においては「判断期間」に読み替えて適用する。ただし、この段階では、判断期間の採用画像を画像メモリ3Bからエンコード用画像メモリ4に送ることは行わない。   The processing in step S410 is substantially the same as the processing in the flowchart of FIG. 3 described in the first embodiment, and thus description thereof is omitted. However, the “interval period” in FIG. In the case of, the term “judgment period” is applied. However, at this stage, the adopted image for the determination period is not sent from the image memory 3B to the encoding image memory 4.

ステップS420では、システムコントローラ9は、動画エンコード用の画像を採用する判断期間の採用画像が決定したか否かを判断する。ここで、インターバル撮影開始後の最初の判断期間の採用画像は、正式採用画像として動画エンコード対象とする。その後、例えば図13の例であれば、3つの判断期間おきに、動画エンコード用の画像を採用する判断期間が到来する。   In step S420, the system controller 9 determines whether or not an adopted image for the determination period in which an image for moving image encoding is employed has been determined. Here, the adopted image in the first determination period after the start of interval shooting is set as a video encoding target as an officially adopted image. Thereafter, for example, in the example of FIG. 13, a determination period for adopting an image for video encoding arrives every three determination periods.

動画エンコード用の画像を採用する判断期間の採用画像が決定した場合(ステップS420:YES)、ステップS430に進み、動画エンコード用の画像を採用する判断期間の採用画像が決定していない場合(ステップS420:NO)、ステップS440に進む。   When the adopted image for the determination period for adopting the video encoding image is determined (step S420: YES), the process proceeds to step S430, and the adopted image for the determination period for adopting the video encoding image is not determined (step). (S420: NO), the process proceeds to step S440.

ステップS430では、システムコントローラ9は、決定した採用画像を、画像メモリ3Bからエンコード用画像メモリ4に送る。その後、ステップS440に進む。   In step S430, the system controller 9 sends the determined adopted image from the image memory 3B to the encoding image memory 4. Thereafter, the process proceeds to step S440.

ステップ
S440では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS440:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。
In step S440, the system controller 9 determines whether or not a shooting stop operation for stopping interval shooting has been performed based on the operation signal from the operation input unit 10. When the photographing stop operation is performed (step S440: YES), the system controller 9 controls to end the interval photographing.

撮影停止操作が行われていない場合(ステップS440:NO)、ステップS450において、次回の判断期間の開始のタイミングになったか否かを判断する。次回の判断期間の開始のタイミングになった場合(ステップS450:YES)、ステップS410に戻り、次回の判断期間で採用する画像を決定し、以降の処理を繰り返す。次回の判断期間の開始のタイミングになっていない場合(ステップS450:NO)、ステップS440に戻る。   If the photographing stop operation has not been performed (step S440: NO), it is determined in step S450 whether or not the timing for starting the next determination period has come. When it is time to start the next determination period (step S450: YES), the process returns to step S410, an image to be used in the next determination period is determined, and the subsequent processing is repeated. If it is not time to start the next determination period (step S450: NO), the process returns to step S440.

以上のような処理により、システムコントローラ9は、インターバル撮影の正式採用画像を決定し、その画像を画像メモリ3Bからエンコード用画像メモリ4に入れつつ、動画エンコーダ5においてH.264方式で動画エンコードを行うよう制御する。そして、システムコントローラ9は、動画エンコーダ5で生成されたビデオ符号化データと、無音データ生成部6で生成された無音データとをマルチプレクサ7でマルチプレクスし、AVCHD規格のストリームとして記録部8に記録するよう制御する。   Through the processing as described above, the system controller 9 determines an officially adopted image for interval shooting, puts the image into the encoding image memory 4 from the image memory 3B, and moves the H. Control is performed so that video encoding is performed in the H.264 format. Then, the system controller 9 multiplexes the encoded video data generated by the moving image encoder 5 and the silence data generated by the silence data generation unit 6 by the multiplexer 7 and records them in the recording unit 8 as a stream of the AVCHD standard. Control to do.

このように、第3の実施の形態では、設定されたインターバル期間を複数に分割した判断期間ごとに採用画像を決定する処理を行い、正式採用画像として動画エンコード対象とする画像はインターバル期間ごとに決定することで、動きの速い物体が写っている可能性のある画像(フレーム)がインターバル撮影によって得られる動画に含まれ、再生画像に動きの速い物体がノイズのように現れることを低減することができる。第3の実施の形態は、インターバル期間が長い設定のときに有効である。   As described above, in the third embodiment, processing for determining an adopted image is performed for each determination period obtained by dividing the set interval period into a plurality of images, and images that are subject to video encoding as officially adopted images are determined for each interval period. By deciding, images (frames) that may show fast-moving objects are included in the video obtained by interval shooting, reducing the appearance of fast-moving objects like noise in the playback image Can do. The third embodiment is effective when the interval period is set to be long.

例えば、第1の実施の形態の処理では、前述したように、インターバル期間が20秒間のように長い設定の場合よりも、5秒間のように短い設定の場合のほうが、動きの速い物体が写っている画像をインターバル撮影の採用画像に決定してしまうことを避けることができる可能性が高い。第3の実施の形態では、第1の実施の形態と同様の処理により5秒間の判断期間の採用画像とした画像から、正式採用画像として動画エンコード対象とする画像を20秒間のインターバル期間ごとに決定するので、インターバル期間を20秒間として第1の実施の形態の処理を行う場合よりも、動きの速い物体が写っている可能性のある画像がインターバル撮影の動画に含まれる可能性を低減できる。   For example, in the processing according to the first embodiment, as described above, a fast-moving object is captured when the interval period is set to be short, such as 20 seconds, than when the interval period is set to be long, such as 20 seconds. There is a high possibility that it is possible to avoid the determination of the selected image as an image used for interval shooting. In the third embodiment, an image that is a video encoding target as an officially adopted image is selected for each 20-second interval period from an image that has been adopted for a determination period of 5 seconds by the same processing as in the first embodiment. Therefore, it is possible to reduce the possibility that an image in which a fast-moving object is captured is included in the moving image of the interval shooting, as compared with the case where the processing of the first embodiment is performed with the interval period being 20 seconds. .

なお、インターバル期間が判断期間の整数倍になるような設定にすることが好ましいが、そうでなくても第3の実施の形態の方法は適用可能である。例えば、設定されたインターバル期間I=20秒間のとき、判断期間H=3秒間として、6E、6E、7Eの期間でそれぞれ1枚の正式採用画像を決定し、この周期を繰り返すようにしてもよい。この場合、インターバル撮影の時間間隔が一定ではなくなるが、撮影対象がゆっくり変化するものであれば、その時間軸上の誤差は、動画としたときには無視できる程度である。   Although it is preferable to set the interval period to be an integral multiple of the determination period, the method of the third embodiment is applicable even if it is not. For example, when the set interval period I is 20 seconds, the determination period H is 3 seconds, and one officially adopted image is determined for each of the periods 6E, 6E, and 7E, and this cycle may be repeated. . In this case, the time interval of interval shooting is not constant, but if the shooting target changes slowly, the error on the time axis is negligible when it is a moving image.

なお、第3の実施の形態においても、撮影装置に直接動画を記録する構成に限らず、第1の実施の形態の変形例のように、静止画を記録するようにしてもよい。   Note that the third embodiment is not limited to the configuration in which a moving image is directly recorded on the photographing apparatus, and a still image may be recorded as in the modification of the first embodiment.

上記各実施の形態およびその変形例に係る撮影装置の有する機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワーク等を介して伝送されてコンピュータに取り込まれてもよい。   You may make it make a computer implement | achieve the function which the imaging device which concerns on each said embodiment and its modification has with a program. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network or the like and loaded into a computer.

1,1A,1B 撮影装置
2 撮影部
3A,3B,3C,121A,121B,121C 画像メモリ
4 エンコード用画像メモリ
5 動画エンコーダ
6 無音データ生成部
7 マルチプレクサ
8 記録部
9 システムコントローラ
10 操作入力部
11 静止画エンコーダ
12 候補画像保存部
21 レンズ
22 撮像素子
23 信号処理部
24 タイミングジェネレータ(TG)
DESCRIPTION OF SYMBOLS 1,1A, 1B Image pick-up device 2 Image pick-up part 3A, 3B, 3C, 121A, 121B, 121C Image memory 4 Encoding image memory 5 Movie encoder 6 Silent data generation part 7 Multiplexer 8 Recording part 9 System controller 10 Operation input part 11 Stationary Image encoder 12 Candidate image storage unit 21 Lens 22 Image sensor 23 Signal processing unit 24 Timing generator (TG)

Claims (6)

被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置。
A shooting unit that takes a picture of a subject and obtains an image;
Among the images obtained by the photographing unit, an image determining unit that determines an adopted image to be adopted as a photographed image for each set interval period;
A pixel in which a difference between pixel values of two images to be compared is compared with a previously adopted image, which is an adopted image in the previous interval period, and an image photographed after the current interval period is exceeded. A determination unit that obtains an image evaluation value indicating a number and determines whether the image evaluation value is equal to or less than a preset threshold value;
The image determination unit shoots the subject with the shooting unit from the start timing of the current interval period until an image whose image evaluation value when compared with the previous adopted image is less than or equal to the threshold is obtained. If the image evaluation value is less than or equal to the threshold value is controlled to repeat the process of performing the determination by the determination unit for comparing the obtained image and the previously adopted image as a comparison target, the image is determined to be the current interval period. If an image whose image evaluation value is less than or equal to the threshold value is not obtained by a predetermined time before the end of the current interval period, the image was taken at the predetermined timing of the current interval period. An imaging apparatus characterized in that an image is determined as a currently adopted image.
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置。
An imaging unit that captures an image of the subject and
Among the images obtained by the photographing unit, an image determining unit that determines an adopted image to be adopted as a photographed image for each set interval period;
A pixel in which a difference between pixel values of two images to be compared is compared with a previously adopted image, which is an adopted image in the previous interval period, and an image photographed after the current interval period is exceeded. A determination unit that obtains an image evaluation value indicating a number and determines whether the image evaluation value is equal to or less than a preset threshold value;
The image determination unit shoots the subject with the shooting unit from the start timing of the current interval period until an image whose image evaluation value when compared with the previous adopted image is less than or equal to the threshold is obtained. If the image evaluation value is less than or equal to the threshold value is controlled to repeat the process of performing the determination by the determination unit for comparing the obtained image and the previously adopted image as a comparison target, the image is determined to be the current interval period. If an image with the image evaluation value equal to or less than the threshold value is not obtained by a predetermined time before the end of the current interval period, the determination of the adopted image is suspended and the current interval period is determined. An interval at which an image taken at a predetermined timing is stored in the candidate image storage unit as a candidate image of the currently adopted image and the decision on the adopted image is deferred In the next interval period, an interval period in which the determination unit processing is continued using the image used as the previous adopted image in the processing of the determination unit in the immediately preceding interval period, and the determination of the adopted image is suspended. When the predetermined number of images are consecutive, the predetermined number of candidate images stored in the candidate image storage unit are determined as adopted images in the interval period in which each is photographed, and an interval period during which the determination of the adopted images is suspended An imaging apparatus, wherein a candidate image stored in the candidate image storage unit is discarded when there is an interval period during which determination of an adopted image is not suspended before a predetermined number of consecutive images.
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する1枚の正式採用画像を決定する画像決定部と、
前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置。
A shooting unit that takes a picture of a subject and obtains an image;
Of the images obtained by the photographing unit, an image to be adopted as a photographed image for each set judgment period is determined, and a photographed image of an interval period longer than the judgment period is selected from the photographed images adopted in a plurality of judgment periods. An image determination unit for determining one officially adopted image to be adopted as
The previous adopted image, which is an image adopted as the photographed image in the previous judgment period, is compared with the image photographed after the current judgment period, and the difference in pixel value between the two images to be compared is a predetermined difference value. An image evaluation value indicating the number of pixels exceeding the threshold, and a determination unit that determines whether the image evaluation value is equal to or less than a preset threshold value,
The image determination unit captures an image of the subject with the imaging unit from the start timing of the current determination period until an image having an image evaluation value equal to or less than the threshold value when compared with the previously adopted image is obtained. If the image evaluation value is less than or equal to the threshold value is controlled to repeat the process of performing the determination by the determination unit for comparing the obtained image and the previously adopted image as a comparison target, the image is determined as the current determination period. If an image with the image evaluation value equal to or less than the threshold value is not obtained by a predetermined time before the end of the current determination period, the image was taken at the predetermined timing of the current determination period. An imaging apparatus, wherein an image is determined as a currently adopted image, and further, an adopted image is determined as an officially adopted image in an interval period every one or more determination periods.
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定する
ことを特徴とするインターバル撮影方法。
During interval shooting, an interval shooting method in a shooting device that determines an adopted image to be adopted as a shot image for each set interval period from an image shot of a subject,
Shoot the subject at the start of the interval period,
The previous adopted image, which is the adopted image in the previous interval period, is compared with the image taken at the start timing of the current interval period, and the pixel value difference between the two images to be compared exceeds the predetermined difference value. Obtain an image evaluation value indicating the number of pixels, determine whether the image evaluation value is less than or equal to a preset threshold,
When the image taken at the start timing of the current interval period is an image whose image evaluation value is equal to or lower than the threshold value compared to the previously adopted image, the image was taken at the start timing of the current interval period. The image is decided to be the adopted image this time,
When the image taken at the start timing of the current interval period is an image whose image evaluation value exceeds the threshold compared to the previous adopted image, the image evaluation when compared with the previous adopted image Shooting the subject until an image having a value equal to or less than the threshold value is obtained, comparing the obtained image and the previously adopted image, and repeating the determination process,
When an image whose image evaluation value when compared with the previous adopted image is less than or equal to the threshold is obtained, the image is determined to be the adopted image in the current interval period, and a timing before a predetermined time when the current interval period ends. If an image with the image evaluation value equal to or less than the threshold value is not obtained by the time, an image captured at a predetermined timing in the current interval period is determined as the currently adopted image.
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、
採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、
採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄する
ことを特徴とするインターバル撮影方法。
During interval shooting, an interval shooting method in a shooting device that determines an adopted image to be adopted as a shot image for each set interval period from an image shot of a subject,
Shoot the subject at the start of the interval period,
The previous adopted image, which is the adopted image in the previous interval period, is compared with the image taken at the start timing of the current interval period, and the pixel value difference between the two images to be compared exceeds the predetermined difference value. Obtain an image evaluation value indicating the number of pixels, determine whether the image evaluation value is less than or equal to a preset threshold,
When the image taken at the start timing of the current interval period is an image whose image evaluation value is equal to or lower than the threshold value compared to the previously adopted image, the image was taken at the start timing of the current interval period. The image is decided to be the adopted image this time,
When the image taken at the start timing of the current interval period is an image whose image evaluation value exceeds the threshold compared to the previous adopted image, the image evaluation when compared with the previous adopted image Shooting the subject until an image having a value equal to or less than the threshold value is obtained, comparing the obtained image and the previously adopted image, and repeating the determination process,
When an image whose image evaluation value when compared with the previous adopted image is less than or equal to the threshold is obtained, the image is determined to be the adopted image in the current interval period, and a timing before a predetermined time when the current interval period ends. If an image with the image evaluation value equal to or less than the threshold value is not obtained by the time, the determination of the adopted image is suspended and an image captured at a predetermined timing in the current interval period is selected as a candidate image for the current adopted image. In the interval period next to the interval period that is stored in the image storage unit and the determination of the adopted image is suspended, the determination is performed using the image used as the previous adopted image when performing the determination in the immediately preceding interval period. Done
When the predetermined number of interval periods for suspending the determination of the adopted images are consecutive, the predetermined number of candidate images stored in the candidate image storage unit are determined as adopted images in the interval period in which each is captured,
The candidate image stored in the candidate image storage unit is discarded when there is an interval period during which the determination of the adopted image is not suspended before the predetermined number of interval periods for which the determination of the adopted image is suspended. Interval shooting method.
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、
前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、
1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定する
ことを特徴とするインターバル撮影方法。
At the time of interval shooting, an interval shooting method in a shooting device that determines an officially adopted image to be adopted as a shot image for each set interval period from an image shot of a subject,
Shoot the subject at the start of the judgment period, which is shorter than the interval period,
The previous adopted image, which is the adopted image adopted as the captured image in the previous determination period, is compared with the image captured at the start timing of the current determination period, and the difference in pixel value between the two images to be compared is predetermined. Obtain an image evaluation value indicating the number of pixels exceeding the difference value, determine whether the image evaluation value is less than or equal to a preset threshold,
When the image taken at the start timing of the current determination period is an image whose image evaluation value is equal to or lower than the threshold value compared to the previously adopted image, the image was taken at the start timing of the current determination period. The image is decided to be the adopted image this time,
When the image taken at the start timing of the current determination period is an image whose image evaluation value exceeds the threshold compared to the previous adopted image, the image evaluation when compared with the previous adopted image Shooting the subject until an image having a value equal to or less than the threshold value is obtained, comparing the obtained image and the previously adopted image, and repeating the determination process,
When an image whose image evaluation value when compared with the previous adopted image is less than or equal to the threshold value is obtained, the image is determined as the adopted image in the current determination period, and a timing before a predetermined time when the current determination period ends. If the image evaluation value is less than or equal to the threshold value by the time, the image taken at a predetermined timing of the current determination period is determined as the currently adopted image,
An interval photographing method characterized in that an adopted image is determined as an officially adopted image of an interval period every one or more judgment periods.
JP2010116452A 2010-05-20 2010-05-20 Photographing apparatus and interval photographing method Pending JP2011244336A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010116452A JP2011244336A (en) 2010-05-20 2010-05-20 Photographing apparatus and interval photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010116452A JP2011244336A (en) 2010-05-20 2010-05-20 Photographing apparatus and interval photographing method

Publications (1)

Publication Number Publication Date
JP2011244336A true JP2011244336A (en) 2011-12-01

Family

ID=45410505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010116452A Pending JP2011244336A (en) 2010-05-20 2010-05-20 Photographing apparatus and interval photographing method

Country Status (1)

Country Link
JP (1) JP2011244336A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233250A (en) * 2014-06-10 2015-12-24 キヤノン株式会社 Image processing apparatus and control method thereof
JP2018006828A (en) * 2016-06-27 2018-01-11 キヤノン株式会社 Imaging apparatus, control method therefor and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233250A (en) * 2014-06-10 2015-12-24 キヤノン株式会社 Image processing apparatus and control method thereof
JP2018006828A (en) * 2016-06-27 2018-01-11 キヤノン株式会社 Imaging apparatus, control method therefor and program

Similar Documents

Publication Publication Date Title
JP4193804B2 (en) IMAGING DEVICE, IMAGE STORAGE DEVICE, IMAGING METHOD, STORAGE METHOD, AND PROGRAM
US8411158B2 (en) Image sensing apparatus and storage medium
CN102611865B (en) Apparatus and method for processing moving image data
US20140153900A1 (en) Video processing apparatus and method
KR20150090999A (en) Image processing apparatus, image processing method and computer readable recording medium having program for generating time-lapse moving image
JP5888614B2 (en) IMAGING DEVICE, VIDEO CONTENT GENERATION METHOD, AND PROGRAM
US8428121B2 (en) Image pick-up apparatus for shooting and reproducing a moving image
KR101871675B1 (en) Image capturing apparatus and control method therefor
EP2819396B1 (en) Moving image generating apparatus and moving image generating method
JP6304293B2 (en) Image processing apparatus, image processing method, and program
JP2009194770A (en) Imaging device, moving image reproducing apparatus, and program thereof
JP4761048B2 (en) Imaging apparatus and program thereof
JP6354877B2 (en) Imaging control apparatus, and control method and program thereof
US8363128B2 (en) Image processing apparatus and image processing method
JP2022035713A (en) Image capture apparatus, image processing apparatus, control method, system, program, and storage medium
JP2011244336A (en) Photographing apparatus and interval photographing method
JP6103481B2 (en) Imaging apparatus, and control method and program thereof
JP5321308B2 (en) Image processing apparatus and image processing program
JP6775386B2 (en) Imaging device, its control method, program and recording medium
JP7246894B2 (en) Imaging device and its control method
JP6346529B2 (en) Imaging device, control method thereof, and program
JP6378589B2 (en) Imaging device, control method thereof, and program
JP6360409B2 (en) Imaging apparatus and imaging method
JP6282136B2 (en) Imaging apparatus and control method thereof
US20140002696A1 (en) Image generating apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012