JP2004187018A - Method and device for photographing moving picture - Google Patents

Method and device for photographing moving picture Download PDF

Info

Publication number
JP2004187018A
JP2004187018A JP2002351884A JP2002351884A JP2004187018A JP 2004187018 A JP2004187018 A JP 2004187018A JP 2002351884 A JP2002351884 A JP 2002351884A JP 2002351884 A JP2002351884 A JP 2002351884A JP 2004187018 A JP2004187018 A JP 2004187018A
Authority
JP
Japan
Prior art keywords
image
imaging
unit
recording
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002351884A
Other languages
Japanese (ja)
Other versions
JP4404290B2 (en
Inventor
Yoshiki Ishige
善樹 石毛
Noboru Yumoto
昇 湯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2002351884A priority Critical patent/JP4404290B2/en
Publication of JP2004187018A publication Critical patent/JP2004187018A/en
Application granted granted Critical
Publication of JP4404290B2 publication Critical patent/JP4404290B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and a device for photographing moving pictures which allow a recording frame rate to be always changed and set at a proper timing. <P>SOLUTION: In moving picture recording of consecutively picking up images of a subject and making picked-up images into frame pictures, a preceding image is kept undeleted after the second or following image is picked up (YES in SA2), and a current image and the preceding image stored in a buffer memory are compared with each other, and recording operation is skipped to delete the current image in the case of a small difference between them (SA3 to SA6). In the case that the preceding image has been deleted or a difference between the current image and the preceding image is large (NO in SA3 or SA5), the current image is recorded in a preservation memory (SA7). As a result, the recording frame rate can be changed on the basis of variation images in the same time interval, and the proper recording frame rate is always set. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、電子スチルカメラ等に用いて好適な動画撮影装置、及び動画撮影方法に関する。
【0002】
【従来の技術】
従来、動画撮影機能を有するデジタルカメラにおいては動画を静止画単位で圧縮するmotion−jpeg方式が多く採用されており、動画撮影時には、例えば1秒間に15枚などの固定のフレームレートで画像が記録されている。
【0003】
また、下記の特許文献1には、被写体の状態に拘わらず常に被写体を精度よく撮像することを目的として、被写体速度や画像の明るさに応じて、連続して撮像する画像(以下、フレーム画像という。)の撮像間隔(フレームレート)を変更するデジタルカメラが記載されている。
【0004】
【特許文献1】
特開2001−358984号公報(「0050」段落参照)
【0005】
【発明が解決しようとする課題】
しかしながら、より少ない画像枚数で効率よく動画撮影を行うことを目的とし、前述したように被写体速度や画像の明るさの変化つまり被写体(画像)の変化に応じ、撮像する画像のフレームレート(撮像フレームレート)を変更して画像の記録間隔(記録フレームレート)を変更することにより枚数を節約しようとする場合には、以下のような問題があった。
【0006】
すなわち撮像フレームレートが標準の時と高速の時とでは、フレーム画像の撮像間隔が異なるため、相前後して撮像される被写体の変化度合が全く同じ状態でも、標準フレームレート時と高速フレームレート時とでは画像比較による判断結果が変わってしまう。そのため、判断結果にブレが生じてしまうことにより、撮影途中に適切な記録フレームレートの切り替えを行うことができなくなり、その結果、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく(小さく)なり、記録される動画自体が不自然となる。しかも再生時において各画像を連続表示するときの再生フレームレートを調整したとしても、自然な動画を再生することができないという問題があった。
【0007】
本発明は、かかる従来の課題に鑑みてなされたものであり、常に適切なタイミングで記録フレームレートを変更設定することができる動画撮影装置、及び動画撮影方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記課題を解決するために請求項1の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置において、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段とを備えたものとした。
【0009】
かかる構成においては、動画撮影中には、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき、フレーム画像として記録される各画像の撮像時間間隔が制御されるため、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【0010】
また、請求項2の発明にあっては、前記制御手段は、前記撮像手段による同一の時間間隔による撮像動作で撮像された被写体の前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、今回の画像の記録手段への記録の可否を判断する判断手段と、この判別手段により記録すべきと判断された今回の画像のみをフレーム画像として前記記録手段に記録させる記録制御手段とを含むものとした。
【0011】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートを一定(固定)にし、順次得られる前後するフレーム画像同士の変化の度合が検出され、その検出結果に応じて各フレーム画像の記録の可否を決定される。つまり、撮像された画像の記録が、同一の時間間隔内における画像の変化度合に基づき間引かれることとなり、その結果、記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【0012】
また、請求項3の発明にあっては、前記記録制御手段は、前回の画像を前記記録手段に記録させていない場合には、前記判断手段の判断結果によらず、今回の画像をフレーム画像として前記記録手段に記憶させるものとした。
【0013】
かかる構成においては、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いたにおいて、必要以上に記録画像が間引かれることが防止できる。
【0014】
また、請求項4の発明にあっては、前記制御手段は、前記撮像手段により撮像された前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、前記判断手段における撮像間隔の変更の可否の判断基準を、前記撮像間隔変更手段による変更後の撮像間隔に対応する判断基準に変更する判断基準変更手段とを含むものとした。
【0015】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートが、前回の画像と今回の画像との変化度合に応じて変更されることにより、記録フレームレートが変更され、同時に撮像フレームレートを変更するか否かの判断基準が、各時点の撮像フレームレートに対応する判断基準に変更される。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【0016】
また、請求項5の発明にあっては、前記制御手段は、前記撮像手段により撮像された今回の画像とそれ以前に撮像された過去の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、前記検出手段における前記両画像間の変化の度合を検出するに際して今回の画像の比較対照となる過去の画像を、前記撮像間隔変更手段による変更後の撮像間隔に応じた所定の時期に前記撮像手段により撮像された画像に変更する比較画像変更手段とを含むものとした。
【0017】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートが、今回の画像とそれ以前に撮像された過去の画像との変化度合に応じて変更されることにより、記録フレームレートが変更され、同時に今回の画像の比較対照となる過去の画像が、変更後の記録フレームレートに応じた所定の時期に撮像された画像に変更される。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【0018】
また、請求項6の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録する動画撮影方法において、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出する工程と、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する工程とからなる方法とした。
【0019】
かかる方法によれば、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【0020】
また、請求項7の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置が有するコンピュータを、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段として機能させるためのプログラムとした。
【0021】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
【0022】
(第1の実施の形態)
図1は、本発明の各実施の形態に共通する電子スチルカメラ1の概略構成を示すブロック図である。この電子スチルカメラ1は、通常の静止画撮影機能に加え、motion−jpeg方式による動画撮影機能を備えたものであり、撮像手段であるCCD2とDSP/CPU3とを有している。DSP/CPU3は、jpeg方式による画像データの圧縮・伸張処理を含む各種のデジタル信号処理機能を有するとともに電子スチルカメラ1の各部を制御するワンチップマイコンである。
【0023】
DSP/CPU3には、CCD2を駆動するTG(Timing Generator)4が接続されており、TG4には、CCD2から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路5が接続されている。ユニット回路5は、CCD2が光電変換により出力する撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、その撮像信号を増幅するゲイン調整アンプ(AGC)、増幅後の撮像信号をデジタル信号に変換するA/D変換器(AD)から構成されており、CCD2の出力信号はユニット回路5を経てデジタル信号としてDSP/CPU3に送られる。
【0024】
DSP/CPU3には、表示装置6、キー入力部7が接続されるとともに、アドレス・データバス8を介してDRAM9、内蔵フラッシュメモリ10、カード・インターフェイス11が接続されており、カード・インターフェイス11には、電子スチルカメラ1の本体の図示しないスロットルに装着された着脱自在なメモリ・カード12が接続されている。
【0025】
DRAM9は、CCD2により撮像された後デジタル化された被写体の画像データ等を一時記憶するバッファメモリであるとともに、DSP/CPU3のワーキングメモリとしても使用される。特に、DRAM9には、後述する動画撮影時において、CCD2により相前後して撮像された2枚分の画像データを記憶するための記憶領域が確保される。
【0026】
内蔵フラッシュメモリ10には、DSP/CPU3の動作プログラムや各部の制御に使用する各種データが記憶されており、DSP/CPU3は、前記動作プログラムに従い動作することにより本発明の検出手段、判断手段、記録制御手段として機能する。メモリ・カード12は、JPEG方式で圧縮された静止画像及びmotion−jpeg方式による動画像のファイルを記録する保存用メモリ(記録手段)である。
【0027】
表示装置6はカラーLCDとその駆動回路とを含み、撮影待機状態にあるときにはCCD2によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード12から読み出されて伸張された記録画像を表示する。キー入力部7はシャッターボタン、電源キー、MENUキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をDSP/CPU3に出力する。
【0028】
次に、以上の構成からなる電子スチルカメラ1の動画撮影時における動作について説明する。図2は、動画撮影モードが設定された後、ユーザーによりシャッターボタンが押されたときのDSP/CPU3の動画撮影処理の手順を示すフローチャートである。
【0029】
DSP/CPU3は、シャッターボタンが押されることにより処理を開始し、まず、CCD2により撮像した画像をDRAM9に転送し一時記憶する(ステップSA1)。次に、ここで記憶した画像が、シャッターボタンが押された当初のように2枚目以降の画像でなければ(ステップSA2でNO)、今回撮像された画像(フレーム画像)をメモリ・カード12に転送して記録する(ステップSA7)。
【0030】
引き続き、シャッターボタンが押されていれば(ステップSA8でYES)、ステップSA1へ戻って2回目の撮像を行う。2回目以降の撮像を行った後には(ステップSA2でYES)、まず、直前に撮像した画像を間引きしていなかったか否か、つまり前回撮像した画像の記録をスキップしていなかったか否かを判別する(ステップSA3)。この判別は、後述するフラグの状態を確認することにより行う。ここで、画像を間引きしていたときには(ステップSA3でNO)、今回撮像されたフレーム画像をメモリ・カード12に転送して記録する(ステップSA7)。
【0031】
また、直前に撮像した画像を間引きしていなければ(ステップSA3でYES)、前回撮像したフレーム画像と、今回撮像したフレーム画像とを比較する(ステップSA4)。係る比較処理は、予め決められた手順により、例えば両画像について全体的又は部分的な明るさや輝度分布を演算し、双方の演算結果に基づき両画像間における変化の度合いを変化量として数値化して取得する処理である。そして、今回のフレーム画像において前回との差が大きい、つまり前記変化量が予め決められている所定の閾値を超えていれば(ステップSA5でNO)、そのままステップSA7へ進み、今回撮像したフレーム画像をメモリ・カード12に転送して記録する。
【0032】
これに対し、今回のフレーム画像において前回との差が小さい、つまり前記変化量が閾値以下であったときには(ステップSA5でYES)、今回のフレーム画像を間引いた旨を示すフラグを立てた後(ステップSA6)、今回のフレーム画像を記録することなく、ステップSA8へ進む。したがって、この直後に、シャッターボタンがまだ押されていたときには(ステップSA8でYES)、前述したステップSA3の判別結果がNOとなり、次に撮像した画像を無条件にメモリ・カード12に転送して記録する。そして、シャッターボタンが押され続けている間においては、前述した処理を繰り返し、シャッターボタンが離されたら(ステップSA8でNO)、その時点で動画撮影処理を終了する。
【0033】
以上のように本実施の形態では、撮像フレームレート(撮像動作の間隔)を一定(固定)にし、今回のフレーム画像と前回のフレーム画像との変化度合が小さい時にだけ、そのフレーム画像を間引く(記録動作をスキップする)ことから、結果的に、記録フレームレートを同一の時間間隔内における画像の変化度合に基づき変更することができる。したがって、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく(小さく)なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【0034】
しかも、本実施の形態においては、前回のフレーム画像を間引きしていた場合には、今回のフレーム画像を必ず記録するようにしたことから、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いた場合、つまり被写体の動きが小さい間に、必要以上に記録画像が間引かれることが防止できる。よって、そのような場合においても、より自然な状態で再生可能な動画を撮影することができる。
【0035】
なお、本実施の形態においては、フレーム画像の変化が少ない状態が続いた場合に2フレームに1回はフレーム画像を記録するようにしたが、フレーム画像の変化に関係なくフレーム画像を記録させる頻度は任意に設定可能であり、例えば3フレームに1回、3フレームに2回、フレーム画像を記録するようにしてもよい。
【0036】
(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。本実施の形態は、第1の実施の形態と異なり、CCD2による画像の撮像フレームレートを、相前後して撮像した画像の変化に応じて、高フレームレート(毎秒20枚)と低フレームレート(毎秒10枚)とに変更する電子スチルカメラに関するものである。
【0037】
また、本実施の形態の電子スチルカメラのハード構成は、図1に示したものと同様であるが、内蔵フラッシュメモリ10には、DSP/CPU3を本発明の検出手段、判断手段、撮像間隔変更手段、判断基準変更手段として機能させるためのプログラムが格納されている。また、本実施の形態においても、動画撮影時においてDRAM9には、CCD2により相前後して撮像された2枚分の画像データを記憶するための記憶領域が確保されるようになっている。
【0038】
以下、本実施の形態における電子スチルカメラの動作を、動画撮影モードでユーザーによりシャッターボタンが押されたときDSP/CPU3が実行する動画撮影処理の手順を示す図3及び図4のフローチャートに従って説明する。
【0039】
DSP/CPU3は、シャッターボタンが押されることにより処理を開始し、まず、高フレームレート撮影モードを設定し(ステップSB1)、さらに後述する撮像フレームレートの切り替え動作の判断基準となる変化量の閾値として、予め決められている高フレームレート撮影モード用の第1の閾値を設定する(ステップSB2)。引き続き、CCD2による撮像処理を行い(ステップSB3)、CCD2から出力されたフレーム画像のDRAM9への一時記憶が終了したら(ステップSB4でYES)、DRAM9に記憶されている前回のフレーム画像と今回のフレーム画像とを比較する(ステップSB5)。係る比較処理は第1の実施の形態のステップSA4の処理と同様であり、最終的には両画像の変化の度合いを示す変化量を取得する。次に、取得した変化量が、現在設定されている閾値(動画撮影を開始した当初においては第1の閾値)を超えているか否か、つまり前記変化量が大きいか否かを判別し(ステップSB6)、その判別結果に応じて以下の処理を行う。
【0040】
すなわち上記変化量がそのときの閾値を超えていない場合にあっては(ステップSB6でNO)、その時点で設定されている撮影モードが高フレームレート撮影モードでなければ(ステップSB7でNO)、ステップSB3で撮像した今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSB13)。逆に、その時点で高フレームレート撮影モードが設定されていれば(ステップSB7でYES)、撮影モードを低フレームレート撮影モードに切り替え(ステップSB8)、さらに閾値として予め決められている低フレームレート撮影モード用の第2の閾値を設定した後(ステップSB9)、今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSB13)。ここで第2の閾値は、第1の閾値よりも大きな値(変化量)であり、本実施の形態にあっては、高フレームレートと低フレームレートとによる撮像時間間隔の比が1:2であるため、それに応じて第1の閾値の約2倍の値が決められている。
【0041】
一方、前述したステップSB6の判別結果がYESであって、上記変化量がそのときの閾値を超えていた場合にあっては、その時点で設定されている撮影モードが低フレームレート撮影モードでなければ(ステップSB10でNO)、今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSB13)。逆に、その時点で低フレームレート撮影モードが設定されていれば(ステップSB10でYES)、撮影モードを高フレームレート撮影モードに切り替え(ステップSB11)、さらに閾値として高フレームレート撮影モード用の第1の閾値を設定した後(ステップSB12)、今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSB13)。
【0042】
そして、撮像したフレーム画像を記録した後には、シャッターボタンが押され続けている間には(ステップSB14でYES)、現在設定されている撮像フレームレートに応じて設定される次の撮像周期が到来した時点で(ステップSB15でYES)、ステップSB3へ戻り新たな撮像を行い、撮像した画像を一時記憶した後、ステップSB13までの前述した処理を繰り返す。そして、シャッターボタンが離されたら(ステップSB14でNO)、その時点で動画撮影処理を終了する。
【0043】
以上のように本実施の形態では、撮像フレームレートを、前回の画像と今回の画像との変化度合に応じて高フレームレートと低フレームレートとに変更することにより、記録フレームレートを変更する。同時に撮像フレームレートの切り替え動作の判断基準となる変化量の閾値を、撮像フレームレートに応じて第1の閾値と第2の閾値とに切り替えることにより、結果として、同一の時間基準による変化度合に基づき記録フレームレートが変更されるようにした。したがって、本実施の形態においても、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく(小さく)なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【0044】
(第3の実施の形態)
次に、本発明の第3の実施の形態を説明する。本実施の形態も、第2の実施の形態と同様、CCD2による画像の撮像フレームレートを、相前後して撮像した画像の変化に応じて、高フレームレート(毎秒20枚)と低フレームレート(毎秒10枚)とに変更する電子スチルカメラに関するものである。
【0045】
また、本実施の形態の電子スチルカメラにおいても、そのハード構成は図1に示したものと同様であるが、内蔵フラッシュメモリ10には、DSP/CPU3を本発明の検出手段、判断手段、撮像間隔変更手段、比較画像変更手段として機能させるためのプログラムが格納されており、また動画撮影時においてDRAM9には、第1及び第2の実施の形態と異なり、CCD2により相前後して撮像された3枚分の画像データを記憶するための記憶領域が確保されるようになっている。
【0046】
以下、本実施の形態における電子スチルカメラの動作を、動画撮影モードでユーザーによりシャッターボタンが押されたときDSP/CPU3が実行する動画撮影処理の手順を示す図5及び図6のフローチャートに従って説明する。
【0047】
DSP/CPU3は、シャッターボタンが押されることにより処理を開始し、まず、高フレームレート撮影モードを設定した後(ステップSC1)、CCD2による撮像処理を行う(ステップSC2)。次に、CCD2から出力されたフレーム画像のDRAM9への一時記憶が終了した後(ステップSC3でYES)、ここで記憶した画像が、シャッターボタンが押された当初のように3枚目以降の画像でなければ(ステップSC4でNO)、今回撮像したフレーム画像をメモリ・カード12に転送して記録する(ステップSC13)。そして、シャッターボタンが押されていれば(ステップSC14でYES)、次の撮像周期が到来した時点で(ステップSC15でYES)、ステップSC2へ戻って2回目の撮像を行う。
【0048】
その後、同様の処理によって3回目の撮像を行い、3回目のフレーム画像のDRAM9への一時記憶が終了したら(ステップSC4でYES)、まず、その時点で高フレームレート撮影モードが設定されているか否かを確認する(ステップSC5)。そして、3回目の撮像を行った直後のように係る判別の結果がYESであったときには、DRAM9に記憶されている前々回のフレーム画像と今回のフレーム画像とを比較し(ステップSC6)、また高フレームレート撮影モードが設定されていなければ(ステップSC5でNO)、DRAM9に記憶されている前回のフレーム画像と今回のフレーム画像とを比較する(ステップSC7)。なお、係るステップSC6,SC7の比較処理は第1の実施の形態のステップSA4の処理と同様であり、最終的には両画像の変化の度合いを示す変化量を取得する。
【0049】
引き続き、ステップSC6又はステップSC7で取得した変化量が、予め決められている所定の閾値を超えているか否かを判別し(ステップSC8)、その判別結果に応じて以下の処理を行う。
【0050】
すなわち上記変化量が所定の閾値を超えていない場合、つまり前記変化量が小さい場合にあっては(ステップSC8でNO)、その時点で設定されている撮影モードが高フレームレート撮影モードでなければ(ステップSC9でNO)、ステップSC2で撮像した今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSC13)。逆に、その時点で高フレームレート撮影モードが設定されていれば(ステップSC9でYES)、撮影モードを低フレームレート撮影モードに切り替えた後(ステップSC10)今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSC13)。
【0051】
一方、前述したステップSC8の判別結果がYESであって、上記変化量が所定の閾値を超えていた場合、つまり前記変化量が大きい場合にあっては、その時点で設定されている撮影モードが低フレームレート撮影モードでなければ(ステップSC11でNO)、今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSC13)。逆に、その時点で低フレームレート撮影モードが設定されていれば(ステップSC11でYES)、撮影モードを高フレームレート撮影モードに切り替えた後(ステップSC12)、今回のフレーム画像をメモリ・カード12に転送して記録する(ステップSC13)。
【0052】
そして、撮像したフレーム画像を記録した後には、シャッターボタンが押され続けている間には(ステップSC14でYES)、現在設定されている撮像フレームレートに応じて設定される次の撮像周期が到来した時点で(ステップSC15でYES)、ステップSC2へ戻り新たな撮像を行い、撮像した画像を一時記憶した後、ステップSC13までの前述した処理を繰り返す。そして、シャッターボタンが離されたら(ステップSC14でNO)、その時点で動画撮影処理を終了する。
【0053】
以上のように本実施の形態では、撮像フレームレートを、今回の画像と前回又は前々回の画像(過去の画像)との変化度合に応じて高フレームレートと低フレームレートとに変更することにより、記録フレームレートを変更する。同時に今回の画像の比較対照となる画像を、変更後の撮像フレームレート(記録フレームレート)に応じて、前回の画像と前々回の画像とに切り替えることにより、結果として、同一の時間基準による変化度合に基づき記録フレームレートが変更されるようにした。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、本実施の形態においても、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく(小さく)なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【0054】
一方、図7は、前述した動画撮影中に撮像されるフレーム画像fg1〜dg9において、低フレームレート撮影モード及び高フレームレート撮影モードが設定されているときに比較対照となる2枚のフレーム画像の関係を示した図である。本実施の形態において、撮影モードを高フレームレート撮影モードから低フレームレート撮影モードに切り替えるときには支障はないが、逆に撮影モードを低フレームレート撮影モードから高フレームレート撮影モードに切り替えるときには、切り替え直後における今回のフレーム画像fg4と、その比較対照となる前々回のフレーム画像fg2との間における撮像時間の間隔がその他のときと異なってしまう。したがって、厳密な処理を要求されるような場合においては、上記の切り替え直後の時点においてのみ、第2の実施の形態で説明したもののように、変化量の判断基準とする閾値を切り替える等の方法によって、比較する双方のフレーム画像間における撮像時間の間隔を他の時点と一致させる対策を行う必要がある。
【0055】
ところで、以上説明した第1〜第3の本実施の形態においては、保存メモリ(メモリ・カード12)に記録した、記録フレームレートが一定でない動画データ(複数のフレーム画像)を、一定の再生フレームレート(読出し速度)で再生すると、当然、撮影タイミングと再生タイミングとがずれることになり、あたかもスロー再生や早送り再生をしたかの如く見える箇所が生じることになる。これに関しては、撮影タイミングと再生タイミングとを一致させたい場合、例えば動画ファイル中に撮影(再生)フレームレートの変化情報を埋め込むようにし、再生時には、その変化情報に基づき所定のフレーム画像の再生時点で再生フレームレート(再生時間)を変化させることにより、撮影タイミングと再生タイミングとが一致した自然な動画再生が可能となる。
【0056】
なお、第1〜第3の本実施の形態においては、1枚撮影する毎にフレーム画像をバッファメモリから保存メモリに転送記録するようにしたが、動画を動画ファイルの形式で保存記録する場合には撮影毎に保存メモリに転送記録せずに撮影毎にバッファメモリの所定エリアに保存対象画像として記憶していき動画撮影が終了した時点でバッファメモリに記憶されている全ての画像を用いて動画ファイルを作成し、この動画ファイルを保存メモリに転送記録するようにしてもよい。
【0057】
また、以上の説明においては、動画撮影機能付き電子スチルカメラに本発明を適用した場合を示したが、本発明は、静止画撮影機能付きムービーカメラ、カメラ付き携帯電話、カメラ付きPDA、カメラ付きパソコン等の機器にも採用することができる。要は、動画撮影機能を備えた機器であれば本発明を適用することができる。
【0058】
【発明の効果】
以上説明したように本発明の動画撮影装置、及び動画撮影方法においては、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができるようにした。よって、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することが可能となる。
【0059】
また、請求項3の動画撮影装置では、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いた場合において、必要以上に記録画像が間引かれることが防止できるようにした。よって、被写体に大きな変化が連続して発生する場合においても、より自然な状態で再生可能な動画の撮影が可能となる。
【0060】
また、本発明のプログラムにおいては、それを用いることにより、既存の動画撮影装置においても本発明を実施することが可能となる。
【図面の簡単な説明】
【図1】本発明の各実施の形態を示す電子スチルカメラのブロック図である。
【図2】第1の実施の形態における動画撮影時の動作を示すフローチャートである。
【図3】第2の実施の形態における動画撮影時の動作を示すフローチャートである。
【図4】図3に続くフローチャートである。
【図5】第3の実施の形態における動画撮影時の動作を示すフローチャートである。
【図6】図5に続くフローチャートである。
【図7】同実施の形態において動画撮影中に撮像されるフレーム画像、及び比較対照となる2枚のフレーム画像の関係を示した図である。
【符号の説明】
1 電子スチルカメラ
2 CCD
3 DSP/CPU
4 TG
5 ユニット回路
6 表示装置
7 キー入力部
8 データバス
9 DRAM
10 内蔵フラッシュメモリ
11 インターフェイス
12 メモリ・カード
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving image photographing apparatus and a moving image photographing method suitable for use in an electronic still camera or the like.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a digital camera having a moving image shooting function, a motion-jpeg method for compressing a moving image in units of still images is often used. When shooting a moving image, images are recorded at a fixed frame rate, for example, 15 frames per second. Have been.
[0003]
In addition, Japanese Patent Application Laid-Open No. H11-163873 discloses an image (hereinafter, referred to as a frame image) that is continuously imaged in accordance with the speed of the object and the brightness of the image for the purpose of always accurately imaging the object irrespective of the state of the object. A digital camera that changes the imaging interval (frame rate) is described.
[0004]
[Patent Document 1]
JP 2001-358984 A (see paragraph "0050")
[0005]
[Problems to be solved by the invention]
However, in order to efficiently shoot a moving image with a smaller number of images, as described above, the frame rate of the image to be captured (imaging frame) according to a change in the subject speed or brightness of the image, that is, a change in the subject (image). In the case where it is attempted to save the number of images by changing the recording interval (recording frame rate) by changing the rate), the following problem arises.
[0006]
That is, since the imaging interval of the frame image is different between when the imaging frame rate is normal and when the imaging frame rate is high, even if the degree of change of the subject imaged immediately before and after is exactly the same, the standard frame rate and the high frame rate And the result of the comparison by the image comparison changes. For this reason, a blurring occurs in the determination result, so that it is not possible to perform an appropriate switching of the recording frame rate during shooting, and as a result, a change between successive frame images is different from that at other times. It becomes large (small), and the recorded moving image itself becomes unnatural. In addition, there is a problem that natural moving images cannot be reproduced even if the reproduction frame rate for displaying each image continuously during reproduction is adjusted.
[0007]
The present invention has been made in view of such a conventional problem, and an object of the present invention is to provide a moving image photographing apparatus and a moving image photographing method that can always change and set a recording frame rate at appropriate timing.
[0008]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is directed to a moving image photographing apparatus that continuously captures an image of a subject by an imaging unit and records a moving image having the captured image as a frame image in a recording unit. Detecting a degree of change of an image within the same time interval in an image continuously captured by the imaging unit, and controlling an imaging time interval of each image to be recorded in the recording unit as a frame image based on the detection result. And control means for performing the control.
[0009]
In such a configuration, during moving image shooting, the imaging time interval of each image recorded as a frame image is controlled based on the degree of change of the image within the same time interval at each time point, that is, the degree of change based on the same time reference. Therefore, when the recording frame rate is changed in accordance with the change of the subject, the recording frame rate can always be changed and set at an appropriate timing.
[0010]
Further, in the invention according to claim 2, the control unit compares a previous image and a current image of a subject captured by an imaging operation at the same time interval by the imaging unit, and compares the two images. Detecting means for detecting the degree of change; determining means for determining whether or not the current image can be recorded on the recording means based on the detection result of the detecting means; Recording control means for causing the recording means to record only the image as a frame image.
[0011]
In such a configuration, the interval of the imaging operation, that is, the imaging frame rate is made constant (fixed), the degree of change between successive frame images obtained sequentially is detected, and whether or not each frame image can be recorded is determined according to the detection result. It is determined. That is, the recording of the captured image is thinned out based on the degree of change of the image within the same time interval, and as a result, the recording frame rate is changed. Therefore, when the recording frame rate is changed according to the change of the subject, the recording frame rate can always be changed and set at an appropriate timing.
[0012]
Further, in the invention according to claim 3, the recording control unit, when the previous image is not recorded in the recording unit, regardless of the determination result of the determination unit, the current image is a frame image Is stored in the recording means.
[0013]
With such a configuration, it is possible to prevent the recorded images from being thinned out more than necessary in a state where the degree of change between the frame images sequentially detected during photographing is continuously small.
[0014]
In the invention according to claim 4, the control unit compares a previous image captured by the imaging unit with a current image, and detects a degree of change between the two images, Determining means for determining whether or not the imaging interval of the image can be changed by the imaging means based on the detection result of the detection means; and determining that the imaging interval should be changed by the determination means, An imaging interval changing unit that changes an imaging interval, and a criterion changing unit that changes a criterion for determining whether or not the imaging interval can be changed in the determining unit to a criterion corresponding to the changed imaging interval by the imaging interval changing unit. Was included.
[0015]
In such a configuration, the recording frame rate is changed by changing the interval of the imaging operation, that is, the imaging frame rate in accordance with the degree of change between the previous image and the current image, and at the same time, the imaging frame rate is changed. The criterion for determining whether or not the criterion is changed to a criterion corresponding to the imaging frame rate at each time point. As a result, the recording frame rate is changed based on the degree of change of the image within the same time interval at each time point, that is, the degree of change based on the same time reference. Therefore, when the recording frame rate is changed according to the change of the subject, the recording frame rate can always be changed and set at an appropriate timing.
[0016]
In the invention according to claim 5, the control unit compares the current image captured by the image capturing unit with a past image captured before the current image, and determines a degree of change between the two images. Detecting means for detecting, based on a detection result of the detecting means, determining means for determining whether or not the imaging interval of the image by the imaging means can be changed, and when it is determined by the determining means to change the imaging interval, An imaging interval changing unit that changes an imaging interval of an image in the imaging unit; and a past image that is compared with a current image when the detecting unit detects a degree of change between the two images. And a comparison image changing means for changing to an image picked up by the image pickup means at a predetermined time according to the image pickup interval after the change by the means.
[0017]
In such a configuration, the recording frame rate is changed by changing the interval of the imaging operation, that is, the imaging frame rate, according to the degree of change between the current image and the previous image captured earlier. Is changed to an image captured at a predetermined time according to the changed recording frame rate. As a result, the recording frame rate is changed based on the degree of change of the image within the same time interval at each time point, that is, the degree of change based on the same time reference. Therefore, when the recording frame rate is changed according to the change of the subject, the recording frame rate can always be changed and set at an appropriate timing.
[0018]
According to a sixth aspect of the present invention, in the moving image photographing method of continuously recording an image of a subject by an imaging unit and recording a moving image in which the captured image is a frame image, Detecting a degree of change of the image within the same time interval in the captured image, and controlling an imaging time interval of each image to be recorded in the recording unit as a frame image based on the detection result. And
[0019]
According to this method, when the recording frame rate is changed according to the change of the subject, the recording frame rate can always be changed and set at an appropriate timing.
[0020]
Further, in the invention according to claim 7, the computer having a moving image photographing apparatus that continuously captures an image of a subject by an imaging unit and records a moving image having the captured image as a frame image in a recording unit, A control for detecting a degree of change of an image within the same time interval in an image continuously captured by the imaging unit, and controlling an imaging time interval of each image recorded in the recording unit as a frame image based on the detection result. It was a program to function as a means.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings.
[0022]
(First Embodiment)
FIG. 1 is a block diagram showing a schematic configuration of an electronic still camera 1 common to each embodiment of the present invention. The electronic still camera 1 has a moving image photographing function by a motion-jpeg method in addition to a normal still image photographing function, and has a CCD 2 and a DSP / CPU 3 as image pickup means. The DSP / CPU 3 is a one-chip microcomputer that has various digital signal processing functions including compression / expansion processing of image data by the jpeg method and controls each unit of the electronic still camera 1.
[0023]
The DSP / CPU 3 is connected to a TG (Timing Generator) 4 for driving the CCD 2, and the TG 4 is connected to a unit circuit 5 for inputting an analog imaging signal corresponding to an optical image of a subject output from the CCD 2. Have been. The unit circuit 5 includes a CDS (Correlated Double Sampling) circuit that correlatively double-samples and holds an image signal output from the CCD 2 through photoelectric conversion, a gain adjustment amplifier (AGC) that amplifies the image signal, and an amplified image signal. It is composed of an A / D converter (AD) for converting to a digital signal, and the output signal of the CCD 2 is sent to the DSP / CPU 3 as a digital signal via the unit circuit 5.
[0024]
The DSP / CPU 3 is connected to a display device 6 and a key input unit 7, and also connected to a DRAM 9, a built-in flash memory 10 and a card interface 11 via an address / data bus 8. Is connected to a removable memory card 12 mounted on a throttle (not shown) of the main body of the electronic still camera 1.
[0025]
The DRAM 9 is a buffer memory for temporarily storing image data of a subject, which is digitized after being picked up by the CCD 2, and is also used as a working memory of the DSP / CPU 3. In particular, the DRAM 9 is provided with a storage area for storing image data of two images that have been captured by the CCD 2 one after another at the time of capturing a moving image to be described later.
[0026]
The built-in flash memory 10 stores an operation program of the DSP / CPU 3 and various data used for controlling each unit. The DSP / CPU 3 operates according to the operation program to execute the detection means, the judgment means, Functions as recording control means. The memory card 12 is a storage memory (recording means) for recording a file of a still image compressed by the JPEG method and a moving image file by the motion-jpeg method.
[0027]
The display device 6 includes a color LCD and its driving circuit, displays a subject image picked up by the CCD 2 as a through image when in a shooting standby state, and is read from the memory card 12 and expanded when a recorded image is reproduced. Display the recorded image. The key input unit 7 includes a plurality of operation keys such as a shutter button, a power key, and a MENU key, and outputs a key input signal corresponding to a key operation by a user to the DSP / CPU 3.
[0028]
Next, the operation of the electronic still camera 1 having the above configuration at the time of shooting a moving image will be described. FIG. 2 is a flowchart illustrating a procedure of the moving image shooting process of the DSP / CPU 3 when the user presses the shutter button after the moving image shooting mode is set.
[0029]
The DSP / CPU 3 starts processing when the shutter button is pressed, and first transfers an image captured by the CCD 2 to the DRAM 9 and temporarily stores the image (step SA1). Next, if the image stored here is not the second or subsequent image as when the shutter button was pressed (NO in step SA2), the image (frame image) captured this time is stored in the memory card 12 (Step SA7).
[0030]
Subsequently, if the shutter button is pressed (YES in step SA8), the process returns to step SA1 to perform the second imaging. After the second or subsequent imaging is performed (YES in step SA2), first, it is determined whether or not the previously captured image has not been skipped, that is, whether or not the recording of the previously captured image has been skipped. (Step SA3). This determination is made by checking the state of a flag described later. If the images have been thinned out (NO in step SA3), the frame image captured this time is transferred to the memory card 12 and recorded (step SA7).
[0031]
If the previously captured image is not thinned out (YES in step SA3), the previously captured frame image is compared with the currently captured frame image (step SA4). Such a comparison process calculates, for example, overall or partial brightness or luminance distribution for both images by a predetermined procedure, and quantifies the degree of change between both images as a change amount based on both calculation results. This is the acquisition process. If the difference between the current frame image and the previous frame image is large, that is, if the amount of change exceeds a predetermined threshold value (NO in step SA5), the process directly proceeds to step SA7, and the current frame image is taken. Is transferred to the memory card 12 and recorded.
[0032]
On the other hand, when the difference between the current frame image and the previous frame image is small, that is, when the change amount is equal to or smaller than the threshold (YES in step SA5), a flag indicating that the current frame image has been thinned is set ( Step SA6), proceed to step SA8 without recording the current frame image. Therefore, immediately after this, if the shutter button is still pressed (YES in step SA8), the result of the determination in step SA3 is NO, and the next captured image is unconditionally transferred to the memory card 12. Record. Then, while the shutter button is kept pressed, the above-described processing is repeated. When the shutter button is released (NO in step SA8), the moving image shooting processing ends at that point.
[0033]
As described above, in the present embodiment, the imaging frame rate (interval of the imaging operation) is fixed (fixed), and the frame image is thinned out only when the degree of change between the current frame image and the previous frame image is small ( As a result, the recording frame rate can be changed based on the degree of change of the image within the same time interval. Therefore, since an appropriate recording frame rate can always be set, a change between arbitrary consecutive frame images does not become large (small) as compared with other time points, and a moving image that can be reproduced in a natural state. Can be shot with a smaller number of images.
[0034]
In addition, in the present embodiment, when the previous frame image is thinned out, the current frame image is always recorded, so that the degree of change between the frame images sequentially detected during shooting is small. In the case where a small number of states continues continuously, that is, while the movement of the subject is small, it is possible to prevent the recording image from being thinned out more than necessary. Therefore, even in such a case, a moving image that can be reproduced in a more natural state can be captured.
[0035]
In the present embodiment, the frame image is recorded once every two frames when the state in which the change of the frame image is small continues, but the frequency of recording the frame image regardless of the change of the frame image is described. Can be set arbitrarily. For example, a frame image may be recorded once in three frames and twice in three frames.
[0036]
(Second embodiment)
Next, a second embodiment of the present invention will be described. In the present embodiment, unlike the first embodiment, the image capturing frame rate of the image captured by the CCD 2 is set to a high frame rate (20 frames per second) and a low frame rate (20 (10 pictures per second).
[0037]
The hardware configuration of the electronic still camera according to the present embodiment is the same as that shown in FIG. 1, but the built-in flash memory 10 includes the DSP / CPU 3 including the detection unit, the judgment unit, Means and a program for causing it to function as a judgment criterion changing means are stored. Also in the present embodiment, a storage area for storing two pieces of image data taken in succession by the CCD 2 is secured in the DRAM 9 at the time of capturing a moving image.
[0038]
Hereinafter, the operation of the electronic still camera according to the present embodiment will be described with reference to the flowcharts of FIGS. 3 and 4 showing the procedure of the moving image shooting process executed by the DSP / CPU 3 when the user presses the shutter button in the moving image shooting mode. .
[0039]
The DSP / CPU 3 starts processing when the shutter button is pressed, first sets a high frame rate shooting mode (step SB1), and further sets a threshold value of a change amount serving as a criterion for a switching operation of an imaging frame rate described later. The first threshold for the high frame rate shooting mode is set in advance (step SB2). Subsequently, an image pickup process is performed by the CCD 2 (step SB3). When the temporary storage of the frame image output from the CCD 2 in the DRAM 9 is completed (YES in step SB4), the previous frame image stored in the DRAM 9 and the current frame image are stored. Compare with the image (step SB5). Such comparison processing is the same as the processing of step SA4 of the first embodiment, and finally obtains a change amount indicating the degree of change between both images. Next, it is determined whether or not the obtained change amount exceeds a currently set threshold value (first threshold value at the start of moving image shooting), that is, whether or not the change amount is large (step S1). SB6) The following processing is performed according to the determination result.
[0040]
That is, if the amount of change does not exceed the threshold value at that time (NO in step SB6), the shooting mode set at that time is not the high frame rate shooting mode (NO in step SB7). The current frame image captured in step SB3 is transferred to the memory card 12 and recorded (step SB13). Conversely, if the high frame rate shooting mode is set at that time (YES in step SB7), the shooting mode is switched to the low frame rate shooting mode (step SB8), and the low frame rate predetermined as a threshold is further set. After setting the second threshold value for the photographing mode (step SB9), the current frame image is transferred to the memory card 12 and recorded (step SB13). Here, the second threshold value is a value (change amount) larger than the first threshold value, and in the present embodiment, the ratio of the imaging time interval between the high frame rate and the low frame rate is 1: 2. Therefore, a value that is approximately twice the first threshold value is determined accordingly.
[0041]
On the other hand, if the result of the determination in step SB6 is YES and the change amount exceeds the threshold at that time, the shooting mode set at that time must be the low frame rate shooting mode. If it is (NO in step SB10), the current frame image is transferred to the memory card 12 and recorded (step SB13). Conversely, if the low frame rate shooting mode is set at that time (YES in step SB10), the shooting mode is switched to the high frame rate shooting mode (step SB11), and the threshold for the high frame rate shooting mode is set as the threshold. After setting the threshold value of 1 (step SB12), the current frame image is transferred to the memory card 12 and recorded (step SB13).
[0042]
After recording the captured frame image, while the shutter button is kept pressed (YES in step SB14), the next imaging cycle set according to the currently set imaging frame rate arrives. At this point (YES in step SB15), the process returns to step SB3 to perform new imaging, temporarily stores the captured image, and then repeats the above-described processing up to step SB13. Then, when the shutter button is released (NO in step SB14), the moving image photographing process ends at that point.
[0043]
As described above, in the present embodiment, the recording frame rate is changed by changing the imaging frame rate between the high frame rate and the low frame rate in accordance with the degree of change between the previous image and the current image. At the same time, by switching the threshold of the amount of change, which is the criterion for the switching operation of the imaging frame rate, to the first threshold and the second threshold in accordance with the imaging frame rate, as a result, the degree of change based on the same time reference The recording frame rate is changed based on this. Therefore, also in the present embodiment, since an appropriate recording frame rate can always be set, a change between arbitrary consecutive frame images does not become large (small) as compared with other points in time, and natural A video that can be reproduced in a proper state can be shot with a smaller number of images.
[0044]
(Third embodiment)
Next, a third embodiment of the present invention will be described. In the present embodiment, similarly to the second embodiment, the image capturing frame rate of the image captured by the CCD 2 is changed to a high frame rate (20 frames per second) and a low frame rate (20 (10 pictures per second).
[0045]
The hardware configuration of the electronic still camera according to the present embodiment is the same as that shown in FIG. 1, but the built-in flash memory 10 includes the DSP / CPU 3 including the detecting unit, the determining unit, and the imaging unit according to the present invention. A program for functioning as an interval changing unit and a comparison image changing unit is stored. Also, unlike the first and second embodiments, when a moving image is shot, images are sequentially taken by the CCD 2 in the DRAM 2. A storage area for storing three pieces of image data is secured.
[0046]
Hereinafter, the operation of the electronic still camera according to the present embodiment will be described with reference to the flowcharts of FIGS. 5 and 6 showing the procedure of the moving image shooting process executed by the DSP / CPU 3 when the user presses the shutter button in the moving image shooting mode. .
[0047]
The DSP / CPU 3 starts processing when the shutter button is pressed, first sets a high frame rate photographing mode (step SC1), and then performs image pickup processing by the CCD 2 (step SC2). Next, after the temporary storage of the frame image output from the CCD 2 in the DRAM 9 is completed (YES in step SC3), the stored image is replaced with the third and subsequent images as when the shutter button was initially pressed. If not (NO in step SC4), the frame image captured this time is transferred to the memory card 12 and recorded (step SC13). If the shutter button has been pressed (YES in step SC14), when the next imaging cycle has arrived (YES in step SC15), the process returns to step SC2 to perform the second imaging.
[0048]
Thereafter, the third imaging is performed by the same processing, and when the temporary storage of the third frame image in the DRAM 9 is completed (YES in step SC4), first, whether the high frame rate imaging mode is set at that time is determined. Is confirmed (step SC5). When the result of the determination is YES, such as immediately after the third imaging, the frame image of the previous frame stored in the DRAM 9 is compared with the current frame image (step SC6). If the frame rate shooting mode has not been set (NO in step SC5), the previous frame image stored in the DRAM 9 is compared with the current frame image (step SC7). The comparison processing in steps SC6 and SC7 is the same as the processing in step SA4 in the first embodiment, and finally obtains a change amount indicating the degree of change between the two images.
[0049]
Subsequently, it is determined whether or not the amount of change obtained in step SC6 or SC7 exceeds a predetermined threshold (step SC8), and the following processing is performed according to the determination result.
[0050]
That is, if the amount of change does not exceed the predetermined threshold, that is, if the amount of change is small (NO in step SC8), the shooting mode set at that time is not a high frame rate shooting mode. (NO in Step SC9), the current frame image captured in Step SC2 is transferred to the memory card 12 and recorded (Step SC13). Conversely, if the high frame rate shooting mode is set at that time (YES in step SC9), the shooting mode is switched to the low frame rate shooting mode (step SC10), and the current frame image is stored in the memory card 12. The data is transferred and recorded (step SC13).
[0051]
On the other hand, if the result of the determination in step SC8 is YES and the amount of change exceeds a predetermined threshold, that is, if the amount of change is large, the shooting mode set at that time is If the mode is not the low frame rate shooting mode (NO in step SC11), the current frame image is transferred to the memory card 12 and recorded (step SC13). Conversely, if the low frame rate shooting mode is set at that time (YES in step SC11), the shooting mode is switched to the high frame rate shooting mode (step SC12), and the current frame image is stored in the memory card 12 (step SC12). (Step SC13).
[0052]
After the captured frame image is recorded, while the shutter button is kept pressed (YES in step SC14), the next imaging cycle set according to the currently set imaging frame rate arrives. At this point (YES in step SC15), the process returns to step SC2, performs new imaging, temporarily stores the captured image, and repeats the above-described processing up to step SC13. Then, when the shutter button is released (NO in step SC14), the moving image photographing process ends at that point.
[0053]
As described above, in the present embodiment, the imaging frame rate is changed between the high frame rate and the low frame rate in accordance with the degree of change between the current image and the previous or last-last image (past image). Change the recording frame rate. At the same time, the image to be compared with the current image is switched between the previous image and the image two times before according to the changed imaging frame rate (recording frame rate), and as a result, the degree of change based on the same time reference is obtained. The recording frame rate is changed based on. As a result, the recording frame rate is changed based on the degree of change of the image within the same time interval at each time point, that is, the degree of change based on the same time reference. Therefore, also in the present embodiment, since an appropriate recording frame rate can always be set, a change between arbitrary consecutive frame images does not become large (small) as compared with other points in time, and natural A video that can be reproduced in a proper state can be shot with a smaller number of images.
[0054]
On the other hand, FIG. 7 illustrates two frame images fg1 to dg9 captured during the above-described moving image capturing, which are compared with each other when the low frame rate capturing mode and the high frame rate capturing mode are set. It is a figure showing a relation. In this embodiment, there is no problem when the shooting mode is switched from the high frame rate shooting mode to the low frame rate shooting mode, but when the shooting mode is switched from the low frame rate shooting mode to the high frame rate shooting mode, immediately after the switching. In this case, the interval of the imaging time between the current frame image fg4 and the frame image fg2 just before the comparison is different from the other cases. Therefore, in a case where strict processing is required, a method of switching a threshold value used as a criterion of a change amount, as described in the second embodiment, only at a time immediately after the above-described switching. Therefore, it is necessary to take measures to make the interval of the imaging time between both frame images to be compared coincide with another time point.
[0055]
By the way, in the first to third embodiments described above, moving image data (a plurality of frame images) recorded in the storage memory (memory card 12) and having a non-constant recording frame rate is converted into a fixed reproduction frame. When the playback is performed at the rate (reading speed), the shooting timing and the playback timing are naturally shifted, and a portion appears as if slow playback or fast-forward playback is performed. In this regard, when it is desired to match the shooting timing with the playback timing, for example, the change information of the shooting (playback) frame rate is embedded in the moving image file, and at the time of playback, the playback time of a predetermined frame image is determined based on the change information. By changing the reproduction frame rate (reproduction time) in, it is possible to reproduce a natural moving image in which the shooting timing and the reproduction timing match.
[0056]
In the first to third embodiments, the frame image is transferred and recorded from the buffer memory to the storage memory every time one image is shot. Is stored in a predetermined area of the buffer memory as an image to be saved for each shooting without transferring and recording to the storage memory for each shooting, and at the time when the shooting of the moving image is completed, all the images stored in the buffer memory are used for the moving image. A file may be created, and the moving image file may be transferred and recorded in the storage memory.
[0057]
In the above description, the case where the present invention is applied to an electronic still camera with a moving image shooting function has been described. However, the present invention relates to a movie camera with a still image shooting function, a mobile phone with a camera, a PDA with a camera, and a PDA with a camera. It can also be used for devices such as personal computers. In short, the present invention can be applied to any device having a moving image shooting function.
[0058]
【The invention's effect】
As described above, in the moving image photographing apparatus and the moving image photographing method of the present invention, when the recording frame rate is changed according to the change of the subject, the recording frame rate can always be changed and set at an appropriate timing. did. Therefore, a moving image that can be reproduced in a natural state can be shot with a smaller number of images.
[0059]
In the moving image photographing apparatus according to the third aspect, it is possible to prevent the recorded images from being thinned out more than necessary in a case where the degree of change between the frame images sequentially detected during photographing is continuously small. I made it. Therefore, even when large changes occur continuously in the subject, it is possible to capture a moving image that can be reproduced in a more natural state.
[0060]
Further, by using the program of the present invention, the present invention can be implemented in an existing moving image photographing apparatus.
[Brief description of the drawings]
FIG. 1 is a block diagram of an electronic still camera showing each embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation at the time of capturing a moving image according to the first embodiment.
FIG. 3 is a flowchart illustrating an operation at the time of capturing a moving image according to a second embodiment.
FIG. 4 is a flowchart following FIG. 3;
FIG. 5 is a flowchart illustrating an operation at the time of capturing a moving image according to the third embodiment.
FIG. 6 is a flowchart following FIG. 5;
FIG. 7 is a diagram showing a relationship between a frame image captured during moving image shooting and two frame images to be compared in the embodiment.
[Explanation of symbols]
1 electronic still camera
2 CCD
3 DSP / CPU
4 TG
5 Unit circuit
6 Display device
7 Key input section
8 Data bus
9 DRAM
10 Built-in flash memory
11 Interface
12 Memory card

Claims (7)

撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置において、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段と
を備えたことを特徴とする動画撮影装置。
In a moving image photographing apparatus that continuously captures an image of a subject by an imaging unit and records a moving image with the captured image as a frame image in a recording unit,
The degree of change of an image within the same time interval in an image continuously imaged by the imaging means is detected, and the imaging time interval of each image recorded in the recording means as a frame image is controlled based on the detection result. A moving image photographing apparatus comprising a control unit.
前記制御手段は、
前記撮像手段による同一の時間間隔による撮像動作で撮像された被写体の前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、今回の画像の記録手段への記録の可否を判断する判断手段と、
この判別手段により記録すべきと判断された今回の画像のみをフレーム画像として前記記録手段に記録させる記録制御手段と
を含むことを特徴とする請求項1記載の動画撮影装置。
The control means includes:
Detecting means for comparing the previous image and the current image of the subject imaged in the imaging operation at the same time interval by the imaging means, and detecting the degree of change between the two images;
Determining means for determining whether or not the current image can be recorded on the recording means based on a detection result of the detecting means;
2. The moving image photographing apparatus according to claim 1, further comprising: a recording control unit that causes the recording unit to record only a current image determined to be recorded by the determination unit as a frame image.
前記記録制御手段は、前回の画像を前記記録手段に記録させていない場合には、前記判断手段の判断結果によらず、今回の画像をフレーム画像として前記記録手段に記憶させることを特徴とする請求項2記載の動画撮影装置。The recording control unit, when the previous image is not recorded in the recording unit, stores the current image as a frame image in the recording unit irrespective of the determination result of the determination unit. The moving image photographing device according to claim 2. 前記制御手段は、
前記撮像手段により撮像された前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、
この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、
前記判断手段における撮像間隔の変更の可否の判断基準を、前記撮像間隔変更手段による変更後の撮像間隔に対応する判断基準に変更する判断基準変更手段とを含むことを特徴とする請求項1記載の動画撮影装置。
The control means includes:
Detecting means for comparing the previous image captured by the image capturing means with the current image, and detecting the degree of change between the two images;
Judging means for judging whether or not the imaging interval of the image by the imaging means can be changed based on the detection result of the detection means;
An imaging interval changing unit that changes an imaging interval of an image in the imaging unit when it is determined that the imaging interval should be changed by the determination unit;
2. The image forming apparatus according to claim 1, further comprising: a criterion changing unit configured to change a criterion for determining whether the imaging interval can be changed by the determining unit to a criterion corresponding to the changed imaging interval by the imaging interval changing unit. Video shooting device.
前記制御手段は、
前記撮像手段により撮像された今回の画像とそれ以前に撮像された過去の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、
この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、
前記検出手段における前記両画像間の変化の度合を検出するに際して今回の画像の比較対照となる過去の画像を、前記撮像間隔変更手段による変更後の撮像間隔に応じた所定の時期に前記撮像手段により撮像された画像に変更する比較画像変更手段と
を含むことを特徴とする請求項1記載の動画撮影装置。
The control means includes:
Detecting means for comparing the current image captured by the image capturing means with a past image captured before the current image, and detecting a degree of change between the two images;
Judging means for judging whether or not the imaging interval of the image by the imaging means can be changed based on the detection result of the detection means;
An imaging interval changing unit that changes an imaging interval of an image in the imaging unit when it is determined that the imaging interval should be changed by the determination unit;
When detecting the degree of change between the two images in the detecting means, a past image to be compared with the present image is compared with the image by the imaging means at a predetermined time according to the changed imaging interval by the imaging interval changing means. 2. The moving image photographing apparatus according to claim 1, further comprising: a comparison image changing unit that changes the image to an image captured by the method.
撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録する動画撮影方法において、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出する工程と、
その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する工程と
からなることを特徴とする動画撮影方法。
In a moving image capturing method of continuously capturing an image of a subject by an imaging unit and recording a moving image having the captured image as a frame image,
A step of detecting a degree of change of an image within the same time interval in an image continuously captured by the imaging unit;
Controlling the image capturing time interval of each image to be recorded in the recording means as a frame image based on the detection result.
撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置が有するコンピュータを、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段として機能させるためのプログラム。
A computer having a moving image photographing apparatus that continuously captures an image of a subject by an imaging unit and records a moving image with the captured image as a frame image in a recording unit,
The degree of change of an image within the same time interval in an image continuously imaged by the imaging means is detected, and the imaging time interval of each image recorded in the recording means as a frame image is controlled based on the detection result. A program for functioning as control means.
JP2002351884A 2002-12-04 2002-12-04 Movie shooting apparatus and movie shooting method Expired - Fee Related JP4404290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002351884A JP4404290B2 (en) 2002-12-04 2002-12-04 Movie shooting apparatus and movie shooting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002351884A JP4404290B2 (en) 2002-12-04 2002-12-04 Movie shooting apparatus and movie shooting method

Publications (2)

Publication Number Publication Date
JP2004187018A true JP2004187018A (en) 2004-07-02
JP4404290B2 JP4404290B2 (en) 2010-01-27

Family

ID=32753645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002351884A Expired - Fee Related JP4404290B2 (en) 2002-12-04 2002-12-04 Movie shooting apparatus and movie shooting method

Country Status (1)

Country Link
JP (1) JP4404290B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025124A (en) * 2004-07-07 2006-01-26 Canon Inc Video signal processor, memory control method, and program
JP2007243832A (en) * 2006-03-10 2007-09-20 Hiroshima Univ Image processing apparatus and image processing method
JP2007306225A (en) * 2006-05-10 2007-11-22 Sony Corp Imaging apparatus and method, and program
WO2008050806A1 (en) * 2006-10-24 2008-05-02 Sony Corporation Imaging device and reproduction control device
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025124A (en) * 2004-07-07 2006-01-26 Canon Inc Video signal processor, memory control method, and program
JP4500610B2 (en) * 2004-07-07 2010-07-14 キヤノン株式会社 Video signal processing apparatus, memory control method, and program
JP2007243832A (en) * 2006-03-10 2007-09-20 Hiroshima Univ Image processing apparatus and image processing method
WO2007105641A1 (en) * 2006-03-10 2007-09-20 National University Of Corporation Hiroshima University Video image processing device and video image processing method
JP2007306225A (en) * 2006-05-10 2007-11-22 Sony Corp Imaging apparatus and method, and program
WO2008050806A1 (en) * 2006-10-24 2008-05-02 Sony Corporation Imaging device and reproduction control device
JPWO2008050806A1 (en) * 2006-10-24 2010-02-25 ソニー株式会社 Imaging device and playback control device
US8154606B2 (en) 2006-10-24 2012-04-10 Sony Corporation Image pickup apparatus and reproduction control apparatus
US9013583B2 (en) 2006-10-24 2015-04-21 Sony Corporation Image pickup apparatus and reproduction control apparatus
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device

Also Published As

Publication number Publication date
JP4404290B2 (en) 2010-01-27

Similar Documents

Publication Publication Date Title
US8482624B2 (en) Image pickup device with still picture pickup function during moving picture pickup operation
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
US8411158B2 (en) Image sensing apparatus and storage medium
US8416310B2 (en) Imaging device and imaging processing apparatus capable of recording and generating movie image data
EP1856909B1 (en) Moving image playback device with camera-shake correction function
JP3311715B2 (en) Digital camera
JP3822380B2 (en) Image signal processing device
JP2001169167A (en) Electronic camera
JP5338373B2 (en) Imaging device
JP4404290B2 (en) Movie shooting apparatus and movie shooting method
JP4189556B2 (en) Moving image processing apparatus and program thereof
JP2005303519A (en) Imaging apparatus
JPH11338050A (en) Multiple storage device for digital still camera
JP3667065B2 (en) Imaging recording apparatus and control method thereof
JP2000041170A (en) Image pickup device and method
JP2006020096A (en) Imaging recorder, imaging and recording method, and imaging and recording control program
JP2005072729A (en) Electronic camera and image photographing method
JP3559499B2 (en) Digital camera
JP2003209725A (en) Digital camera
JP4163297B2 (en) Electronic still camera
JP2005192096A (en) Image pickup device, method for recording video file, and program
JP3886068B2 (en) Digital imaging and recording device
KR101510100B1 (en) Digital image processing apparatus producing image file including a moving picture and the controlling method of the same
JP2004040204A (en) Image reproducing apparatus
JPH08289239A (en) Electronic camera and reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4404290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees