JP2012015830A

JP2012015830A - カメラ

Info

Publication number: JP2012015830A
Application number: JP2010150815A
Authority: JP
Inventors: Akihiko Takahashi; 秋彦高橋; Shigemasa Sato; 重正佐藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-07-01
Filing date: 2010-07-01
Publication date: 2012-01-19
Also published as: CN102316271A; US20120002076A1

Abstract

【課題】静止画ファイルに基づいて動画ファイルを生成して、これらを記録すること。
【解決手段】制御装置１０４は、高速連写によって得た複数の画像ファイルをメモリカードに記録し、使用者によって指定された動画のフレームレートに基づいて、高速連写によって得た複数の静止画を合成して複数の合成画像を生成し、生成した各合成画像を１コマとした動画ファイルを生成し、生成した動画ファイルをメモリカードに記録する。
【選択図】図１

Description

本発明は、カメラに関する。

次のような撮像装置が知られている。この撮像装置は、撮像素子から出力された画像信号を合成して動画を生成する（例えば、特許文献１）。

２００７−２７４２１０号公報

しかしながら、従来の撮像装置では、撮像素子から出力された画像信号を合成して動画を生成するため、動画の生成元となった静止画を残しておくことはできなかった。

本実施の形態によるカメラは、被写体像を、当該被写体像に像ぶれが生じない程度に高速な電子シャッタ秒時で連続的に撮像して画像ファイルを生成する撮影手段と、撮影手段により生成された画像ファイルを記憶媒体に記録する画像ファイル記録手段と、動画のフレームレートを設定する設定手段と、撮影手段により撮影された複数の画像ファイルの画像データを設定手段によって設定されたフレームレートに応じた数だけ合成して、複数の合成画像を生成する合成画像生成手段と、合成画像生成手段によって生成された各合成画像を動画の１コマとした動画ファイルを生成する動画ファイル生成手段とを備えることを特徴とする。
本発明では、動画ファイル生成手段によって生成された動画ファイルを記憶媒体に記録する動画ファイル記録手段をさらに備えるようにしてもよい。
合成画像生成手段は、撮影手段により撮影された複数の画像ファイルの画像データの中から、合成画像を生成するための合成対象から排除すべき画像ファイルを排除して、合成画像を生成するようにしてもよい。
合成画像生成手段は、不要物が写り込んでいる画像、ピントずれによる像ぼけが生じている画像、または過去の画像で連続して存在していた主要被写体がいなくなった画像を合成対象から排除すべき画像ファイルとして特定するようにしてもよい。
撮影手段により撮影された複数の画像ファイルは、撮影手段が連写によって生成した複数の画像ファイルであることが好ましい。
撮影手段による連写中に周囲の音声を録音する録音手段と、動画ファイルの再生時に、動画ファイルに録音手段で録音した音声データを付加する音声データ付加手段とをさらに備えるようにしてもよい。
録音手段は、録音した音声データにタイムスタンプを付加しておき、音声データ付加手段は、タイムスタンプに基づいて、動画の各コマと音声データとの対応付けを行って、動画ファイルに音声データを付加するようにしてもよい。

本発明によれば、動画と共に静止画も残しておくことができる。

カメラ１００の一実施の形態の構成を示すブロック図である。静止画を合成して動画を作成する場合の具体例を模式的に示した第１の図である。静止画を合成して動画を作成する場合の具体例を模式的に示した第２の図である。静止画を合成して動画を作成する場合の具体例を模式的に示した第３の図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

この制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データを生成し、この画像データに、画像データに基づいて生成したサムネイルデータや撮影情報等を含んだヘッダ情報を付加して画像ファイルを生成する。そして、生成した画像ファイルをメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力されたデータファイル（静止画ファイルと動画ファイル）をメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されているデータファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている静止画ファイルや動画ファイルの再生結果やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像信号に基づいてモニタ１０６にスルー画を表示する。

本実施の形態のカメラ１００は、高速連写機能を備えており、使用者によって指定されたシャッタースピード、例えば１／６００秒のシャッタースピードで静止画を撮影し、撮影によって得た複数の画像ファイルをメモリカードに記録することができる。このときのシャッタースピード（撮像素子の各画素における蓄積時間）は、被写体像に像ぶれが生じない程度に十分高速なシャッタースピード（電子シャッター秒時）であり、撮像素子に備えられている周知の電子シャッター機能によって実現されるものである。また、本実施の形態のカメラ１００は、高速連写によってメモリカードに記録された複数の画像ファイルの画像データを用いて動画データを生成する動画生成機能も備えている。具体的には、使用者は、生成したい動画のフレームレートを指定することができ、制御装置１０４は、使用者によって指定された動画のフレームレートに基づいて、高速連写によって得た複数の静止画を合成して複数の合成画像を生成し、生成した各合成画像を動画を構成する１フレームとすることにより、動画データを生成する。

そして、制御装置１０４は、生成した動画データにヘッダ情報等を付加して動画ファイルを生成し、これをメモリカードに記録する。これによって、連写によって取得した静止画の画像ファイルと連写画像に基づいて作成した動画ファイルとをメモリカードに保存して残しておくことができる。

例えば、使用者によって指定された動画のフレームレートが６０ｆｐｓであるときに、連写速度６００ｆｐｓ（このときのシャッタースピードは１／６００秒よりも高速のシャッタースピード）で高速連写を行なった場合には、制御装置１０４は、高速連写して得た静止画のうち、連続する１０フレーム分の静止画の画像データを合成することにより、連写速度６０ｆｐｓの１フレーム（１／６０秒のシャッタースピードで撮影したもの）に相当する合成画像を作成する。そして、制御装置１０４は、連続する１０フレーム分の静止画像の画像データを順次合成して複数の合成画像を生成し、これら複数の合成画像それぞれを動画の１フレーム（１コマ）とした動画データを生成することにより、フレームレートが６０ｆｐｓの動画データを生成する。

具体的には、制御装置１０４は、図２に示すように連写速度６００ｆｐｓ（このときのシャッタースピードは１／６００秒よりも高速のシャッタースピード）で２０フレームの静止画を撮影した場合には、時系列で取得される１フレーム目〜１０フレーム目までの１０フレーム分の静止画を合成して連写速度６０ｆｐｓ（１／６０秒のシャッタースピードで撮影したもの）に相当するフレーム２ａを作成し、１１フレーム目〜２０フレーム目までの１０フレーム分の静止画を合成して連写速度６０ｆｐｓ（１／６０秒のシャッタースピードで撮影したもの）に相当するフレーム２ｂを作成する。そして、制御装置１０４は、生成したフレーム２ａとフレーム２ｂとを各コマとしたフレームレートが６０ｆｐｓの動画データを作成する。

なお、図２に示す例では、連写速度６００ｆｐｓ（１／６００秒よりも高速のシャッタースピード）で高速連写して得た静止画に基づいて、フレームレートが６０ｆｐｓの動画データを作成する場合について説明したため、１０フレーム分の静止画を合成して動画の１フレームを生成したが、例えば、使用者によって指定されたフレームレートが３０ｆｐｓである場合には、２０フレーム分の静止画を合成してこれを動画の１フレームとすればよい。

本実施の形態では、制御装置１０４は、図２に示したように、高速連写により時系列で取得される静止画を動画のフレームレートに応じたフレーム数だけ合成するが、合成するフレームの中に合成対象から排除すべきフレームが存在する場合には、そのフレームを除いて合成を行なうようにする。ここで、合成対象から排除すべきフレームとしては、例えば、不要物が写り込んでいるフレーム、像ボケ（ピントずれ）が生じているフレーム、過去のフレームで連続して存在していた主要被写体がいなくなったフレーム等が挙げられる。なお、これらの合成対象から排除すべきフレームは、フレーム間で画像の差分をとること等の公知の手法により特定が可能であるため、ここではその特定方法についての詳細な説明を省略する。

合成対象から排除すべきフレームを排除して静止画の合成を行なって動画データを作成する場合の具体例を図３に示す。図３に示す例では、５フレーム目と１３フレーム目が合成対象から排除すべきフレームである場合を示している。この場合に、制御装置１０４は、指定されたフレームレートが６０ｆｐｓで、連写速度６００ｆｐｓ（１／６００秒よりも高速のシャッタースピード）で２２フレームの静止画を撮影したときには、１フレーム目〜１１フレーム目までの中から排除すべき５フレーム目を排除した１０フレーム分の静止画を合成して連写速度６０ｆｐｓ（１／６０秒のシャッタースピードで撮影したもの）に相当するフレーム３ａを作成する。

また、１１フレーム目〜２２フレーム目までの中から排除すべき１３フレーム目を排除した１０フレーム分の静止画を合成して連写速度６０ｆｐｓ（１／６０秒のシャッタースピードで撮影したもの）に相当するフレーム３ｂを作成する。そして、制御装置１０４は、生成したフレーム３ａとフレーム３ｂとを各コマとしたフレームレートが６０ｆｐｓの動画データを作成する。これによって、連写によって得た画像の中に不要物が写りこんでいたり像ボケ（ピントずれ）していたりする不要画像が含まれる場合に、それを自動的に排除して動画データを生成することができる。

なお、制御装置１０４は、カメラ１００が周囲の音を録音するためのマイクを備えている場合には、高速連写時にマイクを通して周囲の音を録音して音声データを記録しておき、生成した動画データを再生する際に音声データを付加するようにしてもよい。この場合、制御装置１０４は、音声データにタイムスタンプを付加しておき、静止画の各コマと音声データとを対応付けておく。そして、制御装置１０４は、動画データを再生する際に、上記タイムスタンプに基づいて、動画の各コマと音声データとを対応付けて動画と音声とがずれないように再生を行なう。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、高速連写によって得た複数の画像ファイルをメモリカードに記録し、使用者によって指定された動画のフレームレートに基づいて、高速連写によって得た複数の静止画を合成して複数の合成画像を生成し、生成した各合成画像を１コマとした動画ファイルを生成し、生成した動画ファイルをメモリカードに記録するようにした。これによって、連写によって得た複数の画像ファイルと、それに基づいて生成した動画ファイルをいずれもメモリカードに記録して残しておくことができる。

（２）制御装置１０４は、高速連写により得られた複数の画像ファイルの画像データの中から、合成対象から排除すべきフレームを排除して、合成画像を生成するようにした。これによって、不要なフレームが合成対象となることを防ぐことができる。

（３）制御装置１０４は、例えば不要物が写り込んでいるフレーム、手ブレが生じているフレーム、または過去のフレームで連続して存在していた主要被写体がいなくなったフレームを合成対象から排除すべきフレームとするようにした。これによって、合成対象として好ましくない画像を合成対象から排除することができる。

（４）制御装置１０４は、高速連写中に周囲の音声を録音しておき、動画ファイルの再生時に音声データを付加するようにした。これによって、音声付の動画を再生することができる。

（５）請求項５に記載のカメラにおいて、音声データにタイムスタンプを付加しておき、動画データを再生する際には、当該タイムスタンプに基づいて、動画の各コマと音声データとを対応付けることによって動画ファイルに音声データを付加するようにした。これによって、動画と音声とがずれないように再生を行なうことができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、図２または図３に示したように、時系列で取得される静止画を、動画のフレームレートに応じた枚数分合成して、動画の１フレームを生成する例について説明した。しかしながら、静止画の合成例は、図２または図３に示す例に限定されない。例えば、図４に示すように、一部の静止画を複数のフレームの生成用に用いるようにしてもよい。すなわち、図４に示す例では、制御装置１０４は、高速連写によって１０フレーム分の静止画が撮影された場合に、１フレーム目〜５フレーム目までの５フレーム分の静止画を合成して動画の１フレーム目４ａを生成し、３フレーム目〜７フレーム目までの５フレーム分の静止画を合成して動画の２フレーム目４ｂを生成し、６フレーム目〜１０フレーム目までの５フレーム分の静止画を合成して動画の３フレーム目４ｃを生成している。

この例では、３フレーム目から５フレーム目までは動画の１フレーム目４ａと２フレーム目４ｂとの生成に重複して用いられ、５フレーム目から７フレーム目までは動画の２フレーム目４ｂと３フレーム目４ｃとの生成に重複して用いられている。このように、一部のフレームを動画の複数のフレームを生成するために重複して使用することにより、残像感を持たせた滑らかな動画を生成することができる。

（２）上述した実施の形態では、使用者が生成したい動画のフレームレートを指定するようにし、制御装置１０４は、使用者によって指定された動画のフレームレートに基づいて、高速連写によって得た複数の静止画を合成して複数の合成画像を生成し、生成した各合成画像を動画を構成する１フレームとすることにより動画データを生成する例について説明した。しかしながら、制御装置１０４は、生成する動画のフレームレートを表示装置１０６の表示フレームレートと同じに設定して、動画データを生成するようにしてもよい。あるいは、生成する動画のフレームレートをあらかじめ設定された固定値としてもよい。

（３）上述した実施の形態では、制御装置１０４は、高速連写によって得た複数の画像ファイルをメモリカードへ記録しておき、このメモリカードに記録した画像ファイルの画像データを用いて動画データを生成する例について説明した。しかしながら、制御装置１０４は、メモリカードの残容量を検出し、メモリカードの残容量が少ない場合には、連写によって得た複数の画像ファイルをメモリカードへは記録せず、バッファメモリに記録しておき、バッファメモリ内の画像ファイルの画像データに基づいて動画データを生成するようにしてもよい。

（４）上述した実施の形態では、制御装置１０４は、使用者によって指定されたシャッタースピード、例えば１／６００秒のシャッタースピードで高速連写を行なう例について説明した。しかしながら、制御装置１０４は、撮影環境に応じて自動的に高速連写時のシャッタースピードを変更するようにしてもよい。例えば、制御装置１０４は、高速連写開始前にスルー画の各フレーム間で被写体の動きベクトルを算出することによって被写体の動きを検出し、被写体の動きが速い場合にはシャッタースピードを速めに設定し、被写体の動きが遅い場合にはシャッタースピードを遅めに設定すればよい。あるいは、制御装置１０４は、高速連写中にフレーム間で被写体の動きベクトルを算出することによって被写体の動きを検出して、シャッタースピードを変更するようにしてもよい。

また、動画データの生成元とする静止画は、高速連写によって得た複数の画像に限られず、例えば１／１０秒のシャッタースピードで連写を行なう通常連写で得た複数の画像や単独で撮影して得た複数の画像を用いてもよい。

（５）上記図３に示した実施形態では、合成対象から排除すべきフレームを特定し、その排除すべきフレーム以外のフレームを使って動画用の１フレームを生成するようにしている。しかしながら、この排除すべきフレームを、時間的にその排除すべきフレームの前後に存在するフレームを使って周知の補間処理により作成した補間フレームに置き換えて、そしてその生成した補間フレームを使って（上述の合成対象として使用して）動画用フレームを生成するようにしても良い。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００カメラ、１０１操作部材、１０２レンズ、１０３撮像素子、１０４制御装置、１０５メモリカードスロット、１０６モニタ

Claims

被写体像を、当該被写体像に像ぶれが生じない程度に高速な電子シャッタ秒時で連続的に撮像して画像ファイルを生成する撮影手段と、
前記撮影手段により生成された前記画像ファイルを記憶媒体に記録する画像ファイル記録手段と、
動画のフレームレートを設定する設定手段と、
前記撮影手段により撮影された複数の画像ファイルの画像データを前記設定手段によって設定された前記フレームレートに応じた数だけ合成して、複数の合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された各合成画像を動画の１コマとした動画ファイルを生成する動画ファイル生成手段とを備えることを特徴とするカメラ。
請求項１に記載のカメラにおいて、
前記動画ファイル生成手段によって生成された前記動画ファイルを前記記憶媒体に記録する動画ファイル記録手段をさらに備えることを特徴とするカメラ。
請求項１または２に記載のカメラにおいて、
前記合成画像生成手段は、前記撮影手段により撮影された複数の画像ファイルの画像データの中から、前記合成画像を生成するための合成対象から排除すべき画像ファイルを排除して、前記合成画像を生成することを特徴とするカメラ。
請求項３に記載のカメラにおいて、
前記合成画像生成手段は、不要物が写り込んでいる画像、像ボケが生じている画像、または過去の画像で連続して存在していた主要被写体がいなくなった画像を前記合成対象から排除すべき画像ファイルとして特定することを特徴とするカメラ。
請求項１〜４のいずれか一項に記載のカメラにおいて、
前記撮影手段により撮影された複数の画像ファイルは、前記撮影手段が連写によって生成した複数の画像ファイルであることを特徴とするカメラ。
請求項５に記載のカメラにおいて、
前記撮影手段による連写中に周囲の音声を録音する録音手段と、
前記動画ファイルの再生時に、前記動画ファイルに前記録音手段で録音した音声データを付加する音声データ付加手段とをさらに備えることを特徴とするカメラ。
請求項６に記載のカメラにおいて、
前記録音手段は、録音した音声データにタイムスタンプを付加しておき、
前記音声データ付加手段は、前記タイムスタンプに基づいて、動画の各コマと音声データとの対応付けを行って、前記動画ファイルに前記音声データを付加することを特徴とするカメラ。