JP2016220003A

JP2016220003A - 動画生成装置、動画生成方法、及びプログラム

Info

Publication number: JP2016220003A
Application number: JP2015102312A
Authority: JP
Inventors: 賢治吉沢; Kenji Yoshizawa
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2015-05-19
Filing date: 2015-05-19
Publication date: 2016-12-22
Anticipated expiration: 2035-05-19
Also published as: US10032482B2; CN106170068B; US20160343403A1; CN106170068A; JP6402934B2

Abstract

【課題】周囲の環境に問題があっても、動画の保存に対する影響を低減する。【解決手段】ＣＰＵ１７は、所定期間（例えば一日）のうちで任意に記録した静止画や動画から、所定の時間間隔で、その時点で記録された記録ファイルの中から静止画を抽出し、これらをフレームとしたタイムラプス動画を生成する。すなわち、静止画以外にも、その所定の時間間隔に相当するタイミングで動画ファイルが記録された場合にも、その動画ファイルにおける、所定の時間間隔に相当するタイミングのフレームを抽出し、これを生成すべきタイムラプス動画のフレームとして採用する。【選択図】図１

Description

本発明は、動画生成装置、動画生成方法、及びプログラムに関する。

従来より、所定期間（例えば一日）内に記録した静止画像から所定時間間隔で選択した画像に基づいてダイジェスト静止画像を生成する技術が存在する（例えば特許文献１参照）。

特開２００１−０９４９７９号公報

しかしながら、従来技術では、生成されるダイジェスト静止画像は、単に静止画の羅列でしかなく、時間経過を把握することが難しいという問題があった。

そこで本発明は、時間的に連続性を有し、時間経過を容易に把握することが可能な動画を生成することを目的とする。

この発明に係る動画生成装置は、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段と、この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段と、を備えたことを特徴とする。

この発明に係る動画生成方法は、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出ステップと、この抽出ステップにて抽出された複数の静止画を時系列的に並べた動画を生成する動画生成ステップと、を含むことを特徴とする。

この発明に係るプログラムは、動画生成装置のコンピュータを、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段、この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段、として機能させることを特徴とする。

この発明によれば、時間的に連続性を有し、時間経過を容易に把握することが可能な動画を生成することができる。

本発明の実施形態によるデジタルカメラ１の構成を示すブロック図である。本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。本実施形態によるデジタルカメラ１の動作を説明するためのシーケンス図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラ１の構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ１１、ＣＭＯＳ１２、ＴＧ（Timing Generator）１３、ユニット回路１４、画像処理部１５、レンズ駆動部１６、ＣＰＵ１７、ＤＲＡＭ１８、メモリ１９、フラッシュメモリ２０、表示部２１、キー入力部２２、カードＩ／Ｆ２３、及びメモリ・カード２４を備えている。

撮像レンズ１１は、ズームレンズ、フォーカスレンズを含み、レンズ駆動部１６が接続されている。レンズ駆動部１６は、ＣＰＵ１７からの制御信号に従って撮像レンズ１１を駆動し、オートフォーカス駆動やズーム駆動などを行う。ＣＭＯＳ（撮像素子）１２は、電子シャッタ機能（後述のＴＧ（タイミングジェネレータ）１３による露光、データ掃き出しのタイミング制御）を備え、撮像レンズ１１、及びを介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路１４に出力する。該ＣＭＯＳ１２は、ＴＧ１３によって生成されたタイミング信号に従って駆動される。

ユニット回路１４は、ＣＭＯＳ１２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。該ユニット回路１４は、ＴＧ１３によって生成されたタイミング信号に従って駆動される。ＣＭＯＳ１２の撮像信号は、ユニット回路１４を経てデジタル信号として画像処理部１５に送られる。

画像処理部１５は、ユニット回路１４から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理、重畳合成処理やフィルタ処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、撮像画像のトリミングや撮像画像のデジタルズームなどの処理などを行う。該画像処理部１５は、ＴＧ１３によって生成されたタイミング信号に従って駆動される。

ＣＰＵ１７は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本実施形態では、ＣＰＵ１７は、所定期間（例えば一日）のうちで任意に記録した静止画や動画から、所定の時間間隔で撮影された画像を抽出し、これらをフレームとしたタイムラプス動画を生成する。

ＤＲＡＭ１８は、ＣＭＯＳ１２によって撮像された後、ＣＰＵ１７に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１７のワーキングメモリとして使用される。上記ＣＰＵ１７は、ＤＲＡＭ１８に保存された撮像画像に対して上述した処理を施すよう制御する。メモリ１９は、ＣＰＵ１７によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１７は、このプログラムに従って処理を行う。フラッシュメモリ２０や、メモリ・カード２４は、ＣＭＯＳ１２によって撮像された画像データなどを保存しておく記録媒体である。

表示部２１は、カラー液晶表示器とその駆動回路を含み、撮像待機状態にあるときには、ＣＭＯＳ１２によって撮像された撮像画像をライブビュー画像として表示し、記録画像の再生時には、フラッシュメモリ２０や、メモリ・カード２４から読み出され、伸張された記録画像を表示する。また、撮影時においては、今までに撮影された画像数、記録継続時間等々を逐次表示したり、撮影時以外においては電源の残容量、メモリの空き容量、現在の撮影条件（設定内容）を表示する。キー入力部２２は、シャッタボタン、撮影モード設定ダイヤル、ズームスイッチ、ＳＥＴキー、十字キー等の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１７に出力する。カードＩ／Ｆ２３には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード２４が着脱自在に装着されている。

本実施形態では、ＣＰＵ１７は、所定期間（例えば一日）のうちで任意に記録した静止画や動画から、所定の時間間隔で、その時点で記録された記録ファイルの中から静止画を抽出し、これらをフレームとしたタイムラプス動画を生成する。すなわち、静止画以外にも、その所定の時間間隔に相当するタイミングで動画ファイルが記録された場合にも、その動画ファイルにおける、所定の時間間隔に相当するタイミングのフレームを抽出し、これを生成すべきタイムラプス動画のフレームとして採用する。

このように、本実施形態では、所定期間（例えば一日）のうちで任意に記録した静止画に加えて動画からも、所定の時間間隔で、その時点で記録された記録ファイルの中から静止画を抽出し、これらをフレームとしたタイムラプス動画を生成することにより、時間的に連続性を有し、時間経過を容易に把握することが可能な動画を生成することが可能となる。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態によるデジタルカメラ１の動作（タイムラプス動画生成処理）を説明するためのフローチャートである。図２に示すフローチャートは、デジタルカメラ１の通常の動作（静止画／動画撮影、静止画／動画再生など）と並行して、もしくは任意のタイミングでＣＰＵ１７によって実行される。

ＣＰＵ１７は、まず、タイムラプス動画を構成する静止画を抽出する全体期間を表す所定期間Ｔ１（例えば１日など）と、上記静止画を抽出する抽出間隔を表す所定の時間間隔Ｔ２（例えば５、１０、３０分、１時間など）とを設定する。なお、特に設定しない場合には、デフォルト値として、例えば、所定期間Ｔ１に１日（２４時間）、所定の時間間隔Ｔ２に１０分が設定される。

以下では、デジタルカメラ１の通常の動作（静止画／動画撮影、静止画／動画再生など）と並行して図２に示すタイムラプス動画生成処理が実行されるとして説明する。

ＣＰＵ１７は、タイムラプス動画生成処理が実行されると、まず、所定の時間間隔Ｔ２であるか否かを判断する（ステップＳ１０）。そして、所定の時間間隔Ｔ２でない場合には（ステップＳ１０のＮＯ）、待機状態となる。一方、所定の時間間隔Ｔ２である場合には（ステップＳ１０のＹＥＳ）、ＣＰＵ１７は、その撮影タイミングで記録された記録ファイルがあるか否かを判断する（ステップＳ１２）。なお、例えば、数十秒、数分などの範囲で差異があれば、その時刻に記録された記録ファイルであると許容するものである（詳細は後述）。

また記録ファイルが動画ファイルの場合は、撮影開始時刻、収録時間（記録時間）、及び、フレームレート等の情報がその動画ファイルのプロファイル情報として記録されているので、それらの情報から所定の時間間隔に撮影されたフレームを特定し、これを静止画として抽出する。

そして、記録ファイルがある場合には（ステップＳ１２のＹＥＳ）、ＣＰＵ１７は、当該記録ファイルが既に任意に作成されたタイムラプス動画であるか否かを判断する（ステップＳ１４）。そして、当該記録ファイルがタイムラプス動画でない場合、すなわち静止画又は動画である場合には（ステップＳ１４のＮＯ）、ＣＰＵ１７は、当該記録ファイルから静止画を抽出し（ステップＳ１６）、抽出した静止画の画角を調整する（ステップＳ１８）。

一方、現在時刻に相当するタイムスタンプの記録ファイルがない場合（ステップＳ１２のＮＯ）、又は、該当記録ファイルがあるものの、タイムラプス動画であった場合には（ステップＳ１４のＹＥＳ）、タイムラプス動画からタイムラプス動画を生成することになり、タイムラプス動画を生成するには適当でないので、所定のブランク画像を生成する（ステップＳ２０）。なお、所定のブランク画像以外にも、１つ前のタイミングで抽出した静止画を採用するようにしてもよい。

次に、ＣＰＵ１７は、上記画角を調整した静止画、又は上記ブランク画像を保存する（ステップＳ２２）。次に、ＣＰＵ１７は、所定期間Ｔ１に達したか否かを判断する（ステップＳ２４）。そして、所定期間Ｔ１に達していない場合には（ステップＳ２４のＮＯ）、ＣＰＵ１７は、ステップＳ１０に戻り、上述した処理を繰り返し実行する。

このようにして、上記ステップＳ１０〜Ｓ２４において、所定期間Ｔ１に達するまで所定の時間間隔Ｔ２で、その時点で記録された、静止画又は動画の記録ファイルから静止画を抽出する。そして、所定期間Ｔ１に達した場合には（ステップＳ２４のＹＥＳ）、ＣＰＵ１７は、保存した静止画からタイムラプス動画を生成し（ステップＳ２６）、生成したタイムラプス動画を保存する（ステップＳ２８）。

図３は、本実施形態によるデジタルカメラ１の動作を説明するためのシーケンス図である。図３に示すように、ＳＴＡＲＴ〜ＥＮＤの所定期間Ｔ１の間に時間間隔Ｔ２で記録ファイルから静止画を抽出する。より具体的には、時刻ｔ０で、記録ファイルである静止画群３０の中から静止画４０を抽出し、時刻ｔ１で、記録ファイルである動画３１から静止画４１を抽出し、時刻ｔ２で、記録ファイルである静止画群３２の中から静止画４２を抽出する。

この場合、時刻ｔ０〜ｔ２において、対応する静止画が存在しない場合、その前後の撮影時間（所定期間よりも短い期間）で対応する静止画もしくは動画におけるフレームがあれば、それを抽出する。

具体的には、１１時から１４時迄の期間で、所定期間としてＴ＝１０ｍｉｎ、すなわち１０分毎に静止画を抽出することを想定した場合、１３：００に記録した静止画又は動画のフレームが存在しない場合、その前後数分に撮影された静止画又は動画のフレームが存在すればそれを採用する。

ただし、生成されたタイムラプス動画において時間的な連続性を失わないようにするには前後数分とはいえ前記所定期間Ｔ、つまり１０分の半分以下の５分以内の時間幅で静止画又は動画のフレームが存在することが望ましい。

時刻ｔ０〜ｔ２において、少なくともｔ１、ｔ２が同一の動画ファイルの撮影時間に含まれる場合はｔ１、ｔ２に撮影されたフレームを静止画として抽出する。

次に、時刻ｔ３では、記録ファイルがタイムラプス動画３３であるので、タイムラプス動画からタイムラプス動画を生成することになり、タイムラプス動画を生成するには適当でないので、所定のブランク画像４３（又は１つ前の静止画４２）を採用する。更に、時刻ｔ４では、記録ファイルが存在しないので、やはり所定のブランク画像４３（又は１つ前の静止画４２）を採用する。その後、保存した複数の静止画４０、４１、４２やブランク画像４３、４３、…からタイムラプス動画５０を生成して保存する。

上述した実施形態によれば、所定期間Ｔ１に渡って、所定の時間間隔Ｔ２で、その時刻に記録された記録ファイルから静止画を抽出し、この抽出された複数の静止画を時系列に並べてタイムラプス動画を生成するようにしたので、時間的に連続性を有し、時間経過を容易に把握することが可能な動画を生成することができる。

上述した実施形態によれば、記録ファイルが特定の時間間隔で撮影されたタイムラプス動画である場合には、所定の静止画を用いてタイムラプス動画を生成するようにしたので、時間的に連続性を有し、時間経過を容易に把握することが可能で、より自然な３動画を生成することができる。

上述した実施形態によれば、記録ファイルが存在しない場合には、所定の静止画を用いてタイムラプス動画を生成するようにしたので、時間的に連続性を有し、時間経過を容易に把握することが可能で、より自然な動画を生成することができる。

上述した実施形態によれば、記録ファイルとして、静止画ファイル又は動画ファイルから静止画を抽出し、この抽出された複数の静止画を時系列に並べてタイムラプス動画を生成するようにしたので、時間的に連続性を有し、時間経過を容易に把握することが可能な動画を生成することができる。

なお、上述した実施形態では、デジタルカメラ１の通常の動作（静止画／動画撮影、静止画／動画再生など）と並行して図２に示すタイムラプス動画生成処理を実行するようにしたが、これに限らず、任意のタイミングでタイムラプス動画生成処理を実行すると、その時点から所定期間Ｔ１分遡った時点（あるいはユーザによって指定された範囲）から、所定の時間間隔Ｔ２で、既存の静止画又は動画の記録ファイルから静止画を抽出し、当該抽出した静止画からタイムラプス動画を生成するようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段と、この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段と、を備えたことを特徴とする動画生成装置である。

（付記２）
付記２に記載の発明は、前記抽出手段は、所定期間に渡って、前記所定の時間間隔で前記記憶手段から静止画を抽出する、ことを特徴とする付記１に記載の動画生成装置である。

（付記３）
付記３に記載の発明は、前記抽出手段による抽出対象となる静止画が、既に前記動画生成手段によって生成された動画に含まれるか否かを判断する判断手段を更に備え、前記動画生成手段は、前記判断手段によって前記動画に含まれると判断された場合、この動画に含まれる静止画に代えて、所定の静止画を用いて前記動画を生成することを特徴とする付記１又は２に記載の動画生成装置である。

（付記４）
付記４に記載の発明は、前記所定の時間間隔を含む時刻に記録された画像が存在するか否かを判断する存在判断手段を更に備え、前記動画生成手段は、前記存在判断手段によって前記画像が存在しないと判断された場合、所定の静止画を用いて前記動画を生成することを特徴とする付記１乃至３のいずれか一つに記載の動画生成装置である。

（付記５）
付記５に記載の発明は、前記画像は、静止画ファイル又は動画ファイルである、ことを特徴とする付記１乃至４のいずれか一つに記載の動画生成装置である。

（付記６）
付記６に記載の発明は、前記画像が動画ファイルの場合、その動画ファイルに記憶される情報に基づいて抽出すべき静止画に相当するフレームを特定するフレーム特定手段を更に備えたことを特徴とする付記５記載の動画生成装置である。

（付記７）
付記７に記載の発明は、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出ステップと、この抽出ステップにて抽出された複数の静止画を時系列的に並べた動画を生成する動画生成ステップと、を含むことを特徴とする動画生成方法である。

（付記８）
付記８に記載の発明は、動画生成装置のコンピュータを、画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段、この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段、として機能させることを特徴とするプログラムである。

１デジタルカメラ
１１撮像レンズ
１２ＣＭＯＳ
１３ＴＧ（Timing Generator）
１４ユニット回路
１５画像処理部
１６レンズ駆動部
１７ＣＰＵ
１８ＤＲＡＭ
１９メモリ
２０フラッシュメモリ
２１表示部
２２キー入力部
２３カードＩ／Ｆ
２４メモリ・カード

Claims

画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段と、
この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段と、
を備えたことを特徴とする動画生成装置。
前記抽出手段は、所定期間に渡って、前記所定の時間間隔で前記記憶手段から静止画を抽出する、
ことを特徴とする請求項１に記載の動画生成装置。
前記抽出手段による抽出対象となる静止画が、既に前記動画生成手段によって生成された動画に含まれるか否かを判断する判断手段を更に備え、
前記動画生成手段は、前記判断手段によって前記動画に含まれると判断された場合、この動画に含まれる静止画に代えて、所定の静止画を用いて前記動画を生成することを特徴とする請求項１又は２に記載の動画生成装置。
前記所定の時間間隔を含む時刻に記録された画像が存在するか否かを判断する存在判断手段を更に備え、
前記動画生成手段は、前記存在判断手段によって前記画像が存在しないと判断された場合、所定の静止画を用いて前記動画を生成することを特徴とする請求項１乃至３のいずれか一項に記載の動画生成装置。
前記画像は、静止画ファイル又は動画ファイルである、ことを特徴とする請求項１乃至４のいずれか一項に記載の動画生成装置。
前記画像が動画ファイルの場合、その動画ファイルに記憶される情報に基づいて抽出すべき静止画に相当するフレームを特定するフレーム特定手段を更に備えたことを特徴とする請求項５記載の動画生成装置。
画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出ステップと、
この抽出ステップにて抽出された複数の静止画を時系列的に並べた動画を生成する動画生成ステップと、
を含むことを特徴とする動画生成方法。
動画生成装置のコンピュータを、
画像が記憶された記憶手段から、所定の時間間隔で特定される複数のタイミングに基づいて対応する複数の静止画を抽出する抽出手段、
この抽出手段によって抽出された複数の静止画を時系列的に並べた動画を生成する動画生成手段、
として機能させることを特徴とするプログラム。