JP2017046320A - 撮像装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】動画の撮影時間と再生時間とが一致しない場合であっても、動画の再生時間と音声の再生時間との差を抑制する技術を提供する。【解決手段】動画撮影手段と、音声の再生時間を取得する取得手段と、前記動画撮影手段の被写体の状態に基づいて、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、を決定する決定手段と、前記決定された撮影時間にわたって前記動画撮影手段で撮影された動画を、前記決定された記録フレームレートで記録する記録手段であって、前記記録される動画に前記音声を対応付けて記録する記録手段と、を備え、前記決定手段は、前記記録手段により記録される前記動画及び前記音声の再生時間の差が所定の範囲に収まるように、前記撮影時間及び前記記録フレームレートを決定することを特徴とする撮像装置を提供する。【選択図】図３

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。

近年、撮影した動画をインターネット上で共有するという動画共有サイトが発展し、クリエイティブで面白い動画を撮影したいというユーザのニーズが高まっている。動画を面白くするための１つの方法として、動画にスローモーションや早送りの効果を付加することが考えられる。

動画にスローモーションや早送りの効果を付加すると、動画の再生時間が変化する。再生時間の変化を抑制する技術として、特許文献１が知られている。特許文献１によれば、動画にスローモーションや早送りの効果が付加された場合でも再生時間が一定になるように動画の記録時間が設定される。

また、動画データと共に、動画データの再生時にＢＧＭとして再生するための音楽データを記録する画像記録再生装置も知られている（特許文献２参照）。特許文献２の画像記録再生装置は、動画の撮影時間を音楽データの再生時間に一致させることにより、動画及び音楽の再生時間を一致させる。

特開２０１０−２５１９０７号公報 特開２０１０−２４５７３５号公報

動画にスローモーションや早送りの効果を付加し、更に音声（例えば、ＢＧＭ）を付加する場合を考える。この場合、特許文献２の技術に従って動画の撮影時間を音声の再生時間に一致させても、動画に付加する効果の内容に応じて動画の再生時間が変化するため、動画及び音声の再生時間が異なり、ユーザが違和感を覚える可能性がある。

本発明はこのような状況に鑑みてなされたものであり、動画の撮影時間と再生時間とが一致しない場合であっても、動画の再生時間と音声の再生時間との差を抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、動画撮影手段と、音声の再生時間を取得する取得手段と、前記動画撮影手段の被写体の状態に基づいて、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、を決定する決定手段と、前記決定された撮影時間にわたって前記動画撮影手段で撮影された動画を、前記決定された記録フレームレートで記録する記録手段であって、前記記録される動画に前記音声を対応付けて記録する記録手段と、を備え、前記決定手段は、前記記録手段により記録される前記動画及び前記音声の再生時間の差が所定の範囲に収まるように、前記撮影時間及び前記記録フレームレートを決定することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、動画の撮影時間と再生時間とが一致しない場合であっても、動画の再生時間と音声の再生時間との差を抑制することが可能となる。

撮像装置１００の外観図。 撮像装置１００の機能ブロック図。 第１の実施形態に係る、撮像装置１００が実行する動画撮影処理を示すフローチャート。 第１の実施形態に係る、ＢＧＭ決定テーブルを示す図。 効果決定テーブルを示す図。 動きレベルが「３」の場合（被写体の動きが大きい場合）の、撮影記録処理を示す図。 動きレベルが「１」の場合（被写体の動きが小さい場合）の、撮影記録処理を示す図。 第２の実施形態に係る、撮像装置１００が実行する動画撮影処理を示すフローチャート。 第２の実施形態に係る、ＢＧＭ決定テーブルを示す図。 連結動画の各チャプタの再生時間の可能な組み合わせを示す図。 連結動画の各チャプタの再生時間の可能な組み合わせを示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の外観図である。図１において、表示部２８は、画像や各種情報を表示する。シャッターボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、接続ケーブル１１１と撮像装置１００とを接続する。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材である。コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部である。記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、撮像装置１００との通信が可能となる。

図２は、撮像装置１００の機能ブロック図である。図２において、シャッター１０１は、絞り機能を備えるシャッターである。撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２は、Ａ／Ｄ変換処理機能を備えている。ＡＦ評価値検出部２３は、デジタル画像信号から得られるコントラスト情報などからＡＦ（オートフォーカス）評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系を覆うことにより、撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより、低照度シーンでの撮影時や逆光シーンでの撮影時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し、所定の画素補間や縮小といったリサイズ処理や、色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、画像処理部２４では、ＡＦ（オートフォーカス）処理が行われるが、このとき、撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４は更に、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得及びＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示デバイス上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、表示部２８は電子ビューファインダとして機能し、スルー画像表示を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、撮像装置１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御も行う。システムメモリ５２は、ＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部材である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。或いは、モード切替スイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、撮像装置１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンなどを用いて直感的に各種設定を行うことができる。

図１に示したコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０は撮像装置１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は、回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

本実施形態では、撮像装置１００は、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートを制御することにより、動画データに対して、スロー再生効果や早送り再生効果といった特殊効果を付加することができる。記録フレームレートの制御は、例えば、動画撮影時のフレームレート（撮影フレームレート）及び動画記録時のフレームの記録割合の一方又は両方を制御することにより実行可能である。以下の説明では、撮像装置１００は、撮影フレームレート及び記録割合の両方を制御することにより、記録フレームレートを制御するものとする。

また、本実施形態では、撮像装置１００は、記録する動画データに対して、動画データと共に再生される音声データを対応付けて記録する。以下の説明において、音声データの内容は音楽であり、この音楽は動画再生時のＢＧＭとしての役割を果たすものとする。しかしながら、音声データの内容は音楽に限定されず、例えばナレーションであってもよい。また、以下の説明において、特殊効果及び音声データを付加した動画データを生成する撮影モードを、「音声付効果動画撮影モード」と呼ぶ。

図３は、撮像装置１００が実行する動画撮影処理を示すフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、不揮発性メモリ５６に記録されたプログラムをシステム制御部５０が実行することにより実現される。撮像装置１００の動作モードが上述の音声付効果動画撮影モードに遷移すると、本フローチャートの処理が開始する。

Ｓ３０１で、撮像装置１００は、Ｎ秒置きに被写体の状態検出を行う。例えば、撮像装置１００は、撮像部２２から出力される信号データから、フレーム間の主要被写体領域の重心位置の変化量を取得し、その変化量から被写体の状態変化を検出することができる。主要被写体の検出については、画面内の輝度や色の領域分布やエッジ情報から画面内に主要な被写体が存在するかどうかを判定するアルゴリズムが一般的に知られている。Ｓ３０１において被写体の状態検出を行う目的は、前述したように動画データに対して、スロー再生効果や早送り再生効果といった特殊効果を付加するためである。また、本実施形態では、撮像装置１００は、被写体の状態検出結果を、動画データに付加するＢＧＭを決定するためにも使用する。特殊効果の決定方法、及びＢＧＭの決定方法についての詳細は後述する。

Ｓ３０２で、撮像装置１００は、ユーザによる撮影開始指示が行われたか否かを判定する。撮影開始指示が行われるまでは、Ｓ３０１の処理が繰り返される。撮影開始指示が行われると（即ち、システム制御部５０が撮影開始指示を受信すると）、処理はＳ３０３に進む。Ｓ３０３で、撮像装置１００は、Ｓ３０１における被写体の状態検出結果を取得する。

Ｓ３０４で、撮像装置１００は、被写体の状態検出結果に基づいて、動画データに付加するＢＧＭを決定し、そのＢＧＭの再生時間を取得する。本実施形態では、被写体の状態検出結果として、被写体の動きレベルを使用するものとし、動きレベルの数値が大きいほど被写体の動きが大きいものとする。また、本実施形態では、Ｓ３０４におけるＢＧＭ決定処理（音声決定処理）は、図４に示すＢＧＭ決定テーブルに従って行われるものとする。ＢＧＭ決定テーブルとは、被写体の動きレベルに応じてＢＧＭを選択するためのテーブルのことである。ここでは例として、動きレベルが「１」（動きが小さい）の場合を説明する。この場合、撮像装置１００は、ＢＧＭ決定テーブルに従い、ＢＧＭ番号「Ｂ１０１」のＢＧＭを選択する。また、図４から理解できるように、ＢＧＭ番号「Ｂ１０１」に対応するＢＧＭ再生時間は３秒である。このように、撮像装置１００は、ＢＧＭを決定すると、ＢＧＭの再生時間を取得することができる。

Ｓ３０５で、撮像装置１００は、被写体の状態検出結果に基づき、動画の再生時間がＢＧＭの再生時間に一致するように、撮影フレームレート、記録割合、及び撮影時間を決定する。

ここで、動画の再生時間とＢＧＭの再生時間との関係について考える。動画の再生時間と動画に付加するＢＧＭの再生時間とが一致しない場合、動画再生が終了する前にＢＧＭ再生が終了してしまったり、逆にＢＧＭ再生が終了する前に動画再生が終了してしまったりする。その結果、ＢＧＭを付加した動画データとしての品位が低いものとなってしまう。そのため、動画の再生時間とＢＧＭの再生時間は一致させる必要がある。

なお、厳密に言えば、動画及びＢＧＭの再生時間が完全には一致していなくても、再生時間の差を小さくすれば、再生時間の差に起因する品位の低下を抑制することができる。以下では、説明を単純化するために、撮像装置１００は動画及びＢＧＭの再生時間を一致させるものとするが、本実施形態はこれに限定されず、動画及びＢＧＭの再生時間の差を所定の範囲に収める構成も含む。

以上を踏まえて、Ｓ３０５における効果決定処理について、更に詳細に説明する。本実施形態では、Ｓ３０５における効果決定処理は、図５に示す効果決定テーブルに従って行われるものとする。効果決定テーブルは、被写体の状態に応じて、前述したようなスロー再生効果や早送り再生効果を決定するためのテーブルのことである。また、本実施形態では、Ｓ３０４と同様、被写体の状態検出結果として、被写体の動きレベルを使用するものとし、動きレベルの数値が大きいほど被写体の動きが大きいものとする。

図６は、動きレベルが「３」の場合（被写体の動きが大きい場合）の、撮影記録処理を示す図である。図６は、撮像部２２の出力フレーム数を９０ｆｐｓ×３秒＝２７０とし、再生ではフレームレートを３０ｆｐｓとし、先頭及び末尾の各９０フレームを１／３に間引くことを示している。この場合、通常再生（１秒）→スロー再生（３秒）→通常再生（１秒）の効果が付加された動画が生成される。この場合、撮像装置１００は、図５の効果決定テーブルに従い、撮影フレームレートを９０ｆｐｓに、撮影時間を３秒に、それぞれ決定する。また、撮像装置１００は、３秒の撮影時間のうち、最初の１秒の記録割合が１／３に、次の１秒の記録割合が１に、最後の１秒の記録割合が１／３になるように、記録割合を決定する。このように、記録割合は、撮影時間全体にわたって一定である必要はなく、撮影時間の中で変化してもよい。その結果、図６に示す効果が付加された動画が生成される。換言すると、Ｓ３０５において撮影フレームレート及び記録割合を決定することは、動画に付加する特殊効果を決定することに相当する。また、撮影フレームレート、記録割合、及び撮影時間が決まると、再生時間も決まる。

図７は、動きレベルが「１」の場合（被写体の動きが小さい場合）の、撮影記録処理を示す図である。図７は、撮像部２２の出力フレーム数を３０ｆｐｓ×６秒＝１８０とし、再生ではフレームレートを３０ｆｐｓとし、全フレームを１／２に間引くことを示している。この場合、２倍速再生（３秒）の効果が付加された動画が生成される。図６の場合と同様、撮像装置１００は、図５の効果決定テーブルに従って撮影フレームレート、記録割合、及び撮影時間を決定する。

なお、動画に付加する特殊効果は、図６及び図７に示すものに限定されない。例えば、被写体の動きが小さい場合（動きの度合いが第１の閾値未満の場合）、撮像装置１００は、記録される動画の少なくとも一部が再生時に早送り再生されるように、撮影フレームレート及び記録割合を決定する。別の例として、被写体の動きが大きい場合（動きの度合いが第２の閾値以上の場合）、撮像装置１００は、記録される動画の少なくとも一部が再生時にスロー再生されるように、撮影フレームレート及び記録割合を決定する。

本実施形態では、ＢＧＭ決定テーブル（図４）及び効果決定テーブル（図５）は、各々の動きレベルについて、対応するＢＧＭ及び動画の再生時間が一致するように構成されている。従って、撮像装置１００は、Ｓ３０５において、図５の効果決定テーブルに従って撮影フレームレート、記録割合、及び撮影時間を決定することにより、動画及びＢＧＭの再生時間を一致させることができる。例えば、Ｓ３０４において前述した通り、動きレベルが「１」（動きが小さい）の場合、撮像装置１００は、図４のＢＧＭ決定テーブルに従い、再生時間が３秒のＢＧＭを選択する。そして、Ｓ３０５において、撮像装置１００は、図５の効果決定テーブルに従い、撮影フレームレートを９０ｆｐｓに、記録割合（全撮影期間）を１／２に、撮影時間を６秒に、それぞれ決定する。その結果、動画の再生時間は３秒となり、ＢＧＭの再生時間に一致する。

なお、図４及び図５の例では、単純化のため、１つの動きレベルに対応するＢＧＭの再生時間は１つだけであり、１つの動きレベルに対応する動画の再生時間は１つだけであるものとした。しかしながら、１つの動きレベルに対して複数の再生時間が対応するように、ＢＧＭ決定テーブル及び効果決定テーブルを構成してもよい。例えば、ＢＧＭ決定テーブルにおいて、動きレベル「１」に対し、３秒、５秒、７秒の再生時間を持つ３つのＢＧＭが対応付けられているものとする。また、効果決定テーブルにおいて、動きレベル「１」に対し、３秒、５秒、７秒の３つの再生時間に対応する３セットの「撮影フレームレート、記録割合、及び撮影時間」の組み合わせが対応付けられているものとする。この場合、Ｓ３０４で、撮像装置１００は、動きレベル「１」に加えて何らかの条件に基づいて、３秒、５秒、７秒のいずれかの再生時間に対応するＢＧＭを選択する。ここでは、５秒の再生時間を持つＢＧＭが選択されたものとする。そして、Ｓ３０５で、撮像装置１００は、動きレベル「１」に対応する「撮影フレームレート、記録割合、及び撮影時間」の組み合わせのうち、５秒の再生時間に対応するものを選択する。

また、上記の説明では、撮像装置１００は、被写体の状態検出結果に基づいてＢＧＭを決定するものとしたが、本実施形態はこれに限定されず、いかなる基準でＢＧＭを決定してもよい。図４及び図５に示すようなＢＧＭ決定テーブル及び効果決定テーブルを使用することは、動画及びＢＧＭの再生時間を一致させるための特定の一手法に過ぎない。ＢＧＭの決定基準が何であれ、撮像装置１００は、Ｓ３０５で、動画の再生時間がＢＧＭの再生時間に一致するように、撮影フレームレート、記録割合、及び撮影時間を決定する。

図３のフローチャートに戻る。Ｓ３０４及びＳ３０５におけるＢＧＭ決定処理及び効果決定処理に続き、Ｓ３０６で、撮像装置１００は、動画撮影を開始する。具体的には、撮像装置１００は、Ｓ３０５において決定された撮影時間にわたり、Ｓ３０５において決定された撮影フレームレートで動画を撮影する。また、撮像装置１００は、撮影された動画を記録する際に、Ｓ３０５において決定された記録割合に従って、フレームの記録を行う。換言すると、撮像装置１００は、決定された撮影時間にわたって撮影された動画を、決定された撮影フレームレート及び記録割合に対応する記録フレームレートで記録する。決定された撮影時間が経過すると、Ｓ３０７で、動画撮影が自動的に終了する。

Ｓ３０８で、撮像装置１００は、撮影した動画を、動画ファイルとして保存する。このとき、撮像装置１００は、Ｓ３０４において決定したＢＧＭを、動画に対応付けて記録する。具体的には、例えば、撮像装置１００は、Ｓ３０４において決定したＢＧＭに対応する音声データを、動画ファイルの特定の領域に格納する。

Ｓ３０９で、撮像装置１００は、動作モードが他のモードに遷移したか否かを判定する。動作モードが他のモードに遷移していない場合、処理はＳ３０１に戻る。動作モードが他のモードに遷移した場合、本フローチャートの処理は終了する。

以上説明したように、第１の実施形態によれば、撮像装置１００は、動画及びＢＧＭの再生時間が一致するように（或いは、再生時間の差が所定の範囲に収まるように）、動画の撮影時間及び記録フレームレートを決定する。これにより、動画の撮影時間と再生時間とが一致しない場合であっても、動画の再生時間と音声の再生時間との差を抑制することが可能となる。

［第２の実施形態］
第１の実施形態では、１つの動画に対してＢＧＭを付加する構成について説明した。これに対し、第２の実施形態では、Ｃ個（Ｃは２以上の整数）の動画を連結して１つの連結動画を生成し、連結動画に対してＢＧＭを付加する構成について説明する。連結動画を構成する各動画のことを、「チャプタ」とも呼ぶ。

第２の実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

図８は、第２の実施形態に係る、撮像装置１００が実行する動画撮影処理を示すフローチャートである。図８において、図３と同一又は同様の処理が行われるステップには図３と同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、不揮発性メモリ５６に記録されたプログラムをシステム制御部５０が実行することにより実現される。撮像装置１００の動作モードが音声付効果動画撮影モードに遷移すると、本フローチャートの処理が開始する。なお、第２の実施形態においては、撮像装置１００は、音声付効果動画撮影モードにおいて、連結動画を生成する。以下の説明では、Ｃ＝４である（即ち、撮像装置１００は４チャプタから構成される連結動画を生成する）ものとする。

Ｓ８０１で、撮像装置１００は、現在のチャプタ番号を示す変数ｉを０に初期化する。Ｓ８０２で、撮像装置１００は、ｉに１を加える。Ｓ８０３で、撮像装置１００は、ｉ＝１であるか否か（現在の撮影対象のチャプタが最初のチャプタであるか否か）を判定する。ｉ＝１の場合、撮像装置１００は処理をＳ８０４に進め、ｉ≠１の場合、撮像装置１００は処理をＳ８０５に進める。

Ｓ８０４で、撮像装置１００は、被写体の状態検出結果に基づいて、連結動画に付加するＢＧＭを決定し、そのＢＧＭの再生時間を取得する。本実施形態では、被写体の状態検出結果として、被写体の動きレベルを使用するものとし、動きレベルの数値が大きいほど被写体の動きが大きいものとする。また、本実施形態では、Ｓ８０４におけるＢＧＭ決定処理は、図９に示すＢＧＭ決定テーブルに従って行われるものとする。図９のＢＧＭ決定テーブルに含まれるＢＧＭの再生時間は、図４のＢＧＭ決定テーブルに含まれるＢＧＭの再生時間よりも長い。これは、第２の実施形態におけるＢＧＭの付加対象（即ち、４チャプタから構成される連結動画）の再生時間は、一般的に、第１の実施形態におけるＢＧＭの付加対象の動画よりも長いからである。以下の説明では、１６秒の再生時間を持つＢＧＭ番号「Ｂ４０１」のＢＧＭが選択されたものとする。

Ｓ８０５で、撮像装置１００は、ＢＧＭの残り再生時間を示す変数Ｔｒに、Ｓ８０４で取得されたＢＧＭの再生時間Ｔａを代入する。

Ｓ８０６で、撮像装置１００は、被写体の状態検出結果に基づき、効果決定テーブルの中から撮影記録設定を選択する。撮影記録設定とは、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、に対応する情報を含むものである。以下の説明では、第１の実施形態の説明と同様、撮像装置１００は、撮影フレームレート及び記録割合の両方を制御することにより、記録フレームレートを制御するものとする。また、以下の説明では、第１の実施形態の説明と同様、図５に示す効果決定テーブルを用いるものとする。即ち、第２の実施形態では、図５に示す効果決定テーブルにおける撮影フレームレート、記録割合、及び撮影時間の組み合わせが、撮影条件設定に対応する。

Ｓ８０６における選択処理は、（Ｔｒ−Ｔｃ）と、効果決定テーブルに含まれる再生時間に基づいて実現可能な（Ｃ−ｉ）個の動画の合計再生時間との差の最小値が、所定の範囲に収まるという条件下で行われる。ここで、Ｔｃは、現在の（ｉ番目の）チャプタの再生時間（即ち、これから選択される撮影条件設定に対応する再生時間）を示す。

上記の選択処理の条件の意味について、図５及び図１０を参照して説明する。ＢＧＭの再生時間が１６秒の場合、ＢＧＭの再生時間と連結動画の再生時間とを一致させるためには、各チャプタの再生時間の組み合わせは、図１０に示すＡ、Ｂ、及びＣの３つの組み合わせに限られる。ここで、現在のチャプタ番号ｉ＝３であり、１番目のチャプタの再生時間が３秒、２番目のチャプタの再生時間が４秒であるものとする。この場合、図１０から理解できるように、組み合わせＢのみが使用可能であり、３番目のチャプタの再生時間としては、４秒又は５秒のみが選択可能である。この状態を上記の条件に当てはめると、「効果決定テーブルに含まれる再生時間に基づいて実現可能な（Ｃ−ｉ）個の動画の合計再生時間」は、３秒、４秒、及び５秒である。そして、Ｔｒ＝１６秒（ＢＧＭの再生時間）−３秒（１番目のチャプタの再生時間）−４秒（２番目のチャプタの再生時間）＝９秒であるので、Ｔｃ＝３秒、４秒、５秒の場合、（Ｔｒ−Ｔｃ）はそれぞれ、９−３＝６秒、９−４＝５秒、９−５＝４秒となる。「６秒、５秒、４秒」のうち、「実現可能な（Ｃ−ｉ）個の動画の合計再生時間」（３秒、４秒、及び５秒）との差の最小値を０にできるのは、「５秒、４秒」のみである。従って、現在のチャプタの再生時間Ｔｃとして選択可能なのは５秒又は４秒であり、３秒を選択することはできない。ここで、被写体の動きレベルが「１」の場合を考える。この場合、上記の条件が存在しないと、図５の効果決定テーブルに従って撮影条件設定が選択され、３番目のチャプタの再生時間は３秒となる。しかし、実際には上記の条件が存在するため、３秒の再生時間に対応する撮影条件設定は選択されず、代わりに、４秒又は５秒の再生時間に対応する撮影条件設定が選択される。これにより、ＢＧＭの再生時間と連結動画の再生時間とを一致させることが可能となる。

なお、第１の実施形態と同様、第２の実施形態は、ＢＧＭの再生時間と連結動画の再生時間との差を所定の範囲に収める構成も含む。この場合、上記の条件における「（Ｔｒ−Ｔｃ）と、効果決定テーブルに含まれる再生時間に基づいて実現可能な（Ｃ−ｉ）個の動画の合計再生時間との差の最小値」は、０でなくてもよく、所定の範囲に収まればよい。

また、図９のＢＧＭ決定テーブルは、撮像装置１００が上記の条件を満たすことが可能なように（即ち、図１０に示すような再生時間の組み合わせを少なくとも１つは作成できるように）構成される。図９の例では、ＢＧＭの再生時間のパターンは３種類としているが、同じＢＧＭを繰り返し再生したり、他のＢＧＭと組み合わせたりすることで、再生時間のパターンを増やすこともできる。

図８に戻り、Ｓ８０７で、撮像装置１００は、Ｔｒに（Ｔｒ−Ｔｃ）を代入する。これにより、Ｓ８０６で選択された撮影記録設定に対応する再生時間（即ち、現在のチャプタの再生時間）に基づき、ＢＧＭの残り再生時間Ｔｒが更新される。

Ｓ８０８で、撮像装置１００は、撮影した動画を、動画ファイルとして保存する。ｉ≧２の場合、撮像装置１００は、今回新たに撮影した動画を、以前に撮影された動画に連結する。従って、最終的にはＣ個の動画が連結された連結動画が生成される。なお、ｉ＝１の場合、新たに動画ファイルが生成される。

Ｓ８０９で、撮像装置１００は、ｉ＝Ｃであるか否か（即ち、連結動画を構成する全チャプタの記録が完了したか否か）を判定する。ｉ＝Ｃの場合、撮像装置１００は、処理を終了する（従って、Ｓ３０１乃至Ｓ８０９において、ｉはＣ以下の自然数である）。ｉ≠Ｃの場合、撮像装置１００は、処理をＳ３０１に戻す。

以上説明したように、第２の実施形態によれば、連結動画に対してＢＧＭを付加する場合であっても、連結動画の再生時間とＢＧＭ（音声）の再生時間との差を抑制することが可能となる。

＜変形例＞
上記の説明では、撮像装置１００は、ＢＧＭの再生時間を１チャプタ目の撮影開始前に決定しているが、複数チャプタ撮影してから決定することもできる。例えば、４チャプタを連結して１つの結合動画を生成する撮影モードにおいて、被写体の動き検出結果と効果決定テーブルにより、１チャプタ目及び２チャプタ目の撮影が下記のように行われたとする。

１チャプタ目
撮影フレームレート：９０ｆｐｓ
記録割合：１／３（１秒）→１（１秒）→１／３（１秒）
撮影時間：３秒
再生時間：５秒
２チャプタ目
撮影フレームレート：３０ｆｐｓ
記録割合：１（４秒）
撮影時間：４秒
再生時間：４秒
この場合、２チャプタ目までの動画再生時間の合計が９秒のため、３チャプタ目と４チャプタ目の再生時間の組み合わせは、図１１で示した通り４パターン（Ｗ、Ｘ、Ｙ、Ｚ）存在する。続いて、撮像装置１００は、３チャプタ目の撮影開始前に、被写体の動き検出を行う。ここで、動きレベルが「１」（３秒の再生時間に対応）であった場合、選択可能なパターンは、
Ｘ：５秒―４秒―３秒―５秒 合計１７秒
Ｚ：５秒―４秒―３秒―４秒 合計１６秒
のどちらかに決定する。その後、撮像装置１００は、４チャプタ目の被写体の動き検出の結果により、再生時間が４秒又は５秒のうち、より効果的な方を選択する。これにより、４チャプタ分の再生時間と動画の効果が決定される。

このように、撮像装置１００は、複数のチャプタを連結して１つの連結動画を生成するモードにおいて、１以上のチャプタを撮影した後でも、連結動画に付加するＢＧＭの再生時間と連結動画の再生時間とを一致させることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２…撮像部、２４…画像処理部、３２…メモリ、５０…システム制御部、５２…システムメモリ、５６…不揮発性メモリ、１００…撮像装置、２００…記録媒体

Claims (13)

1. 動画撮影手段と、
   音声の再生時間を取得する取得手段と、
   前記動画撮影手段の被写体の状態に基づいて、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、を決定する決定手段と、
   前記決定された撮影時間にわたって前記動画撮影手段で撮影された動画を、前記決定された記録フレームレートで記録する記録手段であって、前記記録される動画に前記音声を対応付けて記録する記録手段と、
   を備え、
   前記決定手段は、前記記録手段により記録される前記動画及び前記音声の再生時間の差が所定の範囲に収まるように、前記撮影時間及び前記記録フレームレートを決定する
   ことを特徴とする撮像装置。
2. 前記決定手段は、前記記録手段により記録される前記動画及び前記音声の再生時間が一致するように、前記撮影時間及び前記記録フレームレートを決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、前記被写体の状態に基づいて、前記記録手段により記録される前記音声を決定する音声決定手段を更に備える
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記被写体の動きの度合いが第１の閾値未満の場合、前記決定手段は、前記記録手段により記録される前記動画の少なくとも一部が再生時に早送り再生されるように、前記記録フレームレートを決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記被写体の動きの度合いが第２の閾値以上の場合、前記決定手段は、前記記録手段により記録される前記動画の少なくとも一部が再生時にスロー再生されるように、前記記録フレームレートを決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記決定手段は、前記記録手段に前記決定された記録フレームレートでの記録を行わせるために、前記動画撮影手段の撮影フレームレート、及び前記記録手段のフレームの記録割合のうちの少なくとも一方を制御する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記決定手段は、前記決定された撮影時間の中で前記記録割合が変化するように、前記記録割合の決定を行う
   ことを特徴とする請求項６に記載の撮像装置。
8. 動画撮影手段と、
   音声の再生時間を取得する取得手段と、
   前記動画撮影手段の被写体の状態に基づいて複数の撮影記録設定のうちの１つを選択する選択手段であって、前記撮影記録設定は、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、に対応する情報を含む、選択手段と、
   前記選択された撮影記録設定に対応する撮影時間にわたって前記動画撮影手段で撮影された動画を、前記選択された撮影記録設定に対応する記録フレームレートで記録する記録手段と、
   Ｃ個（Ｃは２以上の整数）の動画を記録するように前記選択手段及び前記記録手段を制御する制御手段と、
   を備え、
   前記選択手段は、ｉ番目（ｉはＣ以下の自然数）に記録される動画のための撮影記録設定を選択する場合、１番目からｉ番目までに記録される動画の合計再生時間を前記音声の再生時間から引いた値と、前記複数の撮影記録設定に対応する再生時間に基づいて実現可能な（Ｃ−ｉ）個の動画の合計再生時間との差の最小値が、所定の範囲に収まるように、当該ｉ番目の動画の撮影記録設定を選択し、
   前記記録手段は、前記Ｃ個の動画を１つの連結動画として、前記音声に対応付けて記録する
   ことを特徴とする撮像装置。
9. 前記選択手段は、前記最小値が０になるように、前記ｉ番目の動画の撮影記録設定を選択する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記撮影記録設定は、前記記録フレームレートに対応する情報として、前記動画撮影手段の撮影フレームレート、及び前記記録手段のフレームの記録割合のうちの少なくとも一方を含み、
    前記選択手段は、前記記録手段に前記選択された撮影記録設定に対応する記録フレームレートでの記録を行わせるために、前記選択された撮影記録設定に従い、前記動画撮影手段の撮影フレームレート、及び前記記録手段のフレームの記録割合のうちの少なくとも一方を制御する
    ことを特徴とする請求項８又は９に記載の撮像装置。
11. 動画撮影手段を備える撮像装置の制御方法であって、
    音声の再生時間を取得する取得工程と、
    前記動画撮影手段の被写体の状態に基づいて、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、を決定する決定工程と、
    前記決定された撮影時間にわたって前記動画撮影手段で撮影された動画を、前記決定された記録フレームレートで記録する記録工程であって、前記記録される動画に前記音声を対応付けて記録する記録工程と、
    を備え、
    前記決定工程では、前記記録工程により記録される前記動画及び前記音声の再生時間の差が所定の範囲に収まるように、前記撮影時間及び前記記録フレームレートを決定する
    ことを特徴とする制御方法。
12. 動画撮影手段を備える撮像装置の制御方法であって、
    音声の再生時間を取得する取得工程と、
    前記動画撮影手段の被写体の状態に基づいて複数の撮影記録設定のうちの１つを選択する選択工程であって、前記撮影記録設定は、撮影時間と、単位撮影時間あたりの記録フレーム数に対応する記録フレームレートと、に対応する情報を含む、選択工程と、
    前記選択された撮影記録設定に対応する撮影時間にわたって前記動画撮影手段で撮影された動画を、前記選択された撮影記録設定に対応する記録フレームレートで記録する記録工程と、
    Ｃ個（Ｃは２以上の整数）の動画を記録するように前記選択工程及び前記記録工程を制御する制御工程と、
    を備え、
    前記選択工程では、ｉ番目（ｉはＣ以下の自然数）に記録される動画のための撮影記録設定を選択する場合、１番目からｉ番目までに記録される動画の合計再生時間を前記音声の再生時間から引いた値と、前記複数の撮影記録設定に対応する再生時間に基づいて実現可能な（Ｃ−ｉ）個の動画の合計再生時間との差の最小値が、所定の範囲に収まるように、当該ｉ番目の動画の撮影記録設定を選択し、
    前記記録工程では、前記Ｃ個の動画を１つの連結動画として、前記音声に対応付けて記録する
    ことを特徴とする制御方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の動画撮影手段を除く各手段として機能させるためのプログラム。

Images