JP2016040872A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置で撮影した動画データと別装置で録音した音声データとを同期させるための処理を軽減し処理時間を短縮する。【解決手段】録画に先立ち、録音装置での録音を開始する。その後撮像装置で特定の識別音を発生し、その音を録音装置において録音する。識別音発生後、規定時間経過後、撮像装置で録画を開始する。撮像装置での録画を終えるとともに撮像装置で識別音情報を記録した後、録音装置での録音を終了する。録音された音声データを撮像装置に取り込み、識別音情報に基づき、音声データの中から識別音を検出して音声データを録画された動画データに同期させる。同期した音声データを動画データに合成し、動画ファイルとして記録する。【選択図】図５

Description

本発明は、撮像装置で録画される動画データと別装置で録音される音声データを同期させるための装置に関する。

一般に撮像装置の動画撮影における録音は、録音専用装置を用いた録音に比べ品質が低い。そこでカメラでの動画撮影と並行して録音専用機器による録音を行い、録画終了後、録音専用機器で録音された音声データを動画データに合成し、動画ファイルの音声データの品質を高める方法が知られている。例えば、撮像装置による動画撮影と録音に合わせてボイスレコーダで録音も行い、カメラで録音された音声データとボイスレコーダで録音された音声データの周波数特性と位相の相関を解析することで両音声データの同期を取り、これに基づき動画ファイルの音声をボイスレコーダで録音された音声データに差し替える構成が提案されている（特許文献１参照）。

特開２０１０−１７１６２６号公報

しかし、特許文献１の方法ではカメラで録音した音声データとボイスレコーダで録音した音声データの同期を取るために両音声データの周波数特性と位相の相関を解析する必要がある。このような解析処理は処理データ量が多いため時間が掛かるという問題がある。特にカメラなどに搭載されるＣＰＵにとって同処理は負担が大きい。

本発明は、撮像装置で録画した動画データと別装置で録音した音声データとを同期させるための処理を軽減し処理時間を短縮することを課題としている。

本発明の撮像装置は、動画を録画する録画手段と、動画録画前に同期識別音を発する同期識別音発生装置と、同期識別音の情報を記録する同期識別音情報記録手段とを備えることを特徴としている。

同期識別音を発する前に同期識別音を調整することが好ましく、同期識別音を発した後は規定時間経過後に録画を開始することが好ましい。同期識別音の情報の記録は、例えば録画終了後、動画のデータファイルに対して行われる。

本発明の音声合成システムは、上記撮像装置と、同期識別音を含む音声データを録音する録音装置と、同期識別音情報に基づき音声データを解析し、音声データを録画手段を用いて録画された動画データに同期させる同期解析手段と、同期された動画データと音声データを合成した動画ファイルを作成する合成動画ファイル作成手段とを備えることを特徴としている。

また、同期解析手段は、例えば上記撮像装置に設けられる。

本発明によれば、別装置で録音した音声データのみを解析し同期を取ることができるため、撮像装置で録画した動画データと別装置で録音した音声データとを同期させるための処理を軽減し処理時間を短縮することができる。

本発明の一実施形態である撮像装置と録音装置を組み合わせて動画データと高音質音声データを取得するシステムの構成を示す模式図である。 図１の撮像装置の構成を模式的に示すブロック図である。 図１の録音装置の構成を模式的に示すブロック図である。 音声データの合成を前提とした録画を行う際の動画録画処理のフローチャートである。 撮像装置における識別音の発生、および録画のタイミングと、録音装置での録音のタイミングを示すタイミングチャートである。 動画ファイルの概念的な構成を示す図である。 本実施形態の音声合成処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である撮像装置と録音装置を組み合わせて動画データと高音質音声データを取得するシステムの構成を示す模式図である。

本実施形態の動画／音声データ合成システム１０は、デジタルカメラなどの撮像装置１１とボイスレコーダなどの録音専用の録音装置１２とから構成される。撮像装置１１は、スピーカー１３を備え、録音装置１２はマイク１４を備える。なお、スピーカー１３およびマイク１４は内蔵式でもよいし、外部端子に接続した外付けのものであってもよい。本実施形態の動画／音声データ合成システム１０では、後述するように、撮像装置１１で録画を開始する直前にスピーカー１３から識別音を発し、この識別音をマイク１４で拾い録画時の音声データとともに録音装置１２に録音することで別々に記録される動画データと音声データの同期を取る。

図２は、図１の撮像装置１１の構成を模式的に示すブロック図である。撮像装置１１は、静止画の撮影および動画の録画が可能なカメラであり、静止画および動画は、撮影モードに応じて撮像部１５において取得される。撮像部１５で取得された、静止画像データまたは動画データはコントローラ１６に送られ、データ記録部１７に記録される。またデータ記録部１７に保存された静止画／動画データは、必要に応じてモニタ１８に表示可能であるとともに、着脱自在な記録媒体であるＳＤカードなどのメモリカード１９にも記録可能である。なお撮影モードの選択や、データ記録部１７およびメモリカード１９内のデータの選択、あるいはその他各種操作は、スイッチ群２０に設けられた各種スイッチを操作して行われる。例えば撮像部１５での静止画／動画の撮影は、スイッチ群２０に設けられるレリーズスイッチに連動して行われる。

また、本実施形態の撮像装置１１は、図示しないマイクを備える集音部２１と、図１に模式的に示したスピーカー１３を含む識別音発生部２２を備える。識別音発生部２２は、撮像部１５による動画の撮影に先立ち、後述する同期処理に用いられる特徴的な識別音を発生させる。また、集音部２１では、後述するように動画録画に先立ちカメラ周囲の環境音が録音され、識別音の調整に用いられるとともに、録音装置１２を使用しない通常の動画撮影においては、録画中の動画の音声データを録音するのに利用される。なお、動画データとこれに対応する音声データは、１つの動画ファイルとしてデータ記録部１７やメモリカード１９に記録される。

図３は、図１の録音装置１２の構成を模式的に示すブロック図である。録音装置１２は、外付けまたは内蔵のマイク１４を備え、マイク１４で収集された音声データは、制御部２３に送られ、例えば着脱自在な記録媒体であるＳＤカードなどのメモリカード２４に記録される。また制御部２３には、各種のスイッチおよび表示器が設けられた操作部２５が接続されており、制御部２３は、操作部２５のスイッチ操作に基づき録音／再生、データ選択／消去などの各種処理を行うとともに、現処理内容などの情報を表示器に表示する。

次に図２および図４のフローチャートを参照して、録音装置１２で録音された音声データを動画ファイルに合成することを前提とした同期録画を行う際の撮像装置１１のコントローラ１６における動画録画処理について説明する。なお同期録画モードは、動画録画に先立ちユーザの所定のスイッチ操作により選択される。また、録音装置１２における録音は同録画を開始する前に開始する。

ステップＳ１００では、録画開始要求があったか否かが判定される。なお録画開始要求は、例えばユーザがレリーズボタンなどに設定される録画開始スイッチを操作することにより発生する。録画開始要求があったと判定されると、ステップＳ１０２において動画の録画が可能か否かが判定される。すなわち、データ記録部１７のメモリ容量や電池容量等が調べられ、動画録画が可能か否かが判定される。動画録画が可能でないと判定されると本処理は終了し、例えばモニタにメモリ不足、電池残量不足等の警告が表示される。

ステップＳ１０４では、ユーザが同期録画モード設定を有効にしているか否かが判定される。同期録画モードが有効ではないと判定されると識別音は発生させず、ステップＳ１１２において通常の動画録画を開始する。

ステップＳ１０４において同期録画モードであると判定されると、ステップＳ１０６において識別音を選別する。すなわち、集音部２１において周囲の環境音が取得され、当該環境音下で判別しやすい識別音が決定される。なお、環境音の音圧に応じて識別音の音圧を調整することも可能である。またこのとき、データ記録部１７やメモリカード１９に記録されている同期録画モードで撮影した動画ファイルを参照し、使用済みの識別音と重複しないよう選別することもできる。なお、ユーザが同期録画モードを有効に設定した時点で、ステップＳ１０６における識別音の選択が開始される構成とすることもできる。また更に、モード設定に応じて識別音が有効か否かの自動判別を行ったり、エラー警告をしたりすることも可能である。

ステップＳ１０６において識別音のパラメータが決定されると、ステップＳ１０８において、選択されたパラメータに基づく識別音がスピーカー１３から発せられ、ステップＳ１１０において規定時間が経過したか否かが判定される。規定時間は、識別音の発生終了から動画の録画を開始するまでの時間を規定するもので、予め所定の値に設定されている。なお図５に、撮像装置１１における識別音の発生、および録画のタイミングと、録音装置１２での録音のタイミングを示す。

ステップＳ１１０で規定時間の経過が検出されると、ステップＳ１１２において録画が開始され、撮像部１５で取得される動画データがデータ記録部１７に記録される。なお、同期録画モードと判断されている場合には、録画の開始とともに撮像装置１１での録音を行なわなくてもよい。

ステップＳ１１４では、録画停止要求があったか否かが判定される。例えばレリーズスイッチが解放されると、録画停止要求があったと判断され、ステップＳ１１６においてそれまで継続されている録画が停止される。その後ステップＳ１１８においてステップＳ１０８で発せられた識別音の情報がこの処理で録画された動画ファイルのヘッダ（メーカノート部分）に保存され、同期録画モードにおける本動画録画処理は終了する。なお識別音情報としては、所定周波数と所定パターンを組み合わせた番号、またはその周波数のみ、あるいはパターン番号のみを記録してもよい。

なお図６に、ステップＳ１１２〜Ｓ１１８で作成される動画ファイルＦの概念的な構成を模式的に示す。図６に示される通り、動画ファイルＦは、動画データＤと識別音情報を含むヘッダＨからなる。

次に図２、図３および図７のフローチャートを参照して本実施形態における動画データへの音声データ合成処理（音声合成処理）について説明する。

本実施形態の音声合成処理は、撮像装置１１による録画を終了するとともに録音装置１２による録音を終了した後で、撮像装置１１において実行される。同処理は例えば録音装置１２で記録された音声データの必要部分を、撮像装置１１のメモリカード１９へコピーして、あるいは別途設けられたカードスロットに録音装置１２のメモリカード２４を装着して行われる。

ステップＳ２００では、音声合成開始要求があったか否かが判定される。すなわち、スイッチ群２０の音声合成処理を開始するための所定のスイッチ操作が行われたか否かが判定され、開始要求が合ったと判定されると、ステップＳ２０２においてファイル選択画面がモニタ１８に表示される。すなわちステップＳ２０２では、モニタ１８にデータ記録部１７に記録されている動画ファイルとそれの対となる音声ファイルが表示され、ユーザは、カーソルキー、ＯＫボタンなどのユーザインターフェースを利用して、合成を行おうとする動画ファイルと音声ファイルを選択する。また、動画及び音声のファイル名が予め決められたルールに従って付けられる場合、動画ファイル、又は音声ファイル片方を選択し、対となるファイルは選択された動画／音声の一方のファイル名を基に自動選択してもよい。また識別パターンのデータから、音声ファイルをチェックして自動選別（音声カードからのコピーも含めて）することもできる。

ステップＳ２０４では、動画ファイルが選択済みであるか否かが判定され、ステップＳ２０６では音声ファイルが選択済みであるか否かが判定される。動画および音声ファイルが選択されると、ステップＳ２０８において、選択された動画ファイルがそのヘッダに識別音情報（図４、ステップＳ１１８で記録されるデータ）を有するか否かが判定される。

識別音情報が存在する場合には、ステップＳ２１０において、選択された音声ファイルを解析し、その音声データの中から識別音情報に対応する部分（図５の識別音を録音した部分）を検出する高速同期解析が行われる。一方、ステップＳ２０８において、選択された動画ファイルが識別音情報を有していないと判定されると、ステップＳ２１２において、通常同期解析が行われる。すなわち、従来と同様に録画時に撮像装置１１で録音された音声データと、録音装置１２で録音された音声データの周波数特性と位相の相関を解析することで同期の解析が行われる。

ステップＳ２１０、Ｓ２１２の何れかの同期解析が終了すると、ステップＳ２１４において、動画データと音声データの間で同期が検出されたか否かが判定される。同期が得られていれば、ステップＳ２１６において同期範囲（図５の録画期間に亘る動画データと音声データの範囲）が算出され、ステップＳ２１８において同期範囲において音声データの動画データへの合成が行われる。そしてステップＳ２２０において、音声データの合成が行われた動画ファイル（動画データおよび音声データを含む）がデータ記録部１７および／またはメモリカード１９に保存され、本実施形態の音声合成処理は終了する。なおステップＳ２１４において、同期が検出されないと判定される場合には、音声データの動画データへの合成を行うことなく本処理は終了する。

以上のように、本実施形態によれば、撮像装置で録画を開始する直前に識別音を発し、録音装置にこれを録音させることで、撮像装置で撮影された動画データと録音装置で録音された音声データの同期を取ることができる。これにより音声データのみを解析して動画データと録音データの同期を取ることができ、従来に比べ同期を取るための処理の負担が大幅に低減される。また本実施形態の構成では、撮像装置の改良のみで済み、録音装置には従来品を利用することができる。なお、録画と録音時間の差が生じている場合は、フリーズ画像などで録音合成を継続させても良いし、合成前後で元画像と別記録するか否かなどユーザに判断するようにさせても良い。

本実施形態では、撮像装置で音声合成処理を行ったが、音声合成処理は、例えばパーソナルコンピュータ等の他の機器において行ってもよい。また、本実施形態では、メモリカードを用いて音声データを撮像装置に提供したが、有線あるいは無線通信を利用して録音装置のデータを撮像装置に転送する構成であってもよい。

１０ 動画／音声データ合成システム
１１ 撮像装置（デジタルカメラ）
１２ 録音装置
１３ スピーカー
１４ マイク
１５ 撮像部
１６ コントローラ
１７ データ記録部
１９ メモリカード
２０ スイッチ群
２１ 集音部
２２ 識別音発生部
２３ 制御部
２４ メモリカード
２５ 操作部
Ｄ 動画データ
Ｆ 動画ファイル
Ｈ ヘッダ（メーカノート）

Claims (5)

1. 動画を録画する録画手段と、
   動画録画前に同期識別音を発する同期識別音発生装置と、
   前記同期識別音の情報を記録する同期識別音情報記録手段と
   を備えることを特徴とする撮像装置。
2. 前記同期識別音を発する前に前記同期識別音の利用設定が有効であるかを判断し、前記利用設定が有効である場合には前記同期識別音を発し、規定時間経過後に前記録画を開始することを特徴とする請求項１に記載の撮像装置。
3. 前記同期識別音の情報の記録が、前記録画終了後、前記動画のデータファイルに対して行われることを特徴とする請求項１または請求項２の何れか一項に記載の撮像装置。
4. 請求項１に記載の撮像装置と、
   前記同期識別音を含む音声データを録音する録音装置と、
   前記同期識別音情報に基づき前記音声データを解析し、前記音声データを前記録画手段を用いて録画された動画データに同期させる同期解析手段と、
   同期された前記動画データと前記音声データを合成した動画ファイルを作成する合成動画ファイル作成手段と
   を備えることを特徴とする音声合成システム。
5. 前記同期解析手段が前記撮像装置に設けられることを特徴とする請求項４に記載の音声合成システム。
   

Images