JP2010171625A - 撮像装置、録音装置、および動画撮影システム - Google Patents

Abstract

【課題】映像と音声がずれることなく記録することができる撮影システムおよび通信端末を提供する。
【解決手段】被写体を撮影する撮像手段と、撮像手段による撮影に合わせて、第１の録音環境で被写体の音声を録音する録音手段と、第１の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、第１の録音環境で録音された音声データと、ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、相関検出手段が検出した相関検出の結果に基づいて、ネットワーク接続手段によって受信した音声データを、撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、通信機能を備えた撮像装置と録音装置、およびこの撮像装置と録音装置とを利用して動画を生成する動画撮影システムに関する。

近年、ネットワーク技術の進歩により、様々な電子機器にネットワーク機能が搭載されている。例えば、テレビや携帯電話以外にも、所謂白物家電と呼ばれる冷蔵庫などにもネットワーク対応のものが登場している。このような状況の中で、カメラやマイクにもネットワーク機能に対応したものが登場している。このカメラやマイクは、その利用者が携帯して使用するため、ほとんどが無線ネットワークに対応しているものである。

このような、無線ネットワークに対応したカメラやマイクでは、その利用シーンが大きく広がっており、例えば、マイクを被写体付近に設置して、離れた所から撮影を行うことが可能である。このようにすることで、離れた所の被写体の音声データを、被写体付近に設置したマイクが無線ネットワークを介して送信し、その無線ネットワークを介して送信されてきた音声データをカメラが受信して、カメラが撮影した動画像データと共に記録することで、離れた所の被写体の音声を確実に録音した動画データを生成することができる。

また、その他の利用方法としては、例えば、記者会見のような利用シーンにおいて、１台のマイクと複数台のカメラが連携して、会見者の音声を確実に記録しながら様々な角度からの映像を撮影することができる。

また、複数台のマイクと１台のカメラが連携することによって様々な音声効果を得ることができる。例えば、マイクが２台である場合は、ステレオ音声の映像の撮影をすることができ、また、例えば、マイクが６台である場合は、この６台のマイクが被写体の周囲の音声を捉えることによって、５．１チャンネルの音声データを実現した映像の撮影をすることができる。

このようなマイクとカメラの利用シーンを実現する方法として、特許文献１では、被写体付近に設置した複数の無線マイクが捉えた音声信号を、近距離無線データ通信を用いて送信し、カメラが撮影した被写体の画像と複数の無線マイクから送信されてきた音声信号とを記録することによって、所望の被写体の映像と音声を記録するビデオカメラ装置が開示されている。

特開２００６−５４５６７号公報

しかしながら、特許文献１のビデオカメラ装置では、無線マイクが捉えた音声を所望の被写体の映像と共に記録することができるが、近距離無線データ通信による通信は、撮影している環境の電波の通信状況や、音声信号を送信する無線マイクの数、近距離無線データ通信のネットワーク利用状況などによって通信状態が大きく変化する。すなわち、無線マイクから送信される音声信号を、ビデオカメラ装置が受信するときの遅延時間が大きく変化してしまう。
特許文献１においては、通信状態の変化による音声信号の遅延時間に関する対応の開示がされておらず、ビデオカメラ装置が無線マイクから送信されてきた音声信号とビデオカメラ装置自体が撮影した被写体の画像とを単純に合成して記録した場合には、映像と音声とがずれた状態で記録されてしまい、違和感のある動画データが生成されてしまうという問題がある。

本発明は、上記の課題認識に基づいてなされたものであり、音声信号を送信する装置と、動画像を撮影する装置とがネットワークを介して接続され、送信されてきた音声信号と、撮影した映像を合成して記録する撮影システムにおいて、映像と音声がずれることなく記録することができる撮影システムおよび通信端末を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影に合わせて、第１の録音環境で前記被写体の音声を録音する録音手段と、前記第１の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、前記第１の録音環境で録音された音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、前記相関検出手段が検出した相関検出の結果に基づいて、前記ネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、を備えることを特徴とする。
このことにより、被写体の撮影と同時に録音した音声と、無線ネットワークを介して受信した音声データの相関を検出し、検出した相関検出の結果に基づいて撮影した映像と受信した音声データを関連付けた動画データを生成する。これにより、映像と音声データのずれがなく、また、外部装置で録音した高音質の音声データを関連付けた動画データを生成することができるという効果が得られる。

また、本発明の前記相関検出手段は、前記録音手段によって録音された音声データのうち、録音開始位置を基準とする予め定められた期間の音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する、ことを特徴とする。
このことにより、撮影と動画データの生成を並行して行う場合に、早い段階で音声データの相関を検出することができるという効果が得られる。

また、本発明の前記相関検出手段は、前記撮像手段が撮影した映像を前記動画データとして生成する際に、前記ネットワーク接続手段によって受信した音声データのうち、前記動画データの開始位置に対応する位置を基準とする予め定められた期間の音声データの相関を検出する、ことを特徴とする。
このことにより、動画データの開始位置に対応する音声データの位置を特定できる場合（例えば、撮像装置における撮影開始と外部装置における録音開始とが、ほぼ同時刻の場合）に、より早い段階で音声データの相関を検出することができるという効果が得られる。

また、本発明の撮像装置は、前記ネットワーク接続手段を介して、前記外部装置に、前記被写体の音声の録音開始、または録音終了の指示を行う録音指示手段、を更に備えることを特徴とする。
このことにより、撮像装置による撮影開始と撮影終了とを同期させることができ、撮像装置が録音した音声と受信した音声データとの相関検出の処理を容易にすることができるという効果が得られる。

また、本発明の前記動画生成手段は、複数の前記外部装置から受信した前記音声データを合成して前記動画データを生成する、ことを特徴とする。
このことにより、複数の外部装置が録音した音声データを用いた動画データを生成することができ、例えば、ステレオ音声や５．１ｃｈ音声に対応した動画データを生成することができるという効果が得られる。

また、本発明の録音装置は、第２の録音環境で被写体の音声を録音する第２の録音手段と、前記第２の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第２のネットワーク接続手段と、を備えることを特徴とする。
このことにより、録音装置が被写体の音声を一旦記録し、その記録した音声データを送信することができるので、撮像装置が撮影と同時に記録した音声と、送信した音声データとのがずれることなく記録することができるという効果が得られる。また、無線ネットワークの環境によって音声データの再送処理が発生した場合にも記録してある音声データを再送信することができるので、音飛びなどの音声データの損失がない動画データを生成することができるという効果が得られる。

また、本発明の前記第２の録音手段は、前記第２のネットワーク接続手段が受信した前記被写体の音声の録音開始、または録音終了の指示に基づいて、前記被写体の音声の録音開始、または録音終了を行い、前記第２のネットワーク接続手段は、前記第２の録音手段が録音した前記音声データを、前記録音開始、または前記録音終了の指示を送信した撮像装置に送信する、ことを特徴とする。
このことにより、録音装置が、撮像装置が被写体を撮影している期間の音声データを記録することができ、動画データの生成に必要な音声のみを記録することができるという効果が得られる。

また、本発明の録音装置は、前記第２の録音手段によって録音された前記音声データを、外部装置からの音声データを受信するネットワーク接続手段を備えた複数の撮像装置に対して、マルチキャスト通信で送信する、ことを特徴とする。
このことにより、１台の録音装置が録音した音声データを複数台の撮像装置に送信することができるので、１台の録音装置を複数台の撮像装置で共有することができるという効果が得られる。

また、本発明の動画撮影システムは、撮像装置と録音装置とを備える動画撮影システムであって、前記撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影に合わせて、第１の録音環境で前記被写体の音声を録音する録音手段と、前記第１の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して前記録音装置から受信する第１のネットワーク接続手段と、前記第１の録音環境で録音された音声データと、前記第１のネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、前記相関検出手段が検出した相関検出の結果に基づいて、前記第１のネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に関連付けた動画データを生成する動画生成手段と、を具備し、前記録音装置は、第２の録音環境で被写体の音声を録音する第２の録音手段と、前記第２の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第２のネットワーク接続手段と、を具備する、ことを特徴とする。
このことにより、撮像装置によって撮影した被写体の映像と、録音装置によって録音した音声とがずれることなく関連付けることができ、異なる機器で記録した映像と音声データとが同期した動画データを生成することができるという効果が得られる。

本発明によれば、音声信号を送信する装置と、動画像を撮影する装置とがネットワークを介して接続され、送信されてきた音声信号と、撮影した映像を合成して記録する撮影システムにおいて、撮影と同時に記録している音声と、送信されてきた音声信号の相関を検出して、相関が検出された音声信号を撮影している映像と共に記録することによって、映像と音声がずれることなく記録することができるという効果が得られる。

本発明の実施形態による動画撮影システムの概略構成を示した図である。 本実施形態の動画撮影システムにおける録音端末の概略構成を示したブロック図である。 本実施形態の動画撮影システムにおける撮影端末の概略構成を示したブロック図である。 本実施形態の動画撮影システムにおいて音声データの相関を検出する動作の概要を示した図である。 本実施形態の動画撮影システムにおける撮影端末の処理手順を示したフローチャートである。 本実施形態の動画撮影システムにおける録音端末の処理手順を示したフローチャートである。 本実施形態の動画撮影システムの第１の使用例を示した図である。 本実施形態の動画撮影システムの第２の使用例を示した図である。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態による動画撮影システムの概略構成を示した図である。図１において、動画撮影システムは、録音端末１００、撮影端末２００から構成される。また、録音端末１００は、マイク１０１、アンテナ１０２を備えている。また、撮影端末２００は、マイク２０１、アンテナ２０２、レリーズ釦２０３を備えている。

録音端末１００は、この録音端末１００が設置された環境において、マイク１０１によって集音された音声を内部に記録し、記録した音声データをアンテナ１０２を介して送信するボイスレコーダである。なお、録音端末１００は、この録音端末１００単体で動作することができ、マイク１０１、アンテナ１０２以外の構成として単体で動作するために必要な設定スイッチや表示パネルなどを備えているが、この録音端末１００単体での動作のみに必要な構成は、本発明に関係しないため説明を省略する。

撮影端末２００は、本実施形態の動画撮影システムによって動画を撮影する撮影者によって操作され、撮影者がレリーズ釦２０３を押下することによって、被写体の撮影を開始、または停止するデジタル一眼レフレックスカメラである。撮影端末２００は、被写体の撮影を開始すると同時にマイク２０１で集音した音声の記録も開始する。
なお、撮影端末２００は、マイク２０１、アンテナ２０２、レリーズ釦２０３以外の構成として被写体の撮影に必要な交換レンズや表示パネルなどを備え、また、単体で動作するために必要な設定スイッチなどを備えているが、本発明に関係しないため説明を省略する。

また、撮影端末２００は、被写体の撮影中にアンテナ２０２を介して録音端末１００から送信された音声データを受信する。そして、撮影端末２００は、自撮影端末２００が撮影した被写体の映像データと、受信した録音端末１００が記録した音声データとを関連付けた動画データを生成して記録する。
なお、撮影端末２００は、受信した録音端末１００が記録した音声データを関連付けた動画データを生成して記録する場合は、自撮影端末２００が被写体の撮影を開始すると同時にマイク２０１で集音した音声の音声データは動画データの生成には用いずに、破棄する。

また、撮影端末２００は、アンテナ２０２を介して撮影者によるレリーズ釦２０３の押下の状態に応じた、録音端末１００への音声の録音開始および終了の指示や、録音端末１００に記録している音声データの送信要求などを送信する。

次に、本実施形態の録音端末１００について説明する。図２は、本実施形態による録音端末１００の概略構成を示したブロック図である。図２において、録音端末１００は、マイク１０１、ＡＤ変換部１１０、記録部１２０、ＷＬＡＮインタフェース部１３０、アンテナ１０２、制御部１４０から構成される。なお、録音端末１００全体の動作は、制御部１４０によって制御される。

ＡＤ変換部１１０は、マイク１０１が集音した音声の電気信号（音声信号）をアナログ・デジタル変換し、デジタルデータに変換された音声データを記録部１２０に出力する。
記録部１２０は、ＡＤ変換部１１０から入力された音声データを記録し、記録している音声データを、制御部１４０からの制御に従って、ＷＬＡＮインタフェース部１３０に出力する。
ＷＬＡＮインタフェース部１３０は、記録部１２０から入力された音声データを、無線ＬＡＮの規格に従って処理し、処理後の音声データを含む電波信号を、アンテナ１０２を介して無線ネットワークに接続している他の機器、すなわち、撮影端末２００に送信する。

次に、本実施形態の撮影端末２００について説明する。図３は、本実施形態による撮影端末２００の概略構成を示したブロック図である。図３において、撮影端末２００は、撮影部２１０、マイク２０１、ＡＤ変換部２２０、メモリ２３０、相関検出部２４０、動画生成部２５０、メモリカードインタフェース部２６０、アンテナ２０２、ＷＬＡＮインタフェース部２７０、制御部２８０から構成される。なお、撮影端末２００全体の動作は、制御部２８０によって制御される。

撮影部２１０は、撮影者によってレリーズ釦１３０が押下されることによって撮影が開始されると、撮影部２１０内の図示しないレンズを介して入射された被写体の光束を同じく撮影部２１０内の図示しない光電変換素子などによって光電変換し、撮影した被写体の映像データとしてメモリ２３０に出力する。
ＡＤ変換部２２０は、撮影の開始と同時にマイク２０１が集音した音声の電気信号（音声信号）をアナログ・デジタル変換し、デジタルデータに変換された音声データをメモリ２３０に出力する。
このことによって、メモリ２３０には、撮影端末２００が撮影した被写体の映像データと音声データとが記憶される。

ＷＬＡＮインタフェース部２７０は、アンテナ２０２を介して受信した無線ネットワークに接続している他の機器、すなわち、録音端末１００から送信された音声データを含む電波信号を、無線ＬＡＮの規格に従って処理し、処理後の音声データをメモリ２３０に出力する。
また、ＷＬＡＮインタフェース部２７０は、制御部２８０からの制御に従い、無線ネットワークに接続している他の機器に対する音声の録音開始および終了の指示や、音声データの送信要求などを、アンテナ２０２を介して送信する。

メモリ２３０は、撮影端末２００が撮影した被写体の映像と音声データとを記憶する。また、メモリ２３０は、録音端末１００から送信され、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した音声データを記憶する。

相関検出部２４０は、メモリ２３０に記憶されている撮影端末２００が記憶した音声データと、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した音声データ、すなわち、録音端末１００が記録した音声データとの相関検出によって、それぞれの音声データが一致する部分を検出する。
また、相関検出部２４０は、相関検出によって得られた結果を、動画生成部２５０に出力する。この動画生成部２５０に出力される相関検出の結果は、例えば、撮影端末２００が記憶した音声データと、受信した録音端末１００が記録した音声データとに相関があるか否かを示す信号や、受信した録音端末１００が記録した音声データ内で相関が検出された場所または時刻を示すデータなどが考え得られるが、本発明においては、相関検出の結果に含まれる詳細な内容に関しての規定はしない。

動画生成部２５０は、メモリ２３０に記憶されている撮影端末２００が記憶した映像データと、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した音声データ、すなわち、録音端末１００が記録した音声データとを関連付けた動画データを生成し、生成した動画データをメモリカードインタフェース部２６０に出力する。
なお、動画生成部２５０によって生成される動画データ内の映像データの開始位置における音声データのスタート位置は、相関検出部２４０から入力された相関検出の結果に基づいて決定される。
なお、本発明においては、動画生成部２５０による動画データの生成方法に関しては規定しない。

メモリカードインタフェース部２６０は、動画生成部２５０から入力された動画データを、メモリカードに記録するために必要な処理を行って、図示しないメモリカードに記録する。
なお、本発明においては、メモリカードへの動画データの記録方法に関しては規定しない。

次に、本実施形態における相関検出について説明する。図４は、本実施形態の動画撮影システムにおいて音声データの相関を検出する動作の概要を示した図である。図４において、上段のグラフａは、撮影端末２００が被写体の撮影開始と同時にマイク２０１が集音し、メモリ２３０に記憶されている音声データ内で、予め定められた１つの周波数の音声データを示し、下段のグラフｂは、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した音声データ、すなわち、録音端末１００が記録した音声データ内で、予め定められた上段の音声データと同じ周波数の音声データを示す。

また、図４の横軸は、動画データの記録時間を示し、横軸に記載した目盛りは、記憶している動画データのフレームの区切り位置を示している。例えば、動画データのフレームレートが３０フレーム／秒の動画データである場合は、１秒間に３０回のフレームの区切りがあるため、図４における横軸の目盛りの間隔は、約３３ｍｓとなる。また、例えば、音声データのサンプリングが３２ｋ／秒である場合、動画データの１フレーム区間、すなわち、１目盛りの間隔には、約１０００個のサンプリングされた音声データが存在する。

次に、相関検出部２４０による音声データの相関検出の例について説明する。なお、図４においては、映像データの開始位置から予め定められた２５００個のサンプリングデータを比較して、音声データのスタート位置を検出する場合について説明する。

まず、相関検出部２４０は、撮影端末２００が記憶した映像データの開始時（タイミングｔ１）のグラフａの音声データと、グラフｂの音声データとの差を算出し、引き続きタイミングｔ１からサンプリングタイミングを１つ後ろにずらしたタイミングｔ１＋１のグラフａの音声データと、グラフｂの音声データとの差を算出する。以降、同様に、サンプリングタイミングを１つ後ろにずらしてタイミングｔ１〜タイミングｔ１＋２５００までのグラフａの音声データと、タイミングｔ１〜タイミングｔ１＋２５００までのグラフｂの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差、すなわち、２５００個の音声データの差を合計し、その合計値（合計値ｔ１）を記憶する。

続いて、タイミングｔ１のグラフａの音声データと、タイミングｔ１＋１のグラフｂの音声データとの差を算出し、引き続きタイミングｔ１＋１のグラフａの音声データと、タイミングｔ１＋２のグラフｂの音声データとの差を算出する。以降、同様に、サンプリングタイミングを１つ後ろにずらしてタイミングｔ１〜タイミングｔ１＋２５００までのグラフａの音声データと、タイミングｔ１＋１〜タイミングｔ１＋２５００＋１までのグラフｂの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差を合計し、その合計値（合計値ｔ１＋１）を記憶する。

続いて、タイミングｔ１のグラフａの音声データと、タイミングｔ１＋２のグラフｂの音声データとの差を算出し、引き続きタイミングｔ１＋１のグラフａの音声データと、タイミングｔ１＋３のグラフｂの音声データとの差を算出する。以降、同様に、サンプリングタイミングを１つ後ろにずらしてタイミングｔ１〜タイミングｔ１＋２５００までのグラフａの音声データと、タイミングｔ１＋２〜タイミングｔ１＋２５００＋２までのグラフｂの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差を合計し、その合計値（合計値ｔ１＋２）を記憶する。

以降、同様にグラフａの音声データと、グラフｂの音声データとの差の算出、算出したそれぞれのサンプリングタイミングにおける音声データの差の合計値の記憶を行う。

続いて、予め定められた２５００個の音声データの差の合計値（合計値ｔ１〜合計値ｔ１＋２５００）の記憶が完了した後に、記憶した音声データの差の合計値ｔ１〜合計値ｔ１＋２５００の中から、その値が最小となる値を検出する。

続いて、音声データの差の合計値が最小であるサンプリングタイミング、すなわち、タイミングｔ１のグラフａの音声データに対して、グラフｂの音声データのサンプリングタイミングを幾つずらしたときの音声データの差の合計値が最小であったかを示すサンプリングタイミングのずらし量（図４における遅延時間ｃ）を、相関検出部２４０による相関検出の結果として動画生成部２５０に出力する。

動画生成部２５０は、相関検出部２４０からの相関検出の結果に基づいて、撮影端末２００が記憶した映像データの開始位置に対して、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した録音端末１００が記録した音声データのスタート位置をずらした動画データを生成する。すなわち、映像データは、図４におけるタイミングｔ１から記録され、音声データは、図４における遅延時間ｃをずらしたタイミングｔ２以降の音声データが記録される。
このことによって、動画生成部２５０が生成した動画データを再生する際には、タイミングｔ１からの映像データと、タイミングｔ２からの音声データが同時に再生されることとなる。

なお、本説明の音声データの相関検出例においては、予め定められた特定の周波数の音声データを用いて相関検出を行っているが、複数の周波数帯を用いて相関検出を行うとより効果的である。すなわち、複数の周波数帯を用いて相関検出を行うことによって、例えば、記憶した音声データに電子音などの単調な繰り返しパターンがある場合の誤検出を回避することができる。
また、撮影端末２００における雑音、例えば、レンズの駆動音などの予め判明している周波数帯の音声データを使用しないことで、より正確に相関検出を行うこともできる。

また、本説明の音声データの相関検出例においては、映像データの開始位置から予め定められたサンプリングデータ（２５００個）を比較して、全ての音声データの差の合計値を算出した後に音声データのスタート位置を検出する場合について説明したが、本発明においては、この方法に限定しない。例えば、音声データの差の合計値を算出する毎に前回の音声データの差の合計値と今回の音声データの差の合計値とを比較して、音声データの差の合計値の最小値が検出されたときに音声データの差の合計値の算出を終了（音声データの差の合計値の最小値が検出された後に、予め定められた回数の音声データの差の合計値の算出を行ってから判断する場合も含む）することもできる。このことによって、映像データの開始位置から音声データの相関が検出されるまでの処理時間を短縮することができる。

なお、本発明においては、音声データの相関が検出される方法であれば良く、音声データの相関検出方法に関しての規定はしない。

また、グラフａの音声データと、グラフｂの音声データとのそれぞれの音声データの最大値と最小値との差が大きい場合は、それぞれの音声データにゲインをかけて、最大値と最小値の範囲を同様にした後にグラフａの音声データと、グラフｂの音声データとの相関を検出することによって、より容易に相関検出を行うこともできる。

また、グラフａの音声データと、グラフｂの音声データとは、音声データが圧縮されていない状態であることが望ましいが、受信した音声データが圧縮されている場合は、相関検出の条件を変更することで圧縮されている音声データに対しても相関を検出することができる。例えば、変更される相関検出の条件は、相関判定条件の緩和や、サンプリングタイミングの変更などが考えられる。

次に、本実施形態の撮影端末２００の処理手順について説明する。図５は、本実施形態の撮影端末２００の処理手順を示したフローチャートである。なお、本実施形態の撮影端末２００の処理手順の説明において、レリーズ釦２０３は、２段スイッチの構成となっており、撮影者がレリーズ釦２０３を押下（半押し）することによって、１段目のスイッチが検出（以下、１段目のスイッチの検出を「１ｓｔレリーズ」という）され、さらに撮影者がレリーズ釦２０３を押下（全押し）することによって、２段目のスイッチが検出（以下、２段目のスイッチの検出を「２ｎｄレリーズ」という）されるものとして説明を行う。

なお、１ｓｔレリーズにおける撮影端末２００の動作は、例えば、被写体を撮影するためのカメラが行う合焦処理などが考えられるが、本発明に関係しないため被写体を撮影するための準備動作に関しての説明は省略する。また、２ｎｄレリーズにおける撮影端末２００の動作は、例えば、撮影部２１０内の図示しないレンズを介して入射された被写体の光束を光電変換して映像データを生成する処理などが考えられるが、本発明に関係しないため映像データを生成する処理に関しての説明は省略する。

まず、動画撮影を開始、すなわち、撮影端末２００が動画を撮影するモードに設定され、動画撮影の待機状態となると、制御部２８０は、ステップＳ１０１において、１ｓｔレリーズが検出されたか否かを判断し、１ｓｔレリーズが検出された場合は、ステップＳ１０２に進む。また、１ｓｔレリーズが検出されない場合は、ステップＳ１０１を繰り返す。

続いて、制御部２８０は、ステップＳ１０２において、ＷＬＡＮインタフェース部２７０に無線ネットワークに接続している他の機器、すなわち、録音端末１００に対して音声データの送信要求を行う。このことにより、ＷＬＡＮインタフェース部２７０は、アンテナ２０２を介して録音端末１００に音声データの送信要求が送信される。なお、この音声データの送信要求に応じた録音端末１００の動作に関しては、後述する。

続いて、制御部２８０は、ステップＳ１０３において、アンテナ２０２を介してＷＬＡＮインタフェース部２７０による音声データの受信を開始する。このことにより、録音端末１００から送信されてきた音声データがメモリ２３０に記憶される。

続いて、制御部２８０は、ステップＳ１０４において、２ｎｄレリーズが検出されたか否かを判断し、２ｎｄレリーズが検出された場合は、ステップＳ１０５に進む。また、２ｎｄレリーズが検出されない場合は、ステップＳ１０４を繰り返す。

続いて、制御部２８０は、ステップＳ１０５において、撮影部２１０から入力された被写体の映像データと、マイク２０１が集音し、ＡＤ変換部２２０によってデジタルデータに変換された音声データとをメモリ２３０に記憶する。このことによって、撮影端末２００による動画の撮影が行われる。なお、アンテナ２０２を介してＷＬＡＮインタフェース部２７０が受信した録音端末１００の音声データのメモリ２３０への記憶も同時に行われている。

続いて、制御部２８０は、ステップＳ１０６において、相関検出部２４０に相関検出を開始させる。このことにより、相関検出部２４０は、メモリ２３０に記憶されている撮影端末２００が記憶した音声データと、受信した録音端末１００の音声データとの相関検出、すなわち、音声データのスタート位置の検出を行い、相関検出の結果である受信した録音端末１００の音声データのスタート位置を動画生成部２５０に出力する。

続いて、制御部２８０は、ステップＳ１０７において、相関検出部２４０による相関検出によって、メモリ２３０内に記憶された録音端末１００の音声データのスタート位置が検出されているか否かを判断し、音声データのスタート位置が検出されている場合は、ステップＳ１０８に進む。また、音声データのスタート位置が検出されていない場合は、ステップＳ１０６に戻って、音声データのスタート位置が検出されるまで相関検出部２４０による相関検出を繰り返す。

続いて、制御部２８０は、ステップＳ１０８において、動画生成部２５０による動画データの生成とメモリカードインタフェース部２６０による処理とを開始する。このことにより、動画生成部２５０は、相関検出部２４０から入力された音声データのスタート位置に基づいて、メモリ２３０に記憶されている撮影端末２００が記憶した映像データと、受信した録音端末１００の音声データとを関連付けた動画データを生成する。また、メモリカードインタフェース部２６０は、動画生成部２５０が生成した動画データを、メモリカードに記録するために必要な処理を行って、図示しないメモリカードに記録する。

続いて、制御部２８０は、ステップＳ１０９において、２ｎｄレリーズが検出されたか否かを判断し、２ｎｄレリーズが検出された場合は、ステップＳ１１０に進む。また、２ｎｄレリーズが検出されない場合は、ステップＳ１０８に戻り、動画データの生成と、メモリカードへの記録を繰り返す。

ステップＳ１０９において、２ｎｄレリーズが検出された場合、制御部２８０は、ステップＳ１１０において、ＷＬＡＮインタフェース部２７０に無線ネットワークに接続している他の機器、すなわち、録音端末１００に対して音声データの停止要求を行う。このことにより、ＷＬＡＮインタフェース部２７０は、アンテナ２０２を介して録音端末１００に音声データの停止要求が送信される。なお、この音声データの停止要求に応じた録音端末１００の動作に関しては、後述する。

続いて、制御部２８０は、ステップＳ１１１において、アンテナ２０２を介してＷＬＡＮインタフェース部２７０による音声データの受信を停止する。また、撮影部２１０による被写体の映像データと、ＡＤ変換部２２０による音声データとのメモリ２３０への記憶を停止し、処理を完了する。

次に、本実施形態の録音端末１００の処理手順について説明する。図６は、本実施形態の録音端末１００の処理手順を示したフローチャートである。

まず、音声データの送信を開始、すなわち、録音端末１００が音声の録音を開始するモードに設定され、音声データ送信の待機状態となると、制御部１４０は、ステップＳ２０１において、撮影端末２００からの音声データの送信要求を受信したか否かを判断し、音声データの送信要求を受信した場合は、ステップＳ２０２に進む。また、音声データの送信要求を受信しない場合は、ステップＳ２０１を繰り返す。

ステップＳ２０１において、音声データの送信要求を受信した場合、制御部１４０は、ステップＳ２０２において、音声の録音を開始させる。このことにより、マイク１０１が集音した被写体の音声を、ＡＤ変換部１１０によってデジタルデータに変換し、デジタルデータに変換された被写体の音声データを記録部１２０に記録する。

続いて、制御部１４０は、ステップＳ２０３において、ＷＬＡＮインタフェース部１３０に無線ネットワークに接続している撮影端末２００に対する音声データの送信を開始する。このことにより、記録部１２０に記録された被写体の音声データが、ＷＬＡＮインタフェース部１３０によって電波信号に変換され、アンテナ１０２を介して撮影端末２００に送信される。

続いて、制御部１４０は、ステップＳ２０４において、撮影端末２００からの音声データの停止要求を受信したか否かを判断し、音声データの停止要求を受信した場合は、ステップＳ２０５に進む。また、音声データの停止要求を受信しない場合は、ステップＳ２０３に戻り、記録部１２０に記録された被写体の音声データの送信を繰り返す。

ステップＳ２０４において、音声データの停止要求を受信した場合、制御部１４０は、ステップＳ２０５において、音声の録音を停止する。また、記録部１２０に記録された被写体の音声データの送信を停止し、処理を完了する。

上記に述べたとおり、本発明の実施形態によれば、撮影端末２００が撮影した被写体の映像データと、録音端末１００が記録した音声データとを関連付けた動画データを記録することができる。

次に、本実施形態の動画撮影システムの使用例について説明する。図７および図８は、本実施形態の動画撮影システムの使用例を示した図である。

図７は、録音端末１００を２台（録音端末１００−Ａおよび録音端末１００−Ｂ）使用して、ステレオ音声の動画データを生成する場合の例を示している。図７において、１台の撮影端末２００と、２台の録音端末１００とは、無線ネットワーク（無線ＬＡＮネットワーク）環境において、アクセスポイントを経由しないアドホックモードで接続されている。撮影端末２００は、無線ネットワークを介して録音端末１００−Ａと録音端末１００−Ｂとから送信されてくる音声データをそれぞれ受信する。そして、録音端末１００−Ａから送信されてくる音声データをステレオ音声の右側音声とし、録音端末１００−Ｂから送信されてくる音声データをステレオ音声の左側音声とした動画データを生成する。
なお、本発明においては、撮影端末２００によるステレオ音声の動画データの生成方法に関しては規定しない。

また、図７に示した使用例を応用して、録音端末１００を６台とすることにより、５．１チャンネルの音声データを実現した動画データを生成することができる。

図８は、３台の撮影端末２００（撮影端末２００−Ａ、撮影端末２００−Ｂ、および撮影端末２００−Ｃ）が、１台の録音端末１００から送信されてくる被写体の音声データを、同時に記録した動画データを生成する場合の例を示している。図８において、１台の録音端末１００と、３台の撮影端末２００とは、無線ネットワーク（無線ＬＡＮネットワーク）環境において、アクセスポイントを経由しないアドホックモードで接続されている。録音端末１００は、３台の撮影端末２００にマルチキャストで記録している音声データを送信する。

なお、図８においては、録音端末１００に対して撮影端末２００−Ａ、撮影端末２００−Ｂ、および撮影端末２００−Ｃからそれぞれ音声の録音開始および終了の指示や、記録している音声データの送信要求が送信される。録音端末１００は、無線ネットワークに接続されている撮影端末２００から、最初に音声の録音開始の指示を受信した時に録音を開始し、最後の撮影端末２００からの録音終了の指示を受信した時に録音を終了する。また、録音端末１００は、無線ネットワークに接続されている撮影端末２００から、最初に音声データの送信要求を受信した時に音声データの送信を開始し、最後の撮影端末２００からの音声データの停止要求を受信した時に音声データの送信を停止する。

なお、本発明においては、録音端末１００による音声データの送信方法に関しては規定しない。

上記に述べたとおり、本発明を実施するための形態によれば、録音端末１００と撮影端末２００とが別の機器であり、無線ネットワークを介して接続されている場合において、撮影端末２００が記憶した音声と、録音端末１００が記録した音声データとの相関を検出することによって、生成する動画データ内の映像データと音声データのタイミングを一致させることができるので、映像と音声のずれがなく、違和感のない動画を撮影することができる。

なお、本実施形態において動画データを生成する際に関連付ける音声データは、映像データの開始位置における音声データのスタート位置のみの相関を検出する例で説明したが、動画データの途中において予め定められたフレーム間隔毎に、撮影端末２００が記憶した音声データと、受信した録音端末１００が記録した音声データとの相関を検出して、映像データと音声データのタイミングのずれや誤差を補正する構成とすることもできる。

また、図７および図８に示した本実施形態の動画撮影システムの使用例においては、無線ネットワーク環境において、アドホックモードで接続されている例を説明したが、本発明においては、無線ネットワーク環境における接続モードの限定はしない。例えば、インフラストラクチャで接続されている場合でも本発明を適用することができる。

また、本実施形態においては、動画データを生成する場合を説明したが、動画データの生成に限定されるものではなく、例えば、静止画像の連続撮影において音声データを付加する場合にも本発明を適用することができる。

なお、本実施形態において撮影端末２００は、一眼レフレックスカメラの例で説明したが、本発明においては、被写体を撮影することができる構成であれば良く、カメラの種類などに関しての規定はしない。

また、本実施形態において録音端末１００は、ボイスレコーダの例で説明したが、本発明においては、音声を記録することができる構成であれば良く、音声記録装置の種類などに関しての規定はしない。

また、本実施形態における録音端末１００および撮影端末２００は、動画を撮影する撮影者が持ち運んで移動できるようにするため、電池やバッテリーによって動作する構成が望ましいが、録音端末１００および撮影端末２００の電源に関しての規定はしない。例えば、予め録音端末１００が設置されている環境に撮影端末２００を持ち込んで撮影することもできる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１００，１００−Ａ，１００−Ｂ・・・録音端末（録音装置）、１０１・・・マイク（第２の録音手段）、１０２・・・アンテナ（第２のネットワーク接続手段）、１１０・・・ＡＤ変換部、１２０・・・記録部（第２の録音手段）、１３０・・・ＷＬＡＮインタフェース部（第２のネットワーク接続手段）、２００，２００−Ａ，２００−Ｂ，２００−Ｃ・・・撮影端末（撮像装置）、２０１・・・マイク（録音手段）、２０２・・・アンテナ（ネットワーク接続手段）、２０３・・・レリーズ釦、２１０・・・撮影部（撮像手段）、２２０・・・ＡＤ変換部、２３０・・・メモリ（撮像手段，録音手段）、２４０・・・相関検出部（相関検出手段）、２５０・・・動画生成部（動画生成手段）、２６０・・・メモリカードインタフェース部、２７０・・・ＷＬＡＮインタフェース部（ネットワーク接続手段）

Claims (9)

1. 被写体を撮影する撮像手段と、
   前記撮像手段による撮影に合わせて、第１の録音環境で前記被写体の音声を録音する録音手段と、
   前記第１の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、
   前記第１の録音環境で録音された音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、
   前記相関検出手段が検出した相関検出の結果に基づいて、前記ネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記相関検出手段は、
   前記録音手段によって録音された音声データのうち、録音開始位置を基準とする予め定められた期間の音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記相関検出手段は、
   前記撮像手段が撮影した映像を前記動画データとして生成する際に、前記ネットワーク接続手段によって受信した音声データのうち、前記動画データの開始位置に対応する位置を基準とする予め定められた期間の音声データの相関を検出する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記ネットワーク接続手段を介して、前記外部装置に、前記被写体の音声の録音開始、または録音終了の指示を行う録音指示手段、
   を更に備えることを特徴とする請求項１に記載の撮像装置。
5. 前記動画生成手段は、
   複数の前記外部装置から受信した前記音声データを合成して前記動画データを生成する、
   ことを特徴とする請求項１に記載の撮像装置。
6. 第２の録音環境で被写体の音声を録音する第２の録音手段と、
   前記第２の録音手段によって録音された音声データを、請求項１に記載の撮像装置に対して、無線ネットワークを介して送信する第２のネットワーク接続手段と、
   を備えることを特徴とする録音装置。
7. 前記第２の録音手段は、
   前記第２のネットワーク接続手段が受信した前記被写体の音声の録音開始、または録音終了の指示に基づいて、前記被写体の音声の録音開始、または録音終了を行い、
   前記第２のネットワーク接続手段は、
   前記第２の録音手段が録音した前記音声データを、前記録音開始、または前記録音終了の指示を送信した撮像装置に送信する、
   ことを特徴とする請求項５に記載の録音装置。
8. 前記第２の録音手段によって録音された前記音声データを、外部装置からの音声データを受信するネットワーク接続手段を備えた複数の撮像装置に対して、マルチキャスト通信で送信する、
   ことを特徴とする請求項５に記載の録音装置。
9. 撮像装置と録音装置とを備える動画撮影システムであって、
   前記撮像装置は、
   被写体を撮影する撮像手段と、
   前記撮像手段による撮影に合わせて、第１の録音環境で前記被写体の音声を録音する録音手段と、
   前記第１の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して前記録音装置から受信する第１のネットワーク接続手段と、
   前記第１の録音環境で録音された音声データと、前記第１のネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、
   前記相関検出手段が検出した相関検出の結果に基づいて、前記第１のネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に関連付けた動画データを生成する動画生成手段と、
   を具備し、
   前記録音装置は、
   第２の録音環境で被写体の音声を録音する第２の録音手段と、
   前記第２の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第２のネットワーク接続手段と、
   を具備する、
   ことを特徴とする動画撮影システム。

Images