JP2020107971A - 撮像装置、録音装置、情報処理装置、撮像方法、録音方法、動画編集方法およびプログラム - Google Patents

Abstract

【課題】信複数の録音装置を互いに距離を離して設置した場合であっても、編集時の作業工程を減少させることができる撮像装置、録音機器、情報処理装置、撮像方法、録音方法、動画編集方法およびプログラムを提供する。【解決手段】撮像装置１０は、撮像素子１０１ｂが生成した動画データと、位置検出部１１１ｃが検出した複数の録音装置の各々と撮像装置１との相対的な位置関係と、方向検出部１１１ｄが検出した所定時間毎の撮像装置１の撮影方向と、を対応付けて記録部１１０に記録する記録制御部１１１ｉを備える。【選択図】図２

Description

本開示は、被写体を撮像することによって画像データを生成する撮像装置、音声の入力を受け付ける録音装置、画像データに対して処理を行う情報処理装置、撮像方法、録音方法、動画編集方法およびプログラムに関する。

従来、ＴＶ会議システムにおいて、発言者を自動的かつ正確に特定し、特定した発言者を撮像する技術が知られている（特許文献１参照）。この技術では、複数のマイクロフォンと、パン、チルトおよびズーム可能な撮像装置と、を設け、複数のマイクロフォンの各々が集音した集音信号に基づいて、マイクロフォンを使用した話者の方向および話者と撮像装置との距離を算出し、この算出したデータに基づいて、撮像装置の撮影条件を制御する。

特開２００５−１５１４７１号公報

しかしながら、上述した特許文献１では、マイクロフォンで集音することができない遠くの音を録音する場合、録音機能を備えた録音機器を用いて録音を行っている。このため、上述した特許文献１では、撮影対象物が移動する、複数の録音機器を互いに距離を離して設置し、編集時に最も音声を集音できた録音装置に切り替える作業を行いながら編集作業を行わなければならず、作業工数が掛かるという問題点があった。

本開示は、上記に鑑みてなされたものであって、複数の録音装置を互いに距離を離して設置した場合であっても、編集時の作業工程を減少させることができる撮像装置、録音装置、情報処理装置、撮像方法、録音方法、動画編集方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置であって、光学系が結像した被写体像を連続的に撮像することによって動画データを生成する撮像素子と、前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出する位置検出部と、所定の時間毎に当該撮像装置の撮影方向を検出する方向検出部と、前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する記録制御部と、を備える。

また、本開示に係る録音装置は、動画撮影することができる撮像装置と双方向に通信する録音装置であって、音声を収音することによって音声データを生成する収音部と、前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報に基づいて、前記収音部の録音感度を制御する音声制御部と、を備える。

また、本開示に係る情報処理装置は、少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得する取得部と、前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定する判定部と、前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する動画編集部と、を備える。

また、本開示に係る撮像方法は、互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置が実行する撮像方法であって、光学系が結像した被写体像を連続的に撮像することによって動画データを生成し、前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出し、所定の時間毎に当該撮像装置の撮影方向を検出し、前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する。

また、本開示に係る録音方法は、動画撮影することができる撮像装置と双方向に通信する録音装置が実行する録音方法であって、音声を収音することによって音声データを生成し、前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報を受信し、前記焦点距離情報に基づいて、前記音声データの生成時の録音感度を制御する。

また、本開示に係る動画編集方法は、情報処理装置が実行する動画編集方法であって、少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得し、前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定し、前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する。

また、本開示に係るプログラムは、互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置に、光学系が結像した被写体像を連続的に撮像することによって動画データを生成させ、前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出させ、所定の時間毎に当該撮像装置の撮影方向を検出させ、前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する。

また、本開示に係るプログラムは、録音装置に、音声を収音することによって音声データを生成し、前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報を受信させ、前記焦点距離情報に基づいて、前記音声データの生成時の録音感度を制御する。

また、本開示に係るプログラムは、情報処理装置に、少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得し、前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定し、前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する。

本開示によれば、複数の録音装置を互いに距離を離して設置した場合であっても、編集時の作業工程を減少させることができるという効果を奏する。

図１は、実施の形態１に係る動画撮影システムの概要を示す模式図である。 図２は、実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図３は、実施の形態１に係る録音装置の機能構成を示すブロック図である。 図４は、実施の形態１に係る情報処理装置の機能構成を示すブロック図である。 図５は、互いに異なる位置に２つの録音装置を配置した状態で撮像装置を用いて動画撮影を行っている状況下を示す図である。 図６は、互いに異なる位置に２つの録音装置を配置した状態で撮像装置を用いて動画撮影を行っている状況下を示す図である。 図７は、互いに異なる位置に２つの録音装置を配置した状態で撮像装置の画角を望遠側で動画撮影を行っている状況下を示す図である。 図８は、互いに異なる位置に２つの録音装置を配置した状態で撮像装置の画角を広角側で動画撮影を行っている状況下を示す図である。 図９は、実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１０は、実施の形態１に係る録音装置が実行する処理の概要を示すフローチャートである。 図１１は、実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。 図１２は、実施の形態１に係る判定部の判定方法を模式的に説明する図である。 図１３は、実施の形態１に係る動画編集部による動画編集方法を模式的に説明する図である。 図１４は、実施の形態１に係る動画ファイルの一例を模式的に示す図である。 図１５は、実施の形態２に係る撮像装置の機能構成を示すブロック図である。

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。

（実施の形態１）
〔動画撮影システムの概要〕
図１は、実施の形態１に係る動画撮影システムの概要を示す模式図である。図１に示す動画撮影システム１は、被写体に対する画像データを生成する静止画撮影または動画データを生成する動画撮影を撮影することができる撮像装置１０と、互いに距離を離して配置され、音声の入力を受け付けて音声データを録音する複数の録音装置２０と、動画データおよび音声データの合成または編集を行う情報処理装置３０と、を備える。図１では、３台の録音装置２０（録音装置２０Ａ〜録音装置２０Ｃ）を例に説明するが、これに限定されることなく、互いに距離を離して配置することができれば、２台以上であってもよい。さらに、複数の録音装置２０は、撮像装置１０の撮像範囲内に設置される。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。図２は、撮像装置１０の機能構成を示すブロック図である。

図２に示す撮像装置１０は、撮像部１０１と、収音部１０２と、ＧＰＳ（Global Positioning System）部１０３と、地磁気センサ１０４と、時計１０５と、操作部１０６と、第１通信部１０７と、第２通信部１０８と、表示部１０９と、記録部１１０と、制御部１１１と、を備える。

撮像部１０１は、制御部１１１の制御のもと、被写体像を撮像し、この被写体像の画像データ（静止画データ）を生成する。また、撮像部１０１は、制御部１１１の制御のもと、被写体像を連続的に撮像し、この被写体像の動画データを生成する。撮像部１０１は、撮像部１０１は、画像データまたは動画データを制御部１１１へ出力する。撮像部１０１は、光学系１０１ａと、撮像素子１０１ｂと、を有する。

光学系１０１ａは、被写体像を撮像素子１０１ｂの受光面に結像する。光学系１０１ａは、制御部１１１の制御のもと、所定の位置にピント位置を合焦させる。光学系１０１ａは、焦点距離（画角）を変更することができる。光学系１０１ａは、複数のレンズ、および複数のレンズのうちフォーカスレンズを光軸Ｏ１に沿って移動させるステッピングモータ等の駆動部およびフォーカスレンズの位置を検出する光カプラやエンコーダ等の検出センサ、シャッタおよび絞り等を有する。

撮像素子１０１ｂは、制御部１１１の制御のもと、光学系１０１ａが結像した被写体像を撮像することによって画像データまたは動画データを生成し、この画像データおよび動画データを制御部１１１へ出力する。撮像素子１０１ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。

収音部１０２は、制御部１１１の制御のもと、音声を収音し、収音した音声を音声データに変換して制御部１１１へ出力する。収音部１０２は、マイクロフォン、マイクロフォンが収音した音声を音声データに変換する変換部および音声データに対して増幅処理やノイズ除去処理等を行う信号処理回路等を有する。

ＧＰＳ部１０３は、地上の物体の位置を測位する測定手段であるＧＰＳ（Global Positioning System）を構成する複数のＧＰＳ衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における撮像装置１０の位置情報（以下、「撮影位置情報」という）を取得し、この撮影位置情報を制御部１１１へ出力する。ここで、撮影位置情報は、経度、緯度および時刻情報である。

地磁気センサ１０４は、光学系１０１ａの光軸Ｏ１が略水平になる場合において、光学系１０１ａの光軸が視野領域を向いた方向を基準方位としたときの撮像装置１０の撮像方向（方位）を検出し、この検出結果を制御部１１１へ出力する。具体的には、地磁気センサ１０４は、地磁気の垂直方向と水平方向の成分を検出し、北を基準とする基準方位と撮像装置１０における光学系１０１ａの光軸Ｏ１とがなす角度を方位角として検出することによって撮像装置１０の撮像方向を検出する。地磁気センサ１０４は、例えば、地磁気センサ、加速度センサおよびジャイロセンサ等を用いて構成される。

時計１０５は、時間を計時し、この計時結果を制御部１１１へ出力する。時計１０５は、計時機能の他、撮像部１０１によって生成された画像データや動画データの日時に関する日時情報を生成し、この日時情報を制御部１１１へ出力する。

操作部１０６は、撮像装置１０の各種の指示を与える指示信号の入力を受け付ける。操作部１０６は、プッシュスイッチ、ジョグダイヤル、リング、タッチパネルおよび回転レバー等を用いて構成される。

第１通信部１０７は、制御部１１１の制御のもと、録音装置２０または情報処理装置３０との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第１通信部１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信を採用している。なお、第１通信部１０７は、Ｂｌｕｅｔｏｏｔｈ通信の他、赤外線通信（IrDA（Infrared Data Association））等、他の通信を採用しても構わない。例えば、Ｂｌｕｅｔｏｏｔｈの場合、機器の役割としては、近距離の一対一関係のマスター、スレーブの関係となり、概略接続処理としては、マスターが、所望のスレーブを検索し接続を行うため、問い合わせと応答の関係だけで通信が成り立ち、簡便である。つまり、大まかな接続シーケンスとしては、まず、マスターは、スレーブ機器が存在するかの問い合わせ（Ｉｎｑｕｉｒｙ）を行う。続いて、スレーブは、マスターからの問い合わせ（Ｉｎｑｕｉｒｙ）に対し、応答を返す。その後、マスターは、応答があったスレーブのうち、所望のスレーブと接続する。ただし、データ通信は、マスターからのデータ送受信指示により、データ送受信を行い、マスターが許可しないとデータ送受信できない。第１通信部１０７は、例えばアンテナと送受信回路とを有するブルートゥース通信モジュールを用いて構成される。

第２通信部１０８は、制御部１１１の制御のもと、録音装置２０または情報処理装置３０との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第２通信部１０８は、Ｗｉ-Ｆｉ（Wireless Fidelity）（登録商標）通信を採用している。例えば、Ｗｉ-Ｆｉの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントは、無線ネットワークを構築し、自分のネットワーク識別子(ＳＳＩＤ)を報知する。続いて、ステーションは、報知されているネットワーク識別子(ＳＳＩＤ)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間がかかることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信が可能である。なお、第２通信部１０８は、Ｗｉ-Ｆｉ（Wireless Fidelity）以外に、４Ｇ無線を利用した通信を採用してもよい。もちろん、第２通信部１０８は、３Ｇ無線を利用した通信、５Ｇ無線を利用した通信およびＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）通信等、他の通信を採用しても構わない。なお、第２通信部１０８は、例えばアンテナと送受信回路とを有するＷｉ−Ｆｉ通信モジュールを用いて構成される。なお、実施の形態１では、第１通信部１０７および第２通信部１０８が送信部として機能する。

表示部１０９は、制御部１１１の制御のもと、画像データに対応する画像または動画データに対応する動画を表示する。また、表示部１０９は、撮像装置１０に関する各種情報を表示する。表示部１０９は、例えば有機ＥＬ（Electro Luminescence）や液晶の表示パネルを用いて構成される。

記録部１１０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、Ｆｌａｓｈメモリおよび記録媒体等を用いて構成され、撮像装置１０に関する各種情報を記録する。記録部１１０は、撮像装置１０が実行する各種のプログラムを記録するプログラム記録部１１０ａと、動画データを格納した動画ファイルを記録する動画データ記録部１１０ｂと、音声データを格納した音声ファイルを記録する音声データ記録部１１０ｃと、を有する。

制御部１１１は、メモリと、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）およびＤＳＰ（Digital Signal Processing）のいずれか１つ以上のハードウェアを用いて構成される。制御部１１１は、撮像装置１０を構成する各部を統括的に制御する。

ここで、制御部１１１の詳細な構成について説明する。制御部１１１は、画像処理部１１１ａと、音声処理部１１１ｂと、位置検出部１１１ｃと、方向検出部１１１ｄと、撮影制御部１１１ｅと、表示制御部１１１ｆと、焦点距離検出部１１１ｇと、ピント位置検出部１１１ｈと、記録制御部１１１ｉと、を有する。

画像処理部１１１ａは、撮像素子１０１ｂが生成した画像データや動画データに対して所定の画像処理を行う。例えば、画像処理部１１１ａは、画像データに対して、ホワイトバランス調整処理、ノイズ低減処理、デモザイキング処理、ＪＰＥＧ変換処理およびＭＰＥＧ変換処理等を行う。

音声処理部１１１ｂは、収音部１０２が生成した音声データに対して、所定の音声処理を行う。音声処理部１１１ｂは、音声データに対して、ノイズ低減処理や増幅処理を行う。

位置検出部１１１ｃは、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係を検出する。具体的には、位置検出部１１１ｃは、複数の録音装置２０の各々から取得した位置情報（以下、「録音位置情報」という）と、撮像装置１０のＧＰＳ部１０３が検出した撮影位置情報と、に基づいて、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係を検出する。例えば、位置検出部１１１ｃは、録音位置情報に含まれる緯度および経度と、撮影位置情報に含まれる緯度および経度とに基づいて、撮像装置１０と複数の録音装置２０の各々の距離および向き（方位）を算出することによって、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係を検出する。なお、位置検出部１１１ｃは、複数の録音装置２０の録音位置情報を、操作部１０６によって入力された録音位置情報を用いて、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係を検出してもよい。さらに、位置検出部１１１ｃは、撮像素子１０１ｂに含まれる測距センサや位相差センサによって検出された撮像装置１０から録音装置２０までの測距距離に基づいて、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係を検出してもよい。

方向検出部１１１ｄは、所定の時間毎に撮像装置１０の撮影方向を検出する。具体的には、方向検出部１１１ｄは、地磁気センサ１０４が検出した検出結果に基づいて、撮像装置１０の撮影方向を検出する。ここで、所定の時間毎とは、撮像素子１０１ｂが生成する画像データの１フレーム毎、または所定のフレーム毎、例えば６０フレーム毎（１秒毎）に撮像装置１０の撮影方向を検出する。

撮影制御部１１１ｅは、撮像部１０１の撮影動作を制御する。撮影制御部１１１ｅは、撮像素子１０１ｂが生成した画像データに基づいて、光学系１０１ａのピント位置や撮像素子１０１ｂによる録音感度を制御する。例えば、撮影制御部１１１ｅは、撮像素子１０１ｂが生成した画像データに基づいて、光学系１０１ａのフォーカスレンズを光軸Ｏ１上に沿って移動させることによってユーザが所望する被写体にピンチ位置を合焦させる。

表示制御部１１１ｆは、表示部１０９の表示態様を制御する。表示制御部１１１ｆは、撮像装置１０に関する各種情報を表示部１０９に表示させる。

焦点距離検出部１１１ｇは、現在の光学系１０１ａの焦点距離を検出する。例えば、焦点距離検出部１１１ｇは、光学系１０１ａに設けられた図示しない光カプラやエンコーダ等が検出した検出結果に基づいて、現在の光学系１０１ａの焦点距離（画角）を検出する。

ピント位置検出部１１１ｈは、撮像素子１０１ｂが生成した画像データに基づいて、光学系１０１ａのピント位置を検出する。例えば、ピント位置検出部１１１ｈは、画像データに含まれる高周波成分に基づいて、光学系１０１ａのピント位置を検出する。なお、ピント位置検出部１１１ｈは、撮像素子１０１ｂに埋め込まれた位相差画素や測距画素から出力された信号に基づいて、光学系１０１ａのピント位置を検出してもよい。

記録制御部１１１ｉは、撮像素子１０１ｂが生成した動画データと、位置検出部１１１ｃが検出した撮像装置１０と複数の録音装置２０の各々との相対的な位置関係と、方向検出部１１１ｄが検出した撮像装置１０の撮影方向と、を対応付けて記録部１１０に記録する。また、記録制御部１１１ｉは、撮像素子１０１ｂが生成した動画データと、位置検出部１１１ｃが検出した撮像装置１０と複数の録音装置２０の各々との相対的な位置関係と、方向検出部１１１ｄが検出した撮像装置１０の撮影方向と、ピント位置検出部１１１ｈが検出したピント位置と、を対応付けて記録部１１０に記録する。

〔録音装置の構成〕
次に、録音装置２０の構成について説明する。図３は、録音装置２０の機能構成を示すブロック図である。なお、録音装置２０Ａ〜録音装置２０Ｃは、互いに同じ構成のため、録音装置２０を表現して構成を説明する。

図３に示す録音装置２０は、第１通信部２０１と、第２通信部２０２と、収音部２０３と、ＧＰＳ部２０４と、時計２０５と、操作部２０６と、表示部２０７と、記録部２０８と、制御部２０９と、を備える。

第１通信部２０１は、制御部２０９の制御のもと、撮像装置１０または情報処理装置３０との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第１通信部２０１は、Ｂｌｕｅｔｏｏｔｈ通信を採用している。

第２通信部２０２は、制御部２０９の制御のもと、撮像装置１０または情報処理装置３０との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第２通信部２０２は、Ｗｉ-Ｆｉ通信を採用している。

収音部２０３は、制御部２０９の制御のもと、音声を収音し、収音した音声を音声データに変換して制御部２０９へ出力する。収音部２０３は、マイクロフォン、マイクロフォンが収音した音声を音声データに変換する変換部および音声データに対して増幅処理やノイズ除去処理等を行う信号処理回路等を有する。なお、マイクロフォンは、ステレオマイクロフォン、モノラルマイクロフォンのどちらであってもよい。

ＧＰＳ部２０４は、複数のＧＰＳ衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における録音装置２０の位置情報を取得し、この位置情報を制御部２０９へ出力する。

時計２０５は、時間を計時し、この計時結果を制御部２０９へ出力する。時計２０５は、計時機能の他、収音部２０３によって生成された音声データの日時に関する日時情報を生成し、この日時情報を制御部２０９へ出力する。

操作部２０６は、録音装置２０の各種の指示を与える指示信号の入力を受け付ける。操作部２０６は、プッシュスイッチ、ジョグダイヤル、リング、タッチパネルおよび回転レバー等を用いて構成される。

表示部２０７は、録音装置２０に関する各種情報を表示する。表示部２０７は、有機ＥＬや液晶等の表示パネルを用いて構成される。

記録部２０８は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、Ｆｌａｓｈメモリおよび記録媒体等を用いて構成され、録音装置２０に関する各種情報を記録する。記録部２０８は、録音装置２０が実行する各種情報を記録するプログラム記録部２０８ａと、音声データを格納した音声ファイルを記録する音声データ記録部２０８ｂと、を有する。

制御部２０９は、録音装置２０を構成する各部を統括的に制御する。制御部２０９は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサと、を用いて構成される。制御部２０９は、音声処理部２０９ａと、音声制御部２０９ｂと、を有する。

音声処理部２０９ａは、収音部２０３が生成した音声データに対して所定の音声処理を行う。例えば、音声処理部２０９ａは、音声データに対して、ノイズ低減処理や増幅処理等を行う。

音声制御部２０９ｂは、収音部２０３の動作を制御する。音声制御部２０９ｂは、収音部２０３による録音感度や指向性を制御する。例えば、音声制御部２０９ｂは、第１通信部２０１または第２通信部２０２を経由して受信した撮像装置１０の焦点距離（画角）に基づいて、収音部２０３の録音感度や指向性を制御する。

〔情報処理装置の構成〕
次に、情報処理装置３０の構成について説明する。図４は、情報処理装置３０の機能構成を示すブロック図である。

図４に示す情報処理装置３０は、操作部３０１と、取得部３０２と、再生部３０３と、記録部３０４と、制御部３０５と、を備える。

操作部３０１は、情報処理装置３０に関する各種の指示を与える指示信号の入力を受け付ける。操作部３０１は、例えばキーボード、マウスおよびタッチパネル等を用いて構成される。

取得部３０２は、制御部３０５の制御のもと、撮像装置１０または録音装置２０との間で通信に必要な信号を含む各種データの通信を所定のプロトコルに従って無線または有線によって行う。取得部３０２は、通信モジュールを用いて構成される。

再生部３０３は、制御部３０５の制御のもと、動画データに対応する動画を音声とともに再生する。再生部３０３は、液晶や有機ＥＬ等の表示パネルとスピーカー等を用いて構成される。

記録部３０４は、情報処理装置３０に関する各種情報を記録する。記録部３０４は、情報処理装置３０が実行する各種プログラムを記録するプログラム記録部３０４ａと、動画データを格納した動画ファイルを記録する動画データ記録部３０４ｂと、を有する。

制御部３０５は、情報処理装置３０を構成する各部を統括的に制御する。制御部３０５は、メモリと、ＣＰＵ等を有するハードウェアを用いて構成される。制御部３０５は、判定部３０５ａと、動画編集部３０５ｂと、記録制御部３０５ｃと、を有する。

判定部３０５ａは、複数の録音装置２０と撮像装置１０との相対的な位置関係と、撮像装置１０の撮影方向とに基づいて、複数の録音装置２０の中から所定の時間毎に撮像装置１０の撮影方向に位置する最適な録音装置を判定する。具体的には、判定部３０５ａは、撮像装置１０の撮影方向に複数の録音装置２０が位置する場合、撮像装置１０のピント位置に基づいて、撮像装置１０の撮影方向に位置する複数の録音装置の中から最適な録音装置を判定する。

動画編集部３０５ｂは、動画データにおける所定の時間毎に撮像装置１０の撮影方向に位置すると判定された最適な録音装置２０によって生成された音声データであって、動画データと時間軸が同じ音声データを、所定の時間内における動画データの音声データとして選択し、この選択した音声データを動画データに同期合成する。ここで、動画データと時間軸が同じ音声データとは、動画データの撮影開始時刻と同じ時刻に録音装置２０が録音を開始することによって生成された音声データである。即ち、動画データと時間軸が同じ音声データとは、動画データおよび音声データとの開始時刻が互いに同じ時刻で同期が取れているものである。

記録制御部３０５ｃは、動画編集部３０５ｂが編集した動画データと、音声データと、選択した採用時間と、を対応付けて記録部３０４に記録する。

〔動画撮影システムの処理の概要〕
次に、動画撮影システム１が実行する処理の概要について説明する。図５は、互いに異なる位置に２つの録音装置２０を配置した状態で撮像装置１０を用いて動画撮影を行っている状況下を示す図である。図６は、互いに異なる位置に２つの録音装置２０を配置した状態で撮像装置１０を用いて動画撮影を行っている状況下を示す図である。図７は、互いに異なる位置に２つの録音装置２０を配置した状態で撮像装置１０の画角を望遠側で動画撮影を行っている状況下を示す図である。図８は、互いに異なる位置に２つの録音装置２０を配置した状態で撮像装置１０の画角を広角側で動画撮影を行っている状況下を示す図である。

図５に示すように、動画撮影の被写体である対象物Ａ１（鳥）が録音装置２０Ａの収音範囲Ｒ１内にいる場合、ユーザは、撮像装置１０の光軸Ｏ１を含む撮影領域Ｗ１を対象物Ａ１かつ録音装置２０Ａが配置された位置に向けて動画撮影を行う。また、図５に示す状況下から対象物Ａ１が録音装置２０Ａの収音範囲Ｒ１から録音装置２０Ｂの収音範囲Ｒ２内へ移動した場合、図６に示すように、ユーザは、撮像装置１０の光軸Ｏ１を含む撮影領域Ｗ１を録音装置２０Ａが配置された位置から録音装置２０Ｂが配置された位置へ向けて動画撮影を行う。

従来では、ユーザは、移動する対象物Ａ１の動画撮影が終了した後に、編集時に録音装置２０Ａおよび録音装置２０Ｂの各々の音声データを確認することによって、所定の時間毎に対象物Ａ１の音を一番収音している音声データに切り替えて動画データの時刻に同期させる編集作業を行っていた。このため、従来では、編集時の作業工数が膨大になる問題点があった。

これに対して、撮像装置１０は、動画データにおける所定の時刻毎に、撮像装置１０の光軸Ｏ１を含む撮影領域に位置する録音装置２０に、タイムスタンプを示す情報を送信する。これにより、ユーザは、編集時に動画データと複数の音声データとの同期合成を容易にすることができるので、編集時の作業工数を減少させることができる。

また、図７に示すように、撮像装置１０の画角が望遠側（画角がα１°）である場合において、撮像装置１０のピント位置が録音装置２０Ｂより近い位置に配置された録音装置２０Ａの収音範囲Ｒ１に位置する対象物Ａ１に合焦しているとき、撮像装置１０は、画角が望遠側であっても、撮像装置１０から対象物Ａ１までの距離が近いと判定し、録音装置２０Ａにタイムスタンプを示す情報を送信する。

さらに、図７に示す状況下から対象物Ａ１が撮像装置１０から近い位置に配置された録音装置２０Ａの収音範囲Ｒ１から撮像装置１０から遠い位置に配置された録音装置２０Ｂの収音範囲Ｒ２に移動した場合において、撮像装置１０の画角が広角側（画角がβ１°（β１°＞α１°））であり、かつ、撮像装置１０のピント位置が録音装置２０Ｂの収音範囲Ｒ２に位置する対象物Ａ１に合焦しているとき、撮像装置１０は、撮像装置１０の画角が広角であっても、撮像装置１０から対象物Ａ１までの距離が遠いと判定し、録音装置２０Ｂにタイムスタンプを示す情報を送信する。

〔撮像装置の処理〕
次に、撮像装置１０が実行する処理について説明する。図９は、撮像装置１０が実行する処理の概要を示すフローチャートである。なお、図９では、撮像装置１０が実行する複数のモードのうち、説明を簡略するため、動画モードおよび再生モードのみについて説明する。

図９に示すように、撮像装置１０が動画モードに設定されている場合（ステップＳ１００：Ｙｅｓ）において、操作部１０６から動画撮影を指示する指示信号が入力された場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１０は、動画撮影を開始する（ステップＳ１０２）。この場合、撮像装置１０は、撮像部１０１が動画データの生成を開始し、かつ、時計１０５が動画データにタイムラインを付加するための計時を開始する。

続いて、撮像装置１０が複数の録音装置２０と連携しながら動画撮影を行う連携モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、制御部１１１は、複数の録音装置２０に対して、第１通信部１０７または第２通信部１０８に動画撮影の開始を行ったことを示す開始信号を送信させる（ステップＳ１０４）。

その後、制御部１１１は、複数の録音装置２０に対して、第１通信部１０７または第２通信部１０８に連携情報を送信させ（ステップＳ１０５）、複数の録音装置２０から連携応答情報を受信する（ステップＳ１０６）。ここで、連携情報には、撮像装置１０を識別する識別情報と、撮像装置１０の撮影位置を示す撮影位置情報と、撮像装置１０の焦点距離情報と、撮像装置１０による動画データを開始する旨の通知信号、タイムスタンプ、動画データのファイル形式等が含まれる。また、連携応答情報には、録音装置２０の録音位置情報、録音装置２０を識別する識別情報（例えば機器ＩＤや年式、機種名）、録音装置２０の状態を示す状態情報（例えばスタンバイモードから録音モードに遷移したことを示すモード情報等）および音声データの録音タイミングの時刻情報等が含まれる。

続いて、制御部１１１が撮影位置、撮影方向および撮影情報を取得する（ステップＳ１０７）。具体的には、位置検出部１１１ｃは、ＧＰＳ部１０３が検出した位置情報を取得し、取得した位置情報に基づいて、撮像装置１０の撮影位置情報を検出する。また、方向検出部１１１ｄは、地磁気センサ１０４が検出した検出結果を取得し、取得した検出結果に基づいて、撮像装置１０の撮像方向を検出する。さらに、焦点距離検出部１１１ｇは、光学系１０１ａから焦点距離に関する焦点距離情報を撮影情報の一つとして検出する。さらにまた、ピント位置検出部１１１ｈは、撮像素子１０１ｂが生成した画像データに基づいて、光学系１０１ａのピント位置を撮影情報の一つとして検出する。

その後、操作部１０６から動画撮影を終了する指示信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、撮像装置１０は、ステップＳ１０９へ移行する。これに対して、操作部１０６から動画撮影を終了する指示信号が入力されていない場合（ステップＳ１０８：Ｎｏ）、撮像装置１０は、ステップＳ１０３へ戻る。

ステップＳ１０９において、撮像装置１０が複数の録音装置２０と連携する連携モードである場合（ステップＳ１０９：Ｙｅｓ）、制御部１１１は、複数の録音装置２０に対して、第１通信部１０７または第２通信部１０８に動画撮影を終了したことを示す終了信号を送信させる（ステップＳ１１０）。ステップＳ１１０の後、撮像装置１０は、後述するステップＳ１１１へ移行する。これに対して、撮像装置１０が複数の録音装置２０と連携する連携モードでない場合（ステップＳ１０９：Ｎｏ）、撮像装置１０は、後述するステップＳ１１１へ移行する。

ステップＳ１１１において、制御部１１１は、画像ファイルを生成して記録部１１０に記録する。ステップＳ１１１の後、撮像装置１０は、本処理を終了する。

ステップＳ１０３において、撮像装置１０が連携モードに設定されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１０は、ステップＳ１０８へ移行する。

ステップＳ１００において、撮像装置１０が撮影モードに設定されていない場合（ステップＳ１００：Ｎｏ）、撮像装置１０は、ステップＳ１１２へ移行する。

続いて、撮像装置１０が再生モードに設定されている場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１０は、記録部１１０が記録する画像データに対応する画像または動画データに対応する動画を表示部１０９に表示させる再生処理を実行する（ステップＳ１１３）。ステップＳ１１３の後、撮像装置１０は、本処理を終了する。

ステップＳ１１２において、撮像装置１０が再生モードに設定されていない場合（ステップＳ１１２：Ｎｏ）、撮像装置１０は、本処理を終了する。

〔録音装置の処理〕
次に、録音装置２０が実行する処理について説明する。図１０は、録音装置２０が実行する処理の概要を示すフローチャートである。なお、図１０では、一つの録音装置２０（録音装置２０Ａ）の処理について説明するが、他の録音装置２０（録音装置２０Ｂ，２０Ｃ）も同様の処理を行う。

図１０に示すように、まず、録音装置２０が録音モードに設定され（ステップＳ２０１：Ｙｅｓ）、かつ、録音装置２０が撮像装置１０と連携する連携モードに設定されている場合（ステップＳ２０２：Ｙｅｓ）において、第１通信部２０１または第２通信部２０２を経由して撮像装置１０から動画撮影を開始する開始信号を受信したとき（ステップＳ２０３：Ｙｅｓ）、録音装置２０は、音声データに撮像装置１０と連携しながら録音することを示す連携情報を付与する（ステップＳ２０４）。ここで、連携情報には、撮像装置１０を識別する識別情報と、撮像装置１０の撮影位置を示す撮影位置情報と、撮像装置１０の焦点距離情報と、が含まれる。この場合、音声制御部２０９ｂは、連携情報に含まれる撮像装置１０の焦点距離情報に基づいて、収音部２０３の録音感度を制御する。これにより、録音装置２０は、撮像装置１０の焦点距離に応じて、収音部２０３の収音範囲を制御することができるので、撮像装置１０の焦点距離に応じた録音を行うことができる。

続いて、制御部２０９は、第１通信部２０１または第２通信部２０２に連携応答を送信させる（ステップＳ２０５）。具体的には、制御部２０９は、ＧＰＳ部２０４が検出した録音装置２０の録音位置に関する録音位置情報と、録音装置２０を識別する識別情報と、撮像装置１０から開始信号を受信したことを示す受信完了情報と、を含む連携応答を送信する。これにより、ユーザは、撮像装置１０と録音装置２０とが連携を取れていることを把握することができる。

その後、制御部２０９は、収音部２０３によって音声を収音させることによって音声データを生成する録音を開始する（ステップＳ２０６）。

続いて、第１通信部２０１または第２通信部２０２を経由して撮像装置１０から動画撮影を終了する終了信号を受信した場合（ステップＳ２０７：Ｙｅｓ）、制御部２０９は、収音部２０３による音声データの生成を停止させることによって録音を終了する（ステップＳ２０８）。

その後、制御部２０９は、音声データを格納した音声ファイルを生成することによって記録部２０８に記録する（ステップＳ２０９）。

続いて、操作部２０６から終了する指示信号が入力された場合（ステップＳ２１０：Ｙｅｓ）、録音装置２０は、本処理を終了する。これに対して、操作部２０６から終了する指示信号が入力されていない場合（ステップＳ２１０：Ｎｏ）、録音装置２０は、ステップＳ２０１へ戻る。

ステップＳ２０３において、第１通信部２０１または第２通信部２０２を経由して撮像装置１０から動画撮影を開始する開始信号を受信していないとき（ステップＳ２０３：Ｎｏ）、録音装置２０は、ステップＳ２１０へ移行する。

ステップＳ２０２において、録音装置２０が連携モードに設定されていない場合（ステップＳ２０２：Ｎｏ）、録音装置２０は、後述するステップＳ２１１へ移行する。

続いて、操作部２０６から録音を開始する開始信号が入力された場合（ステップＳ２１１：Ｙｅｓ）、制御部２０９は、録音装置２０による録音を開始する（ステップＳ２１２）。ステップＳ２１２の後、録音装置２０は、後述するステップＳ２１３へ移行する。これに対して、操作部２０６から録音を開始する開始信号が入力されていない場合（ステップＳ２１１：Ｎｏ）、録音装置２０は、ステップＳ２１０へ移行する。

ステップＳ２１３において、操作部２０６から録音を終了する終了信号が入力された場合（ステップＳ２１３：Ｙｅｓ）、録音装置２０は、ステップＳ２０８へ移行する。これに対して、操作部２０６から録音を終了する終了信号が入力されていない場合（ステップＳ２１３：Ｎｏ）、録音装置２０は、この判定を繰り返す。

ステップＳ２０１において、録音装置２０が録音モードに設定されていない場合（ステップＳ２０１：Ｎｏ）、録音装置２０は、後述するステップＳ２１４へ移行する。

ステップＳ２１４において、録音装置２０が再生モードに設定されている場合（ステップＳ２１４：Ｙｅｓ）、録音装置２０は、記録部２０８が記録する音声データを再生する再生処理を実行する（ステップＳ２１５）。ステップＳ２１５の後、録音装置２０は、ステップＳ２１０へ移行する。

ステップＳ２１４において、録音装置２０が再生モードに設定されていない場合（ステップＳ２１４；Ｎｏ）、録音装置２０は、後述するステップＳ２１０へ移行する。

〔情報処理装置の処理〕
次に、情報処理装置３０が実行する処理について説明する。図１１は、情報処理装置３０が実行する処理の概要を示すフローチャートである。

図１１に示すように、取得部３０２は、撮像装置１０から複数の動画ファイルを取得し（ステップＳ３０１）、複数の録音装置２０の各々から音声ファイルを取得する（ステップＳ３０２）。

続いて、制御部３０５は、操作部３０１の操作に応じて指定された動画ファイルに格納された動画データに対応する動画を再生部３０３に再生させる（ステップＳ３０３）。

その後、判定部３０５ａは、動画ファイルに含まれる複数の録音装置２０と撮像装置１０との相対的な位置関係と、動画ファイルに撮像装置１０の撮影方向とに基づいて、複数の録音装置２０の中から所定の時間毎に撮像装置１０の撮影方向に位置する最適な録音装置２０を判定することによって最適な録音装置２０を選択する（ステップＳ３０４）。具体的には、判定部３０５ａは、撮像装置１０の撮影方向に複数の録音装置２０が位置する場合、撮像装置１０のピント位置に基づいて、撮像装置１０の撮影方向に位置する複数の録音装置の中から最適な録音装置を判定することによって最適な録音装置を選択する。この場合、判定部３０５ａは、指定された動画ファイルの日時と同じ音声ファイルを選択する。

図１２は、判定部３０５ａの判定方法を模式的に説明する図である。図１２に示すように、判定部３０５ａは、動画ファイルに含まれる撮影位置情報に含まれる経度および緯度、複数の音声ファイルの各々に含まれる録音位置情報に含まれる経度および緯度に基づく、複数の録音装置２０と撮像装置１０との相対的な位置関係を判定する。そして、判定部３０５ａは、所定の方向（北）と撮像装置１０の光軸Ｏ１とがなる角度γ１とに基づく撮影方向と、に基づいて、複数の録音装置２０Ａ，２０Ｂ，２０Ｃの中から所定の時間毎に撮像装置１０の撮影方向に位置する最適な録音装置２０を判定することによって最適な録音装置２０を選択する。この場合において、判定部３０５ａは、撮像装置１０の撮影方向に複数の録音装置２０、例えば録音装置２０Ａおよび録音装置２０Ｃが位置する場合、撮像装置１０のピント位置Ｌ１に基づいて、撮像装置１０の撮影方向に位置する録音装置２０Ａ，２０Ｃの中から最適な録音装置、例えば録音装置２０Ｃと判定することによって最適な録音装置２０Ｃを選択する。

図１１に戻り、ステップＳ３０６以降の説明を続ける。
ステップＳ３０６において、動画編集部３０５ｂは、動画データにおける所定の時間毎に撮像装置１０の撮影方向に位置すると判定された最適な録音装置２０によって生成された音声データであって、動画データと時間軸が同じ音声データを、所定の時間内における動画データの音声データとして選択し、この選択した音声データを動画データに同期合成する。

図１３は、動画編集部３０５ｂによる動画編集方法を模式的に説明する図である。図１３において、横軸が時間を示す。また、図１３において、上段から（ａ）が撮像装置１０による動画データのタイムラインを示し、（ｂ）が録音装置２０Ａの音声データのタイムラインを示し、（ｃ）が録音装置２０Ｂの音声データのタイムラインを示し、（ｄ）が録音装置２０Ｃの音声データのタイムラインを示す。

図１３に示すように、動画編集部３０５ｂは、動画データの時間Ｔ１において撮像装置１０の撮影方向に位置すると判定された最適な録音装置２０が録音装置２０Ａの場合、録音装置２０Ａによって生成された音声データを、時間Ｔ１における動画データの音声データとして選択し、この選択した音声データを動画データに同期合成する。同様に、動画編集部３０５ｂは、動画データにおける所定の時間毎に撮像装置１０の撮影方向に位置すると判定部３０５ａによって判定された最適な録音装置２０によって生成された音声データを、所定の時間内における動画データの音声データとして選択し、該選択した音声データを動画データに順次同期させることによって合成する（時間Ｔ２〜時間Ｔ４を参照）。この場合において、判定部３０５ａによって撮像装置１０の撮影方向に最適な録音装置２０がないと判定された場合、判定部３０５ａによって最適な録音装置２０がないと判定された時間に撮像装置１０の収音部１０２が生成した音声データを、動画データの音声データとして同期させて合成する。これにより、最適な音声データがない場合であっても、必要な音声データを補間することができるので、滑らか音声データの編集を行うことができる。

続いて、操作部３０１から動画編集操作を終了する指示信号が入力された場合（ステップＳ３０６：Ｙｅｓ）、記録制御部３０５ｃは、動画編集部３０５ｂが動画データにおける所定の時間毎に音声データを同期合成することによって生成した動画データを格納した動画ファイルを生成する（ステップＳ３０７）。具体的には、図１４に示すように、記録制御部３０５ｃは、動画ファイルＦ１を生成する。動画ファイルＦ１には、動画データとＭ１と、撮影位置情報ｆ１、録音装置２０Ａ相対位置情報ｆ２、採用時間ｆ３、録音装置２０Ｂ相対位置情報ｆ４、採用時間ｆ５、録音装置２０Ｃ相対位置情報ｆ６、採用時間ｆ７が含まれる。ステップＳ３０７の後、情報処理装置３０は、本処理を終了する。

ステップＳ３０６において、操作部３０１から動画編集操作を終了する指示信号が入力されていない場合（ステップＳ３０６：Ｎｏ）、情報処理装置３０は、上述したステップＳ３０３へ戻る。

以上説明した実施の形態１によれば、記録制御部１１１ｉが撮像素子１０１ｂによって生成された動画データと、位置検出部１１１ｃによって検出された複数の録音装置２０の各々と撮像装置１０との相対的な位置関係と、方向検出部１１１ｄによって検出された所定時間毎の撮像装置１０の撮影方向と、を対応付けて記録部１１０に記録するので、複数の録音装置２０を互いに距離を離して設置した場合であっても、編集時の作業工程を減少させることができる。

また、実施の形態１によれば、記録制御部１１１ｉがピント位置検出部１１１ｈによって検出されたピント位置と、複数の録音装置２０の各々と撮像装置１０との相対的な位置関係と、所定時間毎の撮像装置１０の撮影方向と、を対応付けて記録部１１０に記録するので、同じ撮影方向に複数の録音装置２０が位置する場合であっても、適切な録音装置２０を選択することができる。

また、実施の形態１によれば、位置検出部１１１ｃが複数の録音装置２０の各々が配置された配置位置を示す配置位置情報と、撮像装置１０の撮影位置を示す撮影位置情報と、に基づいて、複数の録音装置２０の各々と撮像装置１０との距離を相対的な位置関係として検出するので、複数の録音装置２０の各々の位置を精度よく検出することができる。

また、実施の形態１によれば、撮像素子１０１ｂによって動画データの撮影を開始した場合、第１通信部１０７または第２通信部１０８が複数の録音装置２０の各々へ音声データの記録の開始を指示する開始信号を送信する一方、撮像素子１０１ｂが動画データの撮影を終了した場合、第１通信部１０７または第２通信部１０８が複数の録音装置２０の各々へ音声データの記録の停止を指示する停止信号を送信するので、撮像装置１０が生成した動画データと時間軸が同じ音声データを得ることができる。

また、実施の形態１によれば、第１通信部１０７または第２通信部１０８が焦点距離検出部１１１ｇによって検出された焦点距離情報を複数の録音装置２０の各々へ送信するので、録音装置２０が撮像装置１０の焦点距離に応じた録音感度で音声データの録音を行うことができる。

（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、情報処理装置３０が動画データと音声データとの編集を行っていたが、実施の形態２では、撮像装置のみで動画データと音声データとの編集を行う。以下においては、実施の形態２に係る撮像装置の構成について説明する。なお、上述した実施の形態１に係る動画撮影システム１と同様の構成には同一の符号を付して詳細な説明を省略する。

〔撮像装置の構成〕
図１５は、実施の形態２に係る撮像装置の機能構成を示すブロック図である。図１５に示す撮像装置１０Ａは、上述した実施の形態１に係る撮像装置１０の制御部１１１に換えて、制御部１１１Ａを備える。

制御部１１１Ａは、上述した実施の形態１に係る制御部１１１の構成に加えて、上述した情報処理装置３０の制御部３０５が有する判定部３０５ａと動画編集部３０５ｂと同一の機能を有する判定部１１１ｊと、動画編集部１１１ｋと、を有する。なお、実施の形態２では、第１通信部１０７または第２通信部１０８が複数の録音装置２０の各々が生成した複数の音声データを取得する取得部として機能する。もちろん、図示しないインターフェースを撮像装置１０Ａに設け、有線接続によって複数の録音装置２０の各々が生成した複数の音声データを取得するようにしてもよい。

判定部１１１ｊは、上述した判定部３０５ａと同一の機能を有し、複数の録音装置２０と撮像装置１０Ａとの相対的な位置関係と、撮像装置１０Ａの撮影方向とに基づいて、複数の録音装置２０の中から所定の時間毎に撮像装置１Ａ０の撮影方向に位置する最適な録音装置を判定する。具体的には、判定部１１１ｊは、撮像装置１０Ａの撮影方向に複数の録音装置２０が位置する場合、撮像装置１０Ａのピント位置に基づいて、撮像装置１０の撮影方向に位置する複数の録音装置の中から最適な録音装置を判定する。

動画編集部１１１ｋは、上述した動画編集部３０５ｂと同一の機能を有し、動画データにおける所定の時間毎に撮像装置１０の撮影方向に位置すると判定された最適な録音装置２０によって生成された音声データを、所定の時間内における動画データの音声データとして選択し、この選択した音声データを動画データに同期合成する。動画編集部１１１ｋは、判定部１１１ｊによって撮像装置１０Ａの撮影方向に最適な録音装置２０がないと判定された場合、判定部１１１ｊによって最適な録音装置２０がないと判定された時間に収音部１０２が生成した音声データを、動画データの音声データとして同期させて記録部１１０に記録する

以上説明した実施の形態２によれば、上述した実施の形態１と同様の効果を奏し、複数の録音装置２０を互いに距離を離して設置した場合であっても、撮像装置１０Ａのみで、編集時の作業工程を減少させることができる。

また、実施の形態２によれば、動画編集部１１１ｋが動画データにおける所定の時間毎に撮像装置１０の撮影方向に位置すると判定された最適な録音装置２０によって生成された音声データを、所定の時間内における動画データの音声データとして選択し、この選択した音声データを動画データに同期合成するので、編集時の作業工程を減少させることができる。

また、実施の形態２によれば、判定部１１１ｊが撮像装置１０Ａの撮影方向に複数の録音装置２０が位置する場合、撮像装置１０Ａのピント位置に基づいて、撮像装置１０の撮影方向に位置する複数の録音装置の中から最適な録音装置を判定するので、同じ撮影方向に複数の録音装置２０が位置する場合であっても、動画編集部１１１ｋが適切な録音装置２０を選択することができる。

また、実施の形態２によれば、動画編集部１１１ｋが判定部１１１ｊによって撮像装置１０Ａの撮影方向に最適な録音装置２０がないと判定された場合、判定部１１１ｊによって最適な録音装置２０がないと判定された時間に収音部１０２が生成した音声データを、動画データの音声データとして同期させて記録部１１０に記録するので、音声データが連続的に連なる動画データを生成することができる。

（その他の実施の形態）
上述した本開示の実施の形態１，２に係る動画撮影システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る情報提供システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る情報提供システムで説明した構成要素を適宜組み合わせてもよい。

また、本開示の実施の形態１，２に係る動画撮影システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本開示の実施の形態１，２に係る動画撮影システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本開示の実施の形態１，２に係る動画撮影システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。

１・・・動画撮影システム；１０，１０Ａ・・・撮像装置；２０，２０Ａ，２０Ｂ，２０Ｃ・・・録音装置；３０・・・情報処理装置；１０１・・・撮像部；１０１ａ・・・光学系；１０１ｂ・・・撮像素子；１０２，２０３・・・収音部；１０３，２０４・・・ＧＰＳ部；１０４・・・地磁気センサ；１０５，２０５・・・時計；１０６，２０６，３０１・・・操作部；１０７，２０１・・・第１通信部；１０８，２０２・・・第２通信部；１０９，２０７・・・表示部；１１０，２０８，３０４・・・記録部；１１０ａ，２０８ａ，３０４ａ・・・プログラム記録部；１１０ｂ，３０４ｂ・・・動画データ記録部；１１０ｃ，２０８ｂ・・・音声データ記録部；１１１，１１１Ａ，２０９，３０５・・・制御部；１１１ａ・・・画像処理部；１１１ｂ・・・音声処理部；１１１ｃ・・・位置検出部；１１１ｄ・・・方向検出部；１１１ｅ・・・撮影制御部；１１１ｆ・・・表示制御部；１１１ｇ・・・焦点距離検出部；１１１ｈ・・・ピント位置検出部；１１１ｉ，３０５ｃ・・・記録制御部；１１１ｊ，３０５ａ・・・判定部；１１１ｋ，３０５ｂ・・・動画編集部；２０９ａ・・・音声処理部；２０９ｂ・・・音声制御部；３０１・・・操作部；３０３・・・再生部；Ｆ１・・・動画ファイル

Claims (18)

1. 互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置であって、
   光学系が結像した被写体像を連続的に撮像することによって動画データを生成する撮像素子と、
   前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出する位置検出部と、
   所定の時間毎に当該撮像装置の撮影方向を検出する方向検出部と、
   前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する記録制御部と、
   を備える、
   撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定する判定部と、
   前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する動画編集部と、
   をさらに備える、
   撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記光学系のピント位置を検出する検出部をさらに備え、
   前記記録制御部は、
   前記動画データと、前記相対的な位置関係と、前記撮影方向と、前記ピント位置と、を対応付けて記録媒体に記録する、
   撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記判定部は、
   当該撮像装置の撮影方向に複数の録音装置が位置する場合、前記ピント位置に基づいて、当該撮像装置の撮影方向に位置する複数の録音装置の中から最適な録音装置を判定する、
   撮像装置。
5. 請求項２〜４のいずれか一つに記載の撮像装置であって、
   音声を収音することによって音声データを生成する収音部をさらに備え、
   前記動画編集部は、
   前記判定部によって前記撮像装置の撮影方向に前記最適な録音装置がないと判定された場合、前記判定部によって前記最適な録音装置がないと判定された時間に前記収音部が生成した音声データを、前記動画データの音声データとして同期させて前記記録媒体に記録する、
   撮像装置。
6. 請求項２〜５のいずれか一つに記載の撮像装置であって、
   前記位置検出部は、
   前記複数の録音装置の各々が配置された配置位置を示す配置位置情報と、当該撮像装置の撮影位置を示す撮影位置情報と、に基づいて、前記複数の録音装置の各々と当該撮像装置との距離を前記相対的な位置関係として検出する、
   撮像装置。
7. 請求項２〜６のいずれか一つに記載の撮像装置であって、
   前記複数の録音装置の各々が生成した複数の音声データを取得する取得部をさらに備え、
   前記動画編集部は、
   前記判定部によって前記所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成させて前記記録媒体に記録する、
   撮像装置。
8. 請求項２〜７のいずれか一つに記載の撮像装置であって、
   前記撮像素子が前記動画データの撮影を開始した場合、前記複数の録音装置の各々へ音声データの記録の開始を指示する開始信号を送信する一方、前記撮像素子が前記動画データの撮影を終了した場合、前記複数の録音装置の各々へ音声データの記録の停止を指示する停止信号を送信する送信部をさらに備える、
   撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記光学系の焦点距離を検出する焦点距離検出部をさらに備え、
   前記送信部は、
   前記最適な録音装置に、前記焦点距離に関する焦点距離情報を送信する、
   撮像装置。
10. 動画撮影することができる撮像装置と双方向に通信する録音装置であって、
    音声を収音することによって音声データを生成する収音部と、
    前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報に基づいて、前記収音部の録音感度を制御する音声制御部と、
    を備える、
    録音装置。
11. 請求項１０に記載の録音装置であって、
    前記撮像装置から前記音声データの録音の開始を指示する指示信号を受信した場合、前記撮像装置に前記指示信号を受信したことを示す連携応答情報を送信する通信部をさらに備える、
    録音装置。
12. 少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得する取得部と、
    前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定する判定部と、
    前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する動画編集部と、
    を備える、
    情報処理装置。
13. 互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置が実行する撮像方法であって、
    光学系が結像した被写体像を連続的に撮像することによって動画データを生成し、
    前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出し、
    所定の時間毎に当該撮像装置の撮影方向を検出し、
    前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する、
    撮像方法。
14. 動画撮影することができる撮像装置と双方向に通信する録音装置が実行する録音方法であって、
    音声を収音することによって音声データを生成し、
    前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報を受信し、
    前記焦点距離情報に基づいて、前記音声データの生成時の録音感度を制御する、
    録音方法。
15. 情報処理装置が実行する動画編集方法であって、
    少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得し、
    前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定し、
    前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する、
    動画編集方法。
16. 互いに距離を離して設置された複数の録音装置と双方向に通信することができる撮像装置に、
    光学系が結像した被写体像を連続的に撮像することによって動画データを生成させ、
    前記複数の録音装置の各々と当該撮像装置との相対的な位置関係を検出させ、
    所定の時間毎に当該撮像装置の撮影方向を検出させ、
    前記動画データと、前記相対的な位置関係と、前記撮影方向と、を対応付けて記録媒体に記録する、
    プログラム。
17. 動画撮影することができる撮像装置と双方向に通信する録音装置に、
    音声を収音することによって音声データを生成し、
    前記撮像装置から受信した前記撮像装置の焦点距離に関する焦点距離情報を受信させ、
    前記焦点距離情報に基づいて、前記音声データの生成時の録音感度を制御する、
    プログラム。
18. 情報処理装置に、
    少なくとも撮像装置が生成した動画データを記録する動画ファイルであって、少なくとも前記動画データと、複数の録音装置の各々と前記撮像装置との相対的な位置関係と、所定の時間毎の撮像装置の撮影方向と、を対応付けた動画ファイル、および前記撮像装置が前記動画データの生成時に、互いに距離を離して前記撮像装置の撮影範囲内に設置された複数の録音装置が生成した複数の音声データであって、前記動画データと時間軸が同じ複数の音声データを記録する複数の音声ファイルを取得し、
    前記相対的な位置関係と前記撮影方向とに基づいて、前記複数の録音装置の中から前記所定の時間毎に当該撮像装置の撮影方向に位置する最適な録音装置を判定し、
    前記動画データにおける所定の時間毎に前記撮像装置の撮影方向に位置すると判定された前記最適な録音装置によって生成された音声データを、前記所定の時間内における前記動画データの音声データとして選択し、該選択した音声データを前記動画データに同期合成する、
    プログラム。

Images