JP2019169762A - 情報処理装置 - Google Patents

Abstract

【課題】臨場感のある音像を再生することを可能にした情報処理装置を提供する。【解決手段】マルチ接続カメラ１００は、音を収音する少なくとも３つ以上の複数のマイクロフォンＭ１〜Ｍ４を有し、複数のマイクロフォン（例えば、マイクロフォンＭ１〜Ｍ３）の位置関係を相対的に変更可能に構成し、位置関係が変更された複数のマイクロフォンＭ１〜Ｍ４で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成する。【選択図】図７

Description

本発明は、情報処理装置に関する。

従来、音声を収音する機器として、例えば、音源に対して最適な収音範囲となるように、一対のマイクロフォンユニットの指向軸をそれぞれ変更可能にした音声レコーダが開示されている（例えば、特許文献１参照）。

特開２００８−３１１８０２号公報

しかしながら、上記特許文献１に開示されている音声レコーダでは、収音された音声の伝わる方向を特定することができないため、当該音声を再生した際に、臨場感のある音像を再生することができない。

本発明は、このような問題に鑑みてなされたものであり、臨場感のある音像の再生を可能にした情報処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、
音を収音する少なくとも３つ以上の複数の収音部を有し、前記複数の収音部の位置関係を相対的に変更可能に構成された収音部群と、
前記位置関係が変更された前記複数の収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成する音データ生成手段と、
を備えることを特徴とする。

本発明によれば、臨場感のある音像を再生することが可能となる。

マルチ接続カメラの概略構成を示すブロック図である。 コントローラ部の機能構成を示すブロック図である。 カメラ部の機能構成を示すブロック図である。 （ａ）はカメラ部の正面図であり、（ｂ）はカメラ部の上面図である。 （ａ）はカメラマウンタに配設された２つのカメラ部を一方のカメラ部の左斜め前方から見た状態を示す斜視図であり、（ｂ）はカメラマウンタに配設された２つのカメラ部を他方のカメラ部の右斜め前方から見た状態を示す斜視図である。 （ａ）は図５（ａ）及び（ｂ）に示すカメラ部のマイクロフォンの配置を模式的に示す図であり、（ｂ）は各カメラ部の可動部を常態の位置に配置したときのマイクロフォンの配置を模式的に示す図である。 全天球映像生成処理を示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

＜マルチ接続カメラ１００の構成＞
図１は、本実施形態のマルチ接続カメラ（情報処理装置）１００の概略構成を示すブロック図である。
図１に示すように、本実施形態のマルチ接続カメラ１００は、同期通信方式の無線通信（例えば、Bluetooth（登録商標）等）を行うコントローラ部１と、２つのカメラ部２Ａ，２Ｂとを備えている。

カメラ部２Ａ，２Ｂの各々は、図４（ａ）及び（ｂ）に示すように、独立した筐体２１を備えており、分離させている状態で独立した撮影が可能となっている。一方、図５（ａ）及び（ｂ）に示すように、カメラ部２Ａ，２Ｂは、所定のカメラマウンタＣＭを用いることによって、それぞれの光軸が共通となるように配設されるとともに互いのレンズ面が逆方向を向くように配設された状態、すなわち背中合わせで配設された状態で一体化させることが可能となっている。ここで、カメラ部２Ａ，２Ｂの各々は、いわゆる円周魚眼レンズを搭載しており、それぞれ画角１８０度での撮影を行うことができるため、一体化させた際に、水平方向及び垂直方向を含む３６０度すべてを見渡せるパノラマ撮影（いわゆる全天球撮影）を行うことができるようになっている。なお、全天球撮影は、コントローラ部１に備えられた所定のボタンを操作することにより、撮影モードの設定画面（図示省略）において「全天球撮影」モードを設定したうえで行うことができるようになっている。

なお、各カメラ部２Ａ，２Ｂが一体化しているか否かを判別可能な電気的、機構的な判別手段を備え、当該判別手段により一体化していると判別された場合、「全天球撮影」モードが自動的に設定され、各カメラ部２Ａ，２Ｂから同じ時間的部分の画像が取得される一方で、当該判別手段により一体化していると判別されない場合、各カメラ部２Ａ，２Ｂで異なる時間的部分の画像が取得されるようにしても良い。

＜コントローラ部１の機能構成＞
次に、コントローラ部１について、図２を参照して説明する。
図２は、コントローラ部１の機能構成を示すブロック図である。

コントローラ部１は、カメラ部２Ａ，２Ｂとの同期通信方式の無線通信におけるマスタとなるものである。具体的には、図２に示すように、コントローラ部１は、中央制御部１０１と、メモリ１０２と、表示部１０３と、表示制御部１０４と、記録媒体制御部１０５と、操作入力部１０６と、通信部１０７と、計時部１０８とを備えている。また、中央制御部１０１、メモリ１０２、表示制御部１０４、記録媒体制御部１０５、通信部１０７及び計時部１０８は、バスライン１０９を介して接続されている。

なお、コントローラ部１は、例えば、カメラ部２Ａ，２Ｂに対応する専用の装置であっても良いし、ＰＣ、携帯電話、スマートフォン、ＰＤＡ（Personal Data Assistants）等の汎用の装置から構成されていても良い。

中央制御部（音データ生成手段、動画像データ生成手段）１０１は、コントローラ部１の各部を制御するものである。具体的には、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、コントローラ部１用の各種処理プログラム（図示省略）に従って各種の制御動作を行う。本実施形態では、中央制御部１０１は、例えば、各カメラ部２Ａ，２Ｂにおいて「全天球撮影」モードで撮影された画像データを合成（マージ）して全天球画像データを生成する。

メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１等によって処理されるデータ等を一時的に格納する。

表示部１０３は、例えば、ＬＣＤ等を具備し、中央制御部１０１の制御下にて各種情報を表示領域内に表示する。具体的には、表示部１０３は、例えば、表示制御部１０４から出力された画像信号に応じてアプリケーション画面（例えば、ライブビュー画像表示画面や遠隔操作画面等）を表示領域内に表示する。

表示制御部１０４は、中央制御部１０１による各種のアプリケーションプログラムの実行に基づいて、アプリケーション画面を生成し、生成されたアプリケーション画面に従った画像信号を表示部１０３に出力する。

記録媒体制御部１０５は、記録媒体１０５ａが着脱自在に構成され、装着された記録媒体１０５ａからのデータの読み出しや記録媒体１０５ａに対するデータの書き込みを制御する。
すなわち、記録媒体制御部１０５は、例えば、カメラ部２Ａ，２Ｂにより撮像され、このカメラ部２Ａ，２Ｂから無線通信により送信されて取得された静止画像や動画像の画像データを記録媒体１０５ａの所定の記録領域に記録させる。
なお、記録媒体１０５ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。

操作入力部１０６は、コントローラ部１本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１０６は、例えば、コントローラ部１本体の電源のＯＮ／ＯＦＦに係る電源ボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン（何れも図示省略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１０６は、操作されたボタンに応じた操作指示を中央制御部１０１に出力する。中央制御部１０１は、操作入力部１０６から入力された操作指示に従って所定の動作を各部に実行させる。

なお、操作入力部１０６は、表示部１０３と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１０１に出力しても良い。

通信部１０７は、各カメラ部２Ａ，２Ｂとの間でパーソナルな無線通信を行う。
具体的には、通信部１０７は、コントローラ部１と各カメラ部２Ａ，２Ｂとの両方が、電源オンの状態であり、かつ、所定速度での画像送受信が可能な状態にあることを条件として通信を行う第１通信部１０７ａと、所定速度での画像送受信はできないが、コントローラ部１と各カメラ部２Ａ，２Ｂとのうちのいずれか一方がスリープ状態においても通信を行うことが可能な第２通信部１０７ｂとを具備している。

第１通信部１０７ａは、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標）の規格により通信を行う。
第２通信部１０７ｂは、Bluetooth（登録商標）の規格により通信を行う。
なお、第１通信部１０７ａ、第２通信部１０７ｂは、アンテナ、復調回路、信号処理回路等により構成されている。

計時部１０８は、例えば、タイマーや計時回路等を備えて構成され、現在の時刻を計時し時刻情報を取得する。

＜カメラ部２の機能構成＞
次に、カメラ部２について、図３を参照して説明する。
図３は、カメラ部２の機能構成を示すブロック図である。
ここで、各カメラ部２Ａ，２Ｂは、コントローラ部１との同期通信方式の無線通信におけるスレーブとなるものであるが、構成及び動作は略同様であるため、代表してカメラ部２Ａを例示して説明する。

図３に示すように、カメラ部２Ａは、中央制御部２０１と、メモリ２０２と、撮像部２０３と、撮像制御部２０４と、画像処理部２０５と、記録媒体制御部２０６と、操作入力部２０７と、通信部２０８と、計時部２０９と、音入出力部２１０とを備えている。
また、中央制御部２０１、メモリ２０２、撮像部２０３、撮像制御部２０４、画像処理部２０５、記録媒体制御部２０６、通信部２０８、計時部２０９及び音入出力部２１０は、バスライン２１１を介して接続されている。

中央制御部２０１は、カメラ部２Ａの各部を制御するものである。具体的には、中央制御部２０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、カメラ部２Ａ用の各種処理プログラム（図示省略）に従って各種の制御動作を行う。

メモリ２０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部２０１等によって処理されるデータ等を一時的に格納する。

撮像部２０３は、被写体を撮像する撮像手段を構成している。具体的には、撮像部２０３は、レンズ部２０３ａと、電子撮像部２０３ｂとを具備している。

レンズ部２０３ａは、例えば、いわゆる円周魚眼レンズ等から構成されている。
電子撮像部２０３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサから構成され、レンズ部２０３ａのレンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部２０３は、レンズ部２０３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２０４は、撮像部２０３による被写体の撮像を制御する。すなわち、撮像制御部２０４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２０４は、タイミング発生器、ドライバにより電子撮像部２０３ｂを走査駆動して、所定周期毎にレンズ部２０３ａにより結像された光学像を電子撮像部２０３ｂにより二次元の画像信号に変換させ、当該電子撮像部２０３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像処理部２０５に出力させる。

画像処理部２０５は、被写体を撮像した画像の画像データを生成する。
具体的には、画像処理部２０５は、電子撮像部２０３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。

記録媒体制御部２０６は、記録媒体２０６ａが着脱自在に構成され、装着された記録媒体２０６ａからのデータの読み出しや記録媒体２０６ａに対するデータの書き込みを制御する。
すなわち、記録媒体制御部２０６は、画像処理部２０５により所定の圧縮形式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された記録用の画像データを記録媒体２０６ａの所定の記録領域に記録させる。
なお、記録媒体２０６ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。

操作入力部２０７は、当該カメラ部２Ａの所定操作を行うためのものである。
具体的には、操作入力部２０７は、例えば、装置本体の電源のＯＮ／ＯＦＦに係る電源ボタンＢ１、被写体の撮像指示に係るシャッターボタンＢ２やムービーボタンＢ３等（図４（ｂ）参照）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部２０７は、操作されたボタンに応じた操作指示を中央制御部２０１に出力する。中央制御部２０１は、操作入力部２０７から出力され入力された操作指示に従って所定の動作を各部に実行させる。

通信部２０８は、コントローラ部１との間でパーソナルな無線通信を行う。
具体的には、通信部２０８は、コントローラ部１の通信部１０７と略同様の構成をなし、カメラ部２Ａとコントローラ部１との両方が、電源オンの状態であり、かつ、所定速度での画像送信が可能な状態にあることを条件として通信を行う第１通信部２０８ａと、所定速度での画像送信はできないが、カメラ部２Ａとコントローラ部１とのうちのいずれか一方がスリープ状態においても通信を行うことが可能な第２通信部２０８ｂと、を具備している。

第１通信部２０８ａは、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標）の規格により通信を行う。
第２通信部２０８ｂは、Bluetooth（登録商標）の規格により通信を行う。
なお、第１通信部２０８ａ、第２通信部２０８ｂは、アンテナ、復調回路、信号処理回路等により構成されている。

計時部２０９は、例えば、タイマーや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を取得する。

音入出力部２１０は、無指向性のマイクロフォン（収音部群；マイクロフォンＭ１〜Ｍ４）、ＡＤコンバーター等の音入力部と、ＤＡコンバーター、アンプ、スピーカー等の音出力部と、で構成される。音入出力部６は、音入力時に、マイクロフォンから音の入力を受け付け、音入力信号をデジタルの音入力情報に変換して中央制御部２０１に出力し、音出力時に、音出力信号をアナログの音出力信号に変換してスピーカーから音出力する。

＜通信接続＞
次に、コントローラ部１と各カメラ部２Ａ，２Ｂとの通信接続について説明する。
本実施形態のマルチ接続カメラ１００では、コントローラ部１と各カメラ部２Ａ，２Ｂとの間で、例えば、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により交換する。これにより、その後、通信設定処理を毎回行わなくとも、例えば、コントローラ部１とカメラ部２Ａとが電波が届かない範囲に離れればBluetooth規格による通信接続が解除される一方で、電波が届く範囲に近づけば自動的にBluetooth規格による通信接続がなされる。また、このペアリングが行われることにより、Ｗｉ−Ｆｉ規格による通信設定も自動で行われるようになっている。
本実施形態のマルチ接続カメラ１００では、例えば、カメラ部２Ａから画像データを取得する場合には、コントローラ部１とカメラ部２Ａとの間でBluetooth規格による通信接続を確立させた後、Ｗｉ−Ｆｉ接続を確立させる。そして、コントローラ部１は、第１通信部１０７ａを介して、カメラ部２Ａから画像データを取得する。また、コントローラ部１は、カメラ部２Ａからの画像データの取得が終了すると、Bluetooth規格による通信により、Ｗｉ−Ｆｉ接続を切断する。

＜カメラ部２の外観構成＞
次に、カメラ部２の外観構成について、図４を参照して説明する。なお、カメラ部２の機能構成での説明と同様に、代表してカメラ部２Ａを例示して説明する。

図４（ａ）は、カメラ部２Ａの正面図であり、同図（ｂ）は、カメラ部２Ａの上面図である。
図４（ａ）及び（ｂ）に示すように、カメラ部２Ａは、筐体２１と、レンズカバー２２とを備えている。

筐体２１は、上述の中央制御部２０１、メモリ２０２、撮像部２０３、撮像制御部２０４、画像処理部２０５、記録媒体制御部２０６、操作入力部２０７、通信部２０８、計時部２０９、音入出力部２１０のそれぞれを構成する各電子部品等を収容するものである。

また、筐体２１は、図４（ａ）及び（ｂ）に示すように、ベース部２１ａと、可動部２１ｂとで構成されている。

ベース部２１ａは、可動部２１ｂを時計回りに９０度回動可能に支持する部材であり、その平面上に、可動部２１ｂが配設されるとともに、側部上面に、操作入力部２０７を構成する電源ボタンＢ１、シャッターボタンＢ２及びムービーボタンＢ３や、フリーレバーＦＬが配設される。

可動部２１ｂは、円環状をなしており、その円環内側にレンズ部２０３ａが配設される。また、可動部２１ｂは、レンズ部２０３ａを保護するための半球形状の透明なレンズカバー２２を支持する。また、可動部２１ｂの側面には、レンズ部２０３ａの光軸（可動部２１ｂの回動軸）が対称中心となるように、音入出力部２１０を構成する２つのマイクロフォンＭ１，Ｍ２が配設される。ここで、カメラ部２Ａの可動部２１ｂが、第１撮像ユニットとしてのレンズ部２０３ａと一体化された第１収音ユニットをなし、カメラ部２Ｂの可動部２１ｂが、第２撮像ユニットとしてのレンズ部２０３ａと一体化された第２収音ユニットをなす。

可動部２１ｂは、図４（ａ）に示すように、常態のときは、２つのマイクロフォンＭ１，Ｍ２が図中の左右方向に位置しベース部２１ａと係合した状態にある。そして、可動部２１ｂは、上述のフリーレバーＦＬの押下操作によって、ベース部２１ａとの係合が解除された状態となり、時計回りに９０度回動させることが可能となる。可動部２１ｂを時計回りに９０度回動させたとき、可動部２１ｂは、２つのマイクロフォンＭ１，Ｍ２が図中の上下方向に位置しベース部２１ａと係合した状態となる。
なお、本実施形態のカメラ部２Ａでは、可動部２１ｂが常態の位置（以下、「横撮り状態」と称することもある）にあるか、時計回りに９０度回動した位置（以下、「縦撮り状態」と称することもある）にあるかを判別可能な電気的、機構的な判別手段（図示省略）を備え、撮影が行われた際の可動部２１ｂの位置を示す情報が当該撮影により生成された画像データに付されるようになっている。

次に、カメラマウンタＣＭを用いることにより、背中合わせで配設された状態で一体化されたカメラ部２Ａ，２Ｂの外観について、図５を参照して説明する。

図５（ａ）は、カメラマウンタＣＭに配設された２つのカメラ部２Ａ，２Ｂを一方のカメラ部２Ａの左斜め前方から見た状態を示す斜視図であり、同図（ｂ）は、カメラマウンタＣＭに配設された２つのカメラ部２Ａ，２Ｂを他方のカメラ部２Ｂの右斜め前方から見た状態を示す斜視図である。
図５（ａ）及び（ｂ）に示すように、カメラ部２Ａ，２Ｂは、カメラマウンタＣＭを用いることによって、それぞれの光軸が共通となるように配設されるとともに互いのレンズ面が逆方向を向くように配設された状態となり、いわゆる全天球撮影を行うことができるようになっている。

また、全天球撮影を行う場合、一方のカメラ部２Ａは、図５（ａ）に示すように、可動部２１ｂを常態の位置、すなわち、２つのマイクロフォンＭ１，Ｍ２を図中の左右方向に位置した状態（横撮り状態）にする一方で、他方のカメラ部２Ｂは、図５（ｂ）に示すように、可動部２１ｂを時計回りに９０度回動させた位置、すなわち、２つのマイクロフォンＭ３，Ｍ４を図中の上下方向に位置した状態（縦撮り状態）にする。なお、カメラ部２Ｂの２つのマイクロフォンＭ３，Ｍ４は、カメラ部２Ａの２つのマイクロフォンＭ１，Ｍ２に相当するものである。

図６（ａ）は、図５（ａ）及び（ｂ）に示すカメラ部２Ａの２つのマイクロフォンＭ１，Ｍ２、並びに、カメラ２Ｂの２つのマイクロフォンＭ３，Ｍ４の配置を模式的に示す図である。
図６（ａ）に示すように、カメラ２Ａの２つのマイクロフォンＭ１，Ｍ２を図中の左右方向に配置するとともに、カメラ２Ｂの２つのマイクロフォンＭ３，Ｍ４を図中の上下方向に配置すること（第１の状態）によって、一の平面上に３つのマイクロフォン（例えば、マイクロフォンＭ１，Ｍ２，Ｍ３）を配置するとともに、その平面から垂直方向に離れた位置に１つのマイクロフォン（例えば、マイクロフォンＭ４）を配置、すなわちマイクロフォンＭ１〜Ｍ４がそれぞれ配置される位置を頂点として四面体を形成したこととなる。
これにより、一の平面上に配置される３つのマイクロフォンのそれぞれで収音される音の時間差によって、この音が平面上のどの位置から来たのかを特定、すなわち３つのマイクロフォンが配置された平面上での音源位置を同定することができる。具体的には、一の平面上に配置される３つのマイクロフォンＭ１，Ｍ２，Ｍ３のそれぞれの位置をＰ１，Ｐ２，Ｐ３とし、Ｐ１とＰ２とを焦点とする双曲線１−２と、Ｐ１とＰ３を焦点とする双曲線１−３とによる最大８つの交点を音源位置の候補として推定する。そして、各マイクロフォンＭ１，Ｍ２，Ｍ３に音が到達する時刻の大小関係を考慮することで、これらの交点から音源位置を同定する。
さらに、一の平面上から垂直方向に離れた位置に配置される１つのマイクロフォンで収音される音の時間差を加味することによって、音源の高さ位置も同定することができる。つまり、図６（ａ）に示すようなマイクロフォンの配置とすることによって、音源の３次元位置を同定することができる。なお、音源位置の同定方法は、上記の方法に限定されるものではない。

図６（ｂ）は、カメラ部２Ａ，２Ｂのいずれの可動部２１ｂも常態の位置に配置したときのカメラ部２Ａの２つのマイクロフォンＭ１，Ｍ２、並びに、カメラ２Ｂの２つのマイクロフォンＭ３，Ｍ４の配置を模式的に示す図である。
図６（ｂ）に示すように、カメラ２Ａの２つのマイクロフォンＭ１，Ｍ２を図中の左右方向に配置するとともに、カメラ２Ｂの２つのマイクロフォンＭ３，Ｍ４も図中の左右方向に配置すること（第２の状態）によって、一の平面上に４つのマイクロフォンＭ１，Ｍ２，Ｍ３，Ｍ４を配置、すなわちマイクロフォンＭ１〜Ｍ４がそれぞれ配置される位置を頂点として四角形を形成したこととなる。
これにより、上述した音源位置の同定方法に基づき、一の平面上に配置される４つのマイクロフォンのそれぞれで収音される音の時間差によって、この音が平面上のどの位置から来たのかを特定、すなわち４つのマイクロフォンが配置された平面上での音源位置を同定することができる。また、３つのマイクロフォンによって音源位置の同定を行う場合に比べて、同定の精度を高めることができる。したがって、例えば、「全天球撮影」モードでの撮影を屋内で行うような場合は、音源の高さ位置は予め限定され当該音源の高さ位置を同定する必要性が低いため、図６（ｂ）に示すように、カメラ２Ａの２つのマイクロフォンＭ１，Ｍ２を図中の左右方向に配置するとともに、カメラ２Ｂの２つのマイクロフォンＭ３，Ｍ４も図中の左右方向に配置、すなわち各カメラ部２Ａ，２Ｂを横撮り状態にしても良い。

＜全天球画像データ生成処理＞
次に、コントローラ部１で実行される全天球画像データ生成処理について、図７を参照して説明する。

図７に示すように、コントローラ部１の中央制御部１０１は、先ず、「全天球撮影」モードにてカメラ部２Ａ，２Ｂで同時撮影された各動画像の画像データを、第１通信部１０８ａを介して取得する（ステップＳ１）。

次いで、中央制御部１０１は、カメラ部２Ａ，２Ｂから取得された各動画像の画像データを映像データと音データとに分離する（ステップＳ２）。具体的には、中央制御部１０１は、カメラ部２Ａから取得された動画像の画像データを、映像データと、マイクロフォンＭ１により収音された音データと、マイクロフォンＭ２により収音された音データとに分離する。また、中央制御部１０１は、カメラ部２Ｂから取得された動画像の画像データを、映像データと、マイクロフォンＭ３により収音された音データと、マイクロフォンＭ４により収音された音データとに分離する。

次いで、中央制御部１０１は、ステップＳ１で取得された画像データに付された可動部２１ｂの位置を示す情報に基づき、カメラ部２Ａ，２Ｂで全天球撮影が行われた際、カメラ部２Ａ，２Ｂのうちの一方のカメラ部２が縦撮り状態であったか否かを判定する（ステップＳ３）。

ステップＳ３において、一方のカメラ部２が縦撮り状態であったと判定された場合（ステップＳ３；ＹＥＳ）、中央制御部１０１は、縦撮り状態のカメラ部２（例えば、カメラ部２Ｂ）により撮影された映像（半球状の映像）を反時計回りに９０度回動、すなわち横撮り状態の映像に変換して、他方のカメラ部２、すなわち横撮り状態のカメラ部２（例えば、カメラ部２Ａ）により撮影された映像（半球状の映像）と合成（マージ）して全天球映像を生成し、生成された全天球映像の画像データと、カメラマウンタＣＭを基準としたｘｙｚ座標系における位置を示す位置データと、を対応付けてメモリ１０２に一時記憶する（ステップＳ４）。なお、全天球映像の画像データと対応付けられる位置データは、後述のステップＳ５で同定される音源位置を示す位置データと座標系が同一であるものとする。

次いで、中央制御部１０１は、段落００５１で説明した音源位置の同定方法に基づき、所定の単位時間ごとに、４つのマイクロフォンＭ１〜Ｍ４のそれぞれで収音された音データから音源位置を同定し、同定された音源位置を示す位置データと、当該音データとを対応付けてメモリ１０２に一時記憶する（ステップＳ５）。ここで、位置データは、カメラマウンタＣＭを基準としたｘｙｚ座標系における位置を示すデータである。なお、上述のように、所定の単位時間ごとに音源位置を同定しているのは、ステップＳ４で生成された全天球映像のフレーム画像に対応させるためである。

次いで、中央制御部１０１は、ステップＳ５で記憶された所定の単位時間ごとの音データに対応する位置データに応じて、所定のテーブルを検索することによって、当該音データの方向データ（前後、左右、上下を示すデータ）を取得し、取得した方向データを音データと対応付け、更に全天球映像の画像データと対応付けられている位置データに基づいて当該全天球映像の画像データも対応付けて記録媒体１０５ａに記憶し（ステップＳ６）、全天球画像データ生成処理を終了する。これにより、例えば、頭部に装着し眼前前面に映像が表示されるヘッドマウントディスプレイを用いて全天球映像を再生した場合、ヘッドマウントディスプレイに搭載されているジャイロセンサによってユーザの視線方向を検出することができるため、検出されたユーザの視線方向に応じた全天球画像データ及び音データを再生することが可能となる。

また、ステップＳ３において、一方のカメラ部２が縦撮り状態でない、すなわち両方のカメラ部２が横撮り状態（又は縦撮り状態）であったと判定された場合（ステップＳ３；ＮＯ）、中央制御部１０１は、各カメラ部２Ａ，２Ｂにより撮影された映像（半球状の映像）を合成（マージ）して全天球映像を生成し、生成された全天球映像の画像データと、カメラマウンタＣＭを基準としたｘｙｚ座標系における位置を示す位置データと、を対応付けてメモリ１０２に一時記憶する（ステップＳ７）。なお、全天球映像の画像データと対応付けられる位置データは、後述のステップＳ８で同定される音源位置を示す位置データと座標系が同一であるものとする。

次いで、中央制御部１０１は、段落００５２で説明した音源位置の同定方法に基づき、所定の単位時間ごとに、４つのマイクロフォンＭ１〜Ｍ４のそれぞれで収音された音データから音源位置を同定し、同定された音源位置を示す位置データと、当該音データとを対応付けてメモリ１０２に一時記憶する（ステップＳ８）。

次いで、中央制御部１０１は、ステップＳ８で記憶された所定の単位時間ごとの音データに対応する位置データに応じて、所定のテーブルを検索することによって、当該音データの方向データ（前後、左右を示すデータ）を取得し、取得した方向データを音データと対応付け、更に全天球映像の画像データと対応付けられている位置データに基づいて当該全天球映像の画像データも対応付けて記録媒体１０５ａに記憶し（ステップＳ９）、全天球画像データ生成処理を終了する。これにより、ステップＳ１〜Ｓ６の処理の流れで全天球画像データを生成した場合と同様に、ヘッドマウントディスプレイを用いて全天球映像を再生した場合、ヘッドマウントディスプレイに搭載されているジャイロセンサによってユーザの視線方向を検出することができるため、検出されたユーザの視線方向に応じた全天球画像データ及び音データを再生することが可能となる。

以上のように、本実施形態のマルチ接続カメラ１００は、音を収音する少なくとも３つ以上の複数のマイクロフォンＭ１〜Ｍ４を有し、複数のマイクロフォン（例えば、マイクロフォンＭ１〜Ｍ３）の位置関係を相対的に変更可能に構成し、位置関係が変更された複数のマイクロフォンＭ１〜Ｍ４で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成するので、臨場感のある音像を再生することが可能となる。

また、本実施形態のマルチ接続カメラ１００は、４つのマイクロフォンＭ１〜Ｍ４の各々の位置を頂点として四面体を形成する第１の状態（例えば、カメラ部２Ａを横撮り状態、カメラ部２Ｂを縦撮り状態）に、４つのマイクロフォンＭ１〜Ｍ４の位置関係を相対的に変換可能であり、第１の状態にあるときのマイクロフォンＭ１〜Ｍ４で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成するので、当該再生用音データによって、音の伝わる方向を３次元的に知覚することができ、より臨場感のある音像を再生することが可能となる。

また、本実施形態のマルチ接続カメラ１００は、４つのマイクロフォンＭ１〜Ｍ４の各々の位置を頂点として四角形を形成する第２の状態（例えば、カメラ部２Ａを横撮り状態、カメラ部２Ｂを横撮り状態）に、４つのマイクロフォンＭ１〜Ｍ４の位置関係を相対的に変更可能であり、第２の状態にあるときのマイクロフォンＭ１〜Ｍ４で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成するので、当該再生用音データでは、音の伝わる方向を精度よく再現することができ、より臨場感のある音像を再生することが可能となる。

また、本実施形態のマルチ接続カメラ１００は、カメラ部２Ａの可動部２１ｂを平行な２平面のうちの一方の平面上に配置するとともに、カメラ部２Ｂの可動部２１ｂを他方の平面上に配置し、カメラ部２Ａの可動部２１ｂとカメラ部２Ｂの可動部２１ｂとのうちの少なくともいずれか一方を、配置された平面上を移動させることによって、第１の状態と第２の状態とに４つのマイクロフォンＭ１〜Ｍ４の位置関係を変更可能であるので、４つのマイクロフォンＭ１〜Ｍ４を一つずつ移動させる必要がなく、第１の状態又は第２の状態への変更操作を容易に行うことができる。

また、本実施形態のマルチ接続カメラ１００は、カメラ部２Ａの可動部２１ｂ（第１収音ユニット）とカメラ部２Ｂの可動部２１ｂ（第２収音ユニット）とのうちの少なくともいずれか一方を、配置された平面上を２つのマイクロフォンＭ１〜Ｍ２（Ｍ３〜Ｍ４）の中間点を中心に回転移動させることによって、第１の状態と第２の状態とに４つのマイクロフォンＭ１〜Ｍ４の位置関係を変更可能であるので、４つのマイクロフォンＭ１〜Ｍ４を一つずつ移動させる必要がなく、第１の状態又は第２の状態への変更操作を容易に行うことができる。

また、本実施形態のマルチ接続カメラ１００は、一方の平面上に配置され動画像を撮像可能なカメラ部２Ａの撮像部２０３（第１撮像ユニット）と、他方の平面上に配置され動画像を撮像可能なカメラ部２Ｂの撮像部２０３（第２撮像ユニット）と、を備え、カメラ部２Ａの撮像部２０３及びカメラ部２Ｂの撮像部２０３により撮像された動画像に基づき、各撮像部２０３の撮像範囲を網羅した全天球映像を再生するための全天球画像データ（再生用動画像データ）を生成し、当該全天球画像データを生成する際に、音の伝わる方向を知覚可能な音像を再生するための再生用音データと対応付けて全天球画像データを生成したこととなる。
このため、ユーザが見る方向の全天球映像に対応した音を当該音の音源が感じられるように出力することができる全天球画像データを生成可能となるので、臨場感のあるバーチャルリアリティな空間を再生することが可能となる。

また、本実施形態のマルチ接続カメラ１００は、カメラ部２Ａのレンズ部２０３ａ（第１撮像ユニット）の光軸が、一方の平面に対して垂直をなし、且つ、カメラ部２Ａの可動部２１ｂ（第１収音ユニット）の２つのマイクロフォンＭ１〜Ｍ２の中間点を通過するように、カメラ部２Ａのレンズ部２０３ａと可動部２１ｂとが一体として設けられるとともに、カメラ部２Ｂのレンズ部２０３ａ（第２撮像ユニット）の光軸が、他方の平面に対して垂直をなし、且つ、カメラ部２Ｂの可動部２１ｂ（第２収音ユニット）の２つのマイクロフォンＭ３〜Ｍ４の中間点を通過するように、カメラ部２Ｂのレンズ部２０３ａと可動部２１ｂとが一体として設けられているので、マルチ接続カメラ１００のコンパクト化を図ることができる。

以上、本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、上記実施形態では、４つのマイクロフォンＭ１〜Ｍ４を配設したが、複数のマイクロフォンがそれらの位置関係を相対的に変更可能に配設されているという条件を満たすのであれば、マイクロフォンの数はこれに限らず、５つ以上のマイクロフォンを配設するようにしても良い。

また、上記実施形態では、各マイクロフォンＭ１〜Ｍ４は、いずれも無指向性のマイクロフォンとしたが、これに限定されるものではなく、指向性を有するマイクロフォンとしても良い。かかる場合、指向性を有するマイクロフォンＭ１〜Ｍ４で収音された各音の音データと、各マイクロフォンが対応する方向を表す方向データと、全天球映像データとを、全天球映像上の座標で対応付けることにより、全天球画像データを生成するようにしても良い。この場合、各マイクロフォンが対応する上記の方向データを用いて、収音された音の方向を特定することができる。

また、上記実施形態では、音源の位置と当該音源の高さを同定する場合、図５（ｂ）に示すように、カメラ部２Ｂの可動部２１ｂを時計回りに９０度回動させることによって、マイクロフォンＭ１〜Ｍ４がそれぞれ配置される位置を頂点として四面体を形成するようにしたが（図６（ａ）参照）、音源の位置と当該音源の高さを同定するためには、マイクロフォンＭ１〜Ｍ４がそれぞれ配置される位置を頂点として四面体を形成することができれば良く、カメラ部２Ｂの可動部２１ｂの回動角度は時計回り９０度に限定されない。ただし、かかる場合には、各カメラ部２は、可動部２１ｂが常態の位置にあるか、時計回りに９０度回動した位置にあるかだけでなく、可動部２１ｂの常態の位置を基準とした回動角度を判別可能な電気的、機構的な判別手段（図示省略）を備え、撮影が行われた際の可動部２１ｂの位置を示す情報が当該撮影により生成された画像データに付されるようにする。

また、上記実施形態では、全天球画像データ生成処理（図７参照）のステップＳ６，Ｓ９において、同定された位置データに基づいて、音データの方向データを取得するようにしたが、これに限定されるものではない。例えば、音データの方向データを取得せずに、水平方向及び垂直方向を含む全方向に視野を有する全天球映像上の座標位置に対応付けたテーブルを作成し、作成されたテーブルを音データ及び位置データとともに記憶するようにしても良い。

また、上記実施形態では、全天球画像データ生成処理において、全天球映像の画像データと音データとを対応付けるようにしたが、当該音データと対応付ける画像データは、全天球映像の他に、例えば、水平方向に３６０度の視野を有する全周囲映像や垂直方向に３６０度の視野を有する半天球映像の画像データであっても良い。

また、上記実施形態では、全天球画像データ生成処理をコントローラ部１の中央制御部１０１で行うようにしたが、これに限定されるものではない。例えば、カメラ部２Ａ及び２Ｂを、それらの中央制御部２０１、２０１の間でデータを相互に通信可能に構成し、当該中央制御部２０１、２０１の一方で全天球画像データ生成処理を行っても良い。

以上、本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲をその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
＜請求項１＞
音を収音する少なくとも３つ以上の複数の収音部を有し、前記複数の収音部の位置関係を相対的に変更可能に構成された収音部群と、
前記位置関係が変更された前記複数の収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成する音データ生成手段と、
を備えることを特徴とする情報処理装置。
＜請求項２＞
前記収音部群は、
前記複数の収音部として、４つの収音部を有し、
前記４つの収音部の各々の位置を頂点として四面体を形成する第１の状態に、前記４つの収音部の位置関係を相対的に変更可能であり、
前記音データ生成手段は、前記収音部群が前記第１の状態にあるときの前記４つの収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項１に記載の情報処理装置。
＜請求項３＞
前記収音部群は、更に、前記４つの収音部の各々の位置を頂点として四角形を形成する第２の状態に、前記４つの収音部の位置関係を相対的に変更可能であり、
前記音データ生成手段は、前記収音部群が前記第２の状態にあるときの前記４つの収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項２に記載の情報処理装置。
＜請求項４＞
前記収音部群は、
前記４つの収音部のうちの２つの収音部を備える第１収音ユニットと、残りの２つの収音部を備える第２収音ユニットとで構成され、
前記第１収音ユニットを平行な２平面のうちの一方の平面上に配置するとともに、前記第２収音ユニットを他方の平面上に配置し、
前記第１収音ユニットと前記第２収音ユニットとのうちの少なくともいずれか一方を、配置された平面上を移動させることによって、前記第１の状態と前記第２の状態とに前記４つの収音部の位置関係を変更可能であることを特徴とする請求項３に記載の情報処理装置。
＜請求項５＞
前記収音部群は、前記第１収音ユニットと前記第２収音ユニットとのうちの少なくともいずれか一方を、配置された平面上を前記２つの収音部の中間点を中心に回転移動させることによって、前記第１の状態と前記第２の状態とに前記４つの収音部の位置関係を変更可能であることを特徴とする請求項４に記載の情報処理装置。
＜請求項６＞
前記一方の平面上に配置され動画像を撮像可能な第１撮像ユニットと、
前記他方の平面上に配置され動画像を撮像可能な第２撮像ユニットと、
前記第１撮像ユニット及び前記第２撮像ユニットにより撮像された動画像に基づき、各撮像ユニットの撮像範囲を網羅した動画像を再生するための再生用動画像データを生成する動画像データ生成手段と、
を備え、
前記動画像データ生成手段は、前記再生用音データと対応付けて前記再生用動画像データを生成することを特徴とする請求項５に記載の情報処理装置。
＜請求項７＞
前記第１撮像ユニットの光軸が、前記一方の平面に対して垂直をなし、且つ、前記第１収音ユニットの２つの収音部の中間点を通過するように、前記第１撮像ユニットと前記第１収音ユニットとが一体として設けられるとともに、
前記第２撮像ユニットの光軸が、前記他方の平面に対して垂直をなし、且つ、前記第２収音ユニットの２つの収音部の中間点を通過するように、前記第２撮像ユニットと前記第２収音ユニットとが一体として設けられることを特徴とする請求項６に記載の情報処理装置。
＜請求項８＞
前記複数の収音部で収音された音の発生位置又は方向を特定する特定手段をさらに備え、
前記音データ生成手段は、前記特定手段により特定された音の発生位置又は方向にさらに基づいて、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。

１００ マルチ接続カメラ
１ コントローラ部
１０１ 中央制御部
１０２ メモリ
１０３ 表示部
１０４ 表示制御部
１０５ 記録媒体制御部
１０５ａ 記録媒体
１０６ 操作入力部
１０７ 通信部
１０８ 計時部
２，２Ａ，２Ｂ カメラ部
２１ 筐体
２１ａ ベース部
２１ｂ 可動部
２２ レンズカバー
２０１ 中央制御部
２０２ メモリ
２０３ 撮像部
２０３ａ レンズ部
２０３ｂ 電子撮像部
２０４ 撮像制御部
２０５ 画像処理部
２０６ 記録媒体制御部
２０６ａ 記録媒体
２０７ 操作入力部
２０８ 通信部
２０９ 計時部
２１０ 音入出力部
ＣＭ カメラマウンタ
Ｍ１，Ｍ２，Ｍ３，Ｍ４ マイクロフォン

Claims (8)

1. 音を収音する少なくとも３つ以上の複数の収音部を有し、前記複数の収音部の位置関係を相対的に変更可能に構成された収音部群と、
   前記位置関係が変更された前記複数の収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための再生用音データを生成する音データ生成手段と、
   を備えることを特徴とする情報処理装置。
2. 前記収音部群は、
   前記複数の収音部として、４つの収音部を有し、
   前記４つの収音部の各々の位置を頂点として四面体を形成する第１の状態に、前記４つの収音部の位置関係を相対的に変更可能であり、
   前記音データ生成手段は、前記収音部群が前記第１の状態にあるときの前記４つの収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記収音部群は、更に、前記４つの収音部の各々の位置を頂点として四角形を形成する第２の状態に、前記４つの収音部の位置関係を相対的に変更可能であり、
   前記音データ生成手段は、前記収音部群が前記第２の状態にあるときの前記４つの収音部で収音された音に基づき、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項２に記載の情報処理装置。
4. 前記収音部群は、
   前記４つの収音部のうちの２つの収音部を備える第１収音ユニットと、残りの２つの収音部を備える第２収音ユニットとで構成され、
   前記第１収音ユニットを平行な２平面のうちの一方の平面上に配置するとともに、前記第２収音ユニットを他方の平面上に配置し、
   前記第１収音ユニットと前記第２収音ユニットとのうちの少なくともいずれか一方を、配置された平面上を移動させることによって、前記第１の状態と前記第２の状態とに前記４つの収音部の位置関係を変更可能であることを特徴とする請求項３に記載の情報処理装置。
5. 前記収音部群は、前記第１収音ユニットと前記第２収音ユニットとのうちの少なくともいずれか一方を、配置された平面上を前記２つの収音部の中間点を中心に回転移動させることによって、前記第１の状態と前記第２の状態とに前記４つの収音部の位置関係を変更可能であることを特徴とする請求項４に記載の情報処理装置。
6. 前記一方の平面上に配置され動画像を撮像可能な第１撮像ユニットと、
   前記他方の平面上に配置され動画像を撮像可能な第２撮像ユニットと、
   前記第１撮像ユニット及び前記第２撮像ユニットにより撮像された動画像に基づき、各撮像ユニットの撮像範囲を網羅した動画像を再生するための再生用動画像データを生成する動画像データ生成手段と、
   を備え、
   前記動画像データ生成手段は、前記再生用音データと対応付けて前記再生用動画像データを生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記第１撮像ユニットの光軸が、前記一方の平面に対して垂直をなし、且つ、前記第１収音ユニットの２つの収音部の中間点を通過するように、前記第１撮像ユニットと前記第１収音ユニットとが一体として設けられるとともに、
   前記第２撮像ユニットの光軸が、前記他方の平面に対して垂直をなし、且つ、前記第２収音ユニットの２つの収音部の中間点を通過するように、前記第２撮像ユニットと前記第２収音ユニットとが一体として設けられることを特徴とする請求項６に記載の情報処理装置。
8. 前記複数の収音部で収音された音の発生位置又は方向を特定する特定手段をさらに備え、
   前記音データ生成手段は、前記特定手段により特定された音の発生位置又は方向にさらに基づいて、当該音の伝わる方向を知覚可能な音像を再生するための前記再生用音データを生成することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。

Images