JP2016046699A - 画像音声入出力システム - Google Patents

Abstract

【課題】 視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供する。【解決手段】 画像音声入出力システム１は、２以上のカメラを有する画像信号取得部１０と、３以上のマイクを有する音声信号取得部３０と、視聴者の頭部の向きを検知する方向検知部と、画像信号取得部１０で撮影された画像を表示する画像出力部７７と、音声信号取得部３０で録音された音声を出力する音声出力部７９とを有する出力部７０とを備える。方向検知部で得られた角度情報に基づいて、２以上のカメラで撮影された画像の中から、画像出力部７７で出力させる画像を調整する表示調整や、３以上のマイクで録音された音声の中から、音声出力部７９で出力させる音声を調整する出力音源調整が行われ、画像信号取得部１０のカメラのそれぞれは、音声信号取得部３０のマイクのうちの２つのマイクの間に配置される。【選択図】図１０

Description

本発明は、視聴者の頭部の向きに応じて出力する画像や音声を調整する画像音声入出力システムに関する。

特許文献１などで、バイノーラルマイクを使い、ユーザーの鑑賞条件に対応した音響システムが提案されている。

特開２００５−２４４６４４号公報

しかしながら、画像信号を取得する装置と音声信号を取得する装置は独立しており、位置関係などは考慮されていない。

したがって本発明の目的は、画像信号を取得する装置と音声信号を取得する装置の位置関係を考慮し、視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供することである。

本発明に係る画像音声入出力システムは、２以上のカメラを有する画像信号取得部と、３以上のマイクを有する音声信号取得部と、視聴者の頭部の向きを検知する方向検知部と、画像信号取得部で撮影された画像を表示する画像出力部と、音声信号取得部で録音された音声を出力する音声出力部とを有する出力部とを備え、方向検知部で得られた角度情報に基づいて、２以上のカメラで撮影された画像の中から、画像出力部で出力させる画像を調整する表示調整や、３以上のマイクで録音された音声の中から、音声出力部で出力させる音声を調整する出力音源調整が行われ、画像信号取得部のカメラのそれぞれは、音声信号取得部のマイクのうちの２つのマイクの間に配置される、若しくは音声信号取得部が、画像信号取得部の下方に取り付けられる。

視聴者の頭部の向きに応じて、複数のカメラで撮影された画像の中で表示させる画像や、複数のマイクで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。

画像信号取得部と音声信号取得部が、被写体から殆ど同じ距離の位置にあるため、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。

好ましくは、画像信号取得部と音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられたもので構成され、画像信号取得部は、前方に２以上、後方に１以上、カメラを有し、画像信号取得部のカメラのそれぞれは、撮像面の法線方向が異なるように配置され、音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置され、画像信号取得部のカメラのそれぞれは、３以上のマイクのうちの２つのマイクの間に配置され、２つのマイクで録音された音声と、２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、表示調整や出力音源調整が行われる。

実際の目と耳の配置に近いカメラマイクセットを使って得られた画像や音声を再生するので、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。

画像信号取得部と音声信号取得部とが同じ筐体（本体）に取り付けられるので、これらが別に構成される形態に比べて、当該筐体（本体）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。

また、好ましくは、画像信号取得部は、前方を撮影する第１カメラと、第１カメラの背面に配置され、後方を撮影する第２カメラとを有し、画像出力部は、第１カメラで得られた第１画像と、第２カメラで得られた第２画像における一部の領域を表示するものであり、表示調整は、第１画像と第２画像における一部の領域の位置を調整するものであり、第１カメラと前記第２カメラは、１５０度以上の画角を有するものであり、音声信号取得部は、画像信号取得部の下方に取り付けられる。

視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、複数のマイクで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。

たとえば、コンサート会場でステージが正面になるように画像信号取得部の第１カメラや音声信号取得部を配置して、録画録音を行った場合には、当該コンサート会場に居なかった視聴者も、当該コンサート会場の臨場感を味わいながら、画像や音声を視聴することが可能になる。

画像信号取得部は、音声信号取得部の上方に配置されるため、第１カメラや第２カメラで得られる画像に、音声信号取得部の映り込みは少ないし、映り込みがあったとしても、第１画像や第２画像の下方なので、他の方向に比べて、視聴の際に視聴者が向く可能性が少なく、視聴者が映り込んだ音声信号取得部の存在に気づきにくい。

また、画像信号取得部と音声信号取得部とが上下に取り付けられるので、これらが別に構成される形態に比べて、第１カメラや、特定のマイクを被写体に向ける位置合わせを容易に行えるメリットがある。

画角が広いカメラで撮影された画像（第１画像や第２画像）を用い、２つ（第１画像と第２画像）の元画像から画像出力部で表示する画像を抜き出すので、視聴者の頭部の向きの変化に応じて画像を切り替える際の画像の切れ目を感じにくい状態で視聴させることが出来る。

さらに好ましくは、音声信号取得部は、３以上のマイクとして、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻を有し、バイノーラルマイクを構成するマイクセットが３以上、１つのダミーヘッドに設けられる。

さらに好ましくは、マイクセットのうち、少なくとも１つは、第１カメラの被写体がある方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、マイクセットのうち、少なくとも１つは、被写体がある方向から左右方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、マイクセットのうち、少なくとも１つは、被写体がある方向から上下方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、方向検知部は、ヨーイング角度とピッチング角度を検出するセンサーを有し、方向検知部で検出されたヨーイング角度やピッチング角度に基づいて、表示調整や出力音源調整が行われる。

ヨーイング角度だけでなくピッチング角度も考慮されるため、視聴者の頭部を上下方向に傾けた場合にも、その向きに応じた画像や音声を提供することが出来る。

また、好ましくは、音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物に振動板が設けられた指向性マイクが設けられたもので構成され、音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置される。

耳殻と無指向性マイクで構成されるバイノーラルマイクと比べて構造が単純で、多くの指向性マイクをダミーヘッドに相当する本体に取り付け、様々な方向に向けた指向性マイクからの音声を取得することが可能になる。

さらに好ましくは、音声信号取得部は、右用のマイクと左用のマイクで構成されたマイクセットが複数設けられ、複数のマイクセットのうちで、１のマイクセットを構成する右用のマイクと、他のマイクセットを構成する左用のマイクが共用される。

共用しない形態に比べて、多くのマイクセットを構成することが可能になる。

また、好ましくは、画像信号取得部は、右目用画像信号取得装置と左目用画像信号取得装置が設けられ、画像出力部は、視聴者の目と対向する位置に配置され、右目用画像信号取得装置で得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置に表示され、左目用画像信号取得装置で得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置に表示される。

画像出力部の右目用の画像と左目用の画像を異なるものにして、立体的な画像を画像出力装置で表示させることが可能になる。

さらに好ましくは、右目用画像信号取得装置と、左目用画像信号取得装置は、間隔が調整可能な台の上に取り付けられ、台の下方に音声信号取得部が配置される。

また、好ましくは、方向検知部は、ヨーイング角度とピッチング角度とローリング角度を検出するセンサーを有し、方向検知部で検出されたヨーイング角度とピッチング角度とローリング角度に基づいて、表示調整や出力音源調整が行われる。

ヨーイング角度だけでなくピッチング角度とローリング角度も考慮されるため、視聴者の頭部を上下方向に傾けたり前後方向の軸周りに傾けたりした場合にも、その向きに応じた画像や音声を提供することが出来る。

また、好ましくは、画像出力部は、視聴者の眼と対向する位置に配置され、音声出力部は、視聴者の耳と対向する位置に配置され、画像出力部には、初期設定スイッチが設けられ、初期設定スイッチの操作後に、方向検知部で検出された角度情報に基づいて、表示調整や出力音源調整が行われる。

さらに好ましくは、方向検知部は、ピッチング角度を検出するセンサーを有し、ピッチング角度の情報に基づいて、方向検知部が水平状態にあることを、画像出力部を介した画像若しくは音声出力部を介した音声で出力し、水平状態にある場合に初期設定スイッチが操作された後に、方向検知部で検出された角度情報に基づいて、表示調整や出力音源調整が行われる。

また、好ましくは、出力音源調整では、３以上のマイクのうち、複数のマイクで録音された音声を合成したものが、音声出力部で出力され、音声の合成におけるマイクの選択や、選択されたマイクで録音された音声の出力度合の調整は、方向検知部で検出された角度情報に基づいて行われる。

異なる方向に向いた複数のマイクで得られた音声信号のミキシングで音声出力するので、頭部の向きに合わせて音声信号出力における音の切れ目（音源の切り替え時に音が途切れること）を感じにくい状態で、視聴させることが出来る。

以上のように本発明によれば、画像信号を取得する装置と音声信号を取得する装置の位置関係を考慮し、視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供することができる。

本実施形態における画像音声入出力システムで、バイノーラルマイクを使った形態（第１実施形態）の斜視図である。 本実施形態における画像音声入出力システムの構成図である。 第１画像の例である。 第２画像の例である。 第１画像の一部（一定領域）を抜き出したもので、画像出力部で表示される画像の例である。 第１変換テーブルの例である。 本実施形態における画像音声入出力システムで、右目用と左目用の２つの画像信号取得装置が台に備えられた形態の斜視図である。 本実施形態における画像音声入出力システムで、バイノーラルマイクに代えて、複数の指向性マイクを用いた形態（第２実施形態）の斜視図である。 第２変換テーブルの例である。 本実施形態における画像音声入出力システムで、複数の指向性マイクと、マイクの間にカメラが配置された形態（第３実施形態）の斜視図である。 第３変換テーブルの例である。

以下、本実施形態について、図を用いて説明する。本実施形態における画像音声入出力システム１は、画像信号取得部１０、音声信号取得部３０、制御部５０、出力部７０を備える（第１実施形態、図１〜図７参照）。

画像信号取得部１０、音声信号取得部３０、出力部７０のそれぞれと制御部５０との間は、有線接続であってもよいし、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のように、無線接続であってもよいし、インターネット接続が経由される形態であってもよい。

画像信号取得部１０と音声信号取得部３０と制御部５０は、画像や音声を取得する対象（被写体）がある場所に設置される。出力部７０は、画像や音声を取得する対象とは別の場所に居る視聴者に装着したり当該視聴者の近くに配置したりする。制御部５０は、出力部７０と通信が可能である限り、画像や音声を取得する対象がある場所に設置されたままでも良いし、出力部７０と一緒に持ち運びする形態であってもよい。

ただし、画像信号取得部１０で得られた画像信号、音声信号取得部３０で得られた音声信号を持ち運び可能な記録媒体に記録し、当該記録媒体を出力部７０で再生する形態であってもよい。この場合、制御部５０の一部の機能（後述する表示調整や出力音源調整）は、出力部７０に内蔵され、制御部５０と出力部７０の間の通信は不要になる。

画像信号取得部１０は、広い画角（少なくとも１５０度以上で、略１８０度の画角を有するのが望ましい）の画像を取得するカメラを前後方向に２台有し、第１実施形態では、魚眼レンズを有する第１カメラ１１が前方に向けて配置され、第１カメラ１１の背面に配置され、同様の魚眼レンズを有する第２カメラ１２が後方に向けて配置される。第１カメラ１１で得られた第１画像（前方の動画画像、図３参照）と、第２カメラ１２で得られた第２画像（後方の動画画像、図４参照）とで、画像信号取得部１０の周囲の略全域の画像情報を取得することが可能になる。

後述する出力部７０の画像出力部７７は、第１画像と第２画像の中から、方向検知部７１で得られた角度情報に対応する位置を含む一定領域（図３の点線領域）の画像を表示する。すなわち、角度情報に基づいて、第１画像と第２画像における一部の領域で、画像出力部で表示させる領域を調整する表示調整が行われる。

音声信号取得部３０は、画像信号取得部１０の略下方に取り付けられ、人の頭と同等の大きさを有する略球形状のダミーヘッド３１に、右耳用と左耳用のそれぞれが無指向性マイクと耳殻形状物で構成されたバイノーラルマイクが、耳殻の方向が異なるように複数設けられたものである。すなわち、１つのダミーヘッド３１に異なる方向を向く耳殻を含むバイノーラルマイクが複数設けられる。

第１実施形態では、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻とのセットをマイクセットＰとし、マイクセットＰが９組（第１マイクセットＰ_１〜第９マイクセットＰ_９）がダミーヘッド３１に設けられた形態を示すが、マイクセットＰの数はこれに限るものではない。

それぞれのマイクセットにおける右耳用の耳殻と左耳用の耳殻は、ダミーヘッド３１の縦軸で、略線対称の位置関係になるように、すなわち高さ方向の位置が略同じになるように、取り付けられる。

図１は、第１マイクセットＰ_１、第４マイクセットＰ_４、第７マイクセットＰ_７は、右耳用と左耳用の両方が図示され、第２マイクセットＰ_２、第５マイクセットＰ_５、第８マイクセットＰ_８は、右耳用のものが図示され、左耳用のものがダミーヘッド３１の後方に隠れ、第３マイクセットＰ_３、第６マイクセットＰ_６、第９マイクセットＰ_９は、左耳用のものが図示され、右耳用のものがダミーヘッド３１の後方に隠れた状態を示す。

第１マイクセットＰ_１〜第９マイクセットＰ_９の耳殻は、それぞれが異なる方向を向くように配置される。

第１実施形態では、第６マイクセットＰ_６の耳殻は、水平方向で正面（第１カメラ１１の被写体がある方向）を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、第４マイクセットＰ_４や第５マイクセットＰ_５の耳殻は、水平方向で正面と異なる方向（正面から左右方向にずれた方向）を向いた時の人間の耳殻の位置や向きと略同じになるように配置される。

第１マイクセットＰ_１〜第３マイクセットＰ_３、第７マイクセットＰ_７〜第９マイクセットＰ_９の耳殻は、水平方向から上下のいずれかに傾斜した方向（正面から上下方向にずれた方向）を向いた時の人間の耳殻の方向と略同じになるように配置される。

後述する出力部７０の音声出力部７９は、複数のマイクセットＰ（第１マイクセットＰ_１〜第９マイクセットＰ_９）で録音された音声の中から、方向検知部７１で得られた角度情報に対応する方向に近い方向に向けられたマイクセットＰで得られた音声を出力する。すなわち、角度情報に基づいて、複数のマイクセットＰで録音された音声（音源）の中から、音声出力部７９で出力させる音声を選択したりその出力を調整したりする出力音源調整が行われる。

画像信号取得部１０で撮影された第１画像と第２画像と、音声信号取得部３０の複数のマイクセットＰで録音された音声信号は、制御部５０の内部若しくは外部に設けられた記録装置に記録される。

制御部５０は、第１画像と第２画像の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する位置を特定し、当該位置を含む一定領域の画像を出力部７０に送信する。

画角が広いカメラで撮影された画像（第１画像や第２画像）を用い、２つ（第１画像と第２画像）の元画像から画像出力部７７で表示する画像を抜き出すので、視聴者の頭部の向きの変化に応じて画像を切り替える際の画像の切れ目を感じにくい状態で視聴させることが出来る。

制御部５０は、マイクセットごとの向きに関する情報に対応する頭部の角度情報（ヨーイング（yawing）角度、ピッチング（pitching）角度）の関係を示す第１変換テーブルＴ１を記録しておく。

第ｎマイクセットＰ_ｎ（ｎは１〜９の整数）を使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θ_ｎだけ左右方向に回転し、ピッチング角度φ_ｎだけ上下方向に回転した状態で音声を聴いたのと同等のものになるように、第１変換テーブルＴ１が設定される（図６参照）。

第１実施形態では、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置された第６マイクセットＰ_６に対応するヨーイング角度θ_６とピッチング角度φ_６は、ともに０度に設定される。

第１変換テーブルＴ１を用いて、制御部５０は、方向検知部７１で得られた向きに関する情報（角度情報）に対応するマイクセットＰを特定する。

また、制御部５０は、複数のマイクセットＰで録音された音声の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する方向に近い方向に向けられたマイクセットで得られた音声を出力部７０に送信する。

出力部７０は、方向検知部７１、初期設定スイッチ７３、ズームスイッチ７５、画像出力部７７、音声出力部７９を有する。

また、このほかに、出力部７０は、画像出力部７７の輝度等を調整したり、音声出力部７９の音量を調整したりする調整スイッチ（不図示）が設けられる形態であってもよい。

方向検知部７１は、視聴者の頭部に取り付けられ、加速度センサーもしくは角速度センサーなどで構成され、視聴者の頭部のヨーイング角度とピッチング角度を検出し、視聴者の（頭部の）向きに関する情報（角度情報）として、制御部５０に出力する。

初期設定スイッチ７３は、視聴者の頭部の向きの初期設定のために使用され、初期設定スイッチ７３が操作された時点で、視聴者が水平方向で正面を向いているとして、正面視した場合の画像（第１画像の中心部を含む一定領域の画像（図５参照））を画像出力部７７で出力させ、正面視した場合の耳殻に相当するマイクセット（第６マイクセットＰ_６）で録音された音声を音声出力部７９で出力させる。

具体的には、第６マイクセットＰ_６の左耳用の耳殻（図１で図示されている）やマイクを介して録音された音声は、音声出力部７９の左用音声出力装置（図１で図示されている）に出力され、第６マイクセットＰ_６の右耳用の耳殻（図１でダミーヘッド３１に隠れている）やマイクを介して録音された音声は、音声出力部７９の右用音声出力装置（図１で視聴者に隠れている）に出力される。

ただし、方向検知部７１におけるピッチング角度の検出により、水平方向を向いているかどうかが自動判別出来る場合は、画像出力部７７を介した画像若しくは、音声出力部７９を介した音声で、水平方向を向いている状態を知らせ、初期設定スイッチ７３の操作を促す形態であってもよい。

具体的には、ピッチング角度の情報に基づいて、方向検知部７１が水平状態にあるかどうかが判断され、水平状態にあることを、画像出力部７７を介した画像に出力する、若しくは音声出力部７９を介した音声で出力し、当該出力が行われている間に、初期設定スイッチ７３が操作されると、初期設定スイッチ７３の操作が有効になる。水平方向を機械で検知出来るため、初期設定を正確かつ容易に行えるメリットがある。

初期設定スイッチ７３の操作後は、制御部５０は、方向検知部７１からの角度情報に基づいて、画像出力部７７で出力させる画像の位置や、音声出力部７９で出力させる音声を変化させる（表示調整や出力音源調整が開始される）。

視聴者が水平方向で、左方向に頭部を動かした場合は、第１画像の中心部から左方向にずれた位置を含む一定領域の画像（第１画像で欠落した部分は第２画像の一部を合成したもの）を画像出力部７７で出力させ、第４マイクセットＰ_４で録音された音声（若しくは、第６マイクセットＰ_６と第４マイクセットＰ_４で録音された音声をヨーイング角度に応じてミキシングさせたもの）を音声出力部７９で出力させる。

視聴者が正面を向き、且つ前方斜め上方向に頭部を動かした場合は、第１画像の中心部から上方向にずれた位置を含む一定領域の画像を画像出力部７７で出力させ、第３マイクセットＰ_３で録音された音声（若しくは、第６マイクセットＰ_６と第３マイクセットＰ_３で録音された音声をピッチング角度に応じてミキシングさせたもの）を音声出力部７９で出力させる。

視聴者が真後ろに頭部を動かした場合は、第２画像の中心部を含む一定領域の画像を画像出力部７７で出力させ、第５マイクセットＰ_５で録音された音声を音声出力部７９で出力させる。

次に、ヨーイング角度に応じたミキシング（複数のマイクで録音された音声の合成）について説明する。

制御部５０は、第１マイクセットＰ_１〜第９マイクセットＰ_９に対応するヨーイング角度θ_１〜θ_９のうち、方向検知部７１からの角度情報（ヨーイング角度θ）に近い２以上のマイクセットを特定する（方向検知部７１で検出された角度情報に基づくマイクの選択）。

制御部５０は、特定したマイクセットそれぞれに対応するヨーイング角度と、検出したヨーイング角度θとの差異の絶対値に応じた比率で、右用と左用のそれぞれについて、特定したマイクセットで録音された音声の出力度合を調整する。すなわち、方向検知部７１で検出された角度情報に基づいて、選択されたマイクセットで録音された音声の出力度合の調整が行われる。

たとえば、特定したマイクセットが第４マイクセットＰ_４と第６マイクセットＰ_６であり（検出したヨーイング角度θが、第４マイクセットＰ_４のヨーイング角度θ_４と第６マイクセットＰ_６のヨーイング角度θ_６に近い値であり）、検出したヨーイング角度θと第４マイクセットＰ_４に対応するヨーイング角度θ_４との差異の絶対値が、当該ヨーイング角度θと第６マイクセットＰ_６に対応するヨーイング角度θ_６との差異の絶対値よりも小さい場合には、第４マイクセットＰ_４で録音した音声を強めに、第６マイクセットＰ_６で録音した音声を弱めにして、音声出力部７９で出力させる。

ピッチング角度に応じたミキシングも同様で、ヨーイング角度に応じたミキシングとピッチング角度に応じたミキシングの両方が行われる場合には、４以上のマイクセットＰで録音された音声を使って音声出力が行われる。

ズームスイッチ７５は、第１画像と第２画像の中から画像出力部７７で表示するために抜出する一定領域の広さを調整するために使用され、ズームスイッチ７５の一方に操作すると、角度情報に対応する位置を含む一定領域の広さが狭められ（ズームイン）、他方に操作すると、角度情報に対応する位置を含む一定領域の広さが広げられる（ズームアウト）。

画像出力部７７で表示する領域の縦横比に合わせた矩形形状を、歪曲収差の補正を行わないで、そのまま当該一定領域として取り出しし、画像出力部７７に表示させる形態であってもよいが、当該矩形形状を含み当該矩形状よりも広めの領域について、第１カメラ１１や第２カメラ１２のレンズ特性を考慮して、歪曲収差を補正し、補正後の画像の中から当該矩形形状領域を当該一定領域として取り出しし、画像出力部７７に表示させる形態であってもよい。

画像出力部７７は、制御部５０から画像信号に基づいて、表示調整後の画像を出力し、音声出力部７９は、制御部５０からの音声信号に基づいて、出力音源調整後の音声を出力する。

画像出力部７７を視聴者の眼と対向する位置に配置されるヘッドマウントディスプレイの形態とし、音声出力部７９を視聴者の耳と対向する位置に配置されるヘッドホンの形態とし、ヘッドマウントディスプレイの形態の画像出力部７７に、初期設定スイッチ７３とズームスイッチ７５と音声出力部７９とが取り付けられ、方向検知部７１が内蔵される形が望ましい（図１参照）。

ただし、画像出力部７７は、視聴者の頭部に装着するヘッドマウントディスプレイの形態であってもよいが、視聴者の体から離れた位置に配置するモニター装置の形態であってもよい。この場合でも、方向検知部７１は、視聴者の頭部に取り付けられるのが望ましいが、後述するリモートコントローラー（不図示）など別体構成であってもよい。初期設定スイッチ７３やズームスイッチ７５や調整スイッチは、視聴者の頭部に取り付けられる形態でも良いし、リモートコントローラー（不図示）に設けられる形態でもよい。

また、音声出力部７９は、視聴者の耳に取り付けるヘッドホンやイヤホンの形態であってもよいし、視聴者の体から離れた位置に配置するスピーカー装置の形態であってもよい。

なお、画像出力部７７がヘッドマウントディスプレイの形態である場合には、画像信号取得部１０として右目用と左目用の２台（右目用画像信号取得装置１０ａ、左目用画像信号取得装置１０ｂ）を用意し、右目用画像信号取得装置１０ａで得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置７７ａに表示され、左目用画像信号取得装置１０ｂで得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置７７ｂに表示される形態であってもよい（図７参照）。

画像出力部７７の右目用の画像と左目用の画像を異なるものにして、立体的な画像を画像出力装置（７７ａ、７７ｂ）で表示させることが可能になる。

この場合、右目用画像信号取得装置１０ａと左目用画像信号取得装置１０ｂのステレオベース（２台のカメラのレンズの中心位置の間隔）ｄ１は、６５ｍｍ程度が望ましいが、被写体の大きさや視聴者の両眼間隔の個人差に応じて、立体感の程度を調整出来るように、ステレオベースｄ１が調整可能な台１３の上に、右目用画像信号取得装置１０ａと左目用画像信号取得装置１０ｂが取り付けられる形態であってもよい。

第１実施形態では、視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。

たとえば、コンサート会場でステージが正面になるように画像信号取得部１０の第１カメラ１１や音声信号取得部３０を配置して、録画録音を行った場合には、当該コンサート会場に居なかった視聴者も、当該コンサート会場の臨場感を味わいながら、画像や音声を視聴することが可能になる。

特に、ヨーイング角度θだけでなくピッチング角度φも考慮されるため、視聴者の頭部を上下方向に傾けた場合にも、その向きに応じた画像や音声を提供することが出来る。

また、耳殻が異なる方向に向いた複数のマイクセットで得られた音声信号のミキシングで音声出力するので、頭部の向きに合わせて音声信号出力における音の切れ目（音源の切り替え時に音が途切れること）を感じにくい状態で、視聴させることが出来る。

画像信号取得部１０は、音声信号取得部３０の上方に配置されるため、第１カメラ１１や第２カメラ１２で得られる画像に、音声信号取得部３０の映り込みは少ないし、映り込みがあったとしても、第１画像や第２画像の下方なので、他の方向に比べて、視聴の際に視聴者が向く可能性が少なく、視聴者が映り込んだ音声信号取得部３０の存在に気づきにくい。

また、画像信号取得部１０と音声信号取得部３０が、被写体から殆ど同じ距離の位置にあるため、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。

また、画像信号取得部１０と音声信号取得部３０とが上下に取り付けられるので、これらが別に構成される形態に比べて、第１カメラ１１や、特定のマイクセットＰ（第１実施形態では、第６マイクセットＰ_６）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。

音声信号取得部３０は、図１のようにバイノーラルマイクを複数組設けた形態であってもよいし、指向性マイクを複数設けた形態であってもよい（第２実施形態、図８参照）。

図８の音声信号取得部３０は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれに振動板が設けられて指向性マイクを構成する形態を示す。

具体的には、図８の音声信号取得部３０は、Ｎ組のマイクセットＰ_１〜Ｐ_Ｎ（２つの指向性マイクの組み合わせ、Ｎは２以上の自然数）が設けられた形態を示す。

Ｎ組のマイクセットＰ_１〜Ｐ_Ｎは、それぞれの指向性マイクの振動板の向き（法線方向）が異なる様に配置される。

耳殻と無指向性マイクで構成されるバイノーラルマイクと比べて構造が単純で、多くの指向性マイクをダミーヘッド３１に相当する本体に取り付け、様々な方向に向けた指向性マイクからの音声を取得することが可能になる。

この場合も、第１変換テーブルＴ１と同様に、それぞれのマイクセットＰが対応する角度情報を示す第２変換テーブルＴ２が設けられる。第１変換テーブルＴ１同様に、角度情報として、ヨーイング角度θやピッチング角度φの関係だけでも良いが、これらに加えてローリング角度ξの関係も示す形態であってもよい（図９参照）。

すなわち、それぞれのマイクセットＰを構成する２つのマイクは、振動板の高さ方向の位置が同じものの組み合わせだけでなく、振動板の高さ方向の位置が異なる２つのマイクの組み合わせが用意される。

指向性マイクのマイクセットＰそれぞれについて、最適なヨーイング角度θやピッチング角度φとローリング角度ξが実験で求められ、これに基づいて第２変換テーブルＴ２が決定される。

具体的には、第ｎマイクセットＰ_ｎ（ｎは１〜Ｎの整数）を使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θ_ｎだけ左右方向に回転し、ピッチング角度φ_ｎだけ上下方向に回転し、ローリング角度ξ_ｎだけ前後方向の軸周りに回転した状態で音声を聴いたのと同等のものになるように、第２変換テーブルＴ２が設定される。

第１マイクセットＰ_１は、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、第１マイクセットＰ_１に対応するヨーイング角度θ_１とピッチング角度φ_１とローリング角度ξ_１は、ともに０度に設定される。

ローリング角度ξを考慮して出力音源を調整する場合には、ローリング角度ξに応じて、画像出力で抜き出しする一定領域もローリング角度ξだけ回転させる形態であってもよい。

これにより、視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声を調整するので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で音声を聞いた場合の音声に近いものを視聴することが可能になる。

特に、ヨーイング角度θだけでなくピッチング角度φとローリング角度ξも考慮されるため、視聴者の頭部を上下方向に傾けたり前後方向の軸周りに傾けたりした場合にも、その向きに応じた画像や音声を提供することが出来る。

なお、図１に示すバイノーラルマイクのマイクセットを複数設けた形態でも、ローリング角度ξを考慮し、右用のマイクと左用のマイクの高さ方向の位置が異なるマイクセットをダミーヘッド３１に設ける形態であってもよい。

また、第２実施形態では、１対のマイクセットが複数設けられ、方向検知部７１からの角度情報に基づいて、当該複数のマイクセットで録音された音声の中から、音声出力する音源を変化させる形態を説明したが、振動板の方向が異なる３以上のマイクを設け、方向検知部７１からの情報に基づいて、当該３以上のマイクで録音された音声の中から、音声出力する音源を変化させる形態であってもよい。

例えば、第２実施形態では、１のマイクセットのマイクが、他のマイクセットのマイクと共用される形態、例えば、第１マイクセットＰ_１の右用マイクが、第２マイクセットＰ_２の左用マイクとして用いられる形態であってもよい。この場合、共用しない形態に比べて、多くのマイクセットを構成することが可能になる。

また、画像信号取得部１０が、音声信号取得部３０の上方に配置される形態を説明したが、同じ筐体（本体）に画像信号取得部１０のカメラと音声信号取得部３０のマイクが配置される形態であってもよい（第３実施形態、図１０参照）。

第３実施形態における画像信号取得部１０と音声信号取得部３０は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられる。

具体的には、画像信号取得部１０と音声信号取得部３０として、Ｍ組のカメラマイクセットＱ_１〜Ｑ_Ｍ（２つの指向性マイクとその間に設けられたカメラの組み合わせ、Ｍは３以上の自然数）が設けられる。

カメラマイクセットＱは、前方に２以上、後方に１以上設けられる。

カメラは、１つのカメラで、右目用と左目用の画像を共用する形態であってもよいし、２つのカメラを１組として、右目用と左目用の画像を別々にして、立体感がある画像を出力する形態であってもよい。

Ｍ組のカメラマイクセットＱ_１〜Ｑ_Ｍは、それぞれのカメラの向き（撮像面の法線方向）が異なる様に、且つそれぞれの指向性マイクの振動板の向き（法線方向）が異なる様に配置される。

この場合も、第１変換テーブルＴ１と同様に、それぞれのカメラマイクセットＱが対応する角度情報を示す第３変換テーブルＴ３が設けられる。第１変換テーブルＴ１同様に、角度情報として、ヨーイング角度θやピッチング角度φの関係だけでも良いが、これらに加えてローリング角度ξの関係も示す形態であってもよい（図１１参照）。

カメラと指向性マイクのカメラマイクセットＱそれぞれについて、最適なヨーイング角度θやピッチング角度φとローリング角度ξが実験で求められ、これに基づいて第３変換テーブルＴ３が決定される。

第１カメラマイクセットＱ_１のマイクは、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、カメラは、当該マイクの間に配置され、第１カメラマイクセットＱ_１に対応するヨーイング角度θ_１とピッチング角度φ_１とローリング角度ξ_１は、ともに０度に設定される。

第ｍカメラマイクセットＱ_ｍ（ｍは１〜Ｍの整数）のカメラを使って撮影して得られた画像が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θ_ｍだけ左右方向に回転し、ピッチング角度φ_ｍだけ上下方向に回転し、ローリング角度ξ_ｍだけ前後方向の軸周りに回転した状態で、見た画像と同等のものになるように、且つ第ｍカメラマイクセットＱ_ｍのマイクセットを使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θ_ｍだけ左右方向に回転し、ピッチング角度φ_ｍだけ上下方向に回転し、ローリング角度ξ_ｍだけ前後方向の軸周りに回転した状態で音声を聴いたのと同等のものになるように、第３変換テーブルＴ３が設定される。

２つのマイクで録音された音声と、当該２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、すなわちＭ組のカメラマイクセットＱ_１〜Ｑ_Ｍのいずれかで得られた音声と画像を使って、表示調整や出力音源調整が行われる。

具体的には、第３変換テーブルＴ３を用いて、制御部５０は、方向検知部７１で得られた向きに関する情報（角度情報）に対応するカメラマイクセットＱを特定する。

また、制御部５０は、複数のカメラマイクセットＱで録音された音声の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する方向に近い方向に向けられたカメラマイクセットで得られた画像と音声を出力部７０に送信する。

これにより、視聴者の頭部の向きに応じて、方向が異なる複数のカメラで撮影された画像の中で表示させる画像や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声を調整するので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。

特に、実際の目と耳の配置に近いカメラマイクセットＱを使って得られた画像や音声を再生するので、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。

複数組（少なくとも３組以上）のカメラマイクセットを使って得られた画像を出力するため、多くのカメラマイクセットを設ければ、第１カメラ１１と第２カメラ１２を用いた形態に比べて、狭い画角の画像を取得するカメラを用いることが出来、歪曲収差が少ない画像を表示させることが可能になる。

また、画像信号取得部１０と音声信号取得部３０とが同じ筐体（本体）に取り付けられるので、これらが別に構成される形態に比べて、当該筐体（本体）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。

なお、第３実施形態では、１のカメラマイクセットのマイクが、他のカメラマイクセットのマイクと共用される形態、例えば、第１カメラマイクセットＱ_１の右用マイクが、第２カメラマイクセットＱ_２の左用マイクとして用いられる形態であってもよい。この場合、共用しない形態に比べて、多くのカメラマイクセットを構成することが可能になる。

１ 画像音声入出力システム
１０ 画像信号取得部
１０ａ 右目用画像信号取得部
１０ｂ 左目用画像信号取得部
１１ 第１カメラ
１２ 第２カメラ
１３ 台
３０ 音声信号取得部
３１ ダミーヘッド
５０ 制御部
７０ 出力部
７１ 方向検知部
７３ 初期設定スイッチ
７５ ズームスイッチ
７７ 画像出力部
７７ａ 右目用画像出力装置
７７ｂ 左目用画像出力装置
７９ 音声出力部
ｄ１ ステレオベース
Ｐ_１〜Ｐ_Ｎ 第１マイクセット〜第Ｎマイクセット
Ｑ_１〜Ｑ_Ｍ 第１カメラマイクセット〜第Ｍカメラマイクセット
Ｔ１〜Ｔ３ 第１変換テーブル〜第３変換テーブル

Claims (13)

1. ２以上のカメラを有する画像信号取得部と、
   ３以上のマイクを有する音声信号取得部と、
   視聴者の頭部の向きを検知する方向検知部と、前記画像信号取得部で撮影された画像を表示する画像出力部と、前記音声信号取得部で録音された音声を出力する音声出力部とを有する出力部とを備え、
   前記方向検知部で得られた角度情報に基づいて、前記２以上のカメラで撮影された画像の中から、前記画像出力部で出力させる画像を調整する表示調整や、前記３以上のマイクで録音された音声の中から、前記音声出力部で出力させる音声を調整する出力音源調整が行われ、
   前記画像信号取得部のカメラのそれぞれは、前記音声信号取得部のマイクのうちの２つのマイクの間に配置される、若しくは前記音声信号取得部が、前記画像信号取得部の下方に取り付けられることを特徴とする画像音声入出力システム。
2. 前記画像信号取得部と前記音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられたもので構成され、
   前記画像信号取得部は、前方に２以上、後方に１以上、カメラを有し、
   前記画像信号取得部のカメラのそれぞれは、撮像面の法線方向が異なるように配置され、
   前記音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置され、
   前記画像信号取得部のカメラのそれぞれは、前記３以上のマイクのうちの２つのマイクの間に配置され、
   前記２つのマイクで録音された音声と、前記２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
3. 前記画像信号取得部は、前方を撮影する第１カメラと、前記第１カメラの背面に配置され、後方を撮影する第２カメラとを有し、
   前記画像出力部は、前記第１カメラで得られた第１画像と、前記第２カメラで得られた第２画像における一部の領域を表示するものであり、
   前記表示調整は、前記第１画像と前記第２画像における前記一部の領域の位置を調整するものであり、
   前記第１カメラと前記第２カメラは、１５０度以上の画角を有するものであり、
   前記音声信号取得部は、前記画像信号取得部の下方に取り付けられることを特徴とする請求項１に記載の画像音声入出力システム。
4. 前記音声信号取得部は、前記３以上のマイクとして、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻を有し、バイノーラルマイクを構成するマイクセットが３以上、１つのダミーヘッドに設けられることを特徴とする請求項３に記載の画像音声入出力システム。
5. 前記マイクセットのうち、少なくとも１つは、前記第１カメラの被写体がある方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
   前記マイクセットのうち、少なくとも１つは、前記被写体がある方向から左右方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
   前記マイクセットのうち、少なくとも１つは、前記被写体がある方向から上下方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
   前記方向検知部は、ヨーイング角度とピッチング角度を検出するセンサーを有し、
   前記方向検知部で検出されたヨーイング角度やピッチング角度に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項４に記載の画像音声入出力システム。
6. 前記音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物に振動板が設けられた指向性マイクが設けられたもので構成され、
   前記音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置されることを特徴とする請求項３に記載の画像音声入出力システム。
7. 前記音声信号取得部は、右用のマイクと左用のマイクで構成されたマイクセットが複数設けられ、前記複数のマイクセットのうちで、１のマイクセットを構成する右用のマイクと、他のマイクセットを構成する左用のマイクが共用されることを特徴とする請求項６に記載の画像音声入出力システム。
8. 前記画像信号取得部は、右目用画像信号取得装置と左目用画像信号取得装置が設けられ、
   前記画像出力部は、視聴者の目と対向する位置に配置され、前記右目用画像信号取得装置で得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置に表示され、前記左目用画像信号取得装置で得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置に表示されることを特徴とする請求項３に記載の画像音声入出力システム。
9. 前記右目用画像信号取得装置と、前記左目用画像信号取得装置は、間隔が調整可能な台の上に取り付けられ、前記台の下方に前記音声信号取得部が配置されることを特徴とする請求項８に記載の画像音声入出力システム。
10. 前記方向検知部は、ヨーイング角度とピッチング角度とローリング角度を検出するセンサーを有し、
    前記方向検知部で検出されたヨーイング角度とピッチング角度とローリング角度に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
11. 前記画像出力部は、視聴者の眼と対向する位置に配置され、
    前記音声出力部は、視聴者の耳と対向する位置に配置され、
    前記画像出力部には、初期設定スイッチが設けられ、
    前記初期設定スイッチの操作後に、前記方向検知部で検出された角度情報に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
12. 前記方向検知部は、ピッチング角度を検出するセンサーを有し、
    前記ピッチング角度の情報に基づいて、前記方向検知部が水平状態にあることを、前記画像出力部を介した画像若しくは前記音声出力部を介した音声で出力し、前記水平状態にある場合に前記初期設定スイッチが操作された後に、前記方向検知部で検出された角度情報に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１１に記載の画像音声入出力システム。
13. 前記出力音源調整では、前記３以上のマイクのうち、複数のマイクで録音された音声を合成したものが、前記音声出力部で出力され、
    前記音声の合成におけるマイクの選択や、選択されたマイクで録音された音声の出力度合の調整は、前記方向検知部で検出された角度情報に基づいて行われることを特徴とする請求項１に記載の画像音声入出力システム。

Images