JP2016163181A5 - 信号処理装置、信号処理方法、及びプログラム - Google Patents

Description

本発明は、信号処理装置、信号処理方法、及びプログラムに関する。

本発明に係る信号処理装置は、カメラによる撮影に基づく画像の表示装置への表示と共に行われる複数のスピーカーによる音の再生に係る音響信号であって、複数の方向に対応する音を再生するための音響信号を、前記カメラによる撮影と共に行われる複数のマイクロホンによる収音に基づく収音信号を用いて生成する信号処理装置であって、前記収音信号を取得する取得手段と、前記表示装置に表示される画像に対応する前記カメラの撮影方向に対応する音が所定方向の音として再生され、且つ、前記撮影方向の仰俯角の大きさが所定値以下である場合には前記撮影方向の逆方向に対応する音が前記所定方向の逆方向の音として再生され、前記撮影方向の仰俯角の大きさが前記所定値より大きい場合には前記撮影方向の逆方向とは仰俯角が異なる方向に対応する音が前記所定方向の逆方向の音として再生されるように、前記音響信号の生成に係る制御を行う制御手段と、前記取得手段により取得される前記収音信号に対して、前記制御手段による制御に応じた処理を実行することで、前記音響信号を生成する生成手段とを有することを特徴とする。

Claims (18)

1. カメラによる撮影に基づく画像の表示装置への表示と共に行われる複数のスピーカーによる音の再生に係る音響信号であって、複数の方向に対応する音を再生するための音響信号を、前記カメラによる撮影と共に行われる複数のマイクロホンによる収音に基づく収音信号を用いて生成する信号処理装置であって、
   前記収音信号を取得する取得手段と、
   前記表示装置に表示される画像に対応する前記カメラの撮影方向に対応する音が所定方向の音として再生され、且つ、前記撮影方向の仰俯角の大きさが所定値以下である場合には前記撮影方向の逆方向に対応する音が前記所定方向の逆方向の音として再生され、前記撮影方向の仰俯角の大きさが前記所定値より大きい場合には前記撮影方向の逆方向とは仰俯角が異なる方向に対応する音が前記所定方向の逆方向の音として再生されるように、前記音響信号の生成に係る制御を行う制御手段と、
   前記取得手段により取得される前記収音信号に対して、前記制御手段による制御に応じた処理を実行することで、前記音響信号を生成する生成手段とを有することを特徴とする信号処理装置。
2. 前記カメラの撮影時の傾きを示す傾き情報を取得する情報取得手段を有し、
   前記制御手段は、前記情報取得手段により取得される前記傾き情報に基づいて前記音響信号の生成に係る制御を行うことを特徴とする請求項１に記載の信号処理装置。
3. 前記所定方向は、前記表示装置の位置に対応する方向であることを特徴とする請求項１又は２に記載の信号処理装置。
4. 前記複数のマイクロホンは前記カメラと一体となって構成されることを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
5. 前記所定値は０°以上の値であることを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
6. 前記制御手段は、前記所定方向と方位角が垂直な方向の音として前記撮影方向に垂直な方向に対応する音が再生されるように、前記音響信号の生成に係る制御を行うことを特徴とする請求項１乃至５の何れか１項に記載の信号処理装置。
7. 前記制御手段は、前記撮影方向の仰俯角の大きさが前記所定値より大きい値である場合に、前記撮影方向の逆方向から仰俯角が前記値だけずれた方向に対応する音が前記所定方向の逆方向の音として再生されるように、前記音響信号の生成に係る制御を行うことを特徴とする請求項１乃至６の何れか１項に記載の信号処理装置。
8. 前記制御手段は、前記撮影方向の仰俯角の大きさが前記所定値より大きい場合に、方位角が前記撮影方向と１８０°異なり且つ仰俯角が前記撮影方向と等しい方向に対応する音が前記所定方向の逆方向の音として再生されるように、前記音響信号の生成に係る制御を行うことを特徴とする請求項１乃至６の何れか１項に記載の信号処理装置。
9. 前記複数のスピーカーは、視聴者に対してそれぞれ異なる方向に配置されるスピーカーであり、
   前記生成手段は、前記複数のスピーカーに出力される複数チャネルの前記音響信号を生成することを特徴とする請求項１乃至８の何れか１項に記載の信号処理装置。
10. 前記複数のスピーカーは、視聴者の両耳近傍に装着されるスピーカーであり、
    前記生成手段は、頭部伝達関数を用いて前記音響信号を生成することを特徴とする請求項１乃至８の何れか１項に記載の信号処理装置。
11. 前記制御手段は、前記表示装置に表示される画像に含まれる音源に対応する音と当該画像に含まれない音源に対応する音とで異なる指向性制御が行われるように、前記音響信号の生成に係る制御を行うことを特徴とする請求項１乃至１０の何れか１項に記載の信号処理装置。
12. 前記表示装置に画像が表示されているか否かを判定する判定手段を有し、
    前記制御手段は、前記複数のスピーカーにより再生される音の方向が前記表示装置に画像が表示されているか否かに応じて異なるように、前記判定手段による判定結果に応じて前記音響信号の生成に係る制御を行うことを特徴とする請求項１乃至１１の何れか１項に記載の信号処理装置。
13. カメラによる撮影に基づく画像の表示装置への表示と共に行われる複数のスピーカーによる音の再生に係る音響信号であって、複数の方向に対応する音を再生するための音響信号を、前記カメラによる撮影と共に行われる複数のマイクロホンによる収音に基づく収音信号を用いて生成する信号処理装置であって、
    前記収音信号を取得する取得手段と、
    前記表示装置に表示される画像に対応する前記カメラの撮影方向の仰俯角に応じて異なる方向の音が所定方向の音として再生され、且つ、前記撮影方向の仰俯角によらずに決まる方向に対応する音が前記所定方向とは逆方向の音として再生されるように、前記音響信号の生成に係る制御を行う制御手段と、
    前記取得手段により取得される前記収音信号に対して、前記制御手段による制御に応じた処理を実行することで、前記音響信号を生成する生成手段とを有することを特徴とする信号処理装置。
14. カメラによる撮影に基づく画像の表示装置への表示と共に行われる複数のスピーカーによる音の再生に係る音響信号であって、複数の方向に対応する音を再生するための音響信号を、前記カメラによる撮影と共に行われる複数のマイクロホンによる収音に基づく収音信号を用いて生成する信号処理装置であって、
    前記収音信号を取得する取得手段と、
    前記複数のスピーカーにより再生される音の仰俯角に関する設定を、複数の再生モードから何れかの再生モードを選択するためのユーザ操作に応じて実行する設定手段と、
    前記表示装置に表示される画像に対応する前記カメラの撮影方向の仰俯角が所定値より大きい場合に、前記撮影方向の逆方向から前記設定手段による設定に応じた値だけ仰俯角がずれた方向に対応する音が前記表示装置の位置に対応する方向とは逆方向の音として再生されるように、前記音響信号の生成に係る制御を行う制御手段と、
    前記取得手段により取得される前記収音信号に対して、前記制御手段による制御に応じた処理を実行することで、前記音響信号を生成する生成手段とを有することを特徴とする信号処理装置。
15. カメラによる撮影に基づく画像の表示装置への表示と共に行われる複数のスピーカーによる音の再生に係る音響信号であって、複数の方向に対応する音を再生するための音響信号を、前記カメラによる撮影と共に行われる複数のマイクロホンによる収音に基づく収音信号を用いて生成する信号処理方法であって、
    前記収音信号を取得する取得工程と、
    前記表示装置に表示される画像に対応する前記カメラの撮影方向に対応する音が所定方向の音として再生され、且つ、前記撮影方向の仰俯角の大きさが所定値以下である場合には前記撮影方向の逆方向に対応する音が前記所定方向の逆方向の音として再生され、前記撮影方向の仰俯角の大きさが前記所定値より大きい場合には前記撮影方向の逆方向とは仰俯角が異なる方向に対応する音が前記所定方向の逆方向の音として再生されるように、前記音響信号の生成に係る制御を行う制御工程と、
    前記取得工程において取得される前記収音信号に対して、前記制御工程における制御に応じた処理を実行することで、前記音響信号を生成する生成工程とを有することを特徴とする信号処理方法。
16. 前記カメラの撮影時の傾きを示す傾き情報を取得する情報取得工程を有し、
    前記制御工程においては、前記情報取得工程において取得される前記傾き情報に基づいて前記音響信号の生成に係る制御が行われることを特徴とする請求項１５に記載の信号処理方法。
17. 前記所定方向は、前記表示装置の位置に対応する方向であることを特徴とする請求項１５又は１６に記載の信号処理方法。
18. コンピュータを、請求項１乃至１４の何れか１項に記載の信号処理装置の各手段として機能させるためのプログラム。