JP2013157843A - 音場制御装置 - Google Patents
音場制御装置 Download PDFInfo
- Publication number
- JP2013157843A JP2013157843A JP2012017823A JP2012017823A JP2013157843A JP 2013157843 A JP2013157843 A JP 2013157843A JP 2012017823 A JP2012017823 A JP 2012017823A JP 2012017823 A JP2012017823 A JP 2012017823A JP 2013157843 A JP2013157843 A JP 2013157843A
- Authority
- JP
- Japan
- Prior art keywords
- sound field
- image
- unit
- viewer
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
【解決手段】撮像部30から供給され、視聴者を含む周辺環境の画像を解析して、視聴状況を判別する解析部41と、判別された視聴状況に基づいて付与すべき音場の内容を、付与すべき音場を決定する音場決定部42と、複数チャンネルのオーディオ信号に対し、音場決定部42で決定された音場を付与して出力する音場付与部43と、を具備する。解析部41は、画像の解析から視聴者の位置および人数を判別し、音場決定部42は、当該視聴者の位置および人数に応じて音場を決定する。
【選択図】図1
Description
このため、カメラなどによって撮影した画像を解析して、視聴者の位置や年齢を推定して、視聴者の方向に合わせて音場を制御する技術や、推定した年齢に応じて音量や音域を制御する技術が提案されている(例えば特許文献1参照)。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、音場を高い精度で、短時間で、簡易な構成で制御することが可能な音場制御装置を提供することにある。
本発明では、視聴者を含む周辺環境の画像が解析されて視聴状況が判別される。そして、当該視聴状況に基づいて付与される音場が決定される。したがって、本発明によれば、視聴者のみならず、周辺環境も考慮されて、音場が決定されるので、より高い精度で音場を制御することができる。また、音場の制御にあたって、マイクロフォンの設置が不要であり、また、画像解析処理で済むので、制御に要する時間も短縮化される。
また、本発明において、前記解析部は、前記画像の解析から視聴者が位置する室内を判別し、前記音場決定部は、当該室内に応じて音場を決定する構成としても良い。このとき、室内が狭いほど、音場空間に広がり感を持たせても良いし、天井が低いほど、反響強度を弱めても良い。また、壁や床面の材質、家具の有無、敷物の材質、季節、窓の有無、カーテンの開閉状態などに応じて音場を制御しても良い。
図1は、実施形態に係る音場制御装置40aを含むシステム1の概略構成を示すブロック図である。
この図に示されるように、システム1は、再生信号を生成する再生部10と、モニタ20と、撮像部30と、再生信号に音場を付与する音場制御装置40と、音場が付与された再生信号を音響変換して出力するスピーカ50とを含んでいる。
モニタ20は、液晶表示装置やプラズマディスプレイなどであり、再生信号に含まれる映像信号に基づいた映像を表示する。
撮像部30は、レンズやイメージセンサを含むカメラであり、視聴者を含む周辺環境を撮影するとともに、撮影した画像を音場制御装置40に供給する。
このうち、解析部41は、撮像部30による画像に対して、後述する評価要素毎に解析を行う。なお、解析部41は、後述するようにネットワークに接続されたり、リアルタイムクロックから時間情報を取得したりする場合がある。図1において解析部41に向かう始点のない矢印は、このような場合の情報の経路を示している。
なお、音場に対応した信号処理の具体的な内容については、本実施形態では、広がり感および反響強度を段階的にそれぞれ強弱させるものとする。ここで、広がり感については、プレゼンス音場、サラウンド音場を広げることで強めることができ、また、反響強度については、後部残響音のレベルを大きく、減衰時間を長くし、直接音から後部残響音が生じるまでの時間を長くすることで、強めることができる。
もちろん、この処理内容だけに限定する趣旨ではなく、他の信号処理に関するパラメータ等を変更しても良い。また、音場決定部42および音場付与部43は、例えばDSP(Digital Signal Processor)機能を持ったマイコンによって実現される。
増幅部44は、チャンネル毎のアンプの集合体であり、信号処理が施されたオーディオ信号をチャンネル毎に増幅して、スピーカ50に出力する。
この音場制御処理は、例えば音場制御装置40において電源が投入されたとき、または、当該制御処理を開始させるような操作がなされたとき、当該音場制御装置40で実行される。
まず、音場制御装置40において解析部41は、撮像部30に対して画像を要求し、当該要求を受けて撮像部30は、視聴者を含む周辺環境を撮影するとともに、撮影した画像を解析部41に供給する(ステップSa11)。
図3に示されるように視聴者Lがモニタ20(撮像部30)から見て左側に座っているときに撮像部30が撮影した画像は、例えば図5に示されるようなものとなる。すなわち、撮像部30からみると、視聴者Lがソファーの左側に座わり、かつ、モニタ20などが設置されたリスニングルーム(部屋)の壁面、天井などが写り込んだ画像となる。
詳細には、解析部41は、第1に、撮像部30による画像から視聴者の人数、距離を解析し、これらの結果から視聴者の密集度を判別する。
まず、視聴者の人数については、例えば撮像部30による画像に対し顔認識アルゴリズムを適用して検出された顔画像の個数から人数が解析される。また、撮像部30から視聴者までの距離については、例えば図7に示されるように、顔認識アルゴリズムで検出された顔の幅Wa、Wb(ドット数)から解析される。すなわち、顔の幅には、年齢にかかわらず大きな差がないので、標準的な顔の幅と距離との関係を予めテーブル化して記憶する一方で、検出された顔の幅に対応する距離を当該テーブルから読み出すことで、撮像部30から視聴者までの距離を求めることができる。もちろんテーブルではなく、検出された顔の幅を、計算式に代入して算出する方法でも良い。
視聴者が複数人数であることが検出されたときには、撮像部30に向かって距離が小さい方の値で代表値として採用する。また、上記顔認識において年齢判別アルゴリズムを適用して、撮影された人物の年齢を推定し、顔の幅が狭い年少者であれば、顔の幅で求めた距離を近い方向(手前側)に補正しても良い。
まず、部屋における床の材質については、図5において、例えば画像の下部領域Aを解析対象として定めて、当該下部領域Aと、代表的な画像テキスチャ(図8参照)とのパターンマッチングによって判別される。なお、本実施形態においては、床の材質については、大理石、フローリング(木質系の素材)、畳、絨毯を候補とし、いずれにも該当しなければ、不明とする。
例えば、図9(a)において、遠近に伴って画像の左上端から右下方向に向かう斜め線L1および画像の右上端から左下方向に向かう斜め線L2は、それぞれ天井と壁面との境界線である。また、天井に設置物、例えば室内灯Laがあれば、画像上部領域Bにおいて他の部分の模様、色彩と異なって認識される。
ここで、天井と壁面との境界線や天井の設置物が認識される場合、天井は比較的低いと判別できる。一方、図9(b)に示されるように、天井と壁面との境界線や天井の設置物が認識されない場合、天井は比較的高いと判別できる。
なお、部屋幅については、狭い、普通の相対的な判別に限られず、次のようにして幅を求めても良い。
部屋幅が狭いと、図9(b)において、境界線L3、L4における画像手前側の開始点Q3、Q4が画像下端側に現れるとともに、部屋幅が狭くなるにつれて点Q3、Q4間の距離R1が短くなる。一方、部屋幅が広いと、開始点Q3、Q4が画像左右端側に現れるとともに、部屋幅が広くなるにつれて、画像下端から開始点Q3、Q4までの距離R2が長くなる。ただし、これらの距離R1、R2は、撮像部30が設置される高さによっても変わる。このため、例えば撮像部30の設置高、および、距離R1またはR2に対応して部屋幅を記憶する二次元テーブルを作成しておけば、撮像部30の設置高、および、距離R1(またはR2)に対応して部屋幅を読み出すことで求めることができる。
季節は国(場所)によって異なるが、次のようにすれば、音場制御装置40が設置される国において暑い季節であるかを判別することができる。すなわち、音場制御装置40の仕向地の情報や、ネットワーク等から取得される場所情報、GPS(Global Positioning System)などの測位機能によって取得される位置情報などによって、音場制御装置40が設置された国を特定するとともに、特定した国と、リアルタイムクロックから出力される日時情報や、タイムサーバからネットワークを介して取得した時間情報とを照合することによって暑い季節であるか否かを判別することができる。
すなわち、音場決定部42は、第1に、視聴者の密集度が高くなるほど、広がり感を強めるように音場を決定する。本実施形態では、視聴者の密集度を図11に示したように4段階で判別しているので、例えば広がり感についても、密集度に応じて4段階で決定される。
なお、音場決定部42は、床の材質が不明であると判別されたとき、床の材質に関しては反響強度を変更しない。ただし、他の要因(天井、カーテンなど)によって反響強度が変更される場合もあり得る。
また、音場決定部42は、第7に、大きな家具が配置していると判別された場合、反響強度を強めるように決定する。この場合に、大きな家具(ソファー)が、革やファブリックなどの吸音素材であるとき、反響強度をさらに強めるように決定する。音場決定部42は、第8に、暑い季節であると判別された場合、広がり感を強めるように決定する。
なお、音場決定部42は、2以上の異なる評価要素で互いに矛盾する方向に決定したとき、最終的には何も変更しないようにしても良い。例えば、床の材質が大理石であるために反響強度を弱めるように決定する一方で、 家具が大きく、かつ、吸音素材であるために反響強度を強めるように決定する場合、反響強度については、当初の設定から変更しないようにしても良い。
このような音場の決定の内容をまとめると、図13に示される通りとなる。
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の変形が可能である。なお、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。
音場については、教会、ホールなどのような場所や、シネマ、ミュージックなどのようにソース、シーンに対応したモードが予め複数用意されている場合に、いずれかのモードの音場が設定されているとき、視聴者の周辺環境に合わせた音場を付与しない構成にしても良いし、選択されたモードに対し、予め設定された制御方針にしたがって音場を付与する(しない)ように制御する構成としても良い。また、設定された音場、モードと視聴周辺環境を比較し、設定された音場を実現するような音場補正を行うような構成としても良い。
また、例えば、設定された音場が「反射強度が強い」ものであり、視聴周辺環境の床が「大理石」であった場合は、音場決定部42は、当該反射を相殺する必要は無く、反響強度として部屋の環境をそのまま利用できるように、反射強度を中程度に決定するようにしても良い。
上述した実施形態では、視聴者を囲むように配置したスピーカ50によって音場を付与したが、 スピーカアレイ装置を用いて音場を付与する構成にも適用可能である。
スピーカアレイ装置では、線または面状に配置する複数のスピーカから同じオーディオ信号に係る音が、空間上の焦点に同時に到達するように、少しずつ異なる遅延時間を与えられて出力される。これにより、焦点周辺の音響エネルギーは同相加算により強められるので、焦点方向に強い指向性を有する音のビームがチャンネル毎に作り出される。
また、横壁や天井の位置を検出することによって視聴者に向かう反射地点を特定し、当該反射地点に音のビームが向かうように制御することができる。
さらに、スピーカアレイに適用する場合、広がり感については、FL、FRチャンネルの開度によって制御するようにしても良い。
Claims (3)
- 撮像部から供給され、視聴者を含む周辺環境の画像を解析して、視聴状況を判別する解析部と、
判別された視聴状況に基づいて付与すべき音場の内容を決定する音場決定部と、
複数チャンネルのオーディオ信号に対し、前記音場決定部で決定された音場を付与して出力する音場付与部と、
を具備することを特徴とする音場制御装置。 - 前記解析部は、前記画像の解析から視聴者の位置および人数を判別し、前記音場決定部は、当該視聴者の位置および人数に応じて音場を決定する
ことを特徴とする請求項1に記載の音場制御装置。 - 前記解析部は、前記画像の解析から視聴者が位置する室内の特徴を判別し、前記音場決定部は、当該室内の判別内容に応じて音場を決定する
ことを特徴とする請求項1または2に記載の音場制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012017823A JP5915206B2 (ja) | 2012-01-31 | 2012-01-31 | 音場制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012017823A JP5915206B2 (ja) | 2012-01-31 | 2012-01-31 | 音場制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013157843A true JP2013157843A (ja) | 2013-08-15 |
JP5915206B2 JP5915206B2 (ja) | 2016-05-11 |
Family
ID=49052624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012017823A Active JP5915206B2 (ja) | 2012-01-31 | 2012-01-31 | 音場制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5915206B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015228625A (ja) * | 2014-06-02 | 2015-12-17 | ヤマハ株式会社 | 位置特定装置およびオーディオ装置 |
EP2996345A4 (en) * | 2013-09-25 | 2016-08-03 | Goertek Inc | METHOD AND SYSTEM FOR GENERATING SELF-ADJUSTING SURROUNDING SOUND |
WO2017057866A1 (ko) * | 2015-10-01 | 2017-04-06 | 삼성전자 주식회사 | 오디오 출력 장치 및 오디오 출력 장치의 제어 방법 |
KR101767595B1 (ko) * | 2016-12-27 | 2017-08-11 | 이윤배 | 매장 가상 입체 음향 시스템 |
KR101814190B1 (ko) | 2017-08-04 | 2018-01-02 | 이윤배 | 가상 입체 음향 시스템 |
US9955253B1 (en) | 2016-10-18 | 2018-04-24 | Harman International Industries, Incorporated | Systems and methods for directional loudspeaker control with facial detection |
JP2020188494A (ja) * | 2020-07-28 | 2020-11-19 | ヤマハ株式会社 | 音声ナビゲーションシステムおよび音声ナビゲーション方法 |
WO2022220036A1 (ja) * | 2021-04-12 | 2022-10-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音響特徴量推定方法、音響特徴量推定システム、プログラム、及び、レンダリング方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04351197A (ja) * | 1991-05-29 | 1992-12-04 | Matsushita Electric Ind Co Ltd | 指向性制御スピーカシステム |
JPH056190A (ja) * | 1991-06-27 | 1993-01-14 | Matsushita Electric Ind Co Ltd | 残響時間制御装置 |
JP2004294712A (ja) * | 2003-03-26 | 2004-10-21 | Yamaha Corp | 残響音生成装置およびプログラム |
JP2005012784A (ja) * | 2003-05-26 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音場測定装置 |
WO2008001857A1 (fr) * | 2006-06-30 | 2008-01-03 | Toa Corporation | dispositif de reproduction de signal audio spatial et procédé de reproduction de signal audio spatial |
JP2010245986A (ja) * | 2009-04-09 | 2010-10-28 | Funai Electric Co Ltd | 表示装置、その制御方法及び制御プログラム、並びに、テレビジョン |
JP2011217068A (ja) * | 2010-03-31 | 2011-10-27 | Yamaha Corp | 音場制御装置 |
JP2011223549A (ja) * | 2010-03-23 | 2011-11-04 | Panasonic Corp | 音声出力装置 |
-
2012
- 2012-01-31 JP JP2012017823A patent/JP5915206B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04351197A (ja) * | 1991-05-29 | 1992-12-04 | Matsushita Electric Ind Co Ltd | 指向性制御スピーカシステム |
JPH056190A (ja) * | 1991-06-27 | 1993-01-14 | Matsushita Electric Ind Co Ltd | 残響時間制御装置 |
JP2004294712A (ja) * | 2003-03-26 | 2004-10-21 | Yamaha Corp | 残響音生成装置およびプログラム |
JP2005012784A (ja) * | 2003-05-26 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音場測定装置 |
WO2008001857A1 (fr) * | 2006-06-30 | 2008-01-03 | Toa Corporation | dispositif de reproduction de signal audio spatial et procédé de reproduction de signal audio spatial |
JP2010245986A (ja) * | 2009-04-09 | 2010-10-28 | Funai Electric Co Ltd | 表示装置、その制御方法及び制御プログラム、並びに、テレビジョン |
JP2011223549A (ja) * | 2010-03-23 | 2011-11-04 | Panasonic Corp | 音声出力装置 |
JP2011217068A (ja) * | 2010-03-31 | 2011-10-27 | Yamaha Corp | 音場制御装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2996345A4 (en) * | 2013-09-25 | 2016-08-03 | Goertek Inc | METHOD AND SYSTEM FOR GENERATING SELF-ADJUSTING SURROUNDING SOUND |
JP2016531511A (ja) * | 2013-09-25 | 2016-10-06 | ゴーアテック インコーポレイテッドGoertek Inc | 適応的サラウンドサウンドを実現する方法及びシステム |
KR101771339B1 (ko) * | 2013-09-25 | 2017-08-24 | 고어텍 인크 | 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템 |
JP2015228625A (ja) * | 2014-06-02 | 2015-12-17 | ヤマハ株式会社 | 位置特定装置およびオーディオ装置 |
WO2017057866A1 (ko) * | 2015-10-01 | 2017-04-06 | 삼성전자 주식회사 | 오디오 출력 장치 및 오디오 출력 장치의 제어 방법 |
CN108370486A (zh) * | 2015-10-01 | 2018-08-03 | 三星电子株式会社 | 音频输出装置以及用于控制音频输出装置的方法 |
EP3313104A1 (en) * | 2016-10-18 | 2018-04-25 | Harman International Industries, Incorporated | Systems and methods for directional loudspeaker control with facial detection |
US9955253B1 (en) | 2016-10-18 | 2018-04-24 | Harman International Industries, Incorporated | Systems and methods for directional loudspeaker control with facial detection |
WO2018124346A1 (ko) * | 2016-12-27 | 2018-07-05 | 이윤배 | 매장 가상 입체 음향 시스템 |
KR101767595B1 (ko) * | 2016-12-27 | 2017-08-11 | 이윤배 | 매장 가상 입체 음향 시스템 |
KR101814190B1 (ko) | 2017-08-04 | 2018-01-02 | 이윤배 | 가상 입체 음향 시스템 |
JP2020188494A (ja) * | 2020-07-28 | 2020-11-19 | ヤマハ株式会社 | 音声ナビゲーションシステムおよび音声ナビゲーション方法 |
WO2022220036A1 (ja) * | 2021-04-12 | 2022-10-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音響特徴量推定方法、音響特徴量推定システム、プログラム、及び、レンダリング方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5915206B2 (ja) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915206B2 (ja) | 音場制御装置 | |
US8325952B2 (en) | Directional speaker system and automatic set-up method thereof | |
JP5893129B2 (ja) | オーディオをアップミックスして3dオーディオを生成する方法とシステム | |
JP5944840B2 (ja) | 立体音響の再生方法及びその装置 | |
JP5894979B2 (ja) | 音声信号を使用した距離推定 | |
US8213648B2 (en) | Audio signal processing apparatus, audio signal processing method, and audio signal processing program | |
JP5890523B2 (ja) | オーディオ信号処理装置及びオーディオ信号処理方法 | |
US8175317B2 (en) | Audio reproducing apparatus and audio reproducing method | |
JP4609502B2 (ja) | サラウンド出力装置およびプログラム | |
CN109040636A (zh) | 音频再现方法和声音再现系统 | |
CN1762179A (zh) | 阵列型声系统配置方法 | |
JP2013529004A (ja) | 位置追跡を備えるスピーカ | |
Alary et al. | Perceptual analysis of directional late reverberation | |
Valente et al. | Subjective scaling of spatial room acoustic parameters influenced by visual environmental cues | |
JP2012235456A (ja) | 音声信号処理装置及び音声信号処理プログラム | |
KR101790137B1 (ko) | 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 | |
EP2208369B1 (en) | Sound projector set-up | |
Cabrera et al. | Parameters for auditory display of height and size | |
JP2014182332A (ja) | サイネージ装置 | |
KR20060091859A (ko) | 음향 출력 조절 장치 및 방법 | |
Chesworth et al. | Room Impulse Response Dataset of a Recording Studio with Variable Wall Paneling Measured Using a 32-Channel Spherical Microphone Array and a B-Format Microphone Array | |
JP4981995B1 (ja) | 音声信号処理装置及び音声信号処理プログラム | |
KR20160063882A (ko) | 라우드 스피커 어레이와 후면 벽 반사를 이용한 음장 재현 장치 및 방법 | |
JP5966738B2 (ja) | 放音装置 | |
Roper | A room acoustics measurement system using non-invasive microphone arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141120 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160321 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5915206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |